$30 off During Our Annual Pro Sale. View Details »

データエンジニアのためのテクニカルサポートとLLM

Matsunoo
February 20, 2024

 データエンジニアのためのテクニカルサポートとLLM

こちらのLT枠のお話
サポートエンジニアNight vol. 5 ( 共催: 株式会社primeNumber )
https://techplay.jp/event/927916?pw=YmfgqymM

Matsunoo

February 20, 2024
Tweet

Other Decks in How-to & DIY

Transcript

  1. ©primeNumber Inc. 2 松野尾 悠仁 WHO AM I? 株式会社primeNumber CSE 2021年から現職。

    社交ダンスインストラクターから30歳 でIT企業に転職し、データ分析や CSのOps(データを用いたオペレーショ ン改善)、昨年からテクニカルサポート チームのリーダーに従事。 趣味:コーヒーのドリップ 1
 2
  2. 会社概要 会社名 代表 創業 Office COMPANY 株式会社primeNumber 代表取締役CEO 田邊 雄樹

    2015年11月 東京都品川区上大崎3丁目1番1号 JR東急目黒ビル5F
  3. ©primeNumber Inc. 
 主要事業 Solutions Managed data platform ETL/ELT Data

    Orchestration Data Catalog Only available in Japan End-to-end data management support for growing your business Integration Operation Workshop
  4. ©primeNumber Inc. 7 troccoのCS(Customer Success Engineer)である彼は困っていた。 問い合わせ多くないか? 今回のお話の背景 ログイン できない

    彼 請求書の宛先 を変えて ジョブがエ ラーになっ た こういう機能 が欲しい うちとパート ナーになりま せんか? 製品Aと比較した 優位性を教えて
  5. ©primeNumber Inc. 12 トスアップ後の流れ。 特にオンボーディングに関してはハイタッチでサポートしている。 商談以降のtrocco事業のCS体制 商談・デモ トライアル 受注・オンボーディン グ

    アダプション Sales CSE 問い合わせのチャネルは? 基本的にはSlack(pNワークスペース)にシングルチャネルゲストで招待。 その他にもChatworkやTeams、メールなどにも条件次第で対応。
  6. ©primeNumber Inc. 14 • LLMを用いたチャットボットの実装 ◦ ヘルプドキュメントや独自データを用いた応答(RAGの一種かな) ◦ エラーの問い合わせの自動化 ▪

    ChatGPT(OpenAI API) ▪ LangChain+Google Custome Search • 新機能の実装 ◦ テキストからのSQLクエリ生成 ◦ その他 CS内で検討したこと
  7. ©primeNumber Inc. 15 背景:troccoはAPIで接続するので顧客の環境に依存した問い合わせが多いのが特徴。 目的:できる限りエラーの自己解決率をあげれないか。 troccoは実行ログもエラーログもユーザー自身で確認できる。 - trocco®でデータ抽出時(API)のエラーの一例 (Error) failed

    during waiting a Copy job, get_job(project-id, embulk_copy_job_291d7747-565d-4770-93ee-11aec3ebae33), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table project-id:dataset-name.test-table. Field Phone has changed type from INTEGER to STRING"}] エラーの問い合わせの自動化について
  8. ©primeNumber Inc. 17 • GOOD󰢐 ◦ インターネット上で公開されているベストプラクティスやワークアラウンドに ついては模範的な回答をしてくれる。結構丁寧。 • BAD🙅

    ◦ 専門的な知識やスキルについては平然と嘘が返ってくる。嘘を許容できるか。 ◦ LLMは各社開発中のサービスであるため、何の目的で使うか、どのように使う かの意思決定が難しい。 ▪ 実装にどれほどリソースを割り当てるか ▪ アップデートも多い ▪ やらないことによる機会損失 検証時のまとめ
  9. ©primeNumber Inc. 22 問い合わせの種別 タッチ/ 問い合わせの種別 ハイタッチ (ヒト) テックタッチ (UI/ボット)

    マニュアルワーク △ コスト負担 ◎ ナレッジワーク ◯ 人材確保 ◯ コスト次第 対応手順 決まっている→マニュアルワーク 決まっていない→ナレッジワーク
  10. ©primeNumber Inc. 23 • 問い合わせに対してマニュアルな対応が可能か ◦ マニュアルがあれば、そもそも自己解決ができるか ▪ 壁1:エラーの原因がわかるか ▪

    壁2:解消できるか ◦ コストに見合っているのか ▪ マニュアル対応が可能な問い合わせの数は十分に多いか ◦ インタラクティブな対応が求められるか ▪ 一問一答なのか/条件分岐していくのか • 例えば、403エラー(forbidden)の原因はいろいろあるだろう 議論したポイント
  11. ©primeNumber Inc. 28 • 比較的似た経験やキャリア • 暗黙知(体験)の共有 • 少人数のスタートアップ めざせローコンテクスト

    • 多様なバックボーン • 形式知/ガイドラインを提示 • 海外展開(英語対応) ハイコンテクスト文化 ローコンテクスト文化
  12. ©primeNumber Inc. 29 • 従来のナレッジマネジメントはコストに見合わない ◦ ナレッジの形骸化 ◦ 肥大化 ◦

    コンテンツを増やすこと自体が目的になる LLMでナレッジ化を進める VOC ↓ FAQ LLMを活用する • データクレンジング • troccoも使う • 問い合わせの傾向分析 DWH
  13. Coprime 私たちは、一人ひとりが異なる存在。 圧倒的な個の力を強く結合させながら、 まだどこにもない、新しい価値を創る。 価値を返す ユーザーに対して、チームに対して、 その仕事は価値を返せているか。 相手の想像を超えているか。 方法論にとらわれず、 価値を生み出すことが最低条件。

    合理志向 つねに合理的で、創造的。 すばやく決めて、まずやってみる。 最新のテクノロジーとエンジニアスピリットを核に、 世界中のエンジニアを惹きつける 組織であり続ける。 課題を起点に 私たちは、製品の開発者であると同時に、 つねに一人のユーザーであり続ける。 自らユーザーとなって課題を探りながら、 開発者として信じる価値を世の中に提示する。 V A L U E 8 Elements 私たちが大事にしている マインドです。
  14. 対話を力に オープンに多様な視点を求め、 建設的な思考を積み上げていく。 議論は、酸素。そこに上下の壁はなく、 あるのはお互いへのリスペクトのみ。 プロダクトを信じる 自分たちが熱中できるものをつくる。 変化を恐れずに、改良と拡張を続けることで、 人々の想像を超えていく。 挑戦を楽しむ

    つねに楽しむ気持ちを忘れない。 働いているようで、そう感じない。 挑戦を楽しめる環境を、自ら作り出す。 良心に問いかける 原理。合理。倫理。私たちは、理で動く。 私欲に走ることなく、 誰に対してもフェアな行いを。 ビジネスの成長は、 価値と信用を積み重ねた先にある。 V A L U E 8 Elements 私たちが大事にしている マインドです。