Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI機能の開発運用のリアルと今後のリアル

 AI機能の開発運用のリアルと今後のリアル

2024年11月8日(金)に開催された「LLMの本番プロダクト実活用のリアル」というイベントの登壇資料です。
https://nota.connpass.com/event/332938/

当日は口頭で相当量を補ってご紹介したため、ご不明な点がおかしい点があればお気軽にSNSでお尋ねください。

Hiroki Akiyama

November 07, 2024
Tweet

More Decks by Hiroki Akiyama

Other Decks in Technology

Transcript

  1. 7 Helpfeelとは Helpfeelは、特許技術のアルゴリズムと⽣成AIを掛け 合 わせ、 検 索 ノーヒット“0%”をハルシネーション (誤回答)なく実現します。 ⼈ごとに微妙に異なる曖昧な⾔葉表現やスペルミス等

    にも対応し、Googleよりも⾼い検索ヒット率を誇る⾰ 新的なFAQシステムです。 どんな質問にも適切な答えを導き、 顧客の⾃⼰解決率を上げる FAQ検索ツール #LLM_プロダクション実活用のリアル
  2. 創造 質問⽂‧回答の構築 分析 改善点の抽出 問い合わせ 検索 意図予測検索※ 問い合わせフォーム FAQのドラフト作成 検索⽤辞書の⾃動作成

    コールログの要約⽣成※ 問い合わせ分析 ユーザー⾏動分析 頻出トピックの抽出※ ※開発中
  3. 創造 質問⽂‧回答の構築 分析 改善点の抽出 問い合わせ 検索 意図予測検索※ 問い合わせフォーム FAQのドラフト作成 検索⽤辞書の⾃動作成

    コールログの要約⽣成※ 問い合わせ分析 ユーザー⾏動分析 頻出トピックの抽出※ ※開発中
  4. 16 ベクトル検索 ベクトルの類似度を用いて検索する手法 埋め込み(Embedding)モデル テキストの意味をベクトル化することで、 高品質なセマンティック検索を可能にする 機械学習モデル OpenAI Embedding API

    (2022.12〜) 任意のテキストの意味をベクトル化する API HelpfeelのAI活用:意図予測検索(ベクトル検索) 検索対象とクエリをベクトルに変換し、ベクトルの類似度が近いものを検索する ログインできない ログインでお困 りの場合はまず … ご解約の場合は まずログインして … 意味的に近い 意味的に遠い #LLM_プロダクション実活用のリアル
  5. 19 枯れてない  ・アカデミックには枯れていても実運用で枯れていない  ・むしろ始まったばかりのような気持ち 選択肢が多すぎ  OSS: faiss、hnsw-lib  ベクトルDB: Qdrant、milvus  全文検索エンジン:

    ElasticSearch、Meilisearch  既存のDB: PostgreSQL、MongoDB  PaaS: Qdrant Cloud、Pinecone  ベクトル検索を含むSaaS: OpenAI Assistants API、Dify ・運用したら思ってたより大変だった: カネがかかるし不安定だし ・これからRAGやる人は知見あればシェアしましょう! リアル:ベクトル DBの運用が大変 …
  6. 22 単価が安くなりコンテキストウィンドウが拡大 するのは既定路線  ・さらにもっと雑にあちこちに仕込めるようになるはず  ・顧客側の「AIアレルギー」が減った結果、サイレントに社会実装される    (実際にWindows 11では標準搭載されている)  ・バルクで大量のプロンプトを同時並行で投げてもエラー返らなくなると嬉しい 能動的に使う時代から受動的に使う時代に  ・現状のLLM活用プロダクトはだいたいがユーザーからのトリガーで作動

     ・勝手に動いてくれる自律型エージェント を作りたい ChatGPTのラッパー → 業務補助としての活用 → 業務の代替  Helpfeel社の場合:問い合わせログの分析 &FAQ生成、CosenseのInfobox、etc 今後のリアル この後、トークセッションと懇親会で未来を話しましょう! #LLM_プロダクション実活用のリアル