Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ChatGPTとIBM Watsonで サイト内検索を進化させてみた(増補版)

segavvy
June 07, 2023

ChatGPTとIBM Watsonで サイト内検索を進化させてみた(増補版)

2023年6月6日に開催されたChatGPT Hack Online Sessionで、ChatGPTとIBM Watson Discoveryの連携サービスについてお話した際の資料です。
動画(スライド画面+音声)はこちらです。
https://www.youtube.com/live/eJn08_bgecM?feature=shared&t=2647

※個人で作成したものであり、内容や意見は所属企業・部門見解を代表するものではありません。

segavvy

June 07, 2023
Tweet

More Decks by segavvy

Other Decks in Technology

Transcript

  1. ChatGPTとIBM Watsonで サイト内検索を進化させてみた ChatGPTを商⽤サービスに組み込んでみたお話 !2023 segavvy 2023/06/06 ChatGPT Hack Online

    Session with ❤ ChatGPT Coummunity(JP) 1 @segavvy 増補版 ※個⼈で作成したものであり、内容や意⾒は所属企業・部⾨⾒解を代表するものではありません。
  2. ネット検索とサイト内検索の違い !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤

    ChatGPT Coummunity(JP) 4 • ネットの情報を検索 • 検索プロバイダーが提供 • 企業の保有情報を検索 • 企業がサイト訪問客へ提供 ネット検索 サイト内検索
  3. 検索に求められるものの違い !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤

    ChatGPT Coummunity(JP) 5 • コンテンツ作成者は 検索されるように⾃分で⼯夫 • 検索結果に並べてもらうため お⾦を払って広告出稿 検索は雲の上の存在 嫌われたら困る • 企業はうまく検索されるよう 検索サービスへ要求 • 検索結果が好みで並ぶように 検索サービスへ要求 検索側に要求し放題 ダメなら他へ乗り換え ネット検索 サイト内検索
  4. サイト内検索が越えられなかった壁 検索の利⽤側の想い • 知りたいことだけ教えて • 役⽴つことだけ教えて • 検索結果の⼀覧を ⾒て回るのは⾯倒でイヤ !2023

    segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 6 提供企業側の想い • 顧客の悩みを解決したい • 問合せ対応を削減したい • 商品を知ってもらいたい • 優秀な⼈を採⽤したい 検索ができること ⼊⼒条件に対する検索結果の⼀覧表⽰、条件の⼊⼒⽀援 両者の想いをつなげられていない
  5. ChatGPTなら 壁を越えられそう!! サイト内検索が越えられなかった壁 検索の利⽤側の想い • 知りたいことだけ教えて • 役⽴つことだけ教えて • 検索結果の⼀覧を

    ⾒て回るのは⾯倒でイヤ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 7 提供企業側の想い • 顧客の悩みを解決したい • 問合せ対応を削減したい • 商品を知ってもらいたい • 優秀な⼈を採⽤したい 「教えて」という 要望に対して 直接答えられる︕ 「営業マン」「相談窓⼝」 「リクルーター」として 答えてくれる︕
  6. 「誰でもわかる AI ⼊⾨」 AI の⽣い⽴ちから ChatGPT や Stable Diffusion の

    仕組みまで、なる べく専⾨⽤語を 使わずにご説明 しています。よろしければぜひ︕ https://segavvy.hatenablog.com/entry/2023/04/01/134729 (休憩)遊ぶ前におもちゃを理解しよう︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 9 今回のおもちゃはすごい︕ でも決して万能ではなく 苦⼿なこともあります。 仕組みをざっくり把握して 既存のおもちゃと組み合わせて 良いところ取りするのが お勧めです︕
  7. そもそもChatGTPで検索できるのか︖ 1. ChatGPTはカットオフ以降の最新情報を知らない 2. ChatGPTはお客様の⾮公開情報も知らない 3. ChatGPTはお客様のマニアックなドメイン知識も知らない 4. 現在の技術ではファインチューニングで教えるのは⼤変すぎる 5.

    そもそもChatGPTの仕組み上、単純な検索には不向き 6. ChatGTPに検索させるのはあきらめて、 受け答えと情報の取捨選択と要約をメインにやらせてみよう︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 11
  8. 連携の流れ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤

    ChatGPT Coummunity(JP) 12 ChatGPT Watson Discovery サイト内 検索 サービス 対象Webサイト ①⾃然⽂で質問 ⓪クロールしてコンテンツ登録 ②⾃然⽂のまま検索 ③検索結果の情報 ④結果情報と答え⽅の指⽰と質問をプロンプトで⼊⼒ ⑤応答⽂ ⑥応答⽂ 利⽤者
  9. Watson Discoveryの概要と役割 IBM Watson Discoveryとは AI搭載のインテリジェントな検索とテキスト分析のプラットフォームです。データのサイ ロを解消し、データ内の埋もれた情報を取得します。 このプラットフォームは、⾃然⾔語 処理を使⽤して、⽂書、Webページ、ビッグデータから有意義な洞察を明らかにします。 (公式サイト

    https://www.ibm.com/jp-ja/cloud/watson-discovery より抜粋) 今回のDiscoveryの役割 • 対象のWebサイトから収集したデータ(HTML、PDFなど)を登録し、 それに対する⾃然⽂条件の検索エンジンとして活⽤ • ChatGPTが知らない最新情報や対象企業の固有情報を補う !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 13
  10. ChatGPTの役割 今回のChatGPTの役割 • Watson Discoveryから得られた検索結果のTop nから、 質問にマッチする情報を選別し組み合わせて応答⽂を作成 • その際にコンテンツ提供側の狙いも伝えて作⽂ 「営業マンとしてお客様へ回答して」

    「業界知識のない⽅にもわかるように答えて」 「わからないことは問い合わせへ誘導して」 etc. ※いずれもイメージであり、プロンプトそのものではありません !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 14
  11. やってみたらいい感じ︕ 【質問】 Cogmo Searchはどんなことができるか !2023 segavvy 2023/06/06 ChatGPT Hack Online

    Session with ❤ ChatGPT Coummunity(JP) 15 【回答】 アイアクトホームページによると、Cogmo Searchは、HTML⽂書の検索精度向上や、マニュアルなどのファイ ル検索を得意とし、サイトにあるHTMLやPDFファイルを対象にしています(*1)。また、⾃然⽂での検索がで き、検索順位を最適化する学習機能を持っています(*2)。さらに、横断検索してすべてまとめて検索すること も、各サイト毎に検索することも可能です(*3)。また、IBM Watsonのチャットボット『Cogmo Attend』と 連携して、チャットボットの会話の中に検索結果を表⽰することができます(*1)。 -------------------- *1:『Cogmo Search(コグモサーチ)』 IBM WatsonでAI時代のサイト内・ファイル検索を (https://www.iact.co.jp/products/cogmo_search.html?cogmo_context_search=search) *2:AI⽂書検索のIBM Watson DiscoveryとCogmo Searchの導⼊事例と活⽤⽅法 | 『Cogmo Blog(コグモ・ブログ)』〜企 業のAI導⼊・運⽤を⾏う中の⼈のホンネ〜(https://cogmo.iact.co.jp/blog/watsondiscovery_solution) *3:AI検索とは︖ サイト内検索としての活⽤について | 『Cogmo Blog(コグモ・ブログ)』〜企業のAI導⼊・運⽤を⾏う中の ⼈のホンネ〜(https://cogmo.iact.co.jp/blog/ai-search?hsLang=ja-jp) 弊社サイトの情報を使って 弊社商品の質問をしてみた例 ※研究中のものでリリース版とは異なります
  12. (休憩)ちょっとだけ宣伝 今回のサービスについて、IBM Championの弊社CTOが語ります ご興味がありましたらぜひ︕ !2023 segavvy 2023/06/06 ChatGPT Hack Online

    Session with ❤ ChatGPT Coummunity(JP) 17 2023年6⽉8⽇(⽊) 11:00〜11:30 オンライン開催(Zoom) https://cogmo.iact.co.jp/event/20230608
  13. 1. UIはどうする︖ UIはどうするのか︖ • どの企業サイトも 右上に検索窓があるのが当たり前 • ChatGPTやBing、Bardのような チャットボットでの検索に 利⽤者がすぐに慣れるのか︖

    • サイト内検索を置き換えるのか︖共存するのか︖ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 20
  14. 2. 品質の対応 検索品質の対応 • Discoveryの関連性トレーニングで条件⽂とページの関連性を 学習させて、提供側の狙う検索結果の並びにチューニング • マニュアルなどはページ分割して登録しピンポイントで提⽰ • 独⾃の⽤語や略語は辞書機能で同⼀視

    • クローラーの収集データにアノテーションして ページにない⽂⾔などでも検索可能に etc… !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 24 ①検索の精度
  15. 2. 品質はどうする︖ ⽣成⽂の品質の課題 • ChatGPTの限られたトークンサイズの中で 適切な情報を渡せるのか︖ • ウソを答えてしまう(hallucination)対策は どうするのか︖ •

    応答が変動してしまうと チューニングが⼤変になるのでは︖ !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 25 ②応答の精度
  16. 2. 品質の対応 ChatGPTへ適切な情報を渡すための対策 • ⼿前の適切な検索(=前述の検索精度の対応) • 渡すデータの件数と1件当たりのサイズのバランス調整 ウソと変動の対策 • 提供情報に基づく回答のみを指⽰&引⽤元の提⽰を指⽰

    • ⼀貫性を⾼めるパラメーター調整(temperature、top_p) • 注意書き(AIで⽣成されているため誤りを含む可能性があります) !2023 segavvy 2023/06/06 ChatGPT Hack Online Session with ❤ ChatGPT Coummunity(JP) 26 ②応答の精度