実用的かつリーズナブルな 「Azure × Gemini × LINE」~キャラクターBot 実装ライブデモ~

Azure×Gemini×LINEを用いてキャラクターボットを作成するライブデモ資料です。CosmosDBを用いた会話履歴管理やlangsmithを用いたトレースなど周辺知識の解説も含めています。デプロイはAzure Developer CLIでインフラからアプリまで1コマンドで実装できる仕組みになっておいます。Azureはじめ関連リソースも無料サービス縛りでおこなっており、手軽に始められる内容です。

Transcript

1. 実用的かつリーズナブルな 「Azure × Gemini × LINE」~キャラクターBot 実装ライブデモ~ 1 @Tomodo_ysys
2. 吉川友哉 SIerエンジニア 勝手に企画して勝手に社内生成AI推進担当 負けヒロインが多すぎる 逃げ上手の若君 小市民シリーズ X: Tomodo_ysys 名前 職業 今期のおすすめアニメ 自己紹介 2 @Tomodo_ysys
3. Azureの新しめの技術を使ってインフラ構築＆アプリデプ ロイまでを1コマンドで ほとんど一撃で簡単に構築 通称「エディネット姉さん」システムプロンプトでキャラ 付け。Gemini 1.5 PROで返答生成。 LINEで動く幼馴染のお姉さんキャラボット Azureの無料サービス縛り。APIサーバ＆会話履歴の保存デ ータベース バックグラウンドはAzure上にホスティング 会話記憶ありのGeminiをつかったキャラクターBotの簡単ライブデモ 今回の発表内容 3 @Tomodo_ysys
4. Azure×LINEで自分用にカスタマイズしていけるキャラクターボットを無料 で簡単につくる＝キャラクターbot道へ！ キャラクターBot関連技 術の包括的理解 デモ自体はほぼ一撃ででき る 実用的で拡張性のある構 成の提案 langchainベースで拡張しや すい AIに強いAzure中心に設計 手軽で低コストなキャラ クターBot構築 無料サービスを最大限活用 azdコマンドでほぼ一撃で構 築 この発表の目的 4 @Tomodo_ysys
5. 01 好きなキャラと一緒に生 きたい 自分の好きなキャラクターがず っとそばにいて、話しかけると すぐに答えてくれる。ついに時 代が追いついた。 自分の好きなキャラクターに近くにいてほしい 03 02 日本文化とAIの親和性 日本人が人工知能と聞いて最初 におもい浮かべるのは？（ド〇 えもん、鉄腕〇トム？）日本人 のDNA キャラクターボットをつくる理由 5 @Tomodo_ysys
6. バックエンド ホスティング データベース 会話ログ Python FastAPI Azure AppService Azure CosmosDB langsmith フロントエンドはLINE＆バックグラウンドはAzureの無料サービス縛り 構成図 LLM Gemini 1.5 PRO 6 @Tomodo_ysys
7. 生成AIアプリ開発の定番プラットフォ ーム AI SearchやVision、Speechなどの豊 富なAI周辺ツールがある Azure APIで簡単に利用できつつリッチメニ ュー、LIFFなどの拡張性も 身近で見る習慣のあるチャットUI。 LINE LINE,Azureを使うわけ 7 @Tomodo_ysys
8. 構築デモ 01 8 @Tomodo_ysys
9. azd up だけでほとんど一撃でできます。 資材準備 （ローカル実行確認） azd upでデプロイ 動作確認 git clone,変数設定 docker起動、ngrok設定、LINE設定 インフラのプロビジョニング、アプリのデプロイ、LINE設定 LINEからメッセージ送信、DBの会話履歴確認、langsmithでトレース確認 ライブデモの流れ 9 @Tomodo_ysys
10. ライブデモをおこなう環境です オプション （ローカル実行用環境） ngrok Docker拡張機能(Cursor) Docker Desktop 最低限 （クラウドデプロイ） Azure Developer CLI Git PowerShell Cursor Windows 必要な環境 CosmosDBエミュレータ 10 @Tomodo_ysys
11. git checkout tags/v2.1 cd line-ai-agent git clone https://github.com/Tomodo1773/line-ai-agent.git コードの準備をします。 デモ① コード準備 11 @Tomodo_ysys
12. 事前に4つの準備が必要です。 Gemini APIキー取得 Google AI StudioでGemini APIキーを取得してください。 利用料金はかかりません。（上限あり） LINE Channelの作成 LINE Developersにログインして新規チャンネルを作成して ください。アイコンは愛着が持てるものを画像AIで作成する のが吉。 LangsmithAPIキー発行 LangsmithのAPIキーを発行してください。月に5000トレ ースまでなら無料です。 Azureサブスクリプショ ン作成 Azureのサブスクリプションを作成してください。今回は使 いませんが、無料クレジットが配布されます。 Goal 01 Goal 02 Goal 03 Goal 04 事前準備項目 12 @Tomodo_ysys
13. azd upコマンドを実行するのみです azd upコマンド実行 LINEチャンネルの webhook URL更新 LINEからメッセージ 送信 azd env new chatbot-demo LINE Developersのチャンネル画面>Messaging API設定>Webhook設定>Webhook URL LINEアプリからメッセージを送信してテスト デモ③：azd upによるデプロイと実行 AppServiceのurl + `/callback` cp .env.sample .azure/chatbot-demo/,env .azure/chatbot-demo/.envに変数追記 azd up 13 @Tomodo_ysys
14. アプリを見てみる 02 14 @Tomodo_ysys
15. 一撃で作るようにインフラとアプリが両方入っています。 アプリ（Python FastAPI） 3 Azureに作成するリソースの設定 2 Azdコマンドでおこなう内容の設定 1 アプリを見ていく⓪：コード全体 15 @Tomodo_ysys
16. アプリの処理フローを明確に表示し、処理の流れを理解してもらう 会話履歴の取得＆保存 3 ローディングアニメーション 2 callbackでokと返す 1 アプリを見ていく①：処理フロー 16 @Tomodo_ysys
17. lang"chain"と言うからにはchainをつくる 生成されたテキストの 末尾に改行が入ること があるので削除 レスポンスから返答部 分のみテキストで抽出 LLMのモデルやパラメ ータ設定。 実行するときに好きな モデルがつ変えるよう にその都度引数として 受け取る ・システムプロンプト ・CosmosDBから取得 した会話履歴 ・メッセージ（ユーザ プロンプト） →連結させる prompt llm parser function アプリを見ていく②: レスポンス生成の流れ 17 @Tomodo_ysys
18. キャラクターを安定させるため出力例を記載 回答サンプルを示す 3 キャラクター設定を示す 2 一文で的確に指示を出す 1 アプリを見ていく②：プロンプト設計 参考: ChatGPT研究所 (chatgpt-lab.com) 18 @Tomodo_ysys
19. GPT-4o (OpenAI) 特徴に乏しい平均的な性能 そこそこ早い AIっぽい Claude3 opus (Anthropic) 温かみのある返答 過剰に長文 応答速度が遅い アプリ解説：モデル選定比較 Gemini 1.5 Pro (Google) 簡潔で的確、絵文字使用 高速なレスポンス 無料 性能にはあまり差はない。割と好みの問題 19 @Tomodo_ysys
20. 直近10件 ＆ 直近1時間 参照履歴 チャット履歴全体 （スレッド概念は ない） LINE LINEにはスレッドの概念がないので自分で切れ目を用意する 会話履歴の管理 直近10件に加え1時間の制限も ・回答がおかしくなったときリフ レッシュできない。 ・会話の時間が空いた時も続きの会 話になってしまう。 コストの抑制 20 @Tomodo_ysys
21. Azureにデプロイする 03 21 @Tomodo_ysys
22. インフラからアプリまで一撃でセットアップできるAzureの新しいツール クラウドリソースのプロビジョニング、アプリケーシ ョンデプロイ、CI/CDパイプライン設定などが可能 開発者向けワークフロー支援ツール 2023年5月に安定版リリース。まだ記事などは少な い。 比較的新しいツール アプリとインフラを含めた多数のテンプレート。azd upだけでアプリを簡単セットアップ。流用するもよし 豊富なテンプレート Azure Developer CLI (azd) とは Azure Developer CLI Deep Dive 22 @Tomodo_ysys
23. 今回使うAzureサービスは大きく3つ Cosmos DB 1000 RU/秒のスループット、25 GBのストレージまで無料 グローバル分散とマルチモデル対 応 フルマネージドのNoSQLデータベ ース App Service コードやdockerイメージをデプロ イすると起動してくれる AppServicePlanの上で動作する フルマネージドのアプリケーショ ンホスティング基盤 App Service Plan 今回はFreeプランを選択 プランを上げるほど確保できるリ ソースが増える アプリを実行するための仮想サー バー環境 Azureの主要インフラリソース 23 @Tomodo_ysys
24. アプリ起動までで詰まったら以下のログを確認 （無料プランでライトに見る場合） インフラプロビジョニン グログ リソースグループ＞デプロイからインフラプロビジョニング のログを確認できます。進捗状況やエラーメッセージなど Dockerログ App Service＞高度なツール＞REST API＞Current Docker LogsからログのURLを確認→開く。Dockerコンテナのログ アプリケーションログ App Service＞ログストリーム。アプリケーションのログを リアルタイムで確認。高度なツールからも確認可能。 Point 01 Point 02 Point 03 無料プランでさっと見られるログはどこ？ 24 @Tomodo_ysys
25. 時間を空けて利用再開するとコンテナ起動の時間が発生 Always On機能が利用可能。Basic最安のB1プランだと月に約2100円 程度。8コンテナまで起動できるので複数コンテナ利用であれば〇 Basicプラン以上にすると常時起動 2 20分利用がないとコンテナが停止します。再度アクセスするとコンテ ナ起動から再開 非アクティブ時にコンテナ停止 1 App Service無料プランの注意点 25 @Tomodo_ysys
26. 簡単な実装でリッチなトレースを無料でできる必須ツール データセットやプロンプトの管理、プレイグラウンド機能 など LLMアプリ運用に関する幅広い機能 langchainを使っていれば数行の簡単な実装でトレース可 能 簡単な実装 langchainの各処理ステップを可視化し、各ステップの入 出力の確認（月5000トレースまで無料） メッセージトレース Langsmithによるメッセージトレース 26 @Tomodo_ysys
27. 締め 04 27 @Tomodo_ysys
28. より使いやすいキャラクターボットを実現するため、現状の課題と改善案を示 す ユーザを間違ったペルソナにしてしまう（子 供の話をするとお母さん扱い） プライベートなコンテキストが必要 一度不自然な返答になると会話履歴で以降も 影響。時間経過以外のリフレッシュ手段がほ しい。特定のキーワードでリフレッシュ等 スレッドリフレッシュ機能は必要 ローディングアニメーションはbotしか送らな い。人間は送らない。LINEとしては既読がつ いてしばらく反応ないくらいが自然？ ローディングアニメーション不要説 実際の使用感と改善点 28 @Tomodo_ysys
29. 単純なキャラクターbotは飽きる。愛嬌と特別感 愛嬌 キャラクター性の向上 返答と一緒に感情パラメータを出力。 スタンプを複数用意しておき、感情に そったスタンプを送信 特別感 個人コンテキストの理解 コンテキストとして個人情報、日付、 時刻情報などの設定。日記などユーザ 情報がわかるものでRAGチャットボッ トにする 今後の展望 29 @Tomodo_ysys
30. キャラクター道、第一歩は意外と簡単。 LINEはAPIのみで簡単に利用 01 LINEを使えばバックエンドだけで 済む テンプレートから流用。langchainベースのスクラ ッチのバックエンドも簡単にデプロイできる 02 Azdを使えば簡単構築 1時間、10件以内になど柔軟に取得も可能 03 CosmosDBを使って会話履歴を管 理 langchainベースで書いておく恩恵 04 langsmithお手軽トレース LINEにどうスレッドの概念を持たせるか 05 スレッドの管理は課題 カギは愛嬌と特別感。この2つをどう増やしていけ るか 06 単純なキャラクターボットは飽きる 問題 まとめ 30 @Tomodo_ysys
31. ご清聴ありがとうございました 31 @Tomodo_ysys