生成AIアプリを観測してみよう！

この資料は次のオンラインイベントの投影資料です。

＜イベント名＞
生成AIアプリを観測してみよう！

＜イベントページ＞
https://ibm-developer.connpass.com/event/325658/

＜概要＞
現在、⽣成AIに関する関⼼が⾼まっており、⼤規模⾔語モデル(LLM)を活⽤したAIアプリケーションに注目が集まっております。

そのような中、代表的なLLM (GhatGPT, Gemini, IBM Watsonx など)のサービスプロバイダーの多くははinput / outputのトークン利用量に応じた課金体系を取っている状況です。

しかし、LLMを活用したAIアプリケーションを管理する上で、実際のトークン利用量を把握するのは難しく、トークン利用量を管理しながらLLMコスト自体を適切にコントロールすることへのニーズが高まっています。

このようなLLMのトークン利用量やコストの把握に対する課題を解決するためのオープンソース・ソフトウェアの「OpenLLMetry」を今回のイベントでは学習します。

OpenLLMetryを活⽤することえ、⽣成AIが組み込まれたLLMアプリケーションの可観測性を獲得し、トークン使用量、レイテンシー、コストなどの追跡をすることでLLMアプリケーションの可観測性を強化することができます。

なお、今回の発表は、生成AIに興味があるエンジニア向け、生成AIのエンジニア向けを対象に対象にしております。

・座学として、生成AIの近況・課題・解決策について学習内容を基に発表します

・デモとして、LLMを活用したAIアプリケーションのトークン使用量、レイテンシー、コストなどを追跡できるところを見てみましょう！

また、デモではInstanaというAPM (Application Performance Monitoring)ソリューションを利用して可視化を体験していただく予定です。

事前準備などは特に必要ございませんので、初学者の方もお気軽にご参加ください！

※スピーカーの勉強内容を基に発表いたします。

1. 生成AIアプリを観測してみよう！ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
2. Ask the Speaker 写真撮影 動画撮影 資料公開 SNS拡散 セッションにてご 質問ください ◯ × 後日公開します ◯ ◯ #IBMTechXchange #Dojo #AI 生成AIアプリを観測してみよう！ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
3. 18:00-18:05 オープニング 18:05-18:35 座学 ・生成AIの課題 ・OpenLLMetry/OpenTelemetry ・Instana 18:35-18:55 デモ ・シナリオ/デモ環境説明(Killercoda) ・OpenLLMetryデモ 18:55-19:00 QA・クロージング 本日のアジェンダ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
4. オープニング Copyright ©2024 NS Solutions Corporation, IBM Corporation.
5. 当イベントは日本IBMおよび日鉄ソリューションズの有志エンジニアによって企画された勉強会です。 クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。 本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。 セッション中はマイクミュートでの参加にご協力お願いします。 本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。 本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 • IBM、watsonx 、IBM Instana®は、 世界の多くの国で登録されたInternational Business Machines Corporationの商標で す。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リス トについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 • NS（ロゴ）、NSSOL、NS Solutionsは、日鉄ソリューションズ株式会社の登録商標です。 • Azureは、マイクロソフト グループの企業の商標です。 • CNCF、Kubernetes は The Linux Foundationの登録商標です。 • OpenAIはOpenAIの登録商標です。 • その他本⽂記載の会社名及び製品名は、それぞれ各社の商標⼜は登録商標です。 はじめに Copyright ©2024 NS Solutions Corporation, IBM Corporation.
6. 目的 • 生成AIの可観測性を学ぶ・体験する ゴール • 生成AIの可観測性にまつわる課題・ニーズ・ソリューションを理解する • ソリューション (OpenLLMetry w/Instana) をデモを通して理解する →AIアプリのトークン使用量、レイテンシー、コストなどの追跡 対象 • 生成AIに興味があるエンジニア • 生成AIのエンジニア このセッションについて Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 本日は主に座学と簡単なデモで雰囲気だけでも味わってもらえれば嬉しいです • 次回勉強会で理解をより深めるためのStep By Stepのハンズオンを計画中
7. アンケート QRコードを読み取るか、Webexのマルチメディアビューワーより 回答をお願いします Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/uR4Ur2TCE3HdFKZ5tcnjMa
8. 喜多 司(きた つかさ) kita.tsukasa.7ef@jp.nssol.nipponsteel.com <所属> 日鉄ソリューションズ システム研究開発センター <経歴> 2019年に日鉄ソリューションズに入社。 配属当初はKubernetesのNetworkPolicyの調査検証を実施。 その後、Azureのクラウドネイティブ案件に参画し、アーキテクト・DevOps・SRE等を経験。 <趣味など> （フレッシュで酸のある）日本酒が好き （長崎県のスーパーで売られている、甘い）ごま豆腐が好き （マルチプレイで仲間とドキドキを共有できる）FPSが好き 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
9. 菊澤 佑斗 (きくさわ ゆうと) <所属> 日鉄ソリューションズ システム研究開発センター <経歴> • 2023年 中途入社 • - クラウドネイティブ分野の研究開発 <趣味など> 舞浜の夢の国に行く 映画鑑賞 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
10. 江﨑 崇浩 (えさきたかひろ) <所属> 日本IBM テクノロジー事業本部 カスタマー・サクセス・マネージャー (CSM) <経歴> ビジネス／ITコンサルタント：BPR、SCM改革、システム刷新 新規事業開発：コンサル社内やJVによる新規事業案件にてアジャイル開発 CSM：日本IBMに参画してAI・クラウドソリューションの活用促進やコミュニティ活動 (2021-) <趣味など> 筋トレ：年内目標はベンチプレス100kg お酒：ウィスキー、ブランデー、ジン、ビール…何でも 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
11. 座学 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
12. 生成AIの盛り上がり Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://www.jeita.or.jp/japanese/topics/2023/1221-2.pdf
13. 生成AIの課題 Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://www.ibm.com/thought-leadership/institute-business-value/jp-ja/report/enterprise-generative-ai
14. • AIに関わる3つの主体 • AIモデル開発者 • AIシステム提供者 << 今回はこちらに注目 • AI利用者 今回は誰の課題に注目？ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
15. AIシステム提供者の課題 Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ ブラックボックス パフォーマンス セキュリティ ROI/コスト管理 精度・ハルシネー ション プライバシー 問題 ※今回は特に赤字の課題にフォーカス
16. AIシステム提供者の課題 Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ ブラックボックス パフォーマンス ROI/コスト管理 • LLMの出力結果がどのようにもたらされ たか把握するのが困難 • 特定のプロンプトやAPIリクエストに よっては処理時間が不安定になって遅延 • プロンプトやAPIリクエストの実行時に 利用されるトークンの追跡が困難 ※主要LLMプロバイダーはトークン利用料課金が多い
17. LLMアプリの可観測性に関する課題のアプローチ Copyright ©2024 NS Solutions Corporation, IBM Corporation. どんなモデル/APIが、どれく らい時間をかけて、どれだけ のトークンを使用しているか を正確に把握できるとLLMア プリの管理がしやすい • 目的：LLMアプリケーションの可観測性を強化したい • アプローチ：オープンソースのOpenLLMetryを活用して計測しよう 不透明性・ ブラックボックス パフォーマンス ROI/コスト管理
18. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン量 などの出力
19. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン量 などの出力
20. OpenLLMetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • OpenTelemetryに LLMの出⼒とデバック機能を拡張したOSS LLMアプリケーションの可観測性を提供 トークン使用量、レイテンシー、コストなどの追跡 • OpenLLMetryはOpenTelemetryのプロトコルを使用しているので以下の対応が可 能 メトリクス、ログ、トレースも収集可能 既存のApplication Performance Monitoring (APM) 製品(Instanaなど)にも接続できる トークン量 などの出力
21. トークン使用量とは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • LLMプロバイダーによる課金は「トークン」単位になることが多い トークンとは、LLMが生成/処理する単位で一般的には単語や⽂字のこと 大体1⽂字当たり1トークンだが、⽂字の種類によって変わる • 個々のトークン使用量に関する特定は困難 LLMプロバイダーの準備するダッシュボードで全体的な量は分かることもあるが、 リクエストごとに各LLMアプリの処理によるトークン使用量を把握するのは難しい （個々の処理が想定しないコストになっていないか把握・分析するのが難しい） • トークン使用量が把握できると以下のシナリオで役立つ 予算管理：コストが把握できるようになり、予算内での使用が計画できる 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能
22. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール OTLP exporter トークン量 などの出力
23. 【参考情報】OpenTelemetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • CNCFプロジェクトの1つでテレメトリデータを収集するための統一規格 • システムの状態を示すさまざまなシグナルの収集や送信を標準化する可観測性フ レームワークで、ツールやAPI、SDKを提供 • 主要なシグナルは3つ(トレーシング・メトリクス・ログ)あり、これらを基に、ア プリケーションの動作やパフォーマンスを詳細に理解できる様にしてくれる https://opentelemetry.io/
24. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール OTLP exporter トークン量 などの出力
25. IBM Observability by Instanaとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • システムやアプリケーションの状態を可視化するAPM製品 システムの振る舞いを可視化し、不透明なシステムを透明なシステムに変える 再起動や再デプロイ不要であらゆる種類のパフォーマンスや問題の分析が可能 パフォーマンスの可視化 障害分析のサポート
26. 今回紹介する技術/ツールの概念イメージ（再掲） Copyright ©2024 NS Solutions Corporation, IBM Corporation. ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール OTLP exporter トークン量 などの出力
27. デモ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
28. デモの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ@Killercoda Jeager Instana ・・・ 可視化ツール トークン量 などの出力 • 内容：OpenAIのサンプルアプリのトークン使用量などをOpenLLMetryとInstanaで観測 Instanaの エージェント導入 @サンプルアプリ環境 OpenLLMetryの 設定 @サンプルアプリ環境 サンプルアプリの 実行 Instana上で観測 ※今回はサンプルアプリ環境としてKillercodaというサービスを利用 OTLP exporter
29. QA・クロージング Copyright ©2024 NS Solutions Corporation, IBM Corporation.
30. • 生成AIの可観測性の課題→OpneLLmetryによるトークン使用量の可視化 まとめ Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ ブラックボックス パフォーマンス ROI/コスト管理 OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・ 可視化ツール トークン量 などの出力 • 予算管理：コストが把握できるようになり、予算内での使用が計画できる • 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能 OTLP exporter
31. ＜生成AIの可観測性 体験ハンズオン (仮)＞ 1. 生成AIサンプルアプリの立ち上げ @Killercoda 2. OpenTelemetryを使ったトレース情報取得 @Killercoda/Jeager 3. OpenLLMemetryを使ったトレース情報取得 @Killercoda/Jeager 4. OpenLLMemetryを使ったトレース情報取得 @Instana (デモのみの可能性) 次回の予定 Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 10-12月にイベント公開する予定なのでぜひご参加ください！ • 企画にあたって、アンケートのご協⼒もお願いします！
32. アンケート QRコードを読み取るか、Webexのマルチメディアビューワーより 回答をお願いします Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/uR4Ur2TCE3HdFKZ5tcnjMa
33. 日鉄ソリューションズでは、 クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。 ご興味ある方は、ぜひお問い合わせください。 弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」 採用ページ： https://www.nssol.nipponsteel.com/recruit/careers/ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
34. QA Copyright ©2024 NS Solutions Corporation, IBM Corporation. • チャット • マイクオン