LLMOpsをレイクハウスで実現するには

[データブリックス レイクハウス プラットフォームにおける最新動向 LT大会 登壇資料]
阿部 和貴

イベント開催日：2023年7月26日

イベントの趣旨：
データブリックス社とエーピーコミュニケーションズ共同開催のLTイベントです。
6月にサンフランシスコで行われたDatabricks社主催の世界最大のデータ&分析&AIをテーマにしたカンファレンス「DATA+AI SUMMIT 2023」の内容から、関連した情報や今後のDatabricksにおける技術情報などをテーマとしています。
データ分析基盤に少しでも興味のある方、データブリックスやLLM（大規模言語モデル）、AIなどデータ分析基盤の導入を検討中のユーザー様を対象にしています。

アーカイブ動画：https://youtu.be/RDcjUBjygBI

Transcript

1. LLMOpsをレイクハウスで実現するには 阿部 和貴
2. Page 2 Copyright © AP Communications Co., Ltd. All rights reserved. アジェンダ ・自己紹介 ・LLMOps lifecycle ・Lakehouse AI ・LLMOpsの各フェーズと課題 ・LLMOpsを実現するDatabricksの機能 ・新機能の簡単な紹介 ・チャットbotを例にしたLLMOps ・まとめ
3. Page 3 Copyright © AP Communications Co., Ltd. All rights reserved. 阿部 和貴（Kazuki Abe） 自己紹介 ▪株式会社エーピーコミュニケーションズ ・Databricks Lakehouseを使った案件に参画 ・APC技術ブログではDatabricksをメインに 　記事を執筆しています（@Kazumain） APC技術ブログ https://techblog.ap-com.co.jp/ ・GLB事業部 Lakehouse部 Databricks関連のブログ https://techblog.ap-com.co.jp/archive/categor y/Databricks ・APCに入社する前は放射線計測機器の 　研究開発をしていました
4. Page 4 Copyright © AP Communications Co., Ltd. All rights reserved. LLMOps lifecycle
5. Page 5 Copyright © AP Communications Co., Ltd. All rights reserved. LLMOpsを実現可能にするLakehouse AIの発表
6. Page 6 Copyright © AP Communications Co., Ltd. All rights reserved. LLMOpsの各フェーズと課題 Choosing LLM & Training Prompt management Testing Evaluation Deploy & Monitoring Proprietary セキュリティの 観点から不安 Open source たくさんあるが どれを使う？ Training NLPの知識が なく、tuningが 不安である モデルの出力と Promptの紐づけ が煩雑に... テストや メトリクスの管理は どうするか？ 複数モデルの性能 を比較したい 　 比較結果から ベストモデルを 選びたい データやモデルに ガバナンスは効い ているか 性能が低下してい るか？ 低下の原因は？ LLMプロバイダの 使用状況が管理で きていない
7. Page 7 Copyright © AP Communications Co., Ltd. All rights reserved. LLMOpsを実現するDatabricksの機能 Prompt management Testing Evaluation Deploy & Monitoring Choosing LLM & Training ユースケースに 対応したOSSの モデルリスト AutoMLが LLMをサポート データとモデルの 品質を同時に追 跡する UI上でPromptごとの 出力結果をテスト・評価 複数モデルでの 出力結果を テスト・評価 LLMプロバイダ の使用状況を 管理する
8. Page 8 Copyright © AP Communications Co., Ltd. All rights reserved. MLflow Prompt Engineering UI パラメータ調節 モデルを選択 クエリーを入力 出力結果
9. Page 9 Copyright © AP Communications Co., Ltd. All rights reserved. Promptごとの出力結果の比較
10. Page 10 Copyright © AP Communications Co., Ltd. All rights reserved. モデルごとの出力結果の比較
11. Page 11 Copyright © AP Communications Co., Ltd. All rights reserved. Lakehouse Monitoringの例 モデルごとのメトリクスの評価 メトリクスの低下原因を テーブルレベルまで遡って特定
12. Page 12 Copyright © AP Communications Co., Ltd. All rights reserved. Clean data Raw data Prompt Engineering User 〇〇とは？ Choosing LLM 〇〇です。 Lakehouse Monitoring cleansing Query 社内のチャットbotを例としたLLMOps Data Engineer Application Developer Lakehouse Monitoring Application Developer Curated AI models Data source ingestion ML Engineer Output Fine tuning MLflow evaluation Vector Store Select best model Monitoring
13. Page 13 Copyright © AP Communications Co., Ltd. All rights reserved. まとめ ・LLMOpsは明確な定義はされていないが、LLMの開発と運用の 　ライフサイクルを円滑に進める体制、または概念のこと ・Data + AI Summit 2023では、LLMOpsの構築に有効なLakehouse AIが発表され 　Unity Catalogによるガバナンスを基に新機能が利用可能 ・Lakehouse AIによってLLMの開発や運用において懸念されていた 　課題を解決できると考えられる ご清聴ありがとうございました