DSPyとMLflowでLLMアプリケーションを開発_.pdf

2025年7月のJEDAI（Japan Enduser Group | Databricks Innovation）Meet Up 「Data + AI Summit 2025をみんなで振り返ろう！」の発表資料です。

Transcript

1. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyとMLflowで LLMアプリケーションを開発！ CCCMKホールディングス株式会社 テクノロジー戦略本部 チーフAIエンジニア 三浦 諒一
2. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. v v v v v v 自己紹介 三浦 諒一 CCCMKホールディングス株式会社 テクノロジー戦略本部 チーフAIエンジニア タスク AIを活用したサービスの企画・実装 趣味 ・ゲーム(ジャンルはRPG) ・ブログを書くこと
3. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ”DSPy” v ブレークアウトセッションで聞いた、 LLMアプリケーション開発フレームワーク “DSPy”が面白そう！と感じました。
4. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. v v Agent Bricksにも使われている・・・？？ Agent BricksはAgentのタスクを自然言語で書いて参照するデータソースを選択すれば、 自動的に最適化されたAgentが生成できる機能。 = ノーコードで高性能なAgentの開発が可能！ Agentの機能の記述 参照データの設定 RAG Agentの完成！ 自動チューニング… ここ、DSPyっぽい・・・
5. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyとは？？ AIアプリケーションの構築を プロンプトエンジニアリングに頼るのではなく、 Moduleの組み合わせ ( プログラミング ) と 学習データに基づいた最適化によって実現しよう、 というAIアプリケーション開発フレームワーク。
6. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの？ v 文章の感情分析をLLMで実装したい時・・・ v こんなプロンプト、 書いたことありませんか？
7. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの？ v DSPyを使うとこうなる！ プロンプト、というよりプログラム
8. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの？ 実行すると・・・
9. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの？ v DSPyの構成要素 この処理が何を受け取り、 何をして、 何を返すのかを定義する。 → Signature
10. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの？ v DSPyの構成要素 LLMの推論方法を指定。 → Built-In Module
11. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること Built-In Moduleを組み合わせて カスタムModuleを作ることが出来る。 複雑な処理を実装可能。
12. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること User Request Query for Wikipedia Query for Wikipedia Query for Wikipedia Search Planner Wikipedia Search Wikipedia Search Wikipedia Search Answer v たとえば「プログラミング言語の歴史についてまとめて」といったリクエストの場合、 「プログラミング言語の歴史」「コンピュータ言語」「プログラミング言語の進化」といった 多角的な観点でWikipediaから情報を収集し、レポートに出来るフローをDSPyで実装！ AI Response
13. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること v レポートの自動生成をしてみた
14. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ところで・・・ v サイズの大きいLLMと小さいLLMで感情分析すると、 どれくらい精度に違いが出るの？ llama-4-maverick (400b) llama-3-1-8b-instruct 大きい方 小さい方
15. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 検証してみた！ v テキストとそれに対する感情分類(ポジティブ/ネガティブ/ニュートラル)が 含まれたデータ100件で正解率を測定する。
16. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 検証用のコード Llama-4 で実行 Llama-3.1 で実行 大きい方 小さい方
17. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 結果！ v Maverickは94%の正解率。 しかし、処理時間もかかっている。 llama3.1-8bで同程度の精度が出せる？ ・・・プロンプトチューニングで？
18. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyのプロンプトチューニング：Optimizer v DSPyのOptimizerを使うと、学習データを使って Prompt内のInstruction(指示文)とDemos(例)の最適解を探すことが出来る。 Prompt Instruction demos
19. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. プロンプトチューニングの流れ データ セット作成 metricとoptimizer の設定 実行！ v 検証とは別の400件のデータを使用
20. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Optimizerによる最適化後 v Llama3.1でも、 感情分析において llama-4に匹敵する精度に なった！
21. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ところで最適化中に何が起きてるの？ ログはいっぱい出てるけど…
22. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. そんな時は・・・ v MLflowを使いましょう！
23. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. MLflowを使って可視化！ v Databricksならこれを最適化前に実行すればOK！ 精度の記録 Demo 最適化詳細 Instruction
24. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. まとめ v DSPyとMLflowで特定タスクに特化したLLMアプリケーションを作れます！ Databricksを活用して色々なアプリケーションを開発したいと思います。