AIエージェント時代のSLM活用事例- 「Phi」ファインチューニングによる 業務特化型オンデバイス生成AIソリューション -

Transcript

1. AIエージェント時代のSLM活用事例 - 「Phi」ファインチューニングによる 業務特化型オンデバイス生成AIソリューション - Microsoft AI Tour2025 株式会社ヘッドウォータース 2025年3月27日
2. 2 Copyright © Headwaters Co., Ltd. 当社紹介:株式会社ヘッドウォータース ・人工知能(AI)トランスフォーメーション ・マルチAIプラットフォーム「SyncLect」 ・デジタルトランスフォーメーション支援 ・クラウド基盤構築支援 ・ハイブリッドアプリ開発 ・業務デザイン支援 ・Power Platform開発支援 事業内容 株式会社ヘッドウォータース 社名 東京都新宿区西新宿6-5-1 新宿アイランドタワー4階 本社 2005年11月 設立 東証グロース上場（4011） 東証コード 1,037名 ※派遣社員・委託先社員を含むデリバリー数 総人員数 株式会社チェンジ(3962) ※資本業務提携 株式会社BTM(5247) ※資本業務提携 ヴィレッジヴァンガードコーポレーション（2769） 株式会社Macbee Planet(7095) 業務提携 ヘッドウォータースコンサルティング(PMO支援) ヘッドウォータースプロフェッショナルズ(常駐支援) DATA IMPACT (海外拠点) グループ会社 Microsoft Japan Partner of the Year 2024 AI Innovation受賞 Advanced Specialization(Data & AI)認定 Microsoft Top Partner Engineer Award 2024 AI 部門最多5名受賞、Azure部門 2名受賞 Azure OpenAI Service RA Advanced パートナー 世界機械学習コンペ「Kaggle」 メダリスト複数在籍
3. 3 Copyright © Headwaters Co., Ltd. 登壇者プロフィール 竹石 興紀 Koki Takeishi  HeadwatersのData&AIチームリーダー  複数の生成AI / EdgeプロジェクトでAIソリュー ションアーキテクトとして従事 2024 Top Partner Engineer Award AI部門受賞 藤江 梓 Azusa Fujie  上流から下流まで、全工程に豊富な経験を有 する  AIの最先端の技術を駆使したプロジェクトに多 数携わる 2024 Top Partner Engineer Award AI部門受賞 当社スペシャリストチーム 「チーム ドラゴン」責任者
4. 01．AIエージェントのビジネス活用におけるニーズ 02．SLMを活用したオフラインAIソリューション開発ポイント 03．今後の可能性 ～ Agentic Worldの広がり ～ アジェンダ
5. AIエージェントの ビジネス活用におけるニーズ 01 5 Copyright © Headwaters Co., Ltd.
6. 6 Copyright © Headwaters Co., Ltd. 98% 2% 生成AI普及率 クラウド エッジAI （出典）IDC「2024年 国内AIシステム市場予測を発表」（2024年4月25日） （出典・引用）デロイト トーマツ ミック経済研究所「エッジAIコンピューティング市場の実態と将来展望 2023年度版【第3版】」 エッジAIの市場規模予測  迅速で安全なエッジAI活用への関心が高まっている 01.AIエージェントのビジネス活用におけるニーズ
7. 7 Copyright © Headwaters Co., Ltd.  軽量かつ実用的なSLMの登場で、エッジAI活用が現実的に! フライト中のオフライン環境での 引継ぎレポート作成をAIが支援 航空業界活用例 「JAL様 x 富士通様 x 当社」※ 実証実験を実施 01.AIエージェントのビジネス活用におけるニーズ
8. SLMを活用したオフライン生成AI ソリューション開発ポイント 02 8 Copyright © Headwaters Co., Ltd.
9. 9 Copyright © Headwaters Co., Ltd. 2.SLMを活用したオフライン生成AIソリューション開発ポイント STEP 01．SLMモデル選択 02．iOS側の推論実行環境の選択 03．量子化の選択  モデル選定から推論環境構築までのSTEP
10. 10 Copyright © Headwaters Co., Ltd. 概要 モデル 2024年4月発表 パラメーターは3xB Phi-3-mini 2024年9月発表 パラメーターは3xB Phi-3.5-mini 2024年12月13公開 パラメーターは14B 2025年1月 商用利用許可 Phi-4 2025年2月27日公開 パラメーターは3.8B Phi-4-mini https://azure.microsoft.com/en-us/blog/empowering-innovation-the-next-generation-of-the-phi-family/  Microsoft Phiシリーズから、タブレット端末で活用可能なモデルを選択 モデル選定から推論環境構築までのSTEP 01．SLMモデル選択
11. 11 Copyright © Headwaters Co., Ltd. 概要 環境 C++で記述された軽量な設計が特徴 Llama.cpp Appleシリコンに最適化されている MLX OS、ハードウェアを問わずONNXを実行できる Onnxruntime iOSアプリにモデルを統合するフレームワーク CoreML iPad mini推論 iPad Pro推論 ファイルサイズ (GB) モデル - NG 5.57 phi-4-q2-gguf NG NG 9.05 phi-4-q4-gguf - OK 4.58 phi-4-q2-mlx NG OK 8.25 phi-4-q4-mlx - - 7.67 Phi-4-mini-instruct OK OK 2.16 phi-4-min-q4-mlx OK OK 4.08 phi-4-min-q8-mlx  iPad上で推論可能なMLXモデルを採用 モデル選定から推論環境構築までのSTEP 02. iOS側の推論実行環境の選択
12. iPad 7 mini • A17Proチップ • 16コアNeural Engine • GPU 5コア グラフィックス 12 Copyright © Headwaters Co., Ltd. 動作検証  要約・レポート生成タスクは、 4bit量子化で十分耐えられる モデル選定から推論環境構築までのSTEP 03. 量子化の選択
13.  推論精度を維持したままSLMをiOS（業務端末）で実行可能 モデル選定から推論環境構築までのSTEP 今回の技術選定結果  Phi-4-mini  MLX（ライブラリサポート）  4bit量子化 工程 01．SLMモデル選択 02．iOS側の推論実行環境の選択 03．量子化の選択 Point
14. 14 Copyright © Headwaters Co., Ltd. 2.SLMを活用したオフライン生成AIソリューション開発ポイント STEP 01．ユーザーヒアリングによる業務整理 02．プロンプト／ファインチューニング  回答精度・品質向上プロセス
15. 15 Copyright © Headwaters Co., Ltd. 業務用語 表記の統一 形式のばらつき 表記ゆれ 情報の過不足  基準となるデータを成形  フリー形式の報告書 どのようにレポート作成している? どんなレポートが良いレポート? 暗黙知のルールは? どんなことが課題?  ヒアリングをもとに情報を精査し、精度評価用の正解データを整形 現状の報告書 顧客と共同で情報精査 回答精度・品質向上プロセス 01．ユーザーヒアリングによる業務整理
16. ファインチューニング 出力形式指定 業務用語 表記統一 16 Copyright © Headwaters Co., Ltd.  出力制御はプロンプトチューニング業務文脈はファインチューニング と役割を適切に分担 回答精度・品質向上プロセス 02．プロンプト／ファインチューニング プロンプトチューニング ～ ファインチューニングデータの生成 ～  学習データを実際のレポート+人により作成  正解データをPhi-4で300件程度まで増やす
17. SLMを活用したオフライン生成AIソリューション開発ポイント
18. 今後の可能性 03 18 Copyright © Headwaters Co., Ltd.
19. 19 Edge Cloud 機内 自動運転車 工場 銀行 小売店 オフィス 当社グループが先駆的に 取り組んでいる領域 主流の動向領域 コールセンター エッジデバイスのAgentic Workflow実現でAgentic World拡大へ Edge・Cloudが相互に連動した Agentic Workflow へ Agentic Edge Workflow Agentic Cloud Workflow デモブースで体験できます 特設ブースで体験できます
20. 20 Copyright © Headwaters Co., Ltd. Agentic Cloud Workflowをブースで体験 Headwaters出展ブース（No.SP1） お問い合わせはこちら 図・写真 QR 弊社事例 金融:正確性の高い情報を提供する金融業界特化型AIエージェント（Financial AI Agent）を開発 大手鉄道会社:業務マニュアルや商品に関する問い合わせを即時に回答するAIエージェントを開発