生成AIを活用したデータ分析でいまできること

Transcript

1. 生成AIを活用したデータ分析で いまできること 鈴木 元也 CA DATA NIGHT #7 2025/12/16
2. 自己紹介 鈴木 元也（すずき もとや） • 社歴：2017年01月中途入社 • 所属：メディア統括本部 > Data Science Center（DSC） • 担当サービス：主にAmebaLIFE • 業務概要： ◦ 事業のデータ戦略を検討 ◦ 横軸組織のマネジメント ◦ データ分析、データエンジニアリング • @__9en__ 2
3. 生成AI、業務で使っていますか？ 3
4. 「分析エージェント」って 最近よく聞きませんか？ 4
5. いわゆる「分析エージェント」でできること データベース データを集計 考察を生成 SQLの自動生成から、集計結果の考察まで 生成AIで自動化する事例はもう珍しいことではありません 困りごとの多くは集計で解決できることが多いのでとても強力 5
6. 集計の先の「統計的手法」を扱う分析プロジェクトでは？ 集計による分析 統計的手法 まだなかなか進んでいない印象 6
7. なぜ進んでいないのか？ ソフトウェア開発 データ分析 データ分析は「分岐」と「手戻り」が多く、 これらを考慮した自律的な分析エージェントの設計が難しい 要件定義 テスト 設計 実装 リリース 要件定義 モデリング 分析設計 データ確認 報告 ①データが使えない ②精度が出ない 結果に納得感がない ③要件変更 ①要件変更 7
8. 本当に、AIには無理でしょうか？ 8
9. というのを検証したのが 本日のLTです 9
10. 50分 予測モデルを扱うプロジェクトで、分析エージェントを使って 「要件定義」から「報告書」まで完了させた時間です。 ※小規模データ（344×7）のペンギンの測定データで検証 10 人間の関与時間：15分 エージェントの処理時間：35分
11. どのような仕組か？ ①要件定義 ③分析実行 ②分析設計 ④報告書 変更があれば設計書を自動更新 markdown サブエージェント markdown サブエージェント markdown サブエージェント notebook サブエージェント 11 スラッシュコマンド markdown サブエージェント markdown サブエージェント スラッシュコマンド スラッシュコマンド スラッシュコマンド
12. 分析エージェントの工夫点 12 対話設計 品質管理 設計・構成 技術的対応 アウトプット • 不明点は選択肢付き でヒアリング • 各ステップでユー ザー確認し、ずれを 早期修正 • 統一フォーマットで 進捗報告 • インストラクション を生成AIに作らせ る • 新卒指導の内容を評 価基準としチェック リスト化 • エージェントが チェックリストで自 己評価 • よくある問題と対処 方法をドキュメント 化 • テンプレートで出力 を標準化 • サブエージェントで コンテキスト分離 • draft / reviewで 段階的な品質向上 • 設計変更時は設計書 を自動更新 • エラー時は自動デ バッグ＆ライブラリ 追加 • Notebook細分化で 試行錯誤を効率化 • 日本語文字化け対策 • ランダムシード固定 で再現性確保 • 可視化を多用して分 かりやすく • グラフを画像でエク スポートしてmdの レポートに埋め込む • 考察と次のアクショ ンを提案
13. 分析エージェントの工夫点の具体例を いくつか紹介 13
14. 工夫①：不明点は選択肢付きでヒアリング 14 エージェントが不明点を抱えた際 推測で進めるのではなく ユーザーが回答しやすくするために 選択肢付きで質問します
15. 工夫②：エージェントがチェックリストで自己評価 15 レビューを依頼するとエージェントが チェックリストに基づいて評価します。 観点ごとに細かなチェックリストが まとめられています。
16. 工夫③：テンプレートで出力を標準化 16 「要件整理」「分析設計」「分析」「報告 書」のそれぞれでテンプレートを用意。 アウトプットの構造を統一して、 品質のばらつきを抑制します。
17. 工夫④：エラー時は自動デバッグ＆ライブラリ追加 17 エラー 修正 と 再実行 エラーが発生しても停止しません。 エージェントが自らエラーメッセージを 解析して自動でコード修正と再実行をし ます。 ライブラリが不足している場合も 自動でインストールします。
18. 工夫⑤：考察と次のアクションを提案 18 「分析して終わり」ではなく、 分析の結果を考察して、 何を追加ですべきか を提案します。
19. 導入方法 19 STEP1 STEP2 STEP3 DevContainer で分析環境構築 STEP4 環境内にClaude Codeを導入 分析エージェントの Pluginを読み込ませる スラッシュコマンド で分析開始
20. 導入するメリット 20 業務効率化 提案内容の選択と品質チェッ ク。コード生成からプログラム の実行など試行錯誤を自動化。 ナレッジの形式知化 分析エージェントを育てる -> ナレッジが蓄積される -> 業務 が効率化する 若手育成効率化 エージェントの思考プロセスや レビュー基準がそのまま教材と なる。 品質の底上げ チェックリストで品質の自動 チェック。経験によらず一定水 準のアウトプットを担保。
21. さいごに 21 分岐と手戻りの多い統計的手法を扱う分析プロジェクトでも効率化できる 生成AIには勝てないと感じるところ これから人間が担う役割と感じるところ 分析コードを書くスピード 人間では不可能な速度でコードを生成。修正箇所 に影響する・関連するところの修正も対応。動作 確認やデバッグなどもでき、動作するコードを生 成できる。 知識量 学習した膨大なデータに基づき、ライブラリ、 統計手法など最適なアプローチを提案できる。 アウトプットの品質管理 ハルシネーションは依然として存在。正しく導く ための知識と経験が不可欠。 生成AIのマネジメント 意図通りに動かすための指示・設定。精度とコスト のトレードオフを最適化するコンテキスト管理。 AIにはできない専門性の向上 最先端の学術知見や、データ化されていない領域 での専門性を追求。