分析AIエージェントを育てる、動く環境を育てる

Data Engineering Summit 2026 前夜祭 LT（2026-10-08）。分析AIエージェントの利用履歴（人の訂正と自動採点）から原因を 3 つの観点で分け、カタログ・コンテキスト・マートのどこを直すかを決めた手順と、評価セットで確かめた結果。株式会社CODATUM 小池 智哉

Transcript

1. 分析AIエージェントを育てる 動く環境を育てる Data Engineering Summit 2026 前夜祭 株式会社CODATUM COO 兼 エンジニア 2026.10.08 ⼩池 智哉
2. 分析AIエージェントを育てる、動く環境を育てる 分析AIの利⽤履歴を分析し、AIと環境を直す、育てる まずAIを使ってもらう 原因究明 AIエージェントを育てる 動く環境を育てる エージェントを直す 依頼の仕⽅‧設定‧システムプロンプト 利⽤履歴 会話‧⼈の訂正‧⾃動採点を 溜める 失敗を⾒て原因を分ける 分類の案: A どの⼯程で外れたか / B 何が⾜りないか / C どの重さで エージェントの実装基盤を直す ツール‧権限‧接続‧実⾏基盤 直すか 周りの環境を直す カタログ‧コンテキスト‧マート 前半は左の2つ（採点 → 原因究明 → 直す）、後半は右の環境を整える順番と実験の話 © Codatum Inc. | 02
3. 分析AIエージェントを育てる、動く環境を育てる BI / AI を開発‧提供する会社 の データ基盤担当 ⾃⼰紹介 ⼩池 智哉 株式会社CODATUM COO 兼 エンジニア プレイドでKARTEの分析機能を開発、2023年10⽉からCodatumの⽴ち上げ 所属企業 Codatum: BI / AIプロダクト を開発‧提供 明⽇ 10/9（⾦）14:00〜14:40 本編セッション「分析AIエージェント時代、AI-readyなデータ基盤はどこまで整備すべき か」で進⾏役をします © Codatum Inc. | 03
4. 分析AIエージェントを育てる、動く環境を育てる With Codatum メンバーもAIも、 ひとつの場所で分析 ‧ 分析のたびに、SQL‧チャート‧解釈をナレッジ化 ‧ エンジニア‧アナリストのレビューで正しさを担保 ‧ ナレッジをメンバーもAIも参照し、速く正確に © Codatum Inc. | 04
5. 分析AIエージェントを育てる、動く環境を育てる Codatum AIで分析する 動画: Codatum AI Agent teaser movie（YouTube） © Codatum Inc. | 05
6. 分析AIエージェントを育てる、動く環境を育てる 「とりあえずAIを⼊れた」で済ませてしまう 精度 もっともらしい答え、実際は別のテーブルや古い定義 直結 AI データ基盤 効率 同じ探索を毎回やり直し、時間とトークンがかさむ 誤った分析 ⾃信のある誤答がそのままコピーされて広がる 「AIを導⼊した」の次へ、AIエージェントを育てる環境づくり © Codatum Inc. | 06
7. 分析AIエージェントを育てる、動く環境を育てる Codatumの機能を使った所と⾃前で作った所 Codatumの機能 今回作成した（Claude Code） ‧ 分析AIエージェント（Codatum AI） ‧ 訂正の抽出と原因の分類 ‧ 設定（定義や⼿順を書いて読ませる） ‧ 評価セット‧正解‧◦△×の採点 ‧ 会話の⾃動採点 ‧ 実験⽤のマート ‧ 会話と採点の記録 Codatum AIの部分は、Claude Agent SDKなどで作る⾃前のエージェントに読み替えてください © Codatum Inc. | 07
8. 分析AIエージェントを育てる、動く環境を育てる 間違えたらまずい分析以外を社内に開けてみた データエンジニアに残した Codatum AIに開けた 社外に共有するデータ‧経営やIRに使うデータ それ以外の分析 ビジネス側の数値の肌感がない⼈の分析 危ないデータだけマスクして、データ基盤を広く開けた 使った⼈ セッション 分析のターン 10⼈ 138 288 溜まった会話と⾃動採点の記録を分析した、まずは⾃動採点の話から © Codatum Inc. | 08
9. Codatumの機能 分析AIエージェントを育てる、動く環境を育てる Codatum AIの採点の利⽤と仕組み 使う⼈ 会話 Codatum AI 記録 会話の記録 Codatum AIに SQLを書いて実⾏ ターン‧発話 分析を頼む 回答する ツールの実⾏ 45分後に 読み出す 採点ジョブ 格納 採点結果 定期実⾏ 遂⾏度‧実⾏効率‧ 次の発話も⾒て 難易度 各1〜5点 LLMが3基準で採点 Codatum AIのEvalとして⼒を⼊れている所、採点の使い道 モデルの差し替え Codatum AI管理者へのフィードバック 最新モデルに替えるときのABテスト 点の低い会話を使う側の管理者に知らせる 今⽇の話 会話の採点を使って社内のAI利⽤を振り返る。追加の原因究明と実験結果を共有する © Codatum Inc. | 09
10. Codatumの機能 分析AIエージェントを育てる、動く環境を育てる 採点基準1‧依頼の遂⾏度（1〜5） AIに評価させている観点 ‧ 依頼と意図に沿い、明確で簡潔か ‧ ⻑さや網羅性は加点しない ‧ 次の発話が訂正なら下げる アンカー（LLMに渡している点数の⽬安） 1点 依頼を達成できていない、明確に誤り 3点 主要部分は応えたが抜けや誤りが残る 5点 意図どおりに達成、次の判断に移りやすい 例: 関係ないテーブルの説明で終わる 例: 解釈違いを次の発話で指摘された 例: 頼まれた範囲で集計、要点が短い © Codatum Inc. | 10
11. Codatumの機能 分析AIエージェントを育てる、動く環境を育てる 採点基準2‧実⾏効率（1〜5） AIに評価させている観点 ‧ アンカー（LLMに渡している点数の⽬安） ⾒るのは実⾏の過程だけ、回答の中⾝は⾒ ない ‧ ツール呼び出しとSQL実⾏の順番と成否 ‧ 失敗‧リトライ‧中断の多さ ‧ 少数の失敗から回復できれば下げない 1点 失敗とリトライが頻発し前に進まない 3点 失敗はあるが回復して到達 5点 失敗なく直線的に到達 例: 同じSQLエラーを繰り返し上限で停⽌ 例: 失敗が数回、都度直して回答 例: 探索‧実⾏‧回答を最短で © Codatum Inc. | 11
12. Codatumの機能 分析AIエージェントを育てる、動く環境を育てる 採点基準3‧依頼の難易度（1〜5） AIに評価させている観点 ‧ 回答とは別に、依頼の側だけを⾒る ‧ 結合‧前処理‧意図の解釈が要るほど⾼い ‧ テーブルやクエリの添付があれば低め アンカー（LLMに渡している点数の⽬安） 1点 データ処理なしの単純な質問 3点 結合や⽐較など分析設計の判断が要る 5点 多段の分析‧強い曖昧さの解消 例: この機能の使い⽅は？ 例: プラン別‧⽉別の解約率を前年⽐で 例: 売上が落ちた原因を調べてレポートに © Codatum Inc. | 12
13. 分析AIエージェントを育てる、動く環境を育てる 概況の把握には便利なので、フィルタとして利⽤が吉 役に⽴った 1 役に⽴った 2 役に⽴たなかった 全件読まずに ⼈の訂正があると 数字の正誤は 概況が分かった 点は下がる ⾒られない 分析ターン95件すべてに点が付き、94 次の発話が訂正だった9件のうち3件は データそのものは渡していない、訂正 件が4点以上 3点以下 があった9件のうち6件は4点以上のま ま 採点⽅法はその後アップデートしている © Codatum Inc. | 13
14. 分析AIエージェントを育てる、動く環境を育てる 訂正と追加質問をClaude codeで分類 2回⽬以降の⼈の発話 訂正 疑義 追加質問‧指⽰ 267件 28件 5件 234件 判定の仕⽅ キーワードと⾔い直しの正規表現で候補56件に絞り、267件は全件Claude codeで確認、 直前の回答とも突き合わせる 注意 判定はClaudeが1回だけ、⼈の⼆重チェックはしていない © Codatum Inc. | 14
15. 分析AIエージェントを育てる、動く環境を育てる 訂正28件を3つの観点で分けた A どの⼯程で外れたか B 何が⾜りないか C どの重さで直すか 決まること: 作業のどの段階で誤ったか 決まること: ⾜すものと置き場所 決まること: 直せる中で⼀番軽い直し先 依頼の解釈 データの選択 意図 定義‧条件 組み⽴て‧実⾏ 振る舞い 回答のまとめ 知識 データ 道具 使う⼈も直せる 依頼を直す コンテキスト カタログ データ担当だけが直せる システムプロンプト 権限‧接続 マート ツール‧実⾏基盤 © Codatum Inc. | 15
16. 分析AIエージェントを育てる、動く環境を育てる A‧どの⼯程で外れたか 決まること エージェントの作業のどの段階で誤ったか 依頼の解釈 データの選択 定義‧条件 組み⽴て‧実⾏ 回答のまとめ 依頼の読み取りで外れ テーブル‧列‧道具の 数え⽅‧条件‧指標の SQLや処理の組み⽴て 結果の説明‧形‧確か た 選択で外れた 定義で外れた ‧実⾏で外れた め⽅で外れた 例 同期が3⽉で⽌まったテーブルを使い、途切れを利⽤の低下と読んだ 例 定期実⾏が取得開始の時刻を暗算で誤り、16件を0件と投稿した データの選択 組み⽴て‧実⾏ © Codatum Inc. | 16
17. 分析AIエージェントを育てる、動く環境を育てる B‧何が⾜りないか 決まること ⾜すものと置き場所 意図 知識 データ 振る舞い 道具 依頼に書かれていない 定義‧置き場所‧仕様 ⽋ける‧誤る‧意味が 確かめずに断定する‧ 使える道具が無い‧使 を知らない 書かれていない やり残す わなかった 例 最終ログイン⽇を利⽤の根拠にした、列の意味を知ら ない 知識 例 接続済みのコネクタを調べずに「使えない」と答 えた 振る舞い © Codatum Inc. | 17
18. 分析AIエージェントを育てる、動く環境を育てる C‧どの重さで直すか 決まること 直せる中で⼀番軽い直し先、上の段ほど軽い 使う⼈も 依頼を直す コンテキスト カタログ 直せる ユーザが⾔い直す‧指⽰⽂を直す 特定のタスクで要るものを取りに⾏ テーブル‧カラムの説明を⾜す ける場所に置く データ担当 システムプロンプト 権限‧接続 マート ツール‧実⾏基盤 だけ どのタスクでも要るルー 権限や接続を⾜す 対応表‧フラグを作る ツールや基盤を改修する ルを毎回渡す 例 社内の数え⽅の決まりを知らなかった、決まりを⽂書に書く 例 列の意味を知らず最終ログイン⽇を利⽤の根拠にした、列の説明に書く 例 契約とSaaS環境IDが⼀致せず名寄せで1社落ちた、対応はデータにしか無い コンテキスト カタログ マート © Codatum Inc. | 18
19. 分析AIエージェントを育てる、動く環境を育てる 社外の閲覧者を含めてアクティブ率を出した 問い 「利⽤者の数を出して。アクティブな⼈も」 間違いの分析、候補の中から選んだもの A どの⼯程で外れたか 依頼の解釈 AIの回答 社員と社外の閲覧者を合わせて「利⽤者N名‧アクティブ率N%」 と答えた データの選択 定義‧条件 組み⽴て‧実⾏ 回答のまとめ B 何が⾜りないか 意図 知識 データ 振る舞い 道具 C どの重さで直すか ⼈の訂正 依頼を直す コンテキスト 「アクティブは社員と社外の閲覧者を分けて出してもらわないと システムプロンプト わからない」 ツール‧実⾏基盤 カタログ 権限‧接続 マート ⾃動採点: 未採点 © Codatum Inc. | 19
20. 分析AIエージェントを育てる、動く環境を育てる 停⽌中の定期実⾏も数えた 問い 「定期実⾏の設定が多い顧客だと何個ある？」 間違いの分析、候補の中から選んだもの A どの⼯程で外れたか 依頼の解釈 AIの回答 削除されていない定期実⾏の数で、顧客ごとの上位を⼀覧にした データの選択 定義‧条件 組み⽴て‧実⾏ 回答のまとめ B 何が⾜りないか 意図 知識 データ 振る舞い 道具 C どの重さで直すか ⼈の訂正 依頼を直す コンテキスト システムプロンプト 「動いているものに絞って」 カタログ 権限‧接続 マート ツール‧実⾏基盤 ⾃動採点: 遂⾏度 4 / 実⾏効率 5 © Codatum Inc. | 20
21. 分析AIエージェントを育てる、動く環境を育てる 最終ログイン⽇で「使っていない」と書いた 問い 「これらのCodatum利⽤環境について、利⽤者のID頂戴」 間違いの分析、候補の中から選んだもの A どの⼯程で外れたか 依頼の解釈 AIの回答 利⽤者の⼀覧を出し、最終ログイン⽇が古い⼈に「今は使ってい ない可能性」と注記した データの選択 定義‧条件 組み⽴て‧実⾏ 回答のまとめ B 何が⾜りないか 意図 知識 データ 振る舞い 道具 C どの重さで直すか ⼈の訂正 依頼を直す コンテキスト 「利⽤は続いているのに、最終ログイン⽇は1年以上前になって システムプロンプト いる。おかしい」 ツール‧実⾏基盤 カタログ 権限‧接続 マート ⾃動採点: 遂⾏度 5 / 実⾏効率 5 © Codatum Inc. | 21
22. 分析AIエージェントを育てる、動く環境を育てる 原因は知識不⾜が最多、直し先はカタログとコンテキストで半分 A どの⼯程で外れたか B 何が⾜りないか C どの重さで直すか 依頼の解釈 1 意図 2 依頼を直す 5 データの選択 7 知識 12 コンテキスト 7 定義‧条件 8 データ 6 カタログ 8 組み⽴て‧実⾏ 6 振る舞い 7 システムプロンプト 5 回答のまとめ 6 道具 1 権限‧接続 0 マート 3 ツール‧実⾏基盤 0 直した コンテキストとカタログの15件は定義‧テーブルの選び⽅‧確認の⼿順を設定とカタログに書き、マートの3件は作った → 直ったかは評価セットで確かめる（このあと） © Codatum Inc. | 22
23. 分析AIエージェントを育てる、動く環境を育てる 整備における迷いポイント: カタログかマートか カタログ‧コンテキストを整える マートを作る intermediateなテーブルを読むので 組み⽴て済みなので 深く広く分析できる 正確で速い 代わりに間違いの可能性が残る 分析できる幅が狭まり AIの能⼒が上がるほど作った分が無駄になる © Codatum Inc. | 24
24. Codatumの機能 分析AIエージェントを育てる、動く環境を育てる 「設定」はCodatum AIに毎回渡すMarkdown 1本、5つの節 置き場所 AIプロファイルのコンテキストに置くノートブック、会話のたびに全⽂が渡る 1 前提 2 問い→テーブル 3 確定定義 データの層と⾒る順番 問いごとの第⼀候補 数え⽅の社内定義 「置き場所と列名は推測しない、 「MRR・契約 → 契約テーブル、月末時点の正 「メンバー数は owner + editor + viewer、guest INFORMATION_SCHEMAで確かめる」 は経営ダッシュボード」 は別に数えて併記」 4 落とし⽳ 5 答え⽅の規律 訂正から起こした注意 どの問いでも守ること 「最終サインインは認証の日時、利用の有無 「1行目で聞かれた数を答える、使った定義、 は閲覧と実行の記録で見る」 期間、テーブル、除外条件を書く」 © Codatum Inc. | 26
25. 分析AIエージェントを育てる、動く環境を育てる コンテキスト設定、マート準備それぞれ改善に寄与 今の設定 コンテキスト設定 設定 ＋ マート 正解数（◦‧10問中） 4 6 8 点数（◦1点‧△0.5点） 6.0 7.5 8.5 時間（10問の合計） 2,966秒 2,024秒 1,353秒 ⼊⼒トークン（10問の合計） 2,416万 1,188万 654万 コンテキスト設定 マート 定義が⾜りない誤りは⽂章で渡せば直る（正解 4 → 6） 名寄せや結合を毎回組み⽴てなくてよくなる © Codatum Inc. | 27
26. 分析AIエージェントを育てる、動く環境を育てる 整える場所は事前に分からない (と考えるのが吉) 結果に対する肌感がないユーザへのデータ提供 データエンジニアが少ない場合や、責任をユーザに委ねら れる場合 セマンティックレイヤーを整えてAI活⽤ 整える場所はAIの利⽤履歴から発⾒する ウォーターフォール的データ整備 マートの⼿前のレイヤも閲覧可能にして様⼦を⾒る 事前ヒアリングをしっかりする 利⽤が多い分析ユースケース‧AI会話を特定して整備 使ってもらえないリスクは織り込む 使っていい所から使ってもらい、利⽤から決める © Codatum Inc. | 28
27. 分析AIエージェントを育てる、動く環境を育てる データを整える順番 1 危ないデータだけ隠して広く開ける 2 採点と⼈の訂正から外した実例を溜める 3 3つの観点で原因を分ける 4 まずコンテキストとカタログに書いて様⼦を⾒る 5 それでも⼈の訂正が続く所だけマートにする 6 重要でないマートは定期的に外して試験し、要らなければ消す © Codatum Inc. | 29
28. 分析AIエージェントを育てる、動く環境を育てる 明⽇ セッションとブースを出しています！ 10/9（⾦）14:00〜14:40 スポンサーセッション 分析AIエージェント時代 AI-readyなデータ基盤はどこまで整備すべきか ブース No. 8 分析AIエージェントのデモと 今⽇の話の続き‧導⼊のご相談 パネル: 柴⼭ 直樹（CODATUM）× 宮﨑 ⼀輝（stable）∕進⾏ ⼩池 ありがとうございました © Codatum Inc. | 31