ML Readyなデータの持たせ方 - 導入前の検証でわかったこと-

データマネジメント戦略Night#2 - 5社のリアルを語る会の登壇資料
https://teratail.connpass.com/event/398181/

Transcript

1. ML Readyなデータの持たせ方 - 導入前の検証でわかったこと GA technologies Data本部 Applied ML 若松 拓夢 2026/07/29 データマネジメント戦略Night - 5社のリアルを語る会
2. アジェンダ 1. 登壇者紹介 / 会社紹介 2. 取り組みの背景 3. ML用途データの 3つの「罠」 4. それぞれの「罠」がなぜ起こったのか？ 5. まとめ：取り組みから得られた教訓
3. 登壇者紹介 名前 若松拓夢 / Takumu Wakamatsu 略歴 • • • 新卒：ウェザーニューズ（データサイエンス、新規サービスの開発） 2社目：primeNumber (顧客向けデータ基盤構築、自チーム向けの分析） 3社目：GA technologies 2026.02- (AI・MLのモデル構築 ) 資格・コミュニティ • Kaggle Master 2025.10(🥇2 🥈1) キャリアの軸 • ML・AI技術のビジネス現場への導入、新規の価値創出 wakama1994 3
4. 会社紹介 / GA technologiesの概要 ※コーポレートストーリー 2026年6月より（証券コード：3491）
5. 事業紹介 / RENOSY ※コーポレートストーリー 2026年6月より（証券コード：3491）
6. 取り組みの背景と分析前の仮説 Key Message: アナリストの「新規ロジックを機械学習(ML)で精緻化し収益を最大化したい」という提案に基づき始動し、データが完備され、機械学習の分類・ 推論問題であることからMLによる実効性担保を見込んで検証へ着手 投資用物件の仕入領域のデータ活用と依頼背景 • データを用いた意思決定の開始 : 今年より現場でロジックを活用した AIエンジニア (私)の仮説と十分な見立て • めMLを使えば、十分対応可能と判断 仕入れ物件の意思決定が運用開始 • ビジネス価値の最大化 : その運用前にロジックより精緻な方法を探し、 • 精緻な仕組みの運用体制の検討 : 収益性に加え、ロジックを客観的な 根拠に基づいた運用体制にするため、その1つにMLが活用できない 現場で使うデータの存在 : ロジックはデータに基づくもので、新たに作る手間も ないとから、比較的問題なく検証を進められると想定 収益性最大化したいという現場のアナリストからの要望 • MLで解決できるお題 : 表形式データに対する分類・推論という明確な課題のた • 実効性担保への確信 : Kaggleでのモデリングや手元のCV（クロスバリデー ション）検証経験から、運用前の検証期間でも判断可能と予測 か？と提案 6
7. ML用途データの 3つの「罠」 Key Message: マスタデータ上書きに始まり、過去断面の不在、データのルール変更によるデータドリフトへと課題が連鎖した 罠1：データの上書き 原因： 業務システム上のマスタデータの上書き更新 結果： 査定時点のデータが最新化され、未来の情報を学習（リーク） ⬇ 過去データを復元しようとするが … 罠2：過去断面の不在 原因： BI用に最適化されたデータ構造・履歴保持の仕様 結果： ログからの遡及ができず「査定した瞬間」の状態が復元不可能 ⬇ これから蓄積予定の上書かれない過去断面があっても 罠3：データドリフト … 原因： 業務ルールやカテゴリ定義などデータ外部の運用変更 結果： データの持つ意味が本番運用時に変わり、本番予測性能が悪化 7
8. データ基盤からみた 3つの「罠」 ①-③は取り組んだ順 8
9. 罠1：データの上書き Key Message: 仕入交渉が進むにつれて後から入力・更新される最新データが上書きされ、予測時に本来は存在しない未来情報が混入 査定受領 時 仕入交渉時 データ抽出時 (今回 ) 当日現場が知る情報のみ入力 交渉の進展に伴い詳細を後から入力 最新マスタから過去データをそのまま取得 ※本来予測に使うべき状態 ※既存データが最新値へ上書き ※査定時にはない未来の情報が混入 罠から得た気づき①： EDAの重要性 • 変数の重要度測定によりリークを発見 : 学習時に各変数の寄与度を 測定するSHAPの挙動から予測精度の不自然な上振れを察知 SHAP図の一部(架空のデータ使用) 9
10. 罠2：過去断面の不在 Key Message: 既存ログからの過去断面復元は困難だったため、「 RAW状態のスナップショット保存」が必須 既存ログからの復元の難しさ • 最新のデータを使うとリークになってしまうが、Historicalのデータは存在しなかった • 検証するため、アナリスト用のデータモデリングを活用し、業務システムのログから復元使しようとしたが、以下の点に躓くことに.... a. コーディングエージェントの限界 : データモデリングが自体1000以上のSQLで管理されていたため、リバースエンジニアリングするのが困難 b. ブラックボックスなログ :アナリストも把握できてない例外挙動が裏側に潜伏し、その当時の状態を把握することができない 罠から得た気づき② ：RAW層でのスナップショット蓄積と自動バージョニング • RAW層での保存 : 後からのロジック変更に備え MART（加工後）ではなく「RAWデータ」単位で保存 • 自動バージョニングの活用 : Iceberg等のタイムトラベル基盤活用が有効 10
11. 罠3：データドリフト Key Message: 過去断面があってもデータドリフトが発生する場合、 BI用途と独立した「ML専用MART」の構築が必要 データの意味が変化する「データドリフト」 ビジネスロジックの変更 : 過去断面ログがあっても 、デー • タの意味に変更があると、特徴量の定義や分布も変化して いく 学習と推論の乖離 : 右図のように検証時と運用時で精度 • 結果が変わる データドリフトが引き起こす問題点 罠から得た気づき③： BI用途から切り離された「 ML専用 MART」の整備 • 特徴量の一貫性保証 : 学習時と推論時で同じロジックを固定・保証し、データドリフトの発生リスクを防ぐ 11
12. まとめ：取り組みから得られた教訓 Key Message: ビジネス分析とMLとの思想差を認識し「事前EDA・RAW保存・ML専用MART」の3アプローチでML Readyな基盤を実現 直面した罠 発生した事象 ML Readyなデータにむけたアクション マスタの追記更新による未来情報の混入 分析前EDAの徹底: 後発更新や上書き特性を事前チェッ （リーク発生） クできる体制へシフト 罠1：データの上書き 罠2：過去断面の不在 BI用に最適化されたデータモデリングからのデータ復元の難しさ 罠3：データドリフト データモデリングや集計ロジック変更に伴う定義の変化 RAW層スナップショット : MARTではなくRAW単位で蓄積 し自動バージョニング活用 ML専用MARTの整備: BI集計から物理的・論理的に分離 し専用パイプライン化 12
13. 採用強化中です！ 一緒に働きませんか？ HERP データ関連職種求人一覧
14. RENOSYのオーナー様 になりませんか？ RENOSY トップページ
15. ご清聴ありがとうございました！