Cortex(Code) を ML モデルの 精度改善サイクルに組み込む.pdf

Snowflake上での需要予測の精度改善のようなMLOpsにおいて、Cortex(Code)をに利用する取り組み

Transcript

1. Pure Challenge with You Cortex (Code) を ML モデルの 精度改善サイクルに組み込む - 分析から PR 提出まで - Copyright © 2026 AsiaQuest Co.,Ltd. All Rights reserved
2. 2 ⾃⼰紹介 伏貫祐樹(ふしぬきゆうき ) Copyright © 2026 AsiaQuest Co.,Ltd. All Rights reserved 2020年3月〜 アジアクエスト株式会社所属 1991年生まれ35歳 現在1歳半の息子子育て中 現在、保育園で無限に風邪を貰い中 経歴的にはずっとWebアプリケーションのエンジニア 2025年からSnowflakeなどデータエンジニアリングに関わる GitHub: oimo23
3. 3 ⾃⼰紹介 宣伝&普段の活動 Copyright © 2026 AsiaQuest Co.,Ltd. All Rights reserved あまり今日のテーマとは関連が薄いですが ... 技術書典20でOpenSearchでのベクトル検索に関する本 を出しました。
4. 4 会社紹介 アジアクエスト株式会社 Copyright © 2026 AsiaQuest Co.,Ltd. All Rights reserved ▪事業内容 顧客のデジタルトランスフォーメーション支援事業 ▪本社 〒112-0004 東京都文京区後楽2-6-1 住友不動産飯田橋ファーストタワー27F Snowflake・Databricks等 データ・AI関連のお仕事やっています
5. 5 今日話すこと
6. 6 前提 あるファミレスの「店舗xメニュー」 の日次の販売数量の需要予測を行うプロジェクトを想定したお話。 ↓ データのイメージはこんな感じ。他は一般的な店舗マスタやメニューマスタがある
7. 7 典型的な予測精度改善サイクル ⽇々、⼈間が精度向上のため分析~仮説検討~実装まで⾏う
8. 8 今回やりたいこと 「分析 → 仮説 → コード作成 → PR」のフローをAI が回せないか？
9. 9 Cortexによる 分析の代行
10. 10 予実テーブルの中身 今回は分かりやすく全国の店舗軸で誤差率の降順で並べてみる
11. 11 予実テーブルの中身 イオン幕張店、ららぽーとEXPOCITY店、レイクタウン店など商業施設内の店舗の精度が 悪いことが⼈間が⾒れば分かる。
12. 12 今の流れを Cortex に出来ないか分析させてみる SELECT AI_COMPLETE( 'claude-sonnet-4-5', CONCAT( 'ファミリーレストランチェーンの需要予測で、 ', 'WAPEが高い店舗のランキングです。 \n\n', store_list::VARCHAR, '\n\n', 'これらの上位店舗にはどのような共通点がありますか？ ', '店舗名・住所などの特徴から推察できることがあれば教えてください。 ' ) ) こんなイメージのクエリを投げる ※実際はJSONで構造化したレスポンスを安定して返すような⼯夫をするプロンプトも⼊っている ※store_listには前ページの誤差率上位店舗の情報が⼊っている変数
13. 13 Cortex に分析させてみる { common_patterns: ["高誤差店舗は、店名から商業施設内と推定できる店舗に集中していま す。"], recommend_action: ["店名や住所から推定できる商業施設内テナント属性を、構造化した店舗属性 として追加してください。 "] } Cortexが実際に返した結果の⼀部が以下 ※商業施設内かどうかを判別できるカラムはもともと存在しなかった前提 ⼈間が分析し考案する事と同じような分析を返すことがちゃんと出来ている 店名や住所から暗黙の法則を導くのは⼈間には難しくはないが、従来のルールベースのプログラムや機械学習で は意外にも難しかったり⼿間がかかったりしていた
14. 14 他にも出来たこと --4位,5位の店舗の住所 「福岡県福岡市中央区唐人町」 「東京都文京区水道橋」 なぜ出来るのか？ → LLMは⽂章から次にくる⽂章を予測するというところが成り⽴ちなので (たしか) 「東京都⽂京区⽔道橋 → 東京ドーム」「イオン → 商業施設」 が繋がるなどの連想が得意。 Paypayドーム 東京ドーム がそれぞれすぐ近隣に存在するため、イベント有無の影響を受けている可能性がある
15. 15 CortexCodeによる 実装+PRの代行
16. 16 仮説を実際に実装させ用いて PRまで出させる さきほどの分析を⼊⼒に、MLのコードやdbtによるTransform(加⼯)のコードをどう変更したら良いか考えさせる
17. 17 Skill を定義すると、自分の思う方向にコントロールしやすい 1. Cortexの洞察を取得する FAMIL_TABLE.GOLD.CORTEX_FINDINGSテーブルから doneフラグのついてないもののうち最新 1件 を取得して ... 2. 取得した洞察 +提案と、リポジトリのコードを観察し修正が出来そうなら行う リポジトリの構造 src |-ml |-dbt ... 3. ghコマンドを使って PRを出す mainブランチに向けて「 feature/improvement-**」というbranchから... Skillの定義のざっくりとしたイメージ
18. 18 Skill を定義すると、自分の思う方向にコントロールしやすい Skill化したことで簡潔なプロンプトで動き始めてくれるようになる
19. 19 Skill を定義すると、自分の思う方向にコントロールしやすい ⼀気に実装するのではなく⼀度planを挟み起動修正できるようにしている
20. 20 Skill を定義すると、自分の思う方向にコントロールしやすい planのままではなく、少し注⽂を付けて実装を動かす事が可能
21. 21 実際にPRを出すことができた あとは⼈間が承認し、精度が上がったかを確認する
22. 22 実際にPRを出すことができた 差分の雰囲気
23. 23 まとめ ⼈間がやったこと AIがやったこと • WAPE (誤差率) ランキングを眺めた • 「共通点は？」と Cortex に投げた • PR をレビューしてマージした • 住所から商業内⽴地という共通点を発⾒ • 改善案を出した • 実装を⾏い、PRを出した
24. 24 まとめ 課題 • 今回は簡単な例だったので現実の課題にどこまで適⽤できるかは不明 → 難しい法則や最新の前提知識が必要な法則などには気付けないかも • しかし初期段階の改善を⾼速に終わらせ、⼈間が向き合うべき課題に集中できるよう になるだけでも価値はありそう
25. 〒112-0004 東京都文京区後楽2-6-1 住友不動産飯田橋ファーストタワー 27F TEL：03-6261-2701 FAX：03-6261-2702　 25 Pure Challenge with You 伏貫祐樹