Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM時代にデータエンジニアの役割はどう変わるか?

 LLM時代にデータエンジニアの役割はどう変わるか?

第1回 「データ整備を前向きに考える会」で登壇した資料です。

これまで、企業のデータチームがどのような体制で働いていたかを振り返り、AI時代にそれがどう変化していくのかということについて書いています。

Avatar for Ikki Miyazaki

Ikki Miyazaki

October 08, 2025
Tweet

More Decks by Ikki Miyazaki

Other Decks in Technology

Transcript

  1. Copyright stable, inc. All rights reserved.
 LLM時代に
 データエンジニア 役割 どう変わるか?

    
 2025.10.08 「第1回 データ整備を前向きに考える会」 
 1 stable株式会社
 代表取締役 宮﨑一輝

  2. Copyright stable, inc. All rights reserved.
 自己紹介
 2 宮﨑一輝( ikki)


    stable株式会社 代表取締役 & データエンジニア
 - 略歴
 - コンサル → データアナリスト → データエンジニア
 - 2023年にstable株式会社を創業
 - 得意領域 
 - dbtを用いたデータモデリング 
 - データ分析
 - そ 他
 - 犬2匹を飼っています🐶

  3. Copyright stable, inc. All rights reserved.
 会社概要 3
 わたしたち データエンジニアリング領域

    クライアントワーク を中心に、 
 「企業 データ活用 成功」 を支援する会社 です。
 会社名
 stable株式会社
 設立
 2023年9月
 所在地
 〒151-0051 東京都渋谷区千駄ケ谷
 5丁目15−5 DSビル703
 代表取締役 
 宮﨑 一輝
 従業員数
 正社員3名、業務委託 12名(2025年9月時点)

  4. Copyright stable, inc. All rights reserved.
 データ基盤整備 プロ 知見やリソースを、 1ヶ月単位で提供しています。

    
 stable 提供サービス
 4
 プロ 知見・リソースがすぐに得られる 
 - 多数 案件を経験するプロ 知見を得られる 
 - 実装まで行う で、社内にリソースがなくても OK
 
 
 1ヶ月ごと 月額制で柔軟な支援体制 
 - 見積もりが発生せず、すぐプロジェクトを開始できる 
 - 1ヶ月ごとにコミット量 調整が可能 

  5. Copyright stable, inc. All rights reserved.
 案件獲得も順調な で、データエンジニア 方 採用を強化中!

    
 データエンジニア募集中 
 5
 *1: Pitta <https://pitta.me/matches/scbUsnxgXYJd>
 *2: note <https://note.com/ikki_mz >
 \ カジュアル面談募集中 /
 \ 会社 ことが分かる noteも書いてます /

  6. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. データエンジニア

    これまで 役割 
 3. LLM時代にどう変化するか? 
 4. データモデリング 重要性 
 5. まとめ
 6
  7. Copyright stable, inc. All rights reserved.
 🎯概要
 - 事業部側 、分析したい事がある場合、

    デー タチームに分析依頼を投げる 
 - データチーム 分析を行い、 
 分析結果を事業部側にレポートする 
 ⚠懸念
 - データチームが分析結果を返すまで 
 リードタイムが発生する 
 - 事業部側が持つコンテキストが、データチー ムへ 依頼 際に失われやすい 
 データチーム 体制 / 依頼型
 7 「依頼型」 、データチームが各事業部 データ集計依頼に応えるという体制。 
 事業部側にデータ抽出 スキルがない場合、必然的にこ 体制になりやすい。 
 データチーム 
 営業
 マーケ
 開発
 分析結果 
 依頼
 「依頼型」

  8. Copyright stable, inc. All rights reserved.
 データチーム 体制 / 派遣型


    8 「派遣型」 、データチーム メンバーが各事業部 内部に深く入り込み、 
 分析を行う体制。 
 データチーム 
 営業
 マーケ
 開発
 「派遣型」
 派遣
 各事業部内 で分析
 🎯概要
 - 各事業部内 分析ニーズ 、各事業部に 
 派遣されたデータ人材が解決する 
 - 事業部 コンテキストを汲み取りやすく、リー ドタイムも短くなりやすい 
 ⚠懸念
 - データ人材が複数人いる必要がある 
 - 各事業部でナレッジがサイロ化し、 
 横断的な取り組みがしづらい 

  9. Copyright stable, inc. All rights reserved.
 共通する課題
 9 “依頼型”、“派遣型” どちら

    体制を選ぶにしても、データチーム 人数や 
 生産性がボトルネックになり、会社にデータ活用を浸透させるハードル 高い。 
 データチーム 人数や生産性が 
 ボトルネックとなる 

  10. Copyright stable, inc. All rights reserved.
 データチーム 体制 / 教育型


    10 「教育型」 、 SQLやExcelでデータ分析をするスキルを、事業部側 非データ 
 人材に教えることで、依頼を投げずとも自律的に分析が回るようにする体制。 
 データチーム   
 営業
 マーケ
 開発
 「教育型」
 教育
 各事業部内 で分析
 🎯概要
 - データチームが主体となって、事業部側 非 データ人材にSQLなど スキルを教える 
 - 事業部側 メンバーが自律的に分析を行う 
 ⚠懸念
 - データ分析を教える が大変 
 - 非データ人材が分析をすることで、 
 集計ミスや品質 問題が起きやすい 

  11. Copyright stable, inc. All rights reserved.
 データチーム 体制 / 増員型


    11 データチーム 人数がボトルネックな であれ 、「増員型」で単純に増員 
 したいところだが、それが出来たら苦労 しない ...
 データチーム 
 営業
 マーケ
 開発
 「増員型」
 🎯概要
 - 結局、データ人材 人数がボトルネックになっ ている
 - で 、単純に増員すれ いい で 
 ⚠懸念
 - それが出来たら苦労 しない ...

  12. Copyright stable, inc. All rights reserved.
 各体制 比較
 12 これまで紹介してきた体制

    、それぞれ何らか 問題を抱えており、 
 データ活用を推進するハードルとなっていた。 
 「依頼型」 
 「派遣型」 
 「教育型」 
 「増員型」 
 精度
 非データ人材 ためミ スが起きやすい 
 実現難易度・コスト 
 採用コスト・ 
 採用難易度高い 
 分析 リードタイム 
 事業部側が 
 自身で分析を行える 
 データ人材が 
 事業部側として活動 
 データチーム リソース 
 依頼 制限や 
 納期調整 一定可能 
 教える労力が大きい 
 派遣できるだけ 
 人がいない 
 事業部 コンテキスト 
 事業部側が 
 自身で分析を行える 
 人が増えれ 、事業 側に入り込みやすい 
 データ人材が 
 事業部側として活動 
 依頼ベースで 
 限界がある 
 教える が難しい 

  13. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. データエンジニア

    これまで 役割 
 3. LLM時代にどう変化するか? 
 4. データモデリング 重要性 
 5. まとめ
 13
  14. Copyright stable, inc. All rights reserved.
 AI 得意なこと
 15 AIが得意とする

    、「そこそこ 品質 も を、いつでも、高速で返すこと」 
 1. 高速なレスポンス 
 2. 24時間、365日稼働できる 
 3. そこそこ 品質 

  15. Copyright stable, inc. All rights reserved.
 データチーム 体制 / AIによるデータ

    民主化型 
 16 「AIによるデータ 民主化型」が実現すると、 AIエージェントが事業部側 
 分析ニーズに応えてくれるため、前述したような課題が解決する で 。 
 データチーム   
 営業
 マーケ
 開発
 「AIによるデータ 民主化型」 
 AIエージェント 
 メンテナンス 
 自然言語 で問い合わ せ
 🎯概要
 - データチーム 代わりに、事業部側 依頼に 応えてくれるAIエージェントを用意する 
 - 事業部側 24時間、AIエージェントから
 高速なレスポンスを受け取ることができる 
 ⚠懸念
 - 本当に分析結果が正しい か? 

  16. Copyright stable, inc. All rights reserved.
 各体制 比較・改
 17 AIエージェント

    活用が上手くいくと、データチーム リソースに余裕ができ、 
 事業部側も高速、かつ、コンテキストを汲んだ分析結果を得られる可能性。 
 分析 リードタイム 
 事業部 コンテキスト 
 精度
 データチーム リソース 
 依頼型
 派遣型
 教育型
 増員型
 事業部側が 
 自身で分析を行える 
 事業部側が 
 自身で分析を行える 
 非データ人材 ためミ スが起きやすい 
 依頼 制限や 
 納期調整 一定可能 
 教える労力が大きい 
 実現難易度・コスト 
 採用コスト・ 
 採用難易度高い 
 人が増えれ 、事業 側に入り込みやすい 
 データ人材が 
 事業部側として活動 
 派遣できるだけ 
 人がいない 
 データ人材が 
 事業部側として活動 
 依頼ベースで 
 限界がある 
 AI
 エージェント型 
 実現可能性高い 
 ・コストも安価 
 事業部側がコンテキス トを渡せる 
 高速なレスポンス 
 勝手に分析してくれる 
 (初期実装も少ない) 
 ?
 教える が難しい 

  17. Copyright stable, inc. All rights reserved.
 精度的な問題
 18 AIエージェントに丸投げして全て解決という訳に いかず、あらゆる品質的な

    
 問題が起きること ほぼ自明。 
 あ 〜、こ グラフと、あ グラフ 
 数値が違う 何でですか? 
 株主に報告していた数値に 
 誤りがあった ...
 なんか数値に違和感がある で、 集計してくれない? 

  18. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. データエンジニア

    これまで 役割 
 3. LLM時代にどう変化するか? 
 4. データモデリング 重要性 
 5. まとめ
 19
  19. Copyright stable, inc. All rights reserved.
 AI時代にやること
 20 データチーム AIエージェント

    メンテナンスをしていれ いい ...?
 データチーム   
 営業
 マーケ
 開発
 AIエージェント 
 メンテナンス 

  20. Copyright stable, inc. All rights reserved.
 AI時代にやること
 21 AIエージェント データ基盤

    データを参照して分析を行う。したがって、 
 そ データ基盤を整備する データエンジニア 仕事として残るだろう。 
 データ基盤 
 データを参照 
 データチーム   
 営業
 マーケ
 開発
 AIエージェント 
 メンテナンス 
 AIが使いやすい 
 データ基盤を整備する必要がある 

  21. Copyright stable, inc. All rights reserved.
 23 AIが使いやすいデータ基盤 is …

    テーブルやカラム 説明など メ タデータが充実している?
  22. Copyright stable, inc. All rights reserved.
 こんな場合を考えてみよう 
 25 とあるサブスクサービス

    データについて考えてみましょう。 
 サブスクテーブル 
 • あるサブスクサービスを登録したデータが入っている 
 • 注意)プランを変更した場合も、 1レコードが追加され、 
 古いレコード 終了扱いになる 
 プラン変更を除く、 
 サブスク登録者 数を集計したい 

  23. Copyright stable, inc. All rights reserved.
 プロンプトで指示する場合 ...
 26 最初から的確な指示を出す

    難しい。ラリーを重 て要件を固めていく。 
 • あるサブスクサービスを登録したデータが入っている 
 • 注意)プランを変更した場合も、 1レコードが追加され、古い レコード 終了扱いになる 
 プロンプト 
 • 「サブスク登録数を計算して!」 
 • 「あ、そうじゃなくて、プラン変更も含まれてるから、 typeカ ラムでプラン変更を判定して、新規登録だけを集計してほ しい」
 AI
 何ラリーかを経て、 
 いい感じに理解して 
 集計を行う 
 サブスク 
 テーブル 

  24. Copyright stable, inc. All rights reserved.
 メタデータで頑張る場合 ...
 27 複雑な仕様をメタデータで記述する場合、

    AIにいい感じに理解してもらう必要があ る。
 • あるサブスクサービスを登録したデータが入っている 
 • 注意)プランを変更した場合も、 1レコードが追加され、古い レコード 終了扱いになる 
 メタデータ 
 • type → 「1: 新規登録、 2: プラン変更」 ように、 
 typeカラムにそれぞれが何を表しているかを記述 する
 • さらに、「プラン変更が含まれるため、新規登録だけを集計 したい場合 、 type=1 を指定する」 ような
 補足が必要かも 
 AI
 いい感じに理解して 
 集計を行う 
 サブスク 
 テーブル 

  25. Copyright stable, inc. All rights reserved.
 データモデリングをちゃんとやる場合 ...
 28 適切なデータモデリングで表現しておけ

    、解釈 余地が入りにくい。 
 新規登録 
 テーブル 
 プラン変更 
 テーブル 
 • あるサブスクサービスを登録したデータが入っている 
 • プラン変更 レコード 除外されており、 
 新規登録 レコード みが入っている 
 • プラン変更時 レコード みが入っている 
 AI
 普通に使え OK

  26. Copyright stable, inc. All rights reserved.
 Text2SQLに必要なも 
 29 メタデータやプロンプト

    チューニング 必要であるも 、しっかりとしたデータモデ リングがベースにあるかどうか 差 大きい で 。 
 データモデリング
 メタデータ
 プロンプト
 データモデリング
 メタデータ
 しっかりしたデータモデリングがベースに なっていると、結果が安定する で 
 プロンプト
 メタデータとプロンプトで 、 
 安定した回答を得ることが難しい? 

  27. Copyright stable, inc. All rights reserved.
 1. 前置き
 2. データエンジニア

    これまで 役割 
 3. LLM時代にどう変化するか? 
 4. データモデリング 重要性 
 5. サービスレベル 定義 
 6. まとめ
 30
  28. Copyright stable, inc. All rights reserved.
 三行まとめ
 31
 1. これまで:

    
 ◦ 依頼型や派遣型がメインで、
 データ人材がボトルネックになりがち だった
 2. これから
 ◦ AIエージェントに分析を任せる ことで、
 人間がボトルネックになる状態から解放される で 
 ◦ データエンジニア データモデリングを頑張ろう