Share
Embed
いま注目しているデータエンジニアリングの論点
2025.09.30開催の「Data Engineering Study #31」の登壇資料です。LLMの発展が急速に進む現在において、stable株式会社代表の私が注目しているデータエンジニアリングの論点についてまとめました。
Ikki Miyazaki
September 30, 2025
Transcript
37 slides
-
Copyright stable, inc. All rights reserved. いま注目している データエンジニアリング
論点 2025.09.30 Data Engineering Study #31 1 stable株式会社 代表取締役 宮﨑一輝 -
Copyright stable, inc. All rights reserved. 自己紹介 2 宮﨑一輝( ikki)
stable株式会社 代表取締役 & データエンジニア - 略歴 - コンサル → データアナリスト → データエンジニア - 2023年にstable株式会社を創業 - 得意領域 - dbtを用いたデータモデリング - データ分析 - そ 他 - 犬2匹を飼っています🐶 -
Copyright stable, inc. All rights reserved. 会社概要 3 わたしたち データエンジニアリング領域
クライアントワーク を中心に、 「企業 データ活用 成功」 を支援する会社 です。 会社名 stable株式会社 設立 2023年9月 所在地 〒151-0051 東京都渋谷区千駄ケ谷 5丁目15−5 DSビル703 代表取締役 宮﨑 一輝 従業員数 正社員3名、業務委託 12名(2025年9月時点) -
Copyright stable, inc. All rights reserved. データ基盤整備 プロ 知見やリソースを、 1ヶ月単位で提供しています。
stable 提供サービス 4 プロ 知見・リソースがすぐに得られる - 多数 案件を経験するプロ 知見を得られる - 実装まで行う で、社内にリソースがなくても OK 1ヶ月ごと 月額制で柔軟な支援体制 - 見積もりが発生せず、すぐプロジェクトを開始できる - 1ヶ月ごとにコミット量 調整が可能 -
Copyright stable, inc. All rights reserved. 案件獲得も順調な で、データエンジニア 方 採用を強化中!
データエンジニア募集中 5 *1: Pitta <https://pitta.me/matches/scbUsnxgXYJd> *2: note <https://note.com/ikki_mz > \ カジュアル面談募集中 / \ 会社 ことが分かる noteも書いてます / -
Copyright stable, inc. All rights reserved. 1. 前置き 2. 今度こそデータ整備
重要性を上げられる? 3. まず データ活用 総量を上げる 4. AIと人間 協働 5. まとめ 6 -
Copyright stable, inc. All rights reserved. データ整備に対する認識 7 出典:X
<https://x.com/maskedanl/status/1924652955724349790> 生成AIブームに乗っかる 大事だが、一方でデータ整備 放置されがち ... -
Copyright stable, inc. All rights reserved. garbage in garbage out
8 「Garbage In, Garbage Out」と 、欠陥 ある、また 無意味な入力データ 無 意味な出力結果を生み出すという概念である。 機械学習 品質 低いデータ (Garbage) データ分析 AIエージェント 質 低い結果 (Garbage) -
Copyright stable, inc. All rights reserved. garbage in garbage out
9 AIエージェント アプリケーション 、 OpenAIなど AIモデルプロバイダ等により急 速に発展しているが、自社 データ 自社で解決しないと良くならない。 機械学習 品質 低いデータ (Garbage) データ分析 AIエージェント 質 低い結果 (Garbage) OpenAIなど AIプロバイダや、 Google, Snowflakeなど クラウドベンダにより急速に発展 自社でやらない限り、 自然と良くなって いかない -
Copyright stable, inc. All rights reserved. AI活用とデータ整備 10 AI活用 注目されやすいが外部要因(
ex. OpenAI, Google) 影響が大きい。 対極的に、データ整備 自社でやるしかないが、放置されがちである。 データ整備 AI活用 外部要因 自社要因 放置 注目 -
Copyright stable, inc. All rights reserved. 1. 前置き 2. 今度こそデータ整備
重要性を上げられる? 3. まず データ活用 総量を上げる 4. AIと人間 協働 5. まとめ 11 -
Copyright stable, inc. All rights reserved. 🎯概要 - 事業部側 、分析したい事がある場合、デー
タチームに分析依頼を投げる - データチーム 分析を行い、 分析結果を事業部側にレポートする ⚠懸念 - データチームが分析結果を返すまで リードタイムが発生 する - 事業部側が持つコンテキストが、データチー ムへ 依頼 際に失われやすい データチーム 体制 / 依頼型 12 「依頼型」 、データチームが各事業部 データ集計依頼に応えるという体制。 事業部側にデータ抽出 スキルがない場合、必然的にこ 体制になりやすい。 データチーム 営業 マーケ 開発 分析結果 依頼 「依頼型」 -
Copyright stable, inc. All rights reserved. データチーム 体制 / AIによるデータ
民主化 13 「AIによるデータ 民主化型」が実現すると、 AIエージェントが事業部側 分析ニーズに応えてくれるため、前述したような課題が解決する で 。 データチーム 営業 マーケ 開発 「AIによるデータ 民主化型」 AIエージェント メンテナンス 自然言語で 問い合わせ 🎯概要 - データチーム 代わりに、事業部側 依頼に 応えてくれるAIエージェントを用意する - 事業部側 24時間、AIエージェントから 高速なレスポンスを受け取ることができる ⚠懸念 - 本当に分析結果が正しい か? -
Copyright stable, inc. All rights reserved. 宣伝 15 出典:筆者note「まずデータ活用の総量を増やせ、話はそれからだ」<https://note.com/ikki_mz/n/n3f7843a6afcb> 「まずデータ活用
総量を増やすべし」という話 、筆者 noteにも書きました。 ▼筆者note 「まずデータ活用 総量を増やせ、話 それからだ」 -
Copyright stable, inc. All rights reserved. 1. 前置き 2. 今度こそデータ整備
重要性を上げられる? 3. まず データ活用 総量を上げる 4. AIと人間 協働 5. まとめ 16 -
Copyright stable, inc. All rights reserved. AIと人間 協働 17 AI
素晴らしいが、まだ丸投げ できない。したがって、 AIにどこまで任せるか ”境 界線”を明確にして、協働できるようにしなけれ いけない。 人間 AI AIに任せる領域 人間がやる領域 -
Copyright stable, inc. All rights reserved. データエンジニア 役割 18
データエンジニア ビジネスユーザーと直接やり取りする役割から、 ビジネスユーザーと AI 境界線を整える役割へとシフトしていく。 データエンジニア ビジネスユーザー AI ビジネスユーザー As Is To Be AIとビジネスユーザー 境界線を整える 仕事が増える データエンジニアが直接 ビジネスユーザーとやり取り データエンジニア -
Copyright stable, inc. All rights reserved. 境界線を定めるため いくつか 指針
19 AIと人間 境界線を定めるために、考えるべき観点。 1. 得意領域 見極め 2. サービスレベル定義 3. ガードレール 4. メタデータ、コンテキスト -
Copyright stable, inc. All rights reserved. AIとデータ基盤 20 AI 確率論的な意思決定を主としている
に対して、データエンジニアリング 決定 論的な処理を基本としている。 確率論的 Probabilistic 決定論的 Deterministic AI データ基盤 •最も妥当である確率が 高い結果を返す •嘘や間違った結果を 返すことがある •試行ごとに結果が異なる •ロジック通り 決まった結果を返す •ロジックが正しけれ 嘘をつく事 ない •条件が等しけれ 、 毎回同じ結果を返す -
Copyright stable, inc. All rights reserved. ユースケースA:プロダクト 概観把握 21
多少間違いがあってもリスクが小さい状況で 、 AIを使って高速 & 大量に 集計を行えること メリットが大きい。 ユースケース A:プロダクト 概観把握 入社初日に、自社プロダクト ことを知 るため、プロダクトに関する色々なデー タを見たい AIを用いて高速に集計を行い、色々な観 点でスピーディに見れると良い。たまに間 違いがあってもリスク 少ない。 確率論的 Probabilistic AI -
Copyright stable, inc. All rights reserved. ユースケースB:企業 IR活動 22 絶対に集計
ミスが許されないようなユースケースにおいて 、正しい結果が 安定して返ってくるような、決定論的な処理プロセスが求められる。 決定論的 Deterministic ユースケース B:企業 IR活動 株主に対して自社 業績報告をする。 数値が間違えていると大変なことに ... データ品質・ガバナンスを担保して、 間違えているリスクを極小化した上で データ 集計を行うべき データ基盤 -
Copyright stable, inc. All rights reserved. AIとデータ基盤 補完関係 23
両者 利点を活かして、場合によって使い分ける が重要。 確率論的 Probabilistic 決定論的 Deterministic AI データ基盤 -
Copyright stable, inc. All rights reserved. 境界線を定めるため いくつか 指針
25 AIと人間 境界線を定めるために、考えるべき観点。 1. 得意領域 見極め 2. サービスレベル定義 3. ガードレール 4. メタデータ、コンテキスト -
Copyright stable, inc. All rights reserved. サービス提供者が顧客に対して 約束する品質基準や性能指標 こと
サービスレベルと 27 データチーム 社内 分析ユー ザー → ここまで 保証するけど、ここから 保証できません という線引きが重要 -
Copyright stable, inc. All rights reserved. 例え 、経営における重要度で分けるなら ... 28
企業 データ活用 、経営における重要度が様々である。 経営における 重要度 経営層 :株主報告、事業計画、外部公開 KPI… 事業部長 :事業KPI、経営報告レポート ... メンバー :施策 効果、プロダクト利用状況 ... -
Copyright stable, inc. All rights reserved. 例え 、経営における重要度で分けるなら ... 29
経営におけるデータ活用 重要度を定義して、そ 重要度に合わせて、 AI活用 度合いを調整する。 経営における 重要度 データチーム AI + データチーム AI + 非データ人材 責任範囲 経営層 事業部長 メンバー :株主報告、事業計画、外部公開 KPI… :事業KPI、経営報告レポート ... :施策 効果、プロダクト利用状況 ... -
Copyright stable, inc. All rights reserved. サービスレベル定義 事例 30
*1: harry「Tier定義で実現するAI-Readyなデータ利活用」 *2: Yasuhisa Yoshida「10Xでのデータ基盤の変遷とこれから」 Tier表や、データに対する期待値レベルを定義している事例も増えてきている。 ▼dely株式会社 事例*1 ▼株式会社10X 事例*2 -
Copyright stable, inc. All rights reserved. 境界線を定めるため いくつか 指針
31 AIと人間 境界線を定めるために、考えるべき観点。 1. 得意領域 見極め 2. サービスレベル定義 3. ガードレール 4. メタデータ、コンテキスト -
Copyright stable, inc. All rights reserved. ガードレール 32 出典:Yasuhisa Yoshida「dbt開発
with Claude Codeのためのガードレール設計」 AIに丸投げする まだまだ危険。そ ため ガードレールが必要。 ▼株式会社10X 事例 -
Copyright stable, inc. All rights reserved. 境界線を定めるため いくつか 指針
33 AIと人間 境界線を定めるために、考えるべき観点。 1. 得意領域 見極め 2. サービスレベル定義 3. ガードレール 4. メタデータ、コンテキスト -
Copyright stable, inc. All rights reserved. メタデータ、コンテキスト 34 SQL生成
AIエージェントに任せるようになったとしても、事業に関する コンテキストを用意する 人間 仕事で、人間に入力させる も人間 仕事。 データチーム 営業 マーケ 開発 AIエージェント メンテナンス 問合せ 事業に関するコンテキストをテキストとして蓄積 し、AIエージェントから参照可能にする メタデータ・ コンテキスト ここをいかに増やすかを考える データエンジニア 役割 -
Copyright stable, inc. All rights reserved. 1. 前置き 2. 今度こそデータ整備
重要性を上げられる? 3. まず データ活用 総量を上げる 4. AIと人間 協働 5. まとめ 35 -
Copyright stable, inc. All rights reserved. 三行まとめ 36 1. AI活用もいいけど、データ整備を放置しない(させない)!
2. まず データ活用 総量を増やさないと始まらない! 3. データエンジニア 、人間と AI 境界線をいい感じにする仕事へと徐々 にシフトしていく!