Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
みん強Lightning! データ基盤ひとりでできるかな
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Naoya Endo
November 18, 2026
Technology
110
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
みん強Lightning! データ基盤ひとりでできるかな
Naoya Endo
November 18, 2026
Transcript
52 slides
みん強Lightning! 2026年11月18日(水)
みん強Lightning! 2026年11月18日(水) 自己紹介 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、遠藤と申します。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) シミ取りとかシワ取りとか脱毛とかのレー ザー機器を自社で製造したり海外から輸入 して美容クリニックなどに販売しています。 機械だけじゃなく医療機関専売の化粧品や 一般市場向けの美顔器なども扱っています。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データインサイト課 ↓ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 私、7月に異動しました。 データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 なんとかして
データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 ↓ データ・リーガル ソリューション課 法務もよろしく
なんとかして データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 一人部署だからほぼ移動 私、7月に異動しました。 御託はいいから データインサイト課 生成AIもね ↓ データ・リーガル ソリューション課
法務もよろしく なんとかして データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) と、言うことで、まずは前回の復習 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 Excelをつなぎ合わせてデータ基盤を作っていました 年別の売上明細 共通ETL 用途別の集計 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 これが「Data Buckets」の構成です データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 前回の復習 分析できるデータを作るための仕組みでした 名称揺れ、コード不統一、空欄などを、 集計できる・結合できる・説明できるデータに変える。 Excelで作った最強のデータ基盤 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) そして、ある日 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ああああ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 最強、逝く、、、 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ご清聴ありがとうございました。 データ基盤ひとりでできるかな by 遠藤な
None
みん強Lightning! 2026年11月18日(水) うそです。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) でも、失ってはじめて気づいたんです。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 当たり前だと思っていた Excelデータ基盤を ほとんど知らなかったことに データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) さて、どうする? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) そんな ときは もちろん データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 助けて~A~I データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 生成AIと、既存Excelの構造を調べた 40 解析済みExcel 306 確認済みシート 538 シート間の関係 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 枠はファイル、中の箱はシート、矢印は参照 上段:取引データ処理 下段:マスタ・補正 確認状態も読み分ける 黄土色:候補・未解析等 赤:参照破損 矢印:供給元 →
利用先 同名の分割表示は、同じファイル データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 基幹システムの明細を、Excelへ取り込む 売上明細・受注明細 取得・貼付から 処理を始める 年度別の明細を 後続の加工へ渡す データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 共通ETLで加工し、年度別データをまとめる ID・属性を付ける 年度をまたぐ明細へ 用途別に抽出する 顧客・商品・組織を共通で付与 同じ切り口で、複数年を分析 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 加工した明細を、用途別の分析で使う 担当・エリア・支店別 商品別 取引先別 共通の明細を、 複数の切り口で使う 集計・比較・共有用の出力へ データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 業務コードとは別に、分析用の顧客IDを持つ 対応表 顧客マスタ 業務コードと分析用IDを結ぶ 分析するための属性を持つ 取引のコード体系と、分析する単位を分ける 9 データ基盤ひとりでできるかな
by 遠藤な
みん強Lightning! 2026年11月18日(水) 名寄せは、判断が必要な行を分けて扱う 未登録を抽出 候補を表示 コード履歴も 照合に使う 人が確認・補完 データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 赤伝・原伝票を集め、共通ETLで判定する 赤伝・原伝票を識別 年度別の一覧と手動追加を 共通の一覧へまとめる 共通ETLが一覧を参照し、 分析対象を判定する データ基盤ひとりでできるかな by
遠藤な
みん強Lightning! 2026年11月18日(水) 調査で見えた設計と、残った確認事項 引き継ぐ工夫 次に確かめること 分析用の顧客IDを分ける 顧客IDの対応と名寄せ精度 共通の加工を再利用する 年度ごとの処理条件の違い 例外・訂正を一覧で扱う
訂正漏れと未解析の経路 Excelに組み込まれた業務の工夫を、次の基盤へ データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) あれ? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 「データ基盤ひとりでできるかな」は? データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 安心してください! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) やってみましたよ! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) Excelのデータ基盤を、部分的にBigQueryへ移した 927,274行 既存Excel基盤 2019年1月から2026年10月までの売上明細 → 加工済みCSV → BigQuery
→ SQLで分析 元データを取り込み、 生成AIと形式をそろえ、 売上明細を 8年分の件数や売上を 顧客・商品の属性を付与 年別の8ファイルを結合 1つのテーブルに格納 暦年別に集計 Excelで続ける処理 元データからのETL、顧客マスタの管理・名寄せ、赤黒処理 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) 8年分の売上明細を、1本のSQLで集計できた BigQueryのテーブル 暦年別の集計結果 実行したSQL(抜粋) 画面に続く3年の明細件数 2024年 2025年 2026年
158,812件 164,656件 156,636件 全8年で、件数・売上・粗利・補正粗利・数量が元CSVの集計と一致。 データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) Excelでは計算不能。BigQueryでは約0.2秒。 Excelの数式再計算 BigQueryの年別集計 計算できなかった 約0.2秒 実行開始から終了までの実測1回。キャッシュ不使用。 Excelは数式・参照の再計算、BigQueryは加工済み明細の集計。 Excelで積み上げた仕組みを、少しずつ次の基盤へ。
データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) BigQueryへ移したのは、8年分の売上明細の統合・集計 Excel基盤の全体図 取込元のCSV BigQueryでの処理 統合・集計の対応箇所 2 1 3
売上明細CSV 8ファイル 2019年1月〜2026年10月 2 1 BigQuery統合テーブル 結合済みの927,274行を格納 3 SQL集計 暦年別/コスメの月・支店等区分別 集計結果 件数・売上・粗利を算出 Excelで続ける処理 共通ETL、名寄せ、赤黒処理など データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水) ご清聴ありがとうございました! データ基盤ひとりでできるかな by 遠藤な
みん強Lightning! 2026年11月18日(水)
More Decks by Naoya Endo
See All by Naoya Endo
遠藤な_めぐろLT #38 「社内のAI活用推進」@麻布台_20261009
endonanana
0
170
20_遠藤な_データ界隈LT祭_第1回__20260915.pdf
endonanana
0
81
みんなの考えた最強のデータ基盤アーキテクチャ'26前期〜前夜祭〜ルーキーズ_資料_遠藤な
endonanana
0
830
投影資料_データラーニングギルドmeetup_6
endonanana
0
79
Other Decks in Technology
See All in Technology
飯から始まるデータエンジニア
sansantech
PRO
0
120
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
170
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
140
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
170
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
470
変更差分を読むために環境を整備しよう
pipepasta
1
480
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
200
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
460
20261113_JAWS_Osaka
takuyay0ne
1
590
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
120
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
900
Featured
See All Featured
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
Stop Working from a Prison Cell
hatefulcrawdad
274
21k
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.6k
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
Done Done
chrislema
187
17k
How to Talk to Developers About Accessibility
jct
2
620
KATA
mclloyd
PRO
35
16k
Discover your Explorer Soul
emna__ayadi
2
1.3k
Building a Modern Day E-commerce SEO Strategy
aleyda
45
9.3k
Building Better People: How to give real-time feedback that sticks.
wjessup
371
20k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
Un-Boring Meetings
codingconduct
0
500