Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Microsoft Fabricを7ヶ月使ってわかったこと
Search
Shun Oshidari
February 26, 2024
Programming
3
1.5k
Microsoft Fabricを7ヶ月使ってわかったこと
https://azure-ai-hub.connpass.com/event/306890/
Shun Oshidari
February 26, 2024
Tweet
Share
More Decks by Shun Oshidari
See All by Shun Oshidari
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
shun_oshidari
12
9.6k
Other Decks in Programming
See All in Programming
バッチ処理を「状態の記録」から「事実の記録」へ
panda728
PRO
0
160
XP, Testing and ninja testing ZOZ5
m_seki
3
700
Go言語はstack overflowの夢を見るか?
logica0419
0
370
Devoxx BE - Local Development in the AI Era
kdubois
0
130
CSC509 Lecture 05
javiergs
PRO
0
300
組込みだけじゃない!TinyGo で始める無料クラウド開発入門
otakakot
1
300
ソフトウェア設計の実践的な考え方
masuda220
PRO
4
600
Building, Deploying, and Monitoring Ruby Web Applications with Falcon (Kaigi on Rails 2025)
ioquatix
4
2.2k
詳しくない分野でのVibe Codingで困ったことと学び/vibe-coding-in-unfamiliar-area
shibayu36
3
5.1k
AIと人間の共創開発!OSSで試行錯誤した開発スタイル
mae616
1
650
Things You Thought You Didn’t Need To Care About That Have a Big Impact On Your Job
hollycummins
0
230
テーブル定義書の構造化抽出して、生成AIでDWH分析を試してみた / devio2025tokyo
kasacchiful
0
140
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
Rails Girls Zürich Keynote
gr2m
95
14k
The Cost Of JavaScript in 2023
addyosmani
55
9k
A Tale of Four Properties
chriscoyier
161
23k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.5k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Done Done
chrislema
185
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
190
55k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
How to Ace a Technical Interview
jacobian
280
24k
Transcript
GLP is a registered trademark and trademark of GLP Pte.
Ltd in the US, Singapore, and other countries. Azureのデータ系プロダクトがワンストップSaaSとなって新登場! Microsoft Fabricを 7ヶ⽉使ってわかったこと ⽇本GLP DX推進部 忍⾜俊 2024-02-26
⾃⼰紹介:忍⾜ 俊(おしだり しゅん) l ⾮IT系企業の⼀⼈データエンジニア l DeNA、メルペイなどのスマホ系IT企業 で10年近くBigQueryを愛⽤ l 現職でデータ基盤構築中にMicrosoft
Fabricが発表、現在はFabricをベース としたデータ基盤を社内で拡⼤中 l キーボードは分割派、⾃宅に⼯作室が ある 2
会社紹介:⽇本GLP 3 社名 ⽇本GLP 事業内容 物流施設事業 データセンター事業 再⽣可能エネルギー事業 設⽴ 2009年
開発・運営する 施設の総床⾯積 約1,100万㎡(約333万坪) 総運⽤資産残⾼ (AUM) 約3兆9,680億円 テックな トピックス • 「gcp.com」ドメインを保有 • データセンターを開発中(合計900メガ ワットを供給予定) GLP ALFALINK 相模原 GLP ALFALINK 流⼭ 顔認証による⼊館 従業員ラウンジ 託児所の設置 先進的物流施設 GLP ALFALINKシリーズ
Copilotも 先⾏検証中! チーム紹介:DX推進部 4 渋滞情報 物流課題を施設の視点から テクノロジーで解決 Azure OpenAIを活⽤した 業務⽤ChatGPTの開発と導⼊
労働⼒不⾜ 物流クライシス ⻑時間待機 少⼈化・⾃動化
Microsoft Fabricとは? 5 l オフィシャルな説明はネットに溢れ ているので、あえて個⼈的な理解で ⾔語化すると、 l SynapseなどのAzureのデータ系プ ロダクトをSaaSにして、さらに
Power BIも加えて1つにしたもの l Microsoftが満を持して全⽅位全部⼊ りのデータ基盤SaaSを出してきた l ⼀⼈データ基盤でも何とかなる! ウェアハウス (For 構造化データ) レイクハウス (For ⾮構造化データ) BI・可視化 ノートブック ETL・データ連携 パイプライン (ジョブスケジューラー) Data Activation (検知・アラート・トリガー) 機械学習 MS365との連携 Azureとの連携 etc... 個⼈的視点で⾒たFabricの中⾝ Copilot リアルタイムDB
1. SaaS化されているため、⼀⼈でも容易に構築・運⽤できる 2. Power BIがシンプルに超優秀(Looker、Tableau、Looker Studio、Redash、Metabase、 Supersetなどの使⽤経験あり。「How to Power BI」というYouTubeチャンネルがとてもおすすめです)
3. ビジネスユーザーが持つExcelなどの既存資産や、同時期に話題になったAzure OpenAIなどと同じエコシステム内にいて、⾼い親和性が期待できそう 4. データ基盤界隈で標準となりつつあるdbtというフレームワークに、プレ ビュー発表段階ですでに対応していた(きちんとコミュニティを⾒ている) 5. Microsoftの注⼒度合いが感じられる開発スピード(多少不満があってもいず れ解決されそう) Microsoft Fabricを選んだ理由 6
Microsoft Fabricの活⽤例 ① 基本 7 外部SaaSのデータや社内Excelのデータなどを、Dataflow Gen2を使ってWarehouseへ集約。Azureのコンテ ナでdbtを動かしデータを加⼯整備。Power BIで可視化や、Excelでの直接接続に加え、Power BI経由で⾃動
更新されるグラフや表をPower Pointに配置。 外部SaaS Excelなどの ビジネスデータ Dataflow Gen2 Warehouse Power BI Power Point Excel Container Services データの加⼯整備 ETLツール 同じ認証基盤のため社 内資産の接続も安⼼ 無料で使える コネクタが多数 Preview発表時点で 業界標準のdbtの アダプタも存在 業界随⼀の表現⼒ と柔軟性で可視化 (グラフ・表) Power BIの表やグラフ はデータソースとの接 続したまま貼付け可能 Excelからウェアハ ウス上のテーブルに 直接続可能 BigQueryなどを 併存させることも可能
Microsoft Fabricの活⽤例 ② BI画⾯のデプロイ管理 8 Deployment pipelinesを使うと、Power BIの”画⾯”を開発→検証→本番とデプロイ管理可能。各段階のデプ ロイ時に接続先データソースを⾃動的に変更することも可能。 作成した
Power BI レポート Push 環境間の差分が明⽰ 選択したファイルだけ デプロイ実⾏ 各環境のBI画 ⾯イメージ 画⾯もデータも 切り替わる 開発環境 検証環境 本番環境
Microsoft Fabricの活⽤例 ③ 簡易AOAIの実⾏基盤 9 Notebook上でWarehouse/Lakehouseに保管された⽂章データをロードし、Azure OpenAIのGPTに要約を させてLakehouseに保存。要約データはPower BIなどのツールで閲覧できるようにしたり、チャットツール 等で配信してもよい。Azure
OpenAIエンドポイントのシークレットキーはAzure KeyVaultに保管。KeyVault はFabric上のユーザー資格情報でアクセス可能。 Warehouse Lakehouse Notebook KeyVault Azure OpenAI ⽂章データを ロード シークレットキー を取得 要約⽂章を 作成 Lakehouse 要約⽂章を 保存 Power BI チャット ⼀⾏サマリーをクリッ クしたら本⽂が表⽰さ れるようなUIが作成可 外部から収集し た公開情報や、 議事録や業界動 向を保管 Fabric上の資格情報を 使うので認証が不要 Notebook⾃体もスケジュール実⾏ 可能、Pipelineで制御してもよい
Microsoft Fabricの推しポイント 10 「Microsoft Fabricを選んだ理由」の内容に加えて 1. 広範囲に全⽅位のプロダクトが⼊っていて、ユースケースが広がっても新たな ツールを導⼊する頻度を減らせそう 2. Azure
OpenAI (GPT) の呼び出し環境としてクイックに利⽤できる(PoCレベ ルであればNotebook&スケジュール設定で⼗分) 3. エンタープライズに広く普及したMicrosoftエコシステムでさくっとデータ基 盤を⽴ち上げるナレッジを得られる(個⼈のキャリア視点)
Microsoft Fabricの今後の期待 11 1. ワークスペースID(AzureでいうマネージドID?)の導⼊(Q1 2024) →FabricからAzureに⼊る際にサービスプリンシパルが不要になる? 2. T-SQL構⽂の充実(BigQueryやSnowflakeで近年追加されてきた構⽂を取り⼊ れてほしい)
3. Copilotの発展(Fabricに限らずエコシステム全体の価値向上)