Microsoft Fabricを7ヶ月使ってわかったこと

https://azure-ai-hub.connpass.com/event/306890/

Transcript

1. GLP is a registered trademark and trademark of GLP Pte. Ltd in the US, Singapore, and other countries. Azureのデータ系プロダクトがワンストップSaaSとなって新登場！ Microsoft Fabricを 7ヶ⽉使ってわかったこと ⽇本GLP DX推進部 忍⾜俊 2024-02-26
2. ⾃⼰紹介：忍⾜ 俊（おしだり しゅん） l ⾮IT系企業の⼀⼈データエンジニア l DeNA、メルペイなどのスマホ系IT企業 で10年近くBigQueryを愛⽤ l 現職でデータ基盤構築中にMicrosoft Fabricが発表、現在はFabricをベース としたデータ基盤を社内で拡⼤中 l キーボードは分割派、⾃宅に⼯作室が ある 2
3. 会社紹介：⽇本GLP 3 社名 ⽇本GLP 事業内容 物流施設事業 データセンター事業 再⽣可能エネルギー事業 設⽴ 2009年 開発・運営する 施設の総床⾯積 約1,100万㎡（約333万坪） 総運⽤資産残⾼ （AUM） 約3兆9,680億円 テックな トピックス • 「gcp.com」ドメインを保有 • データセンターを開発中（合計900メガ ワットを供給予定） GLP ALFALINK 相模原 GLP ALFALINK 流⼭ 顔認証による⼊館 従業員ラウンジ 託児所の設置 先進的物流施設 GLP ALFALINKシリーズ
4. Copilotも 先⾏検証中！ チーム紹介：DX推進部 4 渋滞情報 物流課題を施設の視点から テクノロジーで解決 Azure OpenAIを活⽤した 業務⽤ChatGPTの開発と導⼊ 労働⼒不⾜ 物流クライシス ⻑時間待機 少⼈化・⾃動化
5. Microsoft Fabricとは？ 5 l オフィシャルな説明はネットに溢れ ているので、あえて個⼈的な理解で ⾔語化すると、 l SynapseなどのAzureのデータ系プ ロダクトをSaaSにして、さらに Power BIも加えて1つにしたもの l Microsoftが満を持して全⽅位全部⼊ りのデータ基盤SaaSを出してきた l ⼀⼈データ基盤でも何とかなる！ ウェアハウス (For 構造化データ) レイクハウス (For ⾮構造化データ) BI・可視化 ノートブック ETL・データ連携 パイプライン (ジョブスケジューラー) Data Activation （検知・アラート・トリガー） 機械学習 MS365との連携 Azureとの連携 etc... 個⼈的視点で⾒たFabricの中⾝ Copilot リアルタイムDB
6. 1. SaaS化されているため、⼀⼈でも容易に構築・運⽤できる 2. Power BIがシンプルに超優秀（Looker、Tableau、Looker Studio、Redash、Metabase、 Supersetなどの使⽤経験あり。「How to Power BI」というYouTubeチャンネルがとてもおすすめです） 3. ビジネスユーザーが持つExcelなどの既存資産や、同時期に話題になったAzure OpenAIなどと同じエコシステム内にいて、⾼い親和性が期待できそう 4. データ基盤界隈で標準となりつつあるdbtというフレームワークに、プレ ビュー発表段階ですでに対応していた（きちんとコミュニティを⾒ている） 5. Microsoftの注⼒度合いが感じられる開発スピード（多少不満があってもいず れ解決されそう） Microsoft Fabricを選んだ理由 6
7. Microsoft Fabricの活⽤例 ① 基本 7 外部SaaSのデータや社内Excelのデータなどを、Dataflow Gen2を使ってWarehouseへ集約。Azureのコンテ ナでdbtを動かしデータを加⼯整備。Power BIで可視化や、Excelでの直接接続に加え、Power BI経由で⾃動 更新されるグラフや表をPower Pointに配置。 外部SaaS Excelなどの ビジネスデータ Dataflow Gen2 Warehouse Power BI Power Point Excel Container Services データの加⼯整備 ETLツール 同じ認証基盤のため社 内資産の接続も安⼼ 無料で使える コネクタが多数 Preview発表時点で 業界標準のdbtの アダプタも存在 業界随⼀の表現⼒ と柔軟性で可視化 （グラフ・表） Power BIの表やグラフ はデータソースとの接 続したまま貼付け可能 Excelからウェアハ ウス上のテーブルに 直接続可能 BigQueryなどを 併存させることも可能
8. Microsoft Fabricの活⽤例 ② BI画⾯のデプロイ管理 8 Deployment pipelinesを使うと、Power BIの”画⾯”を開発→検証→本番とデプロイ管理可能。各段階のデプ ロイ時に接続先データソースを⾃動的に変更することも可能。 作成した Power BI レポート Push 環境間の差分が明⽰ 選択したファイルだけ デプロイ実⾏ 各環境のBI画 ⾯イメージ 画⾯もデータも 切り替わる 開発環境 検証環境 本番環境
9. Microsoft Fabricの活⽤例 ③ 簡易AOAIの実⾏基盤 9 Notebook上でWarehouse/Lakehouseに保管された⽂章データをロードし、Azure OpenAIのGPTに要約を させてLakehouseに保存。要約データはPower BIなどのツールで閲覧できるようにしたり、チャットツール 等で配信してもよい。Azure OpenAIエンドポイントのシークレットキーはAzure KeyVaultに保管。KeyVault はFabric上のユーザー資格情報でアクセス可能。 Warehouse Lakehouse Notebook KeyVault Azure OpenAI ⽂章データを ロード シークレットキー を取得 要約⽂章を 作成 Lakehouse 要約⽂章を 保存 Power BI チャット ⼀⾏サマリーをクリッ クしたら本⽂が表⽰さ れるようなUIが作成可 外部から収集し た公開情報や、 議事録や業界動 向を保管 Fabric上の資格情報を 使うので認証が不要 Notebook⾃体もスケジュール実⾏ 可能、Pipelineで制御してもよい
10. Microsoft Fabricの推しポイント 10 「Microsoft Fabricを選んだ理由」の内容に加えて 1. 広範囲に全⽅位のプロダクトが⼊っていて、ユースケースが広がっても新たな ツールを導⼊する頻度を減らせそう 2. Azure OpenAI (GPT) の呼び出し環境としてクイックに利⽤できる（PoCレベ ルであればNotebook＆スケジュール設定で⼗分） 3. エンタープライズに広く普及したMicrosoftエコシステムでさくっとデータ基 盤を⽴ち上げるナレッジを得られる（個⼈のキャリア視点）
11. Microsoft Fabricの今後の期待 11 1. ワークスペースID（AzureでいうマネージドID？）の導⼊（Q1 2024） →FabricからAzureに⼊る際にサービスプリンシパルが不要になる？ 2. T-SQL構⽂の充実（BigQueryやSnowflakeで近年追加されてきた構⽂を取り⼊ れてほしい） 3. Copilotの発展（Fabricに限らずエコシステム全体の価値向上）