Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Power BI Premiumでデータ準備!
Search
Akihiro Suto
May 03, 2022
Technology
1
1.1k
Power BI Premiumでデータ準備!
Power BI 勉強会GW合宿 2022第壱夜~夜のデータ準備~
https://powerbi.connpass.com/event/246419/
こちらで発表した内容です。
Akihiro Suto
May 03, 2022
Tweet
Share
More Decks by Akihiro Suto
See All by Akihiro Suto
JPPC2023_BI08_セマンティックモデルを覗き見る(公開用)
hanaseleb
0
5.1k
プッシュデータセットを試してみよう
hanaseleb
0
630
レポートをつくる、その先の運用を考える🤔 Power BI Report Ops
hanaseleb
0
5.2k
Power BI データフローを考える
hanaseleb
1
1.7k
DAXクエリをDAX Studioでつくって、Power Automateで発射する💪
hanaseleb
1
2.8k
BIのPowerをAutomateする
hanaseleb
0
490
Power BI のうらがわ
hanaseleb
2
940
ゼロからはじめたPower BI
hanaseleb
1
1.4k
Power Automateドリブンのチームマネジメント
hanaseleb
0
770
Other Decks in Technology
See All in Technology
クマ×共生 HACKATHON - 熊対策を『特別な行動」から「生活の一部」に -
pharaohkj
0
150
robocopy の怖い話/scary-story-about-robocopy
emiki
0
350
FAST導入1年間のふりかえり〜現実を直視し、さらなる進化を求めて〜 / Review of the first year of FAST implementation
wooootack
1
170
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
120
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
4
500
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
300
Tiptapで実現する堅牢で柔軟なエディター開発
kirik
1
130
低レイヤソフトウェア技術者が YouTuberとして食っていこうとした話
sat
PRO
7
5.9k
激動の時代、新卒エンジニアはAIツールにどう向き合うか。 [LayerX Bet AI Day Countdown LT Day1 ツールの選択]
tak848
0
580
会社もクラウドも違うけど 通じたコスト削減テクニック/Cost optimization strategies effective regardless of company or cloud provider
aeonpeople
2
320
SAE J1939シミュレーション環境構築
daikiokazaki
1
180
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
160
Featured
See All Featured
Building an army of robots
kneath
306
45k
The Cult of Friendly URLs
andyhume
79
6.5k
Practical Orchestrator
shlominoach
189
11k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Being A Developer After 40
akosma
90
590k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
How STYLIGHT went responsive
nonsquared
100
5.7k
Transcript
Power BI 勉強会 GW合宿 2022 第壱夜 夜のデータ準備
須藤 明洋 すとう あきひろ 秋田県 出身 集英社 勤務 Power BI
2021.04~ Python 2021.09~ Rugby 1991.04~ Kendama 2020.04~
Power BI Premiumでデータ準備
• Power BI Premiumの一部機能をご紹介 ◦ 💎配置パイプライン ◦ 💎データフロー ◦ 💎高度なAI
◦ 💎機械学習 Power BI Premiumでデータ準備
配置パイプライン
• BI 作成者は組織のコンテンツのライフサイクルを管理 ◦ 開発環境→テスト環境→プロダクション環境 ◦ パラメーターの管理 ◦ データベースの変更 配置パイプライン
None
None
None
None
None
None
None
None
None
None
None
None
None
None
• 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認
• 運用環境 1,000,000,000行 → 全データ 配置パイプライン
• 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認
• 運用環境 1,000,000,000行 → 全データ 配置パイプライン Power BI Desktop Power BI Service
Dataflow
• Power BI 内の多くのデータセットおよびレポートで共有できる再利用 可能な変換ロジックを作成できる。 ◦ Power Query Online •
独自の Azure Data Lake Storage Gen 2 内にデータが公開される。 Dataflow
None
• データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス
Dataflow
None
None
None
• データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス
• アクセス負荷軽減 • セキュリティ • 権限設計 Dataflow
Power BI Premium の Dataflow
• 💎処理の高速化 • 💎増分更新 • 💎リンクテーブル • 💎計算テーブル Power BI
Premium の Dataflow
💎処理の高速化
• Power BI Pro ◦ ベスト エフォート • Power BI
Premium ◦ 専用容量が割り当てられる →処理が早い 💎処理の高速化
💎処理の高速化 • Pro環境 • Premium環境 データ読込速度比較
💎処理の高速化 • Pro環境:更新時間の制限 ◦ 個々のエンティティのレベルで 2 時間 ◦ データフロー全体のレベルで 3
時間
None
💎処理の高速化 • Premium環境:更新時間の制限 ◦ データフロー全体のレベルで 24 時間
None
• 例が良くない ◦ すみません • 体感時間 ◦ 半分くらい 💎処理の高速化
💎増分更新
• Datasetの増分更新 ◦ Proライセンスでも可能 • Dataflowの増分更新 ◦ Premiumライセンスが必要 💎増分更新
• 更新が高速化される • 更新の信頼性が高くなる • リソースの使用が減る 💎増分更新
None
None
None
None
💎リンクテーブル&💎計算テーブル
• 💎リンクテーブル ◦ 既存のデータフローを参照する。 ◦ 複数のデータフロー内で再利用できるテーブルを作成する。 💎リンクテーブル&💎計算テーブル
None
None
None
• 💎計算テーブル ◦ リンク テーブルを参照し、書き込み専用の方法でそのテーブルに 対して操作を実行する。 ◦ その結果として新しいテーブルが作成される。 💎リンクテーブル&💎計算テーブル
None
None
データフローを使用してデ ータ ウェアハウスを作成す るためのベスト プラクティ ス - Power Query |
Microsoft Docs
データフローを使用してデータ ウェアハウスを作成する ためのベスト プラクティス - Power Query | Microsoft Docs
シナリオに沿って紹介 ◦ 夏のフェア 『ナツコミ』 ◦ Twitterの反応を可視化したい 💎リンクテーブル&💎計算テーブル
None
None
None
データ前処理
高度なAI
• テキストアナリティクス • 画像へのタグ付け 高度なAI
• テキストアナリティクス 自然言語処理 ◦ 言語の特定 ◦ キーフレーズ抽出 ◦ 感情スコア 高度なAI
None
None
None
None
None
None
データ前処理
データ前処理
• 更新のオーケストラレーション ◦ 同じワークスペースに存在する場合 ◦ 上流のデータが更新されると下流のリンクテーブル、計算テーブル は順次更新される。 💎リンクテーブル&💎計算テーブル
None
None
None
None
None
None
None
None
機械学習
• 経験からの学習により自動で改善するコンピューターアルゴリズム 機械学習 機械学習 - Wikipedia
• Power BI のAutoML ◦ 二項分類 ◦ 多項分類 ◦ 回帰
機械学習 データフローと共に Machine Learning と Cognitive Services を使用する - Power BI | Microsoft Docs
DEMO Diamond データセット カラット カラーなどから 価格を予測する 機械学習 pycaret/pycaret: An open-source,
low-code machine learning library in Python (github.com)
None
ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI
Premium 便利! Power BI Premium の機能。 - Power BI | Microsoft Docs
ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI
Premium 便利! Power BI Premium の機能。 - Power BI | Microsoft Docs もう戻れない
None