Power BI Premiumでデータ準備！

Power BI 勉強会GW合宿 2022第壱夜~夜のデータ準備~
https://powerbi.connpass.com/event/246419/
こちらで発表した内容です。

Transcript

1. Power BI 勉強会 GW合宿 2022 第壱夜 夜のデータ準備
2. 須藤 明洋 すとう あきひろ 秋田県 出身 集英社 勤務 Power BI 2021.04~ Python 2021.09~ Rugby 1991.04~ Kendama 2020.04~
3. Power BI Premiumでデータ準備
4. • Power BI Premiumの一部機能をご紹介 ◦ 💎配置パイプライン ◦ 💎データフロー ◦ 💎高度なAI ◦ 💎機械学習 Power BI Premiumでデータ準備
5. 配置パイプライン
6. • BI 作成者は組織のコンテンツのライフサイクルを管理 ◦ 開発環境→テスト環境→プロダクション環境 ◦ パラメーターの管理 ◦ データベースの変更 配置パイプライン
21. • 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認 • 運用環境 1,000,000,000行 → 全データ 配置パイプライン
22. • 開発環境 100行 ◦ インポートしたときに作業しやすい • テスト環境 1,000,000行 ◦ 前年比など確認 • 運用環境 1,000,000,000行 → 全データ 配置パイプライン Power BI Desktop Power BI Service
23. Dataflow
24. • Power BI 内の多くのデータセットおよびレポートで共有できる再利用 可能な変換ロジックを作成できる。 ◦ Power Query Online • 独自の Azure Data Lake Storage Gen 2 内にデータが公開される。 Dataflow
26. • データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス Dataflow
30. • データフローを使用することで、データソースに何度もアクセスされる ことを防ぐことができる。 → Azure Data Lake Storage Gen2 にアクセス • アクセス負荷軽減 • セキュリティ • 権限設計 Dataflow
31. Power BI Premium の Dataflow
32. • 💎処理の高速化 • 💎増分更新 • 💎リンクテーブル • 💎計算テーブル Power BI Premium の Dataflow
33. 💎処理の高速化
34. • Power BI Pro ◦ ベスト エフォート • Power BI Premium ◦ 専用容量が割り当てられる →処理が早い 💎処理の高速化
35. 💎処理の高速化 • Pro環境 • Premium環境 データ読込速度比較
36. 💎処理の高速化 • Pro環境：更新時間の制限 ◦ 個々のエンティティのレベルで 2 時間 ◦ データフロー全体のレベルで 3 時間
38. 💎処理の高速化 • Premium環境：更新時間の制限 ◦ データフロー全体のレベルで 24 時間
40. • 例が良くない ◦ すみません • 体感時間 ◦ 半分くらい 💎処理の高速化
41. 💎増分更新
42. • Datasetの増分更新 ◦ Proライセンスでも可能 • Dataflowの増分更新 ◦ Premiumライセンスが必要 💎増分更新
43. • 更新が高速化される • 更新の信頼性が高くなる • リソースの使用が減る 💎増分更新
48. 💎リンクテーブル＆💎計算テーブル
49. • 💎リンクテーブル ◦ 既存のデータフローを参照する。 ◦ 複数のデータフロー内で再利用できるテーブルを作成する。 💎リンクテーブル＆💎計算テーブル
53. • 💎計算テーブル ◦ リンク テーブルを参照し、書き込み専用の方法でそのテーブルに 対して操作を実行する。 ◦ その結果として新しいテーブルが作成される。 💎リンクテーブル＆💎計算テーブル
56. データフローを使用してデ ータ ウェアハウスを作成す るためのベスト プラクティ ス - Power Query | Microsoft Docs
57. データフローを使用してデータ ウェアハウスを作成する ためのベスト プラクティス - Power Query | Microsoft Docs
58. シナリオに沿って紹介 ◦ 夏のフェア 『ナツコミ』 ◦ Twitterの反応を可視化したい 💎リンクテーブル＆💎計算テーブル
62. データ前処理
63. 高度なAI
64. • テキストアナリティクス • 画像へのタグ付け 高度なAI
65. • テキストアナリティクス 自然言語処理 ◦ 言語の特定 ◦ キーフレーズ抽出 ◦ 感情スコア 高度なAI
72. データ前処理
73. データ前処理
74. • 更新のオーケストラレーション ◦ 同じワークスペースに存在する場合 ◦ 上流のデータが更新されると下流のリンクテーブル、計算テーブル は順次更新される。 💎リンクテーブル＆💎計算テーブル
83. 機械学習
84. • 経験からの学習により自動で改善するコンピューターアルゴリズム 機械学習 機械学習 - Wikipedia
85. • Power BI のAutoML ◦ 二項分類 ◦ 多項分類 ◦ 回帰 機械学習 データフローと共に Machine Learning と Cognitive Services を使用する - Power BI | Microsoft Docs
86. DEMO Diamond データセット カラット カラーなどから 価格を予測する 機械学習 pycaret/pycaret: An open-source, low-code machine learning library in Python (github.com)
88. ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI Premium 便利！ Power BI Premium の機能。 - Power BI | Microsoft Docs
89. ほかにも、 • データフローへのダイレクトクエリ • ページ分割されたレポート • 最大48回更新 などなど Power BI Premium 便利！ Power BI Premium の機能。 - Power BI | Microsoft Docs もう戻れない