Ignite 2019 Update Microsoft Data Platform

Transcript

1. 大髙 領介 | 中里 浩之 Cloud Solution Architect & Data Engineer & Data Scientist Microsoft Japan 撮影OK Tweet OK
2. Data + Analytics
3. Data + Analytics
4. Data + Analytics
5. Big Data または Relational Data Data Lake Data warehouse 使いやすさ 迅速な探索 すぐに利用開始 実証済みのセキュリティ 鉄壁のプライバシー 信頼性の高いパフォーマンス
6. 使いやすさ 迅速な探索 すぐに利用開始 実証済みのセキュリティ 鉄壁のプライバシー 信頼性の高いパフォーマンス
7. 制限のない世界へようこそ データ ウェアハウス と ビッグ データ分析を 1 つのサービスに統合 Azure Synapse Analytics
8. Azure Synapse Analytics 無限のスケール 強力な分析 統合環境 強固な セキュリティ Provisioned Data Warehouse GENERALLY AVAILABLE On-demand Query as a Service PREVIEW
9. データ分析のための無制限のデータウェアハウス Store Azure Data Lake Storage SQL Analytics Runtimes Synapse Studio Unified experience Integration Management Monitoring Security Cloud data SaaS data On-premises data Devices data Power BI Azure Synapse Analytics
10. Synapse Studio
11. 開発ハブ/SQL スクリプト  SQL スクリプト
12. Synapse Studio – PySpark (Python)
13. オンデマンド での DataLake 参照 SELECT TOP 100 * FROM OPENROWSET( BULK 'https://<storage>/path/to/files/*.parquet’, FORMAT = 'Parquet’ ) AS [r] Data Lake SQL on-demand Client
14. 13X SQL Analytics Data Lake 統合 ParquetDirect
15. CREATE EXTERNAL TABLE AS SELECT -- Create a database master key if one does not already exist CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'S0me!nfo' ; -- Create a database scoped credential with Azure storage account key as the secret. CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential WITH IDENTITY = '<my_account>' , SECRET = '<azure_storage_account_key>' ; -- Create an external data source with CREDENTIAL option. CREATE EXTERNAL DATA SOURCE MyAzureStorage WITH ( LOCATION = 'wasbs://daily@logs.blob.core.windows.net/' , CREDENTIAL = AzureStorageCredential , TYPE = HADOOP ) -- Create an external file format CREATE EXTERNAL FILE FORMAT MyAzureCSVFormat WITH (FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS( FIELD_TERMINATOR = ',', FIRST_ROW = 2) --Create an external table CREATE EXTERNAL TABLE dbo.FactInternetSalesNew WITH( LOCATION = '/files/Customer', DATA_SOURCE = MyAzureStorage, FILE_FORMAT = MyAzureCSVFormat ) AS SELECT T1.* FROM dbo.FactInternetSales T1 JOIN dbo.DimCustomer T2 ON ( T1.CustomerKey = T2.CustomerKey ) OPTION ( HASH JOIN );
16. データの読み込み  概要  ストレージ アカウントから目的のリンクされた サービスにデータを読み込む機能を提供 パイプラインの手動実行または調整による データの読み込み  利点  一般的な読み込みパターンをサポート  Polybase による規模に応じたデータの読み込み
17. データの準備と変換  データフローのマッピング  コード不要の規模に応じたデータ変換 データフローのラングリング コード不要の規模に応じたデータ準備
18. Developing Composite Models wit Power BI
20. 売り上げ 日付 顧客 商品 従業員 地理 再販業者の 売り上げ DirectQuery 売り上げ 日付 顧客 商品 従業員 地理 再販業者の 売り上げ
21. 売り上げ 売り上げ 商品 顧客 地理 日付 従業員 再販業者の 売り上げ DirectQuery 日付 従業員 再販業者の 売り上げ 顧客 地理 商品
22. 売り上げ集計 売り上げ 商品 顧客 地理 日付 従業員 再販業者の 売り上げ 日付 従業員 再販業者の 売り上げ 顧客 地理 商品 DirectQuery
23. 売り上げ 商品 売上集計 顧客 地理 日付 従業員 再販業者の 売り上げ 集計 日付 従業員 再販業者の 売り上げ 顧客 地理 商品
24. 売り上げ 商品 売上集計 顧客 地理 日付 従業員 再販業者の 売り上げ 集計 日付 従業員 再販業者の 売り上げ 顧客 地理 商品 SummarizeColumns( Date[Year], Geography[City], "Sales", Sum(Sales[Amount]) )
25. 売り上げ 商品 売上集計 顧客 地理 日付 従業員の 再販業者の 売り上げ 集計 日付 従業員 再販業者の 売り上げ 顧客 地理 商品 SummarizeColumns( Date[Year], Customer[Name], "Sales", Sum(Sales[Amount]) ) SELECT [Year], [Name], SUM([Amount]) AS [Amount] FROM [Sales] INNER JOIN [Date] ON ... INNER JOIN [Customer] ON ... GROUP BY [Year], [Name]
26. Data + Analytics
27. Azure Machine Learning – Data Store
28.  サポートされている集計関数: MAX、MIN、AVG、COUNT、 COUNT_BIG、SUM、VAR、STDEV CREATE MATERIALIZED VIEW Sales.vw_Orders WITH ( DISTRIBUTION = ROUND_ROBIN | HASH(ProductID) ) AS SELECT SUM(UnitPrice*OrderQty) AS Revenue, OrderDate, ProductID, COUNT_BIG(*) AS OrderCount FROM Sales.SalesOrderDetail GROUP BY OrderDate, ProductID; GO Petabytes への スケール Materialized Views
29. 275 5 0 50 100 150 200 250 300 No Materialized View With Materialized View Seconds クエリー実行時間 Petabytes への スケール Materialized Views
30. -- Turn on/off result-set caching for a database -- Must be run on the MASTER database ALTER DATABASE {database_name} SET RESULT_SET_CACHING { ON | OFF } -- Turn on/off result-set caching for a client session -- Run on target data warehouse SET RESULT_SET_CACHING {ON | OFF} -- Check result-set caching setting for a database -- Run on target data warehouse SELECT is_result_set_caching_on FROM sys.databases WHERE name = {database_name} -- Return all query requests with cache hits -- Run on target data warehouse SELECT * FROM sys.dm_pdw_request_steps WHERE command like '%DWResultCacheDb%' AND step_index = 0 Petabytes への スケール Result Set の Cache
31. --T-SQL syntax for scoring data in SQL DW SELECT d.*, p.Score FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS d) WITH (Score float) AS p; Upload models T-SQL Language Data Warehouse Data + Score models Model Create models Predictions = SQL Analytics 機械学習の 推論組み込み
33. Azure Arc Announcing PREVIEW
35. https://aka.ms/azure-arc https://aka.ms/azure-arc
37. Management experiences Azure Portal Azure CLI Azure SDK Azure Arc technologies: Azure Arc Azure Identity RBAC Policy Index Groups Etc. Azure Resource Manager Azure Arc data RP Container registry Azure Arc K8s RP Azure Arc server RP Azure Data Services Wave 1 • SQL • PostgreSQL Azure Arc data controller Kubernetes Azure PaaS Control K8s Cluster Azure Arc data agent GitOps Manager Azure Arc K8s agent Servers Linux Windows Server Azure Arc server agent Resource specific tools Azure Data Studio Cluster provisioning​ Cluster upgrade and patch management​ Cluster lifecycle management​ Cluster monitoring K8s Native Tools Server Admin Tools Customer locations
39. Data + Analytics
40. Planet-scale data
41. Column-family Document Graph 地球規模でのデータ分散 迅速なスケールアウト 高速なスループット 99%の低遅延保障 業界随一の SLAs 5段階のトランザクションモデル Table API Key-value 地球規模での分散、更なるスケーラ ビリティ、マルチモデル Cosmos DB’s API for MongoDB Azure Cosmos DB
42. 集合関数と GROUP BY 句のパフォーマンス改善
43. Auto Pilot Containers 最小限のキャパシティープラン オートスケール 全ての Azure Cosmos DB API に適用
44. Azure Cosmos DB と Azure Synapse の連携 Global distribution, elastic scale, low latency, intuitive consistency modes, 99.999 SLA Multi-model Key-value Column-family Document Graph SQL Cassandra MongoDB Gremlin Table API ETCD Jupyter Notebooks Azure Synapse - Spark Transactional store (rows) Analytical store (columns) Jupyter Notebooks 組み込み Analytical store 組み込み Azure Synapse の Spark Analytics 時間のかかる ETL’s 不要 Transactional と Analytical Storage の分類
45. 組み込み Jupyter Notebooks & with Apache Spark
46. Analytical Storage Select * from Block N where column1 > column2 Select * from Block N where column1 > column2 Select * from Block N where column1 > column2 Snapshot Tn https://docs.microsoft.com/ja-jp/azure/cosmos-db/globally-distributed-transactional-analytical-storage
47. Data + Analytics
48. Announcing
49. SQL Server の進化 Performance and productivity Self-service BI Cloud-ready Mission Critical and cloud performance Built-in ML Docker & Linux Intelligence over all data SQL Server 2008 SQL Server 2008 R2 SQL Server 2012 SQL Server 2014 SQL Server 2016 SQL Server 2017 SQL Server 2019 Power Pivot (In-Memory) / SharePoint 統合 / Master Data サービス データ圧縮 / ポリシーベース管理 / プログラマビリティ AlwaysOn / In-Memory 列ストア (非クラスター化列ストア) / Data Quality サービス / Power View / クラウド 業界をリードするパフォーマンス / 機械学習 (R) / PolyBase / ハイブリッドクラウドの最適化 / クラウドエンジニアリングファースト / クラウド BI 業界をリードするパフォーマンス / グラフデータベース / 機械学習 (R / Python) / 言語とプラットフォームの選択肢の強化 / クラウドへのシンプルな移行 ワークロード全体のインメモリ化 （In-Memory OLTP / クラスター化列ストアインデックス) / ハイブリッドクラウドの最適化 / クラウド BI すべてのデータに対するインテリジェンス / Spark と HDFS を備えたBig Data Cluster / 機械学習 (R / Python / Java) / データ分類とコンプライアンス追跡 / Azure Data Studio
50. R SQL 1 0 1 0 0 1 0 1 0 1 1 0 SQL Server 2019 PolyBase と Big Data Cluster による データ仮想化 Intelligent Query Processing および インメモリデータベース エンクレーブで常に暗号化されたセキュリティの強化と データの分類による監査機能の強化 可用性グループの機能強化と 高速データベース復旧などの新しい HA 機能 Java による ML Service の機能強化 互換性のある最新のプラットフォームを選択 暗号化テキスト プレーンテキスト エンクレーブ
51. Adaptive Query Processing (SQL Server 2017) Adaptive Query Processing Batch Mode Memory Grant Feedback Batch Mode Adaptive Join Interleaved Execution Adaptive query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/adaptive-query-processing?view=sql-server-ver15
52. Intelligent Query Processing 行ストア Intelligent QP Adaptive QP Adaptive Joins Batch Mode Interleaved Execution Memory Grant Feedback Batch Mode Row Mode Table Variable Deferred Compilation Batch Mode on Row Store Approximate QP Approximate Count Distinct Scalar UDF Inlining Intelligent query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/intelligent-query-processing?view=sql-server-ver15
53. Intelligent Query Processing 行ストア Intelligent QP Adaptive QP Adaptive Joins Batch Mode Interleaved Execution Memory Grant Feedback Batch Mode Row Mode Table Variable Deferred Compilation Batch Mode on Row Store Approximate QP Approximate Count Distinct Scalar UDF Inlining Intelligent query processing in SQL databases https://docs.microsoft.com/en-us/sql/relational-databases/performance/intelligent-query-processing?view=sql-server-ver15
54. ! 企業のデータベースに必要とされる セキュリティ機能 Security management Data protection Network security Monitoring, logging & auditing Identity & access management 認証オプション: Azure AD SQL Auth Windows Auth Azure RBAC Encryption-in-flight via TLS Encryption at-rest via TDE (SQL Server Standard) VNET Injection (VNET) Firewall Rules, NSG Advanced Threat Detection (SQL IaaS も対象に) Vulnerability Assessment (SQL IaaS も対象に) Row-level security Encryption in-use via Always Encrypted (.NET Core support) (Always Encrypted with secure enclaves) SQL Audit (Log Analytics と Event Hubs 連携) Data Discovery & Classification (GA, SQL Server 2019) Dynamic Data Masking Azure Security Center Roles & Permissions User-managed keys (GA in managed instance) Private Link New
55. Always Encrypted with セキュア エンクレーブ 操作 エンクレーブを使用しない エンクレーブを使用する ランダム暗号化 決定的暗号化 ランダム暗号化 決定的暗号化 インプレース暗号化 非サポート 非サポート サポート サポート 等価による比較 非サポート サポート サポート サポート 不等号による比較 非サポート 非サポート サポート 非サポート LIKE 非サポート 非サポート サポート 非サポート Always Encrypted with Secure Enclaves https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/always-encrypted-enclaves Tutorial: Getting started with Always Encrypted with secure enclaves using SSMS https://docs.microsoft.com/en-us/sql/relational-databases/security/tutorial-getting-started-with-always-encrypted-enclaves
56. Private Link PaaS services
57. Data without limits
58. SQL Server 2019 の利用形態 Big Data Cluster (BDC) スケーラブルな大規模データ分析基盤 (新しい構成 / 導入方法)
59. SQL Server 2019 Big Data Clusters データ仮想化 データを移動 / 複製せず、多数のソースのデータを組み合わせる パフォーマンスを向上させるため、計算とキャッシュのプールを スケールアウト T-SQL 分析 アプリ ODBC NoSQL DRAMS HDFS SQL Server 外部テーブル コンピュートプール / データプール 完全な AI プラットフォーム 多数のソースから統合したデータを、機械学習の モデルの訓練に容易に活用することができる データの取り込みと準備 (前処理) を行い、モデルの訓練 / 保存 / 運用を一つのシステムで実行 外部データソース SQL Server ML Services Spark & Spark ML HDFS モデル用の REST API コンテナー Managed SQL Server / Spark Data Lake 大量のデータを Data Lake に保存し、SQL または Spark を 使用して容易にアクセス 管理されたサービス, ダッシュボード, および統合された セキュリティより、すべての管理を容易に実施 SQL Server Spark ダッシュボードと管理されたサービス 統合されたAD ベースのセキュリティ スケーラブル, 共有ストレージ (HDFS) 統一された展開 / ガバナンス およびツールを使用したシンプルな管理と分析により 保有しているすべてのデータを情報 / 資産として活用
60. SQL Database PostgreSQL MySQL Azure Hyperscale Databases スケールする Relational Databases 100 Tran / sec GB 100万 Tran / Sec 100TB
61. Announcing
62. ハイパースケール(Citus) を使用した 数百のコアにわたる 水平方向のスケーリング Postgresデータベースを複数のノードにまたがって シャーディング メモリ、コンピューティング、ストレージを増やす ワーカー ノードを簡単に追加して水平スケール 最大 100 個のノードまで拡張 Coordinator Table metadata それぞれのノードに PostgreSQL と Citus がインストールされている 1 shard = 1 PostgreSQL table 複数ノードにデータをシャーディング
64. あらゆる スケール あらゆる Data API あらゆる データモデル あらゆる ハードウェア あらゆる クラウド
65. © Copyright Microsoft Corporation. All rights reserved.
66. Appendix
67. Azure Analytics Power BI
68. SQL Analytics 2019/11 リリースの新機能 GA した機能 : ⚫ 性能 : Resultset Caching ⚫ 性能 : Materialized View ⚫ 性能 : Ordered ColumnStore ⚫ データタイプ : JSON サポート ⚫ セキュリティ : Dynamic Data Masking ⚫ CI & CD : SSDT (SQL Server Data Tools) サポート ⚫ SQL 言語 : Read committed snapshot isolation パブリック プレビュー機能 : ⚫ ワークロード管理 : Workload Isolation ⚫ データ取込み : COPY ステートメント ⚫ データ共有 : Azure Data Share によるデータ共有 ⚫ セキュリティ : Private LINK のサポート プライベート プレビュー機能 : ⚫ データ取込み : Streaming Ingestion & Analytics ⚫ ビルトイン ML : ネイティブな予測/スコアリング ⚫ Data Lake 統合 : Parquet ファイルへのダイレクトクエリ ⚫ SQL 言語 : 更新可能分散カラム ⚫ SQL 言語 : JOIN を伴う FROM 句 ⚫ SQL 言語 : 複数カラムによる分散 ⚫ Note: private preview features require whitelisting