Upgrade to Pro — share decks privately, control downloads, hide ads and more …

BigQuery リリースノート - 2023年上半期 #bq_sushi

na0
June 22, 2023

BigQuery リリースノート - 2023年上半期 #bq_sushi

#bq_sushi #18 の資料

リンクが扱いやすい Google スライドはこちら。
https://docs.google.com/presentation/d/1SZ-gMjBsFhnHX7CkNlSIW6FrImlq9ujBpJ6eXrXFOF4/edit?usp=sharing

na0

June 22, 2023
Tweet

More Decks by na0

Other Decks in Technology

Transcript

  1. • BigQuery リリースの個人的推しを 3 つ紹介する • リリースノートざっと流し読みする ◦ 見辛い方は Twitter

    https://twitter.com/na0fu3y で スライドリンク確認してね #bq_sushi #18 の 10 分で話すこと
  2. • 利用の際は必ず Google Cloud のドキュメントを確認してね! • 🔧 付きの機能はプレビューだよ、SLA に注意してね! •

    情報は BigQuery release notes から引用 ◦ https://cloud.google.com/bigquery/docs/release-notes • FIXED と LIBRARIES 、ANNOUNCEMENT は省略 • ロケーション追加は省略 • 同一の機能の複数のリリースノートがある場合、古い方は省略 注意
  3. 推し 2/3 - ML.GENERATE_TEXT 関数 https://cloud.google.com/bigquery/docs/generate-text-tutorial より引用 -- キーワード抽出 SELECT

    ml_generate_text_result['predictions'][0]['content'] AS generated_text, ml_generate_text_result['predictions'][0]['safetyAttributes'] AS safety_attributes, * EXCEPT (ml_generate_text_result) FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT('Extract the key words from the text below: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens));
  4. 推し 3/3 - スケジュールされたクエリ 改善されたこと • クエリの編集時に認証情報が更新されるようになった 従来の問題 • クエリの編集後も認証情報が維持された

    • クエリを編集すると、クエリ作成者の権限を GoogleSQL の範囲で 行使できた ◦ スロット爆買いしたり、データセット権限を配ったり やるべきこと • 強い権限を持った人がスケジュールされたクエリを作成しており、多 くの人に bigquery.transfers.update を配っていた場合、このような 編集が行われていないか監査ログを確認する
  5. BigQuery リリースノート 2023年1月 BigQuery • セッション内 TEMP FUNCTION • 容量コミットメントを変更する

    DDL BigQuery ML • モデル作成時の Sparse input • Vision models 🔧 Vertex AI • BigQuery ML モデルの管理 Vertex AI Pipelines • BigQuery ML 各種コンポーネント
  6. BigQuery • INFORMATION_SCHEMA.JOBS* の query_info 列 • 動的マスキング ルール 4

    種追加 • 大文字と小文字の区別しないデータセット • 列名を変更する DDL • 列を削除する DDL • 列のデフォルトの値 • ANY_VALUE 関数の HAVING MAX | MIN 句 🔧 • BigLake メタデータ キャッシュ対応テーブル 🔧 • 主キー、外部キー 🔧 • 承認済みルーティン 🔧 BigQuery リリースノート 2023年2月
  7. BigQuery Data Transfer Service • Azure Blob Storage の転送 🔧

    BigQuery ML • ARIMA_PLUS_XREG モデル 🔧 BigQuery Omni • Azure Workload Identity 連携 bq コマンドライン ツール • サービス アカウントの権限借用 BigQuery リリースノート 2023年2月
  8. BigQuery • WITH RECURSIVE 句 • Case-insensitive collation • BigQuery

    エディション • スロットの自動スケーリング • BigQuery パートナー センター • 柔軟な列名 🔧 • 変更データ キャプチャ 🔧 • インタラクティブな SQL トランスレータを使用して、バッチ変換された SQL クエリをデバッグする 🔧 Cloud コンソール • リネージ タブ BigQuery リリースノート 2023年3月
  9. BigQuery ML • AutoML Tables CMEK • AutoML Tables OPTIMIZATION_OBJECTIVE

    2 種追加 • Tensorflow, XGBoost バージョン引数 • instance_weight_col 引数 • ONNX, XGBoost, TensorFlow Lite モデルのインポート 🔧 • リモートモデル 🔧 • Cloud AI サービスのテーブル関数 🔧 BigQuery リリースノート 2023年3月
  10. BigQuery リリースノート 2023年4月 BigQuery • テーブル スナップショットへのクエリのキャッシュ • 丸めモード •

    ARRAY<STRUCT> への動的なデータ マスキング • デュアルリージョン バケット への Cloud Storage 外部テーブル • Cloud Spanner の連携クエリの JSON 型へのマッピング Preview • Cloud コンソール: データ追加デモガイド 🔧
  11. BigQuery リリースノート 2023年4月 BigQuery Data Transfer Service • Google 広告用

    Google Ads API BigQuery BI Engine • 既存の予約用の優先テーブルの変更が反映されるまでの時間が 10 秒に短縮 BigQuery Omni • クエリ結果の最大サイズ 非圧縮で 20 GiB
  12. BigQuery リリースノート 2023年5月 BigQuery • BigQuery ビューの列に説明を追加 • クエリがキューに入れられるデフォルトの時間の設定 •

    テーブル クローン • EXTERNAL_QUERY SQL pushdown • Cloud Monitoring 指標 4 種追加 • オブジェクト テーブル • DML ステートメントは 1 日あたりのテーブル変更の数にカウントされ なくなる
  13. BigQuery リリースノート 2023年5月 BigQuery • YAML 構成ファイルを使用して SQL 変換を変換する 🔧

    • INFORMATION_SCHEMA.MATERIALIZED_VIEW ビュー 🔧 • 差分プライバシー 🔧 • クエリ結果の並び替え 🔧 • パーティションとクラスタの推奨事項 🔧 • VPC Service Controls サービス境界で BigQuery Reservation API を保護 🔧 BigQuery Omni • BigQuery に転送する前にデータをフィルタ 🔧
  14. BigQuery リリースノート 2023年6月 BigQuery • BigLake Metastore • INFORMATION_SCHEMA.TABLE_STORAGE* •

    Metadata caching • Apache Iceberg BigLake テーブル • トランザクション内 TRUNCATE TABLE • fail-safe period 🔧 Cloud コンソール • クエリ実行グラフ BigQuery ML • Generative AI 🔧