S3からBigQueryへ閉域ネットワーク経由でデータ転送する方法

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

AWS S3からGoogleCloud BigQueryへ閉域ネットワーク経由でデータ転送する方法をご紹介します。クラウド間の接続にはソフトバンクのクラウド閉域接続サービス「OnePortマルチクラウドアクセス」を使い、オンデマンドのクラウド接続も検証しました。OnePortによるクラウド接続の流れもご紹介します。

■関連リンク
・OnePort マルチクラウドアクセス
　https://www.softbank.jp/biz/services/network/cloud-connect/multi-access/

・ソフトバンククラウドテクノロジーブログ
　https://www.softbank.jp/biz/blog/cloud-technology/

■作成者
赤羽 啓（あかはね けい）
ソフトバンク株式会社
法人事業統括 クラウドエンジニアリング本部
ソリューションアーキテクト

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. 1 ソフトバンク株式会社 クラウドエンジニアリング本部PaaSエンジニアリング統括部 ソリューションアーキテクト部ソリューションアーキテクト1課 赤羽 啓 S3からBigQueryへ 閉域ネットワーク経由で データ転送する方法
2. 2 S3(AWS)とBigQuery(GoogleCloud)を 閉域ネットワークで接続、データ転送の検証しました トークテーマ OnePortを使ったクラウド接続手順もご紹介します。
3. 赤羽 啓 Kei Akahane ⚫ SoftBank 株式会社 ⚫ ソリューションアーキテクト プロダクト技術検証、ソリューション開発、顧客提案 ⚫ 前職は社内SE 海外含めたネットワーク全体の設計構築を担当 ⚫ 通信キャリア伝送路構築の経験もあり 3
4. 4 アジェンダ ①検証経緯・背景 ②S3からBigQueryへの転送パターン ③接続検証(クラウド間接続/データ転送) ④検証のまとめ ⑤OnePortの画面(AWS接続例)
5. 5 検証経緯・背景 AWSのS3のデータをBigQueryへ転送して処理をしたい (懸念点) ・大容量データの転送時間(遅延・品質) ・より安全な転送方法がないか お客さま インターネット AWS S3 (オブジェクトストレージ) Google Cloud BigQuery (データ分析)
6. 6 転送パターン①インターネット経由での転送 構成のしやすさ〇 / 通信品質△ / セキュリティ△ (暗号化はされています) • 一般的な転送方法なので情報が多い • ネットワーク設計等は必要なし インターネット AWS S3 (オブジェクトストレージ) Google Cloud BigQuery (データ分析)
7. 7 転送パターン②インターネットVPN経由での転送 インターネット AWS S3 (オブジェクトストレージ) Google Cloud BigQuery (データ分析) IPsecVPN 構成のしやすさ△ / 通信品質△ / セキュリティ〇 • VPNGWどうしの接続情報は多い。 • インターネットを使うため品質は向上しない。
8. 8 転送パターン③閉域ネットワーク経由での転送 閉域 ネットワーク AWS S3 (オブジェクトストレージ) Google Cloud BigQuery (データ分析) 構成のしやすさ× / 通信品質〇 / セキュリティ〇 事業所 ・通信品質・セキュリティ面で優れる構成 ・拠点間通信を含めた全体設計が必要
9. 9 OnePort マルチクラウドアクセスとは https://www.softbank.jp/biz/services/network/cloud-connect/
10. 10 転送パターン④閉域ネットワーク(OnePort マルチクラウドアクセス)経由 OnePort AWS S3 (オブジェクトストレージ) Google Cloud BigQuery (データ分析) 構成のしやすさ〇 / 通信品質〇 / セキュリティ〇 • 導入が簡単(インターネットVPNより楽) • エンドエンドでプライベート通信が可能 ※以降マルチクラウドアクセス=MCA API API 管理画面からクラウド接続ができる
11. 11 検証内容 ①AWSとGoogleCloudをOnePort(閉域ネットワーク) で接続 ②S3からBigQueryへOnePort経由でデータ転送
12. 12 S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット 検証環境
13. 13 ①AWSとGoogleCloudをOnePortで接続する S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット API API 管理画面 で設定
14. 14 S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット API API 管理画面 で設定 ①AWSとGoogleCloudをOnePortで接続する
15. 15 S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット API API 管理画面 で設定 数分～数十分で完成。クラウド側のゲートウェイも自動で作成される。 ①AWSとGoogleCloudをOnePortで接続する
16. 16 S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット pingOK EC2 (仮想マシン) Compute Engine (仮想マシン) ①AWSとGoogleCloudをOnePortで接続する
17. 17 ②S3からBigQueryへOnePort経由でデータ転送する S3 (オブジェクトストレージ) OnePort VPC BigQuery (データ分析) VPC GoogleCloud AWS インターネット インターネット上のサービス EC2 (仮想マシン) Compute Engine (仮想マシン)
18. 18 S3 (オブジェクトストレージ) OnePort VPC EC2 (仮想マシン) BigQuery (データ分析) VPC GoogleCloud AWS Private Service Connect Private Link Compute Engine (仮想マシン) インターネット ②S3からBigQueryへOnePort経由でデータ転送する
19. 19 S3 (オブジェクトストレージ) OnePort VPC EC2 (仮想マシン) BigQuery (データ分析) VPC GoogleCloud AWS Private Service Connect Private Link Compute Engine (仮想マシン) インターネット ②S3からBigQueryへOnePort経由でデータ転送する
20. 20 S3 (オブジェクトストレージ) OnePort VPC EC2 (仮想マシン) BigQuery (データ分析) VPC GoogleCloud AWS Private Service Connect Private Link Compute Engine (仮想マシン) インターネット ②S3からBigQueryへOnePort経由でデータ転送する
21. 21 S3 (オブジェクトストレージ) OnePort VPC EC2 (仮想マシン) BigQuery (データ分析) VPC GoogleCloud AWS Private Service Connect Private Link Compute Engine (仮想マシン) インターネット S3連携するときにインターネット経由のAPI連携をするため、 OnePortを通らずデータ転送してしまう・・。 BigQuery Data Transfer Service ②S3からBigQueryへOnePort経由でデータ転送する
22. 22 S3 (オブジェクトストレージ) OnePort VPC EC2 (仮想マシン) BigQuery (データ分析) VPC GoogleCloud AWS Private Service Connect Private Link Compute Engine (仮想マシン) IPアドレス ②S3からBigQueryへOnePort経由でデータ転送する ①S3をマウント ③bqコマンド(bq load)で転送 ※PSCのプライベートIPに向ける ②Google Cloud SDKを インストール 転送OK
23. 23 閉域接続検証/S3→BQ転送検証でわかった事 検証のまとめ ① クラウド間接続はOnePortを使えば簡単 インターネットVPNより簡単 プロバイダー調整不要なため自由に検証できる (従来の閉域接続は「手続き」の比重が大きかった印象) ② サービス間連携は知識や工夫が必要 S3,BigQueryなど各プロダクトの理解が必要
24. 24 OnePortマルチクラウドアクセスでのAWS接続
25. 構成・環境例（OnePort ダイレクトアクセスからの切替） AWS 東京リージョン OnePort マルチクラウドアクセス OnePort作業による構築範囲 構築の範囲 サブ メイン VIF VIF DXGW VPC 管理画面 で設定 AWSのDXGW作成・VIF接続まで自動で構築完了！
26. 26 ログイン画面
27. 27 ダッシュボード
28. 28 クラウド接続画面
29. 29 OnePort MCAクラウド接続の作成② 任意の名称
30. 30 OnePort MCAクラウド接続の作成② 任意の名称
31. 31 プロビジョニング状況の確認②
32. 構成・環境例（OnePort ダイレクトアクセスからの切替） AWS 東京リージョン OnePort マルチクラウドアクセス 構築の範囲 OnePort作業による構築範囲 サブ メイン VIF VIF DXGW VPC 管理画面 で設定 15分程度で作成できました！ 同様の手順で他クラウドへの接続が可能です。
33. 33 ご清聴ありがとうございました