S3からBigQueryへ閉域ネットワーク経由でデータ転送する方法

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

AWS S3からGoogleCloud BigQueryへ閉域ネットワーク経由でデータ転送する方法をご紹介します。クラウド間の接続にはソフトバンクのクラウド閉域接続サービス「OnePortマルチクラウドアクセス」を使い、オンデマンドのクラウド接続も検証しました。OnePortによるクラウド接続の流れもご紹介します。

■関連リンク
・OnePort マルチクラウドアクセス
　https://www.softbank.jp/biz/services/network/cloud-connect/multi-access/

・ソフトバンククラウドテクノロジーブログ
　https://www.softbank.jp/biz/blog/cloud-technology/

■作成者
赤羽 啓（あかはね けい）
ソフトバンク株式会社
法人事業統括 クラウドエンジニアリング本部
ソリューションアーキテクト

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. 1
   ソフトバンク株式会社
   クラウドエンジニアリング本部PaaSエンジニアリング統括部
   ソリューションアーキテクト部ソリューションアーキテクト1課
   赤羽 啓
   S3からBigQueryへ
   閉域ネットワーク経由で
   データ転送する方法
   

   View Slide

2. 2
   S3(AWS)とBigQuery(GoogleCloud)を
   閉域ネットワークで接続、データ転送の検証しました
   トークテーマ
   OnePortを使ったクラウド接続手順もご紹介します。
   

   View Slide

3. 赤羽 啓 Kei Akahane
   ⚫ SoftBank 株式会社
   ⚫ ソリューションアーキテクト
   プロダクト技術検証、ソリューション開発、顧客提案
   ⚫ 前職は社内SE
   海外含めたネットワーク全体の設計構築を担当
   ⚫ 通信キャリア伝送路構築の経験もあり
   3
   

   View Slide

4. 4
   アジェンダ
   ①検証経緯・背景
   ②S3からBigQueryへの転送パターン
   ③接続検証(クラウド間接続/データ転送)
   ④検証のまとめ
   ⑤OnePortの画面(AWS接続例)
   

   View Slide

5. 5
   検証経緯・背景
   AWSのS3のデータをBigQueryへ転送して処理をしたい
   (懸念点)
   ・大容量データの転送時間(遅延・品質)
   ・より安全な転送方法がないか
   お客さま
   インターネット
   AWS S3
   (オブジェクトストレージ)
   Google Cloud BigQuery
   (データ分析)
   

   View Slide

6. 6
   転送パターン①インターネット経由での転送
   構成のしやすさ〇 / 通信品質△ / セキュリティ△
   (暗号化はされています)
   • 一般的な転送方法なので情報が多い
   • ネットワーク設計等は必要なし
   インターネット
   AWS S3
   (オブジェクトストレージ)
   Google Cloud BigQuery
   (データ分析)
   

   View Slide

7. 7
   転送パターン②インターネットVPN経由での転送
   インターネット
   AWS S3
   (オブジェクトストレージ)
   Google Cloud BigQuery
   (データ分析)
   IPsecVPN
   構成のしやすさ△ / 通信品質△ / セキュリティ〇
   • VPNGWどうしの接続情報は多い。
   • インターネットを使うため品質は向上しない。
   

   View Slide

8. 8
   転送パターン③閉域ネットワーク経由での転送
   閉域
   ネットワーク
   AWS S3
   (オブジェクトストレージ)
   Google Cloud BigQuery
   (データ分析)
   構成のしやすさ× / 通信品質〇 / セキュリティ〇
   事業所
   ・通信品質・セキュリティ面で優れる構成
   ・拠点間通信を含めた全体設計が必要
   

   View Slide

9. 9
   OnePort マルチクラウドアクセスとは
   https://www.softbank.jp/biz/services/network/cloud-connect/
   

   View Slide

10. 10
    転送パターン④閉域ネットワーク(OnePort マルチクラウドアクセス)経由
    OnePort
    AWS S3
    (オブジェクトストレージ)
    Google Cloud BigQuery
    (データ分析)
    構成のしやすさ〇 / 通信品質〇 / セキュリティ〇
    • 導入が簡単(インターネットVPNより楽)
    • エンドエンドでプライベート通信が可能
    ※以降マルチクラウドアクセス=MCA
    API API
    管理画面からクラウド接続ができる
    

    View Slide

11. 11
    検証内容
    ①AWSとGoogleCloudをOnePort(閉域ネットワーク)
    で接続
    ②S3からBigQueryへOnePort経由でデータ転送
    

    View Slide

12. 12
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    検証環境
    

    View Slide

13. 13
    ①AWSとGoogleCloudをOnePortで接続する
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    API API
    管理画面
    で設定
    

    View Slide

14. 14
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    API API
    管理画面
    で設定
    ①AWSとGoogleCloudをOnePortで接続する
    

    View Slide

15. 15
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    API API
    管理画面
    で設定
    数分～数十分で完成。クラウド側のゲートウェイも自動で作成される。
    ①AWSとGoogleCloudをOnePortで接続する
    

    View Slide

16. 16
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    pingOK
    EC2
    (仮想マシン)
    Compute Engine
    (仮想マシン)
    ①AWSとGoogleCloudをOnePortで接続する
    

    View Slide

17. 17
    ②S3からBigQueryへOnePort経由でデータ転送する
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    インターネット
    インターネット上のサービス
    EC2
    (仮想マシン)
    Compute Engine
    (仮想マシン)
    

    View Slide

18. 18
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    EC2
    (仮想マシン)
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    Private Service
    Connect
    Private Link
    Compute Engine
    (仮想マシン)
    インターネット
    ②S3からBigQueryへOnePort経由でデータ転送する
    

    View Slide

19. 19
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    EC2
    (仮想マシン)
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    Private Service
    Connect
    Private Link
    Compute Engine
    (仮想マシン)
    インターネット
    ②S3からBigQueryへOnePort経由でデータ転送する
    

    View Slide

20. 20
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    EC2
    (仮想マシン)
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    Private Service
    Connect
    Private Link
    Compute Engine
    (仮想マシン)
    インターネット
    ②S3からBigQueryへOnePort経由でデータ転送する
    

    View Slide

21. 21
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    EC2
    (仮想マシン)
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    Private Service
    Connect
    Private Link
    Compute Engine
    (仮想マシン)
    インターネット
    S3連携するときにインターネット経由のAPI連携をするため、
    OnePortを通らずデータ転送してしまう・・。
    BigQuery Data Transfer Service
    ②S3からBigQueryへOnePort経由でデータ転送する
    

    View Slide

22. 22
    S3
    (オブジェクトストレージ)
    OnePort
    VPC
    EC2
    (仮想マシン)
    BigQuery
    (データ分析)
    VPC
    GoogleCloud
    AWS
    Private Service
    Connect
    Private Link
    Compute Engine
    (仮想マシン)
    IPアドレス
    ②S3からBigQueryへOnePort経由でデータ転送する
    ①S3をマウント
    ③bqコマンド(bq load)で転送
    ※PSCのプライベートIPに向ける
    ②Google Cloud SDKを
    インストール
    転送OK
    

    View Slide

23. 23
    閉域接続検証/S3→BQ転送検証でわかった事
    検証のまとめ
    ① クラウド間接続はOnePortを使えば簡単
    インターネットVPNより簡単
    プロバイダー調整不要なため自由に検証できる
    (従来の閉域接続は「手続き」の比重が大きかった印象)
    ② サービス間連携は知識や工夫が必要
    S3,BigQueryなど各プロダクトの理解が必要
    

    View Slide

24. 24
    OnePortマルチクラウドアクセスでのAWS接続
    

    View Slide

25. 構成・環境例（OnePort ダイレクトアクセスからの切替）
    AWS 東京リージョン
    OnePort
    マルチクラウドアクセス
    OnePort作業による構築範囲
    構築の範囲
    サブ
    メイン VIF
    VIF
    DXGW
    VPC
    管理画面
    で設定
    AWSのDXGW作成・VIF接続まで自動で構築完了！
    

    View Slide

26. 26
    ログイン画面
    

    View Slide

27. 27
    ダッシュボード
    

    View Slide

28. 28
    クラウド接続画面
    

    View Slide

29. 29
    OnePort MCAクラウド接続の作成②
    任意の名称
    

    View Slide

30. 30
    OnePort MCAクラウド接続の作成②
    任意の名称
    

    View Slide

31. 31
    プロビジョニング状況の確認②
    

    View Slide

32. 構成・環境例（OnePort ダイレクトアクセスからの切替）
    AWS 東京リージョン
    OnePort
    マルチクラウドアクセス
    構築の範囲
    OnePort作業による構築範囲
    サブ
    メイン VIF
    VIF
    DXGW
    VPC
    管理画面
    で設定
    15分程度で作成できました！
    同様の手順で他クラウドへの接続が可能です。
    

    View Slide

33. 33
    ご清聴ありがとうございました
    

    View Slide