$30 off During Our Annual Pro Sale. View Details »

Rcloneを使った定期的なストレージ同期

YouYou
September 23, 2023

 Rcloneを使った定期的なストレージ同期

YouYou

September 23, 2023
Tweet

More Decks by YouYou

Other Decks in Programming

Transcript

  1. Rcloneを使った定期的な
    ストレージ同期
    1
    以降のスライドにはAIを用いた箇所
    があります

    View Slide

  2. Name:ユータ
    Occupation:SRE
    X:@Y0u281 (オーでなくゼロです)
    ブログ:https://zenn.dev/yuta28
    自己紹介
    X QRコード
    2

    View Slide

  3. 目次 ● 対象聴講者
    ● 背景
    ● Rcloneについて
    ● アーキテクチャ
    ● Rcloneコンテナ
    ● 結果
    ● まとめ
    3

    View Slide

  4. 対象聴講者
    ● ストレージ間の同期を楽にし
    たい
    ● 定期実行できるように自動
    化したい
    4

    View Slide

  5. 背景
    5
    Gドライブにある画像ファイルをS3に複
    製したいからバケット用意して
    Gドライブにある画像ファイルをS3に同
    期したいからバケット用意して

    View Slide

  6. 背景
    6
    Gドライブにある画像ファイルをS3に同
    期したいからバケット用意して
    S3は用意するけどどうやって送る
    つもり?

    View Slide

  7. 背景
    7
    Gドライブにある画像ファイルをS3に同
    期したいからバケット用意して
    S3は用意するけどどうやって送る
    つもり?
    GASで何とかする👍

    View Slide

  8. 背景
    8
    S3は用意するけどどうやって送る
    つもり?
    ありがとう🥲 GASだと運用面倒なので私が代
    わりに構築しますね

    View Slide

  9. 背景
    ● 同期はリアルタイムじゃなくてもいい
    ○ 1日1回程度でOK
    ● Googleドライブの階層構造のままコピー
    ● コストはなるべくお安く💰
    9

    View Slide

  10. Rcloneについて
    10
    https://rclone.org/
    ● ローカル/クラウド間のファイルコピー
    ● クラウド/クラウド間のファイルコピー
    ● 対応クラウドは70以上
    ● Linuxライクな操作コマンド

    View Slide

  11. アーキテクチャ
    11

    View Slide

  12. Rcloneコンテナ
    [google-drive]
    type = drive
    scope = drive
    token = {アクセストークン情報}
    team_drive =
    root_folder_id =
    12
    [s3]
    type = s3
    provider = AWS
    env_auth = true
    region = ap-northeast-1
    location_constraint = ap-northeast-1
    acl = private
    storage_class = STANDARD
    ~/.config/rclone/rclone.conf

    View Slide

  13. アーキテクチャ
    13
    細かいDockerfileの中身については
    ブログを読んでね🐳

    View Slide

  14. 結果
    ● Googleドライブと同じ階層構造でS3に画像
    配置
    ● 毎朝Fargateが起動してコピーしてくれるので
    楽々自動コピー
    14

    View Slide

  15. 15

    View Slide

  16. まとめ
    ● Rcloneは便利
    ● Fargateタスクは楽
    16

    View Slide

  17. ありがとうございま
    した
    より詳しい内容は以下のブ
    ログで↓
    RcloneをECS Fargateで
    Googleドライブ-S3間のファイ
    ル同期を楽々定期実行 -
    CUEBiC TEC BLOG
    17

    View Slide