Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
570
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
今インフラ技術をイチから学び直すなら
yuhta28
1
180
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
3
560
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.5k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1.3k
小さなことから始めるAWSコスト最適入門
yuhta28
1
1k
Datadogのコストも監視しよう
yuhta28
1
820
Pulumiを触ってみよう
yuhta28
1
2.2k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
3.6k
Pulumiで始めるIaC
yuhta28
1
95
Other Decks in Programming
See All in Programming
Go の GC の不得意な部分を克服したい
taiyow
2
770
rails stats で紐解く ANDPAD のイマを支える技術たち
andpad
1
290
103 Early Hints
sugi_0000
1
230
menu基盤チームによるGoogle Cloudの活用事例~Application Integration, Cloud Tasks編~
yoshifumi_ishikura
0
110
これでLambdaが不要に?!Step FunctionsのJSONata対応について
iwatatomoya
2
3.6k
14 Years of iOS: Lessons and Key Points
seyfoyun
1
770
fs2-io を試してたらバグを見つけて直した話
chencmd
0
230
Fibonacci Function Gallery - Part 1
philipschwarz
PRO
0
210
【re:Growth 2024】 Aurora DSQL をちゃんと話します!
maroon1st
0
770
Итераторы в Go 1.23: зачем они нужны, как использовать, и насколько они быстрые?
lamodatech
0
710
急成長期の品質とスピードを両立するフロントエンド技術基盤
soarteclab
0
930
Jakarta EE meets AI
ivargrimstad
0
240
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
266
13k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Fireside Chat
paigeccino
34
3.1k
Designing Experiences People Love
moore
138
23k
The Pragmatic Product Professional
lauravandoore
32
6.3k
Navigating Team Friction
lara
183
15k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Automating Front-end Workflow
addyosmani
1366
200k
Code Review Best Practice
trishagee
65
17k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
5
440
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17