Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
640
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
yuhta28
2
180
今インフラ技術をイチから学び直すなら
yuhta28
1
210
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
3
590
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.6k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1.4k
小さなことから始めるAWSコスト最適入門
yuhta28
1
1.1k
Datadogのコストも監視しよう
yuhta28
1
890
Pulumiを触ってみよう
yuhta28
1
2.3k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
4k
Other Decks in Programming
See All in Programming
複雑なフォームと複雑な状態管理にどう向き合うか / #newt_techtalk vol. 15
izumin5210
4
3.1k
AIエージェントを活用したアプリ開発手法の模索
kumamotone
1
750
WordPress Playground for Developers
iambherulal
0
120
令和トラベルにおけるコンテンツ生成AIアプリケーション開発の実践
ippo012
1
260
List とは何か? / PHPerKaigi 2025
meihei3
0
550
OpenTelemetryを活用したObservability入門 / Introduction to Observability with OpenTelemetry
seike460
PRO
0
320
PHPのガベージコレクションを深掘りしよう
rinchoku
0
240
ステートソーシング型イベント駆動の視点で捉えるCQRS+ES
shinnosuke0522
1
320
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
7
3.8k
体得しよう!RSA暗号の原理と解読
laysakura
3
530
MCP世界への招待: AIエンジニアが創る次世代エージェント連携の世界
gunta
2
570
AI時代のプログラミング教育 / programming education in ai era
kishida
23
20k
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.4k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
The World Runs on Bad Software
bkeepers
PRO
67
11k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
The Invisible Side of Design
smashingmag
299
50k
Six Lessons from altMBA
skipperchong
27
3.7k
YesSQL, Process and Tooling at Scale
rocio
172
14k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17