Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
500
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
今インフラ技術をイチから学び直すなら
yuhta28
1
160
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
2
540
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.4k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1k
小さなことから始めるAWSコスト最適入門
yuhta28
1
930
Datadogのコストも監視しよう
yuhta28
1
760
Pulumiを触ってみよう
yuhta28
1
2k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
3.2k
Pulumiで始めるIaC
yuhta28
1
87
Other Decks in Programming
See All in Programming
型付きで行うVSCode拡張機能開発 / VSCode Meetup #31
mazrean
0
240
データサイエンスのフルサイクル開発を実現する機械学習パイプライン
xcnkx
2
500
Kubernetes上でOracle_Databaseの運用を楽にするOraOperatorの紹介
nnaka2992
0
150
ROS 2のZenoh対応とZenohのROS 2対応
takasehideki
2
300
Go製CLIツールGatling Commanderによる負荷試験実施の自動化
okmtz
3
700
What is TDD?
urakawa_jinsei
1
220
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
4
180
"Swarming" をコンセプトに掲げるアジャイルチームのベストプラクティス
boykush
2
250
フロントエンドの現在地とこれから
koba04
10
4.5k
Compose Multiplatform과 Ktor로 플랫폼의 경계를 넘어보자
kwakeuijin
0
260
게임 개발하던 학생이이 세계에선 안드로이드 개발자?
pangmoo
0
110
AWS CDKを用いたセキュアなCI/CDパイプラインの構築 / Build a secure CI/CD pipeline using AWS CDK
seike460
PRO
3
610
Featured
See All Featured
Practical Orchestrator
shlominoach
186
10k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Thoughts on Productivity
jonyablonski
67
4.2k
Writing Fast Ruby
sferik
626
60k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
[RailsConf 2023] Rails as a piece of cake
palkan
49
4.7k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.9k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
249
21k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17