Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
YouYou
September 23, 2023
Programming
0
790
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
yuhta28
2
260
今インフラ技術をイチから学び直すなら
yuhta28
1
270
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
3
640
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.7k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1.8k
小さなことから始めるAWSコスト最適入門
yuhta28
1
1.3k
Datadogのコストも監視しよう
yuhta28
1
1k
Pulumiを触ってみよう
yuhta28
1
2.6k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
5.4k
Other Decks in Programming
See All in Programming
AI時代のキャリアプラン「技術の引力」からの脱出と「問い」へのいざない / tech-gravity
minodriven
17
5.8k
Apache Iceberg V3 and migration to V3
tomtanaka
0
130
例外処理とどう使い分ける?Result型を使ったエラー設計 #burikaigi
kajitack
16
5.9k
CSC307 Lecture 09
javiergs
PRO
1
810
AIエージェントの設計で注意するべきポイント6選
har1101
7
3.4k
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
gekko0114
2
410
dchart: charts from deck markup
ajstarks
3
990
コマンドとリード間の連携に対する脅威分析フレームワーク
pandayumi
1
440
公共交通オープンデータ × モバイルUX 複雑な運行情報を 『直感』に変換する技術
tinykitten
PRO
0
200
そのAIレビュー、レビューしてますか? / Are you reviewing those AI reviews?
rkaga
6
4.5k
AIで開発はどれくらい加速したのか?AIエージェントによるコード生成を、現場の評価と研究開発の評価の両面からdeep diveしてみる
daisuketakeda
1
960
大規模Cloud Native環境におけるFalcoの運用
owlinux1000
0
260
Featured
See All Featured
Paper Plane (Part 1)
katiecoart
PRO
0
3.9k
Leo the Paperboy
mayatellez
4
1.4k
The Language of Interfaces
destraynor
162
26k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
0
260
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
1
290
Skip the Path - Find Your Career Trail
mkilby
0
52
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
120
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.6k
Prompt Engineering for Job Search
mfonobong
0
150
Are puppies a ranking factor?
jonoalderson
1
2.7k
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
5
720
ラッコキーワード サービス紹介資料
rakko
1
2.2M
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17