Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MugenFS: クラウドストレージ利用時におけるキャッシュ戦略
Search
Kazunori Jo
February 03, 2017
Programming
0
150
MugenFS: クラウドストレージ利用時におけるキャッシュ戦略
Kazunori Jo
February 03, 2017
Tweet
Share
More Decks by Kazunori Jo
See All by Kazunori Jo
ビデオ会議の音をよくする / Making Sound Better with Video Conference
itochan
0
390
我々はいかにして安全な 名前解決を手に入れるか / How do we get secure name resolution
itochan
0
120
PacketFS: ファイルシステムによるバックアップの自動化
itochan
0
100
おはようのとりかた
itochan
0
180
うごいてるコードレビュー
itochan
1
790
高校生におけるソーシャルメディア適正利用を奨励する活動について
itochan
0
360
Bitcoinでお金を稼ぐ #dentoolt
itochan
0
680
ラブアンドルビー
itochan
0
1.4k
冬に必見!Advent Calendar の書き方
itochan
1
2.4k
Other Decks in Programming
See All in Programming
ML.NETで始める機械学習
ymd65536
0
260
若手バックエンドエンジニアが Elasticsearch を使ってみた話
hott0mott0
1
110
PHPのバージョンアップ時にも役立ったAST
matsuo_atsushi
0
250
Visual StudioのGitHub Copilotでいろいろやってみる
tomokusaba
1
240
Boost Your Web Performance with Hyperdrive
chimame
1
170
やっと腹落ち「スプリント毎に動くモノをリリースする」〜ゼロから始めるメガバンクグループのアジャイル実践〜
sasakendayo
0
260
kintone開発を効率化するためにチームで試した施策とその結果を大放出!
oguemon
0
410
Webフレームワークとともに利用するWeb components / JSConf.jp おかわり
spring_raining
1
160
技術を改善し続ける
gumioji
0
190
React 19アップデートのために必要なこと
uhyo
8
1.6k
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
5
1.2k
はじめての Go * WASM * OCR
sgash708
1
140
Featured
See All Featured
How GitHub (no longer) Works
holman
314
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Designing Experiences People Love
moore
140
23k
Rails Girls Zürich Keynote
gr2m
94
13k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
11
560
Statistics for Hackers
jakevdp
797
220k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Building an army of robots
kneath
303
45k
Transcript
[WIP] MugenFS: クラウドストレージ利⽤時に おけるキャッシュ戦略 Arch B2 itochan 1
背景 • 今⽇では数多くのクラウドストレージサービスがある • Dropbox, Google Drive, iCloud Drive, OneDrive,
etc... • いくつかのサービスではローカルにファイルを同期をせずオン ライン上に置いたままローカルのファイルブラウザから閲覧で きるものが存在する • そこでファイルの種類に応じてキャッシュをすることで、適切 にアクセスを考慮できればオンライン上にあるファイルのアク セスを⾼速化できるのではないかと考えた 2
背景 • クラウドストレージのPCにあるストレージとの統合が進む • iCloud Drive • ローカルにあるディレクトリの同期 • リモートにあるファイルをローカルにあるかのように振る舞
う • iCloud DriveはmacOSの機能であるためmacOSでのみ提供 3
先⾏事例 • iCloud Drive1 • “デスクトップ” と “書類” ディレクトリをiCloud上に同期 •
リモートにあるファイルをローカルにあるかのように振る舞う • macOSの機能であるためmacOSでのみ提供 • Dropbox: Smart Sync2 • 個別のファイル単位でオンラインのみ、ローカルに保存を選択 • ファイルサイズなどの情報はローカルにキャッシュ • macOSではカーネル拡張を使⽤ 4 1 https://www.apple.com/jp/icloud/icloud-drive/ 2 https://www.dropbox.com/help/9293
先⾏事例 • rclone3 • クラウドストレージでファイルの操作やローカルとの同期を⾏ うCUIツール • マウントポイントにリモートのファイルをマウントするモード が存在 •
ファイル情報のキャッシュは⾏うがプロセスを終了すると破棄 5 3 http://rclone.org/
⽬的 • アクセスパターンを考慮したプリフェッチやキャッシュ戦略を⾏う • 低速なネットワーク回線でも快適に利⽤できるようにする 6
⼿法 7 Client 指定したマウントポイントにFUSEのファイルシステムをマウン ト (e.g. ~/drive) ~/drive FUSE Filesystem
mount
⼿法 8 Client このとき、ファイルシステム上にはクラウドストレージに置かれ ているファイル・ディレクトリを表⽰ FUSE Filesystem ~/drive Cloud Storage
request
⼿法 9 Client FUSEを通してREADがあればクラウドストレージ上の ディレクトリ内にあるデータをキャッシュ 動画や⽂書などファイルの種類によってキャッシュ戦略を変える FUSE Filesystem ~/drive response
Cache Cloud Storage store read
⼿法 10 Client ⼀度アクセスしたメタデータ・ファイルはキャッシュから参照 FUSE Filesystem ~/drive Cache Cloud Storage
exist? read hit!
成果: MugenFS • Google DriveのREST APIを⽤いて認証 • Google Driveに格納されているファイルのディレクトリの メタデータは⼀度取得されたらKVSにキャッシュする
• ファイルの属性の取得など何度も呼ばれることがある • 毎度APIを叩いていてはAPIの制限にも達する可能性がある 11 1 https://github.com/hanwen/go-fuse 2 https://github.com/boltdb/bolt https://github.com/itochan/mugenfs
成果: MugenFS • Goを⽤いて実装 • ファイルシステムを扱うため、オーバーヘッドを最⼩限にす ることがねらい • FUSEにgo-fuse1を使⽤しているが、Cのlibfuseと⽐較しベンチ マークでは5%程度の差で済んでいる
• キャッシュシステムにBoltDB2を採⽤ • KVS • SSDに最適化されている 12 1 https://github.com/hanwen/go-fuse 2 https://github.com/boltdb/bolt https://github.com/itochan/mugenfs
実装 13 Client MugenFS BoltDB Google Drive exist? hit! FUSE
Filesystem run REST API read
今後の展望 • マルチプラットフォーム対応 • Goにはクロスコンパイラが搭載されている • メタデータをキャッシュする際パージするタイミングを決める • 単純な時限キャッシュであればリモートとの整合性が壊れる •
キャッシュ戦略 14
キャッシュ戦略 • クラウドストレージ上にあるファイルのキャッシュ • ⼀度アクセスしたものをキャッシュする(LRU) • 拡張⼦で判定 • READしようとしているファイルの先読み機能 •
例: 動画の次を読み込む 15
キャッシュ戦略例: 動画先読み • ファイル名などで判定 • シリーズであれば 第1話, ep.1 といった類似したファイル名 で複数のファイルが存在
• 次に開かれるファイルを予測 し、あらかじめダウンロード 16 Client hogehoge 第1話.mp4 hogehoge 第2話.mp4 hogehoge 第3話.mp4 MugenFS …