Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MugenFS: クラウドストレージ利用時におけるキャッシュ戦略
Search
Kazunori Jo
February 03, 2017
Programming
0
160
MugenFS: クラウドストレージ利用時におけるキャッシュ戦略
Kazunori Jo
February 03, 2017
Tweet
Share
More Decks by Kazunori Jo
See All by Kazunori Jo
ビデオ会議の音をよくする / Making Sound Better with Video Conference
itochan
0
390
我々はいかにして安全な 名前解決を手に入れるか / How do we get secure name resolution
itochan
0
120
PacketFS: ファイルシステムによるバックアップの自動化
itochan
0
110
おはようのとりかた
itochan
0
180
うごいてるコードレビュー
itochan
1
800
高校生におけるソーシャルメディア適正利用を奨励する活動について
itochan
0
370
Bitcoinでお金を稼ぐ #dentoolt
itochan
0
690
ラブアンドルビー
itochan
0
1.4k
冬に必見!Advent Calendar の書き方
itochan
1
2.5k
Other Decks in Programming
See All in Programming
人には人それぞれのサービス層がある
shimabox
3
440
ソフトウェア品質特性、意識してますか?AIの真の力を引き出す活用事例 / ai-and-software-quality
minodriven
19
6.5k
"使いづらい" をリバースエンジニアリングする UI の読み解き方
rebase_engineering
0
100
#QiitaBash TDDでAIに設計イメージを伝える
ryosukedtomita
2
1.5k
Rethinking Data Access: The New httpResource in Angular
manfredsteyer
PRO
0
210
AIコーディングの本質は“コード“ではなく“構造“だった / The essence of AI coding is not “code” but "structure
seike460
PRO
2
710
型安全なDrag and Dropの設計を考える
yudppp
5
650
TypeScript エンジニアが Android 開発の世界に飛び込んだ話
yuisakamoto
6
890
「MCPを使ってる人」が より詳しくなるための解説
yamaguchidesu
0
510
💎 My RubyKaigi Effect in 2025: Top Ruby Companies 🌐
yasulab
PRO
1
120
TypeScriptのmoduleオプションを改めて整理する
bicstone
4
410
知識0からカンファレンスやってみたらこうなった!
syossan27
5
320
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
512
110k
It's Worth the Effort
3n
184
28k
Building an army of robots
kneath
306
45k
Designing Experiences People Love
moore
142
24k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
A Modern Web Designer's Workflow
chriscoyier
693
190k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.2k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Code Reviewing Like a Champion
maltzj
523
40k
Transcript
[WIP] MugenFS: クラウドストレージ利⽤時に おけるキャッシュ戦略 Arch B2 itochan 1
背景 • 今⽇では数多くのクラウドストレージサービスがある • Dropbox, Google Drive, iCloud Drive, OneDrive,
etc... • いくつかのサービスではローカルにファイルを同期をせずオン ライン上に置いたままローカルのファイルブラウザから閲覧で きるものが存在する • そこでファイルの種類に応じてキャッシュをすることで、適切 にアクセスを考慮できればオンライン上にあるファイルのアク セスを⾼速化できるのではないかと考えた 2
背景 • クラウドストレージのPCにあるストレージとの統合が進む • iCloud Drive • ローカルにあるディレクトリの同期 • リモートにあるファイルをローカルにあるかのように振る舞
う • iCloud DriveはmacOSの機能であるためmacOSでのみ提供 3
先⾏事例 • iCloud Drive1 • “デスクトップ” と “書類” ディレクトリをiCloud上に同期 •
リモートにあるファイルをローカルにあるかのように振る舞う • macOSの機能であるためmacOSでのみ提供 • Dropbox: Smart Sync2 • 個別のファイル単位でオンラインのみ、ローカルに保存を選択 • ファイルサイズなどの情報はローカルにキャッシュ • macOSではカーネル拡張を使⽤ 4 1 https://www.apple.com/jp/icloud/icloud-drive/ 2 https://www.dropbox.com/help/9293
先⾏事例 • rclone3 • クラウドストレージでファイルの操作やローカルとの同期を⾏ うCUIツール • マウントポイントにリモートのファイルをマウントするモード が存在 •
ファイル情報のキャッシュは⾏うがプロセスを終了すると破棄 5 3 http://rclone.org/
⽬的 • アクセスパターンを考慮したプリフェッチやキャッシュ戦略を⾏う • 低速なネットワーク回線でも快適に利⽤できるようにする 6
⼿法 7 Client 指定したマウントポイントにFUSEのファイルシステムをマウン ト (e.g. ~/drive) ~/drive FUSE Filesystem
mount
⼿法 8 Client このとき、ファイルシステム上にはクラウドストレージに置かれ ているファイル・ディレクトリを表⽰ FUSE Filesystem ~/drive Cloud Storage
request
⼿法 9 Client FUSEを通してREADがあればクラウドストレージ上の ディレクトリ内にあるデータをキャッシュ 動画や⽂書などファイルの種類によってキャッシュ戦略を変える FUSE Filesystem ~/drive response
Cache Cloud Storage store read
⼿法 10 Client ⼀度アクセスしたメタデータ・ファイルはキャッシュから参照 FUSE Filesystem ~/drive Cache Cloud Storage
exist? read hit!
成果: MugenFS • Google DriveのREST APIを⽤いて認証 • Google Driveに格納されているファイルのディレクトリの メタデータは⼀度取得されたらKVSにキャッシュする
• ファイルの属性の取得など何度も呼ばれることがある • 毎度APIを叩いていてはAPIの制限にも達する可能性がある 11 1 https://github.com/hanwen/go-fuse 2 https://github.com/boltdb/bolt https://github.com/itochan/mugenfs
成果: MugenFS • Goを⽤いて実装 • ファイルシステムを扱うため、オーバーヘッドを最⼩限にす ることがねらい • FUSEにgo-fuse1を使⽤しているが、Cのlibfuseと⽐較しベンチ マークでは5%程度の差で済んでいる
• キャッシュシステムにBoltDB2を採⽤ • KVS • SSDに最適化されている 12 1 https://github.com/hanwen/go-fuse 2 https://github.com/boltdb/bolt https://github.com/itochan/mugenfs
実装 13 Client MugenFS BoltDB Google Drive exist? hit! FUSE
Filesystem run REST API read
今後の展望 • マルチプラットフォーム対応 • Goにはクロスコンパイラが搭載されている • メタデータをキャッシュする際パージするタイミングを決める • 単純な時限キャッシュであればリモートとの整合性が壊れる •
キャッシュ戦略 14
キャッシュ戦略 • クラウドストレージ上にあるファイルのキャッシュ • ⼀度アクセスしたものをキャッシュする(LRU) • 拡張⼦で判定 • READしようとしているファイルの先読み機能 •
例: 動画の次を読み込む 15
キャッシュ戦略例: 動画先読み • ファイル名などで判定 • シリーズであれば 第1話, ep.1 といった類似したファイル名 で複数のファイルが存在
• 次に開かれるファイルを予測 し、あらかじめダウンロード 16 Client hogehoge 第1話.mp4 hogehoge 第2話.mp4 hogehoge 第3話.mp4 MugenFS …