ICTSC2020 Ceph

ICTSC2020 LT会で話したCephの話です

Transcript

1. Cephの話 おのかちお
2. ぼく • おのかちお • 今日のSELinux問題を作った人です ◦ 前半ドタバタしてごめん… :pray: • インフラチームでストレージ周りやってました
3. 注意 このCephは、監視基盤のCeph(Rook)とは別のクラスタです
4. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
5. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
6. 以前のストレージ構成
7. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
8. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
9. Cephとは • 分散ストレージ • レプリカの話 • SPOFが居ない • OSDの自動認識 • リバランス • S3/NFS/CephFS/RBDのインターフェイス
10. Cephとは - 分散ストレージ • データが分散される ◦ (機材があれば)いくらでもスケールできる • データが複製される ◦ どこかで壊れるor無くなってもデータが消えくい • 単一障害点をなくしやすい ◦ コントロールプレーンもデータプレーンも
11. Cephとは - レプリカの話 • レプリカ = 重複度 • レプリカサイズ3ならデータが3重に保存される ◦ ただし使用ストレージ容量も3倍 ◦ 書き込み実質速度は3倍 ◦ (今回はWritebackなので実質1倍)
12. Cephとは - SPOFが居ない • Cephは、Single Point Of Failure(単一障害点)ができにくい仕組 みになっています。 ◦ データプレーン: レプリカ ◦ コントロールプレーン: CRUSHアルゴリズム
13. Cephとは - 物理ディスクの自動認識 • Cephを構成するサーバーに新しいディスクが挿入される ↓ • 全自動で初期化・Cephへ追加
14. Cephとは - リバランス • データが増える or 物理ディスクが増える ↓ • 再配置・細分化
15. Cephとは - インターフェイス • NFS • S3 • CephFS • RBD (Rados Block Device)
16. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
17. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
18. 今回のCephの構成と容量の話 • コントロールプレーン: 6ノード • データプレーン: 6ノード ◦ SSD x6 ◦ HDD x3 × 4 × 2 × 2
19. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
20. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
21. ブロックストレージをCephに置く話 • Cephの速度計測会 • humstackがブロックストレージをCephRBDに置く • ところで トラコンのVMの数について
22. Cephの速度計測会
23. Cephの速度計測会
24. Cephの速度計測会
25. Cephの速度計測会
26. Cephの速度計測会 (BS展開時)
27. Cephの速度計測会 (VM起動時)
28. Cephの速度計測会 (Ceph pool)
29. humstackがBSをCeph RBDに置く • humstack(仮想化基盤) がCephにブロックストレージを置ける ように改良 by t-inagaki ↓ • 結果的に一つのVM作成・起動が数分程度に！ ◦ コンピュートノード間のコピーが要らなくなった ◦ ただしレプリカ=1なので、分散されているだけで耐障害性 の旨みはない
30. ところで トラコンのVMの数について • 総VM数: 20~30台程度 • チーム数: 22 • 1VM 5GBぐらい 20 〜 30 * 22 *5 = 2 〜 3TB → レプリカサイズを3にすると、9TB超になる → SSD 6TBを超えてしまう
31. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
32. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
33. Cephのsnapshotの話 • Ceph RBDには、既存のオブジェクトをベースに別のオブジェ クトを展開する機能がある • レイヤーとして、ベースと差分を分けられる • VMの差分のみ保存され、各ストレージの共通部分は一つのブ ロックストレージに！ • 展開は爆速・実際に書き込むまで使用容量ゼロ • イメージとしてはDockerのoverlayfs
34. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
35. 話すこと • 以前のストレージ構成 • Cephとは • 今回のCephの構成と容量の話 • ブロックストレージをCephに置く話 • Cephのsnapshotの話 • 起こったトラブルの話
36. 起こったトラブルの話 • ioDriveが認識されない • 時刻の精度を高めないといけない話 • OSDがメモリを食ってwireguardサーバーが落ちた話 • Dockerとpodmanが何故か混在した話 • 本番の日の朝にPGの数がオートスケールされることがわかった ので先にPGの数を増やした話
37. 起こったトラブルの話 • ioDriveが認識されない • SSDのドライバがカスタムモジュール ◦ LV metadより先に読み込まれると、CephがLVMを認識 できない ◦ LV metadを無効化し、イベント的にdevice mapperを 認識するようにした
38. 起こったトラブルの話 • 時刻の精度を高めないといけない話 • Cephは時刻の精度が0.05s以下でないとWARNを出す ◦ 最初はNTPdを立てて運用 ▪ spofになるので止めたい ◦ NICTのNTPを使ったら精度があがった ▪ ありがとうNICT!
39. 起こったトラブルの話 • Dockerとpodmanが何故か混在した話 ◦ おそらくインストールミスでDockerとpodmanがノード で混在 ◦ podman消す && Dockerインストール ◦ → OSDとmonが自動で再展開されない ◦ →手動でreapplyして解決
40. 起こったトラブルの話 • 本番の日の朝にPGの数がオートスケールされることがわかった ので先にPGの数を増やした話 ◦ Cephのper OSD PGが2^nを超えるとPGサイズを細分化し てリバランス ◦ →本番中に起こったらSlow OPsになりそう ◦ →今朝気づいた運営委員が事前に細分化
41. 起こったトラブルの話 • ioDriveが認識されない • 時刻の精度を高めないといけない話 • OSDがメモリを食ってwireguardサーバーが落ちた話 • Dockerとpodmanが何故か混在した話 • 本番の日の朝にPGの数がオートスケールされることがわかった ので先にPGの数を増やした話
42. ご静聴ありがとうございました 質問などあればZoomで話しかけてください！ もしくはTwitter (@onokatio_) まで