Upgrade to Pro — share decks privately, control downloads, hide ads and more …

カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi dis...

ののし
October 12, 2022
1.4k

カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi distributed storage from k8s

ののし

October 12, 2022
Tweet

More Decks by ののし

Transcript

  1. 自宅ラボ構成 ・仮想化基盤 (Proxmox VE) に K8s やその他サーバを構築 ・ K8s は

    kubeadm を使ったノーマル構成 ・ラズパイに分散ストレージ Ceph を構築して K8s の Rook から利用 ・主にこちらをお話しします Proxmox VE Ceph DNS K8s LB ルータ ラボネットワーク 自宅ネットワーク
  2. 自宅ラボ構成 ・仮想化基盤は NUC と DeskMini の 2 台構成 ・ Ceph

    はラズパイ 3 台構成 & PoE スイッチから電源供給 物理構成 NUC DeskMini ラズパイ#1 ラズパイ#2 ラズパイ#3 PoE スイッチ Cisco 891FJ
  3. なんで ラズパイ ✕ Ceph ? ・ K8s 勉強のため自宅ラボ構築 ・ Rook/Ceph

    で StorageClass を用意 ・よくクラスタを壊すのでストレージも消える ・そもそも Ceph が分からない ・クラスタ外にストレージを作ろう、ついでに Ceph も勉強しよう ・ストレージは物理で用意したいよね(浪漫) ・でもあまり💰は掛けたくない ラズパイ Ceph 爆誕 K8s はどうした 🤔自宅 K8s クラスタのストレージはどうしてますか? Synology が CSI ドライバ公開してて便利そう
  4. ラズパイ Ceph の作り方 1. ARM 向け OS イメージを MicroSD カードに焼く

    2. MicroSD をラズパイに挿して起動 3. Cephadm を使ってクラスタ作成 ◦ Cephadm については Japan Rook Meetup #5 でお話ししています(宣伝) とてもカンタン!
  5. K8s から Ceph を使う 1. K8s に Rook インストール 2.

    Ceph で認証情報を作成 / 取得するスクリプト実行 3. External Cluster 用リソースデプロイ とてもお手軽! K8s に関連するページはここだけかも ……
  6. Ceph がラズパイに対応してなかった ・ OSD が起動してもすぐ落ちる ・ ceph-volume が /dev/root を想定していない

    ・データストア (filestore/bluestore) を選択できなくてコケる ・最新版 Ceph では修正済みの事象 ・ラズパイで動くことを想定していないバグがあったりする
  7. USB-SATAケーブルの相性問題 ・ SSD を USB-SATA ケーブルでラズパイに接続 ・ SSD を認識しなくなるエラーが多発 ・ラズパイと相性が悪い

    USB-SATA ケーブルだった ・実績のあるケーブルに変えることで安定 ・こちらのサイトに助けられました    Best Working SSD / Storage Adapters for Raspberry Pi 4 / 400   https://jamesachambers.com/best-ssd-storage-adapters-for-raspberry-pi-4-400/ ・ケーブル全とっかえ😇~💸
  8. ・ SSD を 1 台 / ラズパイ で運用 ・もっと OSD

    が欲しい …… → SSD を 2 台 / ラズパイ に増やす ・電力不足発生 → ラズパイは USB type-c で 15W 供給 ・ PoE+ HAT と PoE スイッチを導入 ・ 30W 供給可能 ・電力不足解消 & ケーブル周りもスッキリ ・😇~💸 電力不足
  9. 停電で MicroSD ぶっ壊れる ・最近落雷⚡が多いですよね ・ UPS を導入していない自宅ラボで停電頻発 ・ラズパイ ⅔ 台の

    MicroSD カードが故障、停電が原因っぽい ・ UPS 導入して停電対策 ・安心は金で買える ・😇~💸 ・ MicroSD は壊れやすいのでラズパイは SSD 起動がよいかも
  10. まとめ ・ラズパイを使えば カンタン ( ※ 1) お手軽 ( ※ 2)

    に Ceph を構築できる ( ※ 3)( ※ 4) ※ 1 インストールはカンタンです ※ 2 Rook から使うのはお手軽です ※ 3 安定稼働するとは言ってない ※ 4 😇~💸 ・大変さを上回る楽しさがあります✨