Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi dis...
Search
ののし
October 12, 2022
1
1.4k
カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi distributed storage from k8s
ののし
October 12, 2022
Tweet
Share
More Decks by ののし
See All by ののし
HashiCorp Ambassador が予想!Red Hat × HashiCorp の未来 / The Future of Red Hat and HashiCorp
nnstt1
1
120
Terraform を使った Front Door の小ネタ / Terraform for Front Door
nnstt1
0
73
つまずきから学ぶ Backstage の Golden Path 構築
nnstt1
1
870
Azure ユーザに捧げる Terraform Cloud 101 / Terraform Cloud 101 for Azure Users
nnstt1
0
450
AKS と HCP Vault の組み合わせでつまずいた話 / Stumbles with AKS and HCP Vault combination
nnstt1
1
90
Vault Secrets Operator と HCP Vault を使った AKS のシークレット管理 / AKS secret management using the Vault Secrets Operator and HCP Vault
nnstt1
0
100
Vault Secrets Operator と Dynamic Secrets で安全にシークレットを使おう / Vault Secrets Operator and Dynamic Secrets
nnstt1
4
770
OpenShift を身近に感じる Single Node OpenShift と OpenShift Local / Single Node OpenShift and OpenShift Local that makes OpenShift familiar
nnstt1
1
960
Operator を導入してみよう ~MinIO Operator 編~ / Let's install Operator ~MinIO Operator~
nnstt1
0
1k
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
72
5.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.8k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Rails Girls Zürich Keynote
gr2m
93
13k
A designer walks into a library…
pauljervisheath
202
24k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Done Done
chrislema
181
16k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
GitHub's CSS Performance
jonrohan
1030
460k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Become a Pro
speakerdeck
PRO
24
5k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Transcript
カンタンお手軽?!K8s から使えるラ ズパイ分散ストレージ K8s@home #1 LT 2022/10/12
自己紹介 ・ののし (@nnstt1) ・自動化が好き ・息子たちが大好き CKS/Professional/Expert 取りたいなぁ
自宅ラボ構成 ・仮想化基盤 (Proxmox VE) に K8s やその他サーバを構築 ・ K8s は
kubeadm を使ったノーマル構成 ・ラズパイに分散ストレージ Ceph を構築して K8s の Rook から利用 ・主にこちらをお話しします Proxmox VE Ceph DNS K8s LB ルータ ラボネットワーク 自宅ネットワーク
自宅ラボ構成 ・仮想化基盤は NUC と DeskMini の 2 台構成 ・ Ceph
はラズパイ 3 台構成 & PoE スイッチから電源供給 物理構成 NUC DeskMini ラズパイ#1 ラズパイ#2 ラズパイ#3 PoE スイッチ Cisco 891FJ
自宅ラボ構成 ・なるべく棚1段で収まる規模で NUC11PAHi5 DeskMini A300 NETGEAR GS305P ラズパイ Cisco 891FJ
空冷
Raspberry Pi とは ・ ARM プロセッサを搭載したシングルボードコンピュータ ・通称「ラズパイ」 ・ Kubernetes クラスタ構築も可能
・自宅ラボでは Raspberry Pi 4 Model B (Mem: 4GB) を利用 ・最近は入手困難らしい
Ceph とは ・オープンソースの分散ストレージ ・ブロックストレージ、ファイルストレージ、オブジェクトストレージを提供 ・ OSD がストレージデバイスを管理
Rook とは ・クラウドネイティブなストレージオーケストレーター ・ K8s 上で Ceph を管理するオペレーターを展開 ・ External
Cluster という機能で K8s クラスタ外の Ceph も利用可能
なんで ラズパイ ✕ Ceph ? ・ K8s 勉強のため自宅ラボ構築 ・ Rook/Ceph
で StorageClass を用意 ・よくクラスタを壊すのでストレージも消える ・そもそも Ceph が分からない ・クラスタ外にストレージを作ろう、ついでに Ceph も勉強しよう ・ストレージは物理で用意したいよね(浪漫) ・でもあまり💰は掛けたくない ラズパイ Ceph 爆誕 K8s はどうした 🤔自宅 K8s クラスタのストレージはどうしてますか? Synology が CSI ドライバ公開してて便利そう
ラズパイ Ceph の作り方 1. ARM 向け OS イメージを MicroSD カードに焼く
2. MicroSD をラズパイに挿して起動 3. Cephadm を使ってクラスタ作成 ◦ Cephadm については Japan Rook Meetup #5 でお話ししています(宣伝) とてもカンタン!
K8s から Ceph を使う 1. K8s に Rook インストール 2.
Ceph で認証情報を作成 / 取得するスクリプト実行 3. External Cluster 用リソースデプロイ とてもお手軽! K8s に関連するページはここだけかも ……
ラズパイ Ceph の注意点 ラズパイを使ったことでいくつかトラブルがあったので紹介します。 (時間なくなったら省略します)
Ceph がラズパイに対応してなかった ・ OSD が起動してもすぐ落ちる ・ ceph-volume が /dev/root を想定していない
・データストア (filestore/bluestore) を選択できなくてコケる ・最新版 Ceph では修正済みの事象 ・ラズパイで動くことを想定していないバグがあったりする
USB-SATAケーブルの相性問題 ・ SSD を USB-SATA ケーブルでラズパイに接続 ・ SSD を認識しなくなるエラーが多発 ・ラズパイと相性が悪い
USB-SATA ケーブルだった ・実績のあるケーブルに変えることで安定 ・こちらのサイトに助けられました Best Working SSD / Storage Adapters for Raspberry Pi 4 / 400 https://jamesachambers.com/best-ssd-storage-adapters-for-raspberry-pi-4-400/ ・ケーブル全とっかえ😇~💸
・ SSD を 1 台 / ラズパイ で運用 ・もっと OSD
が欲しい …… → SSD を 2 台 / ラズパイ に増やす ・電力不足発生 → ラズパイは USB type-c で 15W 供給 ・ PoE+ HAT と PoE スイッチを導入 ・ 30W 供給可能 ・電力不足解消 & ケーブル周りもスッキリ ・😇~💸 電力不足
停電で MicroSD ぶっ壊れる ・最近落雷⚡が多いですよね ・ UPS を導入していない自宅ラボで停電頻発 ・ラズパイ ⅔ 台の
MicroSD カードが故障、停電が原因っぽい ・ UPS 導入して停電対策 ・安心は金で買える ・😇~💸 ・ MicroSD は壊れやすいのでラズパイは SSD 起動がよいかも
まとめ ・ラズパイを使えば カンタン ( ※ 1) お手軽 ( ※ 2)
に Ceph を構築できる ( ※ 3)( ※ 4) ※ 1 インストールはカンタンです ※ 2 Rook から使うのはお手軽です ※ 3 安定稼働するとは言ってない ※ 4 😇~💸 ・大変さを上回る楽しさがあります✨