Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi dis...
Search
ののし
October 12, 2022
1
1.5k
カンタンお手軽?!k8sから使えるラズパイ分散ストレージ / Raspberry Pi distributed storage from k8s
ののし
October 12, 2022
Tweet
Share
More Decks by ののし
See All by ののし
HCP Vault Secrets でシークレット管理を始めよう / Getting Started with Secret Management Using HCP Vault Secrets
nnstt1
0
41
HashiCorp Ambassador が予想!Red Hat × HashiCorp の未来 / The Future of Red Hat and HashiCorp
nnstt1
1
120
Terraform を使った Front Door の小ネタ / Terraform for Front Door
nnstt1
0
76
つまずきから学ぶ Backstage の Golden Path 構築
nnstt1
2
920
Azure ユーザに捧げる Terraform Cloud 101 / Terraform Cloud 101 for Azure Users
nnstt1
0
460
AKS と HCP Vault の組み合わせでつまずいた話 / Stumbles with AKS and HCP Vault combination
nnstt1
1
96
Vault Secrets Operator と HCP Vault を使った AKS のシークレット管理 / AKS secret management using the Vault Secrets Operator and HCP Vault
nnstt1
0
110
Vault Secrets Operator と Dynamic Secrets で安全にシークレットを使おう / Vault Secrets Operator and Dynamic Secrets
nnstt1
4
780
OpenShift を身近に感じる Single Node OpenShift と OpenShift Local / Single Node OpenShift and OpenShift Local that makes OpenShift familiar
nnstt1
1
980
Featured
See All Featured
Music & Morning Musume
bryan
46
6.2k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Testing 201, or: Great Expectations
jmmastey
38
7.1k
Unsuck your backbone
ammeep
668
57k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
Code Review Best Practice
trishagee
64
17k
The Cost Of JavaScript in 2023
addyosmani
45
6.8k
Teambox: Starting and Learning
jrom
133
8.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
329
21k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
410
Transcript
カンタンお手軽?!K8s から使えるラ ズパイ分散ストレージ K8s@home #1 LT 2022/10/12
自己紹介 ・ののし (@nnstt1) ・自動化が好き ・息子たちが大好き CKS/Professional/Expert 取りたいなぁ
自宅ラボ構成 ・仮想化基盤 (Proxmox VE) に K8s やその他サーバを構築 ・ K8s は
kubeadm を使ったノーマル構成 ・ラズパイに分散ストレージ Ceph を構築して K8s の Rook から利用 ・主にこちらをお話しします Proxmox VE Ceph DNS K8s LB ルータ ラボネットワーク 自宅ネットワーク
自宅ラボ構成 ・仮想化基盤は NUC と DeskMini の 2 台構成 ・ Ceph
はラズパイ 3 台構成 & PoE スイッチから電源供給 物理構成 NUC DeskMini ラズパイ#1 ラズパイ#2 ラズパイ#3 PoE スイッチ Cisco 891FJ
自宅ラボ構成 ・なるべく棚1段で収まる規模で NUC11PAHi5 DeskMini A300 NETGEAR GS305P ラズパイ Cisco 891FJ
空冷
Raspberry Pi とは ・ ARM プロセッサを搭載したシングルボードコンピュータ ・通称「ラズパイ」 ・ Kubernetes クラスタ構築も可能
・自宅ラボでは Raspberry Pi 4 Model B (Mem: 4GB) を利用 ・最近は入手困難らしい
Ceph とは ・オープンソースの分散ストレージ ・ブロックストレージ、ファイルストレージ、オブジェクトストレージを提供 ・ OSD がストレージデバイスを管理
Rook とは ・クラウドネイティブなストレージオーケストレーター ・ K8s 上で Ceph を管理するオペレーターを展開 ・ External
Cluster という機能で K8s クラスタ外の Ceph も利用可能
なんで ラズパイ ✕ Ceph ? ・ K8s 勉強のため自宅ラボ構築 ・ Rook/Ceph
で StorageClass を用意 ・よくクラスタを壊すのでストレージも消える ・そもそも Ceph が分からない ・クラスタ外にストレージを作ろう、ついでに Ceph も勉強しよう ・ストレージは物理で用意したいよね(浪漫) ・でもあまり💰は掛けたくない ラズパイ Ceph 爆誕 K8s はどうした 🤔自宅 K8s クラスタのストレージはどうしてますか? Synology が CSI ドライバ公開してて便利そう
ラズパイ Ceph の作り方 1. ARM 向け OS イメージを MicroSD カードに焼く
2. MicroSD をラズパイに挿して起動 3. Cephadm を使ってクラスタ作成 ◦ Cephadm については Japan Rook Meetup #5 でお話ししています(宣伝) とてもカンタン!
K8s から Ceph を使う 1. K8s に Rook インストール 2.
Ceph で認証情報を作成 / 取得するスクリプト実行 3. External Cluster 用リソースデプロイ とてもお手軽! K8s に関連するページはここだけかも ……
ラズパイ Ceph の注意点 ラズパイを使ったことでいくつかトラブルがあったので紹介します。 (時間なくなったら省略します)
Ceph がラズパイに対応してなかった ・ OSD が起動してもすぐ落ちる ・ ceph-volume が /dev/root を想定していない
・データストア (filestore/bluestore) を選択できなくてコケる ・最新版 Ceph では修正済みの事象 ・ラズパイで動くことを想定していないバグがあったりする
USB-SATAケーブルの相性問題 ・ SSD を USB-SATA ケーブルでラズパイに接続 ・ SSD を認識しなくなるエラーが多発 ・ラズパイと相性が悪い
USB-SATA ケーブルだった ・実績のあるケーブルに変えることで安定 ・こちらのサイトに助けられました Best Working SSD / Storage Adapters for Raspberry Pi 4 / 400 https://jamesachambers.com/best-ssd-storage-adapters-for-raspberry-pi-4-400/ ・ケーブル全とっかえ😇~💸
・ SSD を 1 台 / ラズパイ で運用 ・もっと OSD
が欲しい …… → SSD を 2 台 / ラズパイ に増やす ・電力不足発生 → ラズパイは USB type-c で 15W 供給 ・ PoE+ HAT と PoE スイッチを導入 ・ 30W 供給可能 ・電力不足解消 & ケーブル周りもスッキリ ・😇~💸 電力不足
停電で MicroSD ぶっ壊れる ・最近落雷⚡が多いですよね ・ UPS を導入していない自宅ラボで停電頻発 ・ラズパイ ⅔ 台の
MicroSD カードが故障、停電が原因っぽい ・ UPS 導入して停電対策 ・安心は金で買える ・😇~💸 ・ MicroSD は壊れやすいのでラズパイは SSD 起動がよいかも
まとめ ・ラズパイを使えば カンタン ( ※ 1) お手軽 ( ※ 2)
に Ceph を構築できる ( ※ 3)( ※ 4) ※ 1 インストールはカンタンです ※ 2 Rook から使うのはお手軽です ※ 3 安定稼働するとは言ってない ※ 4 😇~💸 ・大変さを上回る楽しさがあります✨