Re:ゼロから始めるシェアハウスのペットな鯖

11/15 自鯖缶登壇資料
https://jisaba.sh/sessions/61e7d05f-dc5c-4559-9cdb-e94032cf9f7f

セッション概要
私たちが現在運営している一軒家シェアハウスでは、10Gbps 光回線が敷かれ、Proxmox 基盤の上でいくつものサービスが運用されています。このシェアハウスには様々な住民が暮らしており、彼らの取り組みを発信するブログや巨大ファイルを置いておくための NAS など、住民が便利に使えるサービスがいくつも運用されています。しかし、最初からこのようなサービスが動いていたわけでも、ソフトウェアをデプロイできる基盤があったわけでもありません。

この講演では、自宅鯖を構築した初期の頃から現在までの運用方法や物理機材の変遷、その上で動かしてきたワークロードについて、シェアハウスならではの事情を交えて、紹介します。

あらすじ：
シェアハウスの住民に良いサービスを届けよう！と意気込む俺たちだったが、誰かがドライヤーを使うと停電してしまうことが発覚する。住民がデフォルトゲートウェイと同一IPを自身のPCに設定して、ネットワークを破壊することもしばしば...。誰かに譲り受けた古のラックサーバーが結局起動せず文鎮と化したり、ATX サイズのケースを電車で抱えてきたり...
こんな基盤の「サバカン」に任命された俺たち。...って、何もしてないのに壊れたって泣きつかれるの！？これでも俺たち、毎日多忙な社会人エンジニアなんですけど！？

1. Re:ゼロから始める シェアハウスのペットな鯖 片瀬 拓海 / 大畑 誠弥
2. 片瀬 拓海 / 大畑 誠弥
3. 片瀬 拓海 / Takumi Katase @devoc_ インフラエンジニア 最近ハマってるゲームは NTE
4. 大畑 誠弥 / Seiya Ohata @silmin_ オタクエンジニア CI 盆栽が生きがいです 楽園追放続編、12 年待った...
5. 大学時代（1周目） 研究室の仲間と一緒に 余ったサーバーをかき集めて Proxmox, K8s, NAS などを運用 • • • • DNS / DHCP GitLab 音楽サーバー 学生証による入退室管理
6. Centrum と Centrum Haus（2周目） 社会人になってもラボとして使える環境や仲間が欲しい！ → コミュニティとシェアハウスを運営することに Cypherpunk な思想のもと、様々な人が集う
7. Proxmox VE クラスタ爆誕 ミニPC 4 台を床直運用 何をするにもまず 自由に VM を生やせる基盤が欲しい 画像は Ubuntu server この後 PVE 4台 クラスタを この床で運用することになります
8. Proxmox VE クラスタ爆誕 ミニPC 4 台を床直運用 何をするにもまず 自由に VM を生やせる基盤が欲しい ※ 全部床の上です
9. 事件：外に出られたり出なかったりする... 世は大固定 IP 時代（homelab あるある） それは DHCP を自前で準備したく、 ルータの DHCP を無効化していた時に唐突に訪れた...
12. 原因：住民がデフォゲと同一IPを自身に設定 これは特定がちょっと難しく、 必ずしも完全に壊れるわけではないので苦労した... やはり DHCP ・・・・！！ DHCP は全てを解決する・・・・！！
13. DHCP を整備（基本的人権 ① systemd-networkd で DHCP サーバーが建てられるって？！ 追加で何も入れなくて良くて快適！！ 当時実際に使っていた Unit ファイル
14. DNS を整備（基本的人権 ② いつまでも生 IP 指定したくないﾅﾘ...→ .ctrm ドメインが爆誕
15. 事件：謎にクラスタが再起動している時がある 自動起動になってない VM がなぜか落ちてる時がある 「あれ？起動忘れてたっけ...？」 そんなわけないけど、じゃあ勝手に再起動したってこと？ でも結構な頻度であるぞ...？
17. ある時、目の前でいきなりサーバーたちの電源が落ちた 洗面所（お風呂エリア）で キャパを超えるとサーバーエリアも 停電することが発覚 !? ナンデ！？
18. なんかここが 同じ系統らしい... まあリノベ済み一軒家 こういうこともあるか...
19. UPS の導入（基本的人権 ③ コミュニティメンバーのケンスケさん にいただきました！ありがとう...！ （自鯖缶個人スポンサーでもある）
20. サーバーが増えてきて... VM や LXC の設定、DNS の hosts などサービス提供に必要な ファイルがポツポツ生えてきた 設定ファイルのバックアップ先や複数人でスームズに開発を進め られるようにするためにバージョン管理システムが欲しくなってき た
21. サーバーが増えてきて... VM や LXC の設定、DNS の hosts などサービス提供に必要な ファイルがポツポツ生えてきた 設定ファイルのバックアップ先や複数人でスームズに開発を進め られるようにするためにバージョン管理システムが欲しくなってき た Git サーバーが欲しい！！
22. おうち Git サーバー • GitHub & GitHub Actions Self-hosted runners ◦ シークレット気軽にコミットできない • GitLab & GitLab Runner ◦ 使ったことある • Forgejo & Forgejo Actions ◦ GitLab よりリソース消費が少なそう ◦ GitHub Actions との互換性
23. hosts 管理
24. 各種サービスのデプロイ自動化
25. おうち Git サーバー • ソースコードのバージョン管理、共有が可能に • シークレット管理を怠っても気にならない ◦ 内部ネットワークに限定しているので • 自動化や定期バッチの実行基盤として、Forgejo Actions が 活躍
26. Centrum Discord
27. DECO*mon (在宅状況を教えてくれる)
28. Welcome AA
29. 川柳検出 bot
30. 栄養バランス判定 bot
31. Centrum blog - Next.js + Payload CMS - LXC on Proxmox - Cloudflare Access + Cloudflare Tunnel 技術記事から、住人の日常ま でさまざまな内容の記事が投 稿される
32. VM 基盤や CI 基盤が整ってきた... ISP から貸与された BB ルーターで頑張ってきた けど、ネットワーク周りも充実させたい
33. 好機(チャンス)が訪れる...
35. UniFi Cloud Gateway Fiber • 10G SFP / 10GbE RJ45 • リッチな WebUI ◦ 各種メトリクス ◦ VLAN ◦ DNS ◦ DHCP ◦ Firewall ◦ Routing Table ◦ など
36. UniFi Cloud Gateway Fiber • DHCP や DNS を VM から 移行 • 設定の一部は Terraform で管理
37. またとある日には...
38. ストレージサーバーの需要の高まり • • • • DJ をする住人がいる 楽曲等の大きいファイルを保存したい VM のディスクをこちらにしたい S3 的にアプリケーションから使いたい
39. ストレージ基盤のパーツを求めて秋葉原へ
40. 戦利品 • • • • • Mellanox SFP28 25G の NIC ゲーミング用途のマザボ PCIe がいっぱいある) PC ケース DDR4 8GB  4 電源
41. その辺に落ちてたパーツ • CPU (第7世代 Intel Core-i5 • ハードディスク 3TB  3 ◦ 後に1台調子が悪いことが発覚
42. ストレージ基盤(nazuna) 爆誕！！
43. ストレージ基盤(nazuna) 爆誕！！ - ガレリアの中古ケースを購入 - 秋葉散策中に「ぶいすぽっ！」とガレ リアがコラボしているのを発見 - ストレージ → NAS → ナズ … → nazuna！！
44. S3 互換のオブジェクトストレージを構築 - 画像などの静的アセット の保存先 - Centrum blog - Nextcloud - Versity S3 Gateway - HDD をミラーリング - S3 の内部ユーザーとバ ケットは Terraform 管理
47. 最新の物理・ネットワーク構成
48. サービスが増えてきた... • サービスごとにユーザーを発行する必要がある • 住人だけでなく、Centrum コミュニティ内にもサービスを提 供していきたい SSO 基盤を作ろう！！(おうち IdP プロジェクト発足)
49. Centrum ID 爆誕！！
50. Centrum ID 爆誕！！ - Pocket ID - OAuth2 / OpenID Connect で接続 - パスキーで認証 - 各サービスにユーザー名やア イコン画像が自動で連携
51. • • • • compose.yaml を実行する環境を配れる 環境 : VM  11 ユーザごとに見える環境を制御できる arcane-agent を VM に入れることで、自由にできる
52. なんちゃってプライベートクラウド爆誕！
53. 今後やりたいこと • Centrum ID  Discord 連携 • メイドちゃんの具現化 ◦ 裸眼立体視モニタ（最近出た ELFMN1 ） ◦ Portalgraph • 監視基盤 ◦ 冗長電源と冗長インターネット接続
54. 宣伝 音楽 × コーヒー × 技術な イベントをやります。是非。