スイッチのBMC、つかってますか？

さくらインターネット株式会社
井上 喬視

SONiC Workshop Japan 2025
https://sonic.connpass.com/event/345182/

Transcript

1. スイッチのBMC、つかってますか？ さくらインターネット株式会社 井上喬視 1
2. 自己紹介 所属: さくらインターネット株式会社 担当サービス: さくらの専用サーバー PHY 高火力 PHY ← 最近はもっぱらこちら 業務としては主にネットワークを中心にインフラ全般を担当 JANOG54「生成AI向けパブリッククラウドサービスをつくってみた話」 https://www.janog.gr.jp/meeting/janog54/sakura/ さくらの専用サーバPHYとその裏側 〜物理ホスティング環境構築自動化の取り組み〜 (前編) https://knowledge.sakura.ad.jp/26536/ 2
3. はじめに BMCが搭載されたスイッチを運用することになったので、使ってみて わかった課題と今後への期待感を共有したい！ BMCについて 実際どうなのか スイッチとBMCに期待すること (運用者目線) 3
4. BMCについて 4
5. BMC (Baseboard Management Controller) サーバーの管理、モニタリングを可能にする専用のコントローラ OSとは独立して動作する OSの起動/停止 BIOSやファームウェアのアップデート ハードウェアのモニタリング リモートコンソール etc. 5
6. サーバーとBMC サーバーにはだいたい搭載されている ベンダーによって名称が違う DELL: iDRAC HPE: iLO Fujitsu: iRMC 各社の実装には若干クセがある ハードウェアも違うのである程度の差異は許容して利用している 運用者目線だと「未実装」はありえない（無いと困る） 6
7. Fujitsu iRMCS5 7
8. Supermicro BMC 8
9. BMCの使われ方 インターフェースがいくつか用意されている WebGUI 前スライドのスクリーンショットがこれに該当 IPMI Redfish 9
10. IPMI BMCを利用するための一般的なインターフェース Intelligent Platform Management Interface Lanplusインターフェースを使ってリモートからも操作が可能 電源操作とかハードウェア異常のモニタリングなど $ ipmitool chassis status System Power : on Power Overload : false Power Interlock : inactive Main Power Fault : false (以下略) 10
11. Redfish 正直、今の時代IPMIは扱いやすいとは言い難い データの構造化がされていない 基本的に平文、認証も弱い ポストIPMIとして登場してきたのがRedfish Restful API / データはJSONで構造化されている 認証まわりも強化 仕様は公開されている https://www.dmtf.org/jp/standards/redfish 11
12. サーバーではこう使っています 電源のオンオフ ON / OFF / Power Cycle / Soft Reset リモートコンソール ブラウザからサーバーの画面を開いて操作 モニタリング CPUやメモリなどコンポーネントのヘルスチェック ログ ハードウェア関連のログ (SEL) 障害解析情報の取得 いわゆるtech-support 12
13. スイッチでも使いたくないですか？ 13
14. BMCが搭載されたスイッチ EdgeCore AIS800-64O ← これで試しています Tomahawk5の800G x 64ポート sonic-buildimageをgrepするとBMCが実装されてそうなスイッチが 出てくる $ grep -r ipmi ./device/* | cut -d/ -f4 | sort | uniq $ grep -r ipmi ./platform/* | cut -d/ -f4,5 | sort | uniq 14
15. SONiCからipmitool fru $ sudo ipmitool fru FRU Device Description : Builtin FRU Device (ID 0) Device not present (Requested sensor, data, or record not found) FRU Device Description : cpu0 (ID 1) Product Version : R01 FRU Device Description : bmc (ID 2) Board Mfg Date : Wed Sep 11 09:43:00 2024 Board Product : AST2600 DC-SCM Board Serial : xxxxxxxxxxxxxx Board Extra : 7C:8D:9C:XX:XX:XX Board Extra : R0B FRU Device Description : powersupply0 (ID 75) Board Mfg Date : Sat Apr 20 09:00:00 2024 Board Mfg : Liteon Power Board Product : PS-2302-6L Board Serial : xxxxxxxxxxxxxxx Board Part Number : PS-2302-6L Product Version : 02 (以下略) 15
16. SONiCからipmitool sensor $ sudo ipmitool sensor (途中略) FAN0_FRONT | 8700.000 | RPM | ok | na | 3750.000 | 3900.000 | 18300.000 | 18450.000 | na FAN1_FRONT | 8550.000 | RPM | ok | na | 3750.000 | 3900.000 | 18300.000 | 18450.000 | na FAN2_FRONT | 8700.000 | RPM | ok | na | 3750.000 | 3900.000 | 18300.000 | 18450.000 | na FAN3_FRONT | 8700.000 | RPM | ok | na | 3750.000 | 3900.000 | 18300.000 | 18450.000 | na FAN0_REAR | 9600.000 | RPM | ok | na | 3300.000 | 3450.000 | 15600.000 | 15750.000 | na FAN1_REAR | 9900.000 | RPM | ok | na | 3300.000 | 3450.000 | 15600.000 | 15750.000 | na FAN2_REAR | 9750.000 | RPM | ok | na | 3300.000 | 3450.000 | 15600.000 | 15750.000 | na FAN3_REAR | 9750.000 | RPM | ok | na | 3300.000 | 3450.000 | 15600.000 | 15750.000 | na 16
17. 外からipmitool chassis power status $ ipmitool -H 10.100.xx.xx -U admin -P **** -I lanplus -C17 chassis power status Chassis Power is on いちおう動く FANやPSUの監視には使えそう sonic-buildimageみる感じipmitoolの結果をshowコマンド で出力しているケースもありそう ただ chassis power cycle が動かないことがある（あった） 17
18. Redfish $ curl -k -u admin:xxxxxxx https://10.100.29.13/redfish/v1/ { "@odata.id": "/redfish/v1", "@odata.type": "#ServiceRoot.v1_11_0.ServiceRoot", "AccountService": { "@odata.id": "/redfish/v1/AccountService" }, "Cables": { "@odata.id": "/redfish/v1/Cables" }, "CertificateService": { "@odata.id": "/redfish/v1/CertificateService" }, "Chassis": { "@odata.id": "/redfish/v1/Chassis" (以下略) 18
19. Redfishでchassisの正常性確認 $ curl -sk -u admin:xxxxxxx https://10.100.29.13/redfish/v1/Chassis/chassis | jq .Status { "Health": "OK", "HealthRollup": "OK", "State": "Enabled" } $ curl -sk -u admin:xxxxxxx https://10.100.29.13/redfish/v1/Chassis/chassis/Thermal | jq ".Fans|.[]|{Name,Status}" { "Name": "FAN1 FRONT", "Status": { "Health": "OK", "State": "Enabled" } } { "Name": "FAN1 REAR", "Status": { "Health": "OK", "State": "Enabled" } } (以下略) 19
20. Redfish Actionもある(PowerCycle) ※ 動くかどうかは未検証 $ curl -sk -u admin:xxxxxxx https://10.100.29.13/redfish/v1/Chassis/chassis/ResetActionInfo { "@odata.id": "/redfish/v1/Chassis/chassis/ResetActionInfo", "@odata.type": "#ActionInfo.v1_1_2.ActionInfo", "Id": "ResetActionInfo", "Name": "Reset Action Info", "Parameters": [ { "AllowableValues": [ "PowerCycle" ], "DataType": "String", "Name": "ResetType", "Required": true } ] 20
21. ちょっと雑な面も... シャーシ名がchassisだったり $ curl -sk -u admin:xxxxxxx https://10.100.29.13/redfish/v1/Chassis/chassis | jq .Name "chassis" シリアル番号が取れなさそう CPUやメモリは無いものとして扱われている Redfish HostInterface は生えない MICASの一部デバイスで対応している？ sonic-buildimageを除くとredfishを叩いてるコードがある 21
22. WebGUI 22
23. WebGUI Serial over LAN 23
24. WebGUI 雑感 OpenBMCベースで楽しい Serial over LANが動くのは高評価 作りこみはやっぱり甘い 24
25. 全体的に惜しい 25
26. きちんとした実装をお願いしたい 出始めなので仕方ないのだが... まだ作りこみが足りなさそう 動かない機能もある ドキュメント類が無い 公式の言及が無いので、Health見えるが使えるか不安 DELLさん、iDRAC乗りませんか？ ベンダー版SONiCなら作りこむことで差別化にならないですか？ というか、何でいままで載ってなかったんだろう？ 26
27. BMCを使って実現したいこと ハードウェアはハードウェア側の機能で監視したい スイッチの実装にとらわれない形でハードウェアを監視したい どんなOSが乗っかっても共通の監視ができる コンソールサーバーも無しでよくなる 異常動作時にリモートから再起動したい SONiCってまれによくハングしませんか？ むしろ800Gとかじゃなくて普通のスイッチにも欲しい 使いこなしている人いませんか？ 27