ディスクレスハイパーバイザ 〜運用しやすいクラウドのために〜

サイバーエージェントにはプライベートクラウドチームがあり、15年以上前から自社でサーバを管理/運用しています。 プライベートクラウドを運用するにあたって、効率的な運用のために数多くの仕組みや自動化システムを開発しています。 このセッションではその中の1つであるディスクレスハイパーバイザについてお話しします。

Talked by 【サイバーエージェント】クラウドを支えるインフラ技術

Transcript

1. ディスクレスハイパーバイザ 〜運⽤しやすいクラウドのために〜 株式会社サイバーエージェント CIU Platform div 
 Nakanishi Kento @whywaita クラウドを⽀えるインフラ技術 @ CAMPHOR- HOUSE 20 23 / 02 / 07
2. Nakanisi Kento / whywaita • 2019年新卒⼊社 (4年⽬) • 業務: OpenStack / Kubernetes を使った新機能開発 • IaaSの開発 • OSS (myshoes) の開発 
 & OSSを⽤いたマネージドサービス PdM • 趣味: ⾃宅インフラ / アニソン / ポーカー
3. ディスクレスハイパーバイザ 〜運⽤しやすいクラウドのために〜 株式会社サイバーエージェント CIU Platform div 
 Nakanishi Kento @whywaita クラウドを⽀えるインフラ技術 @ CAMPHOR- HOUSE 20 23 / 02 / 07
4. 4 運⽤しやすいクラウド 🤔
5. Cycloud 5 •Cy(berAgent)cloud •特徴 •各種コンポーネントのAPI化 •Cloud / Firewall / IPAddress / LoadBalancer / etc •性能に対するコストパフォーマンス (Public⽐) •運⽤者が「つらくない」プライベートクラウド
6. プライベートクラウド概要図 6 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage
7. プライベートクラウド (OpenStack) の展開 7 L 
 VM Users 
 VM Users 
 Service nova 
 Components OpenStack 

8. プライベートクラウド (OpenStack) の展開 8 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master k 8 s 
 master Storage Storage KVM / Container Users 
 Components
10. 10 沢⼭あります！
11. 11 さらに
12. プライベートクラウド概要図 12 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage
13. プライベートクラウド概要図 13 L 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components Physical 

14. 14 改めて考えると
15. プライベートクラウド概要図 15 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage
16. プライベートクラウド概要図 16 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage
17. プライベートクラウド概要図 17 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container
18. 18 管理が⼤変…
19. 19 運⽤「しにくい」！
20. 20 運⽤「しやすい」 とは
21. 運⽤「しやすい」クラウドのために 21 沢⼭のプロセスには？ → Kubernetesを使いましょう！ 沢⼭の物理機材には？ →「Bearman🐻」を使いましょう！
22. プライベートクラウド概要図 22 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage
23. プライベートクラウド概要図 23 L 8 s master k 8 s 
 master k 8 s 
 master Storage Storage KVM / Container Users 
 Components 物理的なサーバは 
 Kubernetes Node として管理
24. 24 $ kubectl get nodes | grep ^cn cn0001 Ready cn,node cn0002 Ready cn,node cn0003 Ready cn,node cn0004 Ready cn,node
25. 25 $ kubectl get nodes | grep ^cn cn0001 Ready cn,node cn0002 Ready cn,node cn0003 Ready cn,node cn0004 Ready cn,node 1台で80Core 512 GB ※最近だと96Core 1 TB
26. プライベートクラウド概要図 26 L 
 neutron 
 Container KVM / Container OpenStack 
 Components Physical 
 Components OpenStack⽤のコンポーネントは 
 Podとして管理
27. 27 $ kubectl get pod -n openstack -o wide | grep nova-api nova-api-849dff6d5b-68z8h 2/2 Running 0 22d x.x.x.x k8smaster01 nova-api-849dff6d5b-8d95z 2/2 Running 0 22d x.x.x.x k8smaster02 nova-api-849dff6d5b-bp64w 2/2 Running 0 22d x.x.x.x k8smaster03 nova-api-849dff6d5b-cxhwt 2/2 Running 0 22d x.x.x.x k8smaster04
28. 28 $ kubectl get pod -n openstack -o wide | grep nova-api nova-api-849dff6d5b-68z8h 2/2 Running 0 22d x.x.x.x k8smaster01 nova-api-849dff6d5b-8d95z 2/2 Running 0 22d x.x.x.x k8smaster02 nova-api-849dff6d5b-bp64w 2/2 Running 0 22d x.x.x.x k8smaster03 nova-api-849dff6d5b-cxhwt 2/2 Running 0 22d x.x.x.x k8smaster04 複数ノードに渡るプロセスを ⼀括管理可能！
29. プライベートクラウド概要図 29 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container nova 
 neutron 
 Container OpenStack 
 Controller 
 Container other 
 Container
30. プライベートクラウド概要図 30 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage
31. 31 🙌
32. プライベートクラウド概要図 32 L 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage
34. 34 ⼿作業の管理は無理！🙅
35. Bearman 🐻 35 •Django製 Baremetal 管理 (manager) ツール •物理サーバの管理 •UUID / hostname •Flavor (起動するOSの指定) •ComputeNode, Cinder, Software LoadBalancer •Network (VLAN, IPMI, IP Address)
36. 36 〜ここから⻑いやつ〜
37. Bearman 37
38. Bearmanによる在庫管理 - 登録編 38
39. Bearmanによる在庫管理 - 登録編 39 1 . iPXEによるブート (CentOS) 2 . autorun.service が起動 3 . BIOS / NICのファームウェアバージョンチェック and アップ 4 . lldpd によって近傍スイッチ情報をチェック 5 . dmidecode コマンドでHW情報をチェック 6 . Bearmanに登録 / IPMI設定 7 . CentOS シャットダウン！
40. Bearman / Node 40 Bearmanの管理下にある物理サーバ群
41. Bearmanによる在庫管理 - 登録編 41 Node 初回ブート (iPXE) PXEブートによって起動 
 →iPXEに切替
42. Bearmanによる在庫管理 - 登録編 42 CentOS 1段階⽬OS autorun.service メタ処理⽤の autorun.service 起動
43. Bearmanによる在庫管理 - 登録編 43 CentOS autorun.service 新規登録⽤ register.sh 取得 & 実⾏ object storage 1段階⽬OS
44. Bearmanによる在庫管理 - 登録編 44 1 . iPXEによるブート (CentOS) 2 . autorun.service が起動 3 . BIOS / NICのファームウェアバージョンチェック and アップ 4 . lldpd によって近傍スイッチ情報をチェック 5 . dmidecode コマンドでHW情報をチェック 6 . Bearmanに登録 / IPMI設定 7 . CentOS シャットダウン！ register.sh の職務
45. Bearmanによる在庫管理 - 登録編 45 CentOS autorun.service Bearmanに登録 ※正確にはregister.shで取得した bearman-cli (by Go) Bearman 1段階⽬OS register.sh https://bearman-grpc.example.com/
46. Bearmanによる在庫管理 - 登録編 46 CentOS autorun.service Bearman 1段階⽬OS register.sh 新規にNodeとして保存 Bearman DB Node (UUID: xxx)
47. Bearman / Node 47
48. Bearman / Node 48
49. Bearmanによる在庫管理 - 登録編 49 CentOS autorun.service Bearman 1段階⽬OS register.sh ②BearmanがIPMI IPを アサイン IPman ①IP払い出し
50. Bearmanによる在庫管理 - 登録編 50 CentOS autorun.service Bearman 1段階⽬OS register.sh アサインされた情報通り IPMI情報を設定 IPman BMC
51. Bearmanによる在庫管理 - 登録編 51 CentOS autorun.service Bearman 1段階⽬OS register.sh IPMI情報を設定し シャットダウン IPman BMC
52. Bearmanによる在庫管理 - 登録編 52 CentOS autorun.service Bearman 1段階⽬OS register.sh IPman BMC • Node情報はBearmanから登録 • IPMIにてNodeに疎通可能
53. Bearmanによる在庫管理 - 起動編 53
54. Bearman / Pro fi le 54 Bearmanにて起動するOSの定義
55. Bearmanによる在庫管理 - 起動編 55 Real OS (Ubuntu) iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS
56. Bearmanによる在庫管理 - 起動編 56 Real OS (Ubuntu) iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS 2段階⽬には ⾃由なOSを選択可能
57. Bearman / Pro fi le 57
58. Bearman / Pro fi le 58 2段階⽬OS⽤ cmdline
59. Bearman / Pro fi le 59 2段階⽬OS⽤ インストールスクリプト
60. Bearmanによる在庫管理 - 起動編 60 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS Cephからダウンロード kexec.sh
61. Bearmanによる在庫管理 - 起動編 61 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS ⾃分が起動するべき OS情報をBearmanから 取得 kexec.sh Bearman
62. Bearmanによる在庫管理 - 起動編 62 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS ⾃分が起動するべき OS情報をBearmanから 取得 kexec.sh Bearman https://bearman-grpc.example.com/ipxe/${uuid}
63. Bearmanによる在庫管理 - 起動編 63 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS kexec.sh Bearman https://bearman-grpc.example.com/ipxe/${uuid} $ dmidecode -s “system-uuid” にて決定
64. Bearmanによる在庫管理 - 起動編 64 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS kexec.sh Bearman • 順番にエンドポイントを叩く • ${uuid}/pro fi le • 起動⽤のpro fi le • ${uuid}/detail • IPアドレス / bond 0 IPアドレスなど • ${uuid}/installed • インストール完了をBearmanに通知
65. Bearman / Baremetal 65 Bearmanにて起動したサーバ群
66. Bearmanによる在庫管理 - 起動編 66 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS kexec.sh Bearman • 順番にエンドポイントを叩く • ${uuid}/pro fi le • 起動⽤のpro fi le • ${uuid}/detail • IPアドレス / bond 0 IPアドレスなど • ${uuid}/installed • インストール完了をBearmanに通知
67. Bearman / Baremetal 67 Bearmanにて起動したサーバ群
68. Bearmanによる在庫管理 - 起動編 68 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS kexec.sh Bearman • 順番にエンドポイントを叩く • ${uuid}/pro fi le • 起動⽤のpro fi le • ${uuid}/detail • IPアドレス / bond 0 IPアドレスなど • ${uuid}/installed • インストール完了をBearmanに通知
69. Bearman / Baremetal 69 Bearmanにて起動したサーバ群 DEPLOY_START 
 DEPLOYING 
 UNRECOVERABLE_ERROR など
70. Bearmanによる在庫管理 - 起動編 70 iPXE kernel= … initramfs= … append= … CentOS autorun.service 初回ブート 1段階⽬OS kexec.sh Bearman このNodeが起動すべき OS情報などを取得
71. Bearmanによる在庫管理 - 起動編 71 iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS kexecのパラメータ組⽴
72. Bearmanによる在庫管理 - 起動編 72 Real OS (Ubuntu) iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS
73. Bearmanによる在庫管理 - 起動編 73 Real OS (Ubuntu) iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS ユーザ⽤の 2段階⽬OSが 起動成功🎉
74. 74 〜ここからざっくりのやつ〜
75. Bearmanによる在庫管理 - 起動編 75 iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS
76. Bearmanによる在庫管理 - 起動編 76 iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 在庫管理DBに登録 必要な情報の収集
77. Bearmanによる在庫管理 - 起動編 77 Compute Node iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS メモリ上にOSを展開
78. Bearmanによる在庫管理 - 起動編 78 Compute Node iPXE kernel= … initramfs= … append= … CentOS autorun.service kexec kernel= … initramfs= … append= … 初回ブート 1段階⽬OS 2段階⽬OS その上にユーザのVM ストレージはiSCSI経由 Users VM Users VM Users VM
79. 79 オンメモリに ハイパーバイザを展開すると なにがいいのか？
80. 平和な⽇常 (Bearmanがない⼈⽣) 80 Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node 設定ファイル 設定ファイル 設定ファイル 設定ファイル
81. 81 平和な⽇常は いつか終わりを遂げる
82. 悲しい事件 (Bearmanがない⼈⽣) 82 Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node 設定ファイル 設定ファイル 設定ファイル 設定ファイル 😇 🔥 🔥 🔥 🔥 障害発⽣ 🔥 🔥 強制シャットダウン 🔥
83. 悲しい事件 (Bearmanがない⼈⽣) 83 Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node Users VM Users VM Users VM Compute Node 設定ファイル 設定ファイル 設定ファイル 設定ファイル 😇 🔥 🔥 🔥 設定ファイル救出失敗!!! 復帰が⼤変 😇
84. 84 ユーザの皆さん、対応お願いします！
86. 謝ったあとは 86 •壊れたサーバの調査して…… •再起動しよう •勝⼿に悪さしないように各所チェックして…… •ログを調査して…… •OSが壊れてる、再インストールだ…… •設定ファイルをもう⼀回作ろう……
87. 87 でも、Bearmanがあれば
88. 平和な⽇常 (Bearmanがある⼈⽣) 88 Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory 設定ファイル 設定ファイル 設定ファイル 設定ファイル
89. 平和な⽇常 (Bearmanがある⼈⽣) 89 Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory 設定ファイル 設定ファイル 設定ファイル 設定ファイル （そもそも！） オンメモリ = いつ消えても再現可能
90. 90 平和な⽇常は いつか終わりを遂げる
91. 悲しい事件 (Bearmanがある⼈⽣) 91 Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory 設定ファイル 設定ファイル 設定ファイル 設定ファイル 😇 🔥 🔥 🔥 🔥 障害発⽣ 🔥 🔥 強制シャットダウン 🔥
92. 悲しい事件 (Bearmanがある⼈⽣) 92 Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory 設定ファイル 設定ファイル 設定ファイル 設定ファイル 😇 🔥 🔥 （なんと！） ⾃動でUser VMはマイグレーション Users VM Users VM Users VM
93. 悲しい事件 (Bearmanがある⼈⽣) 93 Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Users VM Users VM Users VM Compute Node onMemory Compute Node onMemory 設定ファイル 設定ファイル 設定ファイル 設定ファイル （さらに！） Bearmanによって簡単再構築！ Users VM Users VM Users VM
94. 94 あれ、なんかあった？
95. Bearmanがあれば⼈⽣順⾵満帆 95 •壊れたサーバのOSはオンメモリなので⾃動消滅 •スクリプト/WebUI から簡単に再起動 •ハードウェアが壊れてないかは起動前にチェック •元々のOSと別なので悪さする要素なし •問題無ければWebからポチで復活！
96. Bearman のコンセプト 96 •No 現地作業 •ハードウェア構成の違いはソフトウェアで吸収 •利⽤者視点 •CLIツールでシステムを利⽤可能 •管理者視点 •データはDjango Adminで 閲覧/管理 可能
97. Bearman のメリット 97 •運⽤時の確認事項が⼤きく削減 •適切に電源 / 光ケーブルを配線し電源ポチで 🙆 •設定に不備があった場合はSlack通知で⽬視確認不要 •トラシュもフル機能のbashを使って可能 •IPMI情報などが⾃動で登録、Web画⾯から参照可 •チームメンバー誰でも気軽に物理利⽤
98. プライベートクラウド概要図 98 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall Load 
 Blancer Storage
99. プライベートクラウド概要図 99 L 2 Overlay Network (VXLAN on IP CLOS) Compute Node Compute Node Compute Node k 8 s master k 8 s 
 master Firewall KVM / Container Users 
 VM Users 
 VM Users 
 Service nova 
 neutron 
 Container KVM / Container OpenStack 
 Controller 
 Container other 
 Container User 
 Components OpenStack 
 Components Physical 
 Components Storage Load 
 Blancer 🐻 🐻 🐻
100. ディスクレスハイパーバイザ 100 •物理サーバ = Kubernetes Nodeに •OpenStack on Kubernetes •OSを全てオンメモリに展開することで障害からの 復旧を簡易化 •Bearmanと連携し簡単安全にNodeを復活 •ストレージは全てNetwork経由
101. まとめ 101 •CyberAgentのプライベートクラウドでは、 
 既存の問題点をエンジニアリングで解決 •Kubernetes / Bearman 🐻 •巨⼤なインフラを⾃分のソフトウェアで制御できる •（たぶん）国内でもあまりない事例 •より多くの問題を解決し価値を提供していきます 💪