今から始める分散システム

第一回分散システム集会でLTとして発表した内容です
https://distributed.connpass.com/event/314129/

Transcript

1. 今から始める分散システム 第一回分散システム集会 @honahuku
2. 自己紹介 • Honahuku(ほなふく) 第一回分散システム集会 • 冬コミ(C103)サークル参加 • 準学士(工学)の称号を得た • 電気通信学会の研究会発表 • V睡してたら体痛めた • サカナクションのライブに行きたい • 旅行先募集中 • 自宅インフラの整備を再開したい 最近のトピック
3. 分散システムとは何か
4. 分散システム？ • エヴァ, MAGI • Portal, GLaDOS 第一回分散システム集会 Valve. Portal. (2007) kharaInc. 新世紀エヴァンゲリオン. (1995)
5. 分散システムの定義 第一回分散システム集会 パソコンやワークステーションなどの小型コンピューター によるネットワークで、複数のコンピューターに処理を分散 させる形態のシステム。 ASCII.jpデジタル用語辞典 「分散型システム」より
6. 分散システムの定義 第一回分散システム集会 複数のコンピューターに処理を分散させる形態の システム Q. MAGI や GLaDOS は分散システムといえるか？
7. 分散システムの定義 第一回分散システム集会 複数のコンピューターに処理を分散させる形態の システム Q. MAGI や GLaDOS は分散システムといえるか？ A. 微妙 (処理の分散というより、合議による判断や人格の分離 が行われているような印象を受ける)
8. なぜ処理を分散するのか 第一回分散システム集会 処理を分散させると実装コストもかかる しかし分散処理はアツい(主観)
9. なぜ処理を分散するのか 第一回分散システム集会 • スケーラビリティ • 単一の高性能なマシンを購入せずとも汎用なマシン を複数追加することで段階的に対応できる • GPUインスタンスなど別特性のマシンを入れるとい うことも出来る • 耐障害性 • 冗長化されたクラスタなら一部のマシンの故障なら 耐えられる
10. 分散システムの実装
11. 処理の分散 第一回分散システム集会 • 情報システムにおいてどう処理を分散するのか →並列計算 →コンピューター・クラスター →グリッド・コンピューティング
12. コンピューター・クラスター 第一回分散システム集会 • コンテナ管理型 • Kubernetes(CNCF) • Swarm(Docker) • Mesos(Apache) • ジョブ型 • Airflow(Apache) • Grid Engine(Univa) • Slurm(SchedMD)
13. k8s の自律・分散処理 第一回分散システム集会 • k8s ではワークロードを動かすための設定を manifest という設定ファイルに書く • k8s のコントローラーはこれを見て自律的にク ラスタを調整する • 動いている node のうち1つが停止した場合は pod(≒コンテナ)を別の node で新しく動かす • spec(仕様) と state(状態)をそれぞれ管理し、 state を spec に自律的に近づける事ができる
14. 分散システムを支える技術 第一回分散システム集会 • 分散合意 • Raft • Paxos • 分散ストレージ • Ceph • etcd • TiKV • ZooKeeper
15. 分散システム集会でやりたいこと
16. 分散システムという枠組みでの交流 第一回分散システム集会 • 分散システムは現代の情報システムにとって必要 なもの • 分散システムをもっと色んな人に知ってほしい • ツールとして分散システムを使う人や、現状のシ ステムに不満を持つ人など、いろんな層との交流 をしたい
17. コンテンツ・開催予定 第一回分散システム集会 • 交流会 • LT会 • 第一線で活躍している人を招待した講演 • などなど • 次回開催は 4/27(土) 21:00～22:00 • 月1で第四土曜日の開催(予定)