KubeCon + CloudNativeCon China 2018 参加報告

KubeCon + CloudNativeCon China 2018 参加報告 2019/1/16 山田直行「Kubernetes on
Supporting 1 Million Bike-Taxi Drivers in Indonesia」の解説

Kubecon + CloudNativeCon China 2018で特に印象に残ったセッションの中から、インドネシアのGo-jekという企業の事例を紹介します。せっかく中国での開催ということで、中国企業の事例も聴講したのですが、・参考にできないくらい規模がでかい。その点Go-jekは規模的に身近に感じた・中国企業は中国語によるセッションになり、同時通訳経由では理解が辛かった・中国はWeChatPay・Alipayを中心としたキャッシュレス社会が実現しようとしている。イ
ンドネシアはGo-jekという配車アプリがキャッシュレス化を主導しているという意味で面白い事例だと思ったため概要

Go-jekとはバイクの配車アプリ。人を乗せて目的地へ運ぶだけでなく、荷物の運搬やフードデリバリーなども頼める。生活に関する総合サービス企業へと成長中。 Go-jekは2010年創業で、GoogleやTencentも出資しているユニコーン企業。インドネシアだけでなく、タイ、ベトナム、シンガポールにも進出している。

Go-jekの発展

(旧)Go-jekのシステムアーキテクチャ・サービスがKafkaのトピックを生成し、ワーカーがそれを処理してDBに入れる、そのセットが数多くある　

Infrastructure as Codeの挑戦・Terraform ・Chef ・Ansible その間、管理するVMは2015年に3つだったものが、2018年には10000以上に

Project X 2016年末に始まった、’’scheduler agnostic”(Kubernetesなどのオーケストレーションツールに依存しない、という意味と思われる)なデプロイツールを開発するGo-jekの社内プロジェクトインフラの移行を順々に行っていくためにこういったツールを必要としていた。

WebUIを通して人が設定すると、汎用のマニフェストが生成されて、それがKubernetes 対応のマニフェストと、Nomadのマニフェストが生成される仕組み https://www.nomadproject.io/ Hashicorp製のコンテナデプロイツール

発生した技術的課題 1. 複数のスケジューラにうまく対応する抽象化が難しい 2. 1の結果として、KubernetesおよびNomadの更新に追従していくのが困難 3. プロダクト側のエンジニアにとってブラックボックスになり、何か問題が起きたときにプロダクト側のエンジニアだけで解決が困難

発生したその他の課題 1. Kubernetesへの移行にあたっては、1つのチームが集権的に主導することは悪くない。だがそれによって知識はサイロ化してしまう 2. 少人数のチームで少しずつ始めるのではなく、組織全体で一斉に移行を始めてしまった。それによって問題が起きたときに一度に対処できなくなってしまった

人はなぜ落ちる？なぜなら、這い上がることを学ぶためだ (by バットマン・ビギンズ )

プラットフォーム選定にあたって • AWS+kops • GCP+GKE • DataCenter+KVM+libvirt+Kubeadm チームによって異なったインフラプラットフォームを用いている HELMを使っているチームもあるし、ProjectX
でマニフェスト作ってデプロイしているチームもある

Project Xの改善 Kubernetesに特化より良い抽象化を設計同時に1つの小さいチームで取り組む

Project XはGo-jekの国際展開にも活用された Go-Viet(ベトナムでの展開)のインフラ構築を4日で実現リピータブル・イミュータブルなコンテナの特性によって異なる国でもMVP(Most Viable Product)を展開していくことができたビジネスの成長に伴うインフラのスケーリングが容易にできたトラフィックが急増したときも、新しいVMをつくるよりはるかに早く新しいコンテナを作ることができ、MTTR(mean time
to recovery)が短縮された VM時代と比べてCPU/Memoryなどのリソース効率の良さ、容易で堅牢な冗長化、コスト効率の良さ、が実現された

Whiterabbit namespaceによるシャーディングを可能にする Custom Resource データサイエンティストチームがABテストをする際などに活用（自作？ OSSにはなっていなさそう）

Barito Log https://github.com/baritolog ログの設定を集約・管理するツール Go-jekによるOSS Stackdriver Loggingのようなログ管理・監査・フィルタ・検索などを自作したイメージ
https://blog.gojekengineering.com/how-we-built-barito-to-enhance-logging-19f80b89496f

https://github.com/BaritoLog/wiki

Cloud Nativeに関する社内勉強会の実施これを聞いて驚いたのが社内勉強会が土曜日実施なんだなということ...（土曜に普通に働いている）

今後の展望 • Minio(object storage for cloud) https://github.com/minio/ • stolon(PostgreSQLのHA構成)https://github.com/sorintlab/s
tolon/ • Ceph(分散ストレージプラットフォーム) https://github.com/ceph/ceph これらの組み合わせ特定のクラウド・プラットフォームに依存していない分、 DBもマネージドサービスを使わずクラウドネイティブな手法でやろうとしている。インドネシアでオンプレミス中心にやっているのは AWS/GCPのリージョンがないからというのも影響してそう

Q：VMからKubernetesへの移行を進めるうえで、VMのサービスとKubernetesのサービスが相互に通信したいケースで、ネットワークのアクセス管理の課題が生じると思うがどう対処しているか？ A：ベトナムのケースではAWSのCNI Plugin（おそらくこれ?https://github.com/aws/amazon-vpc-cni-k8s）を利用している。ルートテーブルの設定数の制限？など制約があり、今後課題が顕在化してくるので対処しないといけないと思っている質疑応答

参考URL セッションURL(プレゼン資料のPDFリンクもあります) https://kccncchina2018english.sched.com/event/FuJX/kubernetes-on-supporting-1 -million-bike-taxi-drivers-in-indonesia-giri-kuncoro-iqbal-farabi-go-jek YouTube https://www.youtube.com/watch?v=7mIM-6gQ3fo Go-jek https://www.go-jek.com/ Go-jek Engineering
https://www.gojek.io/blog/

KubeCon + CloudNativeCon China 2018 参加報告

KubeCon + CloudNativeCon China 2018 参加報告

Naoyuki Yamada

More Decks by Naoyuki Yamada

Other Decks in Technology

Featured

Transcript