複数プロダクトを支えるEKSクラスタのコスト按分 / PFEM12

■ イベント
Platform Engineering Meetup #12
https://platformengineering.connpass.com/event/348986/

■ 発表者
技術本部 研究開発部 Architectグループ　
宮地 宏一

■ 研究開発部 採用情報
https://media.sansan-engineering.com/randd

■ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 複数プロダクトを⽀える EKSクラスタのコスト按分 Sansan技術本部 研究開発部 Architectグループ Platformチーム 宮地 宏⼀
2. 写真が入ります 宮地 宏⼀ Sansan株式会社 技術本部 研究開発部 Architectグループ 2023年3⽉中部⼤学⼤学院⼯学研究科情報⼯学専攻修了。 在学中はヘルスケアとAIの融合を⽬的とした研究に取り組む。 現在は、研究開発部Architectグループ Platformチーム所属。 DevOps/MLOps基盤の構築業務に従事。
3. EKSのコスト按分に課題ないですか？
4. - EC2やLambdaではコスト管理タグで簡単に分離できていたのに。。。 - 単⼀アプリにどの程度コスト発⽣しているかわからん。。。 - サービスの増加によってコスト按分の必要が。。。 EKSのコスト按分に課題ないですか？
5. 研究員が、セルフサービスで安全にアプリケーションをリリースできる基盤 - Kubernetes（EKS）を利⽤したコンテナプラットフォーム - 弊社の様々なプロダクトに対して、API等を提供するインフラ Circuit https://speakerdeck.com/sansan_randd/about-circuit-r-and-ds-application-platform
6. 財務観点 - プロダクトなど⽤途別のコストを知りたい。 開発者観点 - アプリ別のコストを知りたい。 Circuitのコスト課題
7. 財務観点のコスト按分
8. 財務のコスト管理フローに合うコストを出す。 すべてのリソースにコスト管理タグを付与して、コスト ⾃動集計出来る状態にする。 財務観点のゴール
9. Node毎に単⼀NSのPodのみをスケジューリングする。NodeとなるEC2にコ スト管理タグを設定しサーバコストを管理する。 EKSでもコストタグで管理出来るようにしよう！！
10. 構成 Karpenterのリソース設定 - EC2NodeClass: EC2のタグをコスト管理タグとして設定 - NodePool: Taintの設定、 Labelの設定 Podの設定 - Taintに合わせて、Toleration を設定 - NodeにNodePool名のLabelが設定されるため、NodeSelector またはAffinityを指 定 - e.g. “karpenter.sh/nodepool: {NodePool name}” Karpenter [ https://karpenter.sh/ ]
11. CircuitのログはCloudWatchを利⽤している。 →ロググループ毎にコストタグ付与しよう！！ ログにもコストタグを付与したい
12. メリット - 財務のコスト管理⽅法に合わせることで、コストタグの付与までを責務 として最⼩の労⼒で運⽤できる。 - Namespace毎にNodeを分離することで、アプリの影響範囲を留めること ができる。 デメリット - Nodeの余剰リソースが多い。 - Namespaceを新規に作成する場合に⼿間が増える。 財務観点のコスト按分まとめ
13. 開発者観点のコスト按分
14. アプリケーション単位のコスト可視化をする。 アプリケーション単位 ≒ Deployment, StatefullSet etc… 開発者観点のゴール
15. 元々はKubecostをEKS Addonより導⼊していた。情報量は⼗分であるが、無料版で は15⽇間しかデータが保持できないためSplit Cost Allocation Data for EKS （SCAD） への乗り換えを⾏った。 Split Cost Allocation Data for Amazon EKSの導⼊ Kubecost メリット - EKS Addonから簡単に導⼊可能 - ダッシュボードがリッチ デメリット - 無料版は15⽇間のみ保存 - CURの統合が少し⾯倒 SCAD メリット - 無料で利⽤可能 - データ保持が無制限（保存先が必要） デメリット - Dashboardは⾃⾝で⽤意する必要があ る。 Kubecost [ https://www. kubecost.com/ ] AWS バンドル版 Kubecost [ https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/cost-monitoring-kubecost-bundles.html ] SCAD [ https://docs.aws.amazon.com/cur/latest/userguide/split-cost-allocation-data.html ]
16. SCADの運⽤図 前準備としてSCADの有効化を⾏い、CURに反映させる。 SCADの設定⽅法 [ https://aws.amazon.com/jp/blogs/aws-cloud-financial-management/improve-cost-visibility-of-amazon-eks-with-aws-split-cost-allocation-data/ ]
18. 財務観点、開発者観点それぞれよりコスト課題の解決を⾏った。 - 財務観点として財務が求めるコスト管理フローに合わせることで、 Circuitのコスト管理業務にかかる時間を⼤幅に短縮することに成功した。 - 開発者観点として各アプリケーションのコストを簡単に認知可能な状態 とし、コスト観点の施策を実施しやすい環境を整えることに成功した。 まとめ
19. We’re Hiring! https://open.talentio.com/r/1/c/sansan/pages/76616 R&D MLOps/DevOpsエンジニア