Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
バッチをGoにリプレイスして高速化した話 / GoGoGolangEdition!
Search
yuma iwasaki
June 23, 2017
Technology
2
28k
バッチをGoにリプレイスして高速化した話 / GoGoGolangEdition!
yuma iwasaki
June 23, 2017
Tweet
Share
More Decks by yuma iwasaki
See All by yuma iwasaki
僕のキャリアとワインと鍋 / daikichijojipm
suthio
8
5.6k
「Laravel Novaの適切な使い方を考えてみる」 / laravel meetup tokyo vol 11
suthio
0
1.8k
本当は怖くない AWS Lambda / speee_cafe_meetup06
suthio
2
790
広告配信サーバーにおけるBlue Green Deploymentの導入事例について \ SpeeeCafeMeetup05
suthio
3
1.7k
初めての本当の意味でのチーム開発 / pmjp 2016-12-03
suthio
4
1.7k
AWSインフラ構築ツールとしてのTerraform / SpeeeKaigi
suthio
1
2.2k
広告配信サーバーの設計について / Speee Engineer Meeting 2016-06-22
suthio
5
2.6k
しくじり先生 アドネットワーク開発でしくじった話 / yapc8oji
suthio
2
2k
Other Decks in Technology
See All in Technology
ClineにNext.jsのプロジェクト改善をお願いしてみた / 20250321_reacttokyo_LT
optim
1
1.3k
Riverpod & Riverpod Generatorを利用して状態管理部分の処理を書き換えてみる簡単な事例紹介
fumiyasac0921
0
110
数百台のオンプレミスのサーバーをEKSに移行した話
yukiteraoka
0
680
Cloud Native PG 使ってみて気づいたことと最新機能の紹介 - 第52回PostgreSQLアンカンファレンス
seinoyu
2
200
17年のQA経験が導いたスクラムマスターへの道 / 17 Years in QA to Scrum Master
toma_sm
0
400
LINE Notify互換のボットを作った話
kenichirokimura
0
180
Amazon Q Developer 他⽣成AIと⽐較してみた
takano0131
1
120
Vision Language Modelを活用した メルカリの類似画像レコメンドの性能改善
yadayuki
9
1.2k
Proxmox VE超入門 〜 無料で作れるご自宅仮想化プラットフォームブックマークする
devops_vtj
0
120
ISUCONにPHPで挑み続けてできるようになっ(てき)たこと / phperkaigi2025
blue_goheimochi
0
140
移行できそうでやりきれなかった 10年超えのシステムを葬るための戦略
ryu955
2
390
AIエージェント完全に理解した
segavvy
4
260
Featured
See All Featured
Music & Morning Musume
bryan
46
6.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Done Done
chrislema
183
16k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
51
2.4k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
7
620
BBQ
matthewcrist
88
9.5k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
The Pragmatic Product Professional
lauravandoore
33
6.5k
Transcript
バッチをGo にリプレイスして 高速化した話 株式会社Speee エンジニア 岩崎 裕馬 (@suthio_) バッチをGo にリプレイスして高速化した話
自己紹介 岩崎裕馬(@suthio_) 趣味はおいしいお店探し 株式会社Speee でネイティブ広告の配信システムを開発 2
アジェンダ Go の良いところを紹介 移行の背景 パフォー マンスチュー ニング おまけ まとめ 3
Go の良いところを少しだけ紹介 4
5
実行 ワンバイナリで実行可能 scp で送るだけでどこでも実行可能 - ライブラリの依存などを考える必要がない 高速な実行速度 6
開発 言語仕様がシンプル 型安全性 コンパイルが早い 並列/ 並行処理が行いやすい 7
移行した話 8
結果から先に共有 9
移行前 10
移行後 11
移行前 12
移行後 13
移行前のバッチについて Amazon EMR(Spark) を使用 Spark(Scala) を実行 14
移行後のバッチについて EC2 Container Service(ECS) を使用 Go のバッチアプリケー ションを実行 15
移行前のバッチが抱えていた課題 遅い 10 時間ぐらいかかる 高い r4.2xlarge インスタンスを12 台(6 台 ×
2 クラスタ) で運用 0.64 * 720 * 12 = 5529.6 ドル ロー カルで実行しずらい よく失敗している 原因不明のものが多数 修正しずらい雰囲気 16
移行する際に求めたこと 高速 安価 ロー カルで実行可能 失敗時の原因究明が容易 17
パフォー マンスが良くて、 ロー カルでも実行が簡単で エラー が起こった際も復旧しやすい バッチが求められた 18
パフォー マンスチュー ニング 並列化 アルゴリズム最適化 デー タ量の削減 19
パフォー マンスチュー ニングを 行う際に大切な考え方 コンピュー ティングリソー スを使えきれているかどうか CPU リソー スを使い切れるようにする
ディスクIO、 ネットワー クIO で詰まらせない 計算量は必要最小限となっているかどうか 適切なアルゴリズムを使って計算量を減らす 不必要なオブジェクト生成や計算は極力減らす 20
並列化 実行単位が細かく分けられることがわかったため、 実行単位ごとに並列で処理を行うようにした 通信処理の並列化 21
アルゴリズム最適化 アプリケー ション内でデー タのJoin が多く発生していたので そういった処理をO(1) でできるように 多くのデー タをMap で保持して使用できる形に修正
事前に使用するメモリサイズを予測し、 メモリを確保 ルー プ処理を削減( 関数っぽく書かない) 22
デー タ量削減 Input のデー タサイズ削減 不要なデー タが含まれていたので削除 Output デー タサイズの削減
圧縮してSQS に送信(DynamoDB にも圧縮して保持) 使う際に解凍するようにした 23
圧縮について 圧縮にはSnappy を使用 http://s-yata.jp/docs/snappy/ 今回のデー タを圧縮した結果、 圧縮率は0.783 だったので、 35KB が7.6KB
のデー タになった デー タ自体を圧縮したことにより、 結果的にDynamoDB のRead、Write のCapacity がより少ない状態で も動作するようになり、 コスト削減に繋がった 24
移行する際に求めたこと 早い 安い ロー カルで実行可能 失敗時の原因究明が容易 25
結果 早い: 実行時間は1/10 安い: サー バー 台数は1/6(5529.6 ドルから921.6 ドルに削減) ロー
カルで実行可能: 簡単にできるようになった 失敗時の原因究明が容易: 今のところ困ったことはない 26
おまけ 27
28
Lambda のバッチについて SQS のデー タを定期的にDynamoDB にPut するだけのバッチ Python で実装 29
起こった問題 Lambda を使って、DynamoDB へのPut 処理を行っていたが IO で詰まり、DynamoDB のWriteCapacity を余らせてしまっている 状態となっていた
今回のバッチを高速化したために、 次のボトルネックとなった 30
Lambda のバッチもGo 化しよう!!! 31
Lambda のバッチをGo 化 Lambda 上でGo を実行 Go はワンバイナリなので、NodeJS から 実行ファイルをキックするだけで実行可能
IO でネックが発生していたので、 並列処理が得意なGo を使うことにより、 解決 ロー カルでテストしやすい 32
まとめ 処理時間が長くなりがちなバッチは特にパフォー マンスを意識 コンピュー ティングリソー スを使えきれているかどうか 計算量は必要最小限となっているかどうか 今回のようなバッチではパフォー マンスチュー ニングがしやすく、
並列処理が得意なGo を使うのは良い選択だった 33