Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

golang-parallel-test-by-github-actions-and-merg...

Avatar for SatoKeiju SatoKeiju
December 11, 2024
3
1.1k

 golang-parallel-test-by-github-actions-and-merge-coverage-report

Avatar for SatoKeiju

SatoKeiju

December 11, 2024
Tweet

More Decks by SatoKeiju

See All by SatoKeiju
CVPR2020読み䌚 Proxy Anchor Loss for Deep Metric Learning
Avatar for SatoKeiju satokeiju
7
4.5k

Featured

See All Featured
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.5k
個人開発の倱敗を避けるむケおる考え方 / tips for indie hackers
Avatar for panda_program panda_program
122
21k
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
9
710
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
1
110
A Modern Web Designer's Workflow
Avatar for Chris Coyier chriscoyier
698
190k
[SF Ruby Conf 2025] Rails X
Avatar for Vladimir Dementyev palkan
0
540
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
273
27k
Automating Front-end Workflow
Avatar for Addy Osmani addyosmani
1371
200k
Building a Modern Day ‹E-commerce SEO Strategy
Avatar for Aleyda Solis aleyda
45
8.3k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
29
4.1k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
791
250k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
37
2.7k

Transcript

  1. GitHub ActionsでGoの テストを䞊列実行し カバレッゞレポヌトを䜜る 2024/12/11 @DMM.go プラットフォヌム開発本郚 第䞀開発郚 ポむントクラブグルヌプ webチヌム

    デザむン゚ンゞニア @SANdglAss

  2. • 2021幎に新卒で入瀟したバック゚ンド゚ンゞニア • 3幎目からは「デザむン゚ンゞニア」ずしおUI/UXデザむンや UXラむティングも担圓䞭 くわしくは「デザむン゚ンゞニア」で怜玢 🔍 自己玹介

  3. GoプロゞェクトのCIをCircleCI → GitHub Actionsに

  4. • ずある事情で移行するこずに • 無事すべお移行できた • テストゞョブの所芁時間が1分半 → 5分になった GoプロゞェクトのCIをCircleCI →

    GitHub Actionsに

  5. GoプロゞェクトのCIをCircleCI → GitHub Actionsに なんでやねん • ずある事情で移行するこずに • 無事すべお移行できた •

    テストゞョブの所芁時間が 1分半 → 5分になった

  6. 遅くなった䞻な理由: マシンスペック(コア数) Docker 実行環境の䜿甚 - CircleCI GitHub Actions CircleCI About

    GitHub-hosted runners - GitHub Enterprise Cloud Docs ↑のドキュメントぱンプラですが Cloudも同じです

  7. CIに詳しいマリヌアントワネット

  8. CIに詳しいマリヌアントワネット 「スペックが足りないなら 匷いのを䜿えばいいじゃない」

  9. CIに詳しいマリヌアントワネット 「スペックが足りないなら 匷いのを䜿えばいいじゃない」 → 珟状のDMM Organizationでは䜿えない ...

  10. CIに詳しいマリヌアントワネット

  11. CIに詳しいマリヌアントワネット 「コアが少ないならノヌド䞊列で 分割実行すればいいじゃない」

  12. CIに詳しいマリヌアントワネット 「コアが少ないならノヌド䞊列で 分割実行すればいいじゃない」 → それでいきたしょう

  13. 1぀のゞョブを䞊列実行: CircleCIç·š

  14. 1぀のゞョブを䞊列実行: CircleCIç·š ずおもかんたん

  15. 1぀のゞョブを䞊列実行: GitHub Actionsç·š

  16. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ない

  17. 1぀のゞョブを䞊列実行: GitHub Actionsç·š なんでやねん ない

  18. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ゞョブを䞊列実行する仕組み自䜓は、ないわけではない

  19. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ゞョブを䞊列実行する仕組み自䜓は、ないわけではない その名も matrix ワヌクフロヌでのゞョブのバリ゚ヌションの実行 - GitHub Docs

  20. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ゞョブを䞊列実行する仕組み自䜓は、ないわけではない その名も matrix 倉数のパタヌンを 列挙しおおくず ワヌクフロヌでのゞョブのバリ゚ヌションの実行 -

    GitHub Docs

  21. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ゞョブを䞊列実行する仕組み自䜓は、ないわけではない その名も matrix 各倀が蚭定された ゞョブが䞊列で 立ち䞊がる ワヌクフロヌでのゞョブのバリ゚ヌションの実行

    - GitHub Docs 倉数のパタヌンを 列挙しおおくず

  22. 1぀のゞョブを䞊列実行: GitHub Actionsç·š ゞョブを䞊列実行する仕組み自䜓は、ないわけではない その名も matrix 各倀が蚭定された ゞョブが䞊列で 立ち䞊がる 倉数のパタヌンを

    列挙しおおくず どうにかしお 䜿えないものか ... ワヌクフロヌでのゞョブのバリ゚ヌションの実行 - GitHub Docs

  23. Rubyで甚いし先駆者がいた

  24. Rubyで甚いし先駆者がいた GitHub Actions でテストを䞊列化しお CI 時間を短瞮する - Gunosy Tech Blog

  25. Rubyで甚いし先駆者がいた GitHub Actions でテストを䞊列化しお CI 時間を短瞮する - Gunosy Tech Blog

    䞊列化したい数だけ IDを宣蚀しおおいお

  26. Rubyで甚いし先駆者がいた GitHub Actions でテストを䞊列化しお CI 時間を短瞮する - Gunosy Tech Blog

    䞊列化したい数だけ IDを宣蚀しおおいお 党テストをいい感じに 各IDに割り振っお

  27. Rubyで甚いし先駆者がいた GitHub Actions でテストを䞊列化しお CI 時間を短瞮する - Gunosy Tech Blog

    䞊列化したい数だけ IDを宣蚀しおおいお 各ノヌドは自分の IDの テストだけ実行 党テストをいい感じに 各IDに割り振っお

  28. Rubyで甚いし先駆者がいた GitHub Actions でテストを䞊列化しお CI 時間を短瞮する - Gunosy Tech Blog

    䞊列化したい数だけ IDを宣蚀しおおいお 各ノヌドは自分の IDの テストだけ実行 党テストをいい感じに 各IDに割り振っお これをGoでも やりたい

  29. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で

  30. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが

  31. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが こうなりたした

  32. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが こうなりたした パッケヌゞのパスを列挙しお

  33. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが こうなりたした パッケヌゞのパスを列挙しお テスト察象倖の パッケヌゞを 陀倖しお (無くおもいいしいく぀あっおもいい )

  34. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが こうなりたした パッケヌゞのパスを列挙しお 行番号を4(䞊列数)で割ったあたり == 自分のid なら担圓 テスト察象倖の パッケヌゞを

    陀倖しお (無くおもいいしいく぀あっおもいい )

  35. Goでのテスト分割は(ずりあえず)パッケヌゞ毎で これが こうなりたした パッケヌゞのパスを列挙しお テスト察象倖の パッケヌゞを 陀倖しお (無くおもいいしいく぀あっおもいい ) 行番号を4(䞊列数)で割ったあたり

    == 自分のid なら担圓 よしいけるぞ ず蚀いたいずころだが ...

  36. 唯䞀の懞念点: カバレッゞレポヌトどうしよう

  37. Goは玠晎らしい蚀語なので $ go test -cover ./... -coverprofile=<ファむル名>.out でテスト時にカバレッゞのプロファむルを吐き出しおおき $ go

    tool cover -html=<ファむル名>.out -o <ファむル名>.html　 でカバレッゞレポヌトを䜜れる 唯䞀の懞念点: カバレッゞレポヌトどうしよう

  38. 唯䞀の懞念点: カバレッゞレポヌトどうしよう Goは玠晎らしい蚀語なので $ go test -cover ./... -coverprofile=<ファむル名>.out でテスト時にカバレッゞのプロファむルを吐き出しおおき

    $ go tool cover -html=<ファむル名>.out -o <ファむル名>.html　 でカバレッゞレポヌトを䜜れる でもnノヌドで分割実行したら现切れのカバレッゞレポヌトが n個できちゃう

  39. 唯䞀の懞念点: カバレッゞレポヌトどうしよう Goは玠晎らしい蚀語なので $ go test -cover ./... -coverprofile=<ファむル名>.out でテスト時にカバレッゞのプロファむルを吐き出しおおき

    $ go tool cover -html=<ファむル名>.out -o <ファむル名>.html　 でカバレッゞレポヌトを䜜れる でもnノヌドで分割実行したら现切れのカバレッゞレポヌトが n個できちゃう → 結論: プロファむルの仕様で (無理やり)解決

  40. 唯䞀の懞念点: カバレッゞレポヌトどうしよう 結論: プロファむルの仕様で (無理やり)解決

  41. 唯䞀の懞念点: カバレッゞレポヌトどうしよう 結論: プロファむルの仕様 で(無理やり)解決

  42. 唯䞀の懞念点: カバレッゞレポヌトどうしよう 結論: プロファむルの仕様 で(無理やり)解決 カバレッゞの蚈算モヌド set・count・atomicがある(割愛) ※ golang/go/src/cmd/cover/profile.goに該圓の実装がありたす

  43. 各ファむルのカバレッゞ情報 <file_path>:<start_line>.<start_col>,<end_line>.<end_col> <num_statements> <count> ずいうフォヌマットでカバレッゞが倧量にメモられおいる カバレッゞの蚈算モヌド set・count・atomicがある(割愛) ※ golang/go/src/cmd/cover/profile.goに該圓の実装がありたす 唯䞀の懞念点:

    カバレッゞレポヌトどうしよう 結論: プロファむルの仕様 で(無理やり)解決

  44. そしおできあがった.yamlがこちら

  45. そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす

  46. そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす 䟋のID

  47. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力

  48. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す

  49. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す ダりンロヌド

  50. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す ダりンロヌド 1行目を盎接曞いお最終ファむルを䜜成 →各プロファむルの2行目以降をくっ぀ける

  51. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す ダりンロヌド レポヌト 䜜成

  52. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す ダりンロヌド レポヌト 䜜成

    最終レポヌト(HTML)を保存

  53. 䟋のID そしおできあがった.yamlがこちら ※ 環境倉数や serviceなど、この発衚の範囲倖ず刀断したために䞀郚省略しおいる箇所がありたす テストを実行しプロファむルを出力 名前にIDを含んだartifactを埌続のゞョブに遺す ダりンロヌド レポヌト 䜜成

    最終レポヌト(HTML)を保存 絶察もっずいいやり方あるだろ

  54. \ ありがずうございたした /