Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker M...
Search
i2tsuki
December 26, 2018
Technology
1
580
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker Meetup Kansai #2
BuildKit を使った Scala アプリケーションのテストと高速化
i2tsuki
December 26, 2018
Tweet
Share
More Decks by i2tsuki
See All by i2tsuki
ソーシャルゲームの長期運用 を目指すための SRE の取り組み - 10 周年を⽬指すコトダマンの場合 -
i2tsuki
5
2.5k
AWS Startup.fm 企業の上場時に必要な監査要件とマネジメントサービスによる解決
i2tsuki
0
99
20180530LINEDeveloperMeetupRedis-redis-for-mackerelio
i2tsuki
0
470
Mackerel's monitoring and checks
i2tsuki
1
6.9k
Mackerel インフラ基盤 AWS 移行の舞台裏
i2tsuki
6
10k
Python Web Application Monitoring in Mackerel
i2tsuki
1
5.9k
Other Decks in Technology
See All in Technology
OTel meets Wasm: プラグイン機構としてのWebAssemblyから見る次世代のObservability
lycorptech_jp
PRO
1
280
ソフトウェアは捨てやすく作ろう/Let's make software easy to discard
sanogemaru
10
5.6k
Oracle Database オプティマイザ・ヒントの活用
oracle4engineer
PRO
1
140
Azure Developer CLI と Azure Deployment Environment / Azure Developer CLI and Azure Deployment Environment
nnstt1
1
110
Houtou.pm #1
papix
0
610
継続戦闘能⼒
sansantech
PRO
0
210
積み上げられた技術資産と向き合いながら、プロダクトの信頼性をどう守るか
plaidtech
PRO
0
290
TypeScript と歩む OpenAPI の discriminator / OpenAPI discriminator with TypeScript
kaminashi
1
130
オープンソースのハードウェアのコンテストに参加している話
iotengineer22
0
470
“⾞が通れるほど⼤きな”セキュリティーホールを抑えながらログインしたい
taiseiue
0
130
“新卒らしさ”を脱ぎ捨てて 〜1年を経て学んだこと〜
rebase_engineering
0
120
AIのための オンボーディングドキュメントを整備する - hirotea
hirotea
9
2.2k
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
430
65k
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
15
880
Embracing the Ebb and Flow
colly
85
4.7k
Designing for humans not robots
tammielis
253
25k
Navigating Team Friction
lara
185
15k
Typedesign – Prime Four
hannesfritz
41
2.6k
Why Our Code Smells
bkeepers
PRO
336
57k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.8k
Transcript
BuildKit を使った Scala アプリケーションの テストと高速化 GitHub: @i2tsuki Twitter id:@kizkoh 2018-12-26
Docker Meetup Kansai #2 1 / 15
BuildKit について 須田さんのスライドが参考になる SlideShare - Docker 18.09 新機能 なにが嬉しいのか? マルチステージビルドが並行して実行できる
docker/dockerfile の syntax を使うとキャッシュできる 例) # syntax=docker/dockerfile:1.0-experimental 例) --mount=type=cache,id=ivy2,target=/user/.ivy2/cache 2 / 15
Scala のビルドとテストがめちゃ遅い!! 3 / 15
Scala の CI フロー どこが遅いの?? sbt の Scala の解決 ${HOME}/.sbt
(5 分) ivy2 キャッシュ ${HOME}/.ivy2/cache (40 分) コンパイルキャッシュ ${PROJECT}/target (5 分) 今まではバインドマウントして docker-compose run で実行してた (docker build だけでテスト、ビルドしてコンテナイメージ作りたい!) 4 / 15
とにかくステージを分ける!! & とにかくキャッシュする!! 5 / 15
Docker le buildkit/experimental.md at master · moby/buildkit · GitHub が参考になる!
# Stage app-ivy-setup FROM app-initial as app-ivy-setup RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ --mount=type=cache,id=sbt,target=/root/.sbt \ sbt compile # Stage: app-test FROM app-ivy-setup as app-test RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C # Stage: app-scalastyle FROM app-ivy-setup as app-scalastyle RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C 6 / 15
テストをどうするか(DB, KVS との接続)問題 7 / 15
BuildKit の問題 docker-compose 今までは docker-compose を使ってテストしていた docker-compose は BuildKit 対応中
8 / 15
BuildKit の問題 BuildKit のネットワークモード BuildKit のネットワークモードは Host or default or
none moby/builder.go at master · moby/moby 他のコンテナにアタッチできない & network を利用できない docker build --network=container:xxxxxxxxxxxx -t mackerel できない 9 / 15
どうするか 10 / 15
BuildKit でテストをする ホストのネットワークモードを使う DB, KVS は docker-compose で作成する DB, KVS
はホストネットワークモードで立てると他の CI ジョブと競合 DB, KVS はブリッジモードで作成する DB, KVS の IP は docker inspect で取ってくる 例) DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1) 11 / 15
docker-compose.yml services: pause: image: gcr.io/google_containers/pause-amd64:3.1 networks: mackerel depends_on: - db
- redis db: image: postgres:9.6-alpine ports: - "5432" networks: mackerel redis: image: redis:2.8.17 ports: - "6379" networks: mackerel depends を解決したいのでメインのコンテナに pause コンテナ を立てている 12 / 15
BuildKit でテストをする ホストのネットワークモードを使う docker inspect を使って DB, KVS の IP
を取ってくる --add-host を使ってホスト名を解決する Tips: --add-host の IP の変更はレイヤキャッシュに影響しない docker-compose -f docker-compose.yml -p "${DOCKER_COMPOSE_PROJECT}" up -d DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1 --format "{{json .NetworkSetting REDIS=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_redis1_1 --format "{{json .Networ docker build --pull \ --add-host db:${DB} \ --add-host redis:${REDIS} \ --network=host \ . 13 / 15
結局どれくらい早くなったのか 早くなった (12 分 -> 7 分) キャッシュがあればそこそこ早かった(docker run のバインドマウント)
Scala のコンパイル結果をキャッシュするようになった (target) 通常のテストと Style のテストをマルチステージビルド化で平行実行 何がまだ遅いのか テストが 6 分くらいかかっていて全体を占めている 一番うれしいこと レイヤキャッシュを使って本番のビルドをスキップできる 14 / 15
おわり 15 / 15