Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker M...
Search
i2tsuki
December 26, 2018
Technology
1
600
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker Meetup Kansai #2
BuildKit を使った Scala アプリケーションのテストと高速化
i2tsuki
December 26, 2018
Tweet
Share
More Decks by i2tsuki
See All by i2tsuki
6 年の間 SRE がゼロだったプロダクトに Embedded SRE として入って やったこと、感じたこと、これから
i2tsuki
2
110
ソーシャルゲームの長期運用 を目指すための SRE の取り組み - 10 周年を⽬指すコトダマンの場合 -
i2tsuki
5
2.7k
AWS Startup.fm 企業の上場時に必要な監査要件とマネジメントサービスによる解決
i2tsuki
0
120
20180530LINEDeveloperMeetupRedis-redis-for-mackerelio
i2tsuki
0
480
Mackerel's monitoring and checks
i2tsuki
1
7.1k
Mackerel インフラ基盤 AWS 移行の舞台裏
i2tsuki
6
10k
Python Web Application Monitoring in Mackerel
i2tsuki
1
6k
Other Decks in Technology
See All in Technology
GoでもGUIアプリを作りたい!
kworkdev
PRO
0
160
フレームワークを意識させないワークショップづくり
keigosuda
0
210
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
580
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
2
670
ソースを読むプロセスの例
sat
PRO
15
9.4k
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
3
2k
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
14k
組織改革から開発効率向上まで! - 成功事例から見えたAI活用のポイント - / 20251016 Tetsuharu Kokaki
shift_evolve
PRO
1
180
Introdução a Service Mesh usando o Istio
aeciopires
1
240
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
640
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
5k
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
200
Featured
See All Featured
Balancing Empowerment & Direction
lara
5
690
Practical Orchestrator
shlominoach
190
11k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
920
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
GraphQLとの向き合い方2022年版
quramy
49
14k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
3.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
Transcript
BuildKit を使った Scala アプリケーションの テストと高速化 GitHub: @i2tsuki Twitter id:@kizkoh 2018-12-26
Docker Meetup Kansai #2 1 / 15
BuildKit について 須田さんのスライドが参考になる SlideShare - Docker 18.09 新機能 なにが嬉しいのか? マルチステージビルドが並行して実行できる
docker/dockerfile の syntax を使うとキャッシュできる 例) # syntax=docker/dockerfile:1.0-experimental 例) --mount=type=cache,id=ivy2,target=/user/.ivy2/cache 2 / 15
Scala のビルドとテストがめちゃ遅い!! 3 / 15
Scala の CI フロー どこが遅いの?? sbt の Scala の解決 ${HOME}/.sbt
(5 分) ivy2 キャッシュ ${HOME}/.ivy2/cache (40 分) コンパイルキャッシュ ${PROJECT}/target (5 分) 今まではバインドマウントして docker-compose run で実行してた (docker build だけでテスト、ビルドしてコンテナイメージ作りたい!) 4 / 15
とにかくステージを分ける!! & とにかくキャッシュする!! 5 / 15
Docker le buildkit/experimental.md at master · moby/buildkit · GitHub が参考になる!
# Stage app-ivy-setup FROM app-initial as app-ivy-setup RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ --mount=type=cache,id=sbt,target=/root/.sbt \ sbt compile # Stage: app-test FROM app-ivy-setup as app-test RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C # Stage: app-scalastyle FROM app-ivy-setup as app-scalastyle RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C 6 / 15
テストをどうするか(DB, KVS との接続)問題 7 / 15
BuildKit の問題 docker-compose 今までは docker-compose を使ってテストしていた docker-compose は BuildKit 対応中
8 / 15
BuildKit の問題 BuildKit のネットワークモード BuildKit のネットワークモードは Host or default or
none moby/builder.go at master · moby/moby 他のコンテナにアタッチできない & network を利用できない docker build --network=container:xxxxxxxxxxxx -t mackerel できない 9 / 15
どうするか 10 / 15
BuildKit でテストをする ホストのネットワークモードを使う DB, KVS は docker-compose で作成する DB, KVS
はホストネットワークモードで立てると他の CI ジョブと競合 DB, KVS はブリッジモードで作成する DB, KVS の IP は docker inspect で取ってくる 例) DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1) 11 / 15
docker-compose.yml services: pause: image: gcr.io/google_containers/pause-amd64:3.1 networks: mackerel depends_on: - db
- redis db: image: postgres:9.6-alpine ports: - "5432" networks: mackerel redis: image: redis:2.8.17 ports: - "6379" networks: mackerel depends を解決したいのでメインのコンテナに pause コンテナ を立てている 12 / 15
BuildKit でテストをする ホストのネットワークモードを使う docker inspect を使って DB, KVS の IP
を取ってくる --add-host を使ってホスト名を解決する Tips: --add-host の IP の変更はレイヤキャッシュに影響しない docker-compose -f docker-compose.yml -p "${DOCKER_COMPOSE_PROJECT}" up -d DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1 --format "{{json .NetworkSetting REDIS=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_redis1_1 --format "{{json .Networ docker build --pull \ --add-host db:${DB} \ --add-host redis:${REDIS} \ --network=host \ . 13 / 15
結局どれくらい早くなったのか 早くなった (12 分 -> 7 分) キャッシュがあればそこそこ早かった(docker run のバインドマウント)
Scala のコンパイル結果をキャッシュするようになった (target) 通常のテストと Style のテストをマルチステージビルド化で平行実行 何がまだ遅いのか テストが 6 分くらいかかっていて全体を占めている 一番うれしいこと レイヤキャッシュを使って本番のビルドをスキップできる 14 / 15
おわり 15 / 15