CyberAgent AI事業本部2024年度MLOps研修Container編 / Container for MLOps

©2024 CyberAgent Inc. Distribution prohibited Container Onboarding20240514 Masaaki Suzuki@sZma5a /
AI Shift

©2024 CyberAgent Inc. Distribution prohibited Masaaki Suzuki AI Shift Development
Team (Backend) sZma5a

©2024 CyberAgent Inc. Distribution prohibited • Containerについて • ローカルでのContainer実行 •
イメージ作成のtips • 運用を考慮したtips Agenda

©2024 CyberAgent Inc. Distribution prohibited 仮想化の変遷物理環境に直接デプロイする形から、様々な抽象化を施し可用性や密度を高めるため、仮想化技術が用いられてきた。 Server Hypervisor
Container

©2024 CyberAgent Inc. Distribution prohibited Hypervisor: ハードウェアが抽象化されているため、OSレベルで分離することができる。そのため、自由に OS（Linux, Windows,
macOS）を選択することができるが、起動までに時間がかかる。 ex) VirtualBox, KVM HypervisorとContainerの違い https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

©2024 CyberAgent Inc. Distribution prohibited Container: プロセス単位で仮想化されるため、カーネルはホストOSと共有される。そのため、Hypervisorと比較し自由度は限られるが、起動がすごく早い。
ex) docker, podman HypervisorとContainerの違い https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

©2024 CyberAgent Inc. Distribution prohibited ContainerはLinuxのカーネル機能であるNamespaceとcgroupを用いて実行環境を分離している。 • Namespace プロセスやユーザグループを論理的に分割するために用いる
ex) マウント名前空間, PID名前空間, ネットワーク名前空間, IPC名前空間... • cgroup プロセスに対しリソースの制限をかけるための仕組み Container Structure

©2024 CyberAgent Inc. Distribution prohibited 以下の3つの仕様からなるコンテナ形式とランタイムに関するオープンな標準仕様であり、Linux Foundation のプロジェクトの1つである。 •
ランタイム仕様 (runtime-spec) • イメージ仕様 (image-spec) • 配布仕様 (distribution-spec) OCI (Open Container Initiative)

©2024 CyberAgent Inc. Distribution prohibited Dockerとは？ Docker社が開発したContainer Engineであり、コンテナ間のネットワーク通信やオーケストレーションなど様々な機能が含まれている。
また、標準化のために様々な機能がコンポーネント化されている。

©2024 CyberAgent Inc. Distribution prohibited https://www.docker.com/ja-jp/blog/containerd-vs-docker/ Architecture DockerはCLIを通しdockerdでイメージのpullやコンテナの起動を行う。 dockerdはコンテナを管理する永続的
なプロセスであり、クライアントとは異なるバイナリで動作している。

©2024 CyberAgent Inc. Distribution prohibited Architecture DockerのContainer Runtimeは、 containerdとruncから構成される。 runcがコンテナの作成・実行を行なっ
ており、containerdではイメージやコンテナの状態管理などを行なっている。

©2024 CyberAgent Inc. Distribution prohibited containerd コンテナランタイムを標準化する過程でDocker からCNCFに寄贈されたプロジェクト。 KubernetesやAWS Fargateでも使用されている。
https://www.docker.com/ja-jp/blog/introducing-containerd/

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 Dockerﬁleとはイメージを作成するための命令が書かれたドキュメントファイルのことである。 Dockerﬁleでは既存のイメージをベース
トしたカスタムイメージを作成することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited $ docker history golang:latest IMAGE
CREATED CREATED BY SIZE COMMENT 295f95becd4e 3 weeks ago WORKDIR /go 0B buildkit.dockerfile.v0 <missing> 3 weeks ago RUN /bin/sh -c mkdir -p "$GOPATH/src" "$GOPA… 0B buildkit.dockerfile.v0 <missing> 3 weeks ago COPY /usr/local/go/ /usr/local/go/ # buildkit 220MB buildkit.dockerfile.v0 <missing> 3 weeks ago ENV PATH=/go/bin:/usr/local/go/bin:/usr/loca… 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOPATH=/go 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOTOOLCHAIN=local 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOLANG_VERSION=1.22.2 0B buildkit.dockerfile.v0 <missing> 3 weeks ago RUN /bin/sh -c set -eux; apt-get update; a… 240MB buildkit.dockerfile.v0 <missing> 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 183MB <missing> 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 48.5MB <missing> 4 days ago /bin/sh -c #(nop) CMD ["bash"] 0B <missing> 4 days ago /bin/sh -c #(nop) ADD file:07ae70ad05f39a240… 139MB コンテナイメージはレイヤー構造で管理されており、docker historyでイメージの構造を見ることができる。イメージの作成

©2024 CyberAgent Inc. Distribution prohibited イメージの作成各レイヤはDockerﬁleに書かれた命令（FROM, RUNなど）と対応している。また、レイヤごとにキャッシュが作成さ
れており、ビルドの効率化やレジストリへのアップロードなどで使われる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited ベースイメージの指定 FROM: ベースとなるイメージを指定している。 golang:<version> Debianベースのイメージ
golang:<version>-alpine 軽量なAlpineを使用したイメージ golang:<version>-windowsservercore Windows coreをベースとしたイメージ FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 WORKDIR イメージ内での作業ディレクトリを指定している。 WORKDIRが指定されている場合、後続
の命令は全て該当のディレクトリで実行される。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 FROM golang:1.22 WORKDIR /app
COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] COPY ファイルをイメージ内にコピーするための命令。オプションを使うことによって、様々な方法でファイルを持って来れる。

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 --fromで指定することで、他のビルドステージやイメージからファイルをコピーすることができる。 FROM
golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] FROM golang:1.19 as bulder … RUN go build -o /docker-gs-ping —----------------------------------------- FROM golang:1.19 COPY --from=builder /docker-gs-ping / CMD ["/docker-gs-ping"] 1つのDockerﬁle

©2024 CyberAgent Inc. Distribution prohibited イメージの作成他にも... --exclude: 除外指定 (labs)
--chown --chmod: 権限周りを指定 etc... 様々なオプションが存在する。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 RUN イメージビルド時にコマンドを実行するための命令。 ※
コマンドの文字列からキャッシュを行う FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 FROM golang:1.22 WORKDIR /app
COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] EXPOSE コンテナを実行時にリッスンするポートを示す命令。実際にポートが公開されるわけではないが、使用するポートを実行環境に示すために用いられる。

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 CMD コンテナが起動時に実行されるコマンドを指定する命令。似たような命令としてENTRYPOINTも
あり、docker run時にコマンドを指定した時の挙動が異なる。 CMDの場合はそのコマンドで上書きされるが、ENTRYPOINTの場合はオプションとして実行される。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited イメージのビルド $ docker build .
-t mlops-handson/mecab:v1 コンテキストの指定. Dockerに見てほしいpath. COPY句でどこを起点にするか. 基本的にDockerﬁleのある場所でOK イメージ名. お作法的にはowner/image_name イメージタグ. イメージは更新されゆくのでいわゆるversioning イメージのビルド時はdocker buildコマンドを使用する。

©2024 CyberAgent Inc. Distribution prohibited コンテナの起動 $ docker run -p
8080:80 mlops-handson/mecab:v1 外部公開するポートを指定することで、ホストマシンからコンテナ内のアプリケーションにアクセスすることができるビルドしたイメージを指定必要に応じて外部公開するポートを指定しdocker runでコンテナを実行する。

©2024 CyberAgent Inc. Distribution prohibited Dockerでは6種類のネットワークドライバが存在し、それらを元にコンテナ間ネットワークの構築や外部との接続を行う。 Dockerネットワーク bridge
(Default) コンテナ間の通信をブリッジすることでお互いに通信することができる host ホストのネットワークに直接参加する overlay 複数のDockerデーモンを接続することができる ipvlan L2またはL3からコンテナネットワークを構築することができる macvlan コンテナにMACアドレスを割り当てることができる none ネットワークを割り当てない（接続しない）

©2024 CyberAgent Inc. Distribution prohibited イメージサイズの軽量化サイズが大きいとネットワーク内の運搬コストが高くなるため、スケールが遅くなったり、無駄に課金されたりする。研修の時、FargateをPrivate Subnetにおいていたため、ECRか
らイメージを読み込む際、NAT Gatewayを通る関係で一晩で5千円くらい課金された...

©2024 CyberAgent Inc. Distribution prohibited $ docker history golang:latest IMAGE
CREATED CREATED BY SIZE COMMENT 295f95becd4e 3 weeks ago WORKDIR /go 0B buildkit.dockerfile.v0 <missing> 3 weeks ago RUN /bin/sh -c mkdir -p "$GOPATH/src" "$GOPA… 0B buildkit.dockerfile.v0 <missing> 3 weeks ago COPY /usr/local/go/ /usr/local/go/ # buildkit 220MB buildkit.dockerfile.v0 <missing> 3 weeks ago ENV PATH=/go/bin:/usr/local/go/bin:/usr/loca… 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOPATH=/go 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOTOOLCHAIN=local 0B buildkit.dockerfile.v0 <missing> 3 weeks ago ENV GOLANG_VERSION=1.22.2 0B buildkit.dockerfile.v0 <missing> 3 weeks ago RUN /bin/sh -c set -eux; apt-get update; a… 240MB buildkit.dockerfile.v0 <missing> 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 183MB <missing> 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 48.5MB <missing> 4 days ago /bin/sh -c #(nop) CMD ["bash"] 0B <missing> 4 days ago /bin/sh -c #(nop) ADD file:07ae70ad05f39a240… 139MB docker historyで各レイヤーの内容やサイズを見れるので、適宜確認しながらイメージを最適化していく。レイヤーごとのサイズ確認方法

©2024 CyberAgent Inc. Distribution prohibited • マルチステージビルド • ベースイメージの選定 •
RUN使用時の注意 • 依存関係周りのキャッシュ • COPY使用時の注意 • 静的ファイルの取り扱い軽量化方法

©2024 CyberAgent Inc. Distribution prohibited 実行用とビルド用にステージを分けることによって、最終的なイメージを軽量でセキュアなものにする方法。実行に必要な物のみが含まれたイメージを作ることができるため、余分なレイ
ヤーやライブラリを省くことができる。マルチステージビルド FROM golang:1.22 as builder RUN apt-get install -y hoge… COPY *.go ./ RUN go build -o /binary FROM distroless as runner COPY --from builder /binary /binary RUN go build -o /binary CMD ["/binary"] 1つのDockerﬁle

©2024 CyberAgent Inc. Distribution prohibited ベースイメージの選定ビルドと実行で使用するものは同じでなくても良い。 debian-slim Debianベースのイメージではあるが、必要最低限
のパッケージしかはいっていない。 alpine Alpine Linuxを用いた軽量のイメージ。 distroless ランタイム用の軽量なイメージであり、シェルがないため安全に実行することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited パッケージのキャッシュに関するTips RUNとは異なりCOPYはファイルの内容を元にキャッシュが生成される。そのため、パッケージリストのみをコピーしておくことで、変更があった時のみ更新
することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ … キャッシュ

©2024 CyberAgent Inc. Distribution prohibited RUN使用時の注意ファイルの取り扱いパッケージリストの更新と削除が分かれているため、レイヤに残ってしまう。パッケージのキャッシュ
パッケージのアップデートのみをRUNに置くと、キャッシュにより更新されない。 →レイヤーはなるべくまとめて減らす FROM ubuntu:latest # パッケージデータがレイヤに保管される RUN apt-get update RUN apt-get install -y nginx RUN rm -rf /var/lib/apt/lists/* … # 修正 RUN apt-get update \ && apt-get install nginx \ && rm -rf /var/lib/apt/lists/*

©2024 CyberAgent Inc. Distribution prohibited COPY使用時の注意 … # 不要なものもCOPYのレイヤは残る COPY
. . RUN rm -r ./tmp … RUNと同様にファイル取得と削除のレイヤが別れるとサイズを小さくすることができない。そのため、COPYでは必要なものだけ持ってくることや不必要なものを省く。

©2024 CyberAgent Inc. Distribution prohibited イメージに含めないファイルやディレクトリを定義することができ、 COPYを行う際、該当のファイルを省くことができる。 .gitignoreと形式や機能は似ているが、指定の仕方や動作に違いがあるため注意する必要がある。 Ex)
.dockerignoreの場合 • 指定は相対パスで行う必要がある • .dockerignoreはコンテキストと同じ階層に置く必要がある etc... .dockerignore

©2024 CyberAgent Inc. Distribution prohibited プログラム実行時に使用する静的ファイルのサイズによっては、イメージに含めずマウントする方が適切な場合がある。・ライフサイクル　ファイルの更新と合わせイメージを最新化する必要があるか・ネットワーク
　イメージのアップデートやデプロイの際のトラフィック量や経路・スケール　イメージ起動までの時間はスケール時に許容できるか →学習モデルや学習データはイメージに含めずマウントすることも考える静的ファイルの取り扱い

©2024 CyberAgent Inc. Distribution prohibited ホストマシンでContainer Runtimeを実行する際、rootで実行しない。 Dockerではホストマシンのディレクトリをコンテナ内にbindすることができるため、マシ
ン全体が攻撃される恐れがある。セキュリティ rootlessでの実行（ホスト） https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

©2024 CyberAgent Inc. Distribution prohibited アプリケーションのバグなどで任意のコマンドを実行できる場合、ホストマシンに侵入される恐れがある。そのため、コンテナ実行時にあらかじめ不要な権限を与えない。
セキュリティアプリケーションをrootで実行しない FROM golang:1.22 … USER noroot … CMD ["/docker-gs-ping"]

©2024 CyberAgent Inc. Distribution prohibited Dockerでは、イメージに脆弱性が含まれていないかの検査を行うことができる。発見された場合は、修正されたバージョンや該当CVEの情報が表示される。セキュリティ脆弱性のチェック https://docs.docker.com/reference/cli/docker/scout/cves/
$ docker scout cves ${IMAGE}:${TAG} … The image contains 46 packages with one or more vulnerability for a total of 181 vulnerabilities UNSPECIFIED | 4 LOW | 168 MEDIUM | 6 HIGH | 3 CRITICAL | 0

©2024 CyberAgent Inc. Distribution prohibited イメージを最新化するためにlatest運用が見受けられるが、動いているイメージが区別できないため、事故が起きやすくなる。そのため、コミットハッシュや、バージョンタグを付ける。
タグ管理イメージタグ運用

©2024 CyberAgent Inc. Distribution prohibited コンテナでは新たにプロセス名前空間が作られるため、最初にアプリケーションを実行すると PID1が振られる。そのため、SIGTERM（終了させるためのシグナル）がうまく伝わらずに強制終了したり、ソ
ンビプロセス化したりする問題。 Ex) Node.js プロセス管理 PID1問題

©2024 CyberAgent Inc. Distribution prohibited Docker実行時に--initオプションを指定することで実行時にtini（軽量のプロセス管理ツール）が起動される。これにより、適切にシグナルやプロセス管理を行うことができる。 Kubernetesの場合はPause
Containerがその役割も担っている。プロセス管理 PID1問題

CyberAgent AI事業本部2024年度MLOps研修Container編 / Cont...

CyberAgent AI事業本部2024年度MLOps研修Container編 / Container for MLOps

Featured

Transcript