Rails on Docker

Rails on Docker 銀座Rails#22 2020/06/12(Fri) 神速(@sinsoku) 1

自己紹介 • 名前: 神速 • 会社: メドピア株式会社 • GitHub: @sinsoku
(画像右上) • Twitter: @sinsoku_listy (画像右下) • Rails歴: 約7年みんな !" を飲みながら気楽に聞いて 2

Dockerとは何か？ 3

コンテナ仮想化 4

私もよく分かってない 5

過去のインフラ構築の課題 Dockerで何を解決できるか？ 6

Chef, Ansible期 • インフラの構築手順をコード化 • Infrastructure as Code（IaC） • バージョン管理できる
• レビューできる 7

Ansibleの例（playbook.yml） - hosts: all become: yes tasks: - apt: pkg:
- ruby - nodejs update_cache: yes 8

Ansibleの例（playbook.yml） - hosts: all become: yes tasks: - apt: pkg:
- ruby - nodejs - imagemagick update_cache: yes 9

インフラは冪等になった 10

冪等を保つのはとても難しい • 初回、2回目の両パターンの記述 • apt-getは冪等じゃない • リポジトリの状態で変わる気づいたらstg/prdでパッチバージョンが違う 13

Packer, AMI期構成を変更するたびにマシンイメージを毎回ゼロから作成する。 • Immutable Infrastructure（不変のインフラ） • Disposable Infrastructure（廃棄可能なインフラ） 14

多くの問題が解決した 16

また新たな課題が出てきた... 17

マシンイメージの問題点 • ビルドに時間がかかる • 容量が重く、起動が遅い • ポータビリティが低い • 手元で動作確認できない •
他クラウドに移行しづらい 18

Docker期 • マシンイメージに比べて軽量 • CPU/メモリの使用効率が良い • ポータビリティが高い • 本番と同じイメージが手元で動く 19

Dockerの概要 • Dockerﬁleからイメージを作る • イメージからコンテナを起動する • Dockerがある場所で動く • "Build once,
run anywhere" 20

Javaに似てる • ソースコードからJARを作る • JARをサーバにデプロイする • JVMがある場所で動く • "Write once,
run anywhere" 21

! 実際にコンテナを動かす 22

例. シンプルなWEBrickサーバ # app.rb require "webrick" srv = WEBrick::HTTPServer.new srv.mount('/',
WEBrick::HTTPServlet::FileHandler, 'index.html') srv.start 23

Dockerﬁle FROM ruby:2.7.1 WORKDIR /app COPY index.html ./ COPY app.rb
./ EXPOSE 80 CMD ["ruby", "app.rb"] 24

ビルドと起動 $ ls Dockerfile app.rb ginza.html index.html • イメージのビルド $
docker build -t plain_server . • コンテナの起動 $ docker run -p 8080:80 plain_server 25

$ curl localhost:8080 <!DOCTYPE html> <html lang="ja"> <head> <title>Index</title> </head>
<body> <h1>Hello, Docker</h1> </body> </html> 26

ボリュームマウント $ docker run -p 8080:80 \ -v `pwd`/ginza.html:/app/index.html \
plain_server $ curl localhost:8080 <!DOCTYPE html> <html lang="ja"> <head> <title>Index</title> </head> <body> <h1>Hello, Ginza.rb</h1> </body> </html> 27

ここまでのまとめ • docker build -t <name> . でビルドする • Dockerﬁleがイメージの設計図
• $ docker run IMAGE でコンテナを起動する • コンテナの起動時にPortやVolumeを指定できる 28

少し休憩(10分くらいのはず）1 1 https://medpeer.co.jp/recruit/ 29

! でRailsを動かす方法 30

production用Railsの復習 DBを起動しておく。 $ brew services start postgresql rails newからこんな感じ。 $
rails new foo --database postgresql && cd foo $ RAILS_ENV=production BUNDLE_WITHOUT=development:test bundle install $ RAILS_ENV=production bin/rails assets:precompile $ RAILS_ENV=production bin/rails db:prepare $ RAILS_ENV=production RAILS_SERVE_STATIC_FILES=1 bin/rails s 31

これを ! で動くようにする 32

Dockerﬁle v1 FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV
BUNDLE_WITHOUT development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY . . RUN bundle install RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] $ cp .gitignore .dockerignoreも要る 33

# docker-compose.yml version: '3.7' services: db: image: postgres:11.6-alpine volumes: -
db:/var/lib/postgresql/data web: build: . depends_on: - db ports: - "3000:3000" stdin_open: true tty: true environment: DATABASE_URL: 'postgres://postgres:@db' RAILS_LOG_TO_STDOUT: 1 RAILS_SERVE_STATIC_FILES: 1 RAILS_MASTER_KEY: volumes: db: 34

dbとwebを起動 <key>はconfig/master.keyの中の値。 $ export RAILS_MASTER_KEY=<key> $ docker-compose up -d db
$ docker-compose run web bin/rails db:prepare $ docker-compose up web 35

localhost:3000でエラー画面が出れば成功 36

! のダイエット 37

レイヤーキャッシュ FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT
development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY . . RUN bundle install RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] 38

Dockerﬁle v2 FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV
BUNDLE_WITHOUT development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json . COPY yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] 39

マルチステージビルド FROM ruby:2.7.1 as builder COPY Gemfile COPY Gemfile.lock .
RUN bundle install FROM ruby:2.7.1 COPY --from=builder /usr/local/bundle /usr/local/bundle EXPOSE 3000 CMD ["bin/rails", "server"] 40

Dockerﬁle v3 FROM ruby:2.7.1 as base WORKDIR /app ENV RAILS_ENV
production ENV BUNDLE_WITHOUT development:test FROM base as builder RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile # ଓ͘ 41

Dockerﬁle v3 FROM base COPY . . COPY --from=builder /usr/local/bundle
/usr/local/bundle COPY --from=builder /builder/public/assets ./public/assets COPY --from=builder /builder/public/packs ./public/packs EXPOSE 3000 CMD ["bin/rails", "server"] サーバの起動時にNode.jsとnode_modulesは不要 42

Alpine Linux • 軽量なLinuxディストリビューション • 最小限のものしか入ってない • パッケージ管理はapk 43

Dockerﬁle v4 FROM ruby:2.7.1-alpine as base WORKDIR /app ENV RAILS_ENV
production ENV BUNDLE_WITHOUT development:test FROM base as builder RUN apk update && apk-add --update \ build-base postgresql-dev yarn tzdata git COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile # ޙ൒͸ಉ͡ͳͷͰলུ 44

BuildKit2を使用する Docker 18.09から本体に統合されたツール。 • ビルドを並列に行い高速化 • キャッシュや機密情報に関する機能強化 • DOCKER_BUILDKIT環境変数を設定する •
$ DOCKER_BUILDKIT=1 docker build -t foo . 2 https://docs.docker.com/develop/develop-images/build_enhancements/ 45

本番 ! のまとめ • ビルド高速化 • レイヤーキャッシュ、BuildKit • 軽量化 •
マルチステージビルド、Alpine Linux 46

開発環境でを使う 47

開発環境で ! を使うメリット • 開発者の環境を統一できる • DBのバージョン違いのトラブルを避ける • 複数のDBやサーバを簡単に起動できる •
マイクロサービスな案件 48

本番 ! との違い • インストールするgemが異なる • npm, node_modulesが必要 • eslint,
jest, ...etc • 開発用のツール（Chrome, curlなど）が必要 49

本番 ! を開発環境として使うのは厳しい 50

開発でCircleCIのイメージを使う $ docker pull circleci/ruby:2.7.1-node-browsers • Node.js, Yarnが入っている • ブラウザが入っている
• jqが入っている • CircleCIで落ちるテストを再現できる 51

# docker-compose.development.yml services: web: image: circleci/ruby:2.7.1-node-browsers stdin_open: true tty: true
volumes: - .:/app environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi DATABASE_URL: 'postgres://postgres:@db' depends_on: - db command: ["bin/rails", "server", "-b", "0.0.0.0"] expose: ["3000"] ports: - "3000:3000" working_dir: /app user: root 52

Docker for Mac遅い問題 • MacのVolueマウントが遅い • bundle installが遅い • yarn
installが遅い • assets:precompileが遅いもう何もかも遅い 53

# docker-compose.development.yml services: web: image: circleci/ruby:2.7.1-node-browsers stdin_open: true tty: true
volumes: - ..:/app:cached - rails_cache:/app/tmp/cache - bundle:/usr/local/bundle - node_modules:/app/node_modules - packs:/app/public/packs - packs_test:/app/public/packs-test environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi DATABASE_URL: 'postgres://postgres:@db' depends_on: - db command: ["bin/rails", "server", "-b", "0.0.0.0"] expose: ["3000"] ports: - "3000:3000" working_dir: /app user: root 54

bibendi/dip3 DockerでRailsを開発するときに便利なツール。 • docker-composeのラッパー • dip.ymlにコマンドを記述する • dip rails s
• dip rubocop --parallel 3 https://github.com/bibendi/dip 55

# dip.yml version: '4.1' interaction: rails: description: Run Rails commands
service: web command: bundle exec rails subcommands: s: description: Run Rails server at http://localhost:3000 service: web compose: run_options: [service-ports, use-aliases] provision: - dip compose down --volumes - dip compose up -d db redis - dip bash -c ./bin/setup 56

本番 ! をローカルで動かす dip.ymlでdocker-compose.ymlを複数指定できる。 environment: COMPOSE_EXT: development compose: files: -
docker-compose.yml # db, redis - docker-compose.$COMPOSE_EXT.yml # web, worker 57

# docker-compose.staging.yml services: web: &web build: . image: ginza-rails:staging stdin_open:
true tty: true environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi RAILS_ENV: staging DATABASE_URL: 'postgres://postgres:@db' REDIS_URL: 'redis://redis' RAILS_LOG_TO_STDOUT: 1 RAILS_SERVE_STATIC_FILES: 1 depends_on: - db - redis ports: - "3000:3000" sidekiq: <<: *web command: ['bundle', 'exec', 'sidekiq'] expose: [] ports: [] 58

本番 ! をローカルで動かす $ COMPOSE_EXT=staging dip compose build $ COMPOSE_EXT=staging
dip rails db:prepare $ COMPOSE_EXT=staging dip rails s 59

Evil Martians流Docker+Ruby/Rails開発環境構築（翻訳）4 4 https://techracho.bpsinc.jp/hachi8833/2019_09_06/79035 60

実際のAWSでの運用 61

buildspec.ymlから抜粋 # Upload assets to s3 - CONTAINER_ID=$(docker create $REPOSITORY_URL:$IMAGE_TAG)
- docker cp $CONTAINER_ID:/app/public/packs public/packs - aws s3 sync public/packs s3://${s3_bucket}/packs - docker rm $CONTAINER_ID 64

更なるビルドの高速化 66

更なるビルドの高速化（？） 1. Cache Mount 2. assets:precompileの省略 67

Cache Mount イメージのビルド時にボリュームマウントを使う機能。 experimentalなので、Dockerﬁleの1行目に以下を記述する。 # syntax=docker/dockerfile:experimental 68

Cache Mount 以下のように書くことで、Gemﬁle.lockを更新しても2回目のビルドが高速になる。 RUN --mount=type=cache,target=/usr/local/bundle \ bundle install ローカルで劇的な効果（詳細は後述）
69

Dockerﬁleでassets:precompileしない $ docker build -t <IMAGE> . $ docker run
-v `pwd`/public/assets:/app/public/assets \ -v `pwd`/public/packs:/app/public/packs \ <IMAGE> bin/rails assets:precompile $ aws s3 sync public/assets s3://<bucket>/assets $ aws s3 sync public/packs s3://<bucket>/packs 70

どちらも課題が残る 1. Cache Mount • CodeBuildはDockerボリュームのキャッシュが効かない • ベースイメージの更新でキャッシュが使えなくなる 2. assets:precompileの省略
• manifest.jsonが無いとViewのレンダリングでエラー 71

本日昼、stagingビルドが死にました「FROM ruby:2.7.1-alpine」って書いてました。 72

! との戦いはまだ続く... TO BE CONTINUED... 73

ご静聴ありがとうございました We are hiring6 6 https://medpeer.co.jp/recruit/ 74

Rails on Docker

Rails on Docker

More Decks by Takumi Shotoku

Other Decks in Technology

Featured

Transcript