Rails on Docker

【オンライン開催】銀座Rails#22 @リンクアンドモチベーション
https://ginza-rails.connpass.com/event/176491/

1. Rails on Docker 銀座Rails#22 2020/06/12(Fri) 神速(@sinsoku) 1
2. 自己紹介 • 名前: 神速 • 会社: メドピア株式会社 • GitHub: @sinsoku (画像右上) • Twitter: @sinsoku_listy (画像右下) • Rails歴: 約7年 みんな !" を飲みながら気楽に聞いて 2
3. Dockerとは何か？ 3
4. コンテナ仮想化 4
5. 私もよく分かってない 5
6. 過去のインフラ構築の課題 Dockerで何を解決できるか？ 6
7. Chef, Ansible期 • インフラの構築手順をコード化 • Infrastructure as Code（IaC） • バージョン管理できる • レビューできる 7
8. Ansibleの例（playbook.yml） - hosts: all become: yes tasks: - apt: pkg: - ruby - nodejs update_cache: yes 8
9. Ansibleの例（playbook.yml） - hosts: all become: yes tasks: - apt: pkg: - ruby - nodejs - imagemagick update_cache: yes 9
10. インフラは冪等になった 10
13. 冪等を保つのはとても難しい • 初回、2回目の両パターンの記述 • apt-getは冪等じゃない • リポジトリの状態で変わる 気づいたらstg/prdでパッチバージョンが違う 13
14. Packer, AMI期 構成を変更するたびにマシンイメージを毎回ゼロから作成する。 • Immutable Infrastructure（不変のインフラ） • Disposable Infrastructure（廃棄可能なインフラ） 14
16. 多くの問題が解決した 16
17. また新たな課題が出てきた... 17
18. マシンイメージの問題点 • ビルドに時間がかかる • 容量が重く、起動が遅い • ポータビリティが低い • 手元で動作確認できない • 他クラウドに移行しづらい 18
19. Docker期 • マシンイメージに比べて軽量 • CPU/メモリの使用効率が良い • ポータビリティが高い • 本番と同じイメージが手元で動く 19
20. Dockerの概要 • Dockerfileからイメージを作る • イメージからコンテナを起動する • Dockerがある場所で動く • "Build once, run anywhere" 20
21. Javaに似てる • ソースコードからJARを作る • JARをサーバにデプロイする • JVMがある場所で動く • "Write once, run anywhere" 21
22. ! 実際にコンテナを動かす 22
23. 例. シンプルなWEBrickサーバ # app.rb require "webrick" srv = WEBrick::HTTPServer.new srv.mount('/', WEBrick::HTTPServlet::FileHandler, 'index.html') srv.start 23
24. Dockerfile FROM ruby:2.7.1 WORKDIR /app COPY index.html ./ COPY app.rb ./ EXPOSE 80 CMD ["ruby", "app.rb"] 24
25. ビルドと起動 $ ls Dockerfile app.rb ginza.html index.html • イメージのビルド $ docker build -t plain_server . • コンテナの起動 $ docker run -p 8080:80 plain_server 25
26. $ curl localhost:8080 <!DOCTYPE html> <html lang="ja"> <head> <title>Index</title> </head> <body> <h1>Hello, Docker</h1> </body> </html> 26
27. ボリュームマウント $ docker run -p 8080:80 \ -v `pwd`/ginza.html:/app/index.html \ plain_server $ curl localhost:8080 <!DOCTYPE html> <html lang="ja"> <head> <title>Index</title> </head> <body> <h1>Hello, Ginza.rb</h1> </body> </html> 27
28. ここまでのまとめ • docker build -t <name> . でビルドする • Dockerfileがイメージの設計図 • $ docker run IMAGE でコンテナを起動する • コンテナの起動時にPortやVolumeを指定できる 28
29. 少し休憩(10分くらいのはず）1 1 https://medpeer.co.jp/recruit/ 29
30. ! でRailsを動かす方法 30
31. production用Railsの復習 DBを起動しておく。 $ brew services start postgresql rails newからこんな感じ。 $ rails new foo --database postgresql && cd foo $ RAILS_ENV=production BUNDLE_WITHOUT=development:test bundle install $ RAILS_ENV=production bin/rails assets:precompile $ RAILS_ENV=production bin/rails db:prepare $ RAILS_ENV=production RAILS_SERVE_STATIC_FILES=1 bin/rails s 31
32. これを ! で動くようにする 32
33. Dockerfile v1 FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY . . RUN bundle install RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] $ cp .gitignore .dockerignoreも要る 33
34. # docker-compose.yml version: '3.7' services: db: image: postgres:11.6-alpine volumes: - db:/var/lib/postgresql/data web: build: . depends_on: - db ports: - "3000:3000" stdin_open: true tty: true environment: DATABASE_URL: 'postgres://postgres:@db' RAILS_LOG_TO_STDOUT: 1 RAILS_SERVE_STATIC_FILES: 1 RAILS_MASTER_KEY: volumes: db: 34
35. dbとwebを起動 <key>はconfig/master.keyの中の値。 $ export RAILS_MASTER_KEY=<key> $ docker-compose up -d db $ docker-compose run web bin/rails db:prepare $ docker-compose up web 35
36. localhost:3000でエラー画面が出れば成功 36
37. ! のダイエット 37
38. レイヤーキャッシュ FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY . . RUN bundle install RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] 38
39. Dockerfile v2 FROM ruby:2.7.1 WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT development:test RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json . COPY yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile EXPOSE 3000 CMD ["bin/rails", "server"] 39
40. マルチステージビルド FROM ruby:2.7.1 as builder COPY Gemfile COPY Gemfile.lock . RUN bundle install FROM ruby:2.7.1 COPY --from=builder /usr/local/bundle /usr/local/bundle EXPOSE 3000 CMD ["bin/rails", "server"] 40
41. Dockerfile v3 FROM ruby:2.7.1 as base WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT development:test FROM base as builder RUN curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add - \ && echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list RUN apt-get update && apt-get install -y yarn COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile # ଓ͘ 41
42. Dockerfile v3 FROM base COPY . . COPY --from=builder /usr/local/bundle /usr/local/bundle COPY --from=builder /builder/public/assets ./public/assets COPY --from=builder /builder/public/packs ./public/packs EXPOSE 3000 CMD ["bin/rails", "server"] サーバの起動時にNode.jsとnode_modulesは不要 42
43. Alpine Linux • 軽量なLinuxディストリビューション • 最小限のものしか入ってない • パッケージ管理はapk 43
44. Dockerfile v4 FROM ruby:2.7.1-alpine as base WORKDIR /app ENV RAILS_ENV production ENV BUNDLE_WITHOUT development:test FROM base as builder RUN apk update && apk-add --update \ build-base postgresql-dev yarn tzdata git COPY Gemfile . COPY Gemfile.lock . RUN bundle install COPY package.json yarn.lock . RUN yarn install COPY . . RUN SECRET_KEY_BASE=dummy bin/rails assets:precompile # ޙ൒͸ಉ͡ͳͷͰলུ 44
45. BuildKit2を使用する Docker 18.09から本体に統合されたツール。 • ビルドを並列に行い高速化 • キャッシュや機密情報に関する機能強化 • DOCKER_BUILDKIT環境変数を設定する • $ DOCKER_BUILDKIT=1 docker build -t foo . 2 https://docs.docker.com/develop/develop-images/build_enhancements/ 45
46. 本番 ! のまとめ • ビルド高速化 • レイヤーキャッシュ、BuildKit • 軽量化 • マルチステージビルド、Alpine Linux 46
47. 開発環境で を使う 47
48. 開発環境で ! を使うメリット • 開発者の環境を統一できる • DBのバージョン違いのトラブルを避ける • 複数のDBやサーバを簡単に起動できる • マイクロサービスな案件 48
49. 本番 ! との違い • インストールするgemが異なる • npm, node_modulesが必要 • eslint, jest, ...etc • 開発用のツール（Chrome, curlなど）が必要 49
50. 本番 ! を開発環境として使うのは厳しい 50
51. 開発でCircleCIのイメージを使う $ docker pull circleci/ruby:2.7.1-node-browsers • Node.js, Yarnが入っている • ブラウザが入っている • jqが入っている • CircleCIで落ちるテストを再現できる 51
52. # docker-compose.development.yml services: web: image: circleci/ruby:2.7.1-node-browsers stdin_open: true tty: true volumes: - .:/app environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi DATABASE_URL: 'postgres://postgres:@db' depends_on: - db command: ["bin/rails", "server", "-b", "0.0.0.0"] expose: ["3000"] ports: - "3000:3000" working_dir: /app user: root 52
53. Docker for Mac遅い問題 • MacのVolueマウントが遅い • bundle installが遅い • yarn installが遅い • assets:precompileが遅い もう何もかも遅い 53
54. # docker-compose.development.yml services: web: image: circleci/ruby:2.7.1-node-browsers stdin_open: true tty: true volumes: - ..:/app:cached - rails_cache:/app/tmp/cache - bundle:/usr/local/bundle - node_modules:/app/node_modules - packs:/app/public/packs - packs_test:/app/public/packs-test environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi DATABASE_URL: 'postgres://postgres:@db' depends_on: - db command: ["bin/rails", "server", "-b", "0.0.0.0"] expose: ["3000"] ports: - "3000:3000" working_dir: /app user: root 54
55. bibendi/dip3 DockerでRailsを開発するときに便利なツール。 • docker-composeのラッパー • dip.ymlにコマンドを記述する • dip rails s • dip rubocop --parallel 3 https://github.com/bibendi/dip 55
56. # dip.yml version: '4.1' interaction: rails: description: Run Rails commands service: web command: bundle exec rails subcommands: s: description: Run Rails server at http://localhost:3000 service: web compose: run_options: [service-ports, use-aliases] provision: - dip compose down --volumes - dip compose up -d db redis - dip bash -c ./bin/setup 56
57. 本番 ! をローカルで動かす dip.ymlでdocker-compose.ymlを複数指定できる。 environment: COMPOSE_EXT: development compose: files: - docker-compose.yml # db, redis - docker-compose.$COMPOSE_EXT.yml # web, worker 57
58. # docker-compose.staging.yml services: web: &web build: . image: ginza-rails:staging stdin_open: true tty: true environment: BOOTSNAP_CACHE_DIR: '/usr/local/bundle' HISTFILE: '/app/log/.bash_history' EDITOR: vi RAILS_ENV: staging DATABASE_URL: 'postgres://postgres:@db' REDIS_URL: 'redis://redis' RAILS_LOG_TO_STDOUT: 1 RAILS_SERVE_STATIC_FILES: 1 depends_on: - db - redis ports: - "3000:3000" sidekiq: <<: *web command: ['bundle', 'exec', 'sidekiq'] expose: [] ports: [] 58
59. 本番 ! をローカルで動かす $ COMPOSE_EXT=staging dip compose build $ COMPOSE_EXT=staging dip rails db:prepare $ COMPOSE_EXT=staging dip rails s 59
60. Evil Martians流Docker+Ruby/Rails開発環境構築（翻訳）4 4 https://techracho.bpsinc.jp/hachi8833/2019_09_06/79035 60
61. 実際のAWSでの運用 61
64. buildspec.ymlから抜粋 # Upload assets to s3 - CONTAINER_ID=$(docker create $REPOSITORY_URL:$IMAGE_TAG) - docker cp $CONTAINER_ID:/app/public/packs public/packs - aws s3 sync public/packs s3://${s3_bucket}/packs - docker rm $CONTAINER_ID 64
66. 更なるビルドの高速化 66
67. 更なるビルドの高速化（？） 1. Cache Mount 2. assets:precompileの省略 67
68. Cache Mount イメージのビルド時にボリュームマウントを使う機能。 experimentalなので、Dockerfileの1行目に以下を記述する。 # syntax=docker/dockerfile:experimental 68
69. Cache Mount 以下のように書くことで、Gemfile.lockを更新しても2回目のビル ドが高速になる。 RUN --mount=type=cache,target=/usr/local/bundle \ bundle install ローカルで劇的な効果（詳細は後述） 69
70. Dockerfileでassets:precompileしない $ docker build -t <IMAGE> . $ docker run -v `pwd`/public/assets:/app/public/assets \ -v `pwd`/public/packs:/app/public/packs \ <IMAGE> bin/rails assets:precompile $ aws s3 sync public/assets s3://<bucket>/assets $ aws s3 sync public/packs s3://<bucket>/packs 70
71. どちらも課題が残る 1. Cache Mount • CodeBuildはDockerボリュームのキャッシュが効かない • ベースイメージの更新でキャッシュが使えなくなる 2. assets:precompileの省略 • manifest.jsonが無いとViewのレンダリングでエラー 71
72. 本日昼、stagingビルドが死にました 「FROM ruby:2.7.1-alpine」って書いてました。 72
73. ! との戦いはまだ続く... TO BE CONTINUED... 73
74. ご静聴ありがとうございました We are hiring6 6 https://medpeer.co.jp/recruit/ 74