Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Container virtualization technologies and workf...

Container virtualization technologies and workflow languages improve portability and reproducibility of data analysis environment

コンテナ仮想化技術とワークフロー言語によってデータ解析環境の可搬性と再現性を向上する

2019/04/22 @ かずさDNA研究所

Tazro Inutano Ohta

April 22, 2019
Tweet

More Decks by Tazro Inutano Ohta

Other Decks in Research

Transcript

  1. 自己紹介 大田達郎, 特任研究員 @ DBCLS twitter, github: @inutano 遺伝学研究所 (静岡県三島市)

    勤務 DDBJ のお隣さん 最近のお仕事 RDFによるNGSデータやサンプル情報の統合 コンテナ、ワークフロー言語を用いた解析パイプライン構築 技術者交流会 (Pitagora Meetup) の開催 関連: Workflow Meetup
  2. Docker 最も有名で普及しているコンテナエンジン モダンな Web application 開発では避けて通れない root 権限で起動する Docker daemon

    を通じてコントロール 共用マシンではセキュリティリスクに 個人用マシンであれば Docker で何ら問題ない https://www.docker.com
  3. Singularity コンテナの実行に root 権限が不要 Docker の root 権限問題が発生しない Docker イメージも利用可能

    GridEngine などのジョブスケジューラとの親和性 https://www.sylabs.io/singularity/
  4. コンテナを起動してコマンドを実行する Docker $ ls SRR000001.fastq $ docker run -it --rm

    \ -v $(pwd):/work \ -w /work \ biocontainers/fastqc:v0.11.5_cv3 \ fastqc \ SRR000001.fastq Singularity $ singularity pull docker://biocontainers/fastqc:v0.11.5_cv3 $ ls fastqc-v0.11.5_cv3.simg $ singularity exec fastqc-v0.11.5_cv3.simg \ fastqc SRR000001.fastq
  5. コンテナがないときは? 作りましょう。たとえばこんな感じです: スクリプトないしバイナリを GitHub に置く GitHub からソースを取得してビルドする Dockerfile を書く Dockerfile

    を GitHub でホスト Quay.IO で GitHub レポジトリ連携の自動ビルドをセット GitHub でリリースを打つとコンテナが勝手にビルドされる pull して使う
  6. コンテナ作成のベストプラクティス Docker container best practice "1ツール1コンテナ" を推奨 ツール単位でのバージョン管理や変更を加えるのが容易に コンテナサイズが小さくなるように 色々のテクニックがあります

    100MBくらいには抑えたい コンテナの再利用を意識する 同じベースイメージを使い回す 公開できないツールはどうするか 本当に表に出せませんか? publicな便利ツールを使えない = 自前でやるのは大変 そもそもコンテナ化する必要ありますか?
  7. DSL型 vs データ型 DSL型 pros スクリプト言語で書かれた既存のWFを移植しやすい cons 編集するにはそれぞれの文法を覚える必要がある エンジンが固定 データ型

    pros パーサやエンジンが揃っているので配布しやすい cons 複雑な処理は書き下せない場合も (スクリプトに書いてそ れを実行するしかない) => 身内で完結するならDSL、不特定多数に配るならデータ型
  8. Common Workflow Language (CWL) BOSC生まれ、GitHub育ちの完全OSSプロジェクト 規約 (specification) と標準実装 (reference implementation)

    YAMLベースで input/command/output を記述する Bioinfo に限らない, 物理学分野などでも使っている人がいる 日本にも5人くらいのコミッタがいる
  9. CWL で何ができるか Command Line Tool のパッケージング Workflow のパッケージング 可視化 エディタのサポート

    複数のワークフローエンジンで実行が可能 cwltool, arvados, toil, CWL‑airflow, REANA, Cromwell, CWLEXEC その他 Galaxy, Taberna などでもサポートのための開発中
  10. Command Line Tool の定義ファイル fastq-dump.cwl cwlVersion: v1.0 class: CommandLineTool hints:

    DockerRequirement: dockerPull: quay.io/inutano/sra-toolkit:v2.9.0 baseCommand: [fastq-dump] inputs: sraFiles: type: File[] inputBinding: position: 1 split_files: type: boolean? default: true inputBinding: prefix: --split-files outputs: fastqFiles: type: File[] outputBinding: glob: "*fastq*"
  11. Workflow の定義ファイル fastqc_wf.cwl cwlVersion: v1.0 class: Workflow inputs: sra_files: File[]

    outputs: fastqc_result: type: File[] outputSource: fastqc/fastqc_result steps: pfastq_dump: run: pfastq-dump.cwl in: sraFiles: sra_files out: [fastqFiles] fastqc: run: fastqc.cwl in: seqfile: pfastq_dump/fastqFiles out: [fastqc_result]
  12. 標準実装 cwltool で CWL workflow を実行 する $ cwltool fastqc_wf.cwl

    --sra_files SRR000001.sra --- $ cat job_conf.yml sra_files: - SRR000001.sra - SRR000002.sra - SRR000003.sra $ cwltool fastqc_wf.cwl job_conf.yml https://github.com/common‑workflow‑language/cwltool/
  13. Implementations Name Desc Platform cwltool Reference implementation of CWL Linux,

    OS X, Windows, local execution only Arvados Distributed computing platform for data analysis on massive data sets AWS, GCP, Azure, Slurm Toil A workflow engine entirely written in Python AWS, Azure, GCP, Grid Engine, HTCondor, LSF, Mesos, OpenStack, Slurm, PBS/Torque CWL‑ Airflow Package to run CWL workflows in Apache‑Airflow Linux, OS X REANA RE usable ANAlyses Kubernetes, CERN OpenStack (OpenStack Magnum) Cromwell Cromwell workflow engine Google, HTCondor, Local, LSF, PBS/Torque, SGE, Slurm, TES CWLEXEC Apache 2.0 licensed CWL executor for IBM Spectrum LSF IBM Spectrum LSF 10.1.0.3+ https://www.commonwl.org
  14. CWLでのパッケージングの実例 RNA‑seq quantification パイプライン比較をCWLで 1. ワークフローを組む 2. BioContainers でツールのコンテナを探す 3.

    なければ自分でコンテナをパッケージングする 3.1. GitHub に Dockerfile を push してリリースタグを振る 3.2. Quay.io で自動ビルド 4. CWLを書く 5. 動かす、可視化
  15. CWL workflow 実例 公開WF多数 GitHub Dockstore 事例 EBI MGnify のCWL化

    DDBJ スパコン上で稼働する pipeline システムを CWL ベース で開発 NCBI pgap が CWL でリリースされる