Snowflakeによる統合バイオインフォマティクス

Laboratory Automation月例勉強会 / 2024.07 で登壇した資料になります。
https://laboratoryautomation.connpass.com/event/314094/

Transcript

1. Snowflakeによる 統合バイオインフォマティクス 2024年7月25日 Laboratory Automation月例勉強会 / 2024.07 Tatsuya Koreeda インシリコ創薬、疾患バリアント解析、シングルセル RNA-seqまで
2. 2 本日の内容は TogoTVにて公開されています https://togotv.dbcls.jp/20240712.html Bio"Pack"athon 2024 #7にて登壇した内容になります。本日はダイジェスト版で発表させていただきます。 

3. 3 Agenda イントロダクション 今回やる解析 • Snowpark Container ServiceでシングルセルRNA-seq • VCFデータの格納とアノテーション情報をつけてバリアント解析 • Snowflake NotebooksとStreamlitを用いたIn silico創薬 Snowflakeのその他トピック 将来の展望
4. イントロダクション
5. 5 増え続けるバイオデータ SRAデータの容量 2007年5月：47.04 GB 2024年2月：27.93 PB 62万倍 https://www.ncbi.nlm.nih.gov/sra/docs/sragrowth/ シーケンシング技術の進歩によりゲノム データの 生成速度が急速に増加 。データの 生成コストも劇的に低下 している
6. 6 多岐に渡るバイオデータの種類 reference image: https://www.semanticscholar.org/paper/The-European-Bioinformatics-Institute%E2%80%99s-data-2014-Brooksbank-Bergman/1 c11992577c22af41ef1e861656d146fdd5d0f53 DNA, RNA, エピゲノム , タンパク質、タ ンパク質や化合物の構造情報、相互作 用情報などバイオデータの種類は多く 容量が大きくなる バイオデータを管理するための、 ス トレージコストと管理コストの増大が 課題
7. 7 学術利用に使われる主なコンピュートリソース種類 ラボPC（オンプレミス） メリット データが内部に保持されるため、 機密性の高いデータを扱うのに最 適ハードウェアとソフトウェアを 自由にカスタマイズできる デメリット ハードウェア、ソフトウェア、施設の構築など 高額な初期投資が必要。 アップグレードや修理など維持管理が困難で、専任のITスタッフが必 要。 スパコン メリット 高い計算能力を提供し、 大規模で複雑なシミュレーションやデータ解 析に最適。特定の計算タスクに特化したシステム設計が可能で、 性 能の最適化が容易。 デメリット 利用には予約が必要であり、使用時間に制約がある場合があり。 The image of server and computer is from TogoTV (© 2016 DBCLS TogoTV, CC-BY-4.0https://creativecommons.org/licenses/by/4.0/deed.ja
8. 8 クラウド インターネット経由でアクセスするサーバーと そうしたサーバー上で実行されるソフトウェア やデータベース 仮想化によって、シミュレートされたデジタル のみの「仮想」コンピューターが作成され、あ たかもハードウェアを持つ実際の物理的なコ ンピューターであるかのように動作します。 （cloudflare HPより引用） https://www.cloudflare.com/ja-jp/learning/cloud/what-is-the-cloud/
9. 9 クラウドで解析するメリット スケーラビリティと柔軟性 クラウドサービスは、必要に応じて計算リソー スを動的に拡張または縮小することができま す。 コスト効率 使用したリソースに対してのみ料金が発生す る従量課金制。また、ハードウェアの保守や更 新のコストもクラウドプロバイダーに含まれて いる。 自動化と効率化 さまざまな自動化ツールやサービスを提供し ており、データ処理パイプラインの自動化や ワークフローの効率化が可能。 データの共有とコラボレーション データや解析結果を簡単に共有することがで き、複数の研究者やチームが同時にアクセス して共同作業を行うことが可能。 セキュリティとコンプライアンス データの暗号化、アクセス制御、監査ログな ど、機密性の高いバイオデータを安全に管理 できる。 高性能コンピューティング 高性能コンピューティング（ HPC）クラスターを 迅速に構築して、大規模なシミュレーションや データ解析が可能。
10. 10 データウェアハウス製品 社内データを一元管理できるビッグデータ用のデータレイク 。最近は、AI・LLM機能も充実しており データ解析も可能となっている。データを外に出すことなくクラウド上で セキュアにデータ共有 も可能
11. 11 Snowflake reference image: https://www.snowflake.com/blog/beyond-modern-data-architecture/ クラウドベースのAI・コンピュートリソースといったビックデータに関わるオール・インプラットフォーム
12. 12 Snowflakeの主な特徴① 伸縮性のある高性能エンジン • 複雑なデータパイプライン、大規模アナリ ティクス、特徴量エンジニアリング、アプリ ケーションを自動でスケール • 即時かつコスト効率の良いスケーリング で、性能に影響を与えることがない • SQLを始め、Python、Java、Scala用 Snowpark開発者フレームワークが用意さ れている reference image: https://www.snowflake.com/ja/data-cloud/platform/?utm_cta=websi te-homepage-platform-card-elastic-compute
13. 13 Snowflakeの主な特徴② 最適化されたストレージ • PDFなどの非構造化データも一元的に管 理可能 • 最適化された圧縮、自動マイクロパーティ ション、ACIDコンプライアンス、Time Travelなどを活用 • オープンテーブル形式（Iceberg Tableな ど）が利用可能 reference image: https://www.snowflake.com/ja/data-cloud/platform/?utm_cta=website-ho mepage-platform-card-elastic-compute
14. 14 Snowflakeの料金コスト https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf 課金方式 従量課金 (On Demandの場合) 計算方法 主にwarehouseの稼働時間 + ストレージ容量で決まる コスト 0.047ドル/minutes (AWS Tokyo Standard)
15. 15 今回Snowflake上で行う解析 1. Snowpark Container Serviceでシングルセル RNA-seq 2. 公共データベースから VCFファイルのアノテーション付けと バリアントフィルタリング 3. Snowflake Notebooks + StreamlitでIn silico創薬
16. Snowpark Container Serviceでシングルセル RNA-seq
17. 17 Snowpark Container Service（SPCS） • Snowflake エコシステム内でコンテナ化さ れたフルマネージドのコンテナ製品 • Docker など)を使用して、アプリケーショ ン イメージを Snowflake に簡単にアップ ロードできる • 外部にデータを移すことなく、 Snowflake 上で直接アプリを動かせる https://docs.snowflake.com/en/developer-guide/snowpark-container-services/overview Snowpark Container Serviceの特徴
18. 18 Snowpark Container Serviceの使い方 1. COMPUTE POOLを作成し INSTANCE_FAMILY で CPUやGPUスペック を定義する 2. Specを定義し、リソースの詳細な仕様を記述 する 3. Service作成する コードの流れ
19. 19 SPCS上にRstudioをホストしてシングルセル RNA-seq解析 1. ローカルで Rstudio ServerのDocker imageを作成し、 snowflakeのイメージレ ポジトリにプッシュ 2. プッシュされたイメージを下に snowpark container service上でサービスを作成。 エンドポイントが払い出される。 3. 指定エンドポイントの Rstudio Server環 境を使って Seuratによる解析を実施 解析手順
20. 20 使用するDocker Image 
 Rocker Projectにより作成された Rstudio Serverのベースイメージ シングルセル RNA-seq向けに拡張させたイメージ （docker pull kinngut/single-cell:latest で使え ます）
21. DEMO
22. 22 Snowpark Container Serviceでシングルセル RNA-seq
 single-cell RNA sequencing 個々の細胞内の遺伝子発現パターンを研究するために使用される方法です。これにより、細胞集団内の個々の細胞での遺伝子発現を分 析することができます。今回はINF-βで刺激されたサンプルを用いてSeuratでUMAPプロットを書いてみようと思います。 
 10 X genomics format Seurat DataからSeuratObjectを ロードして解析をする Stephanie Hicks「Welcome to the World of Single-Cell RNA-Sequencing」
23. 23 解析に用いるコード 1. データの準備 SeuratDataライブラリをロードし、データ を読み込む 2. 次元削減とクラスタリング データをフィルタリングし、正規化、変数 特徴の抽出、スケーリング、 PCA、 UMAP、クラスタリングを実行 3. クラスタリング結果をプロット UMAPの結果をDimplotで可視化する 処理の流れ
24. 24 結果 Seurat DataからSeuratObjectをロードして解析をして UMAPプロットの描画に成功

25. 25 RNAseqchef(shiny-app)のホスト - https://github.com/Kan-E/RNAseqChef/tree/v1.0.0 RNA-seq解析により得られたカウントデータを自動的に解析・可視化するツール 単一のデータセットの解析のみならず、複数のデータセットの統合解析が直感的な操作のみで可能 shiny-applicationがSPCSに問題なく ホスト可能 多くの生命科学系ツールの snowflake での利用が可能

26. 26 Snowpark Container Serviceのコスト https://docs.snowflake.com/en/developer-guide/snowpark-container-services/overview 課金方式 主に使用時間による従量課金。 XSサイズの最低スペックで 0.31ドル/hour
27. 27 Snowpark Container Serviceで用意できるスペック Mapping 
 vCPU
 Memory (GiB) 
 Storage (GiB) 
 GPU
 GPU Memory (GiB) 
 CPU / XS~L 
 2~32
 8~128 
 250
 該当なし
 該当なし
 ハイメモリCPU / S,M,L 
 8~128 
 64~1024 
 250
 該当なし
 該当なし
 GPU / S 
 8
 32
 250
 1 NVIDIA A10G 
 24
 GPU / M 
 48
 192
 250
 4 NVIDIA A10G 
 96
 GPU / L 
 192
 2048
 250
 8 NVIDIA H100 
 640
 スペック CPUメモリは1024GiBまで拡張可能。 NVIDIA GPU使用可能。
28. 公共データベースの外部ステージ登録と VCF データのアノテーション付け
29. 29 Tableと外部ステージ • Tableはデータを構造化する基本単位。 snowflakeのtableはマイクロパーティ ション、クラスタリングを自動で行ってくれ る • AWS S3などを外部のストレージとして統 合することが可能 • SQLでのデータスクリーニングやアノテー ションが可能 https://docs.snowflake.com/ja/user-guide/data-load-s3 Tableと外部ステージの特徴
30. 30 Registry of Open Data on AWS https://registry.opendata.aws/ • AWS（Amazon Web Services）が提供 する研究者、データサイエンティスト向け の公開データセットのカタログ • S3バケットにデータが格納されている • オープンデータの利用促進とコミュニティ の形成を目的としている Registry of Open Dataの特徴
31. 31 公共データの外部ステージ登録と VCFデータのアノテーション付け 1. Open Data RegistryのDRAGEN 1000-Genomesプロジェクトの8人 分ゲノムデータが入った S3を外部 ステージ登録する 2. snowflakeのテーブルに取り込む 3. Panelの情報が入ったS3を外部ス テージ登録し、アノテーションを実行 する 解析の流れ
32. DEMO
33. 33 DRAGENのS3を外部ステージ登録 外部ステージの作成 S3のURI (s3://1000genomes-dragen-3.7.6/data /individuals/hg38-graph-based）を Snowflakeのステージに登録する SQLでS3に入っているデータセットを確 認できる（DIRECTORY関数）
34. 34 DRAGENをsnowflakeのテーブルに取り込みクエリをする テーブルの定義・作成 DRAGENを取り込むためのテーブルを定義する。テーブルは Snowflakeでパフォーマンス最適化されているの でSQLでデータ確認が高速で可能。
35. 35 Panelのアノテーション情報をつける準備 Panel 表現型データで各サンプルの地理的起 源と性別、およびサンプル間の家族連鎖 を記述したもの Panelの入ったS3のURI (s3://1000genomes/1000G_2504_hig h_coverage/additional_698_related/） をSnowflakeのステージに登録する
36. 36 バリアントフィルタリング DRAGENとPanelデータを統合 左の例は、特定の人口統計条件（今回 は、イギリスの女性）の人々について、指 定されたクロマソーム（クロマソーム 10） の特定の位置範囲（100,000から 500,000の間）の遺伝子型情報を取得し た例。SQLのjoinで簡単にアノテーション 付与が可能
37. 37 SnowflakeでVCFファイルのバリアント解析をするメリット フィルタリング ワークフローの管理 バリアント解析はcsvやvcfなど大量な中間ファイルができがち。 Snowflakeなら全てテーブルで 保存できる。 SQLによる簡便なデータフィルタリング Snpsiftなどのツールと比較するとフィルタリング条件が SQLで保存しやすい。 Snowflake上でのストレージ圧縮メリットを受けれる SnowflakeはVCFを含む非構造化データをサポートしている。 Snowflakeに取り込むだけでスト レージ容量を圧縮してくれる。
38. StreamlitとSnowflake Notebooksを用いたIn silico創薬
39. 39 Streamlit in Snowflake • Pythonのオープンソースライブラリで、 データをインタラクティブな Webアプリケー ションとして素早く簡単に可視化可能 • HTML、CSS、JavascriptなどのWebアプ リケーション開発に必要な知識がなくても 構築可能 • Snowflakeのデータクラウド上で Streamlitアプリを構築、展開、共有できる Streamlit in Snowflakeの特徴
40. 40 Snowflake Notebooks • Python および SQL 用のインタラクティブ なセルベースのプログラミング環境を提供 する Snowsight の開発インターフェイス • Streamlit などの他のライブラリを使用し て、データをインタラクティブに視覚化可能 • Snowflake にすでに存在するデータを探 索したり、ローカル ファイル、外部クラウド ストレージ などから Snowflake にアップ ロード可能 Snowflake Notebooksの特徴
41. 41 StreamlitとSnowflake Notebooksを用いたバーチャルスクリーニング 
 特許や論文で薬の候補となる化合物が発表された場合、より有望な類似化合物を探したいことがあります。ここでは、インフルエンザ 治療薬であるノイラミニダーゼ阻害薬「ラニナミビル」に類似した化合物を、 ZINC DBを利用して調査します。 laninamivir ZINC DB バーチャルスクリーニング Screening Compounds
42. 42 In silico創薬「化合物類似度の評価」 1. ライブラリ（RDkit）のインポート 2. 化合物の分子構造をSMILES表記から 生成 Cc1ccccc1：トルエン Clc1ccccc1：トリクロロベンゼン 3. 生成した分子構造の画像を描画し、 Streamlitを使って表示 4. タニモト係数で類似度の評価 ここでの類似度結果は 「0.5384615384615384」 処理の流れ
43. 43 1. SMILESファイルから化合物データを読み込み 2. ノイラミニダーゼ阻害薬（ラニナミビル）の分子構造を定義し、類 似度を計算するための関数を作成 3. 類似度が高い化合物をリストに追加し、その中から上位 10個を 選ぶ 4. 選ばれた化合物を画像として Streamlitで可視化 処理の流れ In silico創薬「バーチャルスクリーニング」 

44. DEMO
45. 45 In silico創薬「バーチャルスクリーニング」 
 Snowflake Notebooks上でノイラミニダーゼ阻害薬「ラニナミビル」に類似した化合物 Top10をスクリーニングし、Streamlitで分子構 造を可視化した
46. 46 SnowflakeでIn silico創薬をするメリット Snowflakeが用意する機械学習フレームワークを利用可能 Snowpark MLなどデータの移動や複雑なインフラの設定、ローカルでの環境構築が不要で迅速かつ 効率的な機械学習の実行が可能 大量の化合物データセットを効率よく格納 創薬プロセスにおいて必要となる大量の化合物データや生物学的データを一元管理が可能。めぼし い化合物を類縁体スクリーニングに素早くかける事ができる ハイコンピューティングリソースが要求される解析まで一貫して解析が可能 SPCSを利用すれば、 MDやドッキングシミュレーションといったハイコンピューティングリソースが要求 される解析までエンドツーエンドで解析することが可能
47. Snowflakeのその他トピック
48. 48 マルチオミクスを行う環境が簡単にセットアップ可能 • 解析で用いる多種のデータが一元 管理可能 • Snowflake NotebooksでSQLや Pythonを用いていつでも呼び出 し、組み合わせてマルチオミクス解 析ができる • 公共データベースのデータを Snowflake内部に入れずとも外部 ステージとして管理できる 化合物などの ケモインフォマティクス データ VCFファイルなどの ゲノミクスデータ 公共データベース アノテーション用のステージ トランスクリプトーム解析 SPCSのイメージ管理 マルチオミクスにおけるメリット
49. 49 簡単にトライアル環境を作成できます • 30日間の無料トライアル • 400ドルの無料枠で snowflakeを存分にトライ可 • 画像のフォームに入力するだ けで簡単に開始可能 https://signup.snowflake.com/?_l=ja&utm_source=google&utm_medium=paidsearch&utm_campaign=ap-jp-jp-brand-trial-exact&utm_content=go-rsa-evg-ss-free-trial&utm_term=c-g-snowflake%E3%83%88%E3%83%A9%E3 %82%A4%E3%82%A2%E3%83%AB-e&_bt=610748255507&_bk=snowflake%E3%83%88%E3%83%A9%E3%82%A4%E3%82%A2%E3%83%AB&_bm=e&_bn=g&_bg=142614214047&gclsrc=aw.ds&gad_source=1&gclid= CjwKCAjw4f6zBhBVEiwATEHFVkAg8jsfD0OH2W26UNyKTUFlMrCI8WhFO2Kcq4qgYhDGgEhwIRl5rhoC7N8QAvD_BwE
50. 最後に
51. 51 各種SNSフォローしていただけると嬉しいです X（Twitter）：@cs_dev_engineer Medium：@t.koreeda LinkedIn：@tkoreeda Zenn：@t_koreeda Zennでの発信例
52. THANK YOU