All-in-One Bioinformatics Platform Realized with Snowflake ~ From In Silico Drug Discovery, Disease Variant Analysis, to Single-Cell RNA-seq

Presented at Bio"Pack"athon 2024 #7 on July 10, 2024, at 17:00
https://biopackathon.connpass.com/event/320217/

## Presented Analyses
- Single-cell RNA-seq with Snowpark Container Service
- Storage and annotation of VCF data for variant analysis
- In silico drug discovery using Snowflake Notebooks and Streamlit

## Results
- Successfully hosted Rstudio on SPCS to analyze single-cell RNA-seq, loading Seurat Data into SeuratObject and drawing UMAP plots.
- Demonstrated the capability of hosting shiny applications on SPCS, enabling the use of many life sciences tools on Snowflake.
- Showed the integration of open data from DRAGEN 1000-Genomes and ClinVar from the Registry of Open Data on AWS using Snowflake external stages.
- Screened the top 10 compounds similar to the neuraminidase inhibitor "Laninamivir" on Snowflake Notebooks and visualized molecular structures with Streamlit.
- Highlighted the ease of setting up environments for multi-omics analysis.

## Benefits of Variant Analysis with VCF Files on Snowflake
- Managing Filtering Workflows: Unlike traditional methods which generate numerous intermediate files (e.g., CSV or VCF), Snowflake stores everything in tables.
- Easy Data Filtering with SQL: Compared to tools like Snpsift, Snowflake allows for filtering conditions to be easily saved in SQL.
- Storage Compression Benefits: Snowflake supports unstructured data, including VCF files, and automatically compresses storage upon ingestion.

## Benefits of In Silico Drug Discovery on Snowflake
- Access to Snowflake’s Machine Learning Frameworks: Use frameworks like Snowpark ML without the need for data transfer, complex infrastructure setup, or local environment setup, enabling rapid and efficient machine learning execution.
- Efficient Storage of Large Compound Datasets: Centralized management of large compound and biological datasets needed for the drug discovery process, facilitating quick screening of promising compounds.
- End-to-End High-Computing Resource Analysis: SPCS enables end-to-end analysis for high-computing resource-demanding tasks like molecular dynamics (MD) or docking simulations.

## Data Clean Room
- On-demand data anonymization
- Sharing of regulated patient data with pharmaceutical companies (increasing the number of patient samples)
- Enriching data to analyze and identify patterns in patient outcomes across clinical trials

## Handling Life Sciences Data with Cortex LLM
- Ability to handle unstructured data such as medical data PDFs and build LLM models that understand biomedical terms
- The abundance of publicly available data in the bio domain can be used to construct LLMs
- Use cases include models that query relevant patient datasets

----------------------------------------------------------------------------------

2024年7月10日 17:00 Bio"Pack"athon 2024 #7 にて登壇した資料になります。
https://biopackathon.connpass.com/event/320217/

■紹介した解析
・Snowpark Container ServiceでシングルセルRNA-seq
・VCFデータの格納とアノテーション情報をつけてバリアント解析
・Snowflake NotebooksとStreamlitを用いたIn silico創薬

■結果
・SPCS上にRstudioをホストしてシングルセルRNA-seq解析することでSeurat DataからSeuratObjectをロードして解析をしてUMAPプロットの描画に成功。
・shiny-applicationがSPCSに問題なくホスト可能なため、多くの生命科学系ツールのsnowflakeでの利用が可能
・snowflakeの外部ステージを利用してRegistry of Open Data on AWSのDRAGEN 1000-GenomesやClinVarのオープンデータを取り込むことができる。
・Snowflake Notebooks上でノイラミニダーゼ阻害薬「ラニナミビル」に類似した化合物Top10をスクリーニングし、Streamlitで分子構造を可視化した
・マルチオミクスを行う環境が簡単にセットアップ可能

■SnowflakeでVCFファイルのバリアント解析をするメリット
・フィルタリングワークフローの管理
→バリアント解析はcsvやvcfなど大量な中間ファイルができがち。Snowflakeなら全てテーブルで保存できる。

・SQLによる簡便なデータフィルタリング
→Snpsiftなどのツールと比較するとフィルタリング条件がSQLで保存しやすい。

・Snowflake上でのストレージ圧縮メリットを受けれる
→SnowflakeはVCFを含む非構造化データをサポートしている。Snowflakeに取り込むだけでストレージ容量を圧縮してくれる。

■SnowflakeでIn silico創薬をするメリット
・Snowflakeが用意する機械学習フレームワークを利用可能
→Snowpark MLなどデータの移動や複雑なインフラの設定、ローカルでの環境構築が不要で迅速かつ効率的な機械学習の実行が可能

・大量の化合物データセットを効率よく格納
→創薬プロセスにおいて必要となる大量の化合物データや生物学的データを一元管理が可能。めぼしい化合物を類縁体スクリーニングに素早くかける事ができる

・ハイコンピューティングリソースが要求される解析まで一貫して解析が可能
→SPCSを利用すれば、MDやドッキングシミュレーションといったハイコンピューティングリソースが要求される解析までエンドツーエンドで解析することが可能

■Data Clean Room
・オンデマンドでデータを匿名化
・規制対象の患者データを製薬会社と共有できる（患者サンプル数の拡大）
・データをエンリッチメントして分析し、臨床試験全体で患者アウトカムのパターンを特定

■Cortex LLMによるライフサイエンスデータの取り扱い
・医療データPDFなど非構造化データを扱えることや生物医学用語を理解するLLMモデルの構築が可能
・バイオ系は公開データがたくさんあり、それを使ってLLMを構築することができる
・ユースケースとして関連する患者データセットを照会するモデルなど

Transcript

1. Snowflakeで実現する All-in-One Bioinformatics Platform 2024年7月10日 17:00 Bio"Pack"athon 2024 #7 Tatsuya Koreeda インシリコ創薬、疾患バリアント解析、シングルセル RNA-seqまで
2. 2 Agenda イントロダクション 今回やる解析 • Snowpark Container ServiceでシングルセルRNA-seq • VCFデータの格納とアノテーション情報をつけてバリアント解析 • Snowflake NotebooksとStreamlitを用いたIn silico創薬 Snowflakeのその他トピック 将来の展望
3. イントロダクション
4. 4 増え続けるバイオデータ SRAデータの容量 2007年5月：47.04 GB 2024年2月：27.93 PB 62万倍 https://www.ncbi.nlm.nih.gov/sra/docs/sragrowth/ シーケンシング技術の進歩によりゲノム データの 生成速度が急速に増加 。データの 生成コストも劇的に低下 している
5. 5 多岐に渡るバイオデータの種類 reference image: https://www.semanticscholar.org/paper/The-European-Bioinformatics-Institute%E2%80%99s-data-2014-Brooksbank-Bergman/1 c11992577c22af41ef1e861656d146fdd5d0f53 DNA, RNA, エピゲノム , タンパク質、タ ンパク質や化合物の構造情報、相互作 用情報などバイオデータの種類は多く 容量が大きくなる バイオデータを管理するための、 ス トレージコストと管理コストの増大が 課題
6. 6 学術利用に使われる主なコンピュートリソース種類 ラボPC（オンプレミス） メリット データが内部に保持されるため、 機密性の高いデータを扱うのに最 適ハードウェアとソフトウェアを 自由にカスタマイズできる デメリット ハードウェア、ソフトウェア、施設の構築など 高額な初期投資が必要。 アップグレードや修理など維持管理が困難で、専任のITスタッフが必 要。 スパコン メリット 高い計算能力を提供し、 大規模で複雑なシミュレーションやデータ解 析に最適。特定の計算タスクに特化したシステム設計が可能で、 性 能の最適化が容易。 デメリット 利用には予約が必要であり、使用時間に制約がある場合があり。 The image of server and computer is from TogoTV (© 2016 DBCLS TogoTV, CC-BY-4.0https://creativecommons.org/licenses/by/4.0/deed.ja
7. 7 クラウド インターネット経由でアクセスするサーバーと そうしたサーバー上で実行されるソフトウェア やデータベース 仮想化によって、シミュレートされたデジタル のみの「仮想」コンピューターが作成され、あ たかもハードウェアを持つ実際の物理的なコ ンピューターであるかのように動作します。 （cloudflare HPより引用） https://www.cloudflare.com/ja-jp/learning/cloud/what-is-the-cloud/
8. 8 クラウドで解析するメリット スケーラビリティと柔軟性 クラウドサービスは、必要に応じて計算リソー スを動的に拡張または縮小することができま す。 コスト効率 使用したリソースに対してのみ料金が発生す る従量課金制。また、ハードウェアの保守や更 新のコストもクラウドプロバイダーに含まれて いる。 自動化と効率化 さまざまな自動化ツールやサービスを提供し ており、データ処理パイプラインの自動化や ワークフローの効率化が可能。 データの共有とコラボレーション データや解析結果を簡単に共有することがで き、複数の研究者やチームが同時にアクセス して共同作業を行うことが可能。 セキュリティとコンプライアンス データの暗号化、アクセス制御、監査ログな ど、機密性の高いバイオデータを安全に管理 できる。 高性能コンピューティング 高性能コンピューティング（ HPC）クラスターを 迅速に構築して、大規模なシミュレーションや データ解析が可能。
9. 9 データウェアハウス製品 社内データを一元管理できるビッグデータ用のデータレイク 。最近は、AI・LLM機能も充実しており データ解析も可能となっている。データを外に出すことなくクラウド上で セキュアにデータ共有 も可能
10. 10 Snowflake reference image: https://www.snowflake.com/blog/beyond-modern-data-architecture/ クラウドベースのAI・コンピュートリソースといったビックデータに関わるオール・インプラットフォーム
11. 11 Snowflakeの主な特徴① 伸縮性のある高性能エンジン • 複雑なデータパイプライン、大規模アナリ ティクス、特徴量エンジニアリング、アプリ ケーションを自動でスケール • 即時かつコスト効率の良いスケーリング で、性能に影響を与えることがない • SQLを始め、Python、Java、Scala用 Snowpark開発者フレームワークが用意さ れている reference image: https://www.snowflake.com/ja/data-cloud/platform/?utm_cta=websi te-homepage-platform-card-elastic-compute
12. 12 Snowflakeの主な特徴② 最適化されたストレージ • PDFなどの非構造化データも一元的に管 理可能 • 最適化された圧縮、自動マイクロパーティ ション、ACIDコンプライアンス、Time Travelなどを活用 • オープンテーブル形式（Iceberg Tableな ど）が利用可能 reference image: https://www.snowflake.com/ja/data-cloud/platform/?utm_cta=website-ho mepage-platform-card-elastic-compute
13. 13 Snowflakeの料金コスト https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf 課金方式 従量課金 (On Demandの場合) 計算方法 主にwarehouseの稼働時間 + ストレージ容量で決まる コスト 0.047ドル/minutes (AWS Tokyo Standard)
14. 14 今回Snowflake上で行う解析 1. Snowpark Container Serviceでシングルセル RNA-seq 2. 公共データベースから VCFファイルのアノテーション付けと バリアントフィルタリング 3. Snowflake Notebooks + StreamlitでIn silico創薬
15. Snowpark Container Serviceでシングルセル RNA-seq
16. 16 Snowpark Container Service（SPCS） • Snowflake エコシステム内でコンテナ化さ れたフルマネージドのコンテナ製品 • Docker など)を使用して、アプリケーショ ン イメージを Snowflake に簡単にアップ ロードできる • 外部にデータを移すことなく、 Snowflake 上で直接アプリを動かせる https://docs.snowflake.com/en/developer-guide/snowpark-container-services/overview Snowpark Container Serviceの特徴
17. 17 Snowpark Container Serviceの使い方 1. COMPUTE POOLを作成し INSTANCE_FAMILY で CPUやGPUスペック を定義する 2. Specを定義し、リソースの詳細な仕様を記述 する 3. Service作成する コードの流れ
18. 18 SPCS上にRstudioをホストしてシングルセル RNA-seq解析 1. ローカルで Rstudio ServerのDocker imageを作成し、 snowflakeのイメージレ ポジトリにプッシュ 2. プッシュされたイメージを下に snowpark container service上でサービスを作成。 エンドポイントが払い出される。 3. 指定エンドポイントの Rstudio Server環 境を使って Seuratによる解析を実施 解析手順
19. 19 使用するDocker Image 
 Rocker Projectにより作成された Rstudio Serverのベースイメージ シングルセル RNA-seq向けに拡張させたイメージ （docker pull kinngut/single-cell:latest で使え ます）
20. 20 Snowpark Container Serviceでシングルセル RNA-seq
 single-cell RNA sequencing 個々の細胞内の遺伝子発現パターンを研究するために使用される方法です。これにより、細胞集団内の個々の細胞での遺伝子発現を分 析することができます。今回はINF-βで刺激されたサンプルを用いてSeuratでUMAPプロットを書いてみようと思います。 
 10 X genomics format Seurat DataからSeuratObjectを ロードして解析をする Stephanie Hicks「Welcome to the World of Single-Cell RNA-Sequencing」
21. 21 解析に用いるコード 1. データの準備 SeuratDataライブラリをロードし、データ を読み込む 2. 次元削減とクラスタリング データをフィルタリングし、正規化、変数 特徴の抽出、スケーリング、 PCA、 UMAP、クラスタリングを実行 3. クラスタリング結果をプロット UMAPの結果をDimplotで可視化する 処理の流れ
22. 22 結果 Seurat DataからSeuratObjectをロードして解析をして UMAPプロットの描画に成功

23. 23 RNAseqchef(shiny-app)のホスト - https://github.com/Kan-E/RNAseqChef/tree/v1.0.0 RNA-seq解析により得られたカウント データを自動的に解析・可視化する ツール 単一のデータセットの解析のみなら ず、複数のデータセットの統合解析が 直感的な操作のみで可能 RNAseqchef shiny-applicationがSPCSに問題なくホスト可能 = 多くの生命科学系ツールの snowflakeでの利用が可能

24. 24 Snowpark Container Serviceのコスト https://docs.snowflake.com/en/developer-guide/snowpark-container-services/overview 課金方式 主に使用時間による従量課金。 XSサイズの最低スペックで 0.31ドル/hour
25. 25 Snowpark Container Serviceで用意できるスペック Mapping 
 vCPU
 Memory (GiB) 
 Storage (GiB) 
 GPU
 GPU Memory (GiB) 
 CPU / XS~L 
 2~32
 8~128 
 250
 該当なし
 該当なし
 ハイメモリCPU / S,M,L 
 8~128 
 64~1024 
 250
 該当なし
 該当なし
 GPU / S 
 8
 32
 250
 1 NVIDIA A10G 
 24
 GPU / M 
 48
 192
 250
 4 NVIDIA A10G 
 96
 GPU / L 
 192
 2048
 250
 8 NVIDIA H100 
 640
 スペック CPUメモリは1024GiBまで拡張可能。 NVIDIA GPU使用可能。
26. 公共データベースの外部ステージ登録と VCF データのアノテーション付け
27. 27 Tableと外部ステージ • Tableはデータを構造化する基本単位。 snowflakeのtableはマイクロパーティ ション、クラスタリングを自動で行ってくれ る • AWS S3などを外部のストレージとして統 合することが可能 • SQLでのデータスクリーニングやアノテー ションが可能 https://docs.snowflake.com/ja/user-guide/data-load-s3 Tableと外部ステージの特徴
28. 28 Registry of Open Data on AWS https://registry.opendata.aws/ • AWS（Amazon Web Services）が提供 する研究者、データサイエンティスト向け の公開データセットのカタログ • S3バケットにデータが格納されている • オープンデータの利用促進とコミュニティ の形成を目的としている Registry of Open Dataの特徴
29. 29 公共データの外部ステージ登録と VCFデータのアノテーション付け 1. Open Data RegistryのDRAGEN 1000-Genomesプロジェクトの8人 分ゲノムデータが入った S3を外部 ステージ登録する 2. snowflakeのテーブルに取り込む 3. Panelの情報が入ったS3を外部ス テージ登録し、アノテーションを実行 する 解析の流れ
30. 30 DRAGENのS3を外部ステージ登録 外部ステージの作成 S3のURI (s3://1000genomes-dragen-3.7.6/data /individuals/hg38-graph-based）を Snowflakeのステージに登録する SQLでS3に入っているデータセットを確 認できる（DIRECTORY関数）
31. 31 DRAGENをsnowflakeのテーブルに取り込みクエリをする テーブルの定義・作成 DRAGENを取り込むためのテーブルを定義する。テーブルは Snowflakeでパフォーマンス最適化されているの でSQLでデータ確認が高速で可能。
32. 32 Panelのアノテーション情報をつける準備 Panel 表現型データで各サンプルの地理的起 源と性別、およびサンプル間の家族連鎖 を記述したもの Panelの入ったS3のURI (s3://1000genomes/1000G_2504_hig h_coverage/additional_698_related/） をSnowflakeのステージに登録する
33. 33 バリアントフィルタリング DRAGENとPanelデータを統合 左の例は、特定の人口統計条件（今回 は、イギリスの女性）の人々について、指 定されたクロマソーム（クロマソーム 10） の特定の位置範囲（100,000から 500,000の間）の遺伝子型情報を取得し た例。SQLのjoinで簡単にアノテーション 付与が可能
34. 34 SnowflakeでVCFファイルのバリアント解析をするメリット フィルタリング ワークフローの管理 バリアント解析はcsvやvcfなど大量な中間ファイルができがち。 Snowflakeなら全てテーブルで 保存できる。 SQLによる簡便なデータフィルタリング Snpsiftなどのツールと比較するとフィルタリング条件が SQLで保存しやすい。 Snowflake上でのストレージ圧縮メリットを受けれる SnowflakeはVCFを含む非構造化データをサポートしている。 Snowflakeに取り込むだけでスト レージ容量を圧縮してくれる。
35. StreamlitとSnowflake Notebooksを用いたIn silico創薬
36. 36 Streamlit in Snowflake • Pythonのオープンソースライブラリで、 データをインタラクティブな Webアプリケー ションとして素早く簡単に可視化可能 • HTML、CSS、JavascriptなどのWebアプ リケーション開発に必要な知識がなくても 構築可能 • Snowflakeのデータクラウド上で Streamlitアプリを構築、展開、共有できる Streamlit in Snowflakeの特徴
37. 37 Snowflake Notebooks • Python および SQL 用のインタラクティブ なセルベースのプログラミング環境を提供 する Snowsight の開発インターフェイス • Streamlit などの他のライブラリを使用し て、データをインタラクティブに視覚化可能 • Snowflake にすでに存在するデータを探 索したり、ローカル ファイル、外部クラウド ストレージ などから Snowflake にアップ ロード可能 Snowflake Notebooksの特徴
38. 38 StreamlitとSnowflake Notebooksを用いたバーチャルスクリーニング 
 特許や論文で薬の候補となる化合物が発表された場合、より有望な類似化合物を探したいことがあります。ここでは、インフルエンザ 治療薬であるノイラミニダーゼ阻害薬「ラニナミビル」に類似した化合物を、 ZINC DBを利用して調査します。 laninamivir ZINC DB バーチャルスクリーニング Screening Compounds
39. 39 In silico創薬「化合物類似度の評価」 1. ライブラリ（RDkit）のインポート 2. 化合物の分子構造をSMILES表記から 生成 Cc1ccccc1：トルエン Clc1ccccc1：トリクロロベンゼン 3. 生成した分子構造の画像を描画し、 Streamlitを使って表示 4. タニモト係数で類似度の評価 ここでの類似度結果は 「0.5384615384615384」 処理の流れ
40. 40 1. SMILESファイルから化合物データを読み込み 2. ノイラミニダーゼ阻害薬（ラニナミビル）の分子構造を定義し、類 似度を計算するための関数を作成 3. 類似度が高い化合物をリストに追加し、その中から上位 10個を 選ぶ 4. 選ばれた化合物を画像として Streamlitで可視化 処理の流れ In silico創薬「バーチャルスクリーニング」 

41. 41 In silico創薬「バーチャルスクリーニング」 
 Snowflake Notebooks上でノイラミニダーゼ阻害薬「ラニナミビル」に類似した化合物 Top10をスクリーニングし、Streamlitで分子構 造を可視化した
42. 42 SnowflakeでIn silico創薬をするメリット Snowflakeが用意する機械学習フレームワークを利用可能 Snowpark MLなどデータの移動や複雑なインフラの設定、ローカルでの環境構築が不要で迅速かつ 効率的な機械学習の実行が可能 大量の化合物データセットを効率よく格納 創薬プロセスにおいて必要となる大量の化合物データや生物学的データを一元管理が可能。めぼし い化合物を類縁体スクリーニングに素早くかける事ができる ハイコンピューティングリソースが要求される解析まで一貫して解析が可能 SPCSを利用すれば、 MDやドッキングシミュレーションといったハイコンピューティングリソースが要求 される解析までエンドツーエンドで解析することが可能
43. Snowflakeのその他トピック
44. 44 マルチオミクスを行う環境が簡単にセットアップ可能 • 解析で用いる多種のデータが一元 管理可能 • Snowflake NotebooksでSQLや Pythonを用いていつでも呼び出 し、組み合わせてマルチオミクス解 析ができる • 公共データベースのデータを Snowflake内部に入れずとも外部 ステージとして管理できる 化合物などの ケモインフォマティクス データ VCFファイルなどの ゲノミクスデータ 公共データベース アノテーション用のステージ トランスクリプトーム解析 SPCSのイメージ管理 マルチオミクスにおけるメリット
45. 45 簡単にトライアル環境を作成できます • 30日間の無料トライアル • 400ドルの無料枠で snowflakeを存分にトライ可 • 画像のフォームに入力するだ けで簡単に開始可能 https://signup.snowflake.com/?_l=ja&utm_source=google&utm_medium=paidsearch&utm_campaign=ap-jp-jp-brand-trial-exact&utm_content=go-rsa-evg-ss-free-trial&utm_term=c-g-snowflake%E3%83%88%E3%83%A9%E3 %82%A4%E3%82%A2%E3%83%AB-e&_bt=610748255507&_bk=snowflake%E3%83%88%E3%83%A9%E3%82%A4%E3%82%A2%E3%83%AB&_bm=e&_bn=g&_bg=142614214047&gclsrc=aw.ds&gad_source=1&gclid= CjwKCAjw4f6zBhBVEiwATEHFVkAg8jsfD0OH2W26UNyKTUFlMrCI8WhFO2Kcq4qgYhDGgEhwIRl5rhoC7N8QAvD_BwE
46. Snowflakeの今後
47. 47 Data Clean Room reference image: https://www.snowflake.com/blog/data-privacy-life-sciences-clean-rooms/?lang=ja&wtime&utm_cta=data-science-workload-using- snowflake-for-ml-interference?wtime • オンデマンドでデータを匿名化 • 規制対象の患者データを製薬会社と共 有できる（患者サンプル数の拡大 ） • データをエンリッチメントして分析し、臨 床試験全体で患者アウトカムのパターン を特定 Data Clean Roomの特徴 複数の組織がデータを共有し、協力して分析やインサイトの抽出を行うためのプライバシー保護環境
48. 48 Cortex LLMによるライフサイエンスデータの取り扱い reference image: https://medium.com/snowflake/clinical-trial-assistant-a-rag-based-approach-on-snowflake-leveraging-cortex-capabilities-part-7d0 e548a1156 Snowflakeが管理する大規模言語モデルサービスで様々なモデルが利用可能 • 医療データPDFなど非構造化 データを扱えることや生物医学用 語を理解するLLMモデルの構築 が可能 • バイオ系は公開データがたくさん あり、それを使って LLMを構築す ることができる • ユースケースとして 関連する患者 データセットを照会するモデル な ど
49. 最後に
50. 50 各種SNSフォローしていただけると嬉しいです X（Twitter）：@cs_dev_engineer Medium：@t.koreeda LinkedIn：@tkoreeda Zenn：@t_koreeda Zennでの発信例
51. THANK YOU
52. 52 マルチオミクスを行う環境が簡単にセットアップ可能 • 解析で用いる多種のデータが一元 管理可能 • Snowflake NotebooksでSQLや Pythonを用いていつでも呼び出 し、組み合わせてマルチオミクス解 析ができる • 公共データベースのデータを Snowflake内部に入れずとも外部 ステージとして管理できる Chemical informatics data such as compounds Genomics data such as VCF files Public database annotation stages Transcriptome analysis and SPCS image management マルチオミクスにおけるメリット