Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アンケートシステムを強くするアプリケーションデータ基盤

Tatsuya Koreeda
February 01, 2024
40

 アンケートシステムを強くするアプリケーションデータ基盤

みんなの考えた最強のデータアーキテクチャ'24新春-最新版 登壇資料
https://datatech-jp.connpass.com/event/301807/

Tatsuya Koreeda

February 01, 2024
Tweet

Transcript

  1.  データ分析基盤の⼀般例 Data Source Data warehouse layer Connectoing layer Access

    layer BI tool DataLake layer Datawarehouse layer DataMart layer Cloud Log File CSV ETL/ELT
  2.  アプリケーション利⽤するデータ基盤 Data Source Data warehouse layer Connectoing layer Access

    layer DataLake layer Datawarehouse layer DataMart layer Application ETL/ELT OLTP DB (MySQL, PostgresDB) Transaction Data Analysis Machine Learning OLAP DB (snowflake, BigQuery)
  3.  snowpark/ Snowpark ML /Native App Framework /streamlit / UDF

    / ετΞυϓϩγʔ δϟ/ϩάτϨʔε/֎෦ωοτϫʔΫΞΫηε/ ֎෦ؔ਺/ SQL REST API / Kafka͓ΑͼSpark ίωΫλ / Snowpark Container Services / Snowpark Container Services jobs / Apache Iceberg Table / Unistore / Snowflake CLI / Snowflakeにあるアプリ開発向け機能
  4. 顧客データ分析基盤と多様な連携システム 1. データ分析基盤を⽤意していない顧客 → Reader Account 2. snowflakeを使っている顧客 → Data

    sharing 3. その他基盤 →個社専⽤アンケートデータDBへのクエリ や、External Stageへのアクセス(CSV出 ⼒など) 1. 2. 3.
  5.  顧客データ分析基盤と多様な連携システム  Data sharing機能、Reader機能、External Stageの開放  SPCS上でのアプリケーション開発  LLM利⽤を使ったアンケートデータの処理

     プロダクトの集計処理を切り出したマイクロサービスアプリ  データ基盤のDevOpsの仕組み構築  snowflakeリソースの宣⾔的な管理  CI/CDの整備 今後やっていきたいこと