アンケートシステムを強くするアプリケーションデータ基盤

みんなの考えた最強のデータアーキテクチャ'24新春-最新版 登壇資料
https://datatech-jp.connpass.com/event/301807/

Transcript

1. ΞϯέʔτγεςϜΛڧ͘͢Δ ΞϓϦέʔγϣϯσʔλج൫
2. 是枝達也@cs_dev_engineer 趣味 バイオデータの解析・可視化（バイオインフォマティクス） クリエイティブサーベイ株式会社 開発部 データエンジニア Koreeda et al., under review
3. Confidential © CREATIVE SURVEY CREATIVE SURVEY データ基盤
4.  導⼊
5.  データ分析基盤の⼀般例 Data Source Data warehouse layer Connectoing layer Access layer BI tool DataLake layer Datawarehouse layer DataMart layer Cloud Log File CSV ETL/ELT
6.  アプリケーション利⽤するデータ基盤 Data Source Data warehouse layer Connectoing layer Access layer DataLake layer Datawarehouse layer DataMart layer Application ETL/ELT OLTP DB (MySQL, PostgresDB) Transaction Data Analysis Machine Learning OLAP DB (snowflake, BigQuery)
7.  snowpark/ Snowpark ML /Native App Framework /streamlit / UDF / ετΞυϓϩγʔ δϟ/ϩάτϨʔε/֎෦ωοτϫʔΫΞΫηε/ ֎෦ؔ਺/ SQL REST API / Kafka͓ΑͼSpark ίωΫλ / Snowpark Container Services / Snowpark Container Services jobs / Apache Iceberg Table / Unistore / Snowflake CLI / Snowflakeにあるアプリ開発向け機能
8. Snowpark Container Service(SPCS) ・2023年12⽉に⼀部リージョンでGA （東京リージョンはまもなくという噂） ・コンテナ化されたアプリを Snowflake 内で直接実⾏可能 ・snowflake上に固有のエンドポイント構築が可能 https://www.snowflake.com/blog/https-www-snowflake-com-blog-snowpark-container-services-deploy-genai-full- stack-apps/?lang=ja snowflakeをバックエンドに使⽤する という選択が可能に
9.  アプリケーション利⽤でsnowflakeを使った企業 https://prtimes.jp/main/html/rd/p/000000023.00005554 9.html https://prtimes.jp/main/html/rd/p/000000295.000010550. html しかし、⽇本国内でデータ基盤（snowflake）をアプリケーション利⽤する企業はまだまだ少ない https://prtimes.jp/main/html/rd/p/000000126.000013454.html Powered by Snowflake︓snowflakeをアプリケーション利⽤した企業に対する賞
10.  弊社でのデータ基盤位置付け
11. アンケートにとどまらない多様なユースケースでご利⽤頂いております Confidential © CREATIVE SURVEY 11 マルチチャネルフォーム「AskOne」
12. アンケートやフォーム︓顧客の意⾒を分析するために取るもの → データ分析基盤の存在がめちゃくちゃ⼤事
13. AskOneも顧客にとってはデータソースの⼀つ 顧客が持つデータ分析基盤向けの連携機能や分析機能を作る必要がある ͦͷଞσʔλιʔε
14.  最強のアプリケーションデータ基盤
15. これから話す最強のアプリケーションデータ基盤は、これえだの願望が多分に含まれています。 プロダクト開発ロードマップでないことにご留意ください
16. 最強のアプリケーションデータ基盤
17. 顧客データ分析基盤と多様な連携システム 1. データ分析基盤を⽤意していない顧客 → Reader Account 2. snowflakeを使っている顧客 → Data sharing 3. その他基盤 →個社専⽤アンケートデータDBへのクエリ や、External Stageへのアクセス（CSV出 ⼒など） 1. 2. 3.
18. SPCSを利⽤したLLMによるアンケートデータ整形 ・snowflake cortexやOpen AIなどのサー ドパーティなどLLMと連携 ・欲しいアンケートデータ構造をプロンプト にて作成 ・アンケートデータを学習させて分析できる
19. DevOps環境（CI/CD, 構成管理ツールなど） ・dbtやschema changeをGithub上でコード管理 （開発者体験の向上） ・SPCSとECS環境にそれぞれのイメージをDeploy ・集計処理を担うマイクロサービスアプリの構築
20.  顧客データ分析基盤と多様な連携システム  Data sharing機能、Reader機能、External Stageの開放  SPCS上でのアプリケーション開発  LLM利⽤を使ったアンケートデータの処理  プロダクトの集計処理を切り出したマイクロサービスアプリ  データ基盤のDevOpsの仕組み構築  snowflakeリソースの宣⾔的な管理  CI/CDの整備 今後やっていきたいこと