Snowflake 九州 #2

【Snowflake九州ユーザー会】Snowflakeいいところトーーク！未導入の方も大歓迎！Snowflakeのいいところを知っていってね！

https://techplay.jp/event/969071

Transcript

1. 1 Snowflake で日々の業務を 鮮やかに解決していく 【Snowflake九州ユーザー会】Snowflakeいいところトーーク！ 未導入の方も大歓迎！Snowflakeのいいところを知っていってね！
2. 自己紹介 2 阿部拓海 株式会社USEN ICT Solutions (U-NEXT.HD) データエンジニア/フロントエンドエンジニア 個人開発(?)ではモバイルアプリを作っています。 ガジェット大好き Webサービス大好き ‘98 年生まれ 2024/08 から福岡移住 千葉県柏市出身
3. 6 なんで Snowflake を 導入したの ?
4. 7 時は 2023 年 3 月。 導入して 3 年くらい経つ Packaged CDP でのデータの利活用が停滞していました。何をしたらいい、 何ができるかがわからないという状況でした。固定でそこそこの料金が掛かる。さてどうしようか。 一方運用するエンジニアは片手間でしかも一人で SQL を書いたりしている状況。 そこで同じことをもっと安い金額でできるよという提案を経営にし始めました。エンジニアの業務が こうなっていいよねはすぐには伝わらなかったので一旦は表に出しすぎないように。 自分も手を動かすことになり、現代エンジニアリングの文化みたいなものも感じてもらいながら会社 に浸透させていきました。
5. 8 自分の辛さを鮮やかに解決する
6. 9 アーキテクチャを刷新して良かったこと データ転送の途中にデータ変換を挟まなくなった。(ETL → ELT) ロール設計を考えて誰が何をやるべきかを明らかにできた。 ワークフローが GUI で定義でき、実行順序の制御が簡単になった。エラー時もボタン 一つで失敗したところから再実行できる。 テーブル間の依存関係が可視化された。 BI 側でしていた計算をすべて Snowflake 上で行うようにした。 データ基盤にアクセスするユーザーが増えた。2 倍くらい。
7. カスタマーサクセスの仕事の一つに顧客へのアンケートがあります。 日次で区切られた CSV が社内サーバーに置いてあります。 それらをダウンロードして、Access でデータを加工して、Excel で集計して、 経営へのレポーティング、ギフト配信リスト作成、回答によっては顧客へアプ ローチをします。 特定の人のローカル環境でこれらが作成される属人的な業務フローになってい ました。 さてこの辛さからどのように解き放たれますか。 10 他人の辛さを鮮やかに解決する
8. 11 他人の辛さを鮮やかに解決する
9. 12 それでも残る辛さ これからの展望 Snowsight の SQL ワークシートの利用が業務フローに組み込まれている。耐えうるのだろうか？ 共有がもう少し柔軟にできるといいな、ダウンロード履歴のログもとりたい。 Terraform での作り方はこれでいいの？ ユーザープロビジョニングは Okta とか Microsoft Entra IDに任せたい。 どこまでコード化されているべき？Data Ingestion、Workflow、BI グループ会社間でこの資産を安全に簡単に共有したい。Data Sharing を使ってみたいよ。 自分たちの取り組みに対してグループ会社から「どう使っているの？」のような相談を受け始めてた りはする。
10. 13 個人と Snowflake SnowPro Core を取った。 SnowVillage に遊びにいった。 Snowflake 九州の運営メンバーになった。 https://usergroups.snowflake.com/snowvillage/
11. 14 まとめ Snowflake とその周りのモダンデータスタックに囲まれ自分の仕事と会社の業 務フローにポジティブな変化があった。 自動化してデータパイプラインにのせることによって属人的な仕事が誰もが観 測できる環境で再現された。 できることは増えた。それでもまだまだやりたいことはある。 Snowflake とその周辺についてお話できるあなたに出会えて本当に良かった。