External Network AccessとStreamlitでデータロードアプリ作ってみた

2023/11/10 SnowVillage「Snowflake について語り尽くす夜@沖縄」登壇資料です。
https://kddi-snowvillage.connpass.com/event/299925/

Transcript

1. External Network AccessとStreamlitで データロードアプリ作ってみた 2023/11/10 あれ（@__allllllllez__） Illustration by Leonard.ai
2. © 2023 DATUM STUDIO Co. Ltd. 1 自己紹介 【名前】 あれ（@__allllllllez__） 【所属】 DATUM STUDIO株式会社 データエンジニアリング本部 データエンジニア部 たまに記事を書いてます。 Zenn→ https://zenn.dev/allllllllez なかのひとなどいない！
3. © 2023 DATUM STUDIO Co. Ltd. いきなりですが 本日のハイライト
4. © 2023 DATUM STUDIO Co. Ltd. 3 本日のハイライト External Network Accessで遊んでいたら、 こんなんできました。
5. © 2023 DATUM STUDIO Co. Ltd. 改めて 本日のコンテンツ
6. © 2023 DATUM STUDIO Co. Ltd. 5 コンテンツ • はじめに • External Network Accessとは • データロードアプリ、作ってみた • まとめ ※本発表でのExternal Network Accessに関する内容は、2023/11/10 時点の情報に基づいたものです External Network Accessをお使いの際は、最新の情報をご確認ください
7. © 2023 DATUM STUDIO Co. Ltd. External Network Accessとは
8. © 2023 DATUM STUDIO Co. Ltd. 7 External Network Accessとは UDF・ストアドプロシージャで、Snowflakeの外部のネットワークへのアクセスを 許可する機能 許可する外部ネットワークの場所 外部ネットワークへのアクセスに必要な認証情報 アクセスする外部ネットワークをNetwork ruleで、 認証情報をSecretで指定 Network Rule Secret External Access Integration
9. © 2023 DATUM STUDIO Co. Ltd. 8 External Network Accessとは UDF・ストアドプロシージャで、Snowflakeの外部のネットワークへのアクセスを 許可する機能 ストアドプロシージャ Okです Network Rule Secret External Access Integration ALLOWED_AUTHENTICATION_SECRETS に指定 ALLOWED_NETWORK_RULES に指定 EXTERNAL_ACCESS_INTEGRATIONS に指定 外部ネットワーク パラメータ指定による参照 リクエスト ストアドプロシージャ 許可されてないので ダメです とか とか パラメータ例) MODE = EGRESS TYPE = HOST_PORT VALUE_LIST = (slack.com'); パラメータ例) TYPE = GENERIC_STRING SECRET_STRING = '<access-token>'
10. © 2023 DATUM STUDIO Co. Ltd. なるほど
11. © 2023 DATUM STUDIO Co. Ltd. 💡
12. © 2023 DATUM STUDIO Co. Ltd. ひらめいた
13. © 2023 DATUM STUDIO Co. Ltd. 12 ひらめいた 外部APIを直接呼べるよう になった今、 我々はSnowflakeだけで API連携データを ｻｻｯと取り込むことが できるのでは？ その時、あれに電流走るーーー
14. © 2023 DATUM STUDIO Co. Ltd. やってみよう
15. © 2023 DATUM STUDIO Co. Ltd. データロードアプリ、 作ってみた
16. © 2023 DATUM STUDIO Co. Ltd. 15 というわけで、アプリの解説をさせていただきます。 APIのURLと、APIのホストを許可するExternal Access integrationを指定して、 ポチッとな！するだけの簡単なアプリです データロードア プリ作ってみた 補足情報を 表示するエリア
17. © 2023 DATUM STUDIO Co. Ltd. 16 今回は、かの有名な郵便番号データを取得してみます。 データロードア プリ作ってみた ＜郵便番号データについて＞ 日本郵便が提供している、郵便番 号と住所などの情報を対応させ たデータ。 住所が長いと複数のレコードに分 割されるなど、非常に個性的な 仕様で知られていた。 しかし、去る2023年6月、分割レ コードが廃止されたほか、文字 コードがShift＿JIS→UTF-8に、 カナが半角カナ→全角カナに変 更されるなどの劇的な仕様改良 がなされ、一部界隈は歓喜に沸 いた。
18. © 2023 DATUM STUDIO Co. Ltd. 17 Try to LOAD！をポチッとな External Access Integrationを紐づけたストアドプロシージャを実行、リクエストを 飛ばします データロードア プリ作ってみた コード公開しちゃおっと
19. © 2023 DATUM STUDIO Co. Ltd. 18 ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!! データロードア プリ作ってみた 🎉🎉🎉 🎉🎉🎉 🎉🎉🎉 🎉🎉🎉
20. © 2023 DATUM STUDIO Co. Ltd. まとめ
21. © 2023 DATUM STUDIO Co. Ltd. 20 まとめ External Network Access SUGOI Snowflakeの可能性を無限に広げるスゴ機能、まさに NO LIMIT
22. © 2023 DATUM STUDIO Co. Ltd. ❄おしまい❄