Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NoCodeツールでWebHookからDWHへのデータの転送処理を爆速で実装した話

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Yusuke Tamura Yusuke Tamura
December 26, 2022
Technology
410
0

 NoCodeツールでWebHookからDWHへのデータの転送処理を爆速で実装した話

2022/12/21に行われためぐろLT会での登壇資料になります

https://raksul.connpass.com/event/267974/

Avatar for Yusuke Tamura

Yusuke Tamura

December 26, 2022

More Decks by Yusuke Tamura

See All by Yusuke Tamura
Developing UI Components Integrating Radix Primitives with Custom CSS
Avatar for Yusuke Tamura tamtam0423
0
100
Which should be designed first, the data model or the domain model
Avatar for Yusuke Tamura tamtam0423
0
250
みんなのPython勉強会#100 LT枠 参照カウントから見るPythonのメモリ管理
Avatar for Yusuke Tamura tamtam0423
5
1.6k
Understanding Metaclass from Type
Avatar for Yusuke Tamura tamtam0423
0
88
みんなのPython勉強会_LT枠_10_12__5分で理解するディスクリプタ.pdf
Avatar for Yusuke Tamura tamtam0423
2
1.2k
めぐろLT_ Pythonの弱参照(weakref)を使えば、世界はもっと良くなる
Avatar for Yusuke Tamura tamtam0423
0
850
みんなのPython勉強会#96 LT枠
Avatar for Yusuke Tamura tamtam0423
0
240

Other Decks in Technology

See All in Technology
Code4Lib JAPANカンファレンス2026 開会挨拶 / Code4Lib JAPAN Conference 2026: Opening Remarks
Avatar for Kiyota Yoji, Ph.D. ykiyota
0
160
10分で知る最近のOmarchy
Avatar for komagata komagata
0
110
なぜSRE・セキュリティは評価されないのか？守りの組織を事業成長エンジンに変えた実践
Avatar for サイバーセキュリティクラウド cscengineer
PRO
3
2.3k
Podは生きているのにGoだけが落ちる：GOGCとGOMEMLIMITで追うInvisible OOM Killの謎
Avatar for Watanabe Takeshi(Buzz) tkc66buzz
0
160
Where Is JetBrains AI Heading- — Central CLI, Air Alpha, and the Agentic Development Stack
Avatar for Daisuke Masuda x5gtrn
PRO
0
140
AIエージェントの開発・提供におけるセキュリティリスクの論点と対策
Avatar for GMO Flatt Security flatt_security
2
610
Redmine 7.0で私が開発した新機能の狙いと背景
Avatar for MAEDA Go vividtone
1
110
コスト最適化の「めんどくさい」を AWS FinOps Agent でチョット楽にする
Avatar for kaz classmethod_kaz
0
280
[DroidKaigi 2026] Making UI specifications visible: Android UI development in the AI agent era supported by Compose Screenshot Testing and galleries
Avatar for syarihu syarihu
0
600
幾何アルゴリズムで なめらかなピン操作を / iOSDC Japan 2026 / smoothpin
Avatar for nade kazumanagano
0
130
AI-DLCって実際どう？ 〜聞きたいこと全部聞いてみる〜
Avatar for 荒木 ARK news_it_enj
0
240
DGX Sparkを2台使って いろいろ動かす話
Avatar for そのだ sonoda_mj
1
140

Featured

See All Featured
BBQ
Avatar for Matthew Crist matthewcrist
89
10k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
Avatar for Addy Osmani addyosmani
10
1.3k
Agile Leadership in an Agile Organization
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
230
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
290
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
1.2k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
41
2.7k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
11
1k
Measuring Dark Social's Impact On Conversion and Attribution
Avatar for Stephen Akadiri stephenakadiri
2
270
AI Search:
Where Are We & What Can We Do About It?
Avatar for Aleyda Solis aleyda
0
7.9k
A brief & incomplete history of 
UX Design for the World Wide Web: 1989–2019
Avatar for Jason CranfordTeague jct
2
500
Effective software design: The role of men in debugging patriarchy in IT @ Voxxed Days AMS
Avatar for Kenny Baas-Schwegler baasie
0
510
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
273
27k

Transcript

  1. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツールで WebHookからDWHへのデータ転送処理 を爆速で実装した話

    1

  2. @ 2022 Novasell, Inc. All Rights Reserved. 自己紹介 GitHub: @tamtam-fitness,

    Twitter: @TamtamFitness たむたむといいます！ 今年新卒でラクスル /ノバセルに入りました 💪 社内部活のマッスル部で部長もしています！

  3. @ 2022 Novasell, Inc. All Rights Reserved. ところでみなさん、 次の要件の場合どのように実装しますか？

  4. @ 2022 Novasell, Inc. All Rights Reserved. 社内のエンジニアの生産性を分析するために、 - ClickUpのWebhookからステータスの更新情報を取得する

    - 取得したデータを最終的にSnowflakeに転送させる　　　　　　　　 処理を実装することになりました。 Snowflakeへのデータ転送の即時性に関しては求められていないです。 Snowflake…SaaS型のデータウェアハウス ClickUp…タスク管理ツール、スプリント毎にチケットを切り進捗確認をするために使う。

  5. @ 2022 Novasell, Inc. All Rights Reserved. 自前実装パターン - APIGatewayとDynamoDBはPutEventを統合して、

    ClickUpWebhookのレスポンスをDynamoDBのレコードとして追加 - DynamoDBのDataExport機能でS3に転送 - SnowflakeのCOPY INTO コマンドでS3のデータを一括ロード

  6. @ 2022 Novasell, Inc. All Rights Reserved. 自前実装パターン - APIGatewayとDynamoDBはPutEventを統合して、

    ClickUpWebhookのレスポンスをDynamoDBのレコードとして追加 - DynamoDBのDataExport機能でS3に転送 - SnowflakeのCOPY INTO コマンドでS3のデータを一括ロード 設計から実装(CDK書いたりレビューしたり) までに1週間は少なくともかかりそう...?

  7. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツール活用パターン - ZapierのZapワークフロー連携

    - TriggerとしてWebhookを登録 - 取得したデータを GoogleSheetに転送 - troccoの転送設定 - 転送元をGoogleSheet - 転送先をSnowflake Google Sheet

  8. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツール活用パターン - ZapierのZapワークフロー連携

    - TriggerとしてWebhookを登録 - 取得したデータを GoogleSheetに転送 - troccoの転送設定 - 転送元をGoogleSheet - 転送先をSnowflake Google Sheet 約2日で実装が終わりました🎉

  9. @ 2022 Novasell, Inc. All Rights Reserved. Zapier 様々なサービスを連携させ、業務効率化・自動化を支援するiPaaS (

    Integration Platform as a Service ) 　　　　　　　　　　　 ※ Zapierの使用画面をキャプチャしたもの

  10. @ 2022 Novasell, Inc. All Rights Reserved. trocco ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援

    SaaS 　　　　　　　　　　　 ※ troccoの使用画面をキャプチャしたもの

  11. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツール活用パターン実装時のQ&A - QWebHookのレスポンスのデータは

    jsonのデータ構造のまま Snowflakeへ転送させているの ? A.その方が Snowflakeに raw dataが送られて良いかもですが、 　Zapier→ GoogleSheetの際に json形式で1カラムで入れる際手間だったのと 　将来的に使うであろうデータも限られていたため、 　データを絞りZapierが加工する形でGoogleSheetへ転送し、最終的に Snowflakeへ転送させています。 - Q.GoogleSheet使っているけど、データが蓄積された時はどうするの ? ( 蓄積 or 定期でリフレッシュ ) A.蓄積させています。GoogleSheetのデータ上限1,000万セルですが、 　1レコード 5セル程のため 200万レコードまで格納可能です。 　月のレコード数が約 3000レコード程度なので、 蓄積自体は50年くらいは大丈夫そうです。

  12. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツール活用パターン実装時のQ&A - Q.troccoを使った一括ロード処理の更新頻度は

    ? A.1日1回深夜に動かすように troccoで定義しています。データ反映に即時性が求められてない 　かつ分析時に昨日のデータが反映されている方が体験的に良いと判断しました。 - Q.GoogleSheet → Snowflakeへのデータの出力方法はどうしているの ? A.TRUNCATE INSERTで全件洗い替えています。月約 3000レコードほどのデータが蓄積しますが、 　この程度のデータ量なら直近 5年くらいは少なくとも処理の負担等は意識しなくて問題なさそうです。

  13. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツール活用パターン実装時のQ&A - Q.自前実装パターンとの料金比較は

    ? A.自前実装パターン...主コストのAPIGateway, DynamoDB共に最小単位で収まるので 月約 3000円位です。加えて開発工数分の費用がそこそこかかります。 NoCodeパターン...NoCodeツールの有料プランの料金ですがノバセルは全面的にこれらのツール を使っているため利用数で割ったら 5000円は下回りそうです。 - Q.コード管理できるの ? A.troccoは別途料金がかかりますが Git連携しymlファイルで管理できます。 Zapierは2022年 12月時点では存在を確認できていないです。 - Q.エラー通知できるの ? A.Zapierとtroccoどちらも可能です。troccoは簡単に通知設定ができます。 Zapierの場合、 エラー通知用のワークフローを定義し対象のワークフローを監視させる形になるので若干面倒です。

  14. @ 2022 Novasell, Inc. All Rights Reserved. NoCodeツールを活用できそうな場合 - 自社で開発/運用するよりROIが良い

    優れたエンジニアになればなるほど内製するためのコストが低くなるが、 属人性の観点などチーム全体の意思決定として長期的に良いかどうかを意識 - ビジネスロジックに依存しない汎用的な処理である 開発工数を下げられるが複雑性に対応できない性質を意識 NoCodeツールに依存しない設計/実装 → 通知やETLなどの処理はNoCode/LowCodeツールを事前に調査すると良いかも！