Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AmazonAthenaで 競馬データをParquet化する

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for usanchuu usanchuu
March 11, 2026
Technology
0
91

AmazonAthenaで 競馬データをParquet化する

2026/03/11 JAWS-UG茨城 #12春の推しAWSサービスLTまつり！での登壇資料です。

Avatar for usanchuu

usanchuu

March 11, 2026
Tweet

More Decks by usanchuu

See All by usanchuu
Amazon Rekognitionで 「信玄餅きなこ問題」を解決する
Avatar for usanchuu usanchuu
1
1.1k
Amazon S3 Vectorsを使って資格勉強用AIエージェントを構築してみた
Avatar for usanchuu usanchuu
4
510
Reachability Analyzer VS Kiro CLI ～ネットワークがつながらないとき、どっちを使う？～
Avatar for usanchuu usanchuu
1
71

Other Decks in Technology

See All in Technology
GitHub Advanced Security × Defender for Cloudで開発とSecOpsのサイロを超える: コードとクラウドをつなぐ、開発プラットフォームのセキュリティ
Avatar for yuriemori yuriemori
1
110
SaaSに宿る21g
Avatar for Yamakan kanyamaguc
2
180
DMBOKを使ってレバレジーズのデータマネジメントを評価した
Avatar for Tech Leverages leveragestech
0
480
脳が溶けた話 / Melted Brain
Avatar for Keisuke69 keisuke69
1
1.1k
FastMCP OAuth Proxy with Cognito
Avatar for iganin hironobuiga
3
230
出版記念イベントin大阪「書籍紹介＆私がよく使うMCPサーバー3選と社内で安全に活用する方法」
Avatar for KintoTech_Dev kintotechdev
0
120
AIにより大幅に強化された AWS Transform Customを触ってみる
Avatar for arap / 0air 0air
0
210
AI時代のシステム開発者の仕事_20260328
Avatar for 閃利㈱河村 純 sengtor
0
310
AWS Systems Managerのハイブリッドアクティベーションを使用したガバメントクラウド環境の統合管理
Avatar for Toru_Kubota toru_kubota
1
190
「AIエージェントで変わる開発プロセス―レビューボトルネックからの脱却」
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
0
200
Oracle AI Database@Google Cloud：サービス概要のご紹介
Avatar for oracle4engineer oracle4engineer
PRO
5
1.3k
Embeddings : Symfony AI en pratique
Avatar for Grégoire Pineau lyrixx
0
430

Featured

See All Featured
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
Avatar for Sara Fernández Carmona sarafernandez
2
1.4k
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
170
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
780
DevOps and Value Stream Thinking: Enabling flow, efficiency and business value
Avatar for Helen Beal helenjbeal
1
150
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.6k
The Curious Case for Waylosing
Avatar for Cassini Nazir cassininazir
0
280
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
Avatar for Mfonobong Umondia mfonobong
2
340
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
3k
It's Worth the Effort
Avatar for 3n 3n
188
29k
svc-hook: hooking system calls on ARM64 by binary rewriting
Avatar for Akira Moroo retrage
2
180
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4.2k
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
Avatar for Tech SEO Connect techseoconnect
PRO
0
130

Transcript

  1. Amazon Athenaで 競馬データをParquet化する 2026/03/11 JAWS-UG 茨城 #12 春の推しAWSサービスLTまつり！ 藤井 ひかり

  2. ① 推しサービス「Amazon Athena」についてご紹介 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる 検証 今回の内容

  3. 発表者について フジイ ヒカリ と申します・x・ 社会人1年目：SIerのアーキテクチャチームでSEしてます データベース初学者ですが楽しく勉強しています AWSについて　 保有資格：CLF,AIF,SAA,MLA,DEA ★昨年12月開催のJAWS-UG Presents

    - AI Builders Dayを きっかけにAWSに興味をもち、現在絶賛勉強中です！ X：@usanchuu

  4. 出走直前の馬体重とオッズのデータを分析して期待 値を出したい。 でもDEAの勉強中で悠長に考えてられない…RDS （データベース）を立てる時間も維持費も惜しい。 LT内容の背景：万馬券をあてたい！

  5. DEA勉強中に出てきたAthenaはDB構築ゼロ＋S3に データを置くだけで即SQLが使えるらしい！ 勉強がてら使ってみよう LT内容の背景：万馬券をあてたい！

  6. ① 推しサービス「Amazon Athena」 についてご紹介

  7. Amazon Athenaの名前の由来 ★推しポイント！ ① 推しサービス「Amazon Athena」についてご紹介 「Athena」はギリシャ神話に登場する「知恵と戦略の女神」

  8. Amazon Athenaの特徴 ① 推しサービス「Amazon Athena」についてご紹介 ②学習コストが『ゼロ』 ①DB構築が『ゼロ』 ③使っていない時の維持費が『ゼロ』 　 S3にファイル（CSVやJSON）を置くだけで、準備完了

    標準的なSQLを叩くだけで、すぐにデータが返ってくる 『スキャンしたデータ量（1TBあたり約5ドル） 』だけの従量課金

  9. Athenaの裏側で起こっていること ★Schema-on-Read https://docs.aws.amazon.com/ja_jp/athena/latest/ug/handling- schema-updates-chapter.html より ① 推しサービス「Amazon Athena」についてご紹介 【従来のDB：Schema-on-Write】 「①テーブル設計

    → ②データ投入 → ③検索」 →事前の設計とデータ加工が必須で大変！ 【Athena：Schema-on-Read】 →生データに『読む瞬間だけ』枠を被せる！事前準備ゼロ！

  10. ・従来のオンプレDB：計算サーバーの中にハードディスク ・Athena：Coordinator（司令塔）がSQLを受け取ってGlue Data Catalog を見る→数百のノードが立ち上がり、並列処理をして即解散する。 Athenaの裏側で起こっていること ★コンピュート（計算処理）とストレージ（データ保存）の分離 https://docs.aws.amazon.com/ja_jp/athena/latest/ug/data-types.htmlより ① 推しサービス「Amazon

    Athena」についてご紹介

  11. ② Amazon Athenaで競馬データを Parquet化して万馬券を当てる検証

  12. 検証方法 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ダミーの競馬データをAIで生成（馬の名前、重さ、オッズ、レース名） ▶Athenaの画面で結果出力場所を指定▶データベースを作成 ▶検索クエリ実行 スクレイピングはやめておくことに...

  13. 手順1：とりあえずCSVで検索してみた結果…… ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証　 ★csv形式：行指向

  14. 実行時間：781ms 手順1：とりあえずCSVで検索してみた結果…… ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証　 ★csv形式：行指向 今回のSQLで欲しいのは「オッズ」と「重さ」のみ →馬の名前やレース名まで全部強制的に読み込まされる

  15. 手順2：データをParquet形式に変換した結果 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ★Parquet（パーケイ）形式：列指向

  16. 手順2：データをParquet形式に変換した結果 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ★Parquet（パーケイ）形式：列指向 データを「列（カラム） 」ごとに縦にまとめて保存 →「オッズ」と「重さ」のデータブロックだけをピンポイントで 読み込める。 実行時間：385ms　★396ms短縮！

  17. いざ！レース本番！！

  18. とおもったのですが、レースの時間が過ぎていました... Parquet変換のお勉強に夢中になって しまった；；

  19. まとめ ★サーバーレスで手軽な反面、 『スキャンしたデータ量』に直接課金される ためデータの持ち方がコストに直結する！ Athenaの課金体系 ＝「スキャン量」がすべて ★Parquet（パーケイ）などの列指向フォーマットへの変換が必須！