Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AmazonAthenaで 競馬データをParquet化する

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for usanchuu usanchuu
March 11, 2026
Technology
140
0

AmazonAthenaで 競馬データをParquet化する

2026/03/11 JAWS-UG茨城 #12春の推しAWSサービスLTまつり！での登壇資料です。

Avatar for usanchuu

usanchuu

March 11, 2026

More Decks by usanchuu

See All by usanchuu
名古屋の市バスGTFS-JPデータ×スガキヤ 最寄りバス停検索をAmazon ElastiCache Serverless for Valkeyで最適化する
Avatar for usanchuu usanchuu
1
1.1k
Server-TimingとDevOpsエージェントを用いたLambdaコンテナの動的ルーティング制御
Avatar for usanchuu usanchuu
0
66
AmazonRoute 53ではじめてのドメイン取得！HTTPS化までの道のりを整理してみた
Avatar for usanchuu usanchuu
3
180
ラーメンにお酢が馴染む時間を計算したら麺が伸びそうになったので、 AWS Lambda Power TuningとManaged Instancesで爆速化する
Avatar for usanchuu usanchuu
1
180
Amazon Rekognitionで 「信玄餅きなこ問題」を解決する
Avatar for usanchuu usanchuu
1
1.2k
Amazon S3 Vectorsを使って資格勉強用AIエージェントを構築してみた
Avatar for usanchuu usanchuu
4
580
Reachability Analyzer VS Kiro CLI ～ネットワークがつながらないとき、どっちを使う？～
Avatar for usanchuu usanchuu
1
100

Other Decks in Technology

See All in Technology
属人化を叩き割れ！「制作加速」と「安定化」の矛盾を打破する：8年目プロダクトが辿り着いた「ミスが起こり得ない」アセット制作フローの全貌
Avatar for gree_tech gree_tech
PRO
0
110
AIに狂うスタートアップが、あえて「人との協働」に全振りした新卒エンジニア研修 / New Graduate Engineer Training at a Startup Accelerating AI Adoption
Avatar for akira ohno ohnoeight
0
160
ブラウザ研修 2026
Avatar for Recruit recruitengineers
PRO
7
1.3k
AI・HPC開発を支えるGPU環境の新しい選択肢 液冷GPUシステム「AquSys」の取り組み
Avatar for GPU UNITE gpuunite_official
0
130
Android skills に学ぶ
Avatar for kokiko kokiko
0
130
Agent 時代の Kaggle 展望 / kaggle-in-the-agentic-era
Avatar for Shotaro Ishihara upura
1
850
Flutter × BLE Centralを自前Pluginで実装する設計パターン - MethodChannel / EventChannelで作る双方向ブリッジの実践 / Building Custom Flutter BLE Central Plugins: Bidirectional Bridging with Method & Event Channels
Avatar for 株式会社ビットキー / Bitkey Inc. bitkey
PRO
0
180
AIペネトレーションテスト・ セキュリティ検証「AgenticSec」紹介資料
Avatar for Sho Nakatani laysakura
2
9.3k
ホームラボ紹介
Avatar for 世良泰明 y_sera15
0
210
2026-08-15 JAWS-UG 茨城 #16 Secrets ManagerにおけるSecret値の管理(Terraformの場合) / Secrets Manager Secrets
Avatar for SUZUKI Masashi masasuzu
0
370
DDDのエッセンスを取り入れたAIでの開発
Avatar for ak2ie ak2ie
0
160
Go 1.27 の標準パッケージに uuid が入った！のでいろいろ喋る / go_127_std_go_uuid
Avatar for convto convto
3
530

Featured

See All Featured
Believing is Seeing
Avatar for Spiro Bolos oripsolob
1
190
Code Reviewing Like a Champion
Avatar for maltzj maltzj
528
40k
The AI Search Optimization Roadmap by Aleyda Solis
Avatar for Aleyda Solis aleyda
1
6.1k
Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline
Avatar for Tech SEO Connect techseoconnect
PRO
0
390
Building a Modern Day 
E-commerce SEO Strategy
Avatar for Aleyda Solis aleyda
45
9.2k
Reflections from 52 weeks, 52 projects
Avatar for Jefferson Lam jeffersonlam
356
21k
Claude Code のすすめ
Avatar for schroneko schroneko
67
230k
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto WADA twada
PRO
120
120k
How To Speak Unicorn (iThemes Webinar)
Avatar for Michelle Schulp Hunt marktimemedia
1
540
Neural Spatial Audio Processing for Sound Field Analysis and Control
Avatar for NII S. Koyama's Lab skoyamalab
0
410
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
3.9k
Collaborative Software Design: How to facilitate domain modelling decisions
Avatar for Kenny Baas-Schwegler baasie
1
280

Transcript

  1. Amazon Athenaで 競馬データをParquet化する 2026/03/11 JAWS-UG 茨城 #12 春の推しAWSサービスLTまつり！ 藤井 ひかり

  2. ① 推しサービス「Amazon Athena」についてご紹介 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる 検証 今回の内容

  3. 発表者について フジイ ヒカリ と申します・x・ 社会人1年目：SIerのアーキテクチャチームでSEしてます データベース初学者ですが楽しく勉強しています AWSについて　 保有資格：CLF,AIF,SAA,MLA,DEA ★昨年12月開催のJAWS-UG Presents

    - AI Builders Dayを きっかけにAWSに興味をもち、現在絶賛勉強中です！ X：@usanchuu

  4. 出走直前の馬体重とオッズのデータを分析して期待 値を出したい。 でもDEAの勉強中で悠長に考えてられない…RDS （データベース）を立てる時間も維持費も惜しい。 LT内容の背景：万馬券をあてたい！

  5. DEA勉強中に出てきたAthenaはDB構築ゼロ＋S3に データを置くだけで即SQLが使えるらしい！ 勉強がてら使ってみよう LT内容の背景：万馬券をあてたい！

  6. ① 推しサービス「Amazon Athena」 についてご紹介

  7. Amazon Athenaの名前の由来 ★推しポイント！ ① 推しサービス「Amazon Athena」についてご紹介 「Athena」はギリシャ神話に登場する「知恵と戦略の女神」

  8. Amazon Athenaの特徴 ① 推しサービス「Amazon Athena」についてご紹介 ②学習コストが『ゼロ』 ①DB構築が『ゼロ』 ③使っていない時の維持費が『ゼロ』 　 S3にファイル（CSVやJSON）を置くだけで、準備完了

    標準的なSQLを叩くだけで、すぐにデータが返ってくる 『スキャンしたデータ量（1TBあたり約5ドル） 』だけの従量課金

  9. Athenaの裏側で起こっていること ★Schema-on-Read https://docs.aws.amazon.com/ja_jp/athena/latest/ug/handling- schema-updates-chapter.html より ① 推しサービス「Amazon Athena」についてご紹介 【従来のDB：Schema-on-Write】 「①テーブル設計

    → ②データ投入 → ③検索」 →事前の設計とデータ加工が必須で大変！ 【Athena：Schema-on-Read】 →生データに『読む瞬間だけ』枠を被せる！事前準備ゼロ！

  10. ・従来のオンプレDB：計算サーバーの中にハードディスク ・Athena：Coordinator（司令塔）がSQLを受け取ってGlue Data Catalog を見る→数百のノードが立ち上がり、並列処理をして即解散する。 Athenaの裏側で起こっていること ★コンピュート（計算処理）とストレージ（データ保存）の分離 https://docs.aws.amazon.com/ja_jp/athena/latest/ug/data-types.htmlより ① 推しサービス「Amazon

    Athena」についてご紹介

  11. ② Amazon Athenaで競馬データを Parquet化して万馬券を当てる検証

  12. 検証方法 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ダミーの競馬データをAIで生成（馬の名前、重さ、オッズ、レース名） ▶Athenaの画面で結果出力場所を指定▶データベースを作成 ▶検索クエリ実行 スクレイピングはやめておくことに...

  13. 手順1：とりあえずCSVで検索してみた結果…… ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証　 ★csv形式：行指向

  14. 実行時間：781ms 手順1：とりあえずCSVで検索してみた結果…… ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証　 ★csv形式：行指向 今回のSQLで欲しいのは「オッズ」と「重さ」のみ →馬の名前やレース名まで全部強制的に読み込まされる

  15. 手順2：データをParquet形式に変換した結果 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ★Parquet（パーケイ）形式：列指向

  16. 手順2：データをParquet形式に変換した結果 ② Amazon Athenaで競馬データをParquet化して万馬券を当てる検証 ★Parquet（パーケイ）形式：列指向 データを「列（カラム） 」ごとに縦にまとめて保存 →「オッズ」と「重さ」のデータブロックだけをピンポイントで 読み込める。 実行時間：385ms　★396ms短縮！

  17. いざ！レース本番！！

  18. とおもったのですが、レースの時間が過ぎていました... Parquet変換のお勉強に夢中になって しまった；；

  19. まとめ ★サーバーレスで手軽な反面、 『スキャンしたデータ量』に直接課金される ためデータの持ち方がコストに直結する！ Athenaの課金体系 ＝「スキャン量」がすべて ★Parquet（パーケイ）などの列指向フォーマットへの変換が必須！