最低限のSQLしか書けない私が Apache Icebergを触ってみた結果 〜S3なのにUPDATE・Time Travelできた話〜

2026年7月18日開催
BigData-JAWS #34 Apache Iceberg LT大会 初心者から有識者に　登壇資料
https://jawsug-bigdata.connpass.com/event/394145/

Transcript

1. 最低限のSQLしか書けない私が Apache Icebergを触ってみた結果 〜S3なのにUPDATE・Time Travelできた話∼ 2026.07.18 Bigdate-JAWS #34 Apache Iceberg LT大会 初⼼者から有識者に 祈織
2. 　　所属：某クソデカ大⼿SES企業 　ロール：インフラエンジニア 　 運営：JAWS-UG 彩の国埼⽟⽀部 　    JAWS配信部(⾒習い) 　    LinuC OpenNetwork(LiON) 　　趣味：野球観戦 ⭐️🦁、映画鑑賞、DQ10 ひとこと：登壇資料・検証を◯時間で仕上げました… 自⼰紹介 祈織　-Inori- Twitter Qiita
3. Agenda はじめに 01 01 Apache Icebergとは？ 02 02 実践 03 03 ハマりポイント 04 04 まとめ 05 05
4. はじめに SAA取得後、DEAの取得を目指す 参考書を読んで問題を解いてみても、 　 正直あまりピンとこない 普段業務でもデータ領域には触れない SQLは最低限クエリを書けるレベル じゃあ触ってみたらええやん！！
5. SAA取得後、DEAの取得を目指す 参考書を読んで問題を解いてみても、 　 正直あまりピンとこない 普段業務でもデータ領域には触れない SQLは最低限クエリを書けるレベル はじめに じゃあ触ってみたらええやん！！ というわけで、Apache Icebergを AWS Athenaを使って ほんの少しですが触ってみました！！
6. Apache Icebergとは データレイクに保存されているデータの処理を簡素化する、 オープンソースのデータテーブル形式 （参考：AWS公式　Apache Iceberg とは何ですか?　）
7. Apache Icebergとは データレイクに保存されているデータの処理を簡素化する、 オープンソースのデータテーブル形式 （参考：AWS公式　Apache Iceberg とは何ですか?　） 例えば、S3上にDBテーブルのように操作できる テーブルを作れるフォーマット
8. S3はただのファイル置き場 通常はSelectのみ（AthenaもS3も） IcebergをAthenaで使用することで 　 Update・Delete・Time Travelまで使⽤可能！ Apache Icebergとは
9. Apache Icebergとは S3はただのファイル置き場 通常はSelectのみ（AthenaもS3も） IcebergをAthenaで使用することで 　 Update・Delete・Time Travelまで使⽤可能！ これがApache Icebergを使う上での 大きなメリットの1つ。 というわけで実際に触ってみました
10. S3バケットは以下のように作成 　 バケット名： 　 apache-iceberg-demo-2026 Athena設定は以下 　 Location of query result： 　 s3://apache-iceberg-demo-2026/athena-results/ 実践編　∼S3バケット作成・Athena設定∼ S3バケット内を ディレクトリで整理する為
11. DB作成 Icebergテーブル作成 create DATABASE my_iceberg_db; 実践編　∼DB作成・Icebergテーブル作成∼ CREATE TABLE my_iceberg_db.users ( id BIGINT, name STRING, score BIGINT ) LOCATION 's3://apache-iceberg-demo-2026/iceberg/users/' TBLPROPERTIES ('table_type' = 'ICEBERG');
12. DB作成 Icebergテーブル作成 create DATABASE my_iceberg_db; CREATE TABLE my_iceberg_db.users ( id BIGINT, name STRING, score BIGINT ) LOCATION 's3://apache-iceberg-demo-2026/iceberg/users/' TBLPROPERTIES ('table_type' = 'ICEBERG'); 実践編　∼DB作成・Icebergテーブル作成∼ my_iceberg_db.users →userテーブル作成 id /name /score →カラムの定義 LOCATION →S3内のデータの保存場所 TBLPROPERTIES ('table_type' = 'ICEBERG'); →「これは Icebergテーブルだよ」という宣⾔ コレがないとIcebergにならない！！！
13. usersテーブルへ3人分のデータをINSERT INSERTしたデータの確認（SELECT） 実践編　∼INSERT・SELECT∼ INSERT INTO my_iceberg_db.users VALUES (1, 'Alice', 100), (2, 'Bob', 200), (3, 'Charlie', 300); SELECT * FROM my_iceberg_db.users;
14. usersテーブルへ3人分のデータをINSERT INSERTしたデータの確認（SELECT） 実践編　∼INSERT・SELECT∼ INSERT INTO my_iceberg_db.users VALUES (1, 'Alice', 100), (2, 'Bob', 200), (3, 'Charlie', 300); この時点でスナップショットが作成される SELECT * FROM my_iceberg_db.users;
15. usersテーブルへ3人分のデータをINSERT INSERTしたデータの確認（SELECT） 実践編　∼INSERT・SELECT∼ INSERT INTO my_iceberg_db.users VALUES (1, 'Alice', 100), (2, 'Bob', 200), (3, 'Charlie', 300); この時点でスナップショットが作成される SELECT * FROM my_iceberg_db.users;
16. usersテーブルへ3人分のデータをINSERT INSERTしたデータの確認（SELECT） 実践編　∼INSERT①・SELECT∼ INSERT INTO my_iceberg_db.users VALUES (1, 'Alice', 100), (2, 'Bob', 200), (3, 'Charlie', 300); この時点でスナップショットが作成される SELECT * FROM my_iceberg_db.users; INSERTした3行が表⺬されている！
17. さらにもう1人分のデータをINSERT 実践編　∼INSERT②∼ INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999);
18. さらにもう1人分のデータをINSERT 実践編　∼INSERT②∼ INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); この時点でさらにスナップショットが作成される →つまりスナップショット2つ存在している
19. 実践編　∼スナップショット確認∼ スナップショットを確認するSELECT文を実⾏ INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); SELECT * FROM "my_iceberg_db"."users$snapshots" ORDER BY committed_at;
20. INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼スナップショット確認∼ スナップショットを確認するSELECT文を実⾏ SELECT * FROM "my_iceberg_db"."users$snapshots" ORDER BY committed_at; スナップショットが2つ存在している事を確認！ 今回は1を使います
21. INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼Time Travel∼ 先ほど確認したDaveを追加する前の時刻を入れてSELECT SELECT * FROM my_iceberg_db.users FOR TIMESTAMP AS OF TIMESTAMP '2026-07-17 15:30:22.160';
22. INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼Time Travel∼ 先ほど確認したDaveを追加する前の時刻を入れてSELECT SELECT * FROM my_iceberg_db.users FOR TIMESTAMP AS OF TIMESTAMP '2026-07-17 15:30:22.160';
23. INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼Time Travel∼ 先ほど確認したDaveを追加する前の時刻を入れてSELECT さっき追加したDaveがいない！！！！！！ SELECT * FROM my_iceberg_db.users FOR TIMESTAMP AS OF TIMESTAMP '2026-07-17 15:30:22.160';
24. emailカラムを追加 確認 INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼スキーマ進化（カラム追加）∼ ALTER TABLE my_iceberg_db.users ADD COLUMNS (email STRING); SELECT * FROM my_iceberg_db.users;
25. emailカラムを追加 確認 INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼スキーマ進化（カラム追加）∼ ALTER TABLE my_iceberg_db.users ADD COLUMNS (email STRING); SELECT * FROM my_iceberg_db.users;
26. emailカラムを追加 確認 INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); INSERT INTO my_iceberg_db.users VALUES (4, 'Dave', 999); 実践編　∼スキーマ進化（カラム追加）∼ emailカラムが存在している！！ ALTER TABLE my_iceberg_db.users ADD COLUMNS (email STRING); SELECT * FROM my_iceberg_db.users;
27. 実践編　∼スキーマ進化（カラム追加）嬉しいポイント∼ 【通常のS3ファイル（CSV/Parquet）の場合】 カラムを追加したい！ →全ファイルを読み込んで作り直す必要がある →データ量が膨大だと⻑時間要す →作り直し中にデータ破損リスクあり 【Icebergの場合】 ALTER TABLE ADD COLUMNSのみで →既存のファイルには一切⼿を⼊れない →メタデータだけで更新 →一瞬で終わる
28. ハマりポイント 実はAthenaを初利用 DATABASEのスペルミス 　 →typo 1回に2つのクエリを叩こうとしてエラー 　 →Athenaは1回ずつ コメントアウトがSQL扱いされてエラー 　 →想定していなかったハマりポイント
29. まとめ Icebergテーブルを利⽤することで  Insert時にスナップショットを保存してくれる。 S3上でDBテーブルのような扱いができる。 スナップショットがある事で過去のデータに戻れる （TimeTravel） カラム追加してもデータが破損しない（スキーマ進化） また、時間の制約上深掘りできなかった事を少しずつ理解して、 データ領域と仲良くなってDEAへの挑戦を再開したい。
30. ご清聴 ありがとうございました！ 訂正・補足など愛のある指摘お待ちしていますm(_ _)m