Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG 朝会 #43 登壇資料
Search
takakuni
March 15, 2023
Technology
0
1.2k
JAWS-UG 朝会 #43 登壇資料
takakuni
March 15, 2023
Tweet
Share
More Decks by takakuni
See All by takakuni
サンプルサンプル株式会社 会社説明資料
takakuni
0
1.1k
re:Inforce 2024 コンテナセキュリティアップデートまとめ
takakuni
0
390
AWS re:Inforce 2024 個人的推しアップデート総まとめ(仮)
takakuni
0
1.2k
Backlog Git を AWS に繋ぎ コンテナイメージをビルドしてみた
takakuni
0
150
巷で話題の SOCI についてのお話
takakuni
0
210
NW-JAWS #11 re:Cap 2023 Amazon Q network trouble shooting について
takakuni
0
1.2k
re:Invent 2023 コンテナイメージスキャンどうなった!?
takakuni
0
1.9k
AWS Engineer Meetsup 2023 登壇資料
takakuni
0
3.3k
JAWS-UG 横浜 #54 資料
takakuni
0
600
Other Decks in Technology
See All in Technology
インフラとバックエンドとフロントエンドをくまなく調べて遅いアプリを早くした件
tubone24
1
430
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
430
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
110
安心してください、日本語使えますよ―Ubuntu日本語Remix提供休止に寄せて― 2024-11-17
nobutomurata
1
1k
いざ、BSC討伐の旅
nikinusu
2
780
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
9
1.1k
RubyのWebアプリケーションを50倍速くする方法 / How to Make a Ruby Web Application 50 Times Faster
hogelog
3
950
Can We Measure Developer Productivity?
ewolff
1
150
複雑なState管理からの脱却
sansantech
PRO
1
150
Making your applications cross-environment - OSCG 2024 NA
salaboy
0
190
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
1
420
Zennのパフォーマンスモニタリングでやっていること
ryosukeigarashi
0
150
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
38
7.1k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
What's in a price? How to price your products and services
michaelherold
243
12k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
The Cult of Friendly URLs
andyhume
78
6k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Docker and Python
trallard
40
3.1k
A Philosophy of Restraint
colly
203
16k
Done Done
chrislema
181
16k
Building an army of robots
kneath
302
43k
Writing Fast Ruby
sferik
627
61k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
Transcript
クイズ!Athenaのクエリ結果はどこでしょう? JAWS-UG朝会 #43 2023.03.15 たかくに 1
2 自己紹介 たかくに • 会社:クラスメソッド株式会社 • 部署:AWS 事業本部 コンサルティング部 •
ロール:ソリューションアーキテクト • 好きな AWS サービス:Amazon VPC • Twitter:@takakuni_
3 突然ですが... 普段、Amazon Athena 使ってますか?
• 標準 SQL を使用して分析するサービス • データソースは Amazon S3 • サーバーレス
• クエリの結果を Amazon S3 に保存する 4 Amazon Athena の概要
5 Amazon Athena の操作画面 SQLを利用したクエリ スキャンしたデータ量に課金
6 今日話すところ
7 「クエリエディタ」と「ワークグループ」
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 8 クエリエディタ
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 9 クエリエディタ
• 複数IAMユーザーで共有する環境設定 • クエリの実行結果もカスタマイズ可能 10 ワークグループ
11 今日話したかったこと クエリ結果の配信先として 「クエリエディタ」と「ワークグループ」 どちらが優先される?
12 表にすると... クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 ?
設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
13 問題 1
14 問題 1 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
15 問題 1 - 答え
クエリ実行結果の保存先を設定する必要がある 16 クエリが実行できない(ひっかけです) https://docs.aws.amazon.com/ja_jp/athena/latest/ug/querying.html#query-results-specify-location-console
17 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 ? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
18 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
19 問題 2
20 問題 2 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
21 問題 2 - 答え
22 問題 2 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
23 問題 3
24 問題 3 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
25 問題 3 - 答え
26 問題 3 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
27 ちょっと豆知識 保存先で保存形式(フォルダ階層が異なる) ワークグループ クエリエディタ
28 問題 4
29 問題 4 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
30 問題 4 - 答え
31 問題 4 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
32 問題 5
33 問題 5 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
34 問題 5 - 答え
35 問題 5 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
36 ちょっと豆知識 上書きを有効化すると次のように表示されます
37 問題 6
38 問題 6 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
39 問題 6 - 答え
40 問題 6 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
41 まとめ
• クエリを実行するには実行結果の保存先が必要 • クエリの実行結果は2つの保存先がある • クエリエディタの保存先が優先される ◦ ワークグループ側で上書きを設定すると優先度が 変わる •
保存先の指定有り/無しで設定が分かれた場合、指 定有りが優先される 42 まとめ
43
44 (参考)クエリ結果保存先まとめ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 クエリが実行できない
設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB