Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG 朝会 #43 登壇資料
Search
takakuni
March 15, 2023
Technology
0
1.4k
JAWS-UG 朝会 #43 登壇資料
takakuni
March 15, 2023
Tweet
Share
More Decks by takakuni
See All by takakuni
OpenAI models overview 202505
takakuni
0
250
[Sample] Validate hyperlink for Amazon Bedrock Data Automation
takakuni
0
87
Classmethod AI Talks #13
takakuni
0
220
Allowed to prefixes
takakuni
0
410
About Extended Threat Detection in Amazon GuardDuty
takakuni
0
250
SageMaker Hyperpod 101 #regrowth_sapporo
takakuni
1
280
What is Amazon Bedrock knowledge base with an Amazon Kendra GenAI index?
takakuni
0
410
New Security Challenges and Countermeasures Brought by Generative AI in Classmethod Cloud Security Fes
takakuni
0
450
サンプルサンプル株式会社 会社説明資料
takakuni
0
4k
Other Decks in Technology
See All in Technology
データプレーンプログラミングとは? DPU&スイッチASICの開発経験から語る
ebiken
PRO
0
230
プラットフォームとしての Datadog / Datadog as Platforms
aoto
PRO
1
330
“⾞が通れるほど⼤きな”セキュリティーホールを抑えながらログインしたい
taiseiue
0
130
GitHub Coding Agent 概要
kkamegawa
1
1.4k
OSMnx Galleryの紹介
mopinfish
0
150
ゴリラ.vim #36 ~ Vim x SNS ~ スポンサーセッション
yasunori0418
1
310
Rebase エンジニアリング組織の現状とこれから
rebase_engineering
0
130
オープンソースのハードウェアのコンテストに参加している話
iotengineer22
0
490
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
17k
テストを実施する前に考えるべきテストの話 / Thinking About Testing Before You Test
nihonbuson
PRO
13
2k
Postman AI エージェントビルダー最新情報
nagix
0
190
AIのための オンボーディングドキュメントを整備する - hirotea
hirotea
9
2.3k
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Fontdeck: Realign not Redesign
paulrobertlloyd
84
5.5k
Art, The Web, and Tiny UX
lynnandtonic
298
21k
Gamification - CAS2011
davidbonilla
81
5.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.2k
Navigating Team Friction
lara
186
15k
Building an army of robots
kneath
306
45k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
5
620
Practical Orchestrator
shlominoach
188
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.2k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
For a Future-Friendly Web
brad_frost
178
9.7k
Transcript
クイズ!Athenaのクエリ結果はどこでしょう? JAWS-UG朝会 #43 2023.03.15 たかくに 1
2 自己紹介 たかくに • 会社:クラスメソッド株式会社 • 部署:AWS 事業本部 コンサルティング部 •
ロール:ソリューションアーキテクト • 好きな AWS サービス:Amazon VPC • Twitter:@takakuni_
3 突然ですが... 普段、Amazon Athena 使ってますか?
• 標準 SQL を使用して分析するサービス • データソースは Amazon S3 • サーバーレス
• クエリの結果を Amazon S3 に保存する 4 Amazon Athena の概要
5 Amazon Athena の操作画面 SQLを利用したクエリ スキャンしたデータ量に課金
6 今日話すところ
7 「クエリエディタ」と「ワークグループ」
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 8 クエリエディタ
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 9 クエリエディタ
• 複数IAMユーザーで共有する環境設定 • クエリの実行結果もカスタマイズ可能 10 ワークグループ
11 今日話したかったこと クエリ結果の配信先として 「クエリエディタ」と「ワークグループ」 どちらが優先される?
12 表にすると... クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 ?
設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
13 問題 1
14 問題 1 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
15 問題 1 - 答え
クエリ実行結果の保存先を設定する必要がある 16 クエリが実行できない(ひっかけです) https://docs.aws.amazon.com/ja_jp/athena/latest/ug/querying.html#query-results-specify-location-console
17 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 ? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
18 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
19 問題 2
20 問題 2 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
21 問題 2 - 答え
22 問題 2 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
23 問題 3
24 問題 3 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
25 問題 3 - 答え
26 問題 3 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
27 ちょっと豆知識 保存先で保存形式(フォルダ階層が異なる) ワークグループ クエリエディタ
28 問題 4
29 問題 4 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
30 問題 4 - 答え
31 問題 4 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
32 問題 5
33 問題 5 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
34 問題 5 - 答え
35 問題 5 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
36 ちょっと豆知識 上書きを有効化すると次のように表示されます
37 問題 6
38 問題 6 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
39 問題 6 - 答え
40 問題 6 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
41 まとめ
• クエリを実行するには実行結果の保存先が必要 • クエリの実行結果は2つの保存先がある • クエリエディタの保存先が優先される ◦ ワークグループ側で上書きを設定すると優先度が 変わる •
保存先の指定有り/無しで設定が分かれた場合、指 定有りが優先される 42 まとめ
43
44 (参考)クエリ結果保存先まとめ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 クエリが実行できない
設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB