Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG 朝会 #43 登壇資料
Search
takakuni
March 15, 2023
Technology
0
1.4k
JAWS-UG 朝会 #43 登壇資料
takakuni
March 15, 2023
Tweet
Share
More Decks by takakuni
See All by takakuni
Classmethod AI Talks #13
takakuni
0
190
Allowed to prefixes
takakuni
0
300
About Extended Threat Detection in Amazon GuardDuty
takakuni
0
240
SageMaker Hyperpod 101 #regrowth_sapporo
takakuni
1
260
What is Amazon Bedrock knowledge base with an Amazon Kendra GenAI index?
takakuni
0
370
New Security Challenges and Countermeasures Brought by Generative AI in Classmethod Cloud Security Fes
takakuni
0
380
サンプルサンプル株式会社 会社説明資料
takakuni
0
3.2k
re:Inforce 2024 コンテナセキュリティアップデートまとめ
takakuni
0
410
AWS re:Inforce 2024 個人的推しアップデート総まとめ(仮)
takakuni
0
1.2k
Other Decks in Technology
See All in Technology
やさしいMCP入門
minorun365
PRO
77
43k
「家族アルバム みてね」を支えるS3ライフサイクル戦略
fanglang
3
450
10分でわかるfreeeのQA
freee
1
11k
OCI見積もり入門セミナー
oracle4engineer
PRO
0
130
Redefine_Possible
upsider_tech
0
370
初めてのPostgreSQLメジャーバージョンアップ
kkato1
0
480
Amebaにおける Platform Engineeringの実践
kumorn5s
4
610
スケールアップ企業のQA組織のバリューを最大限に引き出すための取り組み
tarappo
4
1k
ペアプログラミングにQAが加わった!職能を超えたモブプログラミングの事例と学び
tonionagauzzi
1
150
IAMのマニアックな話 2025 ~40分バージョン ~
nrinetcom
PRO
8
990
モンテカルロ木探索のパフォーマンスを予測する Kaggleコンペ解説 〜生成AIによる未知のゲーム生成〜
rist
4
1.2k
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
460
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
17
1.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
12
620
How to Ace a Technical Interview
jacobian
276
23k
Designing for Performance
lara
606
69k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.6k
The Invisible Side of Design
smashingmag
299
50k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
118
51k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Unsuck your backbone
ammeep
670
57k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Transcript
クイズ!Athenaのクエリ結果はどこでしょう? JAWS-UG朝会 #43 2023.03.15 たかくに 1
2 自己紹介 たかくに • 会社:クラスメソッド株式会社 • 部署:AWS 事業本部 コンサルティング部 •
ロール:ソリューションアーキテクト • 好きな AWS サービス:Amazon VPC • Twitter:@takakuni_
3 突然ですが... 普段、Amazon Athena 使ってますか?
• 標準 SQL を使用して分析するサービス • データソースは Amazon S3 • サーバーレス
• クエリの結果を Amazon S3 に保存する 4 Amazon Athena の概要
5 Amazon Athena の操作画面 SQLを利用したクエリ スキャンしたデータ量に課金
6 今日話すところ
7 「クエリエディタ」と「ワークグループ」
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 8 クエリエディタ
• 各 IAM ユーザーごとの環境 • 各個人でクエリの保持が可能 • クエリの実行結果もカスタマイズ可能 9 クエリエディタ
• 複数IAMユーザーで共有する環境設定 • クエリの実行結果もカスタマイズ可能 10 ワークグループ
11 今日話したかったこと クエリ結果の配信先として 「クエリエディタ」と「ワークグループ」 どちらが優先される?
12 表にすると... クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 ?
設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
13 問題 1
14 問題 1 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
15 問題 1 - 答え
クエリ実行結果の保存先を設定する必要がある 16 クエリが実行できない(ひっかけです) https://docs.aws.amazon.com/ja_jp/athena/latest/ug/querying.html#query-results-specify-location-console
17 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 ? 設定無し 設定無し 有効 ? 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
18 問題 1 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
19 問題 2
20 問題 2 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 ? 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
21 問題 2 - 答え
22 問題 2 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
23 問題 3
24 問題 3 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 ? 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
25 問題 3 - 答え
26 問題 3 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
27 ちょっと豆知識 保存先で保存形式(フォルダ階層が異なる) ワークグループ クエリエディタ
28 問題 4
29 問題 4 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 ? 設定有り(バケットA) 設定有り(バケットB) 有効 ?
30 問題 4 - 答え
31 問題 4 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
32 問題 5
33 問題 5 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 ? 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 ?
34 問題 5 - 答え
35 問題 5 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
36 ちょっと豆知識 上書きを有効化すると次のように表示されます
37 問題 6
38 問題 6 クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効
クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 ? 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
39 問題 6 - 答え
40 問題 6 の答え合わせ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し
無効 クエリが実行できない 設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB
41 まとめ
• クエリを実行するには実行結果の保存先が必要 • クエリの実行結果は2つの保存先がある • クエリエディタの保存先が優先される ◦ ワークグループ側で上書きを設定すると優先度が 変わる •
保存先の指定有り/無しで設定が分かれた場合、指 定有りが優先される 42 まとめ
43
44 (参考)クエリ結果保存先まとめ クエリエディタ設定値 ワークグループ設定値 ワークグループ上書き クエリ結果保存先 設定無し 設定無し 無効 クエリが実行できない
設定無し 設定無し 有効 クエリが実行できない 設定無し 設定有り(バケットB) 無効 バケットB 設定無し 設定有り(バケットB) 有効 バケットB 設定有り(バケットA) 設定無し 無効 バケットA 設定有り(バケットA) 設定無し 有効 バケットA 設定有り(バケットA) 設定有り(バケットB) 無効 バケットA 設定有り(バケットA) 設定有り(バケットB) 有効 バケットB