Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon O...
Search
yayoi_dd
January 29, 2025
Technology
1
160
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon OpenSearch Cost Optimization and ZeroETL Expectations
弥生株式会社 もくテク
AWS re:Invent 2024 参加報告会(2025/01/29)
https://connpass.com/dashboard/
yayoi_dd
January 29, 2025
Tweet
Share
More Decks by yayoi_dd
See All by yayoi_dd
“お客さま視点”を手に入れろ!! / Get the Customer’s Perspective!!
yayoi_dd
0
100
プロジェクト改善、まずは“ネタ出しの文化”から / Improving Projects Starts with a Culture of Idea Generation
yayoi_dd
0
100
使いにくい仕様を改善した件 / How We Improved a Difficult-to-Use Feature
yayoi_dd
0
110
弥生のQAエンジニア 品質保証活動と今後の課題 / Yayoi QA engineers, Quality assurance activities and future challenges
yayoi_dd
0
150
【弥生】20250130_AWSマルチアカウント運用セミナー登壇資料
yayoi_dd
2
5k
フロントエンドとバックエンド非同期連携パターンのセッションを見てきた話 / Talk about seeing a session on front-end and back-end asynchronous coordination patterns
yayoi_dd
0
100
reInventで学んだWebシステム運用のBadDayへの備え方 / How to Prepare for BadDay in Web System Operations Learned at reInvent
yayoi_dd
0
76
AWS reInventで感じた世界に見る生成AIの競争 / Competition in Generative AI as Seen Around the World at AWS reInvent
yayoi_dd
0
81
データの意味を適切に伝えましょう データ可視化のお手本/Conveying the Meaning of Data Appropriately: Exemplary Data Visualization
yayoi_dd
0
110
Other Decks in Technology
See All in Technology
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
3.5k
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
5k
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
190
20251007: What happens when multi-agent systems become larger? (CyberAgent, Inc)
ornew
1
470
Zephyr(RTOS)にEdge AIを組み込んでみた話
iotengineer22
0
200
プレーリーカードを活用しよう❗❗デジタル名刺交換からはじまるイベント会場交流のススメ
tsukaman
0
190
React19.2のuseEffectEventを追う
maguroalternative
2
520
Railsの話をしよう
yahonda
0
170
これがLambdaレス時代のChatOpsだ!実例で学ぶAmazon Q Developerカスタムアクション活用法
iwamot
PRO
8
1.1k
Click A, Buy B: Rethinking Conversion Attribution in ECommerce Recommendations
lycorptech_jp
PRO
0
110
Codexとも仲良く。CodeRabbit CLIの紹介
moongift
PRO
1
260
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Gamification - CAS2011
davidbonilla
81
5.5k
How GitHub (no longer) Works
holman
315
140k
Site-Speed That Sticks
csswizardry
13
910
The Language of Interfaces
destraynor
162
25k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Navigating Team Friction
lara
190
15k
Transcript
Amazon OpenSearchのコスト最適化と ZeroETLへの期待
© 2025 Yayoi Co., Ltd. All rights reserved. 2 自己紹介
開発本部 サービスプラットフォーム部 エンジニア 今泉 和馬 (いまいずみ かずま) 弥生での業務 AWSのセキュリティとガバナンス オンプレ - AWSのネットワーク運用保守 好きなアマゾン ウェブ サービス(AWS)サービス AWS Control Tower 、AWS Transit Gateway、 Amazon OpenSearch Service 職歴 2018 ~ 2020:独立系SIer 2021 ~ 2022:APNパートナー企業 2023 ~ : 弥生
◼ 初海外・初re:Invent ◼ ずっと楽しい ◼ 睡眠時間が短い ◆ 帰ってきて体調不良(溶連菌→気管支炎のダブルコンボ) ◼ ワークショップをメインにセッションに参加
弊社でも導入しているOpensSearchのコスト最適化の セッションの内容について ◼ [ANT310] Amazon OpenSearch Service による低コストのログ記録と監視 re:Invent現地初参加しました~
Amazon OpenSearch Serviceの概要 ◼ OpenSearchベースの完全マネージドサービス ◼ コスト、セキュリティ、スケーラビリティを最適化 ◼ リアルタイムアプリケーション監視、ウェブサイト検索、インタラクティブロ グ分析などに活用可能
弊社利用例
OpensSearchのコストについて •基本 • データノードで利用するインスタンス • インスタンスタイプ×利用するノード数 • ストレージ料金 • EBS
• OR1インスタンス利用であればS3 •オプション • UltraWarmデータノード • ウォームデータストレージ (低頻度アクセス データ) • コールドデータストレージ(長期アーカイブ データ) • 専用マスターノード • インスタンスタイプ×利用するノード数
◼ レプリカシャードを利用で、単純に保管するログの倍のインスタンスが必要 ◆ レプリカシャードとはプライマリシャードが壊れたとき用のバックアップ ◼ インスタンス毎に最大容量が決まっているので、容量が増え続けるだけでスペッ クの高いインスタンスタイプを選択する必要がある ◼ 3つのストレージティア (ホット、ウルトラウォーム、コールド)
を提供 ◆ ホットストレージに約 2.5 TiB ある場合にUltraWarmのコストメリットが見込まれる ◆ ポリシーベースの自動化で、ログのライフサイクルを最適化可能 ◆ UltraWarmを利用するにもインスタンスの費用はかかるので注意 ログの保管量の増大に伴い、コストと可用性のバランスが重要 コストのかかると思われる要因
◼ re:Invent2023で発表 ◼ 料金パフォーマンスが最大 30% 向上し、Amazon S3 を使用してイレブンナイン の耐久性が実現 ◆
EBS ボリュームをプライマリストレージとして使用し、データが書き込まれるとすぐS3 に同期 的にコピー ◼ 高い耐久性と共に、インデックスへのスループットも向上 ◼ プライマリでのみドキュメント操作が実行されるため、書き込みレイテンシが低 い ◆ 弊社環境でもOR1インスタンスを今季から利用 ◆ 統合環境に関してはノード数見直しとOR1インスタンスを利用しコスト50%減 ◼ これまでレプリカシャードで利用していたEBSボリュームをS3に置き換えること ができる OR1インスタンス
◼ 2.15以前の既存ドメインは他のインスタンスタイプからOR1インスタンスへ切り 替えることができないため、スナップショットから復元するなど移行が必要 ◼ レプリカシャードは0に設定するインデックスの設定が必要 ◆ データは Amazon S3 から自動的に復元されるが、修復操作中は一部のデータアクセスができ
なくなる ◆ アクティブに書き込まれていないインデックスの検索に高可用性が必要な場合レプリカを利用 しつつ、アクティブに書き込まれなくなったインデックスは0にするという形でログのライフ サイクルを設定する必要はある OR1の注意点
◼ OpenSearch Service からS3 上のデータにクエリを実行できる Direct Query が 利用可能 ◼
複雑な抽出、変換、ロード (ETL) パイプラインを構築する必要がなくなる ◼ OpenSearch Service と Amazon S3 ストレージの両方にデータを複製するコス トがかからなくなる ◼ 現状のゼロETLは2種類 ◆ Amazon OpenSearch Service zero-ETL integration with Amazon S3(re:Invent2023で発表) ◆ Amazon OpenSearch Service zero-ETL integration with Amazon Security Lake. (re:Invent2024で発表) ◼ 弊社でも利用を検討 ◼ OpenSearch ドメインはバージョン 2.13 以上 ゼロETL
弊社で利用するなら。。。
◼ EBSボリュームを気にする必要がなくなることはすごくいい ◆ ボリュームが増える→インスタンスの過剰スペックを選択しなければならないことにおびえな くていい ◼ Dashboardが準備されていたりするので使いやすい ◼ 高速にクエリする方法が3つ準備されている ◼
普通の状態と検索するよりは遅かったり、何をカラムとして指定するかなど検討 することは増える ゼロETLの操作感・所感 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Amazon-OpenSearch- Service-Best-Practice-Logging_1210_v1.pdf から引用
◼ Skipping indexes ◆ S3 に保存されたデータのメタデータのみをインデックス化するオプション ◼ Materialized views ◆
集計などの複雑なクエリを使用するダッシュボードの Visualize を作成するときに使うオプ ション ◼ Covering Indexes ◆ 指定されたカラムのデータを全てインデックス化。ストレージを多く使うが、パフォーマンス 効果は最も高いオプション 高速クエリ Skipping Materialized views Covering Indexes ユースケース クエリ Visualize作成 ほぼOpensSearchの機 能が利用可能 パフォーマンス 15-30 s 1-5 s 1-5 s インデックス作成有 無 メタデータのみ Dashboard作成などの Aggregationで利用 新しくインデックスを 作成 ストレージ保存 小 小 大
◼ ログの用途に合わせて使い分けが必要 ◆ 全部をゼロETLに置き換えることは難しいので、S3 Tablesとかと連携してEBSと遜色なく検索 できればいいなあ ◼ 新しいサービスに触れたのはすごくよかったです! ◆ 必要な情報やサンプルログで操作でき、日本で利用を検討できる状態に持って行けたのはすご
くよかった まとめ
ご清聴ありがとうございました!