Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon O...
Search
yayoi_dd
January 29, 2025
Technology
1
100
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon OpenSearch Cost Optimization and ZeroETL Expectations
弥生株式会社 もくテク
AWS re:Invent 2024 参加報告会(2025/01/29)
https://connpass.com/dashboard/
yayoi_dd
January 29, 2025
Tweet
Share
More Decks by yayoi_dd
See All by yayoi_dd
“お客さま視点”を手に入れろ!! / Get the Customer’s Perspective!!
yayoi_dd
0
92
プロジェクト改善、まずは“ネタ出しの文化”から / Improving Projects Starts with a Culture of Idea Generation
yayoi_dd
0
95
使いにくい仕様を改善した件 / How We Improved a Difficult-to-Use Feature
yayoi_dd
0
95
弥生のQAエンジニア 品質保証活動と今後の課題 / Yayoi QA engineers, Quality assurance activities and future challenges
yayoi_dd
0
120
【弥生】20250130_AWSマルチアカウント運用セミナー登壇資料
yayoi_dd
2
3.7k
フロントエンドとバックエンド非同期連携パターンのセッションを見てきた話 / Talk about seeing a session on front-end and back-end asynchronous coordination patterns
yayoi_dd
0
84
reInventで学んだWebシステム運用のBadDayへの備え方 / How to Prepare for BadDay in Web System Operations Learned at reInvent
yayoi_dd
0
62
AWS reInventで感じた世界に見る生成AIの競争 / Competition in Generative AI as Seen Around the World at AWS reInvent
yayoi_dd
0
74
データの意味を適切に伝えましょう データ可視化のお手本/Conveying the Meaning of Data Appropriately: Exemplary Data Visualization
yayoi_dd
0
98
Other Decks in Technology
See All in Technology
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
2
200
Tiptapで実現する堅牢で柔軟なエディター開発
kirik
1
150
今日からあなたもGeminiを好きになる
subaruhello
1
650
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
150
ecspressoの設計思想に至る道 / sekkeinight2025
fujiwara3
12
2.1k
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
210
Wasmで社内ツールを作って配布しよう
askua
0
150
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
170
Expertise as a Service via MCP
yodakeisuke
1
160
興味の胞子を育て 業務と技術に広がる”きのこ力”
fumiyasac0921
0
290
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
15
7.6k
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
230
Featured
See All Featured
Gamification - CAS2011
davidbonilla
81
5.4k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Six Lessons from altMBA
skipperchong
28
3.9k
Producing Creativity
orderedlist
PRO
346
40k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
GitHub's CSS Performance
jonrohan
1031
460k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Into the Great Unknown - MozCon
thekraken
40
1.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.4k
Transcript
Amazon OpenSearchのコスト最適化と ZeroETLへの期待
© 2025 Yayoi Co., Ltd. All rights reserved. 2 自己紹介
開発本部 サービスプラットフォーム部 エンジニア 今泉 和馬 (いまいずみ かずま) 弥生での業務 AWSのセキュリティとガバナンス オンプレ - AWSのネットワーク運用保守 好きなアマゾン ウェブ サービス(AWS)サービス AWS Control Tower 、AWS Transit Gateway、 Amazon OpenSearch Service 職歴 2018 ~ 2020:独立系SIer 2021 ~ 2022:APNパートナー企業 2023 ~ : 弥生
◼ 初海外・初re:Invent ◼ ずっと楽しい ◼ 睡眠時間が短い ◆ 帰ってきて体調不良(溶連菌→気管支炎のダブルコンボ) ◼ ワークショップをメインにセッションに参加
弊社でも導入しているOpensSearchのコスト最適化の セッションの内容について ◼ [ANT310] Amazon OpenSearch Service による低コストのログ記録と監視 re:Invent現地初参加しました~
Amazon OpenSearch Serviceの概要 ◼ OpenSearchベースの完全マネージドサービス ◼ コスト、セキュリティ、スケーラビリティを最適化 ◼ リアルタイムアプリケーション監視、ウェブサイト検索、インタラクティブロ グ分析などに活用可能
弊社利用例
OpensSearchのコストについて •基本 • データノードで利用するインスタンス • インスタンスタイプ×利用するノード数 • ストレージ料金 • EBS
• OR1インスタンス利用であればS3 •オプション • UltraWarmデータノード • ウォームデータストレージ (低頻度アクセス データ) • コールドデータストレージ(長期アーカイブ データ) • 専用マスターノード • インスタンスタイプ×利用するノード数
◼ レプリカシャードを利用で、単純に保管するログの倍のインスタンスが必要 ◆ レプリカシャードとはプライマリシャードが壊れたとき用のバックアップ ◼ インスタンス毎に最大容量が決まっているので、容量が増え続けるだけでスペッ クの高いインスタンスタイプを選択する必要がある ◼ 3つのストレージティア (ホット、ウルトラウォーム、コールド)
を提供 ◆ ホットストレージに約 2.5 TiB ある場合にUltraWarmのコストメリットが見込まれる ◆ ポリシーベースの自動化で、ログのライフサイクルを最適化可能 ◆ UltraWarmを利用するにもインスタンスの費用はかかるので注意 ログの保管量の増大に伴い、コストと可用性のバランスが重要 コストのかかると思われる要因
◼ re:Invent2023で発表 ◼ 料金パフォーマンスが最大 30% 向上し、Amazon S3 を使用してイレブンナイン の耐久性が実現 ◆
EBS ボリュームをプライマリストレージとして使用し、データが書き込まれるとすぐS3 に同期 的にコピー ◼ 高い耐久性と共に、インデックスへのスループットも向上 ◼ プライマリでのみドキュメント操作が実行されるため、書き込みレイテンシが低 い ◆ 弊社環境でもOR1インスタンスを今季から利用 ◆ 統合環境に関してはノード数見直しとOR1インスタンスを利用しコスト50%減 ◼ これまでレプリカシャードで利用していたEBSボリュームをS3に置き換えること ができる OR1インスタンス
◼ 2.15以前の既存ドメインは他のインスタンスタイプからOR1インスタンスへ切り 替えることができないため、スナップショットから復元するなど移行が必要 ◼ レプリカシャードは0に設定するインデックスの設定が必要 ◆ データは Amazon S3 から自動的に復元されるが、修復操作中は一部のデータアクセスができ
なくなる ◆ アクティブに書き込まれていないインデックスの検索に高可用性が必要な場合レプリカを利用 しつつ、アクティブに書き込まれなくなったインデックスは0にするという形でログのライフ サイクルを設定する必要はある OR1の注意点
◼ OpenSearch Service からS3 上のデータにクエリを実行できる Direct Query が 利用可能 ◼
複雑な抽出、変換、ロード (ETL) パイプラインを構築する必要がなくなる ◼ OpenSearch Service と Amazon S3 ストレージの両方にデータを複製するコス トがかからなくなる ◼ 現状のゼロETLは2種類 ◆ Amazon OpenSearch Service zero-ETL integration with Amazon S3(re:Invent2023で発表) ◆ Amazon OpenSearch Service zero-ETL integration with Amazon Security Lake. (re:Invent2024で発表) ◼ 弊社でも利用を検討 ◼ OpenSearch ドメインはバージョン 2.13 以上 ゼロETL
弊社で利用するなら。。。
◼ EBSボリュームを気にする必要がなくなることはすごくいい ◆ ボリュームが増える→インスタンスの過剰スペックを選択しなければならないことにおびえな くていい ◼ Dashboardが準備されていたりするので使いやすい ◼ 高速にクエリする方法が3つ準備されている ◼
普通の状態と検索するよりは遅かったり、何をカラムとして指定するかなど検討 することは増える ゼロETLの操作感・所感 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Amazon-OpenSearch- Service-Best-Practice-Logging_1210_v1.pdf から引用
◼ Skipping indexes ◆ S3 に保存されたデータのメタデータのみをインデックス化するオプション ◼ Materialized views ◆
集計などの複雑なクエリを使用するダッシュボードの Visualize を作成するときに使うオプ ション ◼ Covering Indexes ◆ 指定されたカラムのデータを全てインデックス化。ストレージを多く使うが、パフォーマンス 効果は最も高いオプション 高速クエリ Skipping Materialized views Covering Indexes ユースケース クエリ Visualize作成 ほぼOpensSearchの機 能が利用可能 パフォーマンス 15-30 s 1-5 s 1-5 s インデックス作成有 無 メタデータのみ Dashboard作成などの Aggregationで利用 新しくインデックスを 作成 ストレージ保存 小 小 大
◼ ログの用途に合わせて使い分けが必要 ◆ 全部をゼロETLに置き換えることは難しいので、S3 Tablesとかと連携してEBSと遜色なく検索 できればいいなあ ◼ 新しいサービスに触れたのはすごくよかったです! ◆ 必要な情報やサンプルログで操作でき、日本で利用を検討できる状態に持って行けたのはすご
くよかった まとめ
ご清聴ありがとうございました!