Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20180530LINEDeveloperMeetupRedis-redis-for-mack...

 20180530LINEDeveloperMeetupRedis-redis-for-mackerelio

【東京】LINE Developer Meetup #36 - Redis - での発表スライド (Mackerel を支える Redis の技術) です。

i2tsuki

May 30, 2018
Tweet

More Decks by i2tsuki

Other Decks in Technology

Transcript

  1. About Me • 大野 一樹 (@kizkoh / id:kizkoh) • 株式会社はてな

    Web オペレーションエンジニア • mackerel.io のサービス設計、運用をメインで担当 • 最近の活動: K8S オペレーション、 コンテナ 2
  2. Agenda • Microservices コンポーネントを支える Redis 事例 • 時系列データベースを支える Redis Cluster

    事例 • Redis, Redis Cluster の監視、モニタリング • Redis 活用の次の一歩 3
  3. 5

  4. Three Redis in Mackerel 8 Redis Session Store Database Cache

    2 Nodes Redis Message Queue 3 Nodes Redis Cluster Time Series Database 3 Nodes x 13 Shards
  5. Three Redis in Mackerel 9 Redis Session Store Database Cache

    2 Nodes Redis Message Queue 3 Nodes Redis Cluster Time Series Database 3 Nodes x 13 Shards
  6. Message Queue in Mackerel • Message Queue Pub/Sub Model (Not

    Rescue) ◦ HTTP 経由でメッセージング (Microservices) ◦ 外形監視、 {AWS, Azure}インテグレーション 11 HTTP Requests Publish Job Subscribe Job
  7. Message Queue in Mackerel • 独自の Pub/Sub モデル (リスト型オブジェクト) ◦

    数分間ごとに実行されるメッセージキュー 12 HTTP Requests Publish Job Subscribe Job
  8. Redis HA (High Availability) in Mackerel • Redis Sentinel を使わないレプリケーション

    ◦ keepalived + Route Table + swiro hatena/swiro: swiro - A switching route tool for AWS 13 keepalived (master) keepalived (backup) Replication AWS VPC Route table
  9. Time Series Database (TSDB) in Mackerel 16 Writer Endpoint Reader

    Endpoint Redis Cluster DynamoDB S3 Lambda Lambda (Trigger by TTL expire) Kinesis Streams
  10. Redis Cluster is Cache for TSDB • Redis Cluster は時系列データベースのキャッシュ

    • データアクセス頻度 vs コストモデル 18 High Cost 50 GB Medium Cost 500 GB Low Cost 2 TB
  11. Redis Cluster Workload • 時系列データベースのワークロード ◦ Cluster: single cluster, 13

    Shard, 39 Node ◦ 60min, 6hour, 1week, 1month, 1 year のデータ ▪ 1 粒度だけど粒度は丸められている ▪ 同じホストメトリックは同じシャードに配置 ◦ 1 分点、書き込み中心のワークロード ▪ Write Heavy Workload 19
  12. Why We don’t use Elasticache Cluster? • Redis Cluster on

    EC2 ◦ Elasticache で作成できる上限は 15 シャード ◦ インスタンスタイプの微調整ができない ◦ トラブルが起こったときにわかりづらい ▪ パケットキャプチャ、トラフィック解析 ▪ Lambda, Redis Cluster 間のトラブルシュート 21
  13. • chef を使って EC2 上に Redis Cluster を構築 ◦ 社内は

    chef がプロビジョニングのスタンダード ◦ エージェントをインストール、メトリック取得 ◦ 1 ホスト複数 redis-server プロセス同居 • クラスターへのジョインは自作ツールを利用 ◦ ノード ID を意識しないオペレーション Redis Cluster の運用とモニタリング/監視のコツ – Itsuki – Medium Redis Cluster on EC2 22
  14. Bottleneck of Redis Cluster • 書き込み Heavy ◦ メトリックが増えるとメモリがあふれる ◦

    CPU がボトルネック ▪ Redis のシングルスレッド性能頭打ち ▪ 書き込みエラーになると Lambda が詰まる 過剰なメトリック投稿 >> 過剰読み取りアクセス 23
  15. Bottleneck of Redis Cluster • 書き込み Heavy ◦ Redis への書き込みが詰まる時

    ▪ Redis の CPU が限界値、 Full Resync 問題 ▪ Lambda でエラーが発生する ◦ Kinesis での Lambda Function のエラー処理 ▪ 自動的にリトライ処理がされる ▪ Redis への書き込みがされるまでリトライ => 書き込み失敗によるデータロストは発生しない 24
  16. Efforts to Reduce CPU Load • CPU 負荷を抑えるための Redis Lua

    ◦ メトリック書き込み負荷,、読み込み負荷が高い ◦ Redis Lua で同じホストのメトリックを操作 ▪ 同じホストの複数メトリックを Redis Lua で処理 28 HMSET KEY [FIELD VALUE ...] EVAL(MultiHmSet)
  17. Next Steps for Redis in Mackerel • CloudNative & Managed

    Service ◦ Message Queue ▪ nats.io, SQS, Redis on K8S ◦ Redis Cluster ▪ Elasticache Cluster, DynamoDB DAX ◦ Redis 5.0 ?? 33
  18. Conclusion • Mackerel の Redis 事例 ◦ Message Queue &

    Redis Cluster • Redis Monitoring on mackerel.io • Redis for CloudNative era. 35