Gizzard Quick Intro (Korean)

Quick introduction for Gizzard which is a data store middleware from Twitter (Korean ver.)

Transcript

1. Gizzard Quick Intro 황현석 fr.hwang@gmail.com
2. 목차 •Gizzard? •DB Scaling 주요 방법 소개 •왜 Gizzard를 만들었나? •Gizzard의 특징 •Gizzard 사용하기 •Gizzard use case
3. Gizzard A library for creating distributed Data Store (a.k.a Data Store sharding middleware)
4. DB Scaling 주요 방법 •Replication •Partitioning •Sharding
5. Replication •동일한 데이터를 중복하여 저장 •목적 •데이터 안정성 (reliability) •가용성 (availability) •Fail over, Fault tolerance •LB: Read/Write Off-loading •Backup
6. Partitioning •DB 데이터를 쪼개어 저장 •유형 •Horizontal : row 단위 •Vertical : table 단위 •목적 •성능 (performance) •가용성 (availability)
7. Sharding •여러 개의 노드에 걸쳐 Horizontal Partitioning •일반적으로 Replication을 수반함 •Shared-Nothing + Aggregation Cost •Shard Key is Key! •목적 •성능 - 인덱스 크기와 밀접한 관련 •가용성
8. 왜 Gizzard를 만들었나? by Twitter •애플리케이션에서 Sharding을 구현하는 것은 정말 어렵고 골치아픈 문제 •3rd Party Open Source Framework은 Web 특화적인 문제에 알맞지 않음
9. Gizzard의 특징
10. Middleware •웹 앱과 저장소 사이에서 네트워킹 서비스를 제공 •여러 개의 Gizzard를 띄워 TCP 커넥션 갯수 제한을 늘릴 수 있음 •Scala로 구현됨 (w/ JVM)
11. 다양한 Back-end Data Store 지원 •네크워킹이 가능한 저장소라면 무엇이든 지원 •예. RDB(MySQL등), Lucene, Redis, ... •의도한 순서대로 저장하는 것을 보장 안함 •저장 순서가 중요한 앱에서는 사용 못함
12. Forwarding Table을 통한 Partitioning •Fowarding Table에 특정 Shard의 id 범위를 맵핑 : Range 기반 •사용자 정의 해싱 함수로 균형도 조정 : Fun(id) •Custom Consistent Hashing도 지원되지만 추천 안함
13. Replication Tree •Logical Shard •데이터의 논리적인 범위를 묶어주는 branch node •write/read 확산 규칙을 포함 •다양한 전략 구사 가능 (Write-Only, Read-Only, Replicate 등) •Custom 전략도 가능
14. Fault-tolerant •No Single Point Of Failure •특정 Replica 가 죽어도 나머지 정상 Replica로 장애없이 서비스 •Replica가 살아나면 버퍼링된 데이터로 비동기 쓰기 시도 -> 일종의 저널링 시스템 사용 •특정 Shard의 모든 Replica가 죽어도 다른 Shard에는 영향 없음 •비동기 복구 전략 때문에 쓰기 트랜잭션은 순서와 무관 하게 수행 될 수 있어야 함
15. Migration •로드 분산을 위한 노드 추가 시 마이그레이션 지원 •마이그레이션이 완료될 때 까지 •쓰기 : WriteOnly, Datastore A •읽기 : Datastore A
16. 쓰기 충돌 해결 •동일 레코드를 변경하려는 연산이 동시에 요청되었을 때 발생 •쓰기 연산이 순서에는 무관해야 •각 쓰기 연산이 독립적이고 멱등(idempotent) 하며 교환 가능하게 모델을 설계해야 함
17. Gizzard 사용하기 •서버 : Gizzard 기반의 분산 Key-Value Store 인 Rowz를 내려받아 커스터마이징 •클라이언트 : Thrift, Gizzmo, Custom Driver •https://github.com/twitter/gizzard/blob/ master/doc/using.md
18. Gizzard Use Case •T-bird •Distributed MySQL-backed DB by Twitter •https://github.com/twitter/haplocheirus •Redis-backed storage engine for timelines by Twitter •https://github.com/twitter/flockdb •Distributed MySQL-backed Graph DB by Twitter
19. 감사합니다. https://github.com/twitter/gizzard