Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gizzard Quick Intro (Korean)
Search
Hyunseok Hwang
August 02, 2012
Technology
2
130
Gizzard Quick Intro (Korean)
Quick introduction for Gizzard which is a data store middleware from Twitter (Korean ver.)
Hyunseok Hwang
August 02, 2012
Tweet
Share
Other Decks in Technology
See All in Technology
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
320
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
130
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
290
AWS認定を取る中で感じたこと
siromi
1
190
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.8k
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
160
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
390
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
730
CRE Camp #1 エンジニアリングを民主化するCREチームでありたい話
mntsq
1
130
OPENLOGI Company Profile
hr01
0
67k
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
300
ビズリーチにおけるリアーキテクティング実践事例 / JJUG CCC 2025 Spring
visional_engineering_and_design
1
130
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
310
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Automating Front-end Workflow
addyosmani
1370
200k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
A Tale of Four Properties
chriscoyier
160
23k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Transcript
Gizzard Quick Intro 황현석
[email protected]
목차 •Gizzard? •DB Scaling 주요 방법 소개 •왜 Gizzard를 만들었나?
•Gizzard의 특징 •Gizzard 사용하기 •Gizzard use case
Gizzard A library for creating distributed Data Store (a.k.a Data
Store sharding middleware)
DB Scaling 주요 방법 •Replication •Partitioning •Sharding
Replication •동일한 데이터를 중복하여 저장 •목적 •데이터 안정성 (reliability) •가용성
(availability) •Fail over, Fault tolerance •LB: Read/Write Off-loading •Backup
Partitioning •DB 데이터를 쪼개어 저장 •유형 •Horizontal : row 단위
•Vertical : table 단위 •목적 •성능 (performance) •가용성 (availability)
Sharding •여러 개의 노드에 걸쳐 Horizontal Partitioning •일반적으로 Replication을 수반함
•Shared-Nothing + Aggregation Cost •Shard Key is Key! •목적 •성능 - 인덱스 크기와 밀접한 관련 •가용성
왜 Gizzard를 만들었나? by Twitter •애플리케이션에서 Sharding을 구현하는 것은 정말
어렵고 골치아픈 문제 •3rd Party Open Source Framework은 Web 특화적인 문제에 알맞지 않음
Gizzard의 특징
Middleware •웹 앱과 저장소 사이에서 네트워킹 서비스를 제공 •여러 개의
Gizzard를 띄워 TCP 커넥션 갯수 제한을 늘릴 수 있음 •Scala로 구현됨 (w/ JVM)
다양한 Back-end Data Store 지원 •네크워킹이 가능한 저장소라면 무엇이든 지원
•예. RDB(MySQL등), Lucene, Redis, ... •의도한 순서대로 저장하는 것을 보장 안함 •저장 순서가 중요한 앱에서는 사용 못함
Forwarding Table을 통한 Partitioning •Fowarding Table에 특정 Shard의 id 범위를
맵핑 : Range 기반 •사용자 정의 해싱 함수로 균형도 조정 : Fun(id) •Custom Consistent Hashing도 지원되지만 추천 안함
Replication Tree •Logical Shard •데이터의 논리적인 범위를 묶어주는 branch node
•write/read 확산 규칙을 포함 •다양한 전략 구사 가능 (Write-Only, Read-Only, Replicate 등) •Custom 전략도 가능
Fault-tolerant •No Single Point Of Failure •특정 Replica 가 죽어도
나머지 정상 Replica로 장애없이 서비스 •Replica가 살아나면 버퍼링된 데이터로 비동기 쓰기 시도 -> 일종의 저널링 시스템 사용 •특정 Shard의 모든 Replica가 죽어도 다른 Shard에는 영향 없음 •비동기 복구 전략 때문에 쓰기 트랜잭션은 순서와 무관 하게 수행 될 수 있어야 함
Migration •로드 분산을 위한 노드 추가 시 마이그레이션 지원 •마이그레이션이
완료될 때 까지 •쓰기 : WriteOnly, Datastore A •읽기 : Datastore A
쓰기 충돌 해결 •동일 레코드를 변경하려는 연산이 동시에 요청되었을 때
발생 •쓰기 연산이 순서에는 무관해야 •각 쓰기 연산이 독립적이고 멱등(idempotent) 하며 교환 가능하게 모델을 설계해야 함
Gizzard 사용하기 •서버 : Gizzard 기반의 분산 Key-Value Store 인
Rowz를 내려받아 커스터마이징 •클라이언트 : Thrift, Gizzmo, Custom Driver •https://github.com/twitter/gizzard/blob/ master/doc/using.md
Gizzard Use Case •T-bird •Distributed MySQL-backed DB by Twitter •https://github.com/twitter/haplocheirus
•Redis-backed storage engine for timelines by Twitter •https://github.com/twitter/flockdb •Distributed MySQL-backed Graph DB by Twitter
감사합니다. https://github.com/twitter/gizzard