Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
5分ちょいでわかった気になるラムダアーキテクチャ
Search
yubessy
August 28, 2017
Programming
0
2.1k
5分ちょいでわかった気になるラムダアーキテクチャ
社内勉強会用資料です
yubessy
August 28, 2017
Tweet
Share
More Decks by yubessy
See All by yubessy
DDIA (Designing Data-Intensive Applications) はいいぞ
yubessy
0
1.2k
Introduction to CircleCI
yubessy
1
98
Docker Hands-on
yubessy
0
93
Resource Polymorphism
yubessy
0
270
不動点コンビネータ?
yubessy
0
250
とりあえず機械学習したかった
yubessy
0
320
Scala Native
yubessy
0
210
Type Erasure と Reflection のはなし
yubessy
1
420
量子暗号
yubessy
0
200
Other Decks in Programming
See All in Programming
macOS でできる リアルタイム動画像処理
biacco42
7
2k
アジャイルを支えるテストアーキテクチャ設計/Test Architecting for Agile
goyoki
7
2.9k
Server Driven Compose With Firebase
skydoves
0
410
Importmapを使ったJavaScriptの 読み込みとブラウザアドオンの影響
swamp09
4
1.3k
Nuxtベースの「WXT」でChrome拡張を作成する | Vue Fes 2024 ランチセッション
moshi1121
1
540
生成 AI を活用した toitta 切片分類機能の裏側 / Inside toitta's AI-Based Factoid Clustering
pokutuna
0
620
飲食業界向けマルチプロダクトを実現させる開発体制とリアルな現状
hiroya0601
1
400
/←このスケジュール表に立ち向かう フロントエンド開発戦略 / A front-end development strategy to tackle a single-slash schedule.
nrslib
1
590
Boost Performance and Developer Productivity with Jakarta EE 11
ivargrimstad
0
910
ピラミッド、アイスクリームコーン、SMURF: 自動テストの最適バランスを求めて / Pyramid Ice-Cream-Cone and SMURF
twada
PRO
9
1k
Tuning GraphQL on Rails
pyama86
2
1.1k
Pinia Colada が実現するスマートな非同期処理
naokihaba
2
160
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
290
Docker and Python
trallard
40
3.1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
160
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Gamification - CAS2011
davidbonilla
80
5k
Six Lessons from altMBA
skipperchong
26
3.5k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Transcript
5分ちょいでわかった気になる ラムダアー キテクチャ @yubessy 0x64 物語 Reboot #06 " システムアー
キテクチャ"
Lambda Architecture
Lambda Architecture ≠
ラムダアー キテクチャとは? = ビッグデー タ処理システムの設計指針 例えるなら: Web アプリの設計指針 -> MVC
ビッグデー タ処理システムの設計指針 -> ラムダアー キテクチャ 提唱者: Nathan Marz Apache Storm の開発者
ビッグデー タの例 ログ 最新の状態だけでなく過去の全事象を記録 -> 時間に対して線形にデー タ量が増加 ソー シャルネットワー ク
ユー ザ同士がサー ビス内でつながる -> ユー ザ数 n に対して O(n^2) の関係デー タ
ビッグデー タ処理システムの例 デー タ分析基盤 デー タドリブンな意思決定を支援する アドホックなクエリにも答えなければならない 機械学習基盤 デー タから直接サー
ビスや機能を創り出す 非常に大きな計算量が必要となる
ビッグデー タ処理の課題 スケー ラビリティ デー タ増に応じてリソー スを追加 RDB では処理能力が追いつかない 堅牢性
デー タ量が多いと耐障害性を保ちにくい 汎用性 どんな処理が実行されるか事前に予想しにくい
登場背景 従来の状況 個別の課題を対処療法的に解決 -> トレー ドオフによるいたちごっこ -> プロジェクト毎に同じ仕事の繰り返し ラムダアー キテクチャ
課題を整理・ 一般化し、 それらを包括的に解決 -> トレー ドオフを統制下に置く -> 一般的な枠組みに昇華
原理 全ての処理はデー タ集合に対するクエリである KPI 分析もレコメンド生成もデー タ集合から 価値を生み出す計算(= クエリ) とみなす クエリはデー
タに対する関数である 関数は必要に応じて分割・ 合成できる -> 計算フロー を垂直・ 水平に分割できる
全貌 https://dzone.com/articles/lambda-architecture-with-apache- spark
全貌 バッチ層 過去からの全デー タをマスタデー タ化して蓄積 マスタデー タからバッチビュー を生成 スピー ド層
生デー タを低レイテンシのストリー ムに流す ストリー ムからリアルタイムビュー を生成 サー ビス層 2つのビュー からクエリの結果を計算
マスタデー タ
マスタデー タ 永続性を必要とする唯一のデー タストア ビュー が失われてもマスタデー タから再生成可 純粋な事実デー タのみを追記方式で記録 他の値から導出できる値は保持しない
削除・ 更新を行わない(≠RDB のテー ブル) 分散ファイルシステム(HDFS, S3 等) を利用 スキー マを強制できるフォー マットを利用
バッチビュー・ リアルタイムビュー
バッチビュー・ リアルタイムビュー 計算量の多いクエリのために事前計算を行う e. g. アクセスログの時間毎・ 日毎の集計値 バッチビュー マスタデー タに定期的なバッチ処理を実行
MapReduce, Apache Spark などを利用 リアルタイムビュー 生デー タをストリー ム集計 Apache Storm, Amazon Kinesis などを利用
ラムダアー キテクチャの利点 クエリの計算フロー を2層に分けることで 様々 なトレー ドオフを回避 正確性 <-> レイテンシ
クエリの自由度 <-> 計算量 永続性をマスタデー タのみに求めることで 堅牢性とスケー ラビリティを両立 冗長化が容易 DB サー バ管理が不要
Livesense Analytics と Lambda Architecture アクセスログテー ブルの生成バッチで導入 マスタデー タ (S3)
( ユー ザID, タイムスタンプ, URL) のみを保持 バッチビュー (Spark on EMR) visit_id や page_type などはこちらで生成 リアルタイムビュー: 作ってない 詳しくは↓ で デー タ分析を支える「 便利カラム」 の問題点と その解決策 - LIVESENSE made*
Livesense Analytics と Lambda Architecture
まとめ だいたいこの本に書いてる
参考 Lambda Architecture » λ lambda-architecture.net Lambda Architecture with Apache
Spark - DZone Big Data O'Reilly Japan - スケー ラブルリアルタイムデー タ 分析入門