Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Mmap with its applications in git and libgit2
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Minqi Pan
January 08, 2016
Programming
300
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Mmap with its applications in git and libgit2
Minqi Pan
January 08, 2016
Transcript
28 slides
mmap 在 git 与 libgit2 中的应⽤用 Minqi Pan
I’m Minqi Pan github.com/pmq20 twitter @psvr
mmap • ⼆二类⼿手册,系统调⽤用 • IEEE POSIX 标准 API 之⼀一 •
Linux / Mac OS X / BSD 均⽀支持
⾏行行为 • 将⽂文件或设备映射⾄至内存,起初完全不读取⽂文件、 完全不占⽤用内存,懒读取 • 进程发起对这片映射空间的访问,引发缺⻚页异常, 实现⽂文件内容到物理理内存(主存)的拷⻉贝 • 系统会周期性地⾃自动回写脏⻚页⾯面到对应的⽂文件磁 盘上,有⼀一段时间的延Ӿ
与常规⽂文件的区别 • 常规⽂文件:磁盘 -> ⻚页缓存 -> ⽤用户主存 • ⻚页缓存在内核空间中,空间不同数据不通 •
mmap:磁盘 -> ⽤用户主存
⽤用法 #include <sys/mman.h> void * // 返回被映射区域的指针 mmap(void *addr, //
被映射的⻚页从 addr 开始 size_t len, // 被映射的⻚页的最⼤大⻓长度 int prot, // ⻚页的读写跑权限保护 int flags, // 选项 int fd, // 映射源 off_t offset); // 映射源的起点偏移量量
None
构造 vm_area_struct
应⽤用 • 按需分⻚页——仅当缺⻚页(访问虚拟地址但其物理理内存未 加载)时 OS 才进⾏行行磁盘到内存的拷⻉贝 • ⻚页缓存——缓存诸如动态库等磁盘数据,通过虚拟内存 映射共享到使⽤用者的进程空间内 •
⾼高效IPC——不同进程将⾃自⾝身⽤用户空间映射到同⼀一个⽂文件 (管道和MQ需要在内核和⽤用户空间进⾏行行四次数据复制) • ⼤大数据处理理——内存空间不⾜足时使⽤用
在 git 应⽤用场景下 • pack 与 delta window 的概念念 •
delta window 与系统分⻚页⼤大⼩小的关系,避免缺⻚页 • 这就是为什什么 pack 内的对象顺序⾄至关重要
mmap 在 git 中应⽤用⼗十分⼴广泛
在 git 中的应⽤用 use_pack pack 的处理理属于⼤大数据处理理,内存空间不⾜足
在 git 中的应⽤用 map_sha1_file
在 git 中的应⽤用 git_config_set_multivar_in_file 如果进程A和进程B都映射了了区域C,当A第⼀一次读取C时通 过缺⻚页从磁盘复制⽂文件⻚页到内存中;但当B再读C的相同⻚页 ⾯面时,虽然也会产⽣生缺⻚页异常,但是不再需要从磁盘中复 制⽂文件过来,⽽而可直接使⽤用已经保存在内存中的⽂文件数据。
在 git 中的应⽤用 diff_populate_filespec While doing rename detection and pickaxe
operation, we may need to grab the data for the blob (or file) for our own in-core comparison.
在 git 中的应⽤用 do_read_index
在 git 中的应⽤用 check_packed_git_idx Open and mmap the index file
at path, perform a couple of consistency checks
在 git 中的应⽤用 do_read_index
在 git 中的应⽤用 ⽤用于⼩小⼯工具读⽂文件
在 git 中的应⽤用 ⽤用于 pack-bitmap
在 git 中的应⽤用 ewah bitmap compression
mmap 在 libgit2 中应⽤用⼗十分有限 仅⽤用于 pack 和 index
在 libgit2 中的应⽤用 new_window
在 libgit2 中的应⽤用 (indexer) parse_header
在 libgit2 中的应⽤用 (indexer) write_at
在 libgit2 中的应⽤用 pack_index_check When doing Packed Object lookup query,
Mmap the index file and do a quick run through the header to guess the index version, and to verify that the size of the index makes sense.
在 libgit2 中的应⽤用 pack_index_check
Thank you https://github.com/pmq20/
More Decks by Minqi Pan
See All by Minqi Pan
RubyConf 2017: Packing your Ruby application into a single executable
pmq20
1
790
Node 8 and Friends
pmq20
0
320
Moving Node.js and nodec to v8 Ignition
pmq20
0
440
QCon 2017 Beijing Observations
pmq20
0
360
Node.js Compiler: compiling your Node.js application into a single executable
pmq20
5
25k
Enclose.IO: current cutting-edges and the future work
pmq20
0
340
环境变量为何能让 Ruby 快十倍
pmq20
3
840
Introductions to Node.js internals
pmq20
0
2.2k
How we scaled GitLab for a 30k-employee company
pmq20
6
1.7k
Other Decks in Programming
See All in Programming
LLM 101
dalinaum
0
510
学びを記事・スライド・Xへ高速展開する― AI-assisted Learning Loopで回すコンテンツ生成術
ochtum
0
210
Zero-Tap Sign-In対応、結局何をすればいいの?
mitohato14
0
2.4k
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
430
Proxmox x Talos Linux x Terraform で実現するなんかいい感じの Kubernetes クラスタ / A Sleek Kubernetes Cluster Powered by Proxmox, Talos Linux, and Terraform
nnaka2992
0
260
テストだけで見つかる? Rubyでつくるメソッド発掘器
izawa
0
140
疎結合とは何か?ソフトウェア設計における結合バランスについて考える #phpcon_niigata
kajitack
2
330
AIが生成したコードは読むべきか?抽象化設計とコードの品質保証 / abstraction-design-and-quality
minodriven
16
9.4k
Kawaiicon: Kubernetes, it's no longer cool, but let's secure it anyway!
barnbarn
0
140
RaspberryPi 5で軽くはじめるk3sとtailscaleを用いたホームサーバー構築 (1)
nasum
0
400
複数ドメインを一つのアプリに統合するFlutterの設計と運用_FlutterKaigi2026登壇資料(須永高弘)
takahirosunaga
0
200
AI時代のIaC入門 〜なぜインフラをコードで管理したいのか?〜 / Introduction to IaC in the AI Era
akihisaikeda
6
1.5k
Featured
See All Featured
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
409
67k
Building a Modern Day E-commerce SEO Strategy
aleyda
45
9.3k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
430
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
540
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.6k
Beyond borders and beyond the search box: How to win the global "messy middle" with AI-driven SEO
davidcarrasco
3
300
Marketing to machines
jonoalderson
1
6k
What's in a price? How to price your products and services
michaelherold
247
13k
ラッコキーワード サービス紹介資料
rakko
5
5.9M