Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
mallocしただけでメモリが確保できるって本当ですか?
Search
MakKi
December 22, 2021
Programming
320
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
mallocしただけでメモリが確保できるって本当ですか?
AWS (t2.micro) デモバージョン
MakKi
December 22, 2021
Transcript
19 slides
mallocしただけで メモリが確保できるって 本当ですか? KLab株式会社 牧内大輔
自己紹介 • 牧内大輔 ◦ Twitter: @makki_d ◦ Github: makiuchi-d •
KLab株式会社 ◦ スマホ向けオンラインゲームの会社 ◦ エンジニアリングマネージャー • 特徴 ◦ Linux使い(Kubuntu + Compiz) ◦ 仕事:オンライン対戦のネットワーク基盤とか ◦ 趣味:バーコード/QRコードライブラリをGoに移植 ▪ そういえば昨晩blog記事かきました • QRコードを1ピクセルずつ消していく闇のゲームの攻略法 • https://makiuchi-d.github.io/2021/12/22/yami-qrcode.ja.html
今日はmallocの話をします
C言語触ったことある人
mallocが何か知っている人
mallocについて • C標準ライブラリの関数 • メモリの動的割り当て #include <stdlib.h> void *malloc(size_t size);
mallocの使い方 • こんなコードを見たことがあると思います void *p = malloc(1000); if(p == NULL){
// メモリ確保失敗の処理 ... }
このプログラムを 見てください
#define MALLOC_COUNT 20 #define PAGE_SIZE 4096 int main() { char
*ptrs[MALLOC_COUNT] = {NULL}; int count = 0; int i; printf("start. pid=%d", getpid()); getchar(); for(i=0; i<MALLOC_COUNT; ++i){ ptrs[i] = (char *) malloc(100 * 1024 * 1024); if(ptrs[i] == NULL){ printf("malloc returns NULL\n"); break; } count++; printf("malloc: p[%d] = %p", i, ptrs[i]); getchar(); } printf("total %d MB allocated", count * 100); getchar(); for(i=0; i<count; ++i){ int t; for(t=0; t<100*1024*1024; t += PAGE_SIZE){ ptrs[i][t] = 0; } printf("touch %d MB", (i+1)100); getchar(); } for(i=0; i<count; ++i){ free(ptrs[i]); } return 0; }
#define MALLOC_COUNT 20 #define PAGE_SIZE 4096 int main() { char
*ptrs[MALLOC_COUNT] = {NULL}; int count = 0; int i; printf("start. pid=%d", getpid()); getchar(); for(i=0; i<MALLOC_COUNT; ++i){ ptrs[i] = (char *) malloc(100 * 1024 * 1024); if(ptrs[i] == NULL){ printf("malloc returns NULL\n"); break; } count++; printf("malloc: p[%d] = %p", i, ptrs[i]); getchar(); } printf("total %d MB allocated", count * 100); getchar(); for(i=0; i<count; ++i){ int t; for(t=0; t<100*1024*1024; t += PAGE_SIZE){ ptrs[i][t] = 0; } printf("touch %d MB", (i+1)100); getchar(); } for(i=0; i<count; ++i){ free(ptrs[i]); } return 0; } 100MBずつ20回malloc 失敗したらbreak 確保できたらアドレスを表示 確保した合計を表示 確保した領域に書き込み 書き込んだ領域のサイズ表示 メモリ解放
問題:何MB確保できるでしょうか • デモ用マシンについて ◦ AWS EC2 t2.micro Ubuntu20.04 LTS ◦
物理メモリ 1GB ▪ total 968MiB、free 700MiBちょっと ◦ スワップ領域 0 1. 700 MB 2. 900 MB 3. 2000 MB
動かしてみます
結果 • 2000MBまでmalloc成功 • この段階ではメモリ使用率は増えていない • 確保したメモリに書き込んではじめてメモリ使用率増加 • 800MBくらいでOOM-Killerによって強制終了
なぜこうなったのか
仮想アドレス空間 • プロセスから見えるメモリアドレス空間 ◦ ひと塊の大きなメモリに見える ◦ 物理メモリの大きさとは無関係 • プロセス毎に独立 ◦
他プロセスのメモリにアクセスできない • 物理メモリとのマッピングはOSが管理 ◦ CPUの機能(MMU)を利用 物理メモリ 仮想アドレス
mallocしたとき • 仮想アドレス空間を予約 ◦ このアドレスが戻り値 • 物理メモリへのマッピングはまだしない ◦ メモリ使用量は増えない 物理メモリ
仮想アドレス ?
書き込みしたとき • このとき初めて物理メモリにマッピング ◦ メモリ使用量増加 最終的に物理メモリが足りなくなり メモリを開放するために プロセスが殺されました(OOM-Killer) 物理メモリ 仮想アドレス
まとめ • mallocしただけでは物理メモリは確保されない • 戻り値チェックだけではメモリ不足を防げない • 大量にメモリを使うプログラムを書くときは気をつけましょう • 裏には複雑な仕組みが隠れていてコンピュータっておもしろい!
参考文献とか • [試して理解] Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識 ◦ 竹内 覚、2018、技術評論社 ◦ ISBN:
978-4774196077 ※今回のmallocの挙動は、glibcのmallocにおいて heapではなくpageからメモリ確保する場合のものです。 ※mallocはもっと複雑なことをやっているので、 興味のある人は小崎先生の動画を見ましょう。 https://www.youtube.com/watch?v=0-vWT-t0UHg
More Decks by MakKi
See All by MakKi
zero-micro: Codex Microがzero-kb02にそっくりだったので作ったった
makki_d
0
110
テストだけじゃない!インプロセスDBで生まれるGoらしさ
makki_d
0
85
テストだけじゃない!インプロセスDBで生まれるGoらしさ
makki_d
0
91
SQLだけでマイグレーションしたい!
makki_d
0
1.4k
Recap: An Operating System in Go
makki_d
2
220
XSLTで作るBrainfuck処理系
makki_d
0
490
眼鏡と視力についての誤解を解く
makki_d
0
270
標準ライブラリの動向とイテレータのパフォーマンス
makki_d
3
810
range over funcのエラー処理
makki_d
1
1.9k
Other Decks in Programming
See All in Programming
AI時代のシニアエンジニアとは
yosuke_furukawa
PRO
15
12k
Crash Auto Pipelines
veronikapj
1
420
止まらない比較を止める — 余帰納法で無限ストリームを比べる
tarao
0
180
Performance Optimization With LLMs
xleitix
0
260
React Native経験者が Flutterを30⽇間触って驚いたこと
3saito
0
190
自宅サーバはどこまで再現できるのか - Proxmox VE上のVM環境をIaCとバックアップで戻してみた
youto
0
290
動画プレイヤーはなぜカクつくのか 〜Flutterのレンダリングとネイティブの境界を解剖する〜
naruogram
0
340
조합이폭발하는디자인시스템이걸눈으로도테스트하라고요
giljongyu
0
760
Kotlin Fest 2026: Kotlin コンパイラに Contribute してみよう! - Kotlin/Wasm で深い再帰を書けるようにした話
ternbusty
1
200
AIが生成したコードは読むべきか?抽象化設計とコードの品質保証 / abstraction-design-and-quality
minodriven
16
9.2k
Web3Dライブラリを作ってVue Custom Rendererの仕組みを理解しよう / lets learn vue custom renderer by making 3d library
drumath2237
1
140
AWS CDKを理解するために公式の定義を深掘って解説してみる / Understanding AWS CDK by Digging into Its Official Definition
akihisaikeda
3
310
Featured
See All Featured
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
610
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
Organizational Design Perspectives: An Ontology of Organizational Design Elements
kimpetersen
PRO
1
880
The B2B funnel & how to create a winning content strategy
katarinadahlin
PRO
1
610
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
Claude Code のすすめ
schroneko
67
230k
Mind Mapping
helmedeiros
1
440
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
430
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
2
330
Kristin Tynski - Automating Marketing Tasks With AI
techseoconnect
PRO
0
590
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.9k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
60k