PHPでデータベースを作ってみた/create-data-with-php

PHPカンファレンス福岡2024の登壇資料です。

Transcript

1. PHPでデータベースを作ってみた @hanhan1978 PHPカンファレンス福岡2024
2. @hanhan1978 名前 富所 亮 所属 株式会社カオナビ CTO室 BackEnd Re-architecturing Team (BERT) Blog https://blog.hanhans.net Podcast https://podcasters.spotify.com/pod/show/yokohama-north-am 2
3. 免責事項
4. この登壇への注意 本発表はRDBMSっぽく振る舞うプログラムを 気軽なノリで作っていくお話です。
5. この登壇への注意 • パーサー、オプティマイザ • ストレージエンジン • などなどのRDBMSの構成要素 取り扱いません！
6. そもそも目的は！？
7. 目的 • データベースを深く理解する • プロトコルを深く理解する • プログラムへの解像度を上げる
8. 目的 • データベースを深く理解する • プロトコルを深く理解する • プログラムへの解像度を上げる 全部ウソ！
9. (答え）なんとなく作ってみたかった
10. ではデータベースを自作するための 参考資料とは？
11. 参考書1 WEB+DB PRESS Vol.122 作って学ぶRDBMSのしくみ - 技術評論社 2021
12. 参考書2 詳説データベース - ストレージエンジンと分散データシステムの仕組み - O’Reilly 2021
13. 参考書3 Software Design 2024年6月号 - 技術評論社
14. 参考書4 https://speakerdeck.com/hanhan1978/b-plus-tree-101
15. 否！！
16. まじめに作ろうとすると 大変な努力が必要になる
17. もっと迂闊に作りたい
18. 真の参考書 ゼロからトースターを作ってみた結果 - 新潮文庫 2015
19. 不格好でもいいので、動く完成品を作ること は学びにとって実に良いことです
20. 駄目な例 Learn to draw fast - https://www.alibati.com/work/horse
21. 動く完成品を作ろう https://blog.crisp.se/2016/01/25/henrikkniberg/making-sense-of-mvp
22. 目標の具体化 ここまで4分
23. MySQLと何なのか？
24. PHPからみたMySQL よくみるPDOのサンプルコード
25. PHPからみたMySQL 3306ポートでTCP/IPのソケット通信
26. つまり
27. 目標 同じ通信内容ならPHPからはデータベースに見える！
28. 目標を具体化 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う データベースを作る
29. 余談
30. この考え方は様々なミドルウェアに対応 • Redis • ElasticSearch • Apache ようするにTCP/IPでソケット通信を行うアプリケーションは 既存の挙動を真似ることさえ出来れば同じように作れる
31. では！作っていく！
32. 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う やること
33. 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う やること ネットワークプログラミング
34. 参考書 UNIXネットワークプログラミング Vol.1 ※もっと新しい本 でよいです
35. echoサーバー 今回の用途であれば 「echoサーバー」という検索ワードを使うと サンプル実装がいっぱい引っかかります
36. echoサーバー 今回の用途であれば 「echoサーバー」という検索ワードを使うと サンプル実装がいっぱい引っかかります が！
37. ２年前に書いておきました PHPerKaigi2022 - パンフレット
38. 具体的なコード
39. 実際に起動してみると... うごくぞ...
40. MySQLの場合 3306番で動作してる
41. TCP/IPの状態確認 Mac Linux
42. 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う やること 進捗50％！
43. 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う やること
44. 1. 特定のポート番号でソケット通信を行う 2. MySQLと同じ通信内容を行う やること ？？？どうやんの？？？
45. 通信内容をみるには？ • Wireshark • tcpdump • ngrep
46. 通信内容をみるには？ • Wireshark • tcpdump • ngrep 今回はお手軽な ngrep を採用
47. さっそくMySQLの通信を見る -x -q -d 通信の中身を16進数表記でdump、かつ右側にテキスト表示 header, payload 以外の通信内容はdumpしない 通信をみるネットワークインタフェースを指定
48. さっそくMySQLの通信を見る 引数は match と filter 上の例は match は無指定、filter に port 3306 を指定 これで3306番ポートにまつわるローカル ホストの通信が確認できる
49. 通信内容をみる1
50. 通信内容をみる1 まずサーバー側からスタート
51. 通信内容をみる1 クライアントの認証リクエスト
52. 通信内容をみる1 サーバー側からのOK応答
53. こんなもの読めるのか？
54. MySQL公式ドキュメント https://dev.mysql.com/doc/dev/mysql-server/latest/
55. Handshake https://dev.mysql.com/doc/dev/mysql-server/latest/page_protocol_connection_phase.html
56. Protocol::HandshakeV10
57. これで読めそうやん！
58. プロトコル読解 - Handshake
59. プロトコル読解 - Handshake いきなり違う！
60. おちつけ！
61. MySQL Packets
62. MySQL Packets 基本仕様
63. プロトコル読解 - Handshake 最初の3Byteは payloadのサイズ ▶ 4a 00 00 ▶ 74 Byte 次の1ByteはシーケンスID ▶ 00 ▶ 0
64. プロトコル読解 - Handshake このパケットは Header 4 Byte + Payload 74 Byte の 78 Bytea MySQLのパケットを考える際は常にこの Header を考慮にいれる
65. プロトコル読解 - Handshake 0x0a ▶ 10進数の10
66. プロトコル読解 - Handshake サーバーバージョン文字列
67. ASCIIコード表 https://www.sciencebuddies.org/science-fair-projects/references/ascii-table
68. ASCIIコード表 https://www.sciencebuddies.org/science-fair-projects/references/ascii-table 8 ▶ 0x38
69. サーバーからの認証OKパケット
70. 通信内容をみる1 サーバー側からのOK応答
71. General Response Packets
72. プロトコル読解 - General Response 7ByteのPayload header ▶ 0x00 affected_rows ▶ 0x00 last_insert_id ▶ 0x00
73. プロトコル読解 - General Response 7ByteのPayload header ▶ 0x00 affected_rows ▶ 0x00 last_insert_id ▶ 0x00 君はここにいたのか！！
74. PDO::lastInsertId https://www.php.net/manual/ja/pdo.lastinsertid.php
75. 読める！読めるぞ！
76. だが、このまま細かくプロトコルを 実装するのは骨が折れる 第一面倒くさい。俺はデータベースっ ぽいやつを早く作りたい
77. こうして...
78. こうじゃ！ ※良い子はマネしない
79. さらに、こうして...
80. こうじゃ！！！！ ※良い子はマネしない
81. クライアント側のソースコード なんと、こんなものでも PDOをコロッとだますと接続できる
82. このままDEMOになだれ込みたいが... 結果セット返却の解説は必要 もうちょっと我慢してくれ 残り15分以上
83. SELECTの通信
84. SELECTの通信 Header ▶ Payloadサイズは37
85. SELECTの通信 Header ▶ Payloadサイズは37 Payload ▶ 先頭に 0x03 ▶ ETX 制御コード
86. SELECTの通信 Header ▶ Payloadサイズは37 Payload ▶ 先頭に 0x03 ▶ ETX 制御コード Payload残り ▶ クエリの文字列 SELECT id, value1, value2 FROM items
87. SELECTの通信 結果セットの送信パケットを適切に理解することが大切 このパケットは合計8つのMySQLパケットで構成されている
88. SELECTの通信 1Byte の Payload 最初のパケットは結果セットのカラム数 0x03
89. SELECTの通信 40Byte の Payload 2番目以降はカラム定義 x コラム数のパケット
90. SELECTの通信 40Byte の Payload 03 646566 ▶ 3byte の文字列メッセージ def 固定値
91. SELECTの通信 40Byte の Payload 04 74657374▶ 4byte の文字列メッセージ test データベース名
92. SELECTの通信 40Byte の Payload 04 74657374▶ 4byte の文字列メッセージ test データベース名 05 6974656d73▶ 5byte の文字列メッセージ items テーブル名 05 6974656d73▶ 5byte の文字列メッセージ items オリジナルのテーブル名
93. SELECTの通信 40Byte の Payload 04 74657374▶ 4byte の文字列メッセージ test データベース名 05 6974656d73▶ 5byte の文字列メッセージ items テーブル名 05 6974656d73▶ 5byte の文字列メッセージ items オリジナルのテーブル名 02 6964▶ 2byte の文字列メッセージ id カラム名 02 6964▶ 2byte の文字列メッセージ id オリジナルのカラム名
94. SELECTの通信 40Byte の Payload 0c ▶ 固定値 3f00 ▶ キャラセット binary
95. SELECTの通信 40Byte の Payload 0c ▶ 固定値 3f00 ▶ キャラセット binary 0b000000 ▶ カラムサイズ int(11)
96. SELECTの通信 40Byte の Payload 0c ▶ 固定値 3f00 ▶ キャラセット binary 0b000000 ▶ カラムサイズ int(11) 03 ▶ データ型
97. SELECTの通信 40Byte の Payload 0c ▶ 固定値 3f00 ▶ キャラセット binary 0b000000 ▶ カラムサイズ int(11) 03 ▶ データ型 0350 ▶ ビット演算されたフラグ
98. SELECTの通信 40Byte の Payload 0c ▶ 固定値 3f00 ▶ キャラセット binary 0b000000 ▶ カラムサイズ int(11) 03 ▶ データ型 0350 ▶ ビット演算されたフラグ 000000 ▶ Packet終端
99. SELECTの通信 結果で返却するカラム数の数だけカラム定義のPacketを返す 今回は３カラム分
100. 参考資料 - データタイプ https://github.com/mysql/mysql-server/blob/trunk/include/field_types.h
101. 参考資料 - データタイプ https://github.com/mysql/mysql-server/blob/trunk/include/field_types.h
102. 参考資料 https://dev.mysql.com/doc/dev/mysql-server/latest/group__group__cs__column__definition__flags.html
103. フラグのビット演算例 NOT NULL 0110
104. フラグのビット演算例 PRIMARY KEY 0350
105. SELECTの通信 カラム定義と結果セットの間のデリメター（だと思う） fe00002200 ▶ シーケンス番号以外は固定
106. SELECTの通信 結果行 - 1行目 0131 ▶ idカラムの結果 文字列 1 05686f676531 ▶ value1カラムの結果 文字列 hoge1 05686f676532 ▶ value2カラムの結果 文字列 hoge2
107. SELECTの通信 結果行 - 1行目 0131 ▶ idカラムの結果 文字列 1 05686f676531 ▶ value1カラムの結果 文字列 hoge1 05686f676532 ▶ value2カラムの結果 文字列 hoge2 intは文字列で返ってくる PDO, ORMなどで型変換の不具合イシューが上がっ てくるのはここらへんの仕様が関係ありそう
108. SELECTの通信 最後にもう一回デリミタが入ってくる 以上で長かった結果セットの説明も終わりです。
109. 簡単にまとめると... Handshake ▶ OKパケット DML, 更新系クエリ ▶ OKパケット 参照系クエリ ▶ カラム定義を含む、結果セットのパケット 細かくはもっといろいろあるのだけど 偽データベースを動作させるには十分
110. 余談
111. クエリのパース https://github.com/greenlion/PHP-SQL-Parser
112. クエリのパース ここまで理解できれば、作れるはず だ！雑なRDBMSが！
113. ore no database
114. ore no database
115. ore no database
116. DEMO 残り2分
117. 今後の展開 • テストを拡充 • データの保存・読取 • IO多重化 • インデックス • Information Schema対応
118. クエリのパース 最低限の動作を満たした動くDB そこから正しい形に整形していけばいい
119. まとめ
120. 自作は楽しい！
121. みんなも変なモノ作っていこうな！