PHP 8.2と8.1で取り込まれたプルリクエストについて

mb_strlen(“\x80\x81”, “CP932”); の\x80のカウントが修正されます。

- 今まで1とカウントされましたが、2とカウントされます。
- CP932とは、マイクロソフトが定義したShift_JISの亜種です。

Transcript

1. PHP 8.2と8.1で取り込 まれたプルリクエストに ついて
2. 自己紹介 てきめん • https://tekitoh-memdhoi.info • @youkidearitai • https://www.youtube.com/use r/tekitohmrp • https://www.nicovideo.jp/user /2957748 • https://github.com/youkideari tai オレ
3. 要約 tl;dr • mb_strlen(“\x80\x81”, “CP932”); の\x80のカウ ントが修正されます。 – 今まで1とカウントされましたが、2とカウントされます。 – CP932とは、マイクロソフトが定義したShift_JISの亜種 です。
4. 文字コードとは（ざっくりてきとう） • コンピューターは数値を扱う – 数値に文字を割り当てることでやり取りをしている • 最近ではほとんどUnicodeのUTF-8を使えば良くなってき た – そのため意識することがないこともあるかも – 業務システムなどでは他の文字コードを使うことがあるかもし れない
5. mbstringとは • PHPでマルチバイト文字列を扱うPHPの拡張 • C言語で書かれている – libmbflというライブラリを含んでいて、文字コードそのものの 処理はこれが行う • 簡単に言うとmb_で始まる関数は大体mbstringの範疇 – よく使うのはmb_convert_encodingでしょうか
6. 発見されたSJISバグの修正 • Fix entries in SJIS multi-byte character lengt h tables for bytes which do not start any valid 2-byte character #10230 – 先程のSJISでの挙動の違いから、1バイト目0x80が1バ イトとして処理されないとおかしいのでその修正 – SJISでは、この修正がなされたことを覚えていますで しょうか…？（今年1月でのPHP勉強会＠東京での話）
7. Shift_JISの\x80 • さきほどのように、\x80をPHPでは2バイトと数える のですが、これを1バイトにするように修正しました – …したはずだったのですが、CP932で漏れてた
8. mblen_table • Shift_JISなど、ほとんどの文字エンコーディング は、バイト列で文字数がわかるようにできていませ ん。 – そのため、それ用のテーブルが必要です – 内部でmblen_tableというテーブルを持ってい ます
9. • 今回CP932で見つけ た、mblen_tableですが、なん とShift_JIS(SJIS)と違う場所で 管理してました – ext/mbstring/filters/ mbfilter_cp932.c – SJIS-macやSJIS-2004について は対処できてたのに抜けてしまっ た static const unsigned char mblen_table_sjis[] = { /* 0x80-0x9f,0xE0-0xFF */ 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2 }; mblen_tableが違う場所で管理されてた
10. どういう経緯で見つかったか • More refactoring/fixes/optimizations for CJK t ext handling via mbstring #11259 で見つかった(これ自体はPHP 8.3に反映される) – 散らばってたmbfilter_*.cを、mbfilter_cjk.cにまとめる というものとパフォーマンス改善などが含まれてたもの – ここでてきめんがCP932で修正されてることに気づく • じゃあ、これはPHP 8.2と8.1で修正しようねということになっ た
11. プルリクエストを作った • てきめんがプルリクエストを作ることにした – で、つくったのがこちら： Fix mb_strlen is wrong length for CP932 when 0x8 0. #11335 – なんか、英語は自信ないです… – 次のPHP（8.2.8と8.1.21)でリリースされます
12. 作り方 • NEWSに書きます • コードを修正します • テストコードを書きます • プルリクエストを出します
13. NEWSファイル
14. コードの修正
15. テストケースの作成
16. プルリクエストの作成
17. プルリクエストが承認される
18. 結果 • mb_strlen(“\x80a”, “CP932”); の挙動が修正さ れるということになるわけです。 • \x80は1バイトとして計算します。 • \x81以降は2バイト文字の可能性があるからこれ でよい
19. 結果 • https://thephp.foundation/blog/2023/06/06/p hp-core-roundup-13/#merged-prs-and-commit s で紹介されてた ヮ(ﾟдﾟ)ォ!
20. 感想 • 今回で2回めのマージされたプルリクエストとなり ました • 貢献しているのはうれしい
21. まとめ • mb_strlenの挙動の修正を行いました。 • PHP 8.2.8と8.1.21で反映されます。 • もし、なにかバグや不思議な点を見つけたらphp- srcのIssueまでお寄せください。
22. 近況 • PHP 8.3.0 alpha1がリリースされました。 – alpha2は22日（明日）にリリース予定です。 – https://wiki.php.net/todo/php83 • 最近ですとmb_detect_encoding周りでIssueが起票され ました 8.3 crash with mb_detect_encoding #11476 – 8.3は色々いじったので、暇あったら動かしてみてくれると嬉しい
23. ご清聴ありがとうございました