Share
Embed
Transcript
128 slides
-
% whoami - id:polamjag《ポラムジャグ》 - 株式会社はてな ノベルチーム - ex-ブログチーム、マンガメディアチーム -
TypeScript, Perl, Go ほかいろいろ - 生まれも育ちも大分県 5 -
CPANモジュールをインストールすると き - ビルドツール - Makefile.PL: ExtUtils::MakeMaker - perl Makefile.PL
で Makefile が生成される - Build.PL: Module::Build, Module::Build::Tiny - perl Build.PL で Build というファイル名のシェルスク リプトが生成される - オーサリングツール - Minilla, Dist::Zilla, … 22 -
CPANモジュールをインストールすると き - App::cpm のインストール処理を覗いてみると… - fetch, configure, install の三段階
- そのうち configure で Makefile.PL や Build.PL を探して実行 - install で↑ で生成されたものを実行 - https://github.com/skaji/cpm/blob/74e217556acec88fe798 d4935efe7a9c50d19e28/lib/App/cpm/Worker/Installer.pm - static install (ビルドスクリプトの実行なしに、ファイルのコピーのみ のインストール) という概念もある - https://github.com/Perl-Toolchain-Gang/cpan-static 23 -
XSモジュールのインストールその前に - CPANモジュールインストール under the hood ✅ - XS、「ネイティブ拡張」とは -
XSモジュールインストール under the hood 24 -
“XS” is 何 XSはPerlとCのコード (またはCライブラリ) との間の拡張インターフェースを 作るのに使われるインターフェース記述ファイルフォーマットです。 XSインターフェースはライブラリと動的または静的にリンクされて、Perl とリンクすることのできる新しいライブラリを生成します。 XSインターフェース記述はXS言語で書かれており、Perl拡張インター
フェースのコアコンポーネントです。 — https://perldoc.jp/docs/perl/5.20.1/perlxs.pod (一部略・強調は引用者による) 26 -
“XS” is 何 XSはPerlとCのコード (またはCライブラリ) との間の拡張インターフェースを 作るのに使われるインターフェース記述ファイルフォーマット です。 XSインターフェースはライブラリと動的または静的にリンクされて、Perl とリンクすることのできる新しいライブラリを生成します。
XSインターフェース記述はXS言語で書かれており、Perl拡張インター フェースのコアコンポーネントです。 — https://perldoc.jp/docs/perl/5.20.1/perlxs.pod (一部略・強調は引用者による) 27 -
「XS」はプログラミング言語だった! - XS - xsubpp -> C - xsubpp -
compiler to convert Perl XS code into C code - https://perldoc.perl.org/xsubpp - “This compiler is typically run by the makefiles created by ExtUtils::MakeMaker or by Module::Build or other Perl module build tools” - ExtUtils::ParseXSに実装がある - https://github.com/Perl/perl5/blob/blead/dist/ExtUtils-ParseXS/lib/ExtUtils /ParseXS.pm - 「大規模なリファクタリングが始まっている」!! - https://speakerdeck.com/charsbar/2025nian-qiu-noperl?slide=59 28 -
“XS” is 何 XSはPerlとCのコード (またはCライブラリ) との間の拡張インターフェースを 作るのに使われるインターフェース記述ファイルフォーマットです。 XSインターフェースはライブラリと動的または静的にリンクされて、 Perl とリンクすることのできる新しいライブラリを生成します
。 XSインターフェース記述はXS言語で書かれており、Perl拡張インター フェースのコアコンポーネントです。 — https://perldoc.jp/docs/perl/5.20.1/perlxs.pod (一部略・強調は引用者による) 29 -
Your C code 共有ライブラリ (*.dll, *.so, *.dylib, …) 静的ライブラリ ビルド時に静的リンク
ビルド時に動的リンク or 実行時に動的ロード 32 -
“XS” is 何 XSはPerlとCのコード (またはCライブラリ) との間の拡張インターフェースを 作るのに使われるインターフェース記述ファイルフォーマットです。 XSインターフェースはライブラリと動的または静的にリンクされて、 Perl とリンクすることのできる新しいライブラリを生成します
。 XSインターフェース記述はXS言語で書かれており、Perl拡張インター フェースのコアコンポーネントです。 — https://perldoc.jp/docs/perl/5.20.1/perlxs.pod (一部略・強調は引用者による) 再掲 33 -
Perl ランタイム 共有ライブラリ (*.dll, *.so, *.dylib, …) 静的ライブラリ ビルド時に静的リンク ビルド時に動的リンク
or 実行時に動的ロード PerlのXSは静的リンクも可能 (!) だが、Webアプリケーションの開発という文脈においては 動的ロードを想定したXSライブラリの利用がほとんどであるはず…… 😮 34 -
(Web開発でよく出会う) XSモジュールの類型 - 特定処理の最適化 - /デ?シリアライズ/ (e.g. JSON::XS) - テンプレートエンジン
(e.g. Text::Xslate) - ネイティブライブラリのラッパー - e.g. DBD::mysql (→ libmysqlclient) - 言語ランタイムの機能拡張的な側面 - e.g. AnyEvent (RubyでいうEventMachine的な存在[要出典]) 35 -
Perlランタイム Perlプログラム (*.pl, *.pm) 共有 ライブラリ (XS由来) 動的ロード 共有 ライブラリ
(外部) 動的リンク 「ネイティブライブラリのラッパー」 の典型的なシーン PerlのXSは静的リンクも可能 (!) だが、Webアプリケーションの開発という文脈においては 動的ロードを想定したXSライブラリの利用がほとんどであるはず…… 😮 36 -
Perlランタイム DBD::mysql (のPerl部分) DBD::mysql (のXS由来部分) 動的ロード libmysql- client 動的リンク DBD::mysqlの典型的な利用イメージ
DBD::mysqlのXS由来部分から、どうlibmysqlclientをリンクするか話も当然ありまして…… https://metacpan.org/dist/DBD-mysql/view/lib/DBD/mysql/INSTALL.pod 💁 DBD::mysql 37 -
Perlランタイム Perlプログラム (*.pl, *.pm) XS イラスト出典: いらすとや 相撲の取組のイラスト https://www.irasutoya.com/2017/04/blog-post_51.html 相撲の土俵のイラスト(斜め)
https://www.irasutoya.com/2017/06/blog-post_605.html ランタイムと同じ土俵に立つ 43 -
「ネイティブ拡張」? - perlxstut - Tutorial for writing XSUBs (Perl) https://perldoc.perl.org/perlxstut
- “a Perl extension” - Gems with Extensions (RubyGems) https://guides.rubygems.org/gems-with-extensions/ - “Many gems use extensions to wrap libraries …” - Extending Python with C or C++ (Python) https://docs.python.org/3/extending/extending.html - “extension modules” - C++ addons (Node.js) https://nodejs.org/api/addons.html - “Addons are dynamically-linked shared objects written in C++” 44 -
「ネイティブ拡張」? - perlxstut - Tutorial for writing XSUBs (Perl) https://perldoc.perl.org/perlxstut
- “a Perl extension” - Gems with Extensions (RubyGems) https://guides.rubygems.org/gems-with-extensions/ - “Many gems use extensions to wrap libraries …” - Extending Python with C or C++ (Python) https://docs.python.org/3/extending/extending.html - “extension modules” - C++ addons (Node.js) https://nodejs.org/api/addons.html - “Addons are dynamically-linked shared objects written in C++” 45 -
「ネイティブ拡張」? - 単に “extension” や “addon” くらいが一般的なのかも - このトークでは、ネイティブコードの呼び出しを伴うこ とを強調するために「ネイティブ拡張」と呼ぶことにし
ます - (そこまで気にしなくても、たいてい通じるでしょう…) 46 -
XSモジュールのインストールその前に - CPANモジュールインストール under the hood ✅ - XS、「ネイティブ拡張」とは ✅
- XSモジュールインストール under the hood 48 -
こういうことやりませんでしたか $ cpanm -L local DBD::mysql \ --configure-args="--cflags='$(pkg-config --cflags mysqlclient)'
\ --libs='$(pkg-config --libs mysqlclient)'" $ CFLAGS="-I$(brew --prefix openssl)/include" LDFLAGS="-L$(brew --prefix openssl)/lib" carton install 50 -
Perlランタイム Perlプログラム (*.pl, *.pm) 共有 ライブラリ 動的ロード 共有 ライブラリ 動的リンク
「ネイティブライブラリのラッパー」 的なシーン 51 再掲 -
Perlランタイム Perlプログラム (*.pl, *.pm) 共有 ライブラリ 動的ロード 共有 ライブラリ 動的リンク
「ネイティブライブラリのラッパー」 的なシーン どれを? どれを? 🤔 52 -
Perlランタイム Perlプログラム (*.pl, *.pm) 共有 ライブラリ 動的ロード 共有 ライブラリ 動的リンク
「ネイティブライブラリのラッパー」 的なシーン CPAN モジュールの 単位 53 -
Perlランタイム Perlプログラム (*.pl, *.pm) 共有 ライブラリ 動的ロード 共有 ライブラリ 「ネイティブライブラリのラッパー」
的なシーン XSから生成される共有ライブラリと、 OSのどこかにあるライブラリとの間の関係 動的リンク 54 -
こういうことやりませんでしたか $ cpanm -L local DBD::mysql \ --configure-args="--cflags='$(pkg-config --cflags mysqlclient)'
\ --libs='$(pkg-config --libs mysqlclient)'" $ CFLAGS="-I$(brew --prefix openssl)/include" LDFLAGS="-L$(brew --prefix openssl)/lib" carton install XSから生成される共有ライブラリを ビルドするにあたり、 OSのどこにあるライブラリと 紐づけるかの指定 55 -
Perlランタイム DBD::mysql (のPerl部分) DBD::mysql (のXS由来部分) mysql_configコマンドを 呼び出したり 環境変数やオプションで指 定できたり (写ってない)
DBD::mysqlの Makefile.PL再び 57 https://github.com/perl5-dbi/DBD-mysql/ blob/6465c04c62d23ce42b08b90ea33636 30187e1739/Makefile.PL#L423-L469 -
こういう苦労話 - 最近は以前ほど見なくなった…かも? - コンパイル済みバイナリ込みでの配布が一般化 - Dockerエコシステムの普及 - いわゆる手元環境も、Dev ContainersやDocker
Composeなどで一元管理するのが一般化したことで、 環境の差異に由来する困りごとは減ってそう 58 -
XSモジュールのインストールその前に - CPANモジュールインストール under the hood ✅ - XS、「ネイティブ拡張」とは ✅
- XSモジュールインストール under the hood ✅ 61 -
perldocの歩き方 - perlxs, perlapi など perl*** みたいな名前の ドキュメントがたくさん - C
APIもしっかりドキュメントがある - 例: perlguts (Perl APIの導入) を読むには… - https://perldoc.perl.org/perlguts - https://perldoc.jp/docs/perl/perlguts.pod - $ perldoc perlguts 64 -
お品書き - Cpanel::JSON::XS - https://github.com/rurban/Cpanel-JSON-XS - DBD::mysql - https://github.com/perl5-dbi/DBD-mysql -
Inline::Ruby - https://github.com/shlomif/Inline-Ruby 68 -
Cpanel::JSON::XS use Cpanel::JSON::XS qw(encode_json decode_json); my $encoded = encode_json( {
foo => 1, bar => [2, 3] } ); my $parsed = decode_json('{"foo":1,"bar":[2,3]}'); 69 -
“キーワード MODULE は XS コードの始まりと、定義する関数のパッケージ を指定するのに使われます。 キーワード MODULE よりも前にあるテキスト はCプログラムとして扱われ、
POD が除去されますが、それ以外は何の変更 も加えられずに出力されます” https://perldoc.jp/docs/perl/5.8.8/perlxs.pod#The32MODULE32Keyword 71 -
XSUB - perldoc.jp/docs/perl/perlxs.pod - “XSUB は XS インターフェースの基本単位を形成し ます。xsubpp コンパイラによるコンパイル後、
それ ぞれの XSUB は Perl 呼び出し規則と C 呼び出し規則 の間の糊を提供する C 関数定義となります” - XSUB1個 = Perl上での関数定義1個 74 -
SV - see perlguts - SV: Scalar Value - とる値:
“整数 (IV)、符号なし整数 (UV)、 倍精度 (NV)、文字列 (PV)、その他のスカラ (SV)” - ほか AV (Array Value), HV (Hash Value), RV (Reference Value), … 77 -
スタックの管理 - Perlにおける関数の引数・戻り値のスタック の管理が必要 - 引数をスタックから取得 - 戻り値をスタックに積む - …
- スタックの管理 = スタックポインタの操作 81 -
スタックの管理 - PUTBACK 〜 SPAGAIN - PUTBACK: XSUB内でのローカル変数なスタックポイ ンタの内容を、Perlランタイムのそれ (PL_stack_sp)
に書き込み - SPAGAIN: ↑の逆 (Perlランタイム → XSUB内のローカ ル変数スタックポインタ) 83 -
PUSHMARK(SP) - PUTBACK間で 引数をスタックに PUSHs call_sv: Perlの関数呼び出し PUSHsされている物体が引数になる。 ここではmethod変数がサブルーチン リファレンス
(see L1766) Perl上の関数呼出しの例 84 -
"コンテクストポインタ" を 受け取るマクロ mortalフラグのセット スコープを抜ける際に参照カウンタを デクリメント SvPVX: PV (文字列) へのポインタ
SvEND: PV (文字列) の終端位置への ポインタ XSの関数定義 (XSUB) じゃなかった方の encode_jsonも見る 86 -
SvPOK_only: “SV に対し、その SV が文字列であり、 他の OK ビットをすべてディセーブルにするように指 示します。また、UTF-8 ステータスをオフにします”
(perlapi) aTHx_: コンテキストポインタを 「渡す」マクロ SVの 文字数セット SVのUTF-8フラグを立てる encode_svがSV一つを エンコードする処理 87 -
DBD::mysql - “MySQL driver for the Perl5 Database Interface (DBI)”
- DBI: Database Interface - DBD: Database Driver - DBD::mysql の他には DBD::Pg, DBD::SQLite など - DBD::** implements DBI 的な関係 94 -
ざっくり - DBI曰く、XSでドライバーを書くときは… - SELECT した結果を取得するために、dbdimp.c に dbd_st_fetch() 関数を実装してね、という世界観 -
INSERT などのために、dbd_st_execute() を以下 略 96 -
sth (statement handler) に紐づくキャッシュのクリア Nullav (AVのヌルポインタ) の代入と、 SvREFCNT_dec でのリファレンスカウ ントの減算
hv_fetch: ハッシュの値取得 ここでは “Statement” がキーのものを 取得している 99 -
上に PREFIX = my_ 指定があるので これが rb_eval 関数の定義になる (see perlxs)
PREINIT: typemap 機能に影響されずに 変数宣言をするセクション 106 -
VALUE型 = Rubyオブジェクト newSViv = IV (integer) から SV を生
成 newSVnv = NV (double型) から SV newSVpvn = PV (char *) とその長さか ら SV https://docs.ruby-lang.org/en/ master/extension_rdoc.html rb2pl (!!) 108 -
rb_ary_entry でRubyの配列 から値を取り出し、その要素を 再帰的に rb2pl し、av_push で Perlの配列に追加 newRV_noinc() で
AV (retval) からリファレンス を取得 _noinc はリファレンスカ ウントを増加させない版 API newAVで AV (Array Value) を 作成 newHVで HV (Hash Value) を 作成 109 -
typemap - see perlxstypemap - Cレベルの型 ←→ Perlのデータ型の変換機構 - char
* を簡単にPVにしたい、みたいなことができる - xsubppで処理されるので、それが嬉しくないという ときは実装を PPCODE: セクションに書く…というの がCpanel::JSON::XSで出てきていた 111 -
改めて List::Util::min active magic = 演算子オーバーロード amagic_call(SV *left, SV *right,
int method, int dir) 118 ix: ALIASごとのインデックス これを使ってmax/minを一つの XSUBで実装している -
XS 別解 - FFI - ex. https://metacpan.org/pod/FFI::Platypus - 別バイナリ化 +
プロセス間通信 - WASM - XSと比べるとオーバーヘッドがあったり、ラ ンタイムの機能拡張は難しかったり 120 -
AI? - XSの既存実装調査は、AI丸投げでもそこそこうま くいく - Perlのソースコードで定義されているはずのこれ何?みたい な質問でも、特別コンテキストを与えずともパッと答えてく れがち - とはいえ、概略的なところからエコシステムまで薄
く広い知識を持っておけるとスムーズ (それはそ う) 122 -
まとめ - CPANモジュール、XSモジュールを取り巻く エコシステムについておさらいした - XS言語のコンセプトや基本的な構文から、 APIのあらましについて入門した - SV/AV/HV、スタック操作、参照カウント、… -
Perlランタイムのソースコードに入門 (?) した 123 -
XSを書きたい人向け おすすめ参考文献 - Minillaを使ったモダンなCPANモジュール開発(1) https://gihyo.jp/dev/serial/01/perl-hackers-hub/005001 - https://metacpan.org/pod/Minilla - C による
Perl 拡張入門 https://xsubtut.github.io/ - XS基礎文法最速マスター https://gfx.hatenadiary.org/entry/20100202/1265091606 125 -
(おまけ) 超私的・大分観光案内 - JR九州の割引きっぷがある (九州ネットきっぷ 他) - 別府の市営温泉に入ろう (“別府 市営温泉”
で検索) - 別府で冷麺を食べよう (“別府冷麺” で検索”) - 焼鳥、アジ、ヒラメを食べよう - やまなみハイウェイをドライブしよう - ホバークラフトに乗ってみて感想教えてくだ さい (乗ったことない…) 126