最近試したLinuxのOCRツール(NDL古典籍OCR-Lite/YomiToku)

発表: 鹿児島Linux勉強会 2024.12(オンライン開催) - connpass https://kagolug.connpass.com/event/339794/
source: https://codeberg.org/matoken/kagolug-2024.12/src/branch/main/slide/slide.adoc

Transcript

1. 最近試したLinuxのOCRツー ル(NDL古典籍OCR-Lite/YomiToku) Kenichiro Matohara(matoken) <matoken@kagolug.org> 1
2. matoken @ 鹿児島の右下の山奥から参加 好きなLinuxディストリビューションはDebian GNU/Linux map: © OpenStreetMap contributors Kenichiro Matohara(matoken) https://matoken.org matoken@inari.opencocon.org 2
3. これまで使っていたLinux上でのOCR tesseract-ocr を利用 デスクトップ利用時にショートカットで矩形選択，スクリーンショット，OCR，クリップボードに結 果を出力 動画内の文字列をOCRしたりといったことに利用 日本語の精度はもう一つ → kagolug-2022.05 「OCRで画像文字を 文字データに」 3
4. 最近知ったOCRソフトウェア どちらもオフラインでCPUのみで動作しそうなので少し試してみました． NDL古典籍OCR-Lite NDL古典籍OCR-Liteは、江戸期以前の和古書、清代以前の漢籍と いった古典籍資料のデジタル化画像からテキストデータを作成する OCRです。 GPUを必要としないOCR処理に特徴があり、ノートパ ソコン等の一般的な家庭用コンピュータやOS環境において高速に実 行可能です。 YomiToku YomiToku は日本語に特化した AI 文章画像解析エンジン (Document AI)です。画像内の文字の全文 OCR およびレイアウ ト解析機能を有しており、画像内の文字情報や図表を認識、抽出、変 換します。 4
5. NDL古典籍OCR-Lite ndl-labを眺めてみるとndl-kotenocr-liteという新しいリポジトリが出来ていました． GPUがなくても動作する古典籍資料のOCRが出来るツールのよう 古典は読まないのですが面白そうと思い試してみました． https://github.com/ndl-lab/ndlocr_cli NDL古典籍OCR-Liteは、江戸期以前の和古書、清代以前の漢籍と いった古典籍資料のデジタル化画像からテキストデータを作成する OCRです。 GPUを必要としないOCR処理に特徴があり、ノートパ ソコン等の一般的な家庭用コンピュータやOS環境において高速に実 行可能です。 Windows(Windows 10)、Intel Mac(macOS Sequoia)及びLinux(Ubuntu 22.04)環境において動作確認し ています。 5
6. NDL古典籍OCR-Lite GUI版の利用 Windows, macOS，Linux(amd64のみ)のGUI版バイナリがreleasesにある  README.mdにはIntel Mac(macOS Sequoia)とあるが，ndlkotenocr- lite_v1.0.1_macos_m1.tar.gzというものもあるのでarm版macOSでも動くのかもし れない． 1 Linux版をreleasesからダウンロード 2 展開 3 ndlkotenocr_liteの起動 https://github.com/ndl-lab/ndlkotenocr-lite/releases $ wget2 -v -c https://github.com/ndl-lab/ndlkotenocr-lite/releases/download/1.0.1/ndlkotenocr-lite_v1.0.1_linux.tar.gz $ tar tvf ndlkotenocr-lite_v1.0.1_linux.tar.gz $ tar xf ndlkotenocr-lite_v1.0.1_linux.tar.gz $ file linux/ndlkotenocr_lite linux/ndlkotenocr_lite: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, BuildID[sha1] $ linux/ndlkotenocr_lite 1 2 3 6
7. 画面はシンプルで対象の画像もしくはディレクトリと，結果の出力ディレクトリを指定してOCRボ タンを押すだけ 自分は元画像では全然読めないが，OCR結果を見るとなんとなくわかるので面白い 7
8. 認識箇所が青枠で囲まれている 8
9. 認識結果(XML) <OCRDATASET> <PAGE IMAGENAME="0004_0000.jpg" WIDTH="2048" HEIGHT="1351"> <LINE TYPE="本文" X="1726" Y="202" WIDTH="23" HEIGHT="172" CONF="0.599" ORDER="0" STRING="むかし〳〵三うらや" /> <LINE TYPE="本文" X="1701" Y="200" WIDTH="25" HEIGHT="138" CONF="0.614" ORDER="1" STRING="嶋太郎といふ" /> <LINE TYPE="本文" X="1673" Y="199" WIDTH="27" HEIGHT="195" CONF="0.671" ORDER="2" STRING="おとこありよの人" /> <LINE TYPE="本文" X="1653" Y="199" WIDTH="24" HEIGHT="182" CONF="0.620" ORDER="3" STRING="かれがいゑなの" /> <LINE TYPE="本文" X="1630" Y="199" WIDTH="22" HEIGHT="174" CONF="0.703" ORDER="4" STRING="三うらやと名の" /> <LINE TYPE="本文" X="1603" Y="200" WIDTH="27" HEIGHT="172" CONF="0.712" ORDER="5" STRING="嶋太郎を一つにして" /> <LINE TYPE="本文" X="1564" Y="200" WIDTH="21" HEIGHT="164" CONF="0.439" ORDER="6" STRING="よひけるが此" /> <LINE TYPE="本文" X="1537" Y="203" WIDTH="25" HEIGHT="165" CONF="0.641" ORDER="7" STRING="うらねずいぶん" /> <LINE TYPE="本文" X="1513" Y="202" WIDTH="23" HEIGHT="172" CONF="0.618" ORDER="8" STRING="きようものにて" /> <LINE TYPE="本文" X="1485" Y="204" WIDTH="27" HEIGHT="141" CONF="0.711" ORDER="9" STRING="何をさせても" /> <LINE TYPE="本文" X="1459" Y="204" WIDTH="27" HEIGHT="132" CONF="0.706" ORDER="10" STRING="くもかねぬは" /> <LINE TYPE="本文" X="1431" Y="203" WIDTH="26" HEIGHT="134" CONF="0.756" ORDER="11" STRING="男なれとも" /> <LINE TYPE="本文" X="1404" Y="204" WIDTH="25" HEIGHT="157" CONF="0.744" ORDER="12" STRING="かんじんのうんじ" /> <LINE TYPE="本文" X="1379" Y="205" WIDTH="26" HEIGHT="106" CONF="0.563" ORDER="13" STRING="いふものが" /> <LINE TYPE="本文" X="1352" Y="202" WIDTH="28" HEIGHT="125" CONF="0.768" ORDER="14" STRING="つたなく只" /> <LINE TYPE="本文" X="1329" Y="203" WIDTH="21" HEIGHT="117" CONF="0.470" ORDER="15" STRING="ぶら〳〵と" /> <LINE TYPE="本文" X="1302" Y="203" WIDTH="23" HEIGHT="124" CONF="0.544" ORDER="16" STRING="くらしけるが" /> <LINE TYPE="本文" X="1276" Y="204" WIDTH="26" HEIGHT="125" CONF="0.740" ORDER="17" STRING="ころは六月" /> <LINE TYPE="本文" X="1254" Y="204" WIDTH="23" HEIGHT="137" CONF="0.704" ORDER="18" STRING="朔日の事にて" /> <LINE TYPE="本文" X="1226" Y="204" WIDTH="27" HEIGHT="121" CONF="0.776" ORDER="19" STRING="あさくさの" /> <LINE TYPE="本文" X="1198" Y="205" WIDTH="26" HEIGHT="146" CONF="0.761" ORDER="20" STRING="ふじへさんけいし" /> 9
10. NDL古典籍OCR-Lite cli版 Python 3.10以降が必要 sourceをcloneしてPythonの依存パッケージを導入する必要がある 1 sourceのclone 2 venvでPython仮想環境を設定 3 venvの環境に入る 4 依存パッケージを導入  Raspberry Pi OS bookworm armhfでも試したところonnxruntimeのarmhf版が 無いようで導入に失敗．自分でbuildすれば動かせるかもしれない． $ git clone https://github.com/ndl-lab/ndlkotenocr-lite $ cd ndlkotenocr-lite $ python3 -m venv venv $ source venv/bin/activate $ pip install -r requirements.txt $ cd src 1 2 3 4 10
11. コマンドラインオプション確認 $ python3 ./ocr.py --help usage: ocr.py [-h] [--sourcedir SOURCEDIR] [--sourceimg SOURCEIMG] --output OUTPUT [--viz VIZ] [--det-weights DET_WEIGHTS] [--det-classes DET_CLASSES] [--det-score-threshold DET_SCORE_THRESHOLD] [--det-conf-threshold DET_CONF_THRESHOLD] [--det-iou-threshold DET_IOU_THRESHOLD] [--rec-weights REC_WEIGHTS] [--rec-classes REC_CLASSES] [--device {cpu,cuda}] Arguments for NDLkotenOCR-Lite options: -h, --help show this help message and exit --sourcedir SOURCEDIR Path to image directory --sourceimg SOURCEIMG Path to image directory --output OUTPUT Path to output directory --viz VIZ Save visualized image --det-weights DET_WEIGHTS Path to rtmdet onnx file --det-classes DET_CLASSES Path to list of class in yaml file --det-score-threshold DET_SCORE_THRESHOLD --det-conf-threshold DET_CONF_THRESHOLD --det-iou-threshold DET_IOU_THRESHOLD --rec-weights REC_WEIGHTS Path to parseq-tiny onnx file --rec-classes REC_CLASSES Path to list of class in yaml file --device {cpu,cuda} Device use (cpu or cuda) 11
12. cli版実行例 --sourcedirか—​ sourceimgで処理対象ディレクトリか処理対象ファイルを指定，--output で結果の出力先を指定，--viz Trueで可視化画像を有効にして実行（オプション) CUDAに対応したGPUの利用できる環境であれば—​ deviceでcudaを指定できるが現時点 ではベータ $ python3 ./ocr.py --sourceimg ./digidepo_12282447_0001-000.png --output . --viz True ['./digidepo_12282447_0001-000.png'] [INFO] Intialize Model [INFO] Inference Image [INFO] Saving result on ./viz_digidepo_12282447_0001-000.png $ ls -ltrA 合計 21964 drwxr-xr-x 2 matoken matoken 4096 11月 29 05:40 config drwxr-xr-x 2 matoken matoken 4096 11月 29 05:40 model -rw-r--r-- 1 matoken matoken 35776 11月 29 05:40 ndl_parser.py -rw-r--r-- 1 matoken matoken 2988 11月 29 05:40 parseq.py -rw-r--r-- 1 matoken matoken 8911 11月 29 05:40 ocr.py -rw-r--r-- 1 matoken matoken 5744 11月 29 05:40 rtmdet.py drwxr-xr-x 6 matoken matoken 4096 11月 29 06:10 reading_order drwxrwxr-x 2 matoken matoken 4096 11月 29 06:10 __pycache__ -rw-rw-r-- 1 matoken matoken 11209450 11月 29 06:12 digidepo_12282447_0001-000.png -rw-rw-r-- 1 matoken matoken 11131912 11月 29 06:13 viz_digidepo_12282447_0001-000.png -rw-rw-r-- 1 matoken matoken 13917 11月 29 06:13 digidepo_12282447_0001-000.xml -rw-rw-r-- 1 matoken matoken 3635 11月 29 06:13 digidepo_12282447_0001-000.txt -rw-rw-r-- 1 matoken matoken 46375 11月 29 06:13 digidepo_12282447_0001-000.json 12
13. OCR結果 シンプルな画像だとテキストファイルだけで良さそう 複雑な順番がわからないようなものはOCRされたテキストがどの部分のものか分かりづらい 座標情報の含まれるJSONファイルやXMLファイルを参照 文字部分にマウスカーソルを移動するとポップアップするようなビュワーを作ると便利かもしれ ない 13
14. 現代活字を読ませると……駄目です 例えばこのスライドの5ページ目はまったく認識されない 以下の書籍は少し認識しているが縦で読もうとしている 14
15. GUI?/CLI? GUI版と速度を比較してみようと同じものを処理してみると，10コマでGUI版30秒，CLI版 32秒，あまり変わらないのでおそらく誤差 GUI版のほうがダウンロードして展開するだけで使えて容量も小さいので試しに使うにはGUI 版のほうが良さそう． CLI版はCUDA対応環境だったり，プログラムから呼んで一括処理や前処理後処理などをした いときに便利そう．  GUI版の容量は展開時で258MB程，CLI版の容量は依存パッケージ導入後で520MB程 だった． 15
16. YomiToku レイアウト解析機能，Linux対応，CPU対応が個人的に刺さった YomiToku YomiToku は日本語に特化した AI 文章画像解析エンジン (Document AI)です。画像内の文字の全文 OCR およびレイアウ ト解析機能を有しており、画像内の文字情報や図表を認識、抽出、変 換します。 16
17. YomiTokuインストール Python3.9+, Pytorch が実行に必要  vu, Dockerにも対応  初回実行時にモデルデータがダウンロードされる $ python3 -m venv venv $ source venv/bin/activate $ pip install yomitoku 1 2 3 $ du -Hs ~/.cache/huggingface/hub/*yomitoku* | awk '{ sum+=$1} END {print sum}' 630456 $ du -Hs . 5733652 . 17
18. help $ yomitoku --help usage: yomitoku [-h] [-f FORMAT] [-v] [-o OUTDIR] [-d DEVICE] [--td_cfg TD_CFG] [--tr_cfg TR_CFG] [--lp_cfg LP_CFG] [--tsr_cfg TSR_CFG] [--ignore_line_break] [--figure] [--figure_letter] [--figure_width FIGURE_WIDTH] [--figure_dir FIGURE_DIR] arg1 positional arguments: arg1 path of target image file or directory options: -h, --help show this help message and exit -f FORMAT, --format FORMAT output format type (json or csv or html or md) -v, --vis if set, visualize the result -o OUTDIR, --outdir OUTDIR output directory -d DEVICE, --device DEVICE device to use --td_cfg TD_CFG path of text detector config file --tr_cfg TR_CFG path of text recognizer config file --lp_cfg LP_CFG path of layout parser config file --tsr_cfg TSR_CFG path of table structure recognizer config file --ignore_line_break if set, ignore line break in the output --figure if set, export figure in the output --figure_letter if set, export letter within figure in the output --figure_width FIGURE_WIDTH width of figure image in the output --figure_dir FIGURE_DIR directory to save figure images 18
19. 基本的な利用方法 --formar 出力フォーマット(json, csv, html, md) --vis(option) レイアウト解析結果画像出力 --outdir 結果の出力先ディレクトリ $ yomitoku --format json --vis --outdir <outdir> <対象ファイル or ディレクトリ> 19
20. OCRに掛けてみる 少し古い雑誌(1978年) 国立国会図書館デジタルコレクションより「 」から 一部を 最近の雑誌 漫画 少し粗い漫画 スマホで撮った商品パッケージ : デモにて エンサイクロペディア・アスキー volume 1 20
21. Tips:PDFを画像に 国立国会図書館デジタルコレクションからダウンロードしたPDFファイルなどをOCRするために 画像に変換 poppler-utilsのpdfimagesを使う パスワードで保護されたPDF 総当り……最近のPDFはセキュリティが厳しくなり難しく諦めている pdfファイルから画像を抜き出し( pdfimages or LibreOffice ) – matoken’s meme 21
22. SEE ALSO 要NVIDIA GPU NDL古典籍OCR-LiteのようにNDLOCR-Liteが出ないかな? iOS/Windows Wine? NDLOCR bunkoOCR 22
23. まとめ 今回Linuxにも対応したCPU&オフラインで動作するNDL古典籍OCR-LiteとYomiTokuを 試した どちらもさくっと動いて精度も結構良さそう NDL古典籍OCR-Liteについてはこれまで古典は読まなかったが世界が広がる感じ YoMitokuはかなり実用性も高いしサービスに組み込むことも容易そう ただし公開時はライセンスに注意→ CC BY-NC-SA 4.0 個人的に雑誌などのOCRはWindowsのアプリケーションを使っていたので脱Windowsがま た1つ進みそう 23
24. 奥付 発表 2024-12-15(sun) 発表者 利用ソフトウェア + ライセンス 鹿児島Linux勉強会 2024.12(オンライン開催) Kenichiro Matohara(matoken) Neovim Asciidoctor Reveal.js CC BY 4.0 24