Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Screen Lens - 今見てる画面を翻訳する

komagata
September 11, 2026

Screen Lens - 今見てる画面を翻訳する

今見てる画面を丸ごと翻訳するOmarchy Pluginを作りました。

komagata

September 11, 2026

Transcript

13 slides
  1. DHH からの問いかけ “this is what perfect omarchy looks like for

    japan” DHH / Omarchy Japan での言葉 日本にとって理想の Omarchy をリストアップしてほしい そこで、日本で使うために必要なものを整理した
  2. デモ 2026 年 9 月 10 日時点の試作 Super + Ctrl

    + J 今の画面を撮影して、日本語の静止画を表示 Space で原文と比較 / Esc かクリックで終了 静止画なので、元アプリの操作やスクロールはできない 翻訳時に、画面画像と認識した文字を OpenAI へ送信します。
  3. 仕組み 1. OCR :文字と位置を読み取る RapidOCR + ONNX Runtime ( PC

    内の CPU ) 位置検出: PP-OCRv5 Mobile / 読み取り: PP-OCRv6 Small 2. 翻訳:画面の文脈も参考にする OpenAI GPT-5.6 Luna (クラウド API ) 文章・座標と画面画像を送り、日本語に訳す 3. 描画:元の位置に日本語を重ねる Pango / Cairo 背景色と文字サイズを調整し、静止画として表示
  4. 工夫したポイント:画面の文脈も渡す 認識した文章と位置 + 周辺の文字 + 画面画像 翻訳モデルが、画面の文脈も参考に意味を判断 たとえば “ Open”

    は、ファイルなら「開く」、店なら「営業中」 画像は意味を判断する手がかり。誤認識や誤訳は残る

More Decks by komagata

Other Decks in Technology