Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Screen Lens - 今見てる画面を翻訳する
Search
komagata
September 11, 2026
Technology
860
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Screen Lens - 今見てる画面を翻訳する
今見てる画面を丸ごと翻訳するOmarchy Pluginを作りました。
komagata
September 11, 2026
Transcript
13 slides
Screen Lens 今見ている画面を翻訳する komagata Omarchy TOKYO Meetup vol.1 2026 年
9 月 10 日
自己紹介 komagata https://x.com/komagata フィヨルドブートキャンプ オンラインプログラミングスクール https://bootcamp.fjord.jp/
DHH からの問いかけ “this is what perfect omarchy looks like for
japan” DHH / Omarchy Japan での言葉 日本にとって理想の Omarchy をリストアップしてほしい そこで、日本で使うために必要なものを整理した
日本で使うためのベースライン 日本語キーボード配列が使える(解決済み) 日本語を入力できる 日本語で音声入力できる OS の UI が日本語になっている OS の標準ソフトウェアを日本語で使える
マニュアルを日本語で読める( DHH が解決)
でも、理想の Omarchy って何だろう? もっとチャレンジングな機能が欲しい 理想は、画面全体が勝手に翻訳されること そこまでは無理だが、 Screen Lens というのを作りました。
アプリごとに翻訳するのは面倒 ブラウザ チャット Steam それぞれの英語を いちいち翻訳する 理想の翻訳 画面全体を自動で 翻訳してほしい
デモ 2026 年 9 月 10 日時点の試作 Super + Ctrl
+ J 今の画面を撮影して、日本語の静止画を表示 Space で原文と比較 / Esc かクリックで終了 静止画なので、元アプリの操作やスクロールはできない 翻訳時に、画面画像と認識した文字を OpenAI へ送信します。
翻訳前
翻訳後
仕組み 1. OCR :文字と位置を読み取る RapidOCR + ONNX Runtime ( PC
内の CPU ) 位置検出: PP-OCRv5 Mobile / 読み取り: PP-OCRv6 Small 2. 翻訳:画面の文脈も参考にする OpenAI GPT-5.6 Luna (クラウド API ) 文章・座標と画面画像を送り、日本語に訳す 3. 描画:元の位置に日本語を重ねる Pango / Cairo 背景色と文字サイズを調整し、静止画として表示
工夫したポイント:画面の文脈も渡す 認識した文章と位置 + 周辺の文字 + 画面画像 翻訳モデルが、画面の文脈も参考に意味を判断 たとえば “ Open”
は、ファイルなら「開く」、店なら「営業中」 画像は意味を判断する手がかり。誤認識や誤訳は残る
まだ難しいところ 小さい文字や、途中で切れた文 読み落としや誤訳がある。大事な内容は原文で確認 日本語が元の枠に収まらない 文字が読みにくくなったり、英語のまま残ったりする 待ち時間とプライバシー ネット接続が必要。秘密情報を自動で隠す機能はない
まとめとこれから 画面を撮って、その位置で日本語を読む 次は、待ち時間の短縮と文字の読みやすさを改善 皆さんの理想の Omarchy には、何が欲しいですか? ソースコード・導入手順 https://github.com/komagata/screen-lens
More Decks by komagata
See All by komagata
10分で知る最近のOmarchy
komagata
0
890
AIを使った開発
komagata
0
83
Web系自社開発企業への就職
komagata
3
1.1k
FBCの紹介@RailsGirls
komagata
0
170
フィヨルドブートキャンプの紹介
komagata
0
420
プログラミングスクールでのOSS教育
komagata
0
400
FBCの紹介@RailsGIrls
komagata
0
2.2k
FBCのご紹介
komagata
0
480
Unlimited Web Services
komagata
1
2k
Other Decks in Technology
See All in Technology
Taking back control of your AI development
inesmontani
PRO
0
310
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
250
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
400
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
870
プラガブルで宣言的なソフトウェアファクトリーを支えるTypeScript
timakin
2
660
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
240
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
1k
Go でトランザクション、どう書いてますか?
knwoop
1
600
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
320
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.6k
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
520
Platform Engineering をベースとした Agentic Software Factory の実践
110y
3
980
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
234
19k
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
Paper Plane
katiecoart
PRO
6
55k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
2
4k
Design in an AI World
tapps
1
400
From π to Pie charts
rasagy
1
460
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
560
Context Engineering - Making Every Token Count
addyosmani
9
1.3k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
Well, that’s weird…
csswizardry
1
210
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
1
580