「ニューラルかな漢字変換」の 社会実装

生成AI会 Vol.2@渋谷（LLMプロダクト開発・ハーネスエンジニアリング）の発表資料です。
https://seisei-ai.connpass.com/event/388188/

1. 「ニューラルかな漢字変換」の 社会実装 生成AI会 Vol.2@渋谷
2. Keita Miwa Naoki Takahashi Developer of “ azooKey” iOS / macOS Developer ML Engineer @ Turing Inc. Developer of “InspirationCat” iOS Developer President @ CoeFont Inc.
4. かな漢字変換 x LLM
5. LLMとかな漢字変換 • GPT-3.5（2022年11月）
6. LLMとかな漢字変換 • GPT-4（2023年2月）
7. LLMとかな漢字変換 • GPT-4（2023年2月） これでいいじゃん！
8. 良くない
9. GPT-4は賢い。だが…… 日本語入力システムへの導入には、課題があった。 • プライバシー：APIに膨大な個人情報を投げるわけにはいかない。 • コスト　　　：APIの料金は普通に高い。 • 遅延　　　　：日本語入力は1秒待てるアプリではない。
10. 実用可能な ニューラルかな漢字変換
11. • GPT-4を使えば、従来手法を超えた高精度な変換が可能 • だが、GPT-4は「日本語入力システムの要件」にフィットしない • では、どこを妥協すれば解決できるか？ 問題の検討
12. • 2023年7月にLlama 2 (Meta) が公開 ◦ オープンウェイトで、当時としては大規模・高性能だった • これをきっかけに、Llama 2をローカルで動かす手法が登場 ◦ 中でもllama.cppがデファクト化していった ローカルLLMの隆盛
13. • プライバシー：ローカル実行できるモデルなら解決 • コスト　　　：ローカル実行できるモデルなら解決 • 遅延　　　　：追加で高速化が必要 ローカル推論で解決する問題
14. • モデル：GPT-2 (small)ならllama.cppで余裕を持ってローカルで動く 具体的に検討する①
15. 具体的に検討する① • モデル：GPT-2 (small)ならllama.cppで余裕を持ってローカルで動く • だが、GPT-2 (small)程度のサイズで、かな漢字変換を解決できる モデルは世の中になかった
16. • モデル：GPT-2 (small)ならllama.cppで余裕を持ってローカルで動く • だが、GPT-2 (small)程度のサイズで、かな漢字変換を解決できる モデルは世の中になかった ◦ なければ作る 具体的に検討する①
17. 具体的に検討する② • ローカルで動くモデルは、ローカルで学習可能 • データを用意し、手元環境（M2 Pro Mac mini）で数日学習を回す • 数回のトライアルでニューラルかな漢字変換モデルが完成
18. • 結果的にGPT-4oより 強いモデルができた。 • しかもローカルで動く。 具体的に検討する②
19. 具体的に検討する③ 残る問題は遅延。 • 人間のユーザの体感では、 入力からレスポンスまで50msを超えると「重い」と感じる
20. 残る問題は遅延。 • 人間のユーザの体感では、 入力からレスポンスまで50msを超えると「重い」と感じる • 妥協して、GPUを使える環境だけを考える 具体的に検討する③
21. 残る問題は遅延。 • 人間のユーザの体感では、 入力からレスポンスまで50msを超えると「重い」と感じる • 妥協して、GPUを使える環境だけを考える • 「投機的デコーディング」という高速化手法に着目 具体的に検討する③
22. ニューラルかな漢字変換の仕組み
24. 一定の妥協のもと、LLM × かな漢字変換の課題が解決 • プライバシー：GPT-4を諦めてローカル推論で解決 • コスト　　　：GPT-4を諦めてローカル推論で解決 • 遅延　　　　：GPUと投機的デコーディングを利用して解決 →実際にアプリケーション化し、リリース！ 検討の結果
25. リリース後
26. 様々なフォークが生える
27. 評価ベンチが活用されたり、再現実装されたり
28. オープン化が重要 • 「社会実装」としては、azooKeyに留まらない普及も重要 • 学習用データ、学習済みモデル、ベンチマーク、学習方法などを 公開し、論文化したのは重要だった • azooKey自体は元からオープンソースで運用していたため、フォークしやすかっ たのも寄与した
29. • 日本語入力は「慣れ」の要素が大 きいシステム。 • かな漢字変換がよくても、他のシ ステムから移行するには精度以 前にUX面のハードルが高い。 精度以外が問題に
30. プロダクトとしての難しさ • かな漢字変換は、従来手法でもある程度までは精度が出る ◦ 実際、日本語入力ユーザはこの30年以上それでなんとかしていた • ニューラルかな漢字変換は 「すでに99%の精度が出ているところに、 0.9%の精度向上を売り込む」 プロダクトになる • 商業プロダクトだったら難しかった（趣味プロジェクトなのでやれている）
31. 「ニューラルかな漢字変換」の社会実装 • 一見相性の悪そうな「LLM × 日本語入力」を上手く実現 ◦ LLMの課題（プライバシー、コスト、遅延）をローカル実行で解決 ◦ GPT-2ベースの独自モデルでもGPT-4oを超える精度を達成 ◦ 遅延対策としてGPU前提で投機的デコーディングを導入し、 実用レベルの速度を達成 • プロダクトとしては今後も改善を追求していく予定