AI型教材Qubena(キュビナ)の手書き文字認識のユニットテストについて

AI型教材「Qubena(キュビナ)」の手書き文字認識のユニットテストについて 2022.04.27　株式会社COMPASS　入間川愛 1

自己紹介入間川愛(いりまがわあい)／ @regina_t_rex 株式会社COMPASS QAチームリーダー証券会社やIoTプラットフォームサービスのシステム開発、農業 ITの製品企画を経て、第三者検証会社でQAのキャリアを開始。 2021年4月よりCOMPASSに一人目QAとして参画。
Qubena(キュビナ)のサービス品質向上、開発現場のQA技術向上・プロセス改善をリードし、よりよいサービスを学校現場へ届けるために奮闘中。 2

MyScript(マイスクリプト)とは・フランスの企業が提供する、　手書き文字を認識するAI認識エンジン　認識率約97％！・Qubena(キュビナ)の手書き文字認識で利用　→　しかし、文字認識不具合の問い合わせが頻発。。 5 精度の高い認識エンジンなのにどうして。。

こんな不具合がでます例）「ー(マイナス)極」を答えさせる問題で「-(ハイフン)極」と認識 6

不具合報告後の対応フロー 7 ①コンテンツチーム　・対応方針決定 ②データ分析基盤チーム　・誤答のテストデータ抽出 ③アプリ開発／QAチーム　・設定ファイル更新／ユニットテスト ④QAチーム　・実機テスト

設定ファイルの修正 MyScriptのみだと意図した認識がされない・日本語や漢字の認識が困難・誤認識を補正するための色々な設定ファイルを　COMPASS社内で準備・認識結果に調整を加えたい場合は設定を変更 8

ユニットテストの実装・誤答の問題が正しく誤答になるか？ 9 ・正答の問題が正しく正答になるか？・アプリはFlutter for Webで実装・ﬂutter_testを使ったユニットテストを実施

このように品質改善しました 10 リリース直後から、明らかな正答率の改善！

まとめ文字認識の精度向上のためのユニットテストの取り組み・今後はさらなるテスト観点、テストデータの充実を図っていく・「生徒のよりよい学習体験」に妥協せずに取り組んでいきたい未踏のQA手法の開拓・「文字認識」以外にも、「AIによる問題出題ロジック」など一般的な　プロダクトでは触れることが難しい機能の品質保証が求められる・ダイナミックに成長するQubena(キュビナ)の品質を支えるため、既存の　QAの枠組みに囚われない活動をチームで継続していきたい 11

AI型教材Qubena(キュビナ)の手書き文字認識のユニットテストについて

AI型教材Qubena(キュビナ)の手書き文字認識のユニットテストについて

regina_t_rex

More Decks by regina_t_rex

Featured

Transcript