Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

ELYZA_Findy AI Engineering Summit登壇資料_AIコーディング時...

ELYZA_Findy AI Engineering Summit登壇資料_AIコーディング時代に「ちゃんと」やること_toB LLMプロダクト開発舞台裏_20251216

2025年12月16日開催の Findy AI Engineering Summit にスポンサーとしてELYZAも参加をいたしました。
その際に自社LLMプロダクト開発の取り組みを発表した資料です。ソフトウェアエンジニア、機械学習エンジニアの方向けの内容です。

■AIコーディング時代に「ちゃんと」やること 〜 toB LLMプロダクト開発舞台裏〜
# LLM # ELYZA #AIE2025

求人募集一覧:
https://open.talentio.com/r/1/c/elyza/homes/2507

X:
https://twitter.com/elyza_inc

Zenn:
https://zenn.dev/p/elyza

Note:
https://note.com/elyza

カジュアル面談:
https://chillout.elyza.ai/

Avatar for 株式会社ELYZA

株式会社ELYZA

December 18, 2025
Tweet

More Decks by 株式会社ELYZA

Other Decks in Programming

Transcript

  1. AIコーディング時代に toB LLMプロダクト開発舞台裏 「ちゃんと」やること 齋藤 暢郎 (@tarunon) 
 プロダクト事業部 ソフトウェア

    エンジニアチーム マネジャー 村⼭ 卓朗 プロダクト事業部 機械学習チーム マネジャー (@zakktakk) 

  2. 2 Agenda 本日の流れ 1. 私たちについて 2. ELYZA Worksについて 3. ELYZA

    Works開発における AI活用 4. 品質維持の取り組み
  3. (C) 2025 ELYZA 村⼭ 卓朗 (@zakktakk) • 2018 - 2021

    ◦ 株式会社リクルートにてデータサイエンティストとして⼈材領域 のデータ活⽤施策の推進に従事 • 2021 - 現在 ◦ 株式会社ELYZAに転職。ソフトウェアエンジニアを経て、現在は 機械学習エンジニアグループのマネージャーを務める。 ⾃⼰紹介 4
  4. (C) 2025 ELYZA ELYZAの概要 5 読み仮名:イライザ 会社名
 株式会社 ELYZA
 所在地


    〒113-0033
 東京都文京区本郷 3-15-9 SWTビル 5・6F
 代表者
 代表取締役 曽根岡侑也 
 設立
 2018年9月
 (東京大学松尾研究室からスピンアウト )
 事業内容 
 • AIリサーチ &ソリューション 事業
 • AI SaaS 事業

  5. (C) 2025 ELYZA 課題①:AIツールの利⽤者のAIスキルに依存 • チャットAIが組織で導⼊されているが、個⼈のプロンプト スキルに依存し、活⽤が限定的 • 活⽤⽅法が共有されず、知識が属⼈化 •

    プロンプトの共有だけでは、利⽤の浸透が困難 企業のAI活⽤を阻む、2つの課題を解決します ELYZA Worksが解決する課題 課題②:⾃社専⽤AIアプリをつくることが困難 • 業務理解とAI知⾒のある開発/運⽤⼈材の不⾜ • 個別開発による⾼額な初期コスト • モデルのアップデート等に伴うプロンプト調整やメンテナ ンスの負荷 AIスキルに依存することなく利⽤、 チームで共有/改善が可能 • ⾃社業務に特化したAIアプリが業務のプロセスに組み込ま れることで、利⽤者‧利⽤範囲が拡⼤ • AIアプリの内容を確認して質の⾼いものだけを組織に展開 AIの伴⾛により現場で ⾃社専⽤AIアプリの開発/運⽤が可能 • 専⾨家のベストプラクティスに基づき、⾃社業務に特化し たAIアプリをAIが⾃動⽣成 • 実際に利⽤する現場社員が主導して、AIに指⽰することで 改善が可能 10
  6. (C) 2025 ELYZA 課題①:AIツールの利⽤者のAIスキルに依存 • チャットAIが組織で導⼊されているが、個⼈のプロンプト スキルに依存し、活⽤が限定的 • 活⽤⽅法が共有されず、知識が属⼈化 •

    プロンプトの共有だけでは、利⽤の浸透が困難 企業のAI活⽤を阻む、2つの課題を解決します ELYZA Worksが解決する課題 課題②:⾃社専⽤AIアプリをつくることが困難 • 業務理解とAI知⾒のある開発/運⽤⼈材の不⾜ • 個別開発による⾼額な初期コスト • モデルのアップデート等に伴うプロンプト調整やメンテナ ンスの負荷 AIスキルに依存することなく利⽤、 チームで共有/改善が可能 • ⾃社業務に特化したAIアプリが業務のプロセスに組み込ま れることで、利⽤者‧利⽤範囲が拡⼤ • AIアプリの内容を確認して質の⾼いものだけを組織に展開 AIの伴⾛により現場で ⾃社専⽤AIアプリの開発/運⽤が可能 • 専⾨家のベストプラクティスに基づき、⾃社業務に特化し たAIアプリをAIが⾃動⽣成 • 実際に利⽤する現場社員が主導して、AIに指⽰することで 改善が可能 11
  7. (C) 2025 ELYZA • アプリを利⽤する ◦ AIスキルがそこまで⾼くないメンバーが ターゲット ◦ アプリ作成者が作った品質の⾼いAIアプリを

    利⽤することができる • アプリをつくる ◦ AI導⼊に熱意のある / AIスキルを持ち合わせて いるドメインエキスパートがターゲット ◦ AIアプリ = LLM処理を内包するフォーム / チャット形式のアプリを作成する 12 課題①:AIツールの利⽤者のAIスキル に依存に対するアプローチ スキルの⾼いユーザーがAIアプリを作成し、それ以外のユーザーが利⽤する形で提供機能を分離
  8. (C) 2025 ELYZA 課題①:AIツールの利⽤者のAIスキルに依存 • チャットAIが組織で導⼊されているが、個⼈のプロンプト スキルに依存し、活⽤が限定的 • 活⽤⽅法が共有されず、知識が属⼈化 •

    プロンプトの共有だけでは、利⽤の浸透が困難 企業のAI活⽤を阻む、2つの課題を解決します ELYZA Worksが解決する課題 課題②:⾃社専⽤AIアプリをつくることが困難 • 業務理解とAI知⾒のある開発/運⽤⼈材の不⾜ • 個別開発による⾼額な初期コスト • モデルのアップデート等に伴うプロンプト調整やメンテナ ンスの負荷 AIスキルに依存することなく利⽤、 チームで共有/改善が可能 • ⾃社業務に特化したAIアプリが業務のプロセスに組み込ま れることで、利⽤者‧利⽤範囲が拡⼤ • AIアプリの内容を確認して質の⾼いものだけを組織に展開 AIの伴⾛により現場で ⾃社専⽤AIアプリの開発/運⽤が可能 • 専⾨家のベストプラクティスに基づき、⾃社業務に特化し たAIアプリをAIが⾃動⽣成 • 実際に利⽤する現場社員が主導して、AIに指⽰することで 改善が可能 13
  9. (C) 2025 ELYZA AIソリューションとELYZA Worksの棲み分け 技術的難易度が⾼い かつ 影響度の⼤きい業務課題は現状AIソリューションの領域 ELYZA Worksはプロダクト単独で解決可能な課題の幅を広げていく

    16 業務への影響度:⼤ 技術難易度:⾼ (≒コスト:⾼) 技術難易度:低 (≒コスト:低) 業務への影響度:⼩ AIソリューション プロ⼈材による伴⾛で 重要スコープの活⽤を推進 ELYZA Works (+ CS伴⾛⽀援) AIアプリを⾃⾛して開発するためのツールを提供し、 より多数のスコープで活⽤を推進
  10. (C) 2025 ELYZA ELYZA Worksのアーキテクチャ アプリケーションの主体はAWS、可変性の⾼い基盤は切り離したアーキテクチャとしている 20 アプリケーション LLMホスティング 基盤

    Agent 基盤 メッセージキューを介して アプリケーションと ML処理を分離 Pd⽤ ML処理 A社専⽤ ML処理 ML処理 MCPサーバー
  11. (C) 2025 ELYZA ELYZA Worksのアーキテクチャ アプリケーションの主体はAWS、可変性の⾼い基盤は切り離したアーキテクチャとしている 21 アプリケーション LLMホスティング 基盤

    Agent 基盤 LLM Hosting / Agentはいずれも 技術の潮流が極めて早い領域、 スクラップアンドビルドも⾒据えて 独⽴性の⾼い構成に Pd⽤ ML処理 A社専⽤ ML処理 ML処理 MCPサーバー
  12. (C) 2025 ELYZA ELYZA Worksのアーキテクチャ:Agent基盤の詳細 Vertex AIのエコシステムを中⼼とした構成、Agent ProxyでELYZA Works独⾃仕様を吸収 22

    • Good ◦ 最⼩限のシンプルな構成 ◦ Agent Proxyを介して分離しているの で、Agent側はビジネスロジックを 意識しなくて良い • Motto ◦ 認証‧認可部分の多くを⾃前で独⾃ 実装している ◦ Vertex AI Serviceだけでは完結せず、 ⼀部3rd party Serviceに頼る必要が ある ◦ (ADKは⾃由度が⾼く、想定通りの 制御が難しい)
  13. (C) 2025 ELYZA ELYZA Worksのアーキテクチャ:LLMホスティング基盤の詳細 GKEベースの推論基盤を構築、70BサイズのLLM運⽤実績あり 23 • Good ◦

    Kubernetesを採⽤することで 環境のポータビリティを担保 • Motto ◦ モデルバイナリが超巨⼤なため、 スケールアップにリードタイムが かかる ◦ (ELYZAが利⽤している国内リージョ ンでは) GPUリソースが奪い合いの状 態で安定確保が難しい
  14. (C) 2025 ELYZA Platform ServiceとしてのELYZA Works 25 Pd⽤ ML処理 A社専⽤

    ML処理 プロダクト (ELYZA Works) とAIソリューションを同⼀基盤 / サービスで提供している
  15. (C) 2025 ELYZA Platform ServiceとしてのELYZA Works プロダクト (ELYZA Works) とAIソリューションを同⼀基盤

    / サービスで提供している 26 プロダクト向けのML処理と 同様にソリューション向けの カスタムML処理を提供 Pd⽤ ML処理 A社専⽤ ML処理
  16. (C) 2025 ELYZA ELYZA Worksのアーキテクチャ プロダクト (ELYZA Works) とAIソリューションを同⼀基盤 /

    サービスで提供している 27 プロダクト向けのML処理と 同様にソリューション向けの カスタムML処理を提供 Pd⽤ ML処理 A社専⽤ ML処理 AIソリューション顧客向け画⾯ callされるML処理は異なるが、 ユーザーが触るアプリケーションは(ほぼ)同じ AIプロダクト顧客向け画⾯
  17. (C) 2025 ELYZA Platform ServiceとしてのELYZA Works プロダクト (ELYZA Works) とAIソリューションを同⼀基盤

    / サービスで提供している 28 :AIプロダクトのみ提供 :AIソリューションのみ提供 :両⽅の顧客に提供 共通機能 認証/認可 Rate Limit 暗号化 ロギング 汎⽤ML処理 顧客特化のML パイプライン Subsystems ML Processing Backend Frontend バッチ処理 ドキュメント 管理 プロダクト 固有機能 契約管理 請求管理 プロダクト 固有機能 アプリ⾃動⽣成 合成データ⽣成 共通機能 ユーザー管理 アプリ利⽤ アプリ作成 利⽤状況確認 プロダクト 固有機能 請求管理
  18. (C) 2025 ELYZA 29 プロダクト⇔ソリューションのシナジーが⽣み出しやすい構造 ▪ ソリューション事業にとって • 顧客においてプロダクトからのアップセルが狙いやすい •

    PoCが「やって終わり」にならない ▪ プロダクト事業にとって • ソリューション顧客とプロダクト検証ができる • 顧客の業務‧課題を深く理解しプロダクト改善に還流できる • 顧客においてソリューションとのクロスセルが狙いやすい ▪ 顧客にとって • プロダクト⇔ソリューションのシームレスな体験 • データが同じ場所に蓄積されるため、再利⽤しやすい プロダクトとソリューションが同居することのメリット
  19. (C) 2025 ELYZA 30 プロダクトマネジメントの観点 1. 要求の優先順位付けが難しい • プロダクトとソリューションそれぞれで追うべき指 標が異なる中で、⼀様に寄せられる要求を横並びで

    優先順位付けする必要がある 2. オーナーシップの曖昧化 • ⽚⽅の事業でしか利⽤しない機能の責任境界が曖昧 になり、結果として機能改善が劣後されてしまう 3. ロードマップの予測可能性低下 • ソリューションは緊急度が⾼く対応を求められるが あり、突発的な割り込みタスクが発⽣しうる • 当該タスクが増加すると中⻑期の計画が意味をなさ なくなる 1. コードベースの複雑化 • プロダクトとソリューションそれぞれの固有機能が 存在するため、「特定顧客にのみ提供」という条件 分岐が各所に発⽣する • コードベースが複雑になった結果、新機能追加の影 響範囲確認‧実装難易度が上がり、⽣産性が下がる 2. 品質保証の難易度が上がる • ソリューション顧客ごとに異なる設定‧カスタマイ ズがあり、テストシナリオが爆増する • 結果としてQAにかかる⼯数も増える(もしくはQAカ バレッジが下がる) 3. サービスレベル、セキュリティへの⾼い要求 • プロダクト顧客に⽐べてソリューション顧客は⾼い SLAや個別のセキュリティ基準への準拠を求める 開発の観点 プロダクトとソリューションが同居することのデメリット
  20. (C) 2025 ELYZA 31 プロダクトマネジメントの観点 1. 要求の優先順位付けが難しい • プロダクトとソリューションそれぞれで追うべき指標が異 なる中で、SaaS

    / PaaSに寄せられる要求を横並びで優 先順位付けする必要がある 2. オーナーシップの曖昧化 • 片方の事業でしか利用しない機能の責任境界が曖昧に なり、結果として機能改善が劣後されてしまう 3. ロードマップの予測可能性低下 • ソリューションは緊急度高い対応が求められるケースも あり、突発的な割り込みタスクが発生しうる • 割り込みが常態化すると中長期の計画が意味をなさなく なる 1. コードベースの複雑化 • プロダクトとソリューションそれぞれの固有機能が 存在するため、「特定顧客にのみ提供」という条件 分岐が各所に発⽣する • コードベースが複雑になった結果、新機能追加の影 響範囲確認‧実装難易度があがり、⽣産性が下がる 2. 品質保証の難易度が上がる • ソリューション顧客ごとに異なる設定‧カスタマイ ズがあり、テストシナリオが爆増 • 結果としてQAにかかる⼯数も増える(もしくはQAカ バレッジが下がる) 3. サービスレベル、セキュリティへの⾼い要求 • プロダクト顧客に⽐べてソリューション顧客は⾼い SLAや個別のセキュリティ基準への準拠を求める 開発の観点 プロダクトとソリューションが同居することのデメリット ELYZAの開発チームが 直⾯しているハードルを 乗り越えるための 地道な取り組みについて、 この後お話しします
  21. (C) 2025 ELYZA 齋藤 暢郎(@tarunon) • 2014 - 2016 ◦

    LINE福岡株式会社 ファミリーアプリ/本体iOSアプリの開発 • 2016 - 2019 ◦ 株式会社メルカリ US/JPでiOSアプリの開発 • 2019 - 現在 ◦ 株式会社ELYZA サービス開発に従事。推論学習以外のシステム開 発を全般担当。現在はソフトウェアエンジニアグループのマネー ジャー。 ⾃⼰紹介 33
  22. (C) 2025 ELYZA 34 • コーディング速度は上がる ◦ 引き換えに、検証が重くなる ◦ コーディングが早くなれば⽐率として増えるのは当然

    ◦ 検証の量が増えてトータルの⽣産量は横ばい、となってないだろうか? • 検証の効率化や、開発全体の再現性が重要に ◦ 古典的な⾃動化 ◦ ClaudeCodeのカスタムコマンド • ELYZAの開発チームの⽣産量推移 ◦ 概ね1.5~1.6倍で推移 ◦ ※メンバー数 5->6 開発においてAIを活⽤するということ AI活⽤ ↔ 検証のサイクルを確実‧⾼速に 週あたりマージしたPR数の遷移
  23. (C) 2025 ELYZA 35 ドキュメントドリブンに開発を進⾏。適材適所にツールを採⽤し、AIの⾏動範囲を狭める ドキュメントファーストな開発 PdM SwE フロントエンド バックエンド

    APIDoc UserStoryを起票 UserStoryを元に Design Docを書きおこす API定義からAPI Clientを ⾃動⽣成 API Clientをベースに 実装を進める
  24. (C) 2025 ELYZA 36 古典的な⾃動化 (1/3) その他古典的なアプローチにより検証の効率化や、開発全体の再現性を⾼める • Lint, Formatを徹底

    ◦ eslint-pluginで実現できないFormatter をClaudeCodeで⽣成(お試し中) • 差分に対してのCI (Format, Build, Test) • git-flow ◦ develop ← (QA)ーfeature/** ◦ feature/**← (CodeReview) ーwork/** • featureブランチごとの開発環境
  25. (C) 2025 ELYZA 37 古典的な⾃動化 (2/3) その他古典的なアプローチにより検証の効率化や、開発全体の再現性を⾼める • Lint, Formatを徹底

    ◦ eslint-pluginで実現できないFormatter をClaudeCodeで⽣成(お試し中) • 差分に対してのCI (Format, Build, Test) • git-flow ◦ develop ← (QA)ーfeature/** ◦ feature/**← (CodeReview) ーwork/** • featureブランチごとの開発環境
  26. (C) 2025 ELYZA 38 古典的な⾃動化 (3/3) • Lint, Formatを徹底 ◦

    eslint-pluginで実現できないFormatter をClaudeCodeで⽣成(お試し中) • 差分に対してのCI (Format, Build, Test) • git-flow ◦ develop ← (QA)ーfeature/** ◦ feature/**← (CodeReview) ーwork/** • featureブランチごとの開発環境 その他古典的なアプローチにより検証の効率化や、開発全体の再現性を⾼める
  27. (C) 2025 ELYZA 開発環境の⾃動追加/削除 (2/3) 40 PR #8819 迅速な検証を⾏うために、開発環境をPRに連動して⾃動作成/削除(最⼤5個) PR

    #9012 PR #9161 PR Open => Terraform Apply & Deploy Draft PR Open => Terraform Apply & Deploy Draft PR Open => Terraform Apply & Deploy
  28. (C) 2025 ELYZA 42 ⽇々の業務はClaude Codeでカスタムコマンド化し、チーム内で作業の再現性を上げる Claude Codeカスタムコマンド 1. ローカル開発

    /finalize 2. PR作成 3.セルフレビュー 4.QA準備 5.リリース準備 /create-pr /code-review /create-qa /release-precheck ローカルの差分箇所に対 してのCIチェックを動かす & フォーマットエラーなど の必要な修正を⾏う 現在の作業を適切な単位 にコミットし、新しいPR にまとめてDraft PRをつく る PRに対してコードレ ビューを⾏い、改善提案 をPR中にコメントする (セルフチェック⽤) featureブランチに対して developとの差分から必要 なQA項⽬のドラフトを作 成する ⼈⼿で⾏なっていたリリー ス時のチェック項⽬確認 を(問題がない限りは) ⾃動で実⾏
  29. (C) 2025 ELYZA まずは結論から 品質維持の取り組み 44 • 各種テストの充実 ◦ Unit

    Test ◦ E2E Test ◦ ML Regression Test • featureブランチごとのQA • AI x セキュリティ • 直近1年間のサービス稼働率は99.93%で推移 ◦ 直近1年の停⽌時間: 340分
  30. (C) 2025 ELYZA 45 • テストを維持できる仕組みづくり ◦ /code-review により、テスト記載がない、或いは不適切なテストについての指摘を実⾏ ◦

    上記指摘からテストの記載、改善まで進められる • feature/** <- work/** のPRは、Unit Testの通過が必須 • api ◦ Serviceレイヤを中⼼にテストを記載 • 70~95%程度のカバレッジ • web ◦ コンポーネント(atoms, molecules) • 60~80%程度のカバレッジ ◦ 今後reducerやmiddlewareのテストが必要 • 基盤のみテストを追加した状況 各種テストの充実 (1/3) Unit Test
  31. (C) 2025 ELYZA 46 • 開発チーム⾃らPre QAを実施 ◦ その上で、E2Eテストの追加/メンテナンスも⾏う •

    featureブランチごとに開発環境が独⽴しており、安定したE2E Testの運⽤とメンテナンスが可能 • 基本的な機能利⽤のシナリオはほぼ網羅 • Playwright Test Agentsを使った取り組みが進⾏中(そのうち技術ブログ出します) • develop <- feature/** のPRは、E2E Testの通過が必須 • リリース前後でstg/prodでも実施 各種テストの充実 (2/3) E2E Test
  32. (C) 2025 ELYZA 47 • ELYZA Worksで提供するアプリや、Solutionの成果のリグレッションテスト • アプリの⼊⼒と想定される出⼒をyaml形式で定義 •

    リリース前に⼀括実⾏し、結果を編集距離で判定、リグレッションテストとして実施 ◦ 共通モジュールの変更や、モデルのアップグレードによる • 完全⼀致 or Levenshtein距離ベースで成功/失敗判定する 各種テストの充実 (3/3) ML Regression Test
  33. (C) 2025 ELYZA • 1. Dependabot Auto Merge ◦ CIが通ったら⾃動でマージ

    ◦ 0 open 596 closed (2025/12/05時点) • 2. ClaudeCodeの /security-review ◦ feature/** → develop の段階で実施 48 AI x セキュリティ (1/3) セキュリティの取り組み
  34. (C) 2025 ELYZA • 3. DesignDoc AIレビュー ◦ Notion AIを活⽤。DesignDocチケットのテンプレートにAIブロックを設置

    • 精度はまだまだ改善の途上 • 実装含めてレビューできるClaude Codeに移⾏中 ◦ OWASP ASVS v5.0/OWASP LLMSVS v0.1 に基づいたチェックを⾏う 49 AI x セキュリティ (2/3) セキュリティの取り組み
  35. (C) 2025 ELYZA 50 AI x セキュリティ (3/3) • 4.

    Takumi byGMOによるSAST/DAST ◦ SAST:⽉次でサービス全体‧リリースごとにブランチ単位で診断を実施 ◦ DAST:現時点では公開エンドポイントのみ診断 セキュリティの取り組み
  36. (C) 2025 ELYZA • ⼀部業務はELYZA Worksを活⽤ • 活⽤例1. Redashのクエリつくるくん ◦

    ユーザーの動向や、障害の調査の際にRedashで実⾏するクエリを組み⽴てるのに利⽤ ◦ 開発だけでなく、プロダクトチーム全体で⼀番⼈気のアプリ • 活⽤例2. 障害‧復旧速報メール⽂⾯作成⽀援, お客様向け障害報告下書き作成 ◦ 障害発⽣時の速報や、対応完了後の報告書の作成に利⽤ ◦ Prod環境が障害で動かない場合、そのまま利⽤できない弱点あり😂 52 ELYZA Worksを活⽤した品質保証の取り組み ELYZA Worksの活⽤
  37. (C) 2025 ELYZA まとめ 53 • AI活⽤の背景 ◦ ELYZA WorksはSaaSプロダクトとソリューションの提供基盤という2つの側⾯を持ち合わせている

    ◦ 開発⽣産性と品質の両取りを満たすような開発が現場には求められている • 開発⽣産性向上の取り組み ◦ ドキュメントファーストな取り組みを⾏い、AIコーディングの活⽤範囲と精度を向上 ◦ ClaudeCodeのコマンドをチームで共有し、チーム全体で⽣産性を向上 • 品質向上の取り組み ◦ 各種テストの充実 ◦ AIを活⽤した、より上段からのセキュリティ対応の実施 ◦ ⾃らQAを⾏い、E2E Testへの反映を⾏う AIとの協働では地道な「ちゃんとやる」の積み重ねが⼤切
  38. ▶ カジュアル⾯談はページ下部の概要欄より! まずは気軽に話しませんか?(オンライン or リアルOK) カジュアル⾯談実施中 • ソフトウェアエンジニア(フルスタックエンジニア) • 機械学習エンジニア(プロダクト事業)

    • 機械学習エンジニア(ソリューション事業) • リサーチャー / リサーチエンジニア • プロダクトマネージャー など、全⽅位で採⽤しています。 ELYZAは絶賛、仲間を募集しています