Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMエンジニアリングを加速させるソフトウェアアーキテクチャ

takuya kikuchi
November 29, 2023

 LLMエンジニアリングを加速させるソフトウェアアーキテクチャ

2023-11-29 【JDLA後援】実践LLMエンジニアリング でのLT資料です

takuya kikuchi

November 29, 2023
Tweet

More Decks by takuya kikuchi

Other Decks in Technology

Transcript

  1. 自己紹介 Algomatic シゴラクAIカンパニー CTO 菊池 琢弥 / Takuya Kikuchi X:

    @_pochi フィンテックスタートアップにおいて開発リードや VPoEとして開発 組織構築を担当したほか、モバイルオーダープラットフォームを手 がけるShowcase GigではVPoTとして技術領域全般を管掌。 2023年、AlgomaticにカンパニーCTOとして参画。ソフトウェア開 発、設計、ドット絵が好き
  2. 1. 技術的不確実性 高い頻度での新モデル、新機能が登場する • GPT-4V, GPT-4 Turbo, DALL-E, Assistants API,

    etc… • コンテキスト長制限やコストの変化なども目まぐるしく変化している ◦ 現時点での工夫が、もしかすると半年後には不要になっているかも ... 開発プロセスを変化させるような周辺サービスも登場 • PromptFlow ◦ 開発〜評価〜デプロイのプロセスを一手に担う、 Azure上のサービス ◦ PromptFlowを活用する場合、RAGなどのアルゴリズム実装やプロンプトエンジニアリングはアプリ ケーションコードではなく PromptFlow側で行うことも可能となる • LangChain(これは古くからあるが) • etc…
  3. 2. 規制など法的不確実性 データプライバシー、著作権 • トレーニングデータの著作権や、生成物に関する法的側面については各所で議論が進行中 • 日本国内でも「生成AIと知財」をめぐるリスク、懸念について目下議論が行われている : https://www.kantei.go.jp/jp/singi/titeki2/index.html •

    今後、生成物に関してさらなるガイドラインが策定される可能性も考えられる 顧客の求める要件 • 「日本国外に情報を置きたくない」「外部に機密データを出していいのだろうか」といった懸念 ◦ 技術の黎明期は、こういった判断において個社ごとの振れ幅が大きい
  4. シゴラクAIとして大事にしたいことを考え、アーキテクチャを段階的に改善 高速に価値検証を行っていきたい • UI改善による新たな体験の創出 • 回答エンジン(通常チャット、 RAG、Copilot、etc…)の新規実装、改良による価値創出 • 特定の実装技術に依存しない → (1)

    コアドメインを互いに分離する アーキテクチャ設計 特定のLLMに依存するリスクが高い。 モデルを柔軟に変更可能であることの価値も高い → (2) LLMを代替可能とするアーキテクチャ設計
  5. まとめ LLMエンジニアリングで取り組む不確実性の話 • 技術的不確実性、規制などの法的不確実性、ユースケースの不確実性 不確実性に直面したシゴラク AIでの取り組み • 「シゴラクAIで大事にしたいこと」を実現するため のアーキテクチャ改善を実施 •

    コアドメインをそれぞれ分離する ◦ 「まず作ってみる」を加速させる ◦ 日々変わりゆく実装技術、開発手法に追随可能とする ◦ ユーザー体験の正解も模索し続ける • LLMを代替可能にする ◦ 特定のLLMに依存するリスクを低減したい ◦ ただし、現実的にはOpenAIの仕様にはやや依存しつつある ... ▪ JSON Modeは便利...