LLMとSLMを活用！Azure Functions × モダンフロントエンドでつくる次世代アプリケーション

Transcript

1. LLMとSLMを活用！ Azure Functions× モダンフロントエンド でつくる次世代 アプリケーション Hack Everything shibayan / nahoko
2. 芝村達郎 (shibayan) • Microsoft MVP for Microsoft Azure • 最近は Windows on Arm と ローカル SLM 弄りが趣味 • X: @shibayan • https://blog.shibayan.jp
3. 後川 菜穂子 (nahoko) • 株式会社merida代表 • Webフロントエンド x Azure 技術アドバイザー • 複数の Azure 製 Web サービスの PdM / EM を担当
4. 生成 AI にまつわる 最近の流れ 軽量なSLMが登場 o Phi-3 mini / medium / vision など o 低レイテンシで AI 処理を実現出来る セキュリティが更に重要に o 重要なデータを AI で処理したいが 外に出せない Copilot+ PC の登場 o Intel / AMD / Qualcomm の CPU は NPU を内蔵する流れ o Apple も iOS 18 でオンデバイス AI に対応 AI の処理は PC / Edge 側に広がりつつある o アーキテクチャも最適化した形に 組み替えが必要
5. LLM を利用した一般的なアーキテクチャ LLM 単体利用の制約 Langchain や Semantic Kernel は ステートフル前提 ベクトル検索には AI Search (高い…)
6. SLM と LLM を活用したアーキテクチャ 軽量で応答速度が 必要な処理は SLM 全てを サーバーレスで構築 複雑で時間のかかる 処理は LLM ベクトル検索には Cosmos DB (安い！)
7. ビジネスから見る SLM/LLM まずは生成 AI をノンミッションクリティカルな領域で活用したい 応答速度が重要 o 変換・分類・キーワード抽出など、 比較的簡単なタスク o AI の出力を人間が都度チェック & 修正 実装が大変だと導入に至らない o 楽になるための生成 AI o (例) クライアントサイドで完結させたい 今後の LLM コストに対する懸念 o マネージドサービス上 LLM の価格変動リスク セキュリティも気になる o ローカルで動かせる SLM は利用ハードル低
8. SLMを使ったデモ
9. 今後の展望 • SLM (PC / Edge) と LLM (Cloud) を使い分けて UX 向上、コスト最適化（真に使われる AI アプリに） • 将来的には OS に組み込まれた SLM が 低負荷で利用できる時代が来る…！