AI 駆動開発勉強会 フロントエンド支部 #1 w/あずもば

AI 駆動開発勉強会 フロントエンド支部 #1 w/あずもば「XR デバイス（Meta Quest）と Microfoft Foundry（旧 Azure AI Foundry）で音声認識とか声の連携をやってみたよもやま話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 1 AI 駆動開発勉強会 フロントエンド支部 #1 w/あずもば XR デバイス（Meta Quest）と Microsoft Foundry（旧 Azure AI Foundry） で 音声認識とか声の連携をやってみたよもやま話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！ 2
3. 15 分くらいで話します！ 3
4. 田中正吾（たなかせいご） 屋号ワンフットシーバス 代表 2004年よりフリーランス転向以後、FLASH 制作を中心にイ ンタラクティブコンテンツを主に行い現在に至る。最近では WEBフロントエンドをベースにしながらも、情報とインタ ーフェースが合わさるアプローチという視点で 生成 AI ・ IoT ・ XR といった技術も取り入れながら活動しています。 ウォンバットが好き。 4
5. Meta Questと Microsoft Foundry で AI に声で話してAI から返答が来るライブデモします といいつつも、いろいろやってたどり着いたので、そんな話もしつつで。 5
6. 最近 Azure AI Foundry が Microsoft Foundry へリブランドしていた https://forest.watch.impress.co.jp/docs/news/2067421.html 6
7. 絶賛、移行期を感じる 以前の UI はクラシックとなり新しい UI も出てきている 7
8. いろいろ調べたが、まだ旧方式のエンドポイントは動く ようで、だんだん新方式に変わっていく様子 移行するための猶予は不明。こちらが新しい UI でトグルスイッチでできる。切り離されているというより設定はそのままに UI が違う感じ。 8
9. とにかくこの移行期にプロトタイプせねばなるまい 新旧入り乱れてて以前のものは使えるけど新しい環境がどうなるのかよくわからないの 9
10. おそるおそる「あえて」新環境を まっさら最初からつくってつないでみる勇気 初手からこういう画面が出てきました 10
11. とはいえ、従来と同じやり方で作ることができました 旧 UI での作成ですが Microsoft Foundry resource でも大丈夫そう 11
12. モデルは 3 つ詰め込んでおります！ 音声認識 whisper ・ 音声生成 tts ・ チャット回答 gpt-4o 12
13. ではライブデモしてみます！ 実際にこの出来上がったリソースにつないでみます！ 13
14. よもやま話 データを人間に伝えるという、これもまたフロントエンドということで 14
15. Microsoft Foundry ちゃんと動かせた 技術の変化は世の常だけどひとまず動いてよかった 15
16. AI エージェントとデバイスによる 音声認識たのしそうで試している たとえば別件で最近 Mastra という TypeScript で AI エージェントつくるのをやってるのですが、 音声で言葉を伝えてチャット経由であれこれつながる仕組みにつなげたら面白そう 16
17. 使うモデルをどんどん入れて試せるのは楽しい 情報の取り扱い面で自分のクラウド環境で制御できて良いし、かなり AI を動かすためのもろもろを整えてくれてて API で案内されてて素敵 17
18. まとめ Microsoft Foundry と XR デバイスをつなげることで AI エージェントへの連携も可能性を感じている 自分でモデルをチョイスして自分の環境でモデルを動 かせるのは情報の取り扱いとして安心感がある ひきつづき AI と絡めていろいろと作っていきます！ 18