Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Realtime API 入門
Search
RioFujimon
November 03, 2024
Programming
0
190
Realtime API 入門
Kanagawa.swift #1 で発表した Realtime APIに関する入門スライドです。
RioFujimon
November 03, 2024
Tweet
Share
More Decks by RioFujimon
See All by RioFujimon
実践 Realtime API 〜入力として音声データを扱う〜
riofujimon
1
46
Let's learn code review
riofujimon
3
910
Other Decks in Programming
See All in Programming
cmp.Or に感動した
otakakot
3
340
競技プログラミングで 基礎体力を身につけよう / You can get basic skills through competitive programming
mdstoy
0
140
Leveling Up Developer Tooling for the Modern Rails & Hotwire Era @ Ruby Türkiye, November 2024
marcoroth
0
160
[FlutterKaigi2024] Effective Form 〜Flutterによる複雑なフォーム開発の実践〜
chocoyama
1
3.9k
カンファレンスの「アレ」Webでなんとかしませんか? / Conference “thing” Why don't you do something about it on the Web?
dero1to
2
160
複雑な仕様に立ち向かうアーキテクチャ
myohei
0
110
TypeScript Graph でコードレビューの心理的障壁を乗り越える
ysk8hori
3
1.5k
イマのCSSでできる インタラクション最前線 + CSS最新情報
clockmaker
5
3.8k
物流システムにおけるリファクタリングとアーキテクチャの再構築 〜依存関係とモジュール分割の重要性〜
deeprain
1
300
テスト自動化失敗から再挑戦しチームにオーナーシップを委譲した話/STAC2024 macho
ma_cho29
0
420
talk-with-local-llm-with-web-streams-api
kbaba1001
0
140
Modular Monolith Monorepo ~シンプルさを保ちながらmonorepoのメリットを最大化する~
yuisakamoto
11
3.9k
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Unsuck your backbone
ammeep
669
57k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
We Have a Design System, Now What?
morganepeng
51
7.3k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Being A Developer After 40
akosma
87
590k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
17
2.2k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Transcript
Realtime API 入門 藤門 莉生(Rio Fujimon)
自己紹介 藤門 莉生(Rio Fujimon) - Sansan株式会社 - 23卒(新卒2年目) - Eight
の iOSアプリを開発 - X(旧 Twitter):@RioFujimon - iOS開発で主に興味がある領域 - UIKit, SwiftUI - Bluetooth, NFC, Audio, etc
None
Realtime API 紹介文 開発者はアプリケーションに 高速な音声合成体験 を組み込めるようになった
Realtime API 登場以前の手法 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の
応答を生成
Realtime API 登場以前の問題 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の
応答を生成 プロセス全体で感情やアクセントが失われたり、遅延が発生
Realtime API を利用した場合 Whisper 音声を テキストに 書き起こす テキスト 解析モデル 目的の
応答を生成 Realtime API
実装を見ていく
まずはRealtime API のチュートリアル 🔰
公式のドキュメントは JavaScript の例しか載ってない 😭 https://platform.openai.com/docs/ guides/realtime#overview 自力で読み解いて Swift で書き直す or
AIツールを利用して Swiftで書き直す
💡 要点 ・URLSessionWebSocketDelegate を利用 ・urlSession(_, webSocketTask:, didOpenWithProtocol:) で以下を記述 ・URLSessionWebSocketTask.Messageを作成 ・URLSessionWebSocketTask
の send()で送信 ・receiveMessage() でWebSocketを利用したデータ受信
💡 要点 ・URLSessionWebSocketTask の receive() で受信 ・URLSessionWebSocketTask.Message として取得 ・.string(String) と
.data(Data) で取得可能
None
実行してみる ▶
None
None
None
😵 様々な形式の JSONデータが返却されてよく分からん
🖐 JSONの重要な部分を見てみる
JSONデータを1行取り出してみる 👀 - type: response.text.delta - delta: 【差分のテキスト文】
別なJSONデータを1行取り出してみる 👀 - type: response.text.done - text: 【テキストの完全文】
💡 要点 ・JSON から type を取得 ・type で場合分けを実施 ・response.text.delta の場合、
delta を取得して表示 ・response.text.done の text を取得して表示
None
🗣 会話の内容を変更する
💡 要点 ・type を指定することで Client からのイベントが変更可能 ・type の種類 ・conversation.item.create の場合、会話内容を追加
・response.create の場合、レスポンスの生成 を指示
会話・質問の内容を変えることに成功 🎉
テキストは、無事に扱えるようになった 🎉
音声データはどう取得するの? 🧐
💡 要点 ・modalities に audio を指定
JSONデータを1行取り出してみる 👀 - type: response.audio.delta - delta: 【base64エンコードされた逐次の音声データ】
別なJSONデータを1行取り出してみる 👀 - type: response.audio_transcript.delta - delta: 【トランスクリプトの差分】
別なJSONデータを1行取り出してみる 👀 - type: response.audio_transcript.done - transcript: 【トランスクリプトの完全文】
💡 要点 ・JSON から type を取得 ・type で場合分けを実施 ・response.audio.delta の場合、
delta を表示 ・response.audio_transcript.delta の delta を表示 ・response.audio_transcript.done の transcript を表示
音声データの取得が行えるようになった 🎉
本日話した内容 目的の 応答を生成 Realtime API
残っている内容 目的の 応答を生成 Realtime API AVFoundation(AVAudioEngine, AVAudioSession)で扱う
AVFoundationの 部分をお話する予定 ご参加 お待ちしてます 🙏 connpassのリンクは こちら
【参考】 Realtime API のライブラリも 開発されているみたい https://github.com/m1guelp f/swift-realtime-openai
- https://openai.com/index/introducing-the-realtime-api/ - https://platform.openai.com/docs/guides/realtime?text-generation-quickstart-e xample=stream - https://platform.openai.com/docs/api-reference/realtime-client-events - https://platform.openai.com/docs/api-reference/realtime-server-events -
https://openai.com/brand/ - https://developer.apple.com/documentation/foundation/urlsessionwebsocketd elegate - https://developer.apple.com/documentation/foundation/urlsessionwebsocketta sk - https://github.com/m1guelpf/swift-realtime-openai 参考リンク
ご清聴ありがとうございました!