実践 Advanced CallKit 〜快適な通話の実現に向けて〜

iOSDC Japan 2024 Day0で発表した資料です。

https://fortee.jp/iosdc-japan-2024/proposal/2e0cad57-121c-48c0-9c31-63433e5ea3da

Transcript

1. © GO Inc. 実践 Advanced CallKit 〜快適な通話の実現に向けて〜 2024.08.22 17:20 ~ / Track C 開発本部 ソフトウェア開発統括部 ユーザーシステム開発部 ユーザーシステム1グループ/ 髙橋秀宗 GO株式会社
2. © GO Inc. 2 自己紹介 GO株式会社 iOSエンジニア / 髙橋秀宗 2022年12月に入社後、タクシーアプリ『GO』のユーザーアプ リの開発を担当 直近はiOSアプリ開発に必要なBackend APIの開発も担当し、仕 事の幅を広げている 最近AirPods Proをお洗濯する実績を解除。ぐぬぬ。 @h1d3mun3
3. © GO Inc. 3 突然ですが...
4. © GO Inc. 4 iOSアプリで通話したことがある人？🙋
5. © GO Inc. 5 アプリで通話機能を実装したことのある人？🙋
6. © GO Inc. 本日はiOSアプリの通話を支える CallKitと その周辺技術についてお話しします 6
7. © GO Inc. タクシーアプリ『GO』でのCallKitの活用事例 7 • タクシー乗車前のお客様と乗務員との通話に活用 📞 お客様に電話をかけ円滑な コミュニケーションを実現
8. © GO Inc. タクシーアプリ『GO』でのCallKitの活用事例 8 • 音声通話の基盤として、Apple社が提供するCallKitを利用 ◦ APNsからのVoIP Push通知を受け取るためにPushKitも利用 • 複数プラットフォーム間で円滑な通話を実現するためにTwilio Voiceを 採用
9. Index © GO Inc. 1. CallKit + Twilio Voiceでの通話 2. CallKitの紹介 3. Twilio Voiceの紹介 4. 『GO』での活用事例 5. Advanced CallKit 6. おわりに 9
10. © GO Inc. CallKit + Twilio Voiceで の通話 01
11. © GO Inc. CallKit + Twilio Voiceで着信に応答するまでのフロー 11
12. © GO Inc. CallKit + Twilio Voiceで着信に応答するまでのフロー 12 CallKitが担当
13. © GO Inc. CallKit + Twilio Voiceで着信に応答するまでのフロー 13 Twilio Voiceが担当
14. © GO Inc. 着信に応答する時のCallKitとTwilio Voiceの責務 14 • CallKit ◦ 新規着信の登録 ◦ 通話を接続して良いかの問い合わせ ◦ 通話に接続して良いと返却 • Twilio Voice ◦ VoIP通知受信を通知 ◦ 着信を通知
15. © GO Inc. CallKitの紹介 02
16. © GO Inc. CallKitとは 16 • VoIPアプリをより標準の通話アプリのように実装するためのFramework ◦ iOS10より利用可能 ◦ 下記が実現可能 ▪ 標準電話アプリのようなUIでの着信の応答 ▪ 通話履歴に着信を残し標準アプリ経由で発信 • 通話の発信・応答・終話・ミュート/アンミュート・保留・マージなど の音声通話操作の責務を担当
17. © GO Inc. 着信に応答する時に必要になる情報 17 • UUID ◦ 個別の通話をUUIDで表現 • CXProvider ◦ システムへの通話登録用クラス ▪ 新規の通話や通話の終了をシステムにリクエスト
18. © GO Inc. let configuration = CXProviderConfiguration() // 標準通話の最近の通話のリストに通話を含めるかどうか configuration.includesCallsInRecents = false let provider = CXProvider(configuration: configuration) CXProviderの初期化 18
19. © GO Inc. // 新規の着信通話を非同期で登録 func reportNewIncomingCall(with: UUID, update: CXCallUpdate, completion: ((any Error)?) -> Void) 新規着信の登録で使うCXProviderのメソッド 19
20. © GO Inc. • 通話のメタ情報を保持 ◦ 発信者の名前 ◦ ビデオはあるか ◦ 保留をサポートするか ◦ 通話のグループ化・グループ化解除をサポートするか ◦ …etc CXCallUpdateとは 20
21. © GO Inc. let uuid = call.uuid let update = CXCallUpdate() 〜〜〜updateを設定〜〜〜 provider.reportNewIncomingCall( with: uuid, update: callUpdate) { [weak self] error in 〜〜〜 } 新規着信の登録のコード 21
22. © GO Inc. func provider(_ provider: CXProvider, perform action: CXAnswerCallAction) { guard isReady else { // 処理を失敗させたい時はfail()を呼び出す action.fail() return } action.fulfill() // 処理を進める時はfulfill()を呼び出す registCall(of: action.callUUID) } 通話を接続する場合のコード 22 「特定の通話に応答する」と いう行為を表すCXActionと いう抽象クラスの具象クラス
23. © GO Inc. CXActionとは 23 • CXActionとは通話に対する操作を抽象化したクラス ◦ CXAnswerCallActionの他にも複数種類あり、代表的なものとして 下記がある ▪ CXStartCallAction: 通話を発信 ▪ CXEndCallAction: 通話を終話 • これらの更新処理を1つにまとめたCXTransactionというクラスも存在
24. © GO Inc. • 登録済み通話の通話状態の更新をリクエスト ◦ ミュート・保留...etc // CXTransaction(≒通話の状態更新処理)を非同期で行うように要求 func request(CXTransaction, completion: ((any Error)?) -> Void) CXCallController 24
25. © GO Inc. Twilio Voiceの 紹介 03
26. © GO Inc. Twilio Voiceとは 26 • 米Twilio社が提供する、VoIPサービスを実装するためにクラウド上に構 築されたコミュニケーションプラットフォーム ◦ Swift Package ManagerでTwilioVoiceSDKを導入可能 ◦ 開発者はより簡単にVoIP通話を実装可能
27. © GO Inc. TwilioVoiceSDKでの登場人物 27 • Call ◦ 通話を表す • CallInvite ◦ 通話になる前の着信状態を表す → CallKitだとUUIDで管理していたものに具象クラスがある
28. © GO Inc. VoIP通知受信を通知する時に使う関数 28 class func handleNotification( _ payload: [AnyHashable : Any], delegate: NotificationDelegate, delegateQueue: dispatch_queue_t? ) -> Bool
29. © GO Inc. NotificationDelegateとは 29 • Twilio Voice SDKで管理している通話の状態が更新されたことを伝える 責務を持つDelegate
30. © GO Inc. VoIP通知受信を通知する時のコード 30 // PushKit経由で通知されたVoIP通知のPayloadをSDKに投げる let payload = payload.dictionaryPayload _ = TwilioVoiceSDK.handleNotification( payload.dictionaryPayload, delegate: self, delegateQueue: nil)
31. © GO Inc. // CallInviteが届いたことを通知 func callInviteReceived(callInvite: CallInvite) NotificationDelegateで使うメソッド 31
32. © GO Inc. 着信を通知してもらい、システムに登録するコード 32 func callInviteReceived(callInvite: CallInvite) { let uuid = callInvite.callSid let callUpdate = CXCallUpdate() provider.reportNewIncomingCall( with: callInvite.uuid, update: callUpdate) { [weak self] error in // システムへの登録成功🎉 } }
33. © GO Inc. 『GO』での活用 事例 04
34. © GO Inc. 『GO』での通話特有のコンテキスト 34 • 1つ1つの通話には上限の通話時間が存在 • タクシーを複数台呼べるため、通話が複数同時に着信する可能性 -> 複数の着信と通話を同時に管理する必要
35. © GO Inc. 通話の上限時間について • お客様と乗務員間でやり取りする際、5分あれば問題なくやり取りでき ると思われたため • 5分を超えると自動的に通話は切断 35
36. © GO Inc. 通話の上限の通話時間設定 36
37. © GO Inc. • 『GO』には下記利用シーンを想定してアプリから複数台のタクシーを 配車することができる複数台配車機能がある ◦ イベントでの大人数での移動 ◦ 接待時の代理手配 • ほとんど同じタイミングで複数の車両がお客様のもとに向かうケースが ある ◦ 1つの『GO』アプリに複数の着信が来る可能性がある 複数の着信と通話を同時に管理する必要 37
38. © GO Inc. • A乗務員との通話中にB乗務員から着信が来た場合、ユーザーは下記のう ちどちらかを選択可能 ◦ A乗務員との通話を優先し、B乗務員との通話を拒否 ◦ A乗務員との通話を終話し、B乗務員との通話を開始 乗務員との通話中に別乗務員から着信が来たら... 38
39. © GO Inc. 下記のような状況においてもCallInviteとCallを適切に管理できなければな らない 1. 乗務員Aから着信 2. ユーザーが着信に応答 3. 乗務員Aとの通話中に乗務員Bから着信 4. 乗務員Bの着信に応答 複数の着信と通話を同時に管理する必要 39
40. © GO Inc. 下記のような状況においてもCallInviteとCallを適切に管理できなければな らない 1. 乗務員Aから着信 ←CallInviteとCallの状況は？ 2. ユーザーが着信に応答 ←CallInviteとCallの状況は？ 3. 乗務員Aとの通話中に乗務員Bから着信 ←CallInviteとCallの状況は？ 4. 乗務員Bの着信に応答 ←CallInviteとCallの状況は？ 複数の着信と通話を同時に管理する必要 40
41. © GO Inc. 下記のような状況においてもCallInviteとCallを適切に管理できなければな らない 1. 乗務員Aから着信 ←CallInviteとCallの状況は？ 2. ユーザーが着信に応答 ←CallInviteとCallの状況は？ 3. 乗務員Aとの通話中に乗務員Bから着信 ←CallInviteとCallの状況は？ 4. 乗務員Bの着信に応答 ←CallInviteとCallの状況は？ 複数の着信と通話を同時に管理する必要 41 各種Delegate等の通知をもとにCallInviteとCallの情報を常に正しい状態 に保つ必要がある
42. © GO Inc. CallInviteとCallを正しい状態に保てないとどうなるか... 42 • CallInviteとCallを最新状態に保てないと下記問題が発生 ◦ システムに登録されている着信に応答したいができない ◦ システムに登録されている通話を終話したいができない → システムに登録されている着信 / 通話に対して操作ができなくなってし まう
43. © GO Inc. • CallKit / TwilioVoiceSDKともに通話の更新処理は、全て非同期で通知 ◦ 複数スレッドから同時に通知される可能性あり ▪ CallInfoStoreを実装し、問題の解決を図る 更に通話特有の考慮 43
44. © GO Inc. CallInfoStore 44
45. © GO Inc. • 着信や通話を特定するためのCallIDという構造体を宣言 • CallIDをもとにCallInviteとCallを管理 • 複数スレッドから同時にアクセスされてもいいように、NSLockで排他 制御を実施 CallInfoStore 45
46. © GO Inc. Advanced CallKit 05
47. © GO Inc. • 保留 • 通話の入れ替え • 通話と集中モードの関連性 このセクションで話すこと 47
48. © GO Inc. • 保留 • 通話の入れ替え • 通話と集中モードの関連性 このセクションで話すこと 48
49. © GO Inc. • よくある通話の保留と同じく、現在成立している通話を保留する ◦ 自分の声は相手には伝わらない ◦ 相手の声は自分には伝わらない • CallKitのデフォルト機能だと相互に無音になってしまい、保留状態に 入ったことがわかりにくい 保留 49
50. © GO Inc. • プログラム上の実現フロー ◦ システムに通話を登録する時に保留を有効にする ◦ 保留を実施する 保留 50
51. © GO Inc. let callUpdate = CXCallUpdate() 〜〜〜中略〜〜〜 callUpdate.supportsHolding = true 〜〜〜中略〜〜〜 provider.reportNewIncomingCall(with: callInvite.uuid, update: callUpdate) { error in 〜〜〜中略〜〜〜 } システムに通話を登録する時に保留を有効にする 51
52. © GO Inc. let callUUID = UUID() let desiredState: Bool = true let action = CXSetHeldCallAction(call: callUUID, onHold: desiredState) callController.request(CXTransaction(action: action), completion: { error in // このClosure内部で結果が取得可能 print(error) } 保留 52
53. © GO Inc. • 保留 • 通話の入れ替え • 通話と集中モードの関連性 このセクションで話すこと 53
54. © GO Inc. 2つの通話を入れ変えて通話する 54 • すでに成立している2つの通話を切り替えて通話 ◦ CXProviderで複数の通話を同時に成立させられるように設定 ◦ 通話の登録の時に保留を有効にする ◦ 通話を入れ替える
55. © GO Inc. CXProviderで複数の通話を同時に成立させられるように設定 55 let configuration = CXProviderConfiguration() // maximumCallGroupsを2以上に設定すると通話を複数成立させられる configuration.maximumCallGroups = 2 configuration.maximumCallsPerCallGroup = 2 let provider = CXProvider(configuration: configuration)
56. © GO Inc. 通話を入れ替える 56 let holdAction = CXSetHeldCallAction(call: talkingCall.uuid!, onHold: true) let unHoldAction = CXSetHeldCallAction(call: holdingCall.uuid!, onHold: false) callController.request(CXTransaction(actions: [holdAction, unHoldAction]), completion: { error in // 〜〜〜中略〜〜〜 })
57. © GO Inc. • 保留 • 通話の入れ替え • 通話と集中モードの関連性 このセクションで話すこと 57
58. © GO Inc. • 集中モード有効化時にユーザーに着信 画面が表示されるかどうかは集中モー ドの下記設定で管理 ◦ 通知を消音 ◦ 連絡先の設定 通話と集中モードの関係性 58 ※テスト画面になります
59. © GO Inc. • 集中モードの設定をどの時に有効にするかを決める ◦ 常に知らせない ▪ iPhoneのロック状態に関わらず集中モードの 設定を適用 ◦ ロック中 ▪ iPhoneがロック状態の時だけ集中モードの設 定を適用 通知を消音について 59
60. © GO Inc. 連絡先の設定について 60 • 特定の連絡先の通知を管理する設定 ◦ アプリを許可する設定は不可 • 2モードある ◦ 通知を知らせない ◦ 通知を許可
61. © GO Inc. • いわゆるブラックリスト ◦ ここで設定した連絡先は通知が表示されない 連絡先の通知を知らせないについて 61
62. © GO Inc. 連絡先の通知を許可するについて 62 • いわゆるホワイトリスト ◦ 追加した連絡先にだけ通知を許可 • 着信を許可するパターンは4モード ◦ 全ての人 ◦ 通知あり連絡先のみ ◦ よく使う項目 ◦ 連絡先のみ • 繰り返しの着信を許可 ◦ 3分以内に2度目の着信があったら通知
63. © GO Inc. 着信を許可するパターンについて 63 • 全ての人 ◦ 全ての通話が許可される • 通知される連絡先のみ ◦ 集中モードで登録した連絡先と、緊急時は鳴らすに追加した連絡先からのみの着 信を許可する • よく使う項目 ◦ 通知される連絡先のみに加えて、よく使う項目に追加した連絡先からのみの着信 を許可する • 連絡先のみ ◦ 連絡先からの着信を許可する
64. © GO Inc. 緊急時は鳴らすについて 64 • 下記手順で設定可能 ◦ 登録した連絡先を開き編集 ◦ 着信音をタップ ◦ 画面上部の「緊急時は鳴らす」のスイッチをOn
65. © GO Inc. • 集中モードでは通知をさまざまな条件でブロックすることができる • 集中モードの拒否リストに該当した場合、着信画面が表示されない • 着信画面が表示できなかった時のケアが大切 ◦ CXErrorCodeIncomingCallError というエラーが返ってくる ◦ GOでの取り組み ▪ 着信画面の表示エラーを検知した場合はログとして保存 • お客様から「乗務員と通話できなかった」という問い合わせ が来た時の調査目的 集中モードと着信画面の関連性まとめ 65
66. © GO Inc. おわりに 06
67. © GO Inc. おわりに 67 • CallKit + Twilio Voiceでの通話への応答のフローを紹介 • VoIP通話を行うために必要なCallKit、Twilioについて紹介 • 『GO』での活用事例を紹介 • 通話の保留・入れ替えやおやすみモードと通話の関係性について紹介
68. © GO Inc. おしらせ！ 07
69. © GO Inc. 69 After iOSDC & DroidKaigi 2024 Mobile LT Nightやります！ 2023年09月26日 19:00 ~ 20:30 https://reiwatravel.connpass.com/event/327079/
70. © GO Inc. 参考資料 08
71. © GO Inc. 参考資料 71 • CallKit | Apple Developer Documentation ◦ https://developer.apple.com/documentation/callkit/ • CXProvider | Apple Developer Documentation ◦ https://developer.apple.com/documentation/callkit/cxprovider • CXCallController | Apple Developer Documentation ◦ https://developer.apple.com/documentation/callkit/cxcallcontroller • Voice SDKs | Twilio ◦ https://www.twilio.com/docs/voice/sdks • Twilio Voice Quickstart for iOS with Swift - GitHub ◦ https://github.com/twilio/voice-quickstart-ios • 実践 CallKit/PushKit ときどき🐛退治 / iOSDC 2019 ◦ https://speakerdeck.com/monoqlo/iosdc-2019
72. 文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください。 © GO Inc.