2つのハッカソンで感じた、Apple Vision Pro開発のリアルと未来

visionOS Engineer Meetup vol.10 オンラインLT会
https://visionos-engineer.connpass.com/event/355094/

Apple Vision Pro HackathonとVisionDevCamp Tokyoに参加した体験談、作ったアプリ、ハッカソンを通して感じたApple Vision Pro開発のリアルと未来についてご紹介します

Transcript

1. タイトル TAAT TAAT 2つ ハッカソンで感じた、 Apple Vision Pro開発 リアルと未来 visionOS Engineer Meetup vol.10
2. タイトル 目次 1. 自己紹介 2. 参加した2つ ハッカソンや作品について紹介 ◦ Apple Vision Pro Hackathon ◦ VisionDevCamp Tokyo 3. ハッカソンで感じた Apple Vision Pro開発 リアルと未来 4. まとめ
3. タイトル TAAT Software Engineer at Cluster, Inc. iOS, visionOS, Unity Metaverse, Spatial Computing @TAAT626 taatn0te
4. Created a visionOS App last year Space Time Attack ハンドトラッキングでスペースシップを 操縦しながらチェックポイントを通過する タイムアタック 空間ゲーム Available on the App Store
5. タイトル 目次 1. 自己紹介 2. 参加した2つ ハッカソンや作品について紹介 ◦ Apple Vision Pro Hackathon ◦ VisionDevCamp Tokyo 3. ハッカソンで感じた Apple Vision Pro開発 リアルと未来 4. まとめ
6. タイトル 参加した2つ ハッカソン Apple Vision Pro Hackathon 3/21 ~ 3/23 VisionDevCamp Tokyo 4/11 ~ 4/13
7. タイトル 参加した2つ ハッカソン Apple Vision Pro Hackathon 3/21 ~ 3/23 VisionDevCamp Tokyo 4/11 ~ 4/13
8. タイトル Apple Vision Pro Hackathon MeltingHackというハッカソンコミュニティ が主催さ れ、次世代 空間コンピューティング 可能性を最大限 に引き出し、新たなゲーム体験やインタラクティブなコン テンツを創出することを目指すハッカソンで、 Apple Japan本社で3日間に渡って開催された 多様なバックグラウンドを持つエンジニアやデザイ ナー、クリエイター が日本全国や海外から集まった熱量 高いイベント
9. タイトル Day 1 金曜夕方から じまり、イベント概要やルールなど 説明が あり、Apple 方からApple Vision Proで デザイン原 則について インプット も 事前に作った自己紹介資料を使って、意気込みやアイデア、 チーム状況を共有し、気になったアイデアやスキルをもとに 声をかけてチームを編成 （今回 iOSエンジニア3人 + デ ザイナー1人） 早速チームで作りたいも アイデアを出し合い、 Miroを 使って要件を整理して具体的なタスクに落とし込む
10. タイトル Day 2 本格的に実装開始！色々やりたいこと あるが、開発期間が実質 的に1.5日しかない で、最低限実現したいこと・余裕があれ や ることに整理する が大事 今回 Swift + RealityKitで開発したが、Reality Composer Proで 編集 コンフリクトしやすい で、シーン作成とパーティク ル作成、全体的な遷移やロジックで役割分担 デザイナー 方が作成された 3Dモデル クオリティも高く、実機ビ ルドすると想像以上 没入感に思わず感動！ 素晴らしいチームワーク おかげで、2日目 夜に 最低限 動 作ができた で、仕上げと細かい調整を残す み（徹夜せずに済 みそうでホットした）
11. タイトル Day 3 開発期間も残り半日で、最終調整やバグ修正を行い、午後 発表 に向けて発表資料作成やデモ動画撮影も同時進行、最後 追い 込み！ 発表で デモ重視で、スライドでコンセプトを紹介して、 Apple Vision Pro 画面を会場にミラーリングして一連 機能をデモ で紹介 ど チームも作品や発表が面白く、空間コンピューティングならで ストーリー演出やユニークな情報体験など、 短期間で作ったと 思えない素晴らしい作品 かり！ （審査員 方もApple Vision Proを付けながら発表を見られてい た！）
12. タイトル 作ったも どこでも・どんな時でも・誰でも気軽にバーチャルキャンプ を楽しめるアプリ キャンプ環境（シーン）を「春」「夏」などから選択でき、それぞ れ 環境に合ったキャンプ用品やパーティクル演出がある 各キャンプ環境で テントや焚き火、チェアなど キャンプ 用品を自由に配置できる RealityViewにgesture modifierでDragGesture, RotateGesture3D を追加して操作できるようにし、 SwiftDataでそれぞれ Entity 位置や回転 を永続化 ※詳しく RealityKitでオブジェクトをジェスチャーで移動・回転・拡大縮小させ るを参照 Doko Camp 〜どこキャン〜
14. タイトル 参加した2つ ハッカソン Apple Vision Pro Hackathon 3/21 ~ 3/23 VisionDevCamp Tokyo 4/11 ~ 4/13
15. タイトル VisionDevCamp Tokyo Apple Vision ProやvisionOS向け アプリ開発に 焦点を当てたハッカソンイベント で、今回東京で開催さ れた が2回目 実 シリコンバレー発祥 歴史あるハッカソン で、 2007年からiPhoneDevCamp, iPadDevCamp, iOSDevCamp、そしてVisionDevCampと変遷して きた メイン会場 東京だが、福岡 サテライト会場や海外か ら参加された方も。セッションや発表も日本語と英語 両 方があり、try! Swiftでも導入されたFlittoというライ ブ翻訳サービスが大活躍！ Tokyo 2025
16. タイトル プレイベント Tokyo 2025 VisionDevCamp講演会 ビジョンをクラフトするに ？ 3/4 Vision Pro開発環境構築イベント 3/20 VisionDevCampアイデアソン 空間コンピューティング ×AIで創る 次世代ライフスタイル 3/16
17. タイトル Day 1 こちら ハッカソンも金曜夕方から じまり、 前回 ハッカソ ンやアイデアソンでお会いした方も参加されていて 、熱量 高さを実感！ 同じように自己紹介でスキルやアイデアを共有し、アイデア に興味を持ってくださった方とiOSエンジニア 方 3人で チームを組むことに 今回 純正 フリーボードを使って、アイデア共有やタスク 管理を行ったが、チームでコラボレーションする時 、アイ デアやタスクを一元管理できるボードツールが便利！ Tokyo 2025
18. タイトル Day 2 アイデアも固まって、タスクをボードに整理・アサインして、コア機能 からどんどん実装を進めていく 今回 音声認識とハンドトラッキング をメインで使うが、事前 素 振りや別アプリでも使った経験 おかげで実装がスムーズになり、 や り日頃から色々素振りをして引き出しを増やしておくことが 大事 今回 チームに デザイナーがいなかった で、 3Dモデル Luma AI GENIEを使って生成 したが、細部 難しいも 高速 に3Dモデルを生成できる すごい！ 会場でMacがApple Vision Proを実行デバイスとして認識しない ハプニングがあり、外出先でも安定して実機ビルドしたい場合 Developer Strapがあった方がいいかも Tokyo 2025
19. タイトル Day 3 最終日 午前中 BGMやSE、細かいUIや動作 最終調整を行 い、発表に向けてスライドを作成したり、プレゼンやデモ 流れを 相談 今回もデモ重視で、スライドでコンセプトや技術ポイントを紹介し て、Apple Vision Pro 画面を会場にミラーリングして作った ゲームをデモで紹介 音声認識やハンドトラッキングという難しいデモでドキドキ だった が、うまく動いて敵を倒した時 会場からも歓声が！ 今回もど チーム アイデアや作品が素晴らしく、思考を空間に広 げるツール、感情を可視化したコミュニケーションアプリなど、 自分 で 思いも付かないアイデアで刺激を受けるも かり！ Tokyo 2025
20. タイトル 作ったも 音声認識とハンドトラッキング を使った新感覚 モンスター バトルゲーム 手影絵 ようなハンドジェスチャーを認識してモンスターを 召喚して、音声による詠唱を認識してスキルを発動 してモ ンスターを倒す Spatial Magics Tokyo 2025 音声認識 SFSpeechRecognizerを使って、予め登録したキーワードと照合 （認識ゆれを考慮して数パターン キーワードを登録） ハンドトラッキング SpatialTrackingSessionを使って、各指に追従させた Anchor Entity 座標から、ハンドジェスチャーを認識させたり、音声認識開始 トリガーとしても利用 ※詳しく VisionDevCamp Tokyo 2025参加レポート 〜音声認識×ハンドト ラッキングで創る魔法バトルゲーム〜 を参照
22. タイトル 目次 1. 自己紹介 2. 参加した2つ ハッカソンや作品について紹介 ◦ Apple Vision Pro Hackathon ◦ VisionDevCamp Tokyo 3. ハッカソンで感じた Apple Vision Pro開発 リアルと未来 4. まとめ
23. タイトル ハッカソンで感じた Apple Vision Pro開発 リアルと未来 ① Apple Vision Proと空間コンピューティング 、まだ始まった かり。今回 ハッカソンを通して、 コミュニティ 熱量 高さを改 めて実感した！ 多様なバックグラウンドを持つエンジニアやクリエイターが集ま り、Apple Vision Pro 開発に挑戦することで、思いもよらない 化学反応が次々と生まれ、まったく新しい体験が生み出されて いきそう
24. タイトル ハッカソンで感じた Apple Vision Pro開発 リアルと未来 ② Apple Vision Pro、空間コンピューティングアプリ 開発というと 難しく感じるかもしれないが、今やAIエージェントや生成 AIによる 強力なサポートがあって、初心者でも経験者でもアイデアを実現 しやすくなる！ VisionDevCampで 多く チームでAIを活用して爆速でアイ デアを実現していったし、自分たち チームでも生成 AIを活用して いた 空間コンピューティングでどんな新しい空間的な体験を実現した いかが大事で、いろんなアプリやAR,VRゲームを触ってみると良 さそう
25. タイトル ハッカソンで感じた Apple Vision Pro開発 リアルと未来 ③ iOSエンジニアでもvisionOS 新しい領域 学習 必要だが、 今まで 知識でも充分 Apple Vision Pro開発ができる！ ECS、コライダー、マテリアル、シェーダーなど 公式サンプル（ ま とめ記事）を触ったり、実際に作りながら覚えていく が良さそう RealityKitで詰まった時 解決法や実装例がまだ少なく 、情報 を探す に苦労するかもしれない。 XR開発で活用されている Unityを触っておく も、引き出しを増やす に良さそう
26. タイトル 空間コンピューティングアプリやゲーム コンセプトや世界観 た めに、3DモデルやSEなど アセットも大事だが、イメージ通り も を用意する が大変 3Dデザイナーに依頼したり、有料アセットを購入するなど 方法も あるが、今後 生成AIを活用する も充分選択肢としてあり得 る！ ハッカソンで感じた Apple Vision Pro開発 リアルと未来 ④
27. タイトル 空間コンピューティングアプリやゲーム 、実際に実機で体験しな いと使い心地や操作感が伝わりづらい。シミュレータで良さそうに 見えても、実機で触ってみると意外と微妙に感じることもよくある 開発途中 も を共有したり、アプリを紹介するとき 、実際に ゲストモードで体験してもらった方が圧倒的に良い！（ミラーリン グで見せたりも） ハッカソンで感じた Apple Vision Pro開発 リアルと未来 ⑤
28. タイトル 目次 1. 自己紹介 2. 参加した2つ ハッカソンや作品について紹介 ◦ Apple Vision Pro Hackathon ◦ VisionDevCamp Tokyo 3. ハッカソンで感じた Apple Vision Pro開発 リアルと未来 4. まとめ
29. タイトル まとめ • Apple Vision Pro まだ第一世代で、空間コンピューティングも始まった かりだが、 今 回参加したハッカソンを通して、そ 可能性 大きさとコミュニティ 熱量を改めて実感 した！ • 2つ ハッカソン、どちらも短い期間で 挑戦だったが、 素晴らしいチームメンバーと 協 力によってアイデアを形にでき、まさに最高 開発体験になった！ • Apple Vision Pro開発で 、AI 活用が非常に有効だと実感し、アイデア出しやコー ディング、アセット作成まで、AI 力を借りることでより早くアイデアを実現できそう • 空間コンピューティング 魅力 、まったく新しい情報体験やストーリー体験を作り出せ るところ。これからどんな体験が生まれるか、とても楽しみ！
30. タイトル こちら 記事もぜひ • VisionDevCamp Tokyo 2025参加レポート 〜音声認識×ハンドトラッキングで創る魔法バトル ゲーム〜 • Apple Vision Proハッカソンに参加しました • RealityKitでオブジェクトをジェスチャーで移動・回転・拡大縮小させる • Apple Vision Pro ハンドトラッキングでスペースシップを操縦しよう • Apple Vision Pro向け ハンドトラッキングを活用した空間ゲームをリリースしました