Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
空間アプリ開発のフィードバックをCodexにするための抽象的なデザインツールの模索
Search
kazuhiro hara
May 10, 2026
Design
260
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
空間アプリ開発のフィードバックをCodexにするための抽象的なデザインツールの模索
kazuhiro hara
May 10, 2026
Transcript
31 slides
空間アプリ開発 のフィードバック を Codex にするための 抽象的なデザインツール の模索 Copyright © 2026
Yorihiroi Frontend. カンソクインダストリーズ / よりひろいフロントエンド 原 一浩 (Kazuhiro Hara) / @kara_d visionOS Engineer Meetup: vol.13 ショートトーク会: オンライン
はなすひと 原 一浩 (Kazuhiro Hara) @kara_d カンソクインダストリーズ 代表 よりひろいフロントエンド 主催
Swift をやり始めたのは ChatGPT 登場以降 生粋の Open AI ファン (個人で Pro 課金) Photo by Rin Yano
本日の構成 Seiro MCP、および今回発表するツールなど、AI x XR 向けの 開発ツールを作ってきた中で模索したことなどを話します AI 向けツールつくるときに参考になれば幸いです •
Seiro MCP で日々つくっていました • 新しい不満 • Abstract Layout Tool (仮) を思いつく • DEMO • 今後の展開
Seiro MCP で日々つくっていました
ちょっとだけ Seiro MCP について紹介 https://github.com/karad/seiro-mcp • visionOS + Codex CLI
/ App の自律的コーディングを補助 ◦ MCP / Skills / CLI ◦ OSS で公開中 (MIT ライセンス) ◦ 昨年12月に最初のバージョンをリリース ◦ 現在 v0.4.0 • XcodeBuildMCP があったが、自分の環境では動作しなかった ◦ 空間コンピューティングアプリの開発に特化したシンプルなものを作ろうとおもいたつ • 2月に本家からも Xcode MCP が出た ◦ 今企画したら、作り始めないかもしれない みんなの ★ まってるぜ!!
Seiro MCP はこんなパートを担当 • Codex CLI / App で MCP
経由にて visionOS プロジェクトの自動ビルド • 通常のエラーだけでなく、 詳細なエラーも取得可能 • Skill や CLI ツールもあり
Codex + Seiro MCP で UI スタディ
Codex + Seiro MCP で UI の実装思索を続けた
新しい不満
新しい不満 (1) 「これができたら」ができると更に先があることに気づく Seiro MCP の場合… • 抽象的なエラーが発生するとAIはどうしていいかわからなくなる ◦ より詳しいログを掘りにいく
ことで解決した • 同じようなエラーが何度も起き、似たような問題を再解決する ◦ 同じミスを何度もするし、起きるミスは 偏りがある ◦ これらを毎回エラーのたびに行っている • 解決のノウハウを集約できないものか、が今の課題の一つ 次期 Seiro MCP で対応していく
フィードバックループの欠点 • AIが正しい状態を把握できているが、実装上は間違っている場合に フィードバックループが機能する • そもそもAIが正解を理解できていないと正解にたどり着けない • 空間コンテンツは指示自体、結構難しい ◦ 小説家とかなら得意かもしれないが空間に関する描写は難しい
◦ 修正指示もむずかしい
新しい不満 (2) 3D 空間におけるビジュアル面の 指示出しが結構むずい ボタンが水平に置かれているが これを前から押すみたいにすると… うまくいかなかったりする これが今回のテーマ
とにかく調整を楽したい …
Abstract Layout Tool (仮) を思いつく
Abstract Layout Tool (仮) ってどういうものか • AI とのコミュニケーションに 特化したフィードバックツール •
MCP サーバ、Skills、 デスクトップアプリ、 SQLite で構成 • 細かな形状の指示はせず 抽象的なレイアウト指示に特化 • ラフにさくっと使うようなもの
Abstract Layout Tool (仮) の利用スタイル 1. AI からレイアウトを保存 (MCP 経由)
2. デスクトップアプリで レイアウトを確認、編集 a. 位置 b. 回転 c. サイズ d. フリーなコメント 3. レイアウトを保存すると リビジョン管理される 4. AI は編集後レイアウトを読み込みが 可能 (MCP 経由)
どんな感じでフィードバックするのか
1. AI からある状態のレイアウトを保存 Codex より Skill を使ってレイアウトを保存指示する
2. デスクトップアプリでレイアウトを確認、編集
3. AI は編集後のレイアウトを読み込んで変更 レイアウト ID や最新のリビジョン ID を AI は自動で取得可能
なぜ抽象的なデザインツールなのか
なぜ抽象的なデザインツールなのか • 形状の抽象化をすることでツールのシンプルさを保てる • 抽象的なレベルのデザインさえ指摘できれば OK というモチベーション • 実装と分けることで AI
が正解と思っている部分の一部を抽出できる • つまり、コードに定義されていないレイアウトでもフィードバックできる ◦ アニメーション移動後の想定レイアウト ◦ ユーザーアクション後に表示されるオブジェクト ◦ まだ実装されていない要素を仮に配置 • 抽象化するとプラットフォームに縛られなくなるというメリットも ◦ visionOS 用だけど WebXR 用ツールとしても使えた
visionOS だけでなく WebXR も
visionOS だけでなく WebXR も • 個々のオブジェクトの詳細な描画ではなく、 抽象的なレイアウト情報を扱うため、プラットフォームを選ばない • JSON でのやり取りな上に、解釈するレイヤーが
AI なので visionOS だけでなく WebXR でも利用可能 (原理的にはたぶんあらゆる XR 系で利用可能なはず) • MCP や Skills という標準技術を利用
DEMO
visionOS 向け開発 3つのオブジェクトが並んで 配置されているプロジェクトを用意
WebXR 向け開発 visionOS のプロジェクトと 同じようなプロジェクトを用意 Three.js 製
今後の展開
今後の展開 • 画面をもっとポップでわかりやすくする • 導入方法を簡単にする • ドラッグやピンチなどで直感的にフィードバック • セキュリティ周りの強化 •
ドキュメントの整備 • OSS で公開予定
みなさんも 自分なりの 課題をみつけたら ツールにしてみよう !!
空間アプリ開発 のフィードバック を Codex にするための 抽象的なデザインツール の模索 Copyright © 2026
Yorihiroi Frontend. カンソクインダストリーズ / よりひろいフロントエンド 原 一浩 (Kazuhiro Hara) / @kara_d visionOS Engineer Meetup: vol.13 ショートトーク会: オンライン ありがとうございました
More Decks by kazuhiro hara
See All by kazuhiro hara
WebMCP ってなんですか?
karad
0
100
いまどきの Codex で開発する visionOS アプリの開発スタイルについて
karad
0
220
Exploring Abstract Design Tools to Turn Spatial App Feedback into Codex (En)
karad
0
85
visionOS 開発向けの MCP / Skills をつくり続けることで XR の探究と学習を最大化
karad
2
2k
Canon EOS R50 V と R5 Mark II 購入でみえてきた最近のデジイチ VR180 事情、そして VR180 静止画に活路を見出すまで
karad
0
330
Vapor を使って VisionPro とWebSocket 通信をしてみる
karad
0
450
slow types ってなんだろう?
karad
1
890
ほぼ日のハッカソン Team 1 発表資料
karad
0
610
Dist.43.英語仕事で地味につかうChatGPT 配布版
karad
0
870
Other Decks in Design
See All in Design
Jun Wei | Information Design & Presentation Portfolio
wjw100788
PRO
0
250
染み出し好きの、 染み出しコントロール論
mukai_takeru
0
530
#TRG26 / Nuria Mediavilla / El Diseño post-ChatGPT
tarugoconf
0
230
「惜しいデザイン」 を生み出さないための AIレビューループ
0b1tk
3
4.8k
Webデザイナー中田美穂_ポートフォリオ
omy
0
250
分裂するデザイン、取り残される空間—インクルーシブデザインスタジオが建築をやる理由
culumu
0
200
ひとりで作れる時代に、判断をみんなで持つには
kgsi
1
190
設計の進め方と 品質特性品質特性
harakeishi
0
1.5k
tokikai Webポータルの要点|仕様へのこだわりポイントまとめ
soniria
0
500
デザイン組織の広報が、AIを_社内外に広げる_ためにやってきたこと
mixi_design
PRO
0
220
インターンから2年新卒フロントエンドエンジニアから見たサイボウズのアクセシビリティ
taku10101
0
230
富山デザイン勉強会_生成AIを使ったデザイン制作2026最新版.pdf
keita_yoshikawa
0
220
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Claude Code のすすめ
schroneko
67
230k
Docker and Python
trallard
47
4.3k
DevOps and Value Stream Thinking: Enabling flow, efficiency and business value
helenjbeal
2
450
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.5k
Done Done
chrislema
187
17k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.6k
The SEO Collaboration Effect
kristinabergwall1
1
620
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
56
3.5k
Rails Girls Zürich Keynote
gr2m
96
14k
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
Side Projects
sachag
456
43k