Flutterをカメラで動かしたかった話

Transcript

1. Flutterをカメラで動かしたかった話 できなかった理由と、これからの組み込みソフトウェアに必要なこと 竹ノ内 朝陽 @ ソニー © 2026 Sony Corporation
2. 今日お話したいこと Flutterをカメラで動かしたかったけど 思ったようには上手くいきませんでした！という話 + 組み込みソフトウェアが今後どう進化すべきか © 2026 Sony Corporation
3. 経歴 2015年 大学・大学院 Web系 (Webアプリ・モバイルアプリなど) 開発に関わる。 2021年 ソニー入社 カメラの組み込みソフトウェア開発 (UI周り) に携わる。 2025年 現部署に異動 カメラのOSなど下回りの開発やソフトウェア構成の検討に関わる。 趣味 竹ノ内 朝陽 たけのうち あさひ © 2026 Sony Corporation • • • • • 旅行 街歩き謎解き 読書 世界の料理を食べること 新しい技術の勉強
4. 学生のとき • Webアプリ • React / Next.js (TypeScript) • モバイルアプリ • Swift • Kotlin • Flutter • サーバー・バックエンド • Firebase • AWS (API Gateway/Lambda/…) © 2026 Sony Corporation
5. 就活のとき 組み込みソフトウェアの開発って どんな世界なんだろう？？ 好奇心を満たすべくソニーへ。 © 2026 Sony Corporation
6. ソニーで開発に関わった製品たち VENICE 2 https://www.sony.jp/ichigan/gallery/ https://www.sony.jp/ls-camera/lineup/ © 2026 Sony Corporation FX6 α7 V もちろん他にもあります！！
7. どんな技術スタック？ ざっくりと • C/C++ • Linux 細かいことは言えないです！ ごめんなさい！！！ ベアメタルというわけではなく Linuxは動いています (とても重要)。 https://www.sony.co.jp/recruit/internship/longinternship/course.html (2026/07/16 アクセス) © 2026 Sony Corporation
8. 当時のカメラのUI開発ってどんな感じ？ • テキストや画像を座標指定で並べるイメージ。ロジックはMVCっぽい？ • iOS Storyboard や Android XML Layouts に似ているような似ていないような？ • カメラは画面サイズが原則変化しないのでその点は楽だった。 • 画面要素 (テキスト等) を変える度にビルドし直して評価…。これが辛い。 https://developer.apple.com/library/archive/documentation/UserExperience/Conceptual/AutolayoutPG/index.html © 2026 Sony Corporation
9. 他にも 流行りのUIフレームワーク (React/Flutter/SwiftUI/Jetpack Compose) ならば 使えるような便利な機能は当然使えず…。 • 宣言的UI • コンポーネント構造 • 状態管理・データバインディング • ホットリロード • … © 2026 Sony Corporation
10. 要するに なんかイケてないなー © 2026 Sony Corporation
11. そこに一筋の光が https://github.com/sony/flutter-embedded-linux © 2026 Sony Corporation
12. 妄想は膨らむ もしかしてFlutterでUIを実現できる！？ あわよくばモバイルアプリと開発を 共通化できる！！？？ めっちゃええやん © 2026 Sony Corporation
13. じゃあやってみよう LinuxのGUIの仕組みと Flutterの仕組みを学んでみた © 2026 Sony Corporation
14. LinuxはどうやってGUIを実現している？ デスクトップ環境 GNOME / KDE / … GUIツールキット GTK / Qt / … Wayland Client Wayland Client Mesa 3D Wayland Compositor (Server) ioctl KMS (Kernel Mode Setting) © 2026 Sony Corporation GBM (Generic Buffer Management) libDRM Kernel DRM (Direct Rendering Manager)
15. Flutter on Linux Desktopの実現方法 Flutter on Linux Desktop デスクトップ環境 GNOME / KDE / … GUIツールキット GTK / Qt / … Wayland Client GTKを用いて描く Wayland Client Mesa 3D Wayland Compositor (Server) ioctl KMS (Kernel Mode Setting) © 2026 Sony Corporation GBM (Generic Buffer Management) libDRM Kernel DRM (Direct Rendering Manager)
16. Flutter on Embedded Linuxの実現方法 (Wayland Backend) Flutter on Embedded Linux Wayland Client GTKを用いずに Wayland Clientになる Mesa 3D Wayland Compositor (Server) ioctl KMS (Kernel Mode Setting) © 2026 Sony Corporation GBM (Generic Buffer Management) libDRM Kernel DRM (Direct Rendering Manager)
17. Flutter on Embedded Linuxの実現方法 (DRM Backend) Flutter on Embedded Linux Waylandを用いずに DRMをバックエンドとする Mesa 3D GBM (Generic Buffer Management) libDRM KMS (Kernel Mode Setting) © 2026 Sony Corporation Kernel DRM (Direct Rendering Manager)
18. カメラはどうやってGUIを実現している？ 我々のカメラはどうやってGUIを描いているのか？ ここから実際のカメラ側の仕組みを調べた © 2026 Sony Corporation
19. カメラはどうやってGUIを実現している？ 結論として カメラの実現方法は全く異なっていた © 2026 Sony Corporation
20. Flutterをカメラで動かすには？ Flutter on Embedded Linux ライブラリ置き換えが必要 ポーティングが必要 独自グラフィックスライブラリ Kernel © 2026 Sony Corporation 独自サブシステム (Not DRM)
21. FlutterでのカメラUI実現には 思ったより距離があった © 2026 Sony Corporation
22. 考察が必要 なぜ距離があるのか？ その距離は受け入れて良いものなのか？ © 2026 Sony Corporation
23. なぜ距離があるのか？ 例えば車載機器では Flutter採用事例がある。 Android、仮想化技術など 他の汎用技術の活用も進んでいる。 スマートフォンは汎用技術の塊である。 同じ組み込みシステムの世界でも 汎用技術との距離がなぜ異なるのか？ © 2026 Sony Corporation https://flutter.dev/showcase/toyota (2026/07/16 アクセス)
24. ソフトウェア構造の考え方が異なるのではないか？ ハードウェア定義型 例: ソニーのカメラ ソフトウェア定義型 (SDx) 例: 車載・スマートフォン HW中心で独自SWを作り込む。 汎用SWの活用は限定的。 SWがシステムを定義する。 汎用技術を積極的に活用する。 進化の余地 ソフトウェア構造の考え方 汎用SW 汎用 SW 独自SW 独自SW 標準化されたI/F ソフトウェアプラットフォーム HW HW チューニング (性能最適化・省リソース化等) ◎ △ 最新の汎用技術の活用 △ 〇 ソフトウェアアップデート頻度 © 2026 Sony Corporation メジャー: 1年～数年に1回 マイナー: 滅多にない メジャー: 1年に1回以上 マイナー: 多頻度
25. 車載も最近まではハードウェア定義型だったはず いつどのようにソフトウェア定義型に変化したか？ © 2026 Sony Corporation
26. 車載ソフトウェアの変化 CASEの実現に向けて 車載ソフトウェアは ソフトウェア構造の 考え方が変化した。 C: Connected A: Autonomous S: Shared & Service E: Electric 「SDV（Software Defined Vehicle）とは何か。クルマだけではないSDVの世界を定義する」より引用 https://www.pwc.com/jp/ja/knowledge/column/definition-of-sdv.html (2026/07/28 アクセス) © 2026 Sony Corporation
27. 一方、カメラはハードウェア定義型を維持している ハードウェア定義型 例: ソニーのカメラ ソフトウェア定義型 (SDx) 例: 車載・スマートフォン HW中心で独自SWを作り込む。 汎用SWの活用は限定的。 SWがシステムを定義する。 汎用技術を積極的に活用する。 進化の余地 ソフトウェア構造の考え方 汎用 SW 独自SW 独自SW 汎用SW 標準化されたI/F ソフトウェアプラットフォーム HW HW チューニング (性能最適化・省リソース化等) ◎ △ 最新の汎用技術の活用 △ 〇 アップデート頻度 (機能追加・セキュリティ更新等) © 2026 Sony Corporation メジャー: 1年～数年に1回 マイナー・パッチ: 滅多にない メジャー: 1年に1回以上 マイナー・パッチ: 多頻度
28. Flutterとカメラの距離の本質 「ソフトウェア構造」に対する考え方 スマホ・車載がSW定義型であるのにに対し、 カメラはHW定義型で汎用技術と距離がある © 2026 Sony Corporation
29. 距離の本質は判明したものの カメラのソフトウェア構造はこのままで良いのか？ © 2026 Sony Corporation
30. 私の考え NO © 2026 Sony Corporation
31. コンデジの出荷が伸びつつある 左: 「「コンデジ」人気、平成レトロ流行で復活 国内出荷7年ぶり増、20～30代女性が牽引」より引用。 https://www.sankei.com/article/20251027-YWAF3QU3BVJNHMUUJPHVVUWNWU/ (2026/07/28 アクセス) 右: 「25年のデジカメ出荷額7%増、5年連続で増加 コンデジがけん引」より引用。 https://www.nikkei.com/article/DGXZQOUC021SL0S6A200C2000000/ (2026/07/28 アクセス) © 2026 Sony Corporation
32. 対してαに注力した我々が持つラインナップは少ない ↑ Cyber-shotシリーズ ← αシリーズ © 2026 Sony Corporation https://www.sony.jp/ichigan/gallery/ https://www.sony.jp/cyber-shot/gallery/ (2026/07/28 アクセス)
33. 単にコンデジのラインナップを増やせば良いのか？ そういうわけではない もっと広く考える必要がある © 2026 Sony Corporation
34. より広く考えると お客様のニーズの多様化が進んでいる したがって、様々な価値を提供すべく 商品バリエーションを増やすことが必要 多くの組み込みシステムに当てはまるのではないか？ © 2026 Sony Corporation
35. 組み込みシステムのバリエーションを増やすために 柔軟性と拡張性を備えた ソフトウェアが価値の中心となる Software-Defined Systemを実現する必要がある © 2026 Sony Corporation
36. Software-Defined Systemの実現に必要なこと 受け入れ側の準備: • 境界設計 • 界面標準化 • モジュール化 汎用技術の活用戦略: • UIフレームワーク • セキュリティ • 通信 • 仮想化技術 • 戦略的な最適化 • AI技術 • OS • 汎用ミドルウェア 構造変革 汎用 SW 独自SW 進化の余地 独自SW 汎用SW 標準化されたI/F ソフトウェアプラットフォーム © 2026 Sony Corporation HW HW
37. これからの組み込みソフトウェアに必要なこと 汎用技術の活用戦略と受け入れ側の準備を揃えて Software-Defined Systemを実現すること ↓ 多様なニーズに対する柔軟性と拡張性を実現できる アップデートによる継続的な価値提供に繋がる © 2026 Sony Corporation
38. まとめ 世の中の優れた技術は持ってくるだけでは動かない 受け入れ側の「ソフトウェア構造の考え方」が重要 多様なニーズに対して様々な価値を提供するには Software-Defined Systemの実現が不可欠 SDx実現には「ソフトウェア構造の変革」が伴う © 2026 Sony Corporation
39. ご清聴ありがとうございました！ 柔軟性と拡張性、継続的な価値提供を支える Software-Defined Systemを一緒に実現しませんか？ 仲間を募集しています！ © 2026 Sony Corporation
40. Appendix © 2026 Sony Corporation
41. 参考文献 • What's the difference between Linux desktop and Embedded Linux • https://github.com/sony/flutter-embedded-linux/wiki/What‘s-the-difference-between-Linux-desktop-andEmbedded-Linux (2026/07/23 アクセス) • Linux システムソフトウェア - グラフィックスシステムの概要 • https://zenn.dev/hidenori3/articles/c2be2bd50fc8dd (2026/07/23 アクセス) • Improving infotainment systems at Toyota with Flutter • https://flutter.dev/showcase/toyota (2026/07/16 アクセス) • SDV（Software Defined Vehicle）とは何か。クルマだけではないSDVの世界を定義する • https://www.pwc.com/jp/ja/knowledge/column/definition-of-sdv.html (2026/07/28 アクセス) • 「コンデジ」人気、平成レトロ流行で復活 国内出荷7年ぶり増、20～30代女性が牽引 • https://www.sankei.com/article/20251027-YWAF3QU3BVJNHMUUJPHVVUWNWU/ (2026/07/28 アクセス) • 25年のデジカメ出荷額7%増、5年連続で増加 コンデジがけん引 • https://www.nikkei.com/article/DGXZQOUC021SL0S6A200C2000000/ (2026/07/28 アクセス) © 2026 Sony Corporation