[2025-11-06] ベイズ最適化の基礎とデザイン支援への応用（CVIMチュートリアル）

資料概要：
2025年11月6日開催のCVIM研究発表会（CGVI/DCC/PRMU合同）におけるチュートリアル講演の資料

CVIMチュートリアル講演について：
https://cvim.ipsj.or.jp/index.php?id=tutorial

講演概要：
本チュートリアルでは、評価コストが高い問題に対して有効な最適化手法であるベイズ最適化（Bayesian Optimization）について、その基礎と、デザイン支援への応用可能性を探る観点からの考察を行う。前半では、ガウス過程回帰を用いたサロゲートモデルや、探索と活用のトレードオフを実現する獲得関数の設計といった基本的な仕組みを直感的に解説し、ベイズ最適化がどのような状況で有効に機能するのかを具体例とともに紹介する。後半では、審美性や機能性といったデザインの評価指標を対象とする創造的なデザイン活動への応用可能性を考察する。これらのタスクでは、評価に人間を介する場面が多く、一回ごとの試行に高いコストを伴うが、限られた試行回数で効率的に最適化を進められるベイズ最適化は極めて有効である。以上の議論を通して、近年さまざまな分野で活用されているベイズ最適化が、視覚情報処理の分野においても今後どのような展開があり得るかを、参加者とともに考える場となることを目指す。

Transcript

1. 2025-11-06 | 2025年11⽉CVIM研究発表会 [CVIM/CGVI/DCC/PRMU合同] | 松江テルサ チュートリアル講演： ベイズ最適化の基礎とデザイン⽀援への応⽤ ⼩⼭ 裕⼰ 東京⼤学⼤学院⼯学系研究科精密⼯学専攻 准教授 https://koyama.xyz/
2. ⼩⼭ 裕⼰ / Yuki Koyama 2 https://koyama.xyz/ 研究テーマ • ベイズ最適化を⽤いたデザイン⽀援（本⽇の内容） • デジタルファブリケーションのためのデザイン⽀援 • アニメ制作のための技術開発（兼業 + JST CRONOS分担 2025.10〜） 准教授 [2025.04—現在] ⼯学系研究科精密⼯学専攻 客員研究員 [2025.04—現在] ※ 主任研究員 [—2025.03] 技術顧問 [2021.05—現在] アニメ制作のためのR&Dに従事 ຊۀɿ ݉ۀɿ ݉ۀɿ
3. 3 研究分野と研究トピック Computer Graphics (CG) Human-Computer Interaction (HCI) Computer Science (情報学) 形状処理、レンダリング、画像処理、 アニメーションなど、視覚コンテンツ 技術を扱う分野（SIGGRAPHなど） ! ⼈と情報技術とのインタラクションを 理解したり、設計して提案したりする 学際的な分野（CHI、UISTなど） " ⭐️ ⼆つの分野が重なる部分で 数理技術に基づくデザイン⽀援の研究に従事 3
4. Part : デザイン⽀援への応⽤ • 話すこと：⼈間の評価を取り込むHuman-in-the-Loopビジュアルデザイン最適化の研究 • 話さないこと：創薬や材料科学の分野における実験デザイン⽀援など Part : ベイズ最適化の基礎 • 話すこと：基本的なアイディア、典型的な計算⽅法、利点と⽋点など • 話さないこと：理論と導出、典型的でない計算⽅法など
5. Part ：ベイズ最適化の基礎 1.1. ベイズ最適化の概要
6. 問題設定：評価コストの⾼いブラックボックス最適化 • “ブラックボックス” 関数の最⼤化問題 • 勾配を観測できない • 局所解を持つかもしれない • 特に、評価コストが⾼い関数を考える • ある に対して の値を観測するのに 時間的‧⾦銭的コストがかかる x′ f(x′ ) 6 ?
7. 問題設定：評価コストの⾼いブラックボックス最適化 • “ブラックボックス” 関数の最⼤化問題 • 勾配を観測できない • 局所解を持つかもしれない • 特に、評価コストが⾼い関数を考える • ある に対して の値を観測するのに 時間的‧⾦銭的コストがかかる x′ f(x′ ) 7 ? ? 最も素朴な⽅法：ランダムサンプリング
8. 問題設定：評価コストの⾼いブラックボックス最適化 • “ブラックボックス” 関数の最⼤化問題 • 勾配を観測できない • 局所解を持つかもしれない • 特に、評価コストが⾼い関数を考える • ある に対して の値を観測するのに 時間的‧⾦銭的コストがかかる x′ f(x′ ) 8 ? できるだけ関数評価の回数を減らすには、 どのような戦略でサンプリングするべきか？
9. ベイズ最適化 Bayesian Optimization (BO) • ブラックボックス最適化アルゴリズムの⼀つ • 少ない反復回数で良い解を発⾒できる性質 ➡ 評価コストが⾼い最適化問題で活躍 • 賢いサンプリング戦略：獲得関数（acquisition function）を最⼤化する点を毎度サンプリングする • 性質1. 探索：まだ探索していない領域を優先 • 性質2. 活⽤：期待値の⾼い領域を優先 • 活⽤例： • 深層学習のハイパーパラメタ調整 • インタフェースやビジュアルデザインの最適化 • 創薬‧材料科学などの実験科学 9 ⼀次元の最⼤化問題にベイズ最適化を適⽤した例 CV/CG/DCCのいずれの分野とも関連が深い
10. Step-by-Step解説
12. 最初はランダムサンプリング
14. ガウス過程回帰モデル （薄い⻘は不確実性を表す）
15. 獲得関数
16. 獲得関数の最⼤点
18. 獲得関数の最⼤点
23. 現在予測される 最⼤値の周辺を 優先的にサンプリング （活⽤）
25. 観測データが少ない 不確実な領域を 優先的にサンプリング （探索）
30. 12回程度の反復でも かなり良い解が得られた
31. ベイズ最適化のアルゴリズム 31 while 終了条件が満たされていない： 観測データ を⽤いて⽬的関数 の統計モデルを構築する 獲得関数 を最⼤化して次の候補点 を選択する： 候補点 の評価値 を観測する 観測データに追加する： end while 最⼤値を与える点とその値 を出⼒する 𝒟 t f α x t+1 x t+1 = argmaxx α(x; 𝒟 t ) x t+1 y t+1 𝒟 t+1 = 𝒟 t ∪ {(x t+1 , y t+1 )} t ← t + 1 (x*, y*) 後述 後述
32. 適応的実験計画のための⼿法としての位置付け 適応的実験計画（実験結果を逐次的に解析しながら次に観測するべき実験条件を適 応的に決定する）を実現する⼿段の⼀つとしてベイズ最適化が⽤いられる 32 ユーザ実験を伴うインタラクション設計における実験計画の模式図。従来の実験計画（右）。適応的実験計画（左）。 [Yoshida+24] Toward AI-Mediated Avatar-Based Telecommunication: Investigating Visual Impression of Switching Between User- and AI-Controlled Avatars in Video Chat. IEEE Access (2024). [doi]
33. Part ：ベイズ最適化の基礎 1.2. ベイズ最適化の統計モデル（ガウス過程）
34. ベイズ最適化における⽬的関数の統計モデル • ガウス過程回帰モデル（Gaussian Process; GP） • 本講演ではこの統計モデルを想定 • ベイズ線形回帰モデル • ⽊構造Parzen推定量モデル（TPE） • 34 ⽬的関数がガウス過程に従うと仮定 不確実性を考慮できるガウス過程回帰 f ∼ GaussianProcess(μ, k)
35. ガウス過程：直感「関数に対する正規分布」 「変数が正規分布に従う」 • サンプリングすると値が得られる • 分布は平均値 と分散値 で定義される 「関数が “正規分布” に従う」（？） • サンプリングすると関数が得られる • 分布は平均関数 とカーネル関数 で定 義される μ σ2 μ k 35 f ∼ GaussianProcess(μ, k) x ∼ Normal(μ, σ2)
36. ガウス過程：定義 任意の 個の⼊⼒点 に対して、その関数値ベクトル が多変量ガウス分布 に従う： ただし と は , で定義される。 つまり： n x 1 , …, x n ∈ 𝒳 f = (f(x 1 ), …, f(x n )) Normal(m, K) f ∼ Normal ( m, K ) m K m = (μ(x 1 ), …, μ(x n )) K i,j = k(x i , x j ) f(x 1 ) ⋮ f(x n ) ∼ Normal μ(x 1 ) ⋮ μ(x n ) , k(x 1 , x 1 ) ⋯ k(x 1 , x n ) ⋮ ⋱ ⋮ k(x n , x 1 ) ⋯ k(x n , x n ) 36 (x 1 , f 1 ) (x 2 , f 2 ) (x 3 , f 3 ) f 関数 が、平均関数 とカーネル関数 で定義されるガウス過程に従う： f : 𝒳 → ℝ μ k f ∼ GaussianProcess(μ, k)
37. ガウス過程回帰モデル [1/4] 37 ⽬標：「関数がガウス過程に従う」という事前知識のもとで、回帰（これまでの観 測データ をもとに、未観測の点 の値 を予測）したい {x i , f(x i )}n i=1 x * f * = f(x * ) (x 1 , f 1 ) (x 2 , f 2 ) (x 3 , f 3 ) f * ? x *
38. ガウス過程回帰モデル [2/4] • （関数値ベクトルの⻑さは任意なので）未知の値 を追加して 次元の関数値ベク トルに拡張しても（それでもやはり）多変量ガウス分布に従う： • このあとのために記法を少し整理して： f * n + 1 f(x 1 ) ⋮ f(x n ) f * ∼ Normal μ(x 1 ) ⋮ μ(x n ) μ(x * ) , k(x 1 , x 1 ) ⋯ k(x 1 , x n ) k(x 1 , x * ) ⋮ ⋱ ⋮ ⋮ k(x n , x 1 ) ⋯ k(x n , x n ) k(x n , x * ) k(x * , x 1 ) ⋯ k(x * , x n ) k(x * , x * ) [ f f * ] ∼ Normal ([ m μ(x * )] , [ K k(x * ) k(x * )⊤ k(x * , x * )]) 38 追加！ 追加！ ⽬標：「関数がガウス過程に従う」という事前知識のもとで、回帰（これまでの観 測データ をもとに、未観測の点 の値 を予測）したい {x i , f(x i )}n i=1 x * f * = f(x * )
39. ガウス過程回帰モデル [3/4] 前スライドの式に「多変量ガウス分布の条件付き 分布の公式」を適⽤すると、 ただし つまり、未知の観測点の関数値の予測分布は（性 質の良いことに！）⼀次元のガウス分布に従い、 その平均と分散は簡単に計算できる f * ∼ Normal(μ * , σ2 * ) μ * = μ(x * ) + k(x * )⊤K−1(f − m) σ2 * = k(x * , x * ) − k(x * )⊤K−1k(x * ) 39 多変量ガウス分布の条件付き分布の公式 https://manabitimes.jp/math/
40. ガウス過程回帰モデル [3/4] 40 の予測分布？ f * ガウス分布！ x * x * 前スライドの式に「多変量ガウス分布の条件付き 分布の公式」を適⽤すると、 ただし つまり、未知の観測点の関数値の予測分布は（性 質の良いことに！）⼀次元のガウス分布に従い、 その平均と分散は簡単に計算できる f * ∼ Normal(μ * , σ2 * ) μ * = μ(x * ) + k(x * )⊤K−1(f − m) σ2 * = k(x * , x * ) − k(x * )⊤K−1k(x * )
41. ガウス過程回帰モデル [4/4] 41 観測点数を増やしていった際のガウス過程回帰の様⼦ （上段はサンプリングされた関数として可視化；下段は分布として可視化）
42. カーネル関数 [1/2] k 直感：2点間の関数値の相関の強さを記述する役割 • Squared Exponentialカーネル： • Matern / カーネル： • Matern / カーネル： k SE (x, x′ ) = exp { − ∥x − x′ ∥2 ℓ2 } k Mat3/2 (x, x′ ) = ( 1 + 3∥x − x′ ∥ ℓ ) exp { − 3∥x − x′ ∥ ℓ } k Mat5/2 (x, x′ ) = ( 1 + 5∥x − x′ ∥ ℓ + 5∥x − x′ ∥2 3ℓ2 ) exp { − 5∥x − x′ ∥ ℓ } 42 [Shahriari+ ]
43. カーネル関数 [2/2] k • ハイパーパラメタ は “length scale” と呼ばれ、関数の滑らかさに影響する • ベイズ最適化実⾏時にも最も影響が⼤きいハイパーパラメタで、適切に設定する必要がある ℓ 43 ℓ = 0.05 ℓ = 0.30 k SE (x, x′ ) = exp { − ∥x − x′ ∥2 ℓ2 } ℓ = 0.15
44. カーネル関数のハイパーパラメタ⾃動選択 [詳細は割愛] カーネル関数のハイパーパラメタ値 （length scale を 含む）は、観測データに基づいて⾃動的に決定することも できる [Rasmussen+ ] 1. 尤度最⼤化（ML）： 2. 事後確率最⼤化（MAP）： θ ℓ ̂ θ ML = argmax p(y ∣ X, θ) ̂ θ MAP = argmax p(y ∣ X, θ) p(θ) 44 事前分布 には、例えば log- normal 分布を活⽤できる p(θ) [Rasmussen+05] Gaussian Processes for Machine Learning. 2005.
45. 観測ノイズの扱い [詳細は割愛] • 実際には、背後にある関数 にノイズ がのった値 が観測され ることがある： ただし • ガウス過程ではこのような観測ノイズも（都合よく）綺麗に予測 分布の計算に組み込むことができる [Rasmussen+ ]： ただし f ϵ y y = f(x) + ϵ ϵ ∼ Normal(0, σ2 noise ) f * ∼ Normal(μ * , σ2 * ) μ * = μ(x * ) + k(x * )⊤(K + σ2 noise I)−1(y − m) σ2 * = k(x * , x * ) − k(x * )⊤(K + σ2 noise I)−1k(x * ) 45 観測ノイズを想定していない場合の予測分布 観測ノイズを想定した場合の予測分布 [Rasmussen+05] Gaussian Processes for Machine Learning. 2005.
46. Part ：ベイズ最適化の基礎 1.3. 獲得関数
47. 獲得関数の役割と「探索と活⽤」 • 獲得関数 は「点 を次に観測するべき度 合い」を表す（ように設計された）関数 • 効率的な最適化を実現するために欲しい性質： 「探索と活⽤」のバランス • 探索（Exploration）： 過去の観測データを考慮した上で、 まだ不確実性が⾼い領域を優先して観測 • 活⽤（Exploitation）： 過去の観測データを考慮した上で、 予測される値が⾼い領域を優先して観測 • 獲得関数が最⼤となる点を次に観測する α(x) x 47 予測値は⼤きくないが分散が⼤きい領域 [探索] 分散は⼤きくないが予測値が⼤きい領域 [活⽤]
48. 「探索と活⽤」を実現する獲得関数の種類 • PI: Probability of Improvement [改善確率量] • EI: Expected Improvement [期待改善量] • UCB: Upper Confidence Bound [信頼上限] • TS: Thompson Sampling [トンプソンサンプリング] • PES: Predictive Entropy Search [予測エントロピー探索] 48 [Snoek+12] Practical Bayesian Optimization of Machine Learning Algorithms. NIPS 2012. 獲得関数の形状の⽐較。いずれも「探索と活⽤」を考慮した振る舞いをする。 [Shahriari+ ] （PI以外は）いずれもよく使われる 個⼈的には古くから実績 [Snoek+ ] があるEIがおすすめ [次スライド]
49. 獲得関数：Expected Improvement (EI) [期待改善量] • 観測済みの最良値 と⽐べてどれだけ改善するか？の期待値を獲得関数とする： • 良い性質 • ガウス過程の仮定のもとでは（微分も含めて！）解析的に計算できる： ただし 、 は標準正規分布、 はその累積分布関数を表す • 勝⼿に「探索と活⽤」を考慮したような振る舞いをする • 余計なハイパーパラメタがない • Tips：最近、対数をとるだけで劇的に性能改善することが発⾒された [Ament+ ] y+ α EI (x) = 𝔼[max(0, y − y+)] α EI (x) = σ(x)(γ(x)Φ(γ(x)) + ϕ(γ(x))) γ(x) = (μ(x) − y+)/σ(x) ϕ Φ 49 [Ament+23] Unexpected Improvements to Expected Improvement for Bayesian Optimization. NeurIPS 2023.
50. Part ：ベイズ最適化の基礎 1.4. ベイズ最適化のライブラリ‧発展研究‧FAQ
51. ベイズ最適化関連の代表的なライブラリ • Optuna • 株式会社Preferred Networksが開発 • 可視化機能やダッシュボードが充実している • 使いやすい • BoTorch • Metaが中⼼となって開発 • PyTorchとGPyTorchがベース • 最新の研究成果もすぐに実装される傾向がある • アルゴリズムの挙動を改造しやすい • BoTorchをベースにした上位ツールのAxも存在する （どちらかというとOptunaに対応するのはこちら？） 51 [Akiba+19] Optuna: A Next-generation Hyperparameter Optimization Framework. KDD 2019. [cited by 10,000+!] [Balandat+20] BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization. NeurIPS 2020. Optunaを使い始めるのは驚くほど簡単 https://optuna.org/#code_examples
52. ベイズ最適化の拡張 • バッチ（batch）ベイズ最適化 各イテレーションで、1点だけでなく多数の点を選んで並列に観測する • 多⽬的（multi-objective）ベイズ最適化（MOBO） 複数の⽬的関数を同時に考慮し、パレート最適解を発⾒する • 多忠実度（multi-fidelity）ベイズ最適化（MFBO） 精度とコストが異なる複数の評価⽅法（Sim/Realなど）を考慮する • 制約付き（constrained）ベイズ最適化（CBO） 不等式制約関数（これもブラックボックス関数）を考慮する • ⾼次元（high-dimensional）ベイズ最適化（HDBO） 20次元を超える（〜1,000,000,000次元）⾼次元問題を扱う • 選好（preferential）ベイズ最適化（PBO） 関数値そのものではなく相対⽐較データを観測する [本講演の後半で詳述] 52
53. 研究：LLM時代のベイズ最適化 • LLMを活⽤して効率的なベイズ最適化を実現 • LLMが持つ事前知識とin-context learningの能⼒ を活⽤ [Liu+ ] • ベイズ最適化の挙動を学習データとしてLLMを fine tuning [Meindl+ ] • LLMを通じて対話可能なベイズ最適化を実現 [Niwa+ ] • デザイナの体験を向上 • デザイナが持つ知識を活⽤できる可能性 53 [Liu+24] Large Language Models to Enhance Bayesian Optimization. ICLR 2024. [Meindl+25] GPTOpt: Towards Efficient LLM-Based Black-Box Optimization. arXiv (2025). [doi] [Niwa+25] Cooperative Design Optimization through Natural Language Interaction. UIST 2025. ベイズ最適化とLLMを統合することで 対話可能なベイズ最適化を実現 [Niwa+ ]
54. FAQ：“関数をサンプリングする”とは？ • 実際には多数の点 （例： を等間隔に200分割した点）における関数値を（同 時に）サンプリングすることで “関数のサンプリング” を近似する • ガウス過程の性質から、観測済みの関数値 と未観測の関数値 を合わせた関数値ベクト ルは多変量ガウス分布に従う： {x *i }m i=1 [−1,1] f f * 54 f(x 1 ) ⋮ f(x n ) f *1 ⋮ f *m ∼ Normal μ(x 1 ) ⋮ μ(x n ) μ(x *1 ) ⋮ μ(x *m ) , k(x 1 , x 1 ) ⋯ k(x 1 , x n ) k(x 1 , x *1 ) ⋯ k(x 1 , x *m ) ⋮ ⋱ ⋮ ⋮ ⋱ ⋮ k(x n , x 1 ) ⋯ k(x n , x n ) k(x n , x *1 ) ⋯ k(x n , x *m ) k(x *1 , x 1 ) ⋯ k(x *1 , x n ) k(x *1 , x *1 ) ⋯ k(x *1 , x *m ) ⋮ ⋱ ⋮ ⋮ ⋱ ⋮ k(x *m , x 1 ) ⋯ k(x *m , x n ) k(x *m , x *1 ) ⋯ k(x *m , x *m ) [ f f * ] ∼ Normal ([ m m * ] , [ K k * k⊤ * K * ]) f * ∼ Normal(m * + k⊤ * K−1(f − m), K * − k⊤ * K−1k * ) • 「多変量ガウス分布の条件付き分布の公式」を適⽤する： • この多変量ガウス分布から好きなだけ をサンプリングする f * で を30回サンプリングした様⼦ m = 200 f *
55. FAQ：あらゆる問題をベイズ最適化で解けば良いのでは？ • 反復回数は少なくて済むかも しれないが、各ステップで必 要になる獲得関数の最⼤化に ⼤きな計算コストがかかる問 題がある • ⽬的関数の評価にかかるコス トが⽀配的な場合にベイズ最 適化は有効 • 深層学習におけるハイパー パラメタ最適化 • 創薬‧材料などの実験科学 • ユーザ実験を伴うインタラ クション設計 55 while 終了条件が満たされていない： 観測データ を⽤いて⽬的関数 の統計モデルを構築する 獲得関数 を最⼤化して次の候補点 を選択する： 候補点 の評価値 を観測する 観測データに追加する： end while 最⼤値を与える点とその値 を出⼒する 𝒟 t f α x t+1 x t+1 = argmaxx α(x; 𝒟 t ) x t+1 y t+1 𝒟 t+1 = 𝒟 t ∪ {(x t+1 , y t+1 )} t ← t + 1 (x*, y*)
56. FAQ：ベイズ最適化は⾼次元が苦⼿？ • 従来の常識：ベイズ最適化は⾼次元が 苦⼿で20次元程度までしか使えない • 最近の研究：ほんの少し修正すると⾼ 次元でも動くようになる [Hvarfner+ ] • BoTorch v . 以降ではデフォルト実装 • 最新のBoTorchを使っておけばOK 56 [Hvarfner+24] Vanilla Bayesian Optimization Performs Great in High Dimensions. ICML 2024. [Hvarfner+ ] が提案するシンプルな修正 k(x, x′ ) = σ2 f exp { − D ∑ d=1 (x d − x′ d )2 2ℓ2 d } log p(y ∣ X, θ) → log p(y ∣ X, θ) + log p(θ) ℓ ∼ LogNormal ( μ 0 + log(D) 2 , σ 0) カーネル関数のlength scale の推定が難しかった： ℓ これまでにも、安定して を推定するためにMLEではな くMAPを使うアイディアは⼀般的に使われてきた： ℓ しかし の適切な事前分布が不明だった。本論⽂では以 下の事前分布を提案し、うまくいくことを確認した： ℓ
57. FAQ：ベイズ最適化の終了条件は？ • ベイズ最適化の反復計算の終了条件は⾃明でない • パラメタの更新の振る舞いが複雑（探索と活 ⽤）で、収束判定が難しい • 事前に決めた固定の反復回数を実⾏するか、⼀定 の時間に達したらタイムアウトする運⽤にするの が現実的 • ベイズ最適化の終了条件に関する研究も存在する [Ishibashi+ ] 57 [Ishibashi+23] A stopping criterion for Bayesian optimization by the gap of expected minimum simple regrets. AISTATS 2023. ここで⽌めるべきか？まだ続けるべきか？
58. Part : デザイン⽀援への応⽤ 2.1. 問題設定とHuman-in-the-Loop最適化
59. ύϥϝλௐ੔λεΫ͸༷ʑͳσβΠϯͷจ຺ʹڞ௨ͯ͠ొ৔͢Δ
60. ࣸਅͷ৭ௐฤू ύϥϝλௐ੔λεΫ͸༷ʑͳσβΠϯͷจ຺ʹڞ௨ͯ͠ొ৔͢Δ ػցֶशʹΑΔίϯςϯπੜ੒ ϓϩγʔδϟϧܗঢ়ϞσϦϯά ϓϩγʔδϟϧϚςϦΞϧੜ੒
61. ਺ֶతͳղऍʢϞσϧԽʣ< > [*] Yuki Koyama. 2021. Introduction to Computational Design. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (CHI EA '21—Courses), pp.136:1–136:4. Mathematical optimization Design parameter tweaking Analogy Search for the best design Search for the maximum ࠷దԽ໰୊ σβΠϯͷྑ͞ ໨తؔ਺ σβΠϯʹ͓͚Δύϥϝλௐ੔
62. ਺ֶతͳղऍʢϞσϧԽʣ< > [*] Yuki Koyama. 2021. Introduction to Computational Design. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (CHI EA '21—Courses), pp.136:1–136:4. Mathematical optimization esign parameter tweaking Analogy Search for the best design Search for the maximum ࠷దԽ໰୊ σβΠϯͷྑ͞ ໨తؔ਺ σβΠϯʹ͓͚Δύϥϝλௐ੔ ೉͠͞ɿ
    ਓؒͷධՁʹΑͬͯ
    ໨తؔ਺͕ఆٛ͞ΕΔ
63. ਓؒͷධՁ͕ඞཁͳ໨తؔ਺Λ ର৅ͱ͢Δ࠷దԽ໰୊Λղ͘
    ͨΊͷΞϓϩʔν Human-in-the-loop࠷దԽ γεςϜ ਓؒ ࣭໰ Ͳ͕ͬͪ޷͖ʁ ✔ ฦ౴
    ʢධՁʣ ͬͪ͜Ͱ͢
64. Part : デザイン⽀援への応⽤ . . Human-in-the-Loop最適化のアルゴリズム
65. Human-in-the-Loop最適化の要件 [1/2] 65 [Koyama+18] Yuki Koyama and Takeo Igarashi. 2018. Computational Design with Crowds. In Computational Interaction (Eds. A. Oulasvirta, P. O. Kristensson, X. Bi, and A. Howes), Oxford University Press, pp.153–184. https://arxiv.org/abs/2002.08657 Relative assessment A B 相対⽐較 相対評価を⽤いるのが 好ましい： ユーザは複数の選択肢の 中から相対的に良いものを 安定に選ぶことができる Absolute assessment 絶対評価 絶対評価を⽤いるのは 好ましくない： ユーザは関数の値を安定に 答えることができない [Brochu+ ; Koyama+ ]
66. Human-in-the-Loop最適化の要件 [2/2] • 全体の反復回数が⼗分に少ない必要がある • ⼈間のレスポンスは遅い • ⼈間は疲れてしまう 66 γεςϜ ਓؒ x10,000 (?)
67. 選好ベイズ最適化 Preferential Bayesian Optimization (PBO) ベイズ最適化の派⽣⼿法 [Brochu+ ] • ベイズ最適化と異なり、絶対評価データを⽤い ない • 代わりに相対⽐較データから⽬的関数（好み） を推定しながら最適化を実⾏する • 少ない反復回数で解を発⾒できる性質は継承 ✔ 1#0 ਓؒ ࣭໰ ฦ౴
    ʢධՁʣ ͲͪΒ͕޷͖ʁ ͪ͜ΒͰ͢ 相対⽐較 データ Human-in-the-Loop最適化と相性が良い 賢い [Brochu+07] Active Preference Learning with Discrete Choice Data. NIPS 2007.
68. 選好ベイズ最適化 Preferential Bayesian Optimization (PBO)
69. 選好フィードバック（相対⽐較）の確率モデリング [1/2] 69 Option A Option B Latent goodness value: g(A) Latent goodness value: g(B) ⼀対⽐較に基づく 相対⽐較データの例 選好ベイズ最適化では、この確率モデルに基づく 最⼤事後確率（MAP）推定 [Chu+ ] によって潜在的 な好みの値を推定する [次スライド] Bradley-Terry確率モデルを⽤いて相対⽐較データ をモデル化する [Tsukida+ ] [Tsukida+11] How to Analyze Paired Comparison Data. UWEE Tech Report Series (2011). [Chu+05] Preference learning with Gaussian processes. ICML 2005. [Koyama+22] Preferential Bayesian Optimisation for Visual Design. Bayesian Methods for Interaction and Design (2022). Pr(A is chosen over B ∣ g(A), g(B)) = exp(g(A)) exp(g(A)) + exp(g(B))
70. 選好フィードバック（相対⽐較）の確率モデリング [2/2] 観測済みの各点の値 を、ガウス 過程の仮定の元でMAP推定によって求める： g = (g 1 , …, g n ) gMAP = argmax g p(g ∣ d 1 , …, d t ) = argmax g p(d 1 , …, d t ∣ g) p(g) = argmax g { t ∏ i=1 p(d i ∣ g) } p(g) 70 [Tsukida+11] How to Analyze Paired Comparison Data. UWEE Tech Report Series (2011). [Chu+05] Preference learning with Gaussian processes. ICML 2005. [Koyama+22] Preferential Bayesian Optimisation for Visual Design. Bayesian Methods for Interaction and Design (2022). 観測された⽐較データ d i = [x(A) ≻ x(B)] MAP推定 ガウス過程の性質から は多変量ガウス分布 に従う g p(g) = Normal(m, K) Bradley-Terryモデル を適⽤する p(d ∣ g) = exp(g(A))/(exp(g(A)) + exp(g(B)))
71. 選好ベイズ最適化 (PBO) の動作例： ⼀対⽐較という相対⽐較データを繰り返し観測することで最適化が進む様⼦
72. Part : デザイン⽀援への応⽤ 2.3. 選好ベイズ最適化によるデザイン⽀援研究事例
73. Sequential Line Search for Efficient Visual Design Optimization by Crowds Y. Koyama, I. Sato, D. Sakamoto, and T. Igarashi ACM Transactions on Graphics (SIGGRAPH 2017)
74. コンセプト提案：Crowd-in-the-Loop最適化 クラウドワーカを計算資源とみなして最適化を実⾏する 仕組み 研究の貢献 技術提案：Sequential Line Search法 選好ベイズ最適化 (PBO) を拡張してスライダ⼊⼒の 質問⽅式を扱えるようにすることで効率性を向上
75. 「クラウド最適化」ボタン “People’s Choice” 最適なスライダ値 Crowd-in-the-Loop最適化 [Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
76. [Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
77. [Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598 本研究で提案する選好ベイズ最適化の新しい拡張（Sequential Line Search法 ）
78. 基本：⼀対⽐較 (e.g., [Brochu+, NIPS ]) Choose the image that looks better Task: 本研究で提案：⼀つのスライダを操作 (⼀度により多くの情報を得られる) Adjust the slider so that the image looks the best Task: ➡ より少ない反復回数で解を発⾒ 相対⽐較に関する質問⽅式の設計の⼯夫 78
79. How to Define Slider Spaces 79 Slider space S : 1D subspace mapped to a slider
80. How to Define Slider Spaces 80 x+ = arg max x2{xi } µ(x) The point that maximizes the “expected improvement” (EI) The best point among the already visited points xEI = arg max x2X EI(x)
81. [Koyama+17] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598 詳細は [Koyama+ ] を参照 スライダ操作に基づく相対⽐較を扱えるよう選好ベイズ最適化を拡張 （Sequential Line Search法）
82. Applications 写真の⾊調補正 ( D)
83. For each photo, it runs iterations, cost . USD in total, and took min in average
84. For each photo, it runs iterations, cost . USD in total, and took min in average
85. Replay
86. For each photo, it runs iterations, cost . USD in total, and took min in average
87. For each photo, it runs iterations, cost . USD in total, and took min in average
88. Q. Which one do you like? Original By Crowds By Photoshop By Lightroom Evaluation: Crowdsourced Voting
89. Crowds
90. Crowds
91. Crowds
92. Q. Which one do you like? Original By Crowds By Photoshop By Lightroom ➡ େऺͷ޷Έʹج͍ͮͯ࠷దԽͨ͠ (“people’s choice”) ͨΊɺେऺʹ޷·ΕΔ
93. • Crowd-in-the-Loop最適化を実現 • ⼀対⽐較ではなく⼀つのスライダを操作するタスクを採⽤することで 必要な反復回数を削減 • そのために選好ベイズ最適化 (PBO) を拡張 • Sequential Line Search法
94. 評価者 94 • User-in-the-Loop最適化 • 特徴： • 個⼈の好み • 対話的な実⾏ 0110 0101 1101 Sampling! " Evaluation! • Crowd-in-the-Loop最適化 • 特徴： • ⼤衆の好み • クラウドソーシングで⾃動実⾏が可能 0110 0101 1101 Sampling! Evaluation! ###### ##### ###### ##### ######
95. Sequential Gallery for Interactive Visual Design Optimization Y. Koyama, I. Sato, and M. Goto ACM Transactions on Graphics (SIGGRAPH 2020)
96. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 96 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set
97. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 97 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface
98. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 98 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface 2D search subtask #1
99. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 99 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set 2D search subtask #1 Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface
100. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 100 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set 2D search subtask #1 Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface 2D search subtask #2
101. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 101 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set 2D search subtask #2 Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface 2D search subtask #3
102. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 102 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set 2D search subtask #3 Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface 2D search subtask #4
103. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 103 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set 2D search subtask #4 Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface
104. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 104 … Target: n design parameters (e.g., photo enhance) … Output: An optimal parameter set Sequential Gallery: An interactive optimization framework where the user sequentially performs 2D search subtasks via a grid interface
105. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する
106. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する User’s feedback Next search plane
107. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する
108. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する
109. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する User’s feedback Next search plane
110. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … 2D search subtask 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する
111. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) … … 2D search subtask 2D search subtask 2D search subtask 選好ベイズ最適化によって2次元の部分空間を賢く決定する
112. Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) Potential Applications 112 Photo color enhancement Generative modeling Procedural texturing … and many other parametric design scenarios
113. Photo Color Enhancement (12D) Brightness, contrast, saturation, shadows (RGB), midtones (RGB), and highlights (RGB)
115. Original photograph Enhanced photograph (after 4 iterations)
116. Body Shaping (10D) Using the SMPL model [Loper+15] (the first 10 principal components)
118. “He was of medium height, solidly built, wide in the shoulders, thick in the neck, with a jovial heavy-jawed red face […]” Dashiell Hamme. 1930. e Maltese Falcon.
119. • User-in-the-Loop最適化を実現 • グリッド状に選択肢を提⽰するインタフェースを採⽤することで必要 な反復回数を削減 • そのために選好ベイズ最適化 (PBO) を拡張
120. Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization K. Yamamoto, Y. Koyama, and Y. Ochiai ACM UIST 2022 ロボットハンドを⽤いた実世界の写真撮影タスクに選好ベイズ最適化を適⽤
121. User System Selected melody Candidate melodies Balance for the next candidates Exploitation Exploration Interactive Exploration-Exploitation Balancing for Generative Melody Composition Y. Zhou, Y. Koyama, M. Goto, and T. Igarashi IUI 2021 ⽣成AIを⽤いた楽曲メロディー制作に選好ベイズ最適化を適⽤
122. FontCraft: Multimodal Font Design Using Interactive Bayesian Optimization Y. Tatsukawa, I-C. Shen, M. D. Dogan, A. Qi, Y. Koyama, A. Shamir, T. Igarashi ACM CHI 2025 フォント⽣成モデルの潜在空間探索に選好ベイズ最適化を適⽤
123. ⾒た⽬の好ましさ 予測広告効果 Constrained Preferential Bayesian Optimization and Its Application in Banner Ad Design K. Iwai, Y. Kumagae, Y. Koyama, M. Hamasaki, M. Goto IJCAI 2025 バナー広告デザインに予測広告効果を制約として考慮した選好ベイズ最適化を適⽤ 企業共同研究（博報堂DYホールディングス）
124. )VNBOJOUIF-PPQબ޷ϕΠζ࠷దԽ w ༷ʑͳσβΠϯγφϦΦͰͦͷՄೳੑΛ໛ࡧ͖ͯͨ͠
     w ҰํͰ)VNBOJOUIF-PPQϕΠζ࠷దԽʹ͸՝୊΋͋Δ Zhou+ IUI 2020 ϝϩσΟʔੜ੒ Yamamoto+ UIST 2022 ࣸਅࡱӨ࣌ͷর໌ Koyama+ SIGGRAPH 2017 Koyama+ SIGGRAPH 2020 ࣸਅͷ৭ௐฤू΍%άϥϑΟΫε Tatsukawa+ CHI 2025 ϑΥϯτੜ੒ ޿ࠂάϥϑΟοΫ Iwai+ IJCAI 2025
125. Part : デザイン⽀援への応⽤ 2.4. 最適化 “以外” のベイズ最適化活⽤事例
126. BO as Assistant: Using Bayesian Optimization for Generating Design Suggestions Y. Koyama and M. Goto ACM UIST 2022
127. ✔ ϕΠζ࠷దԽ
     #0 ຊ౰͸ࣗ༝ʹ
     ୳ࡧ͍ͨ͠ σβΠφ ͲͪΒ͕޷͖ʁ ͪ͜ΒͰ͢ ओಋݖ
128. ໰୊ɿ
     σβΠφ͕ࣗ༝ʹ୳ࡧͰ͖ͣɺ
     ߦҝओମײ
     BHFODZ
     ΍૑଄ੑ
     DSFBUJWJUZ
     ͷ ௿ԼΛট͘ݒ೦͕͋Δ
     <$IBO
     $)*
     > [Chan+, CHI 2022] L. Chan et al. 2022. Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques. In Proc. CHI 2022. ✔ ϕΠζ࠷దԽ
     #0 σβΠφ ͲͪΒ͕޷͖ʁ ͪ͜ΒͰ͢ ຊ౰͸ࣗ༝ʹ
     ୳ࡧ͍ͨ͠ ओಋݖ
129. ϕΠζ࠷దԽʢ#0ʣͷαϯϓϦϯάઓུͷݡ͞ͷԸܙΛड͚ͭͭɺ
     σβΠφ͕ࣗ༝ʹσβΠϯ୳ࡧͰ͖ΔΑ͏ʹ͍ͨ͠ ண૝ɿ ϕΠζ࠷దԽʢ#0ʣΛʢIVNBOJOUIFMPPQͷ࢓૊Έͱͯ͠Ͱͳ͘ʣ
     σβΠφͷ
     ॿखʢBTTJTUBOUʣͱͯ͠׆༻͢ΔϑϨʔϜϫʔΫΛఏҊ σβΠφ ϕΠζ࠷దԽ
     #0 ओಋݖΛ࣋ͬͯ୳ࡧ͢Δ ݡ͍
     ॿख
     ʹప͢Δ ࢧԉ ओಋݖ
130. ఏҊϑϨʔϜϫʔΫɿ"BO as Assistant"
131. #0
     BT
     "TTJTUBOUͷ৔߹ɿ
132. σβΠφͷ޷Έ΍ҙਤΛʢউखʹʣֶश #0
     BT
     "TTJTUBOUͷ৔߹ɿ
133. w #0͸໌ࣔతͳೖྗΛඞཁͱ͠ͳ͍
     w #0͸͋͘·Ͱखॿ͚͚ͩΛͯ͠ɺ
     ओಋݖΛͱΒͳ͍ #0
     BT
     "TTJTUBOUͷ৔߹ɿ
136. ࣸਅͷ৭ௐฤू w ύϥϝλ਺ɿ
     w #SJHIUOFTT
     w $POUSBTU
     w 4BUVSBUJPO
     w -JGU
     3(#
     w (BNNB
     3(#
     w (BJO
     3(#
     w σβΠϯ໨ඪɿ
     ࣸਅͷݟӫ͕͑ྑ͘ͳΔΑ͏ʹ͢Δ
137. x5
138. ϓϩγʔδϟϧϚςϦΞϧੜ੒ w ύϥϝλ਺ɿ
     w 5ISFTIPME
     w /PJTF
     4DBMF
     w /PJTF
     %FUBJM
     w /PJTF
     3PVHIOFTT
     w /PJTF
     %JTUPSUJPO
     w "NCJFOU
     0DDMVTJPO
     w #VNQ
     4USFOHUI
     w 1FFM
     #PVOEBSZ
     4USFOHUI
     w σβΠϯ໨ඪɿ
     ϖΠϯτ͕ണ͍͛ͯΔḊͼͨۚଐ e 3D model is provided by Bastien Genbrugge under CC BY 4.0 at hps://sk.ly/6pNQ6
139. x5
140. 140 w ϕΠζ࠷దԽʢ#0ʣΛʢIVNBOJOUIFMPPQͰͳ͘ʣ
     σβΠφͷ
     ॿखʢBTTJTUBOUʣͱͯ͠׆༻͢ΔΠϯλϥΫγϣϯΛఏҊ
     w εϥΠμૢ࡞Λ؍ଌ͢Δ͜ͱͰ޷ΈΛֶश͠ɺݡ͘σβΠϯҊΛੜ੒͢Δٕज़ ΛఏҊ … … σβΠφ ॿख
     ͱͯ͠ͷϕΠζ࠷దԽ
     #0 ීஈ௨Γࣗ༝ʹεϥΠμૢ࡞ͰσβΠϯ୳ࡧΛߦ͏ 
     εϥΠμૢ࡞Λ؍ଌ 
     σβΠϯ໨ඪΛਪఆ 
     σβΠϯҊΛఏࣔ #0͕ੜ੒ͨ͠σβΠϯҊ #0ʹΑΔݡ͍
     αϯϓϦϯά σβΠφ͸σβΠϯҊΛ࠾༻ͯ͠΋ແࢹͯ͠΋ྑ͍
141. Part : デザイン⽀援への応⽤ 2.5. 選好ベイズ最適化以外のデザイン⽀援応⽤
142. インタラクション分野におけるデザイン⽀援への応⽤ [1/2] • AR/VR時のポインティング操作の精度‧操作速度の最適化 [Chan+ ] • ウェアラブルデバイスの⼊出⼒操作のキャリブレーション [Liao+ ] • ⾃動運転におけるユーザ体験の最適化 [Jansen+ ] • ゲーム難易度の最適化 [Khajah+ ] • フォント可読性の個⼈最適化 [Kadner+ ] • ビデオ通話におけるアバターの印象の最適化 [Yoshida+ ] • デジタルファブリケーションによる実制作‧実計測を伴う最適化 [Piovarci+ ] 142 [Chan+22] Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques. CHI 2022. [Liao+24] A Meta-Bayesian Approach for Rapid Online Parametric Optimization for Wrist-based Interactions. CHI 2024. [Jansen+25] OptiCarVis: Improving Automated Vehicle Functionality Visualizations Using Bayesian Optimization to Enhance User Experience. CHI 2025. [Khajah+16] Designing Engaging Games Using Bayesian Optimization. CHI 2016. [Kadner+21] AdaptiFont: Increasing Individuals’ Reading Speed with a Generative Font Model and Bayesian Optimization. CHI 2021. [Yoshida+24] Toward AI-Mediated Avatar-Based Telecommunication: Investigating Visual Impression of Switching Between User- and AI-Controlled Avatars in Video Chat. IEEE Access (2024). [Piovarci+20] Fabrication-in-the-Loop Co-Optimization of Surfaces and Styli for Drawing Haptics. SIGGRAPH 2020.
143. インタラクション分野におけるデザイン⽀援への応⽤ [2/2] 143 AR/VR時のポインティング操作の精度‧操作速度の最適化 [Chan+ ] ビデオ通話におけるアバターの印象の最適化 [Yoshida+ ] ウェアラブルデバイスの⼊出⼒操作のキャリブレーション [Liao+ ] ⾃動運転におけるユーザ体験の最適化 [Jansen+ ]
144. Part : デザイン⽀援への応⽤ 2.6. まとめと議論
145. まとめ [1/2] • Human-in-the-Loop最適化 • ⼈間の評価が必要な⽬的関数（好みな ど）を対象とする最適化問題を解く上 で有効なアプローチ • 選好ベイズ最適化 Preferential Bayesian Optimization (PBO) が役⽴つ • 相対⽐較データから好みを推定して 最適化を実⾏ • 少ない反復回数で解を発⾒できる性質 145 ✔ ࣭໰ ฦ౴
     ʢධՁʣ 1#0 ਓؒ Ͳ͕ͬͪ޷͖ʁ ͬͪ͜Ͱ͢
146. まとめ [2/2] 146 • Human-in-the-Loop最適化でないイン タラクション設計として、デザインを 提案してくれる "助⼿" としてベイズ 最適化技術を活⽤可能 [UIST ] BO as Assistant [UIST 2022] Sequential Gallery [SIGGRAPH 2020] • アルゴリズムとインタフェース両側⾯ から⼯夫することが、効率的な Human-in-the-Loop最適化を実現する 上で重要 [SIGGRAPH ; ]
147. 議論：Human-AI Collaboration研究 147 # Human Only 属⼈的な戦略と思考に依存 計算効率も悪い AI Only 事前に定義された問題を扱う ⼈間の柔軟な判断を取り込めない $ Human-AI Collaboration 数理技術の持つ合理性‧効率性を活かしながら、 ⼈間とAIが協調して柔軟な問題解決‧意思決定を⾏う # • ⼈⼯知能技術を実問題に対し効果 的に適⽤するために必要な観点 • 選好ベイズ最適化はパラメタ調整 タスクを効果的に遂⾏する Human-AI Collaborationの汎⽤ ⼿法の⼀つと位置付けられる % %
148. おわりに
149. ベイズ最適化 Bayesian Optimization (BO) • ブラックボックス最適化アルゴリズムの⼀つ • 少ない反復回数で良い解を発⾒できる性質 ➡ 評価コストが⾼い最適化問題で活躍 • 賢いサンプリング戦略：獲得関数（acquisition function）を最⼤化する点を毎度サンプリングする • 性質1. 探索：まだ探索していない領域を優先 • 性質2. 活⽤：期待値の⾼い領域を優先 • 活⽤例： • 深層学習のハイパーパラメタ調整 • インタフェースやビジュアルデザインの最適化 • 創薬‧材料科学などの実験科学 149 ⼀次元の最⼤化問題にベイズ最適化を適⽤した例 CV/CG/DCCのいずれの分野とも関連が深い
150. Acknowledgments Daisuke Sakamoto Issei Sato Masataka Goto … and all collaborators! Takeo Igarashi
151. 参考⽂献 • [Book] 今村秀明, 松井孝太. ベイズ最適化: 適応的実験計画の基礎と実践. 2023. [増補改訂版2025年発売] • [Book] Rasmussen+. Gaussian Processes for Machine Learning. . • [Book Chapter] Koyama+. Preferential Bayesian Optimisation for Visual Design. In Bayesian Methods for Interaction and Design. . • [Survey] Shahriari+. Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proc. IEEE. . 151