Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
Search
Kenji KONDO
May 31, 2024
Technology
0
180
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
キーワード: 最小値問題/最適化理論/最適化問題/AI/変分原理/学習物理学/アルゴリズム
Kenji KONDO
May 31, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
6.4k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
5.4k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
3.5k
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
180
最適ワークスとAI-近藤憲児
kenjikondobai
0
67
LLMの評価-近藤憲児
kenjikondobai
1
370
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
300
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
310
Other Decks in Technology
See All in Technology
Coding Agentに値札を付けろ
watany
3
480
Cursorをチョッパヤインタビューライターにチューニングする方法 / how to tuning cursor for interview write
shuzon
2
220
Developer 以外にこそ使って欲しい Amazon Q Developer
mita
0
120
計測による継続的なCI/CDの改善
sansantech
PRO
1
500
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
7
64k
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな(2025年版)
infiniteloop_inc
11
33k
Datadog のトライアルを成功に導く技術 / Techniques for a successful Datadog trial
nulabinc
PRO
0
150
クラウドネイティブ環境の脅威モデリング
kyohmizu
2
410
Serverlessだからこそコードと設計にはこだわろう
kenichirokimura
2
1k
2025年8月から始まるAWS Lambda INITフェーズ課金/AWS Lambda INIT phase billing changes
quiver
1
1k
RubyKaigi NOC 近況 2025
sorah
1
900
自動化の第一歩 -インフラ環境構築の自動化について-
smt7174
1
130
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
76
9.4k
Producing Creativity
orderedlist
PRO
344
40k
Statistics for Hackers
jakevdp
799
220k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
41
2.3k
Product Roadmaps are Hard
iamctodd
PRO
53
11k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Being A Developer After 40
akosma
91
590k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Speed Design
sergeychernyshev
29
940
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
How to Think Like a Performance Engineer
csswizardry
23
1.6k
Transcript
「これが最小になる値はな〜んだ?」 問題 ~ 最適化問題を考える ~
ここでお話すること この関数が最小となる x の値はな〜んだ? という問題が、いろんなところで観察できる という面白い話です
例) シンプルな数学の問題 最小値問題とは この関数が最小となる x の値はな〜んだ?
例) シンプルな数学の問題 最小値問題とは x = 1 のとき f(x) は最小値の 2
をと る → 答え: x = 1
例) シンプルな数学の問題 2 最小値問題とは この関数が最小となる x の値はな〜んだ? ただし、制約条件の範囲内で!
例) シンプルな数学の問題 2 最小値問題とは x = 1 のとき f(x) は最小値の
2 をとる が、今回の範囲は x <= -1 なので f(x) = 6 となる x = -1 が答え → 答え x = -1 x=-1
最適化問題 関数 f(x) が最小となる x はな〜んだ? ただし、制約条件の範囲内で! こういうタイプの問題を最適化問題と言う f(x) は
「評価関数」「目的関数」「誤差関数」 などいろいろ呼び方がある
ちなみに、最大値問題 関数 f(x) が最大となる x はな〜んだ? 関数 -f(x) が最小となる x
はな〜んだ? 答えとなる x の値はどちらも構わないので、最大にしたいか最小にしたいか は別にこだわらなくてもいい
なぜこのタイプの問題に興味がある? この関数が最小となる x の値はな〜んだ?
そもそも、なぜこのタイプの問題に興味があるのか 次の部屋の家賃は、 大体 万円くらいかなあ 安すぎず、高すぎない金額
そもそも、なぜこのタイプの問題に興味があるのか : 家賃(円) : 家賃 円の部屋に住んだことで、 ストレスを感じる回数 “最適な家賃” 0円 家賃
(円) ス ト レ ス を 感 じ る 回 数
なぜこのタイプの問題に興味がある? → 日常的にやっている思考プロセスに似てるから この関数が最小となる x の値はな〜んだ?
最適化問題をみていく
例) 最短経路問題 「バスで A 地点から E 地点に行くのに、もっとも運賃 が少ない経路は?」 運賃が最小となる P(=経路)
はな〜んだ? 選んだ経路 P における 総運賃 =
例) スケジューリング問題 「さまざまな制約のもとで、納期がも っとも最小になるような生産計画を立 てたい」 納期遅れがもっとも最小となるスケジュールはな〜んだ? 納期遅れの合計 =
例) 線形回帰 「与えられたデータセットを最もうまく近 似する y = mx + b の直線を求めたい」
誤差が最小となる m, b の組合せはな〜んだ? 直線と与えられたデータセットの誤差 =
例) ディープラーニング 「あたえられたデータセットを近似す る(複雑な)関数を得たい」 与えられた学習データセットとの誤差が最小となる (数億、数兆の) パラメータ θ の組合せはな〜んだ? 関数と与えられたデータセットの誤差
例) 検索・推薦 「ユーザーの検索キーワードに最も適 したドキュメントを提示したい」 ユーザーのクエリ q (検索キーワード、ユーザー属性...) と関 連度が最大となるドキュメント d
はな〜んだ? ユーザーのクエリ q と、ドキュメント d の関連度 ドキュメント1 「AI の発展で...」 ドキュメント2 「おいしいオムライスの作り 方...」 ユーザーのクエリ 「AI 技術の発展について知りた い」 =
ちなみに、複数の関数を一つの関数に見立てる方法 例えば2つの評価があるときには、以下のようにすると、 一つの評価関数として扱えたりする 重みをつける 調和平均を考える
• 線形計画問題 • 非線形計画問題 • 整数計画問題 • 混合整数計画問題 • 二次計画問題
• 二次錐計画問題 • 半正定値計画問題 • 多目的最適化問題 • 組合せ最適化問題 • ネットワークフロー問題 • 最短経路問題 • 最小全域木問題 • 巡回セールスマン問題 • ナップサック問題 • 施設配置問題 • スケジューリング問題 他にもたくさん
より深みへ
汎関数(functional) ← ”関数を引数とする関数” 汎関数 汎関数 I が最小となるような 関数・確率分布 はな〜んだ?
例) GAN 「まるで写真のような画像を生成したい」 学習データの画像の確率分布 p_data と、 最も JS divergence (=確率分布同士の距離み
たいなもの)が最小となるような確率分布 p_g はな〜んだ? Yifan Jiang, Shiyu Chang, & Zhangyang Wang. (2021). TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up.
例) 変分原理(最速降下線) 到達時間を表現した汎関数 I が 最小となるような曲線 y はな〜んだ? 「もっとも速くボールが転げ落ちる坂道の形を考えたい」 変分原理は量子力学でも熱
力学でも現れる。 こうした最小値問題が自然 界でも見いだせるのはすご い https://ja.wikipedia.org/wiki/%E6%9 C%80 %E9% 80%9F%E9%99%8D%E4%B8%8B%E6%9B%B2 %E7%B7%9A
例) 数独ソルバー 「数独を瞬時に解きたい」 数独の数字の出現率 p に基づくエントロピ ーが最大となるような数字の分布は な〜んだ? https://note.com/kondokenji/n/n9b4cc9c052ef これは統計力学的な発想を援
用した。 こういう物理学的側面で最適 化アルゴリズムを考える向き も最近ある → ”学習物理学”
この関数が最小となる x の値はな〜んだ? は、やばい