Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
Search
Kenji KONDO
May 31, 2024
Technology
0
210
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
キーワード: 最小値問題/最適化理論/最適化問題/AI/変分原理/学習物理学/アルゴリズム
Kenji KONDO
May 31, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
7.1k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
6.1k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
4.1k
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
200
最適ワークスとAI-近藤憲児
kenjikondobai
0
77
LLMの評価-近藤憲児
kenjikondobai
1
410
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
330
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
380
Other Decks in Technology
See All in Technology
[2025-09-30] Databricks Genie を利用した分析基盤とデータモデリングの IVRy の現在地
wxyzzz
0
450
BirdCLEF+2025 Noir 5位解法紹介
myso
0
190
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
200
about #74462 go/token#FileSet
tomtwinkle
1
280
LLMアプリケーション開発におけるセキュリティリスクと対策 / LLM Application Security
flatt_security
7
1.8k
What is BigQuery?
aizack_harks
0
130
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
140
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
190
GopherCon Tour 概略
logica0419
2
170
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
260
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
320
成長自己責任時代のあるきかた/How to navigate the era of personal responsibility for growth
kwappa
3
240
Featured
See All Featured
Building an army of robots
kneath
306
46k
The Invisible Side of Design
smashingmag
301
51k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Designing for Performance
lara
610
69k
Documentation Writing (for coders)
carmenintech
75
5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Bash Introduction
62gerente
615
210k
Building Applications with DynamoDB
mza
96
6.6k
How GitHub (no longer) Works
holman
315
140k
Transcript
「これが最小になる値はな〜んだ?」 問題 ~ 最適化問題を考える ~
ここでお話すること この関数が最小となる x の値はな〜んだ? という問題が、いろんなところで観察できる という面白い話です
例) シンプルな数学の問題 最小値問題とは この関数が最小となる x の値はな〜んだ?
例) シンプルな数学の問題 最小値問題とは x = 1 のとき f(x) は最小値の 2
をと る → 答え: x = 1
例) シンプルな数学の問題 2 最小値問題とは この関数が最小となる x の値はな〜んだ? ただし、制約条件の範囲内で!
例) シンプルな数学の問題 2 最小値問題とは x = 1 のとき f(x) は最小値の
2 をとる が、今回の範囲は x <= -1 なので f(x) = 6 となる x = -1 が答え → 答え x = -1 x=-1
最適化問題 関数 f(x) が最小となる x はな〜んだ? ただし、制約条件の範囲内で! こういうタイプの問題を最適化問題と言う f(x) は
「評価関数」「目的関数」「誤差関数」 などいろいろ呼び方がある
ちなみに、最大値問題 関数 f(x) が最大となる x はな〜んだ? 関数 -f(x) が最小となる x
はな〜んだ? 答えとなる x の値はどちらも構わないので、最大にしたいか最小にしたいか は別にこだわらなくてもいい
なぜこのタイプの問題に興味がある? この関数が最小となる x の値はな〜んだ?
そもそも、なぜこのタイプの問題に興味があるのか 次の部屋の家賃は、 大体 万円くらいかなあ 安すぎず、高すぎない金額
そもそも、なぜこのタイプの問題に興味があるのか : 家賃(円) : 家賃 円の部屋に住んだことで、 ストレスを感じる回数 “最適な家賃” 0円 家賃
(円) ス ト レ ス を 感 じ る 回 数
なぜこのタイプの問題に興味がある? → 日常的にやっている思考プロセスに似てるから この関数が最小となる x の値はな〜んだ?
最適化問題をみていく
例) 最短経路問題 「バスで A 地点から E 地点に行くのに、もっとも運賃 が少ない経路は?」 運賃が最小となる P(=経路)
はな〜んだ? 選んだ経路 P における 総運賃 =
例) スケジューリング問題 「さまざまな制約のもとで、納期がも っとも最小になるような生産計画を立 てたい」 納期遅れがもっとも最小となるスケジュールはな〜んだ? 納期遅れの合計 =
例) 線形回帰 「与えられたデータセットを最もうまく近 似する y = mx + b の直線を求めたい」
誤差が最小となる m, b の組合せはな〜んだ? 直線と与えられたデータセットの誤差 =
例) ディープラーニング 「あたえられたデータセットを近似す る(複雑な)関数を得たい」 与えられた学習データセットとの誤差が最小となる (数億、数兆の) パラメータ θ の組合せはな〜んだ? 関数と与えられたデータセットの誤差
例) 検索・推薦 「ユーザーの検索キーワードに最も適 したドキュメントを提示したい」 ユーザーのクエリ q (検索キーワード、ユーザー属性...) と関 連度が最大となるドキュメント d
はな〜んだ? ユーザーのクエリ q と、ドキュメント d の関連度 ドキュメント1 「AI の発展で...」 ドキュメント2 「おいしいオムライスの作り 方...」 ユーザーのクエリ 「AI 技術の発展について知りた い」 =
ちなみに、複数の関数を一つの関数に見立てる方法 例えば2つの評価があるときには、以下のようにすると、 一つの評価関数として扱えたりする 重みをつける 調和平均を考える
• 線形計画問題 • 非線形計画問題 • 整数計画問題 • 混合整数計画問題 • 二次計画問題
• 二次錐計画問題 • 半正定値計画問題 • 多目的最適化問題 • 組合せ最適化問題 • ネットワークフロー問題 • 最短経路問題 • 最小全域木問題 • 巡回セールスマン問題 • ナップサック問題 • 施設配置問題 • スケジューリング問題 他にもたくさん
より深みへ
汎関数(functional) ← ”関数を引数とする関数” 汎関数 汎関数 I が最小となるような 関数・確率分布 はな〜んだ?
例) GAN 「まるで写真のような画像を生成したい」 学習データの画像の確率分布 p_data と、 最も JS divergence (=確率分布同士の距離み
たいなもの)が最小となるような確率分布 p_g はな〜んだ? Yifan Jiang, Shiyu Chang, & Zhangyang Wang. (2021). TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up.
例) 変分原理(最速降下線) 到達時間を表現した汎関数 I が 最小となるような曲線 y はな〜んだ? 「もっとも速くボールが転げ落ちる坂道の形を考えたい」 変分原理は量子力学でも熱
力学でも現れる。 こうした最小値問題が自然 界でも見いだせるのはすご い https://ja.wikipedia.org/wiki/%E6%9 C%80 %E9% 80%9F%E9%99%8D%E4%B8%8B%E6%9B%B2 %E7%B7%9A
例) 数独ソルバー 「数独を瞬時に解きたい」 数独の数字の出現率 p に基づくエントロピ ーが最大となるような数字の分布は な〜んだ? https://note.com/kondokenji/n/n9b4cc9c052ef これは統計力学的な発想を援
用した。 こういう物理学的側面で最適 化アルゴリズムを考える向き も最近ある → ”学習物理学”
この関数が最小となる x の値はな〜んだ? は、やばい