【応用情報に向けたメモ】情報量

応用情報技術者試験の勉強（というより説明）資料

Transcript

1. 【AP試験のメモ】 情報量 hattori-sat
2. 情報量 ◼ある事象のパターンの数をbit数で表したもの ⚫情報量は以下の式で求めることができる ➢情報量を 𝑦 ，事象が起きる確率を 𝑃 として， 𝑦 = − log2 𝑃 ⚫数学で使ったlogってなんだっけ？ ➢𝑦 = log2 𝑥 であれば，2をx乗すればyになるということ ➢何乗って何？ ： 23 = 2 × 2 × 2 であり，2の3乗と読む ➢マイナスであると， 𝑦 = − log2 𝑃 = log2 1 𝑃 ⚫具体例 ➢サイコロを振って1が出る確率は，1/6 𝑦 = − log2 1 6 = log2 6 = 2.5849 … ➢3bitあればサイコロの出る目のパターン数をカバーできる ➢3bit= 23= 8
3. 情報量 ◼ある事象のパターンの数をbit数で表したもの ⚫情報量は以下の式で求めることができる ➢情報量を 𝑦 ，事象が起きる確率を 𝑃 として， 𝑦 = − log2 𝑃 ⚫数学で使ったlogってなんだっけ？ ➢𝑦 = log2 𝑥 であれば，2をx乗すればyになるということ ➢何乗って何？ ： 23 = 2 × 2 × 2 であり，2の3乗と読む ➢マイナスであると， 𝑦 = − log2 𝑃 = log2 1 𝑃 ⚫具体例 ➢サイコロを振って1が出る確率は，1/6 𝑦 = − log2 1 6 = log2 6 = 2.5849 … ➢3bitあればサイコロの出る目のパターン数をカバーできる ➢3bit= 23= 8
4. 情報量 ◼ある事象のパターンの数をbit数で表したもの ⚫情報量は以下の式で求めることができる ➢情報量を 𝑦 ，事象が起きる確率を 𝑃 として， 𝑦 = − log2 𝑃 ⚫数学で使ったlogってなんだっけ？ ➢𝑦 = log2 𝑥 であれば，2をx乗すればyになるということ ➢何乗って何？ ： 23 = 2 × 2 × 2 であり，2の3乗と読む ➢マイナスであると， 𝑦 = − log2 𝑃 = log2 1 𝑃 ⚫具体例 ➢サイコロを振って1が出る確率は，1/6 𝑦 = − log2 1 6 = log2 6 = 2.5849 … ➢3bitあればサイコロの出る目のパターン数をカバーできる ➢3bit= 23= 8
5. 情報量 ◼ある事象のパターンの数をbit数で表したもの ⚫情報量は以下の式で求めることができる ➢情報量を 𝑦 ，事象が起きる確率を 𝑃 として， 𝑦 = − log2 𝑃 ⚫数学で使ったlogってなんだっけ？ ➢𝑦 = log2 𝑥 であれば，2をx乗すればyになるということ ➢何乗って何？ ： 23 = 2 × 2 × 2 であり，2の3乗と読む ➢マイナスであると， 𝑦 = − log2 𝑃 = log2 1 𝑃 ⚫具体例 ➢サイコロを振って1が出る確率は，1/6 𝑦 = − log2 1 6 = log2 6 = 2.5849 … ➢3bitあればサイコロの出る目のパターン数をカバーできる ➢3bit= 23= 8
6. 情報量 ◼ある事象のパターンの数をbit数で表したもの ⚫情報量は以下の式で求めることができる ➢情報量を 𝑦 ，事象が起きる確率を 𝑃 として， 𝑦 = − log2 𝑃 ⚫数学で使ったlogってなんだっけ？ ➢𝑦 = log2 𝑥 であれば，2をx乗すればyになるということ ➢何乗って何？ ： 23 = 2 × 2 × 2 であり，2の3乗と読む ➢マイナスであると， 𝑦 = − log2 𝑃 = log2 1 𝑃 ⚫具体例 ➢サイコロを振って1が出る確率は，1/6 𝑦 = − log2 1 6 = log2 6 = 2.5849 … ➢3bitあればサイコロの出る目のパターン数をカバーできる ➢3bit= 23= 8
7. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 ⚫成り立つ理由 ➢対数の定義から 𝐴 = log2 𝑎 ⇔ 𝑎 = 2𝐴 𝐵 = log2 𝑏 ⇔ 𝑏 = 2𝐵 ➢指数関数の掛け算は 2𝐴 × 2𝐵 = 2(𝐴+𝐵) 𝑎𝑏 = 2(𝐴+𝐵) ➢両辺に log2 をとる log2 𝑎𝑏 = 𝐴 + 𝐵 log2 𝑎𝑏 = log2 𝑎 + log2 𝑏
8. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 ⚫成り立つ理由 ➢対数の定義から 𝐴 = log2 𝑎 ⇔ 𝑎 = 2𝐴 𝐵 = log2 𝑏 ⇔ 𝑏 = 2𝐵 ➢指数関数の掛け算は 2𝐴 × 2𝐵 = 2(𝐴+𝐵) 𝑎𝑏 = 2(𝐴+𝐵) ➢両辺に log2 をとる log2 𝑎𝑏 = 𝐴 + 𝐵 log2 𝑎𝑏 = log2 𝑎 + log2 𝑏
9. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 ⚫成り立つ理由 ➢対数の定義から 𝐴 = log2 𝑎 ⇔ 𝑎 = 2𝐴 𝐵 = log2 𝑏 ⇔ 𝑏 = 2𝐵 ➢指数関数の掛け算は 2𝐴 × 2𝐵 = 2(𝐴+𝐵) 𝑎𝑏 = 2(𝐴+𝐵) ➢両辺に log2 をとる log2 𝑎𝑏 = 𝐴 + 𝐵 log2 𝑎𝑏 = log2 𝑎 + log2 𝑏
10. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 ⚫成り立つ理由 ➢対数の定義から 𝐴 = log2 𝑎 ⇔ 𝑎 = 2𝐴 𝐵 = log2 𝑏 ⇔ 𝑏 = 2𝐵 ➢指数関数の掛け算は 2𝐴 × 2𝐵 = 2(𝐴+𝐵) 𝑎𝑏 = 2(𝐴+𝐵) ➢両辺に log2 をとる log2 𝑎𝑏 = 𝐴 + 𝐵 log2 𝑎𝑏 = log2 𝑎 + log2 𝑏
11. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 ⚫成り立つ理由 ➢対数の定義から 𝐴 = log2 𝑎 ⇔ 𝑎 = 2𝐴 𝐵 = log2 𝑏 ⇔ 𝑏 = 2𝐵 ➢指数関数の掛け算は 2𝐴 × 2𝐵 = 2(𝐴+𝐵) 𝑎𝑏 = 2(𝐴+𝐵) ➢両辺に log2 をとる log2 𝑎𝑏 = 𝐴 + 𝐵 log2 𝑎𝑏 = log2 𝑎 + log2 𝑏
12. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 log2 𝑎 − log2 𝑏 = log2 𝑎 𝑏 ⚫この性質を使う ➢𝑎 = 1 とすると log2 1 − log2 𝑏 = log2 1 𝑏 − log2 𝑏 = log2 1 𝑏 となる ➢ 独立な事象であれば，それぞれが同時に起こる確率は単純に掛け算で表せるので， 𝑦 = − log2 𝑃 = − log2 𝑃𝑎 𝑃𝑏 = − log2 𝑃𝑎 − log2 𝑃𝑏 = 𝑦𝑎 + 𝑦𝑏 と表すことができる
13. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 log2 𝑎 − log2 𝑏 = log2 𝑎 𝑏 ⚫この性質を使う ➢𝑎 = 1 とすると log2 1 − log2 𝑏 = log2 1 𝑏 − log2 𝑏 = log2 1 𝑏 となる ➢ 独立な事象であれば，それぞれが同時に起こる確率は単純に掛け算で表せるので， 𝑦 = − log2 𝑃 = − log2 𝑃𝑎 𝑃𝑏 = − log2 𝑃𝑎 − log2 𝑃𝑏 = 𝑦𝑎 + 𝑦𝑏 と表すことができる
14. 補足 ◼対数（log)の足し算と引き算 ⚫便利な性質 ➢𝑎 > 0, 𝑏 > 0 とする log2 𝑎 + log2 𝑏 = log2 𝑎𝑏 log2 𝑎 − log2 𝑏 = log2 𝑎 𝑏 ⚫この性質を使う ➢𝑎 = 1 とすると log2 1 − log2 𝑏 = log2 1 𝑏 − log2 𝑏 = log2 1 𝑏 となる ➢ 独立な事象であれば，それぞれが同時に起こる確率は単純に掛け算で表せるので， 𝑦 = − log2 𝑃 = − log2 𝑃𝑎 𝑃𝑏 = − log2 𝑃𝑎 − log2 𝑃𝑏 = 𝑦𝑎 + 𝑦𝑏 と表すことができる (𝑦𝑎 = − log2 𝑃𝑎 ， 𝑦𝑏 = − log2 𝑃𝑏 )