アルゴリズム研究室
2.5_演習問題_1_Entropy
2.5_演習問題_1 解答：
訂正：まず表2.14のCの行に数値の誤りがあるので、訂正する。
C｜埼玉｜晴の下「0.833 」を0.834 に訂正する。（このままでは、3個の確率0.833,0.083,0.083の合計が0.999で1.0になっていないため）
① 東京では、晴、曇、雨の3個の事象があり、その発生確率は、｛0.6,0.3,0.1｝である。従って、エントロピーは、
埼玉は、{0.5,0.35.0.15}で、
となる。
② 条件付きエントロピー、
において、本文では、事前に発生する事象は、Aであるので、書き換えておく。
p(aj)＝｛0.6,0.3,0.1｝,p(bi|aj)={0.834,0.083,0.083,0,1,0,0,0,1}より、
? 相互情報量は、
考察：条件付きエントロピーの値が小さいのは、東京と埼玉の天気が類似していたためである。相互情報量は２事象 が共有する情報量の尺度で、一方の事象を知ることでもう一方をどれだけ推測できるようになるかを示す情報量で、この値がやや大きいので、情報の共有の度合いがやや高く、東京の天気から埼玉の天気を予測でき、また埼玉の天気から東京の天気も同程度に予測できる。