図解 情報理論入門
情報理論の中核をなす情報量,エントロピー,情報源符号化,通信路符号化の基本的な考え方をわかりやすく述べている。直感的な理解を促し,ポイントを示す図,問題と筋書きを明らかにする表や流れ図などを多用して説明している。
- 発行年月日
- 1998/05/10
- 判型
- A5
- ページ数
- 204ページ
- ISBN
- 978-4-339-02352-7
- 内容紹介
- 目次
情報理論の中核をなす情報量,エントロピー,情報源符号化,通信路符号化の基本的な考え方をわかりやすく述べている。直感的な理解を促し,ポイントを示す図,問題と筋書きを明らかにする表や流れ図などを多用して説明している。
第1章 情報量
1.1 社会の成立ち
1.2 情報とは?
1.3 評論の基準
1.4 情報の量を計る(1ビットとは?)
1.5 ビット数が大きいとは?
1.6 情報量を表す関数が満たす性質
1.7 [参考] 2進法のメリットは?
1.8 [参考] 見聞読の情報量は?
第2章 情報源のモデル化
2.1 情報源の統計的表現(結合確率)
2.2 情報源の統計的表現(条件付き確率)
2.3 さまさまな情報源(記憶のない定常情報源)
2.4 記憶のある情報源(単純マルコフ情報源)
2.5 記憶のある情報源(多重マルコフ情報源)
2.6 [参考] 多重マルコフ情報源から単純マルコフ情報源へ
第3章 情報源の極限分布
3.1 状態の分類
3.2 分布の遷移
3.3 極限分布
3.4 極限分布の求め方
3.5 [参考] 情報源系列の極限分布の求め方
第4章 1次エントロピー
4.1 エントロ
ピ
ーのイメージ
4.2 エントロ
ピ
ー関数
4.3 エントロ
ピ
ーの使い道(情報収集、その1)
4.4 エントロ
ピ
ーの使い道(情報収集、その2)
4.5 [参考] エントロ
ピ
ーの使い道(自然現象の解釈)
付録 エントロ
ピ
ー関数表
第5章 拡大情報源と高次エントロ
ピ
ー
5.1 拡大情報源
5.2 2次エントロピー
5.3 n次エントロピーとエントロピー
5.4 [参考] 言葉の情報
5.5 [参考] 暗号解読
5.6 [参考] 中日英, 3か国語を繋ぐ掛橋
第6章 相互情報量
6.1 天気予報の的中率
6.2 条件付きエントロピー
6.3 相互情報量
6.4 結合エントロピー
6.5 さまざまなエントロピー(まとめ1)
6.6 [参考]
さまざまなエントロピー(まとめ2)
6.7 [参考]
エントロピーの計算, 直感的解釈
6.8 演算結果に関するエントロピー
第7章 情報を伝える
7.1 通信システムのモデル
7.2 情報源符号化に必要な条件
7.3 瞬時符号と符号の木
7.4 クラフトの不等式
7.5 平均符号長
7.6 情報源符号化定理
第8章 情報源符号化法
8.1 ハフマン符号化
8.2 ブロック符号化
8.3 非等長情報源系列のブロック符号化
8.4 マルコフ情報源の符号化
8.5 [参考] ランレングス符号化
第9章 通信路のモデル化
9.1 記憶のない定常通信路のモデル
9.2 記憶のない定常通信路の例, 対称通信路
9.3 加法的2元通信路
9.4 記憶のある定常通信路の例, バースト誤り通信路
第10章 通信路容量
10.1 通信の価値
10.2 相互情報量の意味
10.3 2元対称通信路の相互情報量
10.4 通信路容量とは、2元対称通信路の例
10.5 通信路への入力記号の分布
10.6 加法的2元通信路の通信路容量
10.7 [参考] ラグランジュ乗数法(2変数の例)
第11章 通信路符号化(ハミング符号)
11.1 バリティ検査
11.2 ハミング符号(用語の整理)
11.3 ハミング符号の前提
11.4 ハミング符号の記号の個数
11.5 ハミング符号の検査行列の生成方法(その1)
11.6 ハミング符号の検査行列の生成方法(その2)
11.7 ハミング符号における検査記号の生成方法
11.8 ハミング符号の復号法
第12章 符号の誤り訂正能力
12.1 ハミング距離とハミング重み
12.2 線形符号の性質
12.3 限界距離復号法の誤り訂正能力
12.4 復号特性
参考文献
索引