情報量 情報理論への招待

情報量 - 情報理論への招待 -

  • 山本 宙 東海大准教授 博士(工学)

情報理論における情報量,特に情報源符号化定理の解説に重点をおき,情報量の概念の理解を目的としている。

ジャンル
発行年月日
2019/03/01
判型
A5
ページ数
122ページ
ISBN
978-4-339-02890-4
情報量 情報理論への招待
在庫あり

定価

1,870(本体1,700円+税)

カートに入れる

購入案内

  • 内容紹介
  • まえがき
  • 目次
  • 著者紹介

本書は情報理論における情報量,特に情報源符号化定理の解説に重点をおき,情報量の概念の理解を目的としている。基本的な数学の知識で理解できるよう記述し,定理は結果と使用法だけでなく証明内容を厳密にわかりやすく解説した。

本書は情報理論におけるおもに情報量に関連する内容について大学の学部低学年を対象に100分の授業14回程度で学習できる内容を選択し,構成したものである。
大学で学ぶべき内容として,最新の技術を取り上げることは当然であるが,情報理論のような基礎学問の重要さもまた大きくなっている。若い学習者は最新の技術に興味をもち,それに必要なものだけを学習したいと考える傾向があるが,個別の最新技術に特化しすぎた学習を行っていると技術の進歩があまりに速いために後にその知識が役に立たなくなる危険性がある。情報理論などの基礎理論は古い結果であるにもかかわらず,その知識はいまも変わらず利用され続けている。技術がどの方向に発展してゆくかわからないとき,自分で新しいものを考えなければならなくなったときに拠り所となるのは普遍的で基礎的な学問である。情報理論のような基礎学問は,ただちになにかの役に立つ,というよりはいろんな使い道があるのでまずは学習しておく,という専門教養というべき科目である。専門教養的な科目は進歩の速い分野でこそ重要なのである。

情報理論は情報を扱う分野の代表的な専門教養科目である。教科書もすでに多く出版されており,名著といわれる本も多い。それにもかかわらず本書を執筆したのは短い時間で完結する授業が要求されるようになった最近の環境の変化によるものである。かつては情報理論の授業は十分に時間を掛けて学習する科目として設定されていることが多く,既存の名著はこのような授業スタイルの時代に適したものであった。近年,学生の科目選択の自由度を高める目的で週1コマ,半年間という最小限の期間で完結する授業が求められるようになった。既存の教科書で扱う範囲は広く深く,とてもこのコンパクトな授業スタイルではカバーできない。

専門教養を有意義に学ぶため,本書では定理の説明では結果と使用法を説明するだけでなく,証明の内容を厳密に,かつわかりやすく説明することに重きをおいた。短い授業時間でこれに対応するためには扱う内容の大胆な取捨選択が必要である。本書でかけた大きな制限としては以下のものがある。
• 情報源符号化定理をおもなテーマとし,通信路符号化定理は扱わない。
• 情報源を記憶のない情報源に限定する。
• 通信路の符号アルファベットを2元に限定する。
なお,本文は確率過程や微分積分に関する基本的な数学の知識があれば理解できるように記述した。

情報理論には情報源符号化定理と通信路符号化定理と呼ばれる二つの重要な定理がある。情報理論の教科書は両方を扱うことが一般的であるが,本書は情報源符号化定理のみを平易に説明することに特化した教科書として執筆した。扱うトピックは一意に復号可能な符号と瞬時に復号可能な符号,符号語長とクラフトの不等式,平均符号語長,コンパクト符号,ハフマンの符号化,シャノンの情報源符号化定理,エントロピーなどである。結果として情報量の概念を理解することを目的とする内容となったため,書名を“情報量—情報理論への招待—” とした。本書で情報理論に興味をもった学生は参考文献で示した本格的な情報理論の教科書を手に取り,本書でおいた制限を取り払った一般的な理論を学習してほしい。本書がその助けになることを期待している。

最後に,情報理論の授業を履修してくれた学生諸君に深く感謝する。挿入されている図や例は普段の授業でのやり取りで培われたものである。「無料版」と称した本書のβ版の誤りも多数発見してくれた。これらは「有料版(本書)」の完成度の向上に大いに貢献している。また,本書の刊行の機会を与えてくださり,構成について助言をいただいたコロナ社の皆様に心から感謝する。

2019年1月 山本宙

序章 情報理論とは

1. 問題はなにか
1.1 起きた事柄と伝える手段
1.2 通信用の文字に変換―符号化―
1.3 通信コストを下げるために―通信に必要な符号語長―
章末問題

2. 符号の種類
2.1 天気と通信をモデル化―情報源と符号―
2.2 必ず元に戻せる符号―一意に復号可能―
2.3 遅延なく復号できる符号―瞬時に復号可能―
章末問題

3. 符号語長の制約
3.1 符号語長に課せられる制限―クラフトの不等式―
3.2 瞬時に復号可能な符号が存在するための十分条件
3.3 一意に復号可能であるための必要条件
章末問題

4. 平均符号語長とハフマンの符号化
4.1 「最適」な符号―平均符号語長とコンパクト符号―
4.2 瞬時に復号可能なコンパクト符号を得るハフマンの符号化
4.3 ハフマンの符号化の結果がコンパクト符号であることの証明
章末問題

5. エントロピーと情報量
5.1 平均符号語長の下界とエントロピー
5.2 平均符号語長の下界を達成できる条件
5.3 まとめて符号化して通信効率を改善―情報源の拡大―
5.4 拡大情報源の平均符号語長の下界
5.5 特定の符号化についての平均符号語長の上界
5.6 情報源符号化定理
5.7 情報量
章末問題

付録A 数学の準備
A.1 式の書き方の約束事
A.2 入力から出力への対応―写像―
A.3 生起確率が与えられた場合の平均値―期待値―
A.4 これだけは知っておいてほしい,必要条件,十分条件と証明
A.5 指数,対数の考え方
 A.5.1 よく使う指数の公式
 A.5.2 対数の定義
 A.5.3 よく使う対数の公式と証明

付録B 情報量の尺度が対数関数に限られる理由
B.1 情報の量の尺度に求められる性質
B.2 情報量の定義

引用・参考文献
章末問題解答
索引

Coffee Break
話は短いほうがいい
大盛り一丁!
電話番号は瞬時に復号可能
一周回って一気に証明
鳩の巣原理
理論と現実
現実との対応
通信路が100%信用できないときは?
人はなぜくじを買う
定義はどうやって決める

山本 宙(ヤマモト ヒロシ)

☆執筆者から読者へのメッセージ☆

ナビゲーションやコニュニケーションツールなど, 常時インターネットに接続されている機器を前提とした サービスが日々新しく開発され, どんどん便利に,快適に なっています.これを支えているのが情報通信技術です.
なかでもデジタル通信の高速化,高信頼化がブレイクスルーの 鍵となったのですが,これは1940年代にはじまる情報理論 という学問が基礎に なっています. 情報理論には情報を失わずにどこまでデータのサイズを小さく できるかを明らかにした「情報源符号化定理」と, 通信時に どの程度の冗長性をもたせておけばエラーを回復 できるのかを明らかにした「通信路符号化定理」という2つの重要な 定理があります. 本書 はこのうち「情報源符号化定理」を平易に解説することに特化した 教科書です.結果として「情報量」の概念を理解するための教科書と なっています.

「平易な」教科書といっても,
・使い道の多い知識を網羅し,何が成り立つのかの説明に注力する. なぜ成り立つのか,の説明を省略する.
・なぜ成り立つのか,の説明に注力する.かわりに 説明する項目は厳選する.
というアプローチが考えられます.本書では後者の立場をとりました. 情報理論の教科書としては本書は学べる項目数こそ少ないのですが,  証明技法を学ぶことを重視しているため,本書を理解した後, より一般的な情報理論の専門書を学習するときの 助けになることを期待して います.

関連資料(一般)

関連資料一覧