情報理論 (改訂版)

電気・電子系 教科書シリーズ 22

情報理論 (改訂版)

シャノン流の情報理論を,難しい数学は避け,例題や図を多用し解説。一部古い記述を改訂。

ジャンル
発行年月日
2021/04/30
判型
A5
ページ数
214ページ
ISBN
978-4-339-01217-0
情報理論 (改訂版)
在庫あり

定価

2,860(本体2,600円+税)

カートに入れる

電子版を購入

購入案内

  • 内容紹介
  • まえがき
  • 目次
  • レビュー
  • 著者紹介
  • 広告掲載情報

【本書の特徴】
本書の初版が出版されてから20年以上が経過した。その間,LSIの集積度が非常に高くなったことなどのハードウェアの進歩,および人工知能(AI)技術の進展などの情報通信技術の発展は目覚ましいものである。2019年NHK紅白歌合戦で、美空ひばりの姿を再生し、その映像が新曲を歌っていたのは、AI技術の一つの応用例である。そのTV場面を、見たときは、びっくりしたものである。特に、歌声および歌い方は美空ひばりにそっくりだったと思う。しかしながら、情報通信分野の基盤技術を支える情報理論の重要性は現在でも変わっておらず、データ圧縮や誤り訂正技術などを含む情報理論が関わる分野は、今後ともますます幅広くなると予想され、この学問の基礎を学ぶことは不可欠であろう。本書の想定する読者は、電気・電子系及び情報系の高専4,5年生、もしくは、大学の電気・電子系及び情報系学科の1,2年生の学生である。それらの学生が情報理論の本質を理解しやすいように、できるだけ難しい数学は避けて、高等学校レベルの数学を用いて説明するようにして、例題を多くとりあげた。今回の改訂においても、誰でもわかり易くという初版の方針を踏襲し、これまでの内容や構成は変更せず,全体の文面を見直して,初版以上に分かり易い表現に改めることに重点を置いた。

【読者に伝えたいメッセージ】
情報理論の優れた書籍は数多く出版されていますが、本書は数学的な厳密さよりも平易な数式で説明することで、当初は、電気・電子系の学科を専攻する高専生および大学生への学習に役立てることを念頭に置いて執筆していましたが、情報系学科などそれ以外の学科を専攻する読者への学習にも活用できると考えています。初版に対するレビュ-の中に、「情報学部で教科書として使用」というタイトルのものがあり、その中で、「情報学部には文系の学生もおり、必ずしも十分な数学的知識を期待できない。」とあります。このレビュ-を読んだときは、非常にうれしかったことを覚えています。これから情報通信技術を学ぶ皆様へ本書が少しでも助けになることを期待しています。

改訂版にあたって
本書の初版が出版されてから20年以上が経過した。その間,増刷のたびに誤りを訂正したり,少しでもわかりやすい文章にしたりしてきた。その間,LSIの集積度が非常に高くなったことなどのハードウェアの進歩,および人工知能(AI)技術の進展などのソフトウェアの発展は目覚ましいものであった。今後とも情報理論がかかわる分野はますます幅広くなると予想される。情報通信分野の基盤技術を支える情報理論の重要性は現在でも変わっておらず,情報理論の基礎を学ぶことは不可欠であろう。そこで今回の改訂でも,誰でもわかりやすくという初版の方針を踏襲し,これまでの内容や構成は変更せず,全体の文面を見直して,初版以上にわかりやすい表現に改めることに重点を置いた。
2021年2月 三木成彦・𠮷川英機

まえがき
現在,コンピュータの発展により,情報化の波はあらゆるところに押し寄せてきている。特に,インターネットや携帯電話の普及は,あらゆる分野に革命を起こしつつある。したがって,情報と通信の基礎になっている情報理論は,電気・電子系学生にとってますます重要になってきている。

コンピュータの発展の中にはその計算速度が非常に速くなってきていることも含まれている。ところが,コンピュータも機械であるので,機械的誤動作がつきものである。したがって,機械的誤動作によりデータが変わらないよう誤り検出や誤り訂正が重要になってきた。

情報理論として,シャノン流のディジタル関係のものとウィーナー流のアナログ関係のものが取り扱われることが多い。

本書では,話題をディジタル関係にしぼり,シャノン流の情報理論と符号理論の初歩について述べている。

電気・電子系学生が情報理論の本質を理解しやすいように,できるだけ難しい数学は避け,例題を多くした。特に,符号理論は抽象代数学が必要であるが,ほとんどその抽象代数学の分野の用語を用いずに記述した。したがって,定理の証明などで数学的厳密さを犠牲にしたところもある。足らないところは他の類書を参考にされたい。

2章では,確率の基本的な用語や定理をまとめたものである。すでに,確率の単位を取っている学生は,この章を飛ばして読んでもよい。また,この章の終わりには本書で用いられる記号をまとめているので,活用されたい。
3および4章では,情報源符号化定理や情報源を符号化する方法などについて述べた。

5,6および7章では,相互情報量,通信路符号化定理,誤り検出や誤り訂正,線形符号などについて述べた。

1,2,3および5章は三木が担当し,4,6および7章は𠮷川が担当した。もちろんすべての章を2人で議論し,用語などをできるだけ統一した。

筆者らの意図に反して,理解しにくいところが多々あるかと思う。読者諸兄のご叱正をいただければ幸いである。

本書を著すにあたり多くの図書を参考にさせていただいた。参考文献にあげて謝意を表したい。

また,本書のカット絵を描いてくれた津山高専の学生の森本嘉美君,本書の原稿を熱心に読んで下さり種々の指摘をしてくれた津山高専の大西淳助手,2章をチェックして下さり,貴重なアドバイスをいただいた津山高専一般学科(数学)美土路隆治教授に心から感謝する。

最後に,浅学非才の著者らが本書を書くチャンスをもてたのは,鈴鹿高専の奥井重彦教授に負うところが大きい。ここで謝意を表したい。また,本書の構成などのアドバイスをいただいた本シリーズの編集委員である豊田高専の竹下鉄夫教授に感謝する。
1999年11月 三木成彦・𠮷川英機

1.序論
1.1 情報理論とは
1.2 通信システムのモデル
1.3 標本化定理と量子化

2.確率論の基礎
2.1 集合,試行
2.2 確率
2.3 平均と分散
2.4 条件つき確率
2.5 マルコフ過程
2.6 ベイズの定理
演習問題

3.情報源符号化
3.1 情報源のモデル
3.2 エントロピー,情報量
3.3 平均符号長
3.4 情報源符号化定理
演習問題

4.情報源符号
4.1 情報源符号化に必要な条件
4.2 ハフマン符号
4.3 ランレングス符号
4.4 算術符号
4.5 ZL符号
演習問題

5.各種情報量
5.1 結合エントロピー
5.2 条件つきエントロピー
5.3 相互情報量
5.4 マルコフ情報源のエントロピー
演習問題

6.通信路の符号化
6.1 通信路のモデル
6.2 通信路容量
6.3 平均誤り率
6.4 通信路符号化定理
演習問題

7.符号理論
7.1 誤りの検出と訂正の理論
7.2 パリティ検査符号
7.3 線形符号
7.4 巡回符号
7.5 多項式とベクトル
7.6 畳込み符号と最ゆう復号
演習問題

付録
A.1 標本化定理
A.2 クラフトの不等式の証明
A.3 ハフマン符号が最適となる証明

引用・参考文献
演習問題解答
索引

amazonレビュー

三木 成彦(ミキ シゲヒコ)

吉川 英機

吉川 英機(ヨシカワ ヒデキ)

東北学院大学 工学部 情報基盤工学科 教授。
誤り訂正符号の性能評価、ブロック暗号の安全性評価に関する研究を行っています。

掲載日:2021/10/14

情報処理学会誌「情報処理」2021年11月号広告

掲載日:2021/09/30

「電子情報通信学会誌」2021年10月号広告

掲載日:2021/07/01

「電子情報通信学会誌」2021年7月号広告