情報理論 （改訂版）
シャノン流の情報理論を，難しい数学は避け，例題や図を多用し解説。一部古い記述を改訂。
- 発行年月日
- 2021/04/30
- 判型
- A5
- ページ数
- 214ページ
- ISBN
- 978-4-339-01217-0
- 内容紹介
- まえがき
- 目次
- レビュー
- 広告掲載情報
【本書の特徴】
本書の初版が出版されてから20年以上が経過した。その間，LSIの集積度が非常に高くなったことなどのハードウェアの進歩，および人工知能（AI）技術の進展などの情報通信技術の発展は目覚ましいものである。２０１９年NHK紅白歌合戦で、美空ひばりの姿を再生し、その映像が新曲を歌っていたのは、AI技術の一つの応用例である。そのTV場面を、見たときは、びっくりしたものである。特に、歌声および歌い方は美空ひばりにそっくりだったと思う。しかしながら、情報通信分野の基盤技術を支える情報理論の重要性は現在でも変わっておらず、データ圧縮や誤り訂正技術などを含む情報理論が関わる分野は、今後ともますます幅広くなると予想され、この学問の基礎を学ぶことは不可欠であろう。本書の想定する読者は、電気・電子系及び情報系の高専4,5年生、もしくは、大学の電気・電子系及び情報系学科の1,2年生の学生である。それらの学生が情報理論の本質を理解しやすいように、できるだけ難しい数学は避けて、高等学校レベルの数学を用いて説明するようにして、例題を多くとりあげた。今回の改訂においても、誰でもわかり易くという初版の方針を踏襲し、これまでの内容や構成は変更せず，全体の文面を見直して，初版以上に分かり易い表現に改めることに重点を置いた。
【読者に伝えたいメッセージ】
情報理論の優れた書籍は数多く出版されていますが、本書は数学的な厳密さよりも平易な数式で説明することで、当初は、電気・電子系の学科を専攻する高専生および大学生への学習に役立てることを念頭に置いて執筆していましたが、情報系学科などそれ以外の学科を専攻する読者への学習にも活用できると考えています。初版に対するレビュ－の中に、「情報学部で教科書として使用」というタイトルのものがあり、その中で、「情報学部には文系の学生もおり、必ずしも十分な数学的知識を期待できない。」とあります。このレビュ－を読んだときは、非常にうれしかったことを覚えています。これから情報通信技術を学ぶ皆様へ本書が少しでも助けになることを期待しています。
改訂版にあたって
本書の初版が出版されてから20年以上が経過した。その間，増刷のたびに誤りを訂正したり，少しでもわかりやすい文章にしたりしてきた。その間，LSIの集積度が非常に高くなったことなどのハードウェアの進歩，および人工知能（AI）技術の進展などのソフトウェアの発展は目覚ましいものであった。今後とも情報理論がかかわる分野はますます幅広くなると予想される。情報通信分野の基盤技術を支える情報理論の重要性は現在でも変わっておらず，情報理論の基礎を学ぶことは不可欠であろう。そこで今回の改訂でも，誰でもわかりやすくという初版の方針を踏襲し，これまでの内容や構成は変更せず，全体の文面を見直して，初版以上にわかりやすい表現に改めることに重点を置いた。
2021年2月 三木成彦・𠮷川英機
まえがき
現在，コンピュータの発展により，情報化の波はあらゆるところに押し寄せてきている。特に，インターネットや携帯電話の普及は，あらゆる分野に革命を起こしつつある。したがって，情報と通信の基礎になっている情報理論は，電気・電子系学生にとってますます重要になってきている。
コンピュータの発展の中にはその計算速度が非常に速くなってきていることも含まれている。ところが，コンピュータも機械であるので，機械的誤動作がつきものである。したがって，機械的誤動作によりデータが変わらないよう誤り検出や誤り訂正が重要になってきた。
情報理論として，シャノン流のディジタル関係のものとウィーナー流のアナログ関係のものが取り扱われることが多い。
本書では，話題をディジタル関係にしぼり，シャノン流の情報理論と符号理論の初歩について述べている。
電気・電子系学生が情報理論の本質を理解しやすいように，できるだけ難しい数学は避け，例題を多くした。特に，符号理論は抽象代数学が必要であるが，ほとんどその抽象代数学の分野の用語を用いずに記述した。したがって，定理の証明などで数学的厳密さを犠牲にしたところもある。足らないところは他の類書を参考にされたい。
2章では，確率の基本的な用語や定理をまとめたものである。すでに，確率の単位を取っている学生は，この章を飛ばして読んでもよい。また，この章の終わりには本書で用いられる記号をまとめているので，活用されたい。
3および4章では，情報源符号化定理や情報源を符号化する方法などについて述べた。
5，6および7章では，相互情報量，通信路符号化定理，誤り検出や誤り訂正，線形符号などについて述べた。
1，2，3および5章は三木が担当し，4，6および7章は𠮷川が担当した。もちろんすべての章を2人で議論し，用語などをできるだけ統一した。
筆者らの意図に反して，理解しにくいところが多々あるかと思う。読者諸兄のご叱正をいただければ幸いである。
本書を著すにあたり多くの図書を参考にさせていただいた。参考文献にあげて謝意を表したい。
また，本書のカット絵を描いてくれた津山高専の学生の森本嘉美君，本書の原稿を熱心に読んで下さり種々の指摘をしてくれた津山高専の大西淳助手，2章をチェックして下さり，貴重なアドバイスをいただいた津山高専一般学科（数学）美土路隆治教授に心から感謝する。
最後に，浅学非才の著者らが本書を書くチャンスをもてたのは，鈴鹿高専の奥井重彦教授に負うところが大きい。ここで謝意を表したい。また，本書の構成などのアドバイスをいただいた本シリーズの編集委員である豊田高専の竹下鉄夫教授に感謝する。
1999年11月 三木成彦・𠮷川英機
1．序論
1.1 情報理論とは
1.2 通信システムのモデル
1.3 標本化定理と量子化
2．確率論の基礎
2.1 集合，試行
2.2 確率
2.3 平均と分散
2.4 条件つき確率
2.5 マルコフ過程
2.6 ベイズの定理
演習問題
3．情報源符号化
3.1 情報源のモデル
3.2 エントロピー，情報量
3.3 平均符号長
3.4 情報源符号化定理
演習問題
4．情報源符号
4.1 情報源符号化に必要な条件
4.2 ハフマン符号
4.3 ランレングス符号
4.4 算術符号
4.5 ZL符号
演習問題
5．各種情報量
5.1 結合エントロピー
5.2 条件つきエントロピー
5.3 相互情報量
5.4 マルコフ情報源のエントロピー
演習問題
6．通信路の符号化
6.1 通信路のモデル
6.2 通信路容量
6.3 平均誤り率
6.4 通信路符号化定理
演習問題
7．符号理論
7.1 誤りの検出と訂正の理論
7.2 パリティ検査符号
7.3 線形符号
7.4 巡回符号
7.5 多項式とベクトル
7.6 畳込み符号と最ゆう復号
演習問題
付録
A.1 標本化定理
A.2 クラフトの不等式の証明
A.3 ハフマン符号が最適となる証明
引用・参考文献
演習問題解答
索引
amazonレビュー
著作
-
掲載日：2022/10/03
-
掲載日：2021/10/14
-
掲載日：2021/09/30
-
掲載日：2021/07/01
おすすめ本
-
-
改訂 マルチメディア時代の 情報理論
マルチメディア情報機器では，情報伝送や記録の高能率・高信頼化のためデータ圧縮や誤り訂正技術が用いられる。本書は，これらの基礎となる情報理論について，学生に身近な機器と関連させながら基礎から最新技術まで解説している。
-
-
情報量 - 情報理論への招待 -
情報理論における情報量，特に情報源符号化定理の解説に重点をおき，情報量の概念の理解を目的としている。
-
-
マルチメディア情報符号化の基礎と応用 - 情報伝達の効率化と信頼性の確保 -
マルチメディア情報通信の基礎となる情報数学や，情報理論，符号理論の基礎と応用を紹介。
-
-
基礎から学ぶ整数論 - RSA暗号入門 -
中学レベルの知識をもとに整数論の基礎を理解しながら，RSA暗号の考え方を学ぼう！
-
-
計算機システム （改訂版）
本書発行から10年が経ちコンピュータシステムはめざましく進歩している。それに伴い，動作原理など本質的な部分は変えないものの，構成要素や技術についてはメモリ階層からイーサネットまで隅々目を通し，最新のものに改訂した。
-
-
材料力学 （改訂版）
材料力学は，ものづくりの根幹を構成する基礎的科目であり，また安全性や信頼性といった領域とつながる学問である。今回の改訂ではモデルコアカリキュラムにも対応できる内容とし，学力が身につくよう演習問題も豊富に用意した。
-
-
電磁気学
電磁気現象の基本法則をわかりやすく解説し，またベクトルの発散や回転の定義，式の導出にも丁寧な説明を加えた。さらにマクスウェルの方程式の微分形を導出したうえで，それらを用いて電磁気現象を体系的に理解できるようにした。
-
-
流体の力学
流体の力学を初めて学ぶ学生のための入門書として，わかりやすくかつ基本的な理論体系を崩さないように配慮した。各章ごとに何を学ぶのかを明確にし，章末には重要ポイントを示した。また，演習問題を設け，詳細な解答をつけている。
-
-
工業熱力学
本書は，図やグラフを多用して，熱と仕事などの基礎概念や熱力学の法則，エントロピーおよび熱機関への応用などについてわかりやすく述べている。また，自習用としても使えるよう演習問題を数多く設け，詳しい解答をつけた。
-
-
土質工学
本書は，従来の教科書とは趣が若干異なり，理論的な解説は必要最小限にとどめ，環境に配慮した地盤構造物の正しい設計手法を理解するための基礎事項と，それを演習を通して自分のものにするための例題を多く掲載した。
