データ科学のための基礎数理 - 情報数理・確率統計・パターン認識 -

後藤正幸早大教授博士（工学）著

データサイエンスへの入り口を提供し，読者の知識や技能の安定的な成長をサポートする1冊

ジャンル

発行年月日: 2023/10/06

判型: B5

ページ数: 224ページ

ISBN: 978-4-339-02937-6

在庫あり

2営業日以内に出荷致します。

定価

3,960円(本体3,600円+税)

カートに入れる

購入案内

内容紹介
まえがき
目次
レビュー
著者紹介
広告掲載情報

【書籍の趣旨，特徴】
本書では，データサイエンスやデータエンジニアリングの本質を深く理解するために必要となる基礎的な情報数理に絞り，原理についてのイメージの理解，かつ将来に向けた学習意欲を持たせることを到達点として，特に知っておいたほうがよいと考えられる基礎的な事項について解説をしています。また，章末問題を多数用意し，解答はコロナ社Webページで公開しています。

【構成】
第1章では，多次元関数の最適化に必要となる数学的な基礎知識について解説します。
第2章では，多次元関数の極値を求めるための具体的な手法について，基本的な事項を学びます。
第3章では，情報数理や情報統計の議論に必要な準備として確率論と確率モデルの基礎的事項を学びます。
第4章では，応用上，大変重要な確率変数の概念といくつかの代表的な確率分布について解説します。
第5章ではまず，確率モデルの議論に必要な表記法をまずまとめた後，パラメトリックモデル族についてその概要を述べます。その後に各種の統計的推測（決定）の問題を扱い，さらに最尤推定や不偏推定といった推定に加え，近年，急速にその有効性が認識されるようになったベイズ推定について解説します。
第6章では，統計的モデル選択の問題を定式化するとともに，よく知られたモデル選択規準について解説します。また，昨今の機械学習の学習パラメータの設定でもよく利用されているクロスバリデーションについても概要を紹介します。
第7章では，ベイズ統計に基づく推定や予測を議論するための準備として，伝統的な統計的決定理論の枠組みについて解説します。その中で，不確実な対象に対する決定の方法としてベイズ決定を示し，その性質を明らかにします。
第8章では，コンピュータ内部で使われる数値情報の表現や二進数の演算について基礎的事項を学びます。
第9章では，情報の量をどのように測るか？という疑問を出発点とし，情報量の概念や計算の方法について，その基礎的な枠組みを示していきます。
第10章では，情報源符号化の方法や理論的側面について学び，情報圧縮の限界としてのエントロピーの意味について理解します。
第11章では，誤りの訂正を目的とする通信路符号化の方法について，その基礎的な事項を解説します。
第12章では，パターン認識の問題と統計的学習について，その概略を述べます。

【著者からのメッセージ】
パターン認識と機械学習とその応用を学ぶ書籍としてすでに『入門パターン認識と機械学習』を発行しましたが，これらの手法の本質を深く理解するためには情報理論，確率論，統計学といった情報数理について基礎を積み上げる必要があります。本書『データ科学のための基礎数理―情報数理・確率統計・パターン認識―』の内容が，読者の皆様にとって，早い段階で情報数理の基礎を固めることに寄与し，データ科学やデータ工学の深い理解につながれば幸いです。

近年，人々の生活や組織の諸活動では，あらゆる場面で情報技術が活用されるようになりました。人々はインターネットのSNS（ソーシャルネットワーキングサービス）を通じて人々とオンラインで繋がるだけでなく，さまざまなアプリケーションを使うようになっています。電車に乗る際にもICカードやスマートフォンを使って駅に入場しますし，小売店でモノを購入する際もポイントカードやクレジットカードを利用しています。インターネットで宅配サービスを頼むこともできますし，スマートフォンでタクシーを呼ぶこともできます。企業の従業員が自らの仕事を遂行する際には，コンピュータを用いてシステムにログインして作業をしたり，電子メールのほかにチャットアプリを用いて従業員間でコミュニケーションを取るようなことも普通になっています。店舗やイベント会場にはビデオカメラが設置され，店内の顧客の行動が映像で記録されていますし，モノの生産工場もさまざまな機械が情報技術を使って制御されています。これらの情報技術の活用は，あらゆる場面で大規模で多様なデータが記録されることを意味しています。これらの大量のデータをうまく活用し，さまざまな課題解決に結び付けることが期待されており，データサイエンスの重要性が高まっているのです。ビジネス分野におけるデータ活用やデータ分析はビジネスアナリティクスとも呼ばれ，おもにビジネス現場で活躍するデータサイエンティストにとっては必須の技術になりつつあります。近年では，従来の伝統的な統計分析手法だけでなく，パターン認識と機械学習の理論がビジネスアナリティクス分野に適用されつつあり，さまざまな場面で活用されるようになりました。これらの技術はデータ分析のツールとして一般的になりつつあり，データサイエンティストが学んでおくべき内容といえます。

このようなパターン認識と機械学習とその応用を学ぶ書籍としてすでに『入門パターン認識と機械学習』を発行しましたが，これらの手法の本質を深く理解するためには情報理論，確率論，統計学といった情報数理について基礎を積み上げる必要があります。また，データサイエンティストには，統計学の知識だけでなく，さまざまなデータを分析可能な形に加工したり，形式を変換したりといったデータエンジニアリングの知識も必要です。このデータエンジニアリングの素養はプログラミング力と見なされがちですが，それだけではなく，きちんと情報を扱うための数理を理解しておくことが，本質を理解する上では大変重要です。

「情報数理」というと，さまざまな定義やイメージがあって，一つの共通した枠組みが確立しているわけではありません。情報数理は文字通り解釈すれば“情報を扱うための数理”であるけれども，このような意味でいうと，その範囲はとてつもなく広いものになります。それは，コンピュータで使われる2進演算や論理演算も含まれるでしょうし，情報量の概念や情報圧縮の数理も，確率論や統計学も，アルゴリズムとデータ構造も，システム論やシミュレーション技術も，パターン認識と機械学習も，すべて情報数理に含まれるでしょう。CDやDVDの誤り訂正符号などで重要な有限体（ガロア体）などの代数学も重要な一部です。しかしながら，このような膨大な知識を学ぶことは困難ですので，本書では最終的に，データサイエンティストがパターン認識や機械学習の本質を学ぶために必要となる基礎的な情報数理に絞り，原理についてのイメージの理解，かつ将来に向けた学習意欲を持たせることを到達点として，特に知っておいたほうがよいと考えられる基礎的な事項に絞って解説をしています。

昨今，対話型のチャットAIの飛躍的な性能向上が注目され，これらの生成AIをいかに活用すべきか，あるいは，その脅威にいかに対応すべきかといった議論が盛んになされていますが，一人のユーザとしてAIを活用しているだけでは見えてこない景色もあります。また，これからのAIを含むデータ科学技術の進歩は目覚ましく，10年後はまったく違った状況になっていることでしょう。それらの技術の根底にある基礎的な理論をしっかり押さえておくことは，非常に速い技術進歩に流されず，本質を理解する上できっと将来に渡って役に立ってくれるはずです。

本書の内容は，データサイエンスやデータエンジニアリングを少し学んでから，基礎を固めるために勉強してもよいでしょう。しかし，これらの情報数理の基礎は，じつはさまざまな発展的な内容に通じています。まだ，自分自身の専門性の方向が決まっていなくても，本書の内容をしっかり固めておくことは大きな意味があります。本書の内容が，読者の皆様にとって，早い段階で情報数理の基礎を固めることに寄与し，その上に積み上げていく知識や技能が安定していくことに貢献できれば幸いです。

最後となりますが，本書をまとめる機会を与えていただいた株式会社コロナ社の皆様に感謝いたします。また，日頃よりご指導をいただいている早稲田大学理工学術院名誉教授の平澤茂一先生，同大学教授の松嶋敏泰先生，教学や研究面でも大変お世話になっている早稲田大学創造理工学部経営システム工学科の教職員すべての皆様に深く感謝の意を表します。本書の内容は，早稲田大学に着任してからの研究活動や授業での活動を通じて，大学の低学年に学んでおくことが望ましい基礎的な情報数理について少しずつまとめてきたものです。その意味で，本書は経営システム工学科と後藤研究室で研究活動に携わってくれている大学院生や学部生の皆さんの協力なくして完成はありませんでした。日頃から著者の研究教育活動を温かく見守ってくれている家族も含め，著者を支えていただいているすべての皆様のご協力に深く感謝いたします。

2023年8月
後藤正幸

1．多次元関数の基礎
1.1　ユークリッド空間と関数
1.2　1次関数と2次関数の勾配ベクトル
1.3　2次関数の性質
　1.3.1　固有値と固有ベクトル
　1.3.2　2次関数の標準形
　1.3.3　2次関数の形状
1.4　関数の極値
1.5　制約付き最適化問題：ラグランジュの未定乗数法
　1.5.1　制約付き最適化問題の例
　1.5.2　問題の一般定式化
　1.5.3　ラグランジュの未定乗数法
　1.5.4　ラグランジュの未定乗数法の解釈
章末問題

2．関数の最適化手法
2.1　次関数の最適化
2.2　勾配法と最急降下法
2.3　確率的勾配降下法
2.4　ニュートン法
2.5　共役勾配法
2.6　さまざまな改良アルゴリズム
章末問題

3．確率論の基礎
3.1　事象と確率
　3.1.1　標本空間と事象
　3.1.2　σ-集合族
　3.1.3　確率空間
3.2　条件付き確率
3.3　ベイズの定理
章末問題

4．確率変数と確率分布
4.1　確率変数
　4.1.1　次元確率変数
　4.1.2　多次元確率変数
4.2　離散型確率変数と確率分布
　4.2.1　離散型確率変数
　4.2.2　期待値
　4.2.3　多次元離散型確率変数
　4.2.4　代表的な1次元離散型確率分布
4.3　連続型確率変数と確率分布
　4.3.1　連続型確率変数
　4.3.2　期待値
　4.3.3　多次元連続型確率変数
　4.3.4　代表的な1次元連続型確率分布
　4.3.5　多次元正規分布
4.4　期待値と分散の性質
章末問題

5．統計的推定と統計的予測
5.1　確率モデル
　5.1.1　表記法の定義
　5.1.2　経験分布
　5.1.3　パラメトリックモデル族
5.2　統計的推定と予測
5.3　一般的なパラメータの推定法
5.4　簡単な予測問題：確率分布が既知のときの予測
5.5　ベイズ推定とベイズ予測
　5.5.1　ベイズの公式
　5.5.2　パラメータの推定問題
　5.5.3　統計的予測問題
5.6　ベルヌーイ試行のベイズ推定と予測
章末問題

6．統計的モデル選択
6.1　具体例
　6.1.1　統計的仮説検定の問題
　6.1.2　統計的モデル選択問題としての捉え方
6.2　階層モデル族
6.3　統計的モデル選択問題
6.4　モデル選択規準
　6.4.1　赤池情報量規準（AIC）
　6.4.2　Schwarz の BIC
　6.4.3　Rissanen の MDL規準
6.5　モデル選択規準に関するさまざまな議論
6.6　クロスバリデーション
章末問題

7．統計的決定理論とベイズ決定
7.1　統計的決定の問題
　7.1.1　具体例
　7.1.2　一般論
7.2　決定理論の幾何的考察
　7.2.1　リスクセット
　7.2.2　ベイズ決定の幾何的意味
　7.2.3　ミニマックス決定の幾何的意味
7.3　決定問題の性質
　7.3.1　ベイズ決定の許容性
　7.3.2　非ランダム決定の最適性
　7.3.3　ミニマックス定理
章末問題

8．情報表現と2値演算
8.12　進数と演算
　8.1.1　ディジタル情報と2進数表示
　8.1.2　2進数と10進数の関係
　8.1.3　2進数表現の桁数
8.2　2進整数の演算
　8.2.1　整数の加算・減算と補数
　8.2.2　整数の乗算・除算とシフト演算
8.3　2進小数の表現
8.4　文字の表現
8.5　16進数
章末問題

9．情報エントロピー論
9.1　情報とはなにか
9.2　情報量はどのように測れるか？|自己情報量の概念
　9.2.1　Hartleyの自己情報量
　9.2.2　Shannonの自己情報量
9.3　エントロピー
　9.3.1　エントロピーの定義
　9.3.2　定常無記憶情報源とエントロピー
9.4　各種情報量
　9.4.1　二つの情報源
　9.4.2　結合エントロピー
　9.4.3　条件付きエントロピー
　9.4.4　相互情報量
9.5　エントロピーの性質
章末問題

10．情報源符号化の理論
10.1　情報源モデル
　10.1.1　情報源アルファベット
　10.1.2　情報源モデル
　10.1.3　定常無記憶情報源
　10.1.4　マルコフ情報源
10.2　情報源符号化と符号長
　10.2.12　元符号における情報源符号化の例
　10.2.2　記号列に対する情報源符号化の例
10.3　符号化の持つべき性質
　10.3.1　一意復号可能な符号
　10.3.2　瞬時符号
　10.3.3　瞬時符号の調べ方
　10.3.4　クラフトの不等式
10.4　ハフマン符号
10.5　符号化の限界（符号長の下限・上限と情報源符号化定理）
　10.5.1　符号長の下限
　10.5.2　符号長の上限
　10.5.3　拡大情報源
　10.5.4　情報源符号化定理
10.6　漸近等分割性
章末問題

11．通信路符号化の方法
11.1　通信のモデル
11.2　通信路のモデル
　11.2.1　通信路における誤り
　11.2.2　2元対称通信路（BSC）
　11.2.3　2元消失通信路（BEC）
11.3　通信路容量
　11.3.1　通信路容量の定義
　11.3.2　2元対称通信路の通信路容量
　11.3.3　2元対称通信路の通信路容量の計算例
　11.3.4　通信路符号化定理
11.4　誤り訂正符号
　11.4.1　誤り混入のモデル
　11.4.2　最も簡単な例：繰り返し符号
　11.4.3　組織符号とパリティ検査符号
　11.4.4　ハミング符号
　11.4.5　誤り検出能力と誤り訂正能力
　11.4.6　線形符号
章末問題

12．パターン認識と統計的学習の概要
12.1　パターン認識とは
　12.1.1　パターン認識問題の例
　12.1.2　パターン認識問題の基本モデル
　12.1.3　特徴空間と特徴ベクトル
12.2　ベイズ決定による最適判別
　12.2.1　一般論
　12.2.2　生成モデルと識別モデル
　12.2.3　正規分布を仮定した生成モデルと識別関数との関係
12.3　線形識別関数によるパターン判別
　12.3.1　線形判別モデルとパーセプトロン
　12.3.2　パーセプトロンの学習
12.4　特徴パターンとの照合によるパターン判別
　12.4.1　テンプレートマッチング
　12.4.2　k-最近傍識別法
12.5　さまざまな機械学習アルゴリズム

章末問題
引用・参考文献
索引

読者モニターレビュー【 N/M 様（業界・専門分野：総合情報学［情報科学］）】

本書は，データ科学（データサイエンスやデータエンジニアリングなど）の分野を学ぶ上で必要な基礎的な数学的な理論（情報数理）を学ぶための書籍である．

すべての章を詳細にレビューすると膨大な量になるため，3章，8章〜12章を中心に気になった点についてレビューさせていただく．

前提知識としては，大学の学部レベルの線形代数（ベクトル），微分積分学の知識がないと，数式を読み解くことが困難な箇所（1章，2章）があるように思われた．著者の方の講義で使用される利便性から，このような章構成になっていると思われるが，そういった上記の理由からも，1章，2章は難易度が少し高いこともあるので，もう少し後ろの章でも良かったのではないかとも個人的には感じた．

8章では，情報科学分野を学ぶ上での定番である，基数変換から始まり，補数，シフト演算，ディジタルの世界での文字表現（Shift-JIS，UTF-8など）などについての解説がなされている．

9章〜11章では，専門分野的には「情報理論」や「符号理論」と呼ばれる学問領域である．学生時代，情報理論に関しては選択科目としてカリキュラムに組まれていたこともあり学習済みの事項が多く見受けられたので，理解は比較的にしやすかったように思われる．3章に登場する確率論の知識が必要になってくる（特に，条件付き確率）ので，そちらを学んでから読まれることをオススメする．

9章では，情報とは何かという定義から始まり，情報量をどのように測るかという議論で，情報理論の分野での有名な二人であるRalph Hartley（ラルフ・ハートリー），Claude Shannon（クロード・シャノン）の提唱した各自己情報量の概念や平均情報量（エントロピー）などの議論は，興味深いものがあるだろうと思われる．

10章，11章では，情報を伝送する際に符号化する方法及び，その符号化した情報の誤りを検知する方法についての解説がなされている．瞬時符号，ハフマン符号，情報源符号化定理，誤り修正符号，ハミング符号，線形符号など，符号理論でおなじみの概念が数多く登場する．

最後の12章では，パターン認識と統計的学習として，本書で概略を示し，さらに詳しく掘り下げた内容は，著者の方が本書籍よりも前に書かれた書籍『入門パターン認識と機械学習』（Ref:https://www.coronasha.co.jp/np/isbn/9784339024791/）へという具合に橋渡しを意識して書かれた章であると思われる．

最後に，各章末には数多くの章末問題がついており，各章で学んだ知識をチェックできるようになっている．この章末問題の難易度がちょうどよく，理解を深める上で最適だと感じた．少なすぎず，多すぎずの最適な分量ではないだろうか．略解と解説もWebサイトに記載されているので，問題を解いた後に確認すると，より理解が深まるように感じた．ただ，一部略解なので，完全解が欲しい部分（WebサイトにアップされているPDF：p.28の9.）も見られたのと，一部未完成（WebサイトにアップされているPDF：p.16の10.(2)〜(4)）なのか空欄部分があるので，追記・更新されることを期待して待ちたいと思う．