書名で キーワードで

詳細検索 >>

HOME  > 情報工学  / 人工知能・知識工学  / 人工知能一般  > 統計的パターン認識と判別分析

書籍詳細

シリーズ 情報科学における確率モデル 1)

  統計的パターン認識と判別分析

▼ 目次を読む

▼ 目次をたたむ

栗田多喜夫 広島大教授 博士(工学) 著

日高章理 東京電機大准教授 博士(工学) 著

… 著者ホームページです

発行年月日:2019/01/15 , 判 型: A5,  ページ数:236頁

ISBN:978-4-339-02831-7,  定 価:3,672円 (本体3,400円+税)

本書は,ベイズ識別の仮定と同様に,データの背後の確率的な関係が完全にわかっている場合について,変分法を用いて機械学習の基本的なタスクである回帰や識別、そして判別基準のための最適な関数を導出する手法について解説した。

【目次】

★発行前情報のため若干変更されることがございます。ご了承ください。★

1. パターン認識とベイズ決定理論
1.1 パターン認識
1.2 ベイズ決定理論
★発行前情報のため若干変更されることがございます。ご了承ください。★

1. パターン認識とベイズ決定理論
1.1 パターン認識
1.2 ベイズ決定理論
 1.2.1 特徴ベクトルとクラスとの確率的関係
 1.2.2 ベイズ決定理論の定式化
 1.2.3 0-1損失の場合
1.3 正規分布の場合のベイズ識別
 1.3.1 二次識別関数
 1.3.2 線形識別関数
 1.3.3 テンプレートマッチング
 1.3.4 Fisherのアヤメのデータのベイズ識別

2. 最適な回帰と識別
2.1 機械学習
2.2 予測のための最適非線形回帰
 2.2.1 平均二乗誤差を最小とする最適な非線形関数の導出
 2.2.2 非線形回帰関数fopt(x)の最適性
 2.2.3 最適な非線形回帰関数fopt(x)で達成される誤差
 2.2.4 最適な非線形回帰関数の統計量
2.3 識別のための最小二乗非線形関数
 2.3.1 識別のための非線型関数を構成する方法
 2.3.2 識別のための最適な非線形回帰関数で達成される平均二乗誤差
2.4 識別のための非線形識別関数
 2.4.1 2クラス識別の場合
 2.4.2 Kクラスの場合

3. 確率分布の推定
3.1 確率分布の推定法
3.2 パラメトリックモデルによる確率分布の推定
 3.2.1 最尤法
 3.2.2 最尤法による確率密度関数の推定の応用
3.3 ノンパラメトリックモデルを用いる方法
 3.3.1 ノンパラメトリックな確率密度関数の推定
 3.3.2 核関数に基づく方法
 3.3.3 K-最近傍法
 3.3.4 K-最近傍法による確率分布の推定の応用
3.4 セミパラメトリックな手法
 3.4.1 混合分布モデル
 3.4.2 混合分布モデルのパラメータの最尤推定
 3.4.3 EMアルゴリスム
 3.4.4 混合分布モデルによる確率密度関数の推定の応用

4. 予測のための線形モデル
4.1 線形回帰分析
 4.1.1 線形回帰分析のモデル
 4.1.2 最小二乗法
 4.1.3 最適な線形回帰関数flinreg(x)で達成される平均二乗残差
 4.1.4 最適な線形回帰関数の統計量
 4.1.5 線形回帰分析の応用
4.2 最適な非線形回帰関数との関係
 4.2.1 予測のための最適な線形回帰関数
 4.2.2 最適非線形回帰関数の線形近似
 4.2.3 条件付き確率の線形近似
 4.2.4 条件付き確率の線形近似による最適な非線形回帰関数の近似
4.3 線形モデルを用いた非線形回帰
 4.3.1 多項式回帰
 4.3.2 基底関数の線形モデルによる回帰
 4.3.3 回帰式のカーネル関数による表現
4.4 回帰分析と汎化性能
 4.4.1 多項式回帰と汎化性能
 4.4.2 モデルの良さの評価
4.5 正則化回帰
 4.5.1 リッジ回帰
 4.5.2 L1正則化回帰(lasso)

5. 識別のための線形モデル
5.1 線形識別関数とその性質
 5.1.1 線形識別関数
 5.1.2 線形識別関数の性質
 5.1.3 線形分離可能
5.2 単純パーセプトロン
 5.2.1 単純パーセプトロンのモデル
 5.2.2 単純パーセプトロンの学習
 5.2.3 アヤメのデータの単純パーセプトロンでの識別
5.3 Adaptive Linear Neuron(ADALINE)
 5.3.1 ADALINEのモデル
 5.3.2 ADALINEの学習
 5.3.3 回帰分析との関係
 5.3.4 正則化ADALINE
 5.3.5 アヤメのデータのADALINEでの識別
5.4 ロジスティック回帰
 5.4.1 ロジスティック回帰のモデル
 5.4.2 ロジスティック回帰のパラメータの学習
 5.4.3 Fisher情報行列を用いる学習法
 5.4.4 正則化ロジスティック回帰
 5.4.5 アヤメのデータのロジスティック回帰での識別
5.5 サポートベクトルマシン
 5.5.1 サポートベクトルマシンのモデル
 5.5.2 線形分離可能な場合のパラメータの学習
 5.5.3 線形分離可能でない場合のパラメータの学習
 5.5.4 サポートベクトルマシンとロジスティック回帰
 5.5.5 アヤメのデータの線形サポートベクトルマシンでの識別
5.6 多クラス識別のための線形識別関数の学習
 5.6.1 多クラス識別のための線形モデル
 5.6.2 最小二乗線形識別関数
 5.6.3 多項ロジスティック回帰
 5.6.4 アヤメのデータの多クラス識別
5.7 識別のための最適な非線形関数との関係
 5.7.1 識別のための最適な線形関数
 5.7.2 事後確率の線形近似
5.8 多層パーセプトロン
 5.8.1 多層パーセプトロンのモデル
 5.8.2 多層パーセプトロンの能力
 5.8.3 誤差逆伝播学習法
 5.8.4 畳込みニューラルネットワーク(CNN)

6. 主成分分析と判別分析
6.1 主成分分析
 6.1.1 主成分分析の問題設定
 6.1.2 第一主成分の導出
 6.1.3 第二主成分の導出
 6.1.4 高次の主成分の導出
 6.1.5 寄与率と累積寄与率
 6.1.6 主成分分析の適用例
 6.1.7 元のデータの再構成
 6.1.8 主成分スコアベクトル間の距離
6.2 線形判別分析
 6.2.1 一次元の判別特徴の抽出
 6.2.2 多次元の判別特徴の構成
 6.2.3 2段階写像としての判別写像
 6.2.4 判別特徴ベクトル間の距離
 6.2.5 線形判別分析の適用例

7. カーネル法
7.1 カーネル法とは
7.2 カーネル回帰分析
 7.2.1 カーネル回帰分析とは
 7.2.2 カーネル法を用いた最小二乗識別関数の学習
7.3 カーネルサポートベクトルマシン
 7.3.1 カーネルサポートベクトルマシンとは
 7.3.2 最適なハイパーパラメータの探索
7.4 カーネル主成分分析
7.5 カーネル判別分析
 7.5.1 カーネル判別分析とは
 7.5.2 カーネル判別分析の適用例

8. 最適非線形判別分析と判別カーネル
8.1 最適非線形判別写像
 8.1.1 最適非線形判別写像の導出
 8.1.2 事後確率ベクトルの線形判別分析
 8.1.3 最適非線形判別写像の線形近似
8.2 事後確率の近似を通した非線形判別分析
 8.2.1 正規分布を仮定することによる非線形判別分析
 8.2.2 K-最近傍法を用いた非線形判別分析
 8.2.3 ロジスティック回帰に基づく非線形判別分析
 8.2.4 非線形判別空間の比較
8.3 判別カーネル
 8.3.1 最適非線形判別分析の双対問題
 8.3.2 有効なカーネルの条件
 8.3.3 判別カーネルと周辺化カーネルの関係
 8.3.4 判別カーネルの族

付録
A.1 線形代数のまとめ
A.2 ベクトル・行列の微分と最適化の基礎
A.3 確率統計の基礎

引用・参考文献
あとがき
索引

★扱っている内容★

  • 機械学習の最も基本的なタスクである「回帰」と「識別」に対して,データの背後の確率的な関係が完全にわかっている場合について,変分法を用いて,最適な非線形関数を導出
  • 同様の仮定のもと,判別基準を最大とする最適な非線形判別関数が事後確率を要素とするベクトルの線形判別分析となることを示す
  • 現実には,背後の確率的な関係があらかじめわかることはほとんどないことから,「線形回帰」「判別分析」などの多くの現実的な手法が,条件付き確率密度関数や事後確率の近似を通した最適な非線形関数の近似になっていることを示す

  • ★本書の特徴★
  • 機械学習のための最適な関数がなにかを知り,有限個の訓練サンプルからどのようにその究極の最適な関数を近似的に実現しているかを理解するというアプローチを行っている
  • 線形回帰や線形判別分析を個別に勉強しても,それらの手法が本質的になにを実現しようとしており,それらはどのように関係しているのかについて,もう少し統一的な理解がしたいと思っている読者に対して,一つの答えを与える



  • 『シリーズ 情報科学における確率モデル』ラインナップ 

    1. 統計的パターン認識と判別分析
    2. 栗田多喜夫・日高章理 共著 2018年12月中旬刊

    3. ボルツマンマシン
    4. 恐神貴行 著 2019年2月下旬刊

    5. 捜索理論における確率モデル
    6. 宝崎隆祐・飯田耕司 共著 2019年2月下旬刊

    7. マルコフ決定過程-理論とアルゴリズム-
    8. 中出康一 著 2019年3月上旬刊

    9. エントロピーの幾何学
    10. 田中 勝 著 2019年4月上旬刊

    以下続刊
    • システム信頼性の数理
    • 大鑄史男 著

    • マルコフ連鎖と計算アルゴリズム
    • 岡村寛之 著

    • 確率モデルによる性能評価
    • 笠原正治 著

    • ソフトウェア信頼性のための統計モデリング
    • 土肥 正・岡村寛之 共著

    • ファジィ確率モデル
    • 片桐英樹 著

    • 確率システムにおける制御理論
    • 向谷博明 著

    • 高次元データの科学
    • 酒井智弥 著

    • リーマン後の金融工学
    • 木島正明 著




    【シリーズ刊行のことば】
     われわれを取り巻く環境は,多くの場合,確定的というよりもむしろ不確実性にさらされており,自然科学,人文・社会科学,工学のあらゆる領域において不確実な現象を定量的に取り扱う必然性が生じる。「確率モデル」とは不確実な現象を数理的に記述する手段であり,古くから多くの領域において独自のモデルが考案されてきた経緯がある。情報化社会の成熟期である現在,幅広い裾野をもつ情報科学における多様な分野においてさえも,不確実性下での現象を数理的に記述し,データに基づいた定量的分析を行う必要性が増している。
     一言で「確率モデル」といっても,その本質的な意味や粒度は各個別領域ごとに異なっている。統計物理学や数理生物学で現れる確率モデルでは,物理的な現象や実験的観測結果を数理的に記述する過程において不確実性を考慮し,さまざまな現象を説明するための描写をより精緻化することを目指している。一方,統計学やデータサイエンスの文脈で出現する確率モデルは,データ分析技術における数理的な仮定や確率分布関数そのものを表すことが多い。社会科学や工学の領域では,あらかじめモデルの抽象度を規定したうえで,人工物としてのシステムやそれによって派生する複雑な現象をモデルによって表現し,モデルの制御や評価を通じて現実に役立つ知見を導くことが目的となる。
     昨今注目を集めている,ビッグデータ解析や人工知能開発の核となる機械学習の分野においても,確率モデルの重要性は十分に認識されていることは周知の通りである。一見して,機械学習技術は,深層学習,強化学習,サポートベクターマシンといったアルゴリズムの違いに基づいた縦串の分類と,自然言語処理,音声・画像認識,ロボット制御などの応用領域の違いによる横串の分類によって特徴づけられる。しかしながら,現実の問題を「モデリング」するためには経験とセンスが必要であるため,既存の手法やアルゴリズムをそのまま適用するだけでは不十分であることが多い。
     本シリーズでは,情報科学分野で必要とされる確率・統計技法に焦点を当て,個別分野ごとに発展してきた確率モデルに関する理論的成果をオムニバス形式で俯瞰することを目指す。各分野固有の理論的な背景を深く理解しながらも,理論展開の主役はあくまでモデリングとアルゴリズムであり,確率論,統計学,最適化理論,学習理論がコア技術に相当する。このように「確率モデル」にスポットライトを当てながら,情報科学の広範な領域を深く概観するシリーズは多く見当たらず,データサイエンス,情報工学,オペレーションズ・リサーチなどの各領域に点在していた成果をモデリングの観点からあらためて整理した内容となっている。
     本シリーズを構成する各書目は,おのおのの分野の第一線で活躍する研究者に執筆をお願いしており,初学者を対象とした教科書というよりも,各分野の体系を網羅的に著した専門書の色彩が強い。よって,基本的な数理的技法をマスターしたうえで,各分野における研究の最先端に上り詰めようとする意欲のある研究者や大学院生を読者として想定している。本シリーズの中に,読者の皆さんのアイデアやイマジネーションを掻き立てるような座右の書が含まれていたならば,編者にとっては存外の喜びである。
    2018年11月 編集委員長 土肥 正

    【関連情報】

    在庫は時期によりまして変動することがございますので、ご了承ください。