書名で キーワードで

詳細検索 >>

HOME  > 情報工学  / 人工知能・知識工学  / 人工知能一般  > ボルツマンマシン

書籍詳細

シリーズ 情報科学における確率モデル 2)

  ボルツマンマシン

▼ 目次を読む

▼ 目次をたたむ

恐神貴行 IBM東京基礎研究所 Ph.D. 著

… 著者ホームページです

発行年月日:2019/02/22 , 判 型: A5,  ページ数:220頁

ISBN:978-4-339-02832-4,  定 価:3,456円 (本体3,200円+税)

本書は,人工ニューラルネットワークの一つであるボルツマンマシンについて,その基本的な理論から学習方法そして機械学習や強化学習への用い方について直観的に理解できるように解説をした。

【目次】

1. はじめに
1.1 ボルツマンマシンと深層学習
1.2 ボルツマンマシンの定義
1.3 ボルツマンマシンの可能性
1.4 学習の目的関数
1. はじめに
1.1 ボルツマンマシンと深層学習
1.2 ボルツマンマシンの定義
1.3 ボルツマンマシンの可能性
1.4 学習の目的関数
1.5 勾配法
1.6 確率的勾配法
章末問題

2. ボルツマンマシンの学習
2.1 可視ユニットのみの場合
 2.1.1 勾配
 2.1.2 確率的勾配
 2.1.3 ヘブ則との関係
 2.1.4 ヘッセ行列
 2.1.5 まとめ
2.2 隠れユニットを持つ場合
 2.2.1 隠れユニットの必要性
 2.2.2 自由エネルギー
 2.2.3 勾配
 2.2.4 確率的勾配
 2.2.5 ヘッセ行列
 2.2.6 まとめ
2.3 判別モデルの学習
 2.3.1 目的関数
 2.3.2 勾配とヘッセ行列
 2.3.3 まとめ
2.4 回帰モデルの学習
 2.4.1 自由エネルギーを用いた回帰
 2.4.2 制限ボルツマンマシンの自由エネルギー
 2.4.3 期待エネルギー
 2.4.4 期待エネルギーを用いた回帰
章末問題

3. サンプリングと期待値の評価
3.1 ギブスサンプリング
3.2 コントラスティブダイバージェンス
3.3 制限ボルツマンマシンからのサンプリング
 3.3.1 ブロック化ギブスサンプラー
 3.3.2 生成モデルの学習
3.4 平均場近似
3.5 その他の手法
 3.5.1 重点サンプリング
 3.5.2 独立した生成器の利用
 3.5.3 フィッシャーダイバージェンス
章末問題

4. 深層モデルとその他の関連するモデル
4.1 深層信念ネットワーク
 4.1.1 確率分布とサンプリング
 4.1.2 層ごとの貪欲学習法
 4.1.3 自己符号化器
4.2 深層ボルツマンマシン
4.3 ガウスボルツマンマシン
 4.3.1 期待値で実数値を表現する場合の問題点
 4.3.2 ガウスベルヌーイ制限ボルツマンマシン
 4.3.3 スパイクスラブ制限ボルツマンマシン
4.4 マルコフ確率場
 4.4.1 ボルツマンマシンとイジングモデル
 4.4.2 高階ボルツマンマシン
章末問題

5. 時系列モデルの学習
5.1 目的関数と勾配法
5.2 条件付き制限ボルツマンマシン
 5.2.1 条件付き制限ボルツマンマシンの導出
 5.2.2 条件付き制限ボルツマンマシンの拡張
5.3 再帰的時間的制限ボルツマンマシン
 5.3.1 時間的制限ボルツマンマシン
 5.3.2 再帰的時間的制限ボルツマンマシンの導出
 5.3.3 再帰的時間的制限ボルツマンマシンにおける確率の評価
 5.3.4 再帰的時間的制限ボルツマンマシンの学習
章末問題

6. 時系列モデルのオンライン学習
6.1 はじめに
6.2 動的ボルツマンマシン
 6.2.1 有限動的ボルツマンマシン
 6.2.2 動的ボルツマンマシンの導出
 6.2.3 スパイク時間依存可塑性との関係
6.3 制約の緩和
6.4 連続値をとる時系列に対する動的ボルツマンマシン
 6.4.1 ガウス動的ボルツマンマシン
 6.4.2 自然勾配
 6.4.3 非線形特徴量
6.5 動的ボルツマンマシンの連続拡張
章末問題

7. 強化学習
7.1 マルコフ決定過程
7.2 最適性方程式と価値反復法
 7.2.1 有限期間の場合
 7.2.2 無限期間の場合
7.3 Q学習
7.4 活用と探索
7.5 SARSA法
7.6 方策反復法
7.7 価値関数の近似
 7.7.1 Q学習での関数近似
 7.7.2 SARSA法での関数近似
7.8 自由エネルギーを用いた強化学習
 7.8.1 自由エネルギーの勾配
 7.8.2 ボルツマン探索
7.9 部分観測環境における強化学習
 7.9.1 部分観測マルコフ決定過程
 7.9.2 動的ボルツマンマシンによる強化学習
章末問題

付録:隠れユニットを持つ動的ボルツマンマシン
A.1 確率分布
A.2 学習則

引用・参考文献
章末問題解答
索引



『シリーズ 情報科学における確率モデル』ラインナップ
  1. 統計的パターン認識と判別分析
  2. 栗田多喜夫・日高章理 共著 発売中!!
  3. ボルツマンマシン
  4. 恐神貴行 著 発売中!!
  5. 捜索理論における確率モデル
  6. 宝崎隆祐・飯田耕司 共著 発売中!!
  7. マルコフ決定過程-理論とアルゴリズム-
  8. 中出康一 著 発売中!!
  9. エントロピーの幾何学
  10. 田中 勝 著 発売中!!
  11. 確率システムにおける制御理論
  12. 向谷博明 著 発売中!!

以下続刊
  • システム信頼性の数理
  • 大鑄史男 著
  • マルコフ連鎖と計算アルゴリズム
  • 岡村寛之 著
  • 確率モデルによる性能評価
  • 笠原正治 著
  • ソフトウェア信頼性のための統計モデリング
  • 土肥 正・岡村寛之 共著
  • ファジィ確率モデル
  • 片桐英樹 著
  • 高次元データの科学
  • 酒井智弥 著
  • リーマン後の金融工学
  • 木島正明 著
刊行のことば

 われわれを取り巻く環境は,多くの場合,確定的というよりもむしろ不確実性にさらされており,自然科学,人文・社会科学,工学のあらゆる領域において不確実な現象を定量的に取り扱う必然性が生じる。「確率モデル」とは不確実な現象を数理的に記述する手段であり,古くから多くの領域において独自のモデルが考案されてきた経緯がある。情報化社会の成熟期である現在,幅広い裾野をもつ情報科学における多様な分野においてさえも,不確実性下での現象を数理的に記述し,データに基づいた定量的分析を行う必要性が増している。

 一言で「確率モデル」といっても,その本質的な意味や粒度は各個別領域ごとに異なっている。統計物理学や数理生物学で現れる確率モデルでは,物理的な現象や実験的観測結果を数理的に記述する過程において不確実性を考慮し,さまざまな現象を説明するための描写をより精緻化することを目指している。一方,統計学やデータサイエンスの文脈で出現する確率モデルは,データ分析技術における数理的な仮定や確率分布関数そのものを表すことが多い。社会科学や工学の領域では,あらかじめモデルの抽象度を規定したうえで,人工物としてのシステムやそれによって派生する複雑な現象をモデルによって表現し,モデルの制御や評価を通じて現実に役立つ知見を導くことが目的となる。

 昨今注目を集めている,ビッグデータ解析や人工知能開発の核となる機械学習の分野においても,確率モデルの重要性は十分に認識されていることは周知の通りである。一見して,機械学習技術は,深層学習,強化学習,サポートベクターマシンといったアルゴリズムの違いに基づいた縦串の分類と,自然言語処理,音声・画像認識,ロボット制御などの応用領域の違いによる横串の分類によって特徴づけられる。しかしながら,現実の問題を「モデリング」するためには経験とセンスが必要であるため,既存の手法やアルゴリズムをそのまま適用するだけでは不十分であることが多い。

 本シリーズでは,情報科学分野で必要とされる確率・統計技法に焦点を当て,個別分野ごとに発展してきた確率モデルに関する理論的成果をオムニバス形式で俯瞰することを目指す。各分野固有の理論的な背景を深く理解しながらも,理論展開の主役はあくまでモデリングとアルゴリズムであり,確率論,統計学,最適化理論,学習理論がコア技術に相当する。このように「確率モデル」にスポットライトを当てながら,情報科学の広範な領域を深く概観するシリーズは多く見当たらず,データサイエンス,情報工学,オペレーションズ・リサーチなどの各領域に点在していた成果をモデリングの観点からあらためて整理した内容となっている。

 本シリーズを構成する各書目は,おのおのの分野の第一線で活躍する研究者に執筆をお願いしており,初学者を対象とした教科書というよりも,各分野の体系を網羅的に著した専門書の色彩が強い。よって,基本的な数理的技法をマスターしたうえで,各分野における研究の最先端に上り詰めようとする意欲のある研究者や大学院生を読者として想定している。本シリーズの中に,読者の皆さんのアイデアやイマジネーションを掻き立てるような座右の書が含まれていたならば,編者にとっては存外の喜びである。

2018年11月

編集委員長 土肥 正

【関連情報】

【おすすめ本】

在庫は時期によりまして変動することがございますので、ご了承ください。