シリーズ情報科学における確率モデル 9 ベイズ学習とマルコフ決定過程

シリーズ情報科学における確率モデル 9

ベイズ学習とマルコフ決定過程

中井達千葉大名誉教授工博著

ベイズの定理に基づく学習と，それをもとにした部分観測可能なマルコフ決定過程を詳述

ジャンル

発行年月日: 2022/03/25

判型: A5

ページ数: 232ページ

ISBN: 978-4-339-02839-3

在庫あり

2営業日以内に出荷致します。

定価

3,740円(本体3,400円+税)

カートに入れる

購入案内

内容紹介
まえがき
目次
レビュー
著者紹介
書籍紹介・書評掲載情報
広告掲載情報

本書は，直接に知ることのできない状態に関する情報を解析するための基本的な方法として用いられるベイズの定理に基づく学習と，それをもとにした部分観測可能なマルコフ決定過程の基本的な結果と応用についてまとめた。

【本書の構成】
1章「確率と確率過程」：本書で必要となる確率と確率過程の基本的な用語と性質について簡単に解説する。

2章「確率的順序関係」：ベイズの定理にもとづく学習を解析する上で基本となる確率的順序関係について、とくに必要となる尤度比順序を中心に述べる。

3章「マルコフ決定過程」：多段階決定過程を解析する手法である動的計画法と最適性の原理を説明し，マルコフ決定過程の基本的性質についてまとめる。

4章「ジョブサーチと確率的逐次割当問題」：マルコフ決定過程のひとつである期待値最大化問題であるジョブサーチと確率的逐次割当問題を中心に説明する。

5章「学習と情報」：部分観測可能なマルコフ連鎖を中心に，ベイズの定理にもとづく学習による事前分布と事後分布の関係などをまとめる。

6章「部分観測可能な2状態マルコフ決定過程」：部分観測可能な2状態マルコフ決定過程として，逐次解析や探索問題をはじめ最適停止問題などについて解説する。

7章「部分観測可能な逐次割当問題」：部分観測可能なマルコフ決定過程としてジョブサーチや確率的逐次割当問題，最適選択問題を取り上げ，その基本的な性質を解析する。

多段決定過程を解決する数学的な方法として，動的計画法（dynamic programming）がベルマン（R. Bellman）により創始され，その初期の結果が1950年代末には書物としてまとめられた。この動的計画法は，確率的多段決定過程に応用され，特にマルコフ決定過程についていろいろと研究されている。その中で，状態を直接に知ることができない部分観測可能なマルコフ決定過程（POMDP）については多くの研究が進められ，1982年にはモナハン（G.Monahan）によるサーベイ論文が発表されている。このような部分観測可能なマルコフ決定過程は，確率的多段決定過程を考えるうえで重要な問題であり，理論的な発展と多くの場面での応用が開発されている。この部分観測可能なマルコフ決定過程において，直接に知ることのできない状態に関する情報を解析するための基本的な方法は，ベイズの定理をもとにしたものである。本書では，ベイズの定理に基づく学習と，それをもとにした部分観測可能なマルコフ決定過程の基本的な結果と応用について著すことを目的としたものである。

マルコフ決定過程については，数多くの書籍や研究があるが，本書では動的決定過程の基本的な性質を解説し，あわせて部分観測可能なマルコフ決定過程を解析するために必要な確率的順序関係と，その性質を解説することに主眼をおいた。1章では，本書で必要となる確率と確率過程の基本的な用語と性質について簡単に述べる。2章では，部分観測可能なマルコフ決定過程において，ベイズの定理に基づく学習を解析するうえで基本となる確率的順序関係について解説する。このような確率的順序関係は，待ち行列理論や取替問題をはじめ数理ファイナンスなどいろいろな分野で用いられているが，本書では特に必要となる尤度比順序を中心に述べる。3章では，多段決定過程を解析する手法である動的計画法と最適性の原理を解説し，マルコフ決定過程の基本的性質についてまとめる。4章では，ジョブサーチと確率的逐次割当問題を中心に，マルコフ決定過程の一つである期待値最大化問題を解説する。この確率的逐次割当問題は，1970年代からいろいろと解析され，最近では新たなアプローチで研究されている。5章では，部分観測可能なマルコフ連鎖を中心に，ベイズの定理に基づく学習による事前分布と事後分布の関係などをまとめる。6章では，部分観測可能な2状態のマルコフ決定過程として，逐次解析や探索問題をはじめ最適停止問題などについて解説する。7章では，部分観測可能なマルコフ決定過程としてジョブサーチや確率的逐次割当問題，最適選択問題を取り上げ，その基本的な性質を解析する。

マルコフ決定過程や部分観測可能なマルコフ決定過程については，すでに多くの著書や論文があり，本書を執筆するにあたり，多くの文献を参考にさせていただいた。基本的な予備知識としては，大学1年次での線形代数，微分・積分と初歩の確率論と数理統計学を仮定しているが，必要に応じて学習していただければと思う。

本書を執筆するにあたって，執筆する機会を与えてくださり，いろいろなご助言をいただいた本シリーズ編集委員長である広島大学大学院工学研究科教授土肥正氏と，いろいろアドバイスをいただいた愛知大学名誉教授玉置光司氏に，この場を借りて心より感謝申し上げます。さらに，学校法人本山学園理事長室山義正氏にはいろいろお世話になり感謝いたします。また，本シリーズ担当委員には，原稿を丁寧に見ていただき，多くのミスを指摘していただきました。この場を借りて感謝いたします。

2022年1月
中井　達

1．確率と確率過程
1.1　確率と確率変数
　1.1.1　確率空間
　1.1.2　確率変数
　1.1.3　期待値（平均）と分散
　1.1.4　同時分布と周辺分布
　1.1.5　独立
　1.1.6　確率変数の和
　1.1.7　特性関数
　1.1.8　極限定理
1.2　条件付き確率と期待値
　1.2.1　条件付き確率
　1.2.2　条件付き期待値
1.3　確率分布
　1.3.1　二項分布
　1.3.2　ポアソン分布
　1.3.3　一様分布
　1.3.4　指数分布
　1.3.5　ガンマ分布
　1.3.6　正規分布
1.4　計数過程
　1.4.1　確率過程
　1.4.2　ポアソン過程
　1.4.3　到着時間間隔
　1.4.4　非斉次ポアソン過程
　1.4.5　ポアソン過程の合成
1.5　マルコフ連鎖とマルコフ過程
　1.5.1　マルコフ連鎖
　1.5.2　チャップマン–コルモゴロフ方程式
　1.5.3　離散時間マルコフ過程
1.6　連続時間の確率過程
　1.6.1　連続時間マルコフ連鎖
　1.6.2　チャップマン–コルモゴロフ方程式
　1.6.3　コルモゴロフの方程式
　1.6.4　出生死滅過程

2．確率的順序関係
2.1　確率順序
2.2　故障率関数と順序
　2.2.1　故障率関数
　2.2.2　故障率順序
2.3　尤度比順序
2.4　尤度比順序とTP_2
　2.4.1　TP_2
　2.4.2　MTP_2
　2.4.3　シフト尤度比順序
2.5　関数類による順序関係

3．マルコフ決定過程
3.1　動的計画法
　3.1.1　多段決定過程
　3.1.2　最適方程式
　3.1.3　最適性の原理
3.2　多段決定過程
　3.2.1　確率的多段決定過程
　3.2.2　定常政策とマルコフ決定過程
　3.3　割引のあるマルコフ決定過程
　3.3.1　最適方程式
　3.3.2　最適政策
　3.3.3　逐次近似法
　3.3.4　政策反復法
3.4　最適支出問題
　3.4.1　アウトカムと確率過程
　3.4.2　確定的最適支出問題
3.5　マルコフ過程の最適支出問題

4．ジョブサーチと確率的逐次割当問題
4.1　ジョブサーチ
　4.1.1　関数T_F(z)とS_F(z)
　4.1.2　最適方程式と最適政策
　4.1.3　リコールのあるジョブサーチ
4.2　確率的逐次割当問題
　4.2.1　ハーディの補題
　4.2.2　確率的逐次割当問題
　4.2.3　マルコフ連鎖の確率的逐次割当問題
　4.2.4　割引のある確率的逐次割当問題
4.3　ポアソン過程の確率的逐次割当問題
4.4　最適選択問題

5．学習と情報
5.1　ベイズの定理
　5.1.1　ベイズの定理
　5.1.2　事前分布と事後分布
5.2　共役分布族
　5.2.1　ポアソン分布
　5.2.2　指数分布
　5.2.3　期待値が未知の正規分布
5.3　部分観測可能な2状態マルコフ連鎖
　5.3.1　2状態マルコフ連鎖
　5.3.2　学習プロセス
　5.4　部分観測可能なマルコフ連鎖
　5.4.1　可算状態のマルコフ連鎖
　5.4.2　事前情報と事後情報
5.5　部分観測可能なマルコフ過程
　5.5.1　離散時間マルコフ過程
　5.5.2　事前情報と事後情報
　5.5.3　正規分布に基づくモデル
5.6　一度に複数の値を観測する学習プロセス
　5.6.1　独立な確率変数の場合
　5.6.2　MTP_2の場合

6．部分観測可能な2状態マルコフ決定過程
6.1　逐次解析
6.2　探索問題
　6.2.1　目的物が動かない場合
　6.2.2　マルコフ連鎖の探索問題
6.3　部分観測可能な2状態マルコフ決定過程
　6.3.1　部分観測可能な2状態マルコフ連鎖
　6.3.2　部分観測可能な最適停止問題
　6.3.3　部分観測可能な取替問題

7．部分観測可能な逐次割当問題
7.1　部分観測可能なジョブサーチ
7.2　部分観測可能な確率的逐次割当問題
7.3　部分観測可能な最適選択問題

おわりに
引用・参考文献
索引

読者モニターレビュー【もろ様（ご専門：電気電子系◦情報系）】

本書はマルコフ決定過程について包括的に書かれている。これは大学院生以上向けであり、微分・積分、線形代数、数理統計学、確率の知識を要する。

本書の特徴は、各章はそれの研究者によって書かれており非常に専門的ということである。私はこれまで何冊かこの類の本を読んできたが、最も深く丁寧に説明されていると感じた。また、定義や定理などは線で区切られているためどこにあるか一目でわかるようになっている。さらに、注釈やコラムが数多く乗せられており、読者の理解を深めるものや興味をひくものが数多くある。

一方、本書の残念な点は例や図が少ないということである。そのため、数学を苦手とする人は一度上記に記した知識を復習したうえで取り組むことを勧める。例や図を多く取り入れることができれば、初学者が読んでも理解することができると感じた。改訂する際には是非とも検討していただきたい。