科学技術と共に歩む

情報科学において，データの入出力関係やノイズそのものに対して確率モデルを考えることは，いまや常識となって久しい。さらに，深層学習の発展により，なぜ深層学習がうまく機能するのかという理論的解析やそのアルゴリズムの改良に際してもいまでは確率・統計的な考察は必要不可欠なものとなっている。

ところで，確率モデルを考えるうえで，これまで考えられてきたものはおもに指数型分布族が中心であった。しかし，自然言語処理で前処理として重要な役割を持っているword2vecの高速化のために登場してきたnegative samplingの手法では，負例の登場確率が小さなものでもある程度選ばれやすくするために，その確率をべき乗した後，規格化して得られるエスコート分布を用いることで，さらなる性能の向上が図られている。さらに，通常generative adversarialnetwork（GAN）の学習は不安定になりやすいが，安定した学習が可能なWasserstein GANが提案されたことにより，指数型分布族のみならず非指数型分布族も容易に考察することができるようになってきた。このような状況のなか，確率モデルとしてニューラルネットワークを考えるとき，確率・統計の取扱いについてある程度深く知っておくことが重要になってきている。特に，海外の研究者の書く関連分野の論文等では，測度論的確率論に基づく記述も非常に多い。一方，国内に目を向ければ，むしろ避けられているようでさえある。このような状況を少しでも改善し，さらに確率モデルを記述し，そのモデルについて考察することを容易にするためには，どこかで一度必要な範囲で測度論的確率論に触れる必要がある。そこで本書では，測度論的確率論を，Radon-Nikod´ym の定理の証明を理解することを目標に紹介することにした。このRadon-Nikod´ymの定理は，確率密度関数が存在することを保証するものとして見ることもできるが，現代では条件付き確率の存在を保証する定理として，より重要性を増している。他書を参照することなく，本書のみで理解できるように丁寧な式変形と解説を心掛けたが，うまくいっただろうか。

さらに，パラメトリックな確率モデルを考えるときに必要になる母数（分布を特徴付けるパラメータ）の推定に関して必要となる十分統計量の説明も行った。この部分は，文献18) のpp.1–7に基づいているが，定義や定理等の書き方および証明については，文献19) のpp.111–120を参考にしている。しかし，どちらも初めて数理統計学に接する者には読みにくいため，より証明を詳細に記述することで，できるだけ行間を読まなくても済むように配慮した。

さて，確率モデルを考えるうえで，まず必要になることは確率分布についての知識である。指数型分布族に関しては，甘利俊一氏により整理され発展してきた指数型分布族に対する情報幾何学が，その後，多くの研究者によりいまも活発に研究されている。この情報幾何学を用いることで，推定量の有効性やem アルゴリズム，ターボ符号，Boltzmann machineやニューラルネットワークの情報幾何学など多くの展開がなされている。そこで重要な役割を演じるのは拡張された一般化Pythagorasの定理である。この定理の威力により，さまざまな問題が幾何学的に理解できるようになり，直感的な理解が可能となっている。すなわち，e-射影とm-射影による交互正射影である。
一方で，非指数型分布族については，いまだ定番となった幾何学は存在していない。そこで本書では，測度空間に特別な平行移動を導入することでアファイン空間を構成し，そのうえで幾何学を展開することにより指数型分布族と非指数型分布族を同時に取り扱うことができるような枠組みを提供することで，確率分布族についての普遍的な性質をとらえるための舞台を紹介することにした。この型の情報幾何学を甘利らの情報幾何学と区別するためにτ -情報幾何学と呼んでいるが，読者が甘利らの情報幾何学に関する書籍であると勘違いすることを恐れたため，本書のタイトルは“エントロピーの幾何学” とした。本書で紹介するτ-情報幾何学は，甘利らの情報幾何学とは，τ =1のときにα=1，τ=0のときにα=−1に対応している。しかし，パラメータτとαとでは，その役割がまったく異なることに注意する必要がある。パラメータτは確率分布族を決定し，さらにエントロピーやダイバージェンスも決定してしまう。これに対してパラメータαは双対接続を表現するために導入され，α-ダイバージェンスのパラメータα とは無関係に設定することができる。最近では，甘利らの情報幾何学は，江口真透氏により提案されたものであるが，まず凸関数を一つ与え，それに基づいてダイバージェンスを構成し，このダイバージェンスからさまざまな幾何学的量を導出していくスタイルが主流である。

最後に，本書の測度論的確率論の部分と十分統計量の部分を丁寧に読み貴重なコメントをお寄せいただいた福岡大学の天羽隆史氏に感謝いたします。もし，その部分に誤り等があればもちろん筆者の責任であることはいうまでもないことである。また，本書の執筆を勧めていただいた広島大学の栗田多喜夫氏に感謝いたします。最後に，コロナ社には，筆者の遅筆にも関わらず辛抱強く待っていただいたことに感謝いたします。

2019年3月 田中　勝