エントロピーの幾何学

シリーズ 情報科学における確率モデル 5

エントロピーの幾何学

これまでの形式とは異なる情報幾何学(τ-情報幾何学)が作れるということを平易に解説。

ジャンル
発行年月日
2019/05/10
判型
A5
ページ数
206ページ
ISBN
978-4-339-02835-5
エントロピーの幾何学
在庫あり

定価

3,300(本体3,000円+税)

カートに入れる

購入案内

  • 内容紹介
  • まえがき
  • 目次
  • レビュー
  • 著者紹介
  • 広告掲載情報

測度論的確率論,十分統計量の説明に加え,本書では,測度空間に特別な平行移動を導入することでアファイン空間を構成し,そのうえで幾何学を展開することにより,指数型分布族と非指数型分布族を同時に取り扱える枠組みを提供した。

情報科学において,データの入出力関係やノイズそのものに対して確率モデルを考えることは,いまや常識となって久しい。さらに,深層学習の発展により,なぜ深層学習がうまく機能するのかという理論的解析やそのアルゴリズムの改良に際してもいまでは確率・統計的な考察は必要不可欠なものとなっている。

ところで,確率モデルを考えるうえで,これまで考えられてきたものはおもに指数型分布族が中心であった。しかし,自然言語処理で前処理として重要な役割を持っているword2vecの高速化のために登場してきたnegative samplingの手法では,負例の登場確率が小さなものでもある程度選ばれやすくするために,その確率をべき乗した後,規格化して得られるエスコート分布を用いることで,さらなる性能の向上が図られている。さらに,通常generative adversarialnetwork(GAN)の学習は不安定になりやすいが,安定した学習が可能なWasserstein GANが提案されたことにより,指数型分布族のみならず非指数型分布族も容易に考察することができるようになってきた。このような状況のなか,確率モデルとしてニューラルネットワークを考えるとき,確率・統計の取扱いについてある程度深く知っておくことが重要になってきている。特に,海外の研究者の書く関連分野の論文等では,測度論的確率論に基づく記述も非常に多い。一方,国内に目を向ければ,むしろ避けられているようでさえある。このような状況を少しでも改善し,さらに確率モデルを記述し,そのモデルについて考察することを容易にするためには,どこかで一度必要な範囲で測度論的確率論に触れる必要がある。そこで本書では,測度論的確率論を,Radon-Nikod´ym の定理の証明を理解することを目標に紹介することにした。このRadon-Nikod´ymの定理は,確率密度関数が存在することを保証するものとして見ることもできるが,現代では条件付き確率の存在を保証する定理として,より重要性を増している。他書を参照することなく,本書のみで理解できるように丁寧な式変形と解説を心掛けたが,うまくいっただろうか。

さらに,パラメトリックな確率モデルを考えるときに必要になる母数(分布を特徴付けるパラメータ)の推定に関して必要となる十分統計量の説明も行った。この部分は,文献18) のpp.1–7に基づいているが,定義や定理等の書き方および証明については,文献19) のpp.111–120を参考にしている。しかし,どちらも初めて数理統計学に接する者には読みにくいため,より証明を詳細に記述することで,できるだけ行間を読まなくても済むように配慮した。

さて,確率モデルを考えるうえで,まず必要になることは確率分布についての知識である。指数型分布族に関しては,甘利俊一氏により整理され発展してきた指数型分布族に対する情報幾何学が,その後,多くの研究者によりいまも活発に研究されている。この情報幾何学を用いることで,推定量の有効性やem アルゴリズム,ターボ符号,Boltzmann machineやニューラルネットワークの情報幾何学など多くの展開がなされている。そこで重要な役割を演じるのは拡張された一般化Pythagorasの定理である。この定理の威力により,さまざまな問題が幾何学的に理解できるようになり,直感的な理解が可能となっている。すなわち,e-射影とm-射影による交互正射影である。
一方で,非指数型分布族については,いまだ定番となった幾何学は存在していない。そこで本書では,測度空間に特別な平行移動を導入することでアファイン空間を構成し,そのうえで幾何学を展開することにより指数型分布族と非指数型分布族を同時に取り扱うことができるような枠組みを提供することで,確率分布族についての普遍的な性質をとらえるための舞台を紹介することにした。この型の情報幾何学を甘利らの情報幾何学と区別するためにτ -情報幾何学と呼んでいるが,読者が甘利らの情報幾何学に関する書籍であると勘違いすることを恐れたため,本書のタイトルは“エントロピーの幾何学” とした。本書で紹介するτ-情報幾何学は,甘利らの情報幾何学とは,τ =1のときにα=1,τ=0のときにα=−1に対応している。しかし,パラメータτとαとでは,その役割がまったく異なることに注意する必要がある。パラメータτは確率分布族を決定し,さらにエントロピーやダイバージェンスも決定してしまう。これに対してパラメータαは双対接続を表現するために導入され,α-ダイバージェンスのパラメータα とは無関係に設定することができる。最近では,甘利らの情報幾何学は,江口真透氏により提案されたものであるが,まず凸関数を一つ与え,それに基づいてダイバージェンスを構成し,このダイバージェンスからさまざまな幾何学的量を導出していくスタイルが主流である。

最後に,本書の測度論的確率論の部分と十分統計量の部分を丁寧に読み貴重なコメントをお寄せいただいた福岡大学の天羽隆史氏に感謝いたします。もし,その部分に誤り等があればもちろん筆者の責任であることはいうまでもないことである。また,本書の執筆を勧めていただいた広島大学の栗田多喜夫氏に感謝いたします。最後に,コロナ社には,筆者の遅筆にも関わらず辛抱強く待っていただいたことに感謝いたします。

2019年3月 田中 勝

1. 本書の構成

2. 測度と確率
2.1 可測空間と測度空間
2.2 用語の一般的な定義
2.3 Rieszの表現定理
2.4 Radon-Nikodymの定理
 2.4.1 Lebesgueの分解定理の証明
 2.4.2 Radon-Nikodymの定理の証明
2.5 確率測度
2.6 Dirac測度と離散確率

3. τ-アファイン空間
3.1 τ-関数
3.2 τ-アファイン構造
 3.2.1 アファイン空間
 3.2.2 平行移動
 3.2.3 測度空間
 3.2.4 十分統計量
3.3 アファイン座標系とτ-アファイン共役
 3.3.1 τ-対数尤度
 3.3.2 スコア関数
 3.3.3 τ-アファイン共役

4. 経路順序確率

5. 縮約と計量
5.1 縮約
5.2 計量
5.3 Koszul接続と双対接続
5.4 接空間TpRΩの直交分解
5.5 Cramer-Raoの不等式

6. くり込みとエントロピー
6.1 素朴なエントロピー(発散)
6.2 くり込み
6.3 エントロピー(有限)
6.4 縮約と期待値
6.5 Havrda-CharvatエントロピーとRenyiエントロピー
6.6 ダイバージェンス

7. τ-情報幾何学におけるq-正規分布
7.1 q-正規分布
7.2 q-正規分布のBayes表現

8. τ-アファイン構造の多重性
8.1 τ-変換
8.2 q-正規分布のτ-変換

9. 非加法的エントロピー
9.1 恒等式と非加法性
9.2 べき型分布と相互情報量

10. 加法的エントロピーへの変換
10.1 加法性の回復
10.2 スケール座標の役割

11. ホログラフィー原理
11.1 計量とホログラフィー原理
11.2 加法・非加法変換

12. τ-平均

引用・参考文献
索引

読者モニターレビュー【H様】

まえがきを読むと,『エントロピーの幾何学』というユニークなタイトルは,読者が誤って,甘利俊一氏によって創始された情報幾何(指数型分布族という確率分布のある特別なクラスにおける幾何)の本だと勘違いして本書を手にとることを防ぐためにつけたと書かれている。
では,『エントロピーの幾何学』とは,一体どんな種類の幾何について書かれた本なのか? 実は本書は,情報幾何等,これまでの幾何ではうまく取り扱えなかった非指数型分布族の幾何を展開した本なのである。
おりしも世間は,空前の人工知能(AI)ブームに沸いている.多くの研究者の手により開拓されてきた情報幾何の道具たちは,推定量の有効性評価,ニューラルネットの解析,破滅的忘却を防ぐ正則化項など,人工知能研究に欠くことのできないツール群の一翼を担っているため,情報幾何に対する若い人々のまなざしは日に日に熱さを増している。
こうしたなか,本書は,τ-情報幾何と名付けられた新しい幾何を展開する.情報幾何が,正規分布のような,我々にとって馴染みのある確率分布の幾何を教えてくれたように,τ-情報幾何は,q-正規分布などの,べき型の確率分布の幾何を教えてくれる。q-正規分布などのべき型の確率分布は,非加法的エントロピーの世界とつながっていて,そこでは物理学における非平衡現象や,カオス,フラクラルなどがあらわれる.大変魅力的な幾何なのである。
しかも,本書は,スケール変換を駆使して,加法的エントロピーと非加法的エントロピーを行き来する方法を教えてくれる。当たり前のように書かれているが,大学で統計物理を学んだばかりの学部生に,加法的エントロピーと非加法的エントロピーを行き来する方法がある,なんて教えたら,眼をぱちくりさせて驚くだろう。それだけに留まらない。第11章では,このエントロピーの加法・非加法変換が,素粒子論・宇宙論に登場するホログラフィー原理(AdS/CFT対応)と関連することが示唆される。

参考:田中勝先生の講演スライド「非加法的エントロピーを加法的エントロピーにする方法 ーAdS/CFT対応の情報幾何バージョンー 」
[http://www2.itc.kansai-u.ac.jp/~afujioka/talk/tanaka.pdf]

本書を読めば,機械学習,物理,数学の分野で,我々が親しんでいる世界の先に,全く新しい未開の沃野が広がっていたことに気付かされるだろう。

田中 勝(タナカ マサル)

掲載日:2020/01/31

2020情報・人工知能・経営工学書目録 広告

掲載日:2020/01/29

日本信頼性学会誌 2020年1月号広告

掲載日:2020/01/14

数学セミナー 2020年2月号広告

掲載日:2019/12/01

現代思想 2019年12月号 広告



『シリーズ 情報科学における確率モデル』ラインナップ
  1. 統計的パターン認識と判別分析
  2. 栗田多喜夫・日高章理 共著 発売中!!
  3. ボルツマンマシン
  4. 恐神貴行 著 発売中!!
  5. 捜索理論における確率モデル
  6. 宝崎隆祐・飯田耕司 共著 発売中!!
  7. マルコフ決定過程-理論とアルゴリズム-
  8. 中出康一 著 発売中!!
  9. エントロピーの幾何学
  10. 田中 勝 著 発売中!!
  11. 確率システムにおける制御理論
  12. 向谷博明 著 発売中!!
  13. システム信頼性の数理
  14. 大鑄史男 著 発売中!!

以下続刊
  • マルコフ連鎖と計算アルゴリズム
  • 岡村寛之 著
  • 確率モデルによる性能評価
  • 笠原正治 著
  • ソフトウェア信頼性のための統計モデリング
  • 土肥 正・岡村寛之 共著
  • ファジィ確率モデル
  • 片桐英樹 著
  • 高次元データの科学
  • 酒井智弥 著
  • 最良選択問題の諸相 -秘書問題とその周辺-

  • 確率的ゲーム理論

  • ベイズ学習とマルコフ決定過程
刊行のことば

 われわれを取り巻く環境は,多くの場合,確定的というよりもむしろ不確実性にさらされており,自然科学,人文・社会科学,工学のあらゆる領域において不確実な現象を定量的に取り扱う必然性が生じる。「確率モデル」とは不確実な現象を数理的に記述する手段であり,古くから多くの領域において独自のモデルが考案されてきた経緯がある。情報化社会の成熟期である現在,幅広い裾野をもつ情報科学における多様な分野においてさえも,不確実性下での現象を数理的に記述し,データに基づいた定量的分析を行う必要性が増している。

 一言で「確率モデル」といっても,その本質的な意味や粒度は各個別領域ごとに異なっている。統計物理学や数理生物学で現れる確率モデルでは,物理的な現象や実験的観測結果を数理的に記述する過程において不確実性を考慮し,さまざまな現象を説明するための描写をより精緻化することを目指している。一方,統計学やデータサイエンスの文脈で出現する確率モデルは,データ分析技術における数理的な仮定や確率分布関数そのものを表すことが多い。社会科学や工学の領域では,あらかじめモデルの抽象度を規定したうえで,人工物としてのシステムやそれによって派生する複雑な現象をモデルによって表現し,モデルの制御や評価を通じて現実に役立つ知見を導くことが目的となる。

 昨今注目を集めている,ビッグデータ解析や人工知能開発の核となる機械学習の分野においても,確率モデルの重要性は十分に認識されていることは周知の通りである。一見して,機械学習技術は,深層学習,強化学習,サポートベクターマシンといったアルゴリズムの違いに基づいた縦串の分類と,自然言語処理,音声・画像認識,ロボット制御などの応用領域の違いによる横串の分類によって特徴づけられる。しかしながら,現実の問題を「モデリング」するためには経験とセンスが必要であるため,既存の手法やアルゴリズムをそのまま適用するだけでは不十分であることが多い。

 本シリーズでは,情報科学分野で必要とされる確率・統計技法に焦点を当て,個別分野ごとに発展してきた確率モデルに関する理論的成果をオムニバス形式で俯瞰することを目指す。各分野固有の理論的な背景を深く理解しながらも,理論展開の主役はあくまでモデリングとアルゴリズムであり,確率論,統計学,最適化理論,学習理論がコア技術に相当する。このように「確率モデル」にスポットライトを当てながら,情報科学の広範な領域を深く概観するシリーズは多く見当たらず,データサイエンス,情報工学,オペレーションズ・リサーチなどの各領域に点在していた成果をモデリングの観点からあらためて整理した内容となっている。

 本シリーズを構成する各書目は,おのおのの分野の第一線で活躍する研究者に執筆をお願いしており,初学者を対象とした教科書というよりも,各分野の体系を網羅的に著した専門書の色彩が強い。よって,基本的な数理的技法をマスターしたうえで,各分野における研究の最先端に上り詰めようとする意欲のある研究者や大学院生を読者として想定している。本シリーズの中に,読者の皆さんのアイデアやイマジネーションを掻き立てるような座右の書が含まれていたならば,編者にとっては存外の喜びである。

2018年11月

編集委員長 土肥 正