トピックモデルによる統計的潜在意味解析
トピックモデル(生成モデル)ついて,言語処理という具体的な問題に対して,その理論と応用をわかりやすく解説する。
- 発行年月日
- 2015/04/06
- 判型
- A5
- ページ数
- 272ページ
- ISBN
- 978-4-339-02758-7
- 内容紹介
- 目次
- レビュー
- 広告掲載情報
大量のデータの背後にある潜在的な情報を抽出する技術として,トピックモデルと呼ばれる統計モデルの研究が近年注目を集めている。本書はこれについて,言語処理という具体的な問題に対して,その理論と応用をわかりやすく解説する。
0. 本書の使い方
0.1 本書の読み方
0.2 各章と付録の説明
0.3 本書で用いる記号など
1. 統計的潜在意味解析とは
1.1 潜在的意味・トピックと潜在的共起性
1.2 潜在意味解析の歴史
1.3 統計的潜在意味解析とデータ駆動インテリジェンスの創発
1.4 確率的潜在変数モデル
1.5 確率的生成モデルとグラフィカルモデル
2. Latent Dirichlet Allocation
2.1 概要
2.2 多項分布とDirichlet分布
2.3 LDAの生成過程
2.4 LDAの幾何学的解釈
2.5 LDAの応用例
3. 学習アルゴリズム
3.1 統計的学習アルゴリズム
3.2 サンプリング近似法
3.2.1 ギブスサンプリング
3.2.2 周辺化ギブスサンプリング
3.2.3 LDAのギブスサンプリング
3.2.4 LDAの周辺化ギブスサンプリング
3.3 変分近似法
3.3.1 変分法
3.3.2 変分ベイズ法(1)
3.3.3 変分ベイズ法(2)
3.3.4 LDAの変分ベイズ法(準備)
3.3.5 LDAの変分ベイズ法(1)
3.3.6 LDAの変分ベイズ法(2)
3.3.7 LDAの変分ベイズ法(3)
3.3.8 LDAの周辺化変分ベイズ法
3.4 逐次ベイズ学習——変分近似法の場合——
3.4.1 確率的最適化と逐次学習
3.4.2 自然勾配法
3.4.3 LDAの確率的変分ベイズ法
3.5 逐次ベイズ学習——サンプリング近似法の場合——
3.5.1 粒子フィルタ
3.5.2 LDAの粒子フィルタ
3.6 Dirichlet分布のパラメータ推定
3.6.1 対称/非対称Dirichlet分布の性質
3.6.2 変分ベイズ法におけるDirichlet分布のパラメータ推定
3.6.3 固定点反復法
3.6.4 ニュートン・ラフソン法
3.6.5 逐次学習–確率的ニュートン・ラフソン法
3.6.6 周辺化ギブスサンプリング/変分ベイズ法の場合
3.7 評価方法
3.7.1 Perplexity
3.7.2 各種学習アルゴリズムにおけるPerplexityの計算方法
3.7.3 新規文書におけるPerplexityの計算方法
3.7.4 Coherence
3.8 各種学習アルゴリズムの比較
3.9 モデル選択
4. 潜在意味空間における回帰と識別
4.1 背景
4.2 潜在意味空間における回帰問題
4.2.1 正規回帰モデル
4.2.2 LDA+正規回帰モデル
4.2.3 LDA+正規回帰モデルの学習アルゴリズム
4.2.4 一般化線形モデル
4.2.5 LDA+一般化線形モデル
4.2.6 LDA+ポアソン回帰モデル
4.3 潜在意味空間における分類問題
4.3.1 LDA+ロジスティック回帰モデル
4.3.2 LDA+多クラスロジスティック回帰モデル
4.3.3 LDA+SVM
4.3.4 LDA+SVMの学習アルゴリズム
5. 拡張モデル
5.1 相関構造のモデリング
5.1.1 モデリング
5.1.2 学習アルゴリズム
5.2 系列データのモデリング——統語構造のモデリング——
5.2.1 モデリング
5.2.2 学習アルゴリズム
5.3 時系列データのモデリング
5.3.1 モデリング
5.3.2 カルマンフィルタの基礎
5.3.3 学習アルゴリズム
5.4 補助情報を考慮したモデリング
5.4.1 モデリング
5.4.2 学習アルゴリズム
付録
A.1 対数周辺尤度,KL情報量,変分下限の関係の証明
A.2 ヘッセ行列の逆行列
A.3 KL情報量とフィッシャー情報行列の関係
A.4 制約なし最適化
A.4.1 最急降下法
A.4.2 共役性
A.4.3 共役勾配法
A.5 制約付き最適化
A.5.1 ラグランジュ未定乗数法とKKT条件
A.5.2 ラグランジュ緩和と双対問題
A.6 双対座標降下法によるSVMの学習
A.6.1 SVMの双対問題
A.6.2 双対座標降下法
A.6.3 双対座標降下法の収束定理
A.7 確率的最適化
A.8 ラプラス変分ベイズ法
A.8.1 ラプラス近似と変分ベイズ法への適用
A.8.2 CTMにおけるラプラス変分ベイズ法
A.9 ベクトルと行列の基本的な演算公式
A.10 期待値,分散,共分散の基礎
A.11 正規分布の基礎
A.11.1 対称性
A.11.2 正規分布間の基本的な計算
A.11.3 多次元正規分布の条件付き確率分布
引用・参考文献
索引
kyota.t 様
まだほんの一部しか読んでませんが、私の読んだことのある機械学習系の書籍の中でももっとも説明が丁寧で、必要に応じて線形代数の公式や直感的な理解を助ける記載もあり、著者の内容を理解するためのサポートが手厚いです。
amazonレビュー
-
掲載日:2023/08/17
-
掲載日:2021/03/03
-
掲載日:2020/06/18