科学技術と共に歩む

1.　アルゴリズムの自動微分
　1.1　自動微分
　1.2　数値微分と自動微分
　1.3　数式微分と自動微分
　1.4　アルゴリズムの例
　1.5　自動微分の歴史
　章末問題
2.　アルゴリズムと計算グラフ
　2.1　アルゴリズムと関数
　　2.1.1　用語
　　2.1.2　アルゴリズムと関数
　　2.1.3　微分と形式的微分
　2.2　計算モデルとアルゴリズム記述言語
　　2.2.1　計算モデル
　　2.2.2　アルゴリズム記述言語
　　2.2.3　数値的に計算可能なアルゴリズム
　2.3　基本演算と要素的偏導関数
　　2.3.1　基本演算と要素的偏導関数
　　2.3.2　要素的高階偏導関数
　　2.3.3　基本演算の拡張
　2.4　計算過程
　　2.4.1　計算ステップと中間変数
　　2.4.2　計算過程
　　2.4.3　入力変数,中間変数,定数の間の半順序
　2.5　アルゴリズム実行の計算量
　2.6　計算グラフと流れグラフ
　　2.6.1　グラフと用語
　　2.6.2　Ｋantorovichグラフ
　　2.6.3　計算グラフと部分計算グラフ
　　2.6.4　流れグラフ
　　2.6.5　データ依存関係グラフ
　章末問題
3.　自動微分と高速自動微分
　3.1　偏導関数計算の計算グラフによる表現
　　3.1.1　合成関数の微分
　　3.1.2　計算グラフ上での合成関数の微分
　　3.1.3　最短路アルゴリズムとの関係
　3.2　偏導関数の行列積による表現
　　3.2.1　計算過程の引数の水増し表現
　　3.2.2　偏導関数の行列積による表現
　3.3　ボトムアップ型自動微分ー前進型自動微分
　　3.3.1　概要
　　3.3.2　計算過程によるBU算法の記述
　　3.3.3　部分計算グラフのBU拡大によるBU算法の記述
　　3.3.4　勾配およびヤコビ行列の計算
　　3.3.5　疎なヤコビ行列の計算
　　3.3.6　行列計算による解釈
　　3.3.7　2階偏導関数の計算
　　3.3.8　BU算法における行列基本演算
　3.4　トップダウン型自動微分ー高速自動微分
　　3.4.1　概要
　　3.4.2　計算過程によるTD算法の記述
　　3.4.3　部分計算グラフのTD拡大によるTD算法の記述
　　3.4.4　勾配およびヤコビ行列の計算
　　3.4.5　疎なヤコビ行列のTD算法による計算
　　3.4.6　行列計算による解釈
　　3.4.7　ラグランジュ乗数による解釈
　　3.4.8　式による高速自動微分の表現
　　3.4.9　2階偏導関数の計算
　　3.4.10　TD算法における行列基本演算
　3.5　基本算法の変種ー遅延評価
　3.6　自動微分の計算量
　　3.6.1　自動微分の計算量の評価
　3.7　自動微分における注意
　3.8　反復法、陰関数の自動微分
　　3.8.1　反復法の微分
　　3.8.2　陰関数の微分
　3.9　高階微分とテイラー展開
　　3.9.1　1変数高階微分ーべき級数展開
　3.10　計算グラフの縮小
　　3.10.1　計算グラフの縮小の目的
　　3.10.2　可縮部分グラフ
　　3.10.3　可縮部分グラフの族
　　3.10.4　傘の抽出アルゴリズム
　　3.10.5　丸め誤差推定との関係
　3.11　計算時間と領域の交換
　　3.11.1　TD算法の計算時間と領域のトレードオフ
　　3.11.2　領域削減法1ーVolinの方法
　　3.11.3　領域削減法2ーGriewankの方法
　　3.11.4　領域削減法3ーShiriaevの方法
4.　計算誤差評価、区間演算、精度保証
　4.1　浮動小数点数体系
　　4.1.1　浮動小数点数表現
　　4.1.2　浮動小数点数の演算規則
　4.2　計算誤差推定
　　4.2.1　計算誤差評価式
　4.3　ノルムの問題
　　4.3.1　ノルムの問題と反復停止条件
　　4.3.2　ノルムの問題の解決
　4.4　区間演算、機械区間演算
　4.5　丸め誤差の上界の保証
　4.6　精度保証付き数値計算
　章末問題
5.　実現方法
　5.1　実現法の概観
　5.2　ボトムアップ型自動微分の実現法
　　5.2.1　AD型記述変数の抽出
　　5.2.2　基本演算実行の例への分解
　　5.2.3　偏導関数値計算実行文の生成
　5.3　トップダウン型自動微分の実現法
　　5.3.1　静的な記述の場合
　　5.3.2　計算グラフをヒープ上に構築する場合
　　5.3.3　計算グラフをスタックに格納する場合
　　5.3.4　計算グラフを構築しない方法
　5.4　プリプロセッサ、プリコンパイラ
　5.5　オペレータオーバローディングの機能を用いた実現
　　5.5.1　BU算法のためのクラス定義
　　5.5.2　TD算法のためのクラス定義
　　5.5.3　丸め誤差評価法
　　5.5.4　高階偏導関数値計算への拡張
　章末問題
6.　応用
　6.1　非線形方程式系解法
　　6.1.1　非線形方程式系への適用例
　6.2　非線形最適化
　　6.2.1　非線形最適化問題
　　6.2.2　最適化問題の解法
　　6.2.3　非線形最適化の応用例
　6.3　システム同定
　6.4　行列式の微分と逆行列
　6.5　常微分方程式の初期値問題の近似解の精度保証
　　6.5.1　常微分方程式の初期値問題
　　6.5.2　べき級数解法（Taylor展開法）
　　6.5.3　精度保証
　　6.5.4　保証区間の改良
　6.6　感度解析
　引用・参考文献
　索引