線形システム同定の基礎 - 最小二乗推定と正則化の原理 -

次世代信号情報処理シリーズ 3

線形システム同定の基礎 - 最小二乗推定と正則化の原理 -

線形システムに対象を絞り,初学者が動的システムの推定の基礎を理解できるよう構成した。

ジャンル
発行年月日
2021/08/16
判型
A5
ページ数
256ページ
ISBN
978-4-339-01403-7
線形システム同定の基礎 - 最小二乗推定と正則化の原理 -
在庫あり
2営業日以内に出荷致します。

定価

4,070(本体3,700円+税)

カートに入れる

電子版を購入

購入案内

  • 内容紹介
  • まえがき
  • 目次
  • レビュー
  • 著者紹介
  • 書籍紹介・書評掲載情報
  • 広告掲載情報

観測した信号は,どのようなシステムから生成されたのか.それを知ることは,信号処理の様々な応用で重要になる.本書は観測データから動的システム(差分方程式に従うシステム)を推定するシステム同定について,その理論的基礎と発展的な内容をまとめたものである.

■本書の特徴
 本書はモデルのパラメータ推定方法として,最小二乗法と正則化最小二乗法の二つに特化した解説を行っている.したがって各種の推定方法を網羅しているわけではないが,その分丁寧な説明を行い,統計に関する基礎的な概念を理解できるよう留意した.特に,システム同定に関する和書で,正則化最小二乗法についてここまでの解説を行うものはこれまでにない.システム同定のためのスパース正則化・カーネル正則化に興味を持たれた方は是非一読していただきたい.なお,付録としてMATLABのソースコードも掲載しているため,その有効性を直ちに検証できる点も本書の特徴の一つである.

■本書の構成
1章「システム同定とは」では,システム同定という学問が扱う内容と歴史を概観する.
2章「線形システム」では,本書で扱う線形システムの導入を行う.特に,時間進み演算子を用いた表現を導入する.
3章「線形システムのモデル」では,ノイズまで含めた線形システムのモデル構造についてまとめる.また,確率過程の基礎についても触れる.
4章「予測誤差法によるパラメータ推定」では,3章で導入した種々のモデルのパラメータを調整する方法として,予測誤差法,特に最小二乗法を導入する.また,最尤法や不偏推定などを含む統計学の概念をいくつか導入し,最小二乗法との関連について説明する.
5章「モデル選択」では,3章で導入したモデルのどれを利用するべきかについて,データから選択する規準をいくつか紹介する.
6章「逐次同定・適応フィルタリング」では,データが逐次的に与えられるという状況でパラメータを適応的に調整する手法を紹介する.
7章「正則化最小二乗法とベイズ推定」では,最小二乗法に代わるパラメータ調整法として正則化最小二乗法を導入する.特に,一般的な形式と,古典的な例としてのridge正則化について説明する.また,最尤法に対応するものとしてベイズ推定を導入する.
8章「システム同定のためのカーネル正則化」では,有限インパルス応答モデルの推定において使われるカーネル正則化を説明する.ただし紙面の都合上再生核ヒルベルト空間に関する話は省き,正則化最小二乗法の観点からの導入を行う.
9章「スパース正則化」では,同じく有限インパルス応答を対象とし,スパース正則化とそこで利用される最適化手法についての説明を行う.
付録では,本書で使用する線形代数に関する補足(逆行列補題や正定値行列の性質など)と,MATLAB実装を記す.

著者らが本書の初稿を書き上げた2020年8月では,新型コロナウイルス感染症(COVID-19)の感染者数は連日のようにニュースで取り上げられていた。これまでの感染者数データから将来の動向を予測しようとするのは素朴で自然な発想であり,政策決定においても有意義であるので,感染症の専門家,非専門家それぞれからさまざまな予測が算出された。個人的な見解であるが,感染症の専門家が用いるモデル(Susceptible-Infected-Recovered model, SIRモデル)は実際の挙動をおおむねよく再現し,予測性能も高いように思う。

奇しくもこの事実は,第三次AIブームとして深層学習で大きく盛り上がった社会に冷静さを取り戻させるきっかけとなったように感じる。深層学習はきわめて強力な手法であり,目覚ましい応用例を数多く上げた。著者らの私見であるが,深層学習の発展に伴い「機械学習の知識さえあれば,どのような現象についてもデータのみから適切なモデルを構築することができる」という過信のようなものが世間に蔓延しているように感じていた。しかし現実には,感染症の専門家が理論から構築したモデルを上回る性能を持つものを,データのみから構築することはまったく容易ではない。モデリングにおいて,専門家のドメイン知識は重要な役割を果たすのである。

では,ドメイン知識さえあればそれでよいのだろうか。こと動的システム(過去の入力・出力がつぎの出力にも影響を及ぼすシステム)については,それほど簡単な話でもない。動的システムでは,ノイズの取扱いに応じてパラメータの適切な調整方法が変化し得るからである。例えば,今週の新規感染者数自身に誤差があると考えて未知の「真の今週の感染者数」に応じて来週の感染者数が決まるとするのか,計測された「今週の感染者数」自身に直接依存して来週の感染者数が決まるとするのかで,適切なパラメータ調整方法は変化する。一般には後者のほうがパラメータ調整は容易になるが,前者のほうが適切であると感じる読者もいるだろう。両者の利点・欠点を明確に説明できるだろうか。

こうした議論を行うためには,やはりシステム同定,すなわち動的システムの推定に関する基礎的な知識は欠かせない。本書では線形システムに対象を絞り,初学者がこれ1冊でシステム同定の基礎的な事項を理解できるように議論を構成した。1章では,モデリングの考え方とシステム同定の歴史,本書の流れを概観する。その後2章で,本書で対象とする線形システムに関する基礎事項を列挙する。なお,紙面の都合で周波数領域での表現については割愛し,時間領域での表現に議論を絞っている。3章では,前述したノイズの扱いについて線形システムの場合の議論を示す。その後,4章でパラメータを調整する方法として予測誤差法を導入し,その統計的性質と最尤推定としての解釈についてまとめる。5章では,モデルの複雑さ(パラメータ数)をデータからどのように決定するべきかの基礎事項を議論する。6章は逐次同定・適応フィルタリングとして,適応的にパラメータを時々刻々更新する方法を導入する。7章では,最尤推定以外のパラメータ調整方法として正則化最小二乗法(ベイズ推定)を導入する。特に7章は一般的な枠組みと,最も基礎的なものであるridge正則化を説明する。その後,8章と9章で2種類の正則化としてカーネル正則化とスパース正則化を導入する。付録として,行列についての基礎事項とMATLABでのシミュレーション実装の例をまとめた。なお,9章と付録の対応する部分を永原が,それ以外を藤本が担当した。

本書の構成は,1章と付録を除くと,おおむね三つの系統に分けることができる。一つ目はシステム同定の最も基礎的な部分といえる,2~4,7章である。システムの記述方法,モデルの分類,パラメータ調整の方法(最尤推定・ベイズ推定)を説明しているのがこれらの章であり,初学者はまずこれらの章を理解することに努めたい。二つ目は,システム同定の応用上重要で,少し範囲の違う領域でも一般に使うことができると思われるモデル選択と逐次同定をまとめた5,6章である。モデル選択はモデリング一般において主要な課題であるし,逐次同定におけるLMS(Least Mean Squares)アルゴリズムは,深層学習で用いられる確率的勾配降下法と深い関連がある。これらの知識を身につければ,少し異なる分野を学ぶ際も参考になるだろう。そして三つ目が,最新の議論をまとめた8,9章である。これらはシステム同定の最新の議論を理論面,実装面から解説したものであり,他の章に比べるとやや難易度が高い。著者らの知る限り,これらの発展的な手法をまとめたシステム同定の教科書は,和書ではほとんどない。これらの理論を身につけ,理論の発展,実社会への応用に活かしてもらえれば望外の喜びである。

最後に,本書を執筆する機会を与えてくださり,また初稿に対して有益なコメントをいただきました「次世代信号情報処理シリーズ」監修の東京農工大学田中聡久先生に厚く御礼申し上げます。また,編集段階で大変参考になるご指摘をくださった慶應義塾大学の湯川正裕先生,校正に協力していただいた北九州市立大学の永原・藤本研究室の学生たち,そして本書の完成を辛抱強く待ってくださったコロナ社に心より感謝申し上げます。

2021年6月
藤本悠介・永原正章

1. システム同定とは
1.1 システムとモデル
1.2 モデリングの分類
1.3 システム同定の歴史
1.4 本書の構成
1.5 記号の定義

2. 線形システム
2.1 線形システムの表現
 2.1.1 時間進み演算子を用いた表現
 2.1.2 z変換を用いた表現
 2.1.3 状態空間を用いた表現
 2.1.4 インパルス応答と畳込みを用いた表現
 2.1.5 周波数応答によるシステムの表現
 2.1.6 本書で利用するシステム表現
2.2 極と零点

3. 線形システムのモデル
3.1 確率過程の基礎
 3.1.1 ガウス分布の基礎
 3.1.2 白色性と有色性
 3.1.3 エルゴード性
3.2 ノイズの加わり方から分類するモデル
 3.2.1 Output Errorモデル
 3.2.2 Auto Regressive eXogenousモデル
 3.2.3 Finite Impulse Responseモデル
 3.2.4 有色雑音の影響を受けるモデル
 3.2.5 モデル構造のまとめ

4. 予測誤差法によるパラメータ推定
4.1 一段先予測
 4.1.1 OEモデルの場合
 4.1.2 FIRモデルの場合
 4.1.3 ARXモデルの場合
 4.1.4 その他の場合
4.2 予測誤差法
 4.2.1 OEモデルにおける最小二乗法
 4.2.2 FIRモデルにおける最小二乗法
 4.2.3 ARXモデルにおける最小二乗法
4.3 最尤推定との関連
 4.3.1 統計的推定の基礎知識
 4.3.2 最尤推定の基礎
 4.3.3 予測誤差法の統計的解析

5. モデル選択
5.1 赤池情報量規準
5.2 AICの注意点
5.3 ベイズ情報量規準
5.4 バリデーションによるモデル選択

6. 逐次同定・適応フィルタリング
6.1 勾配法を利用した手法
 6.1.1 勾配法の基礎
 6.1.2 LMSアルゴリズムとその周辺
6.2 逆行列補題を利用した手法
 6.2.1 RLSアルゴリズム
 6.2.2 忘却係数を用いたRLSアルゴリズム

7. 正則化最小二乗法とベイズ推定
7.1 過適合
7.2 バイアス-バリアンス分解と過適合
7.3 正則化最小二乗推定
 7.3.1 正則化最小二乗推定の幾何学的解釈
 7.3.2 ridge正則化の統計的性質
7.4 ベイズ推定の基礎
 7.4.1 離散確率変数でのベイズ推定
 7.4.2 連続確率変数でのベイズ推定
7.5 ベイズ推定と正則化の関連
7.6 クロスバリデーションによる正則化パラメータの調整

8. システム同定のためのカーネル正則化
8.1 本章の設定と正則化最小二乗法での定式化
8.2 ベイズ推定としての解釈
8.3 最適な二次正則化
8.4 インパルス応答推定のためのカーネル
 8.4.1 Diagonal-Correlatedカーネル
 8.4.2 Tuned-Correlatedカーネル
 8.4.3 Stable-Splineカーネル
8.5 カーネルが満たすべき諸条件
8.6 ハイパーパラメータの調整

9. スパース正則化
9.1 スパースモデリング
 9.1.1 スパースなインパルス応答
 9.1.2 スパース正則化
 9.1.3 軟しきい値作用素
 9.1.4 \ell^{1}正則化の解のスパース性
9.2 最適化アルゴリズム
 9.2.1 ブロック座標緩和
 9.2.2 反復縮小しきい値アルゴリズム
 9.2.3 アルゴリズムの高速化
 9.2.4 正則化パラメータの選択
9.3 一般化エラスティックネット正則化

付録
A.1 逆行列に関する公式
A.2 対称行列の性質
A.3 正定値行列の性質
A.4 MATLABによる実装例
 A.4.1 入力信号の設計
 A.4.2 ノイズを含む出力の生成
 A.4.3 最小二乗法の実装
 A.4.4 カーネル正則化の実装
 A.4.5 スパース正則化の実装
引用・参考文献
索引

読者モニターレビュー【しんくん 様(ご専門:数値解析学)】

私は今までシステム同定という分野に馴染みはありませんでした.しかし,時系列解析や数理統計学の基礎について,紙面の多くを割いて説明されている本書籍のおかげで,昨今流行りの深層学習の手法等と関連させながら,このシステム同定という分野を俯瞰できるようになりました.特に,結果だけでなく,数式による説明が適宜加えられるとともに,詳細に深く入り込みすぎない書き方が入門に最適であると感じました.また,入門的な内容のみならず,ベイズ統計による正則化の解釈,スパース正則化の最適化アルゴリズムにまで言及した和書は他に例を見ず,貴重であると思われます.ゆえに,線形システム同定論のみならず,時系列解析や機械学習を異なる視点から眺めることができるため,幅広い分野の研究者にとって,本書籍は持っていて損はない代物だと言えるでしょう.

読者モニターレビュー【 清水 元喜 様(理化学研究所、ご専門:計算論的神経科学)】

本書はシステム同定の基礎について、線形システムに焦点を絞り初学者にも読みやすく書かれた入門書である。評者は工学部出身ではないためそもそもモデリングやシステム同定とはなにか、という基礎概念・用語に対して馴染みが薄かったが、第1章にて簡潔かつわかりやすい概論が述べられた上で第2章・第3章にて特に線形システムに関する基本的な用語の定義やモデルの分類が導入されており、線形システム同定という分野の基礎概念について効率よく理解することができた。第4章からはいよいよ実際に観測値からシステム同定を行う手法の紹介が始まる。本書におけるパラメータ推定は基本的には予測誤差法、すなわち予測誤差を最小化するようなパラメータを推定する手法を用いており、その中でも解析的な取り扱いが容易な最小二乗法に基づく推定手法が重点的に解説される。この最小二乗法が統計学的に解釈すれば(独立同分布な)ガウス雑音を仮定した最尤推定に同値であること、(特定の条件下で)不偏性・一致性・有効性という「良い」条件を持つこと、がわかりやすく説明されている。統計学の既習者にとっては良い応用問題として読むことができ、またシステム同定という具体例を通じて統計的推定について学習しようという読者にとっても本書の記述は明確かつ丁寧なものだろう。第6章では逐次同定(昨今では「オンライン学習」という言い方で耳にすることのほうが多いかもしれない)が、第7章〜第9章では正則化項を設けた推定手法が紹介されている。正則化項(あるいは事前分布)を考慮した推定自体は決して珍しいものではないが、線形システム同定において具体的にどのような正則化項を用いるのが良いかについて詳細に触れられている点が本書の特長であり、実用家にとっては本書の白眉といえるかもしれない。第5章は適切なモデルがわかっていない状況での選択法について述べられており、全体の流れからはやや外れるがこちらも実用上は重要であろう。AIC・BIC・バリデーションについて簡潔に紹介がされている。巻末には簡潔にMATLABによる実装例まで付されている。
全体として、線形システム同定および統計的推定に興味がある幅広い読者に受け入れられる良書である。

読者モニターレビュー【Hernia Baby 様(業務内容:車両制御・信号処理・振動騒音開発等)】

本書は線形システム同定について理論的な導出から発展した内容までを網羅的に解説した入門書である。
3つの大きな流れで章が分かれている。
1~3章において線形システムの基本的な部分を学ぶことができ、4~7章では線形システムの同定に必要なパラメータ推定の基礎を説明している。
そして8~9章では発展的な内容が書かれており、これが本書の大きな特徴である。
最先端の内容が議論されており、論文などから学ばざるを得なかった部分を簡潔・丁寧に紹介している。
本書に強調されている通り、線形システム同定を対象としてここまでわかりやすく説明されている物は殆どない。

かなり簡単には書いてあるが、難易度としては大学数学レベルの知識が必要である。
基本的な数学を学ぶには、次世代信号情報処理シリーズ1「信号・データ処理のための行列とベクトル- 複素数,線形代数,統計学の基礎 -(コロナ社)」を用いると親和性が良いと思われる。
また本書は手法等を説明した後に統計的な性質や関連性を述べている点も興味深い。
これは昨今ブームであるAIの基本的な部分であり、機械学習を学ぶものにも有用である。

MATLABによる実装例は最後に付録として掲載されている。
使い方としては一通り本書を読んだ後に実装してみるといった感じである。
実装部分を増やしてほしいところだが、ページ数的には今の厚さがちょうどいい。
持ち運びやすさに対して必要最小限のコードが書かれているのだと思う。
実装抜きにしても非常にわかりやすく、初学者と先端技術を結ぶ素晴らしい本であるといえる。

読者モニターレビュー【つかなか 様(ご専門:制御工学)】

私は今年度の修士課程の講義で,今年度システム同定の基礎を学んだ状態であり,以下のレビューはその前提で執筆されていることをご留意ください.
本書はシステム同定の基礎知識(2~4章,7章),システム同定の応用上欠かせない知識(5~6章),そしてシステム同定の最新の議論に関する知識(8~9章)によって構成されています.序盤の基礎部分は理解に必要な説明はなされていると言え,なおかつエルゴード性などとやや抽象的概念についてはかみ砕いた説明が付されており,大変理解の助けになりました.中盤の5章以降については,やや応用的な内容の解説になりますが,あまり行間を読むことを求められることはなかったように感じます.むしろ補足説明が頁下に適宜追加され,そちらの読み応えが多いようにも感じます.なお,巻末の付録にはMATLABのサンプルコードが用意されており,自身で適宜パラメータ等を変化させながら試すことが出来る点は有難いと感じました.
全体として,初学者から最新知識を求める読者まで幅広く対応する著作であると思います.

読者モニターレビュー【ヤマダ 様(ご専門:IT分野)】

本書は次世代信号情報処理シリーズ3として,線形システムに対象を絞り,その理論的基礎から発展的な内容まで,初学者でも議論を追えるような構成で解説したものである.
本書の大きな特徴としては,システム同定の枠組みで正則化最小二乗法(カーネル正則化,スパース正則化)に関する最新の議論を理論・実践面双方からまとめており,この点本書でも強調されている通り,現時点で他の和書ではほとんど見られない.システム同定に一定の知見があり,より発展的な内容を知りたい読者にとっては一読する価値があると思われる.
とはいえ,完全に玄人向けというわけではなく,この分野が初めてという読者に対しても,特に2~4章を中心に線形システムとは何か,シンプルかつ丁寧に解説されているため,置いてけぼりにはならずに読み進められる.実際,私は機械学習,時系列解析から入った人間であるため,システム同定については専門家レベルではないが,最後まで読み進めることができた.(例えば,P35のコーヒーブレイクでは時系列解析の文脈で少し記述がなされているなど,理解の助けになる箇所もあった.)
最後にはMATLABによる実装例もついており,理論で学んだことを実装することで,より理解が深まるのではないだろうか.願わくばもう少し実装面にもページを割いて頂きたかったが,実装例抜きにしても非常に勉強になるし,この次の学習として参考文献や関連書籍を読むなどすることで,本書に挙げられたテーマを深く学ぶことができると思われる.

田中 聡久(タナカ トシヒサ)

藤本 悠介

藤本 悠介(フジモト ユウスケ)

兵庫県出身.
2018年京都大学大学院情報学研究科博士課程修了.博士(情報学).
2018年より北九州市立大学国際環境工学部情報システム工学科講師.
専門分野は制御工学,特にシステム同定とデータ駆動制御.
日本機械学会畠山賞(2012年),システム制御情報学会学会賞(2014年),SICE Annual Conference Student Travel Grant Award(2015),計測自動制御学会制御部門研究奨励賞(2016),電気学会優秀論文発表賞A(2019)など.

永原 正章

永原 正章(ナガハラ マサアキ)

愛媛県生まれ.
2003年,京都大学大学院情報学研究科博士課程修了.博士(情報学).
京都大学助手,助教,講師を経て,2016年より北九州市立大学環境技術研究所教授. また,同年よりインド工科大学の客員教授を兼任.
専門分野は制御理論と機械学習.
IEEE制御システム部門より国際賞である Transition to Practice Award(2012年) および George S. Axelby Outstanding Paper Award(2018年)をそれぞれ受賞. そのほか,計測自動制御学会や電子情報通信学会の論文賞など, 受賞多数.IEEEの上級会員 (Senior Member).
著書に Sparsity Methods for Systems and Control (Now Publishers) や「スパースモデリング」(コロナ社), 「マルチエージェントシステムの制御」(コロナ社,SICE著述賞受賞),「ネットワーク化制御」(コロナ社)などがある.

日刊工業新聞 技術科学図書(2022年3月30日) 掲載日:2022/03/30

MathWorks 「MATLAB/Simulink 関連書籍」線形システム同定の基礎 掲載日:2021/08/10

MathWorks 様にプロモーション用ページを制作いただきました。

掲載日:2023/10/16

情報処理学会誌2023年11月号

掲載日:2023/03/15

電子情報通信学会2023年総合大会プログラム広告

掲載日:2022/02/01

「電子情報通信学会誌」2022年2月号広告

掲載日:2021/10/29

日刊工業新聞広告掲載(2021年10月29日)

掲載日:2021/10/11

「計測と制御」2021年10月号広告

掲載日:2021/09/01

「電子情報通信学会誌」2021年9月号広告

掲載日:2021/08/02

「電子情報通信学会誌」2021年8月号広告

★特設サイトはこちらから★

シリーズ刊行のことば,シリーズラインアップ,著者一覧,目次がご覧いただけます

https://www.coronasha.co.jp/nextspiseries/