機械学習のための数学

飯塚秀明明大教授博士（理学）著

機械学習には数学が必要である。本書は機械学習を読み解くための数学を学ぶことができる。

ジャンル

発行年月日: 2024/08/26

判型: A5

ページ数: 240ページ

ISBN: 978-4-339-06132-1

在庫あり

2営業日以内に出荷致します。

定価

3,520円(本体3,200円+税)

カートに入れる

購入案内

内容紹介
まえがき
目次
レビュー
著者紹介
広告掲載情報

【書籍の特徴】
本書では，機械学習を理解するために必要な数学分野「論理，集合，線形代数，微分積分，確率・統計，最適化」について章ごとに詳解します。例えば，線形代数や微分積分は機械学習に限らず，理工系分野において基礎的な数学として位置づけられていますが，それらがどのように関連しているか，結果として，機械学習と数学がどのように関連しているか，について詳解します。

【各章について】
数学の土台である論理を1章に，そして，集合を2章にまとめています。
3章で，機械学習を議論するための土俵となるユークリッド空間について詳解します。機械学習で扱うユークリッド空間の次元数はとてつもなく大きく，例えば，カラー画像のデータセットからルールを学習するための機械学習に現れる空間の次元数は一千万を超えます。このことから，一般の次元数を有するユークリッド空間の性質を理解することが，機械学習を理解するための第一歩といえます。
4章では，線形代数について詳解します。ユークリッド空間のベクトルは行列として表現することができるので，ユークリッド空間（3章）と行列に関する理論を展開する線形代数には密接な関係（4.1節）があります。最適化理論や機械学習を理解するうえで重要な行列といえば対称行列（4.1.2項）です。機械学習に現れる関数の2回微分係数（例4.6）は対称行列です。
5章では，微分積分について詳解します。機械学習のための手法の多くは，対象の関数（7.1節）の微分情報（5.1節）を利用し，その解析のために積分の概念（5.2節）を利用します。微分可能な凸関数（5.3節）とその2回微分係数(対称行列)の関係（5.3.2項）は微分積分と線形代数の架け橋となる結果を示します。
6章では，確率・統計について詳解します。確率・統計は，データの確率分布（6.2節）の理解とその推定（6.4節）に必要な概念であり，確率変数の独立性，および，その期待値と分散の性質（6.3節）を駆使することで，機械学習のための最適化手法の解析が可能となります（7.3節）。
7章では，機械学習と最適化の関係について詳解します。ニューラルネットワークを訓練するためには，確率・統計（6章）に基づいた経験損失と呼ばれる関数を最小化することが必要です（7.1節）。特有のパラメータ（ステップサイズとバッチサイズ）の設定における確率的勾配降下法（7.3節）による多峰性を有する経験損失の大域的最小化（7.4節）は機械学習に限らず，最適化理論の観点から見ても興味深いものと思います。

【読者へのメッセージ】
本書が機械学習関連の論文を読み解こうとする方の一助を担うことができれば幸いです。また，機械学習に関連する数学分野の講義のために教壇に立たれる教員の方や機械学習を理論立てて取り組みを始めたい方に対しても本書がお役に立てれば幸いです。

【本書のキーワード】
機械学習，線形代数，微分積分，確率・統計，最適化

人工知能(AI, Articial Intelligence)は，交通事故の削減や交通の効率化のための自動運転技術，医用画像の解析による病変や疾患の検出，株価予測や不正検知に挙げられるような交通，医療，金融を含むさまざまな分野で活躍している。会話型人工知能や動画生成人工知能の急速な技術革新により，人工知能が我々の生活においてより身近な存在になっている。

人工知能開発のための手法の一つに，機械学習(machine learning)がある。機械学習は，与えられたデータからルールやパターンを学習し，それらを用いて未知のデータに対する予測や判断を行うことができる。例えば，自動運転技術に関する行動予測においては，過去の交通データを学習することで，他の車両や歩行者の行動を予測するのに機械学習が利用される。

機械学習［7章］を理解するためには\数学"が必要である。数学の土台は論理［1章］と集合［2章］である。機械学習を議論するための土俵がユークリッド空間［3章］である。機械学習で扱うユークリッド空間の次元数はとてつもなく大きい。例えば，カラー画像のデータセットからルールを学習するための機械学習に現れる空間の次元数は一千万を超える。このことから，一般の次元数を有するユークリッド空間［3.2節］の性質を理解することが，機械学習を理解するための第一歩といえる。一方で，1次元ユークリッド空間［3.1節］，つまり，実数直線を軽んじてはいけない。なぜならば，機械学習などに関する数理的手法の性能は数値化して評価されることが多いからである。

4次元ユークリッド空間のベクトルは2行2列の行列（2×2行列）として表現することができる。この事実は一般のベクトルと行列に対しても成り立つので，ユークリッド空間［3章］と行列に関する理論を展開する線形代数［4章］には密接な関係がある［4.1節］。最適化理論や機械学習を理解するうえで重要な行列といえば対称行列［4.1.2項］であろう。機械学習に現れる関数の2回微分係数［例4.3(3)，例4.6(3)］や確率変数の共分散［例4.6(4)］は対称行列である。行列特有の距離（ノルム）の測り方［4.2節］は最適化理論や機械学習のための手法の解析で役立つ。機械学習のための手法の多くは，対象の関数［7.1節］の微分情報を利用し，その解析のために積分の概念を利用する［5章］。ユークリッド空間［3.2節］上で定義される関数の微分係数（勾配）［5.1節］は，勾配降下法［7.2節］や確率的勾配降下法［7.3節］といった機械学習のための最適化手法を定義するうえで必要な概念である。さらに，微分可能な凸関数とその2回微分係数（対称行列）の関係［5.3.2項］は微分積分と線形代数の架け橋となる結果を示す。確率・統計［6章］は，データの確率分布の理解とその推定に必要な概念であり，確率変数の独立性，および，その期待値と分散の性質［6.3.2項］を駆使することで，機械学習のための最適化手法の解析が可能となる［7.3節］。機械学習のための最適化手法で利用する特有のパラメータ（ステップサイズとバッチサイズ）の設定による多峰性を有する関数の大域的最小化［7.4節］は機械学習に限らず，最適化理論の観点から見ても興味深い。

本書の読者対象は理工系の大学2年生程度の知識をもつ方を想定している。本書が機械学習関連の論文を読み解こうとする方の一助を担うことができれば，著者にとって大きな喜びである。なお，章末問題の解答は，明治大学理工学部情報科学科数理最適化研究室が管理するGitHub OrganizationのMathematical OptimizationLab. (https://github.com/iiduka-researches)からダウンロードすることができる。

本書の原稿に関して，適切な指摘と校正に協力いただいた明治大学数理最適化研究室の佐藤尚樹氏と大和田佳生氏に深く感謝する。また，本書の出版に関して，大変お世話になったコロナ社の皆様に深く御礼申し上げる。

最後に，理科系の道を志す我が息子たちにこの本を贈る。

2024年6月生田にて
飯塚秀明

1.　論理
1.1　命題と論理記号
　1.1.1　論理和
　1.1.2　論理積
　1.1.3　否定
　1.1.4　条件命題
　1.1.5　双条件命題
1.2　同値と推論
　1.2.1　真理関数
　1.2.2　命題の同値
　1.2.3　命題の推論
1.3　命題関数による命題表現
　1.3.1　全称命題と存在命題
　1.3.2　全称命題と存在命題の否定
1.4　証明
　1.4.1　対偶法
　1.4.2　背理法
　1.4.3　反例
　1.4.4　数学的帰納法
章末問題

2.　集合
2.1　集合と演算
　2.1.1　和集合
　2.1.2　積集合
　2.1.3　補集合
　2.1.4　差集合
2.2　写像と集合族
　2.2.1　写像と直積
　2.2.2　写像の合成
　2.2.3　集合族
章末問題

3.　ユークリッド空間
3.11　次元ユークリッド空間
　3.1.1　実数全体の集合と上限・下限
　3.1.2　実数列の収束性
　3.1.3　実数列の上極限と下極限
3.2　有限次元ユークリッド空間
　3.2.1　ベクトル空間
　3.2.2　内積とノルム
　3.2.3　点列の収束性
　3.2.4　閉集合と開集合
　3.2.5　連続写像
章末問題

4.　線形代数
4.1　行列全体からなるベクトル空間
　4.1.1　正方行列
　4.1.2　対称行列
　4.1.3　半正定値行列と正定値行列
4.2　行列全体からなるユークリッド空間
　4.2.1　内積とノルム
　4.2.2　行列点列の収束性
章末問題

5.　微分積分
5.1　微分可能関数
　5.1.1　偏微分係数・微分可能性・導関数
　5.1.2　連続的微分可能性・平滑性
　5.1.3　平均値の定理
　5.1.4　2次偏微分係数・2回微分可能性・ヘッセ行列
　5.1.5　2回連続的微分可能性
5.2　積分可能関数
　5.2.1　微分積分学の基本定理
　5.2.2　Taylorの定理
5.3　凸関数
　5.3.1　微分不可能凸関数と劣勾配
　5.3.2　微分可能凸関数とヘッセ行列：微分積分と線形代数の架け橋
章末問題

6.　確率・統計
6.1　確率
　6.1.1　条件付き確率と独立性
　6.1.2　同時確率と周辺確率
　6.1.3　事前確率と事後確率
6.2　確率分布
　6.2.1　確率変数と確率分布
　6.2.2　多次元確率変数と多次元確率分布
6.3　期待値・分散・共分散
　6.3.1　条件付き期待値・条件付き分散
　6.3.2　確率変数の独立性
6.4　統計
　6.4.1　母数と統計量
　6.4.2　極限定理
　6.4.3　推定
章末問題

7.　機械学習と最適化
7.1　確率・統計に基づく経験損失最小化
7.2　勾配降下法
　7.2.1　探索方向
　7.2.2　ステップサイズ
7.3　確率的勾配降下法
　7.3.1　確率的勾配
　7.3.2　確率的勾配降下法の構成
　7.3.3　確率的勾配降下法の利点
7.4　経験損失の大域的最小化のための手法
　7.4.1　減少ステップサイズ
　7.4.2　増加バッチサイズ

引用・参考文献
索引

読者モニターレビュー【 momiji_fullmoon 様（業界・専門分野：AI,コンピュータビジョン,3次元データ）】

本書は、ICMLやNeurIPSなどの機械学習の理論系の論文を読み解くために不可欠な数学的知識が体系的にまとめられており、特に線形代数、解析幾何、確率論、最適化といった幅広い基礎知識が丁寧に解説されている点に感銘を受けました。
また、連続最適化を理解するために集合論理から丁寧に積み上げていくアプローチは貴重であり、他書では得られない深い理解が促されます。数学の基礎から理論的な知見を積み重ねていくことで、実際の機械学習への応用における数学的な裏付けを体系的に学べる一冊だと感じました。

読者モニターレビュー【くりぽん様（業界・専門分野：情報）】

この本では、最終章の「機械学習と最適化」を理解するための数学的道具が第1章から書かれています。各章において、最初に定義が書かれ、その後に命題や定理が書かれるような数学書のスタイルとなっています。それゆえ、コンパクトながらも厳密な理解の助けになる一方で、そのことが数学的議論に慣れていない人にとって読みづらさに繋がるため、独学をする場合には別の本で補う必要があるかもしれません。

私はこの本で初めて機械学習を学びました。まずニューラルネットワークが何なのかが述べられ、その後に経験損失関数の最小化問題を解くための勾配降下法が書かれ、その問題点から改善案として確率的勾配降下法という流れでした。証明を必死に追いながらでしたが、機械学習周辺の分野が何をしてるのかなんとなく掴めた感じがしました。今後のために愛読させていただきたいと思います。

読者モニターレビュー【通りすがりのおばけ様（業界・専門分野：深層学習，数学）】

本書は、人工知能の中でも特に深層学習に焦点を当て、それに関連する大学1、2年生レベルの数学が丁寧に解説されていました。最後に機械学習の章があり、読者が数学的な基盤をしっかりと身につけた上で、深層学習の概念を理解できるよう配慮されています。個人的に、機械学習の章で紹介されている定理や命題に触れることで、深層学習を新たな視点から学ぶ機会を得ることができたと感じます。一般的な深層学習の書籍は、アーキテクチャーを図示し、簡略化された数式で概念を説明することが多いですが、本書では必要な前提を数学的に掘り下げ、その基礎からしっかりと理解を促すアプローチが取られているため、曖昧さを感じることなく読み進めることができました。一方で、数式ベースでの解説は非常に丁寧である反面、その大変さや証明の難しさを感じました。なので、数学に興味があり、かつ深層学習の本質を理解したいと考える方にとって、本書は非常に価値のある一冊と言えると思います！興味のある方は、ぜひ手に取ってみてください。

レビュー,書籍紹介・書評掲載情報一覧

飯塚秀明（イイヅカヒデアキ）

明治大学理工学部情報科学科教授。
東京工業大学大学院情報理工学研究科博士後期課程修了。博士（理学）。日本学術振興会特別研究員（PD），九州工業大学ネットワークデザイン研究センター准教授を経て，明治大学理工学部情報科学科准教授，2019年より現職。
専門は数理最適化。主に最適化問題，不動点問題などの基本的な非線形問題に対する反復法の理論と実用に関する研究に取り組み，著作論文が最適化分野の国際学術専門誌に数多く採択されている。近年では，連続最適化と機械学習の架け橋となる研究に取り組んでいる。
日本オペレーションズ・リサーチ学会研究賞受賞，同学会フェロー。
著書は「連続最適化アルゴリズム」（オーム社）。