機械学習と回路 - 脳回路の実現に向けて -

機械学習と回路 - 脳回路の実現に向けて -

低資源・低消費電力で注目される,アナログ回路を用いた機械学習について解説。

ジャンル
発行年月日
2023/05/08
判型
B5
ページ数
260ページ
ISBN
978-4-339-02933-8
機械学習と回路 - 脳回路の実現に向けて -
在庫あり
2営業日以内に出荷致します。

定価

4,950(本体4,500円+税)

カートに入れる

電子版を購入

電子版を購入

購入案内

  • 内容紹介
  • まえがき
  • 目次
  • レビュー
  • 著者紹介
  • 書籍紹介・書評掲載情報
  • 広告掲載情報

【本書の特徴】
科学技術立国としての日本が再生し、成長を実現するためには、半導体集積回路の設計・製造の新分野において、学生を含む若い世代の研究開発者が創発的な新しい回路技術を生み出すことが重要である。
本書では、回路の各節点にニューロンを配置し、ニューロン間のシナプス素子として可変化できるメモリスタ(可変抵抗素子)を含む基本回路について論じる。本書を通じて、読者が[回路は工学の言語である]ことを認識して頂くことの一助となることを願う。

【構成と読みかた】
1章では、機械学習回路(CellularFlow)の基礎理論を記述する。Hebb則による学習の回路表現とジャイレータ・ニューロンについて論じる。読者は、1章の内容をしっかり理解することが最も重要である。読者は、少し理解に苦労すると思われる。回路の入力と出力が逆転し、流れる電流が逆方向となる複雑さがあるからである。読者は、節点方程式の回路構造がアナログ計算機となることを理解する。
2章では、フィルタと発振器の機械学習について述べる。読者は、アナログ演算回路では, 興奮性と抑制性のシナプスに対応して, その電流の方向を決定することが設計上重要となることを理解する。また、読者は、フィールドで設計した学習パラメータで回路の特性が決まることを理解する。
3章では、連想写像と機械学習回路について論じる。読者は、学習処理が、真理値表ルールと同等の対応機能で設計できることを理解する。また、読者は、回路の相互結合が、交点メモリスタの状態で形成されることを理解する。
4章では、畳み込み処理と機械学習回路について論じる。読者は、アナログ・セルラーニューラルネットワーク(A-CeNN) の帰還動作の重要性を理解する。
5章では、機械学習回路のSPICE最適化アルゴリズムについて論じる。読者は、並列処理可能な緩和法を含めた数値積分法を理解する。
6章は、本書のむすびである。読者は、抵抗Rが結晶状態によって可変となることの重要性を理解する。

【キーワード】
CellularFlow、メモリスタ、可変抵抗、脳回路、Hebb則、ジャイレータ・ニューロン、順伝搬回路、逆伝搬回路、アナログ計算機、ニューロモルフィック・コンピューティング、節点セル、SPICE、緩和法、最適化アルゴリズム

脳は可変抵抗体である。可変抵抗が世の中を変える,機械学習の時代が来た。ニューロモルフィックコンピューティングの時代である。メモリ自身が演算するIn-memory computing構造の脳回路をつくる時代である。

機械学習は,機械(コンピュータ)がデータから認識や分類,予測,意味抽出などの曖昧処理を効率的に実行する人工知能(AI)の部分集合である。具体的には,入力uと出力yの写像関係(u;y)をメモリの内部に学習で記憶し,未知なる写像関係を連想することである。この連想写像問題には,入力uから出力yへの写像関係を生成する順問題と,出力yから入力uへの写像関係を生成する逆問題がある。例えば,対応関係(個人名,個人番号)を記憶し,個人番号から個人名を引き出す探索処理ならば,大規模な汎用メモリを構築すればよい。このような管理と整理の探索問題は,インターネットを含む現状の情報技術(IT)を使えば解決できる。機械学習は,曖昧な対応関係(個人名,個人の顔),(楽譜,音の波),(楽器,音の波)などの連想,特に逆問題を解く機械を構築することである。無限大の資源があれば,すべての曖昧な対応関係をすべて記憶しておけばよいので,どんな逆問題も解くことはできる。しかし,この場合の連想写像問題は,機械学習ではない。機械学習の手法には,例えば,対応関係(t;sin(ωt))に対して,sin(ωt)の部分データから全体データを想起,予測するデータ学習法がある。また,その部分データから周波数成分ω=2πfに関係するパラメータを抽出する問題もある。すなわち,系の構造(トポロジー)条件と発振条件を含め,系の状態方程式の既知あるいは未知なる係数を学習するパラメータ学習法である。

今は,ビッグデータの時代ではある。しかし,デジタルのビッグデータを構成する基本データは,物理現象から出現するアナログデータである場合が多い。ビット精度が求められるデジタル世界とは異なるアナログ世界のビッグデータである。また,基本データを生成する最適な回路構造は,データのみからは生成できない場合も多い。回路は,その閉路構造に意味がある。ビッグデータの連想写像を実行する全体の脳回路を構築する場合でも,核となる個のニューロンの基本構造をつくることが重要となる。基本となる元回路はHodgkin-Huxley回路(HH回路)である。HH回路は,電流あるいは電圧を入力し,コンダクタンスGが電圧v,時間tによって変わる脳の基本回路である。本書では,HH回路における複雑なパルス生成過程に関する記述は割愛し,HH回路の工学的回路モデルであるHHモデルについて述べる。本書において,脳回路は,HHモデル集合のプログラマブル結合によるアナログメモリ計算機かつIn-memory computingであると考える。

回路の基本素子の値が学習的に可変にできることで,アナログとデジタルの回路理論が変わり,コンピュータの構造が変わる。日本では,学習素子を含むニューロン回路について記述している本は少ないのが現状である。デジタル時代の今日では,ビッグデータを対象とすることが重要である。機械学習のなかでも,深層学習が注目されている。特に,GoogleのTensorFlowやBERTによる深層学習は,ウェブ検索最適化や画像音声認識,自然言語処理(翻訳)などインターネットサービスを支えるデジタルのコア技術となっている。TensorFlowは,Python言語によるAIプログラミングで,インターネットを介して適切なライブラリをインポートすることができる。AI技術を身につけるために,TensorFlow技術を学ぶことの重要性は非常に高い。一般に,機械学習は,デジタルの情報技術の世界で実行されるアルゴリズム,すなわち,記憶と演算が分離した逐次計算機上で実行される。そのため,ビッグデータの規模の増大化に伴い,ソフトやハードの資源も膨大化する可能性が高い。また,一般に,元々デジタルデータは,高精度化に伴い,費用や消費電力,時間が増大化する可能性が高い。深層学習のデジタルLSI化技術や逐次計算の並列処理化の研究も進んではいる。Google社開発のTPUも有効に活用されると思われる。しかし,デジタルによる機械学習は,費用対効果の問題を常に抱えている。膨大な深層構造を有する機械学習は,一般には,膨大なGPU(積和演算)と膨大な消費電力を必要とする。

TensorFlowの基本処理は,計算処理の計算グラフへの写像である。計算グラフは,浮動小数点データの局所的計算処理を含む節点と節点間の偏微分要素を重みとする枝からなる木構造グラフである。木構造グラフは閉路を含まないグラフである。計算グラフは,任意の非線形関数の処理とその微分処理を自動的に扱うことができる数理グラフである。計算グラフは,当然,デジタル計算処理と記憶処理,特に,膨大な分岐処理の存在を条件とする。しかし,木構造グラフは,変数の増大化に伴い指数関数的に増大するグラフである。

他方,機械学習を回路グラフで構築する試みがある。回路グラフは,複数の木と複数の閉路を含む構造である。その意味で,まったく計算グラフとは異なる。機械学習回路であるCellularFlowは,そのうちの一つの機械学習システムである。アナログのCellularFlowは,簡単に表現すれば,電流を流せば,環境の抵抗が決定される学習可能な脳回路である。デジタルソフトの世界では,CellularFlowは,if文のない回路記述によるSPICE的回路シミュレータである。CellularFlowは,HHモデルの集合を包含するニューロモルフィックコンピューティングのシステムである。

回路は,一般に,節点と,節点間に抵抗,コンデンサ,インダクタの枝を包含するグラフである。機械学習の世界では,これらの基本回路素子に,ダイナミックヒステリシス素子であるメモリスタを加える必要がある。メモリスタは,1972年にChuaによって考えられていた素子であるが,物理的には,新たな基本回路素子といえるかどうかは不明である。しかし,メモリスタは,履歴の不揮発記憶が可能な抵抗変化素子として,新しい回路理論が展開され,すでに,LSI上で実現された事実は大きい。メモリスタは,抵抗,コンデンサ,インダクタとは異なる新しい回路記述素子を有し,そのダイナミックヒステリシス動作は,欧米を中心に,回路理論やデバイス理論,計算機理論,通信理論などに変革を起こしている。メモリスタを利用して,記憶と演算を融合したIn-memory computingあるいはComputational memoryの3次元LSI構築が現実化されつつある。抵抗変化素子として相変化メモリ素子(PCM)もある。本書で記述される可変抵抗素子(抵抗変化素子)は,メモリスタ以外のデバイスであってもよいが,本書の内容は,メモリスタの回路記述素子を使用して論じられる。少なくとも,メモリスタには,回路理論的に,非常に興味深いダイナミックヒステリシス動作が論じられてきた経緯がある。それは,コンダクタンス成分がon状態とoff状態の間を連続巡回的に変化する動作で,電圧vと時間tに依存するシナプスの基本動作である。そのため,抵抗,コンデンサ,インダクタからなる既存回路に,置換的,あるいは非置換的にメモリスタを新たに加わえて,新たなる回路理論を構築する必要性がある。学習的に可変にできる素子を包含する回路理論である。メモリスタのダイナミックヒステリシス動作を利用した新しい回路動作が生成される可能性もある。例えば,発振器では,回路の出力信号が教師信号に交点同期し自律信号を自動的に生成できる。

メモリスタには,高抵抗(1状態)か低抵抗(0状態)の状態がある。そして,その状態遷移の高速性の高さから,その不揮発性メモリ化が進んでいる。LSI産業界は,すでに,その不揮発性メモリ化の競争の時代に入った。メモリ構造の各交点にスイッチ素子を置くクロスバー構造の実現である。クロスバー構造は,脳内の樹状突起と軸索に対応する横ワード線と縦ワード線からなるメモリ構造である。その各交点に存在する基本演算処理を有効化または無効化することによってネットの任意構造がプログラマブルに構築される。クロスバー構造のスパイキングニューラルネットワークのIn-memoryのLSIとして,例えば,米IBM社が開発したTrueNorthがある。可変コンダクタンス化も進められている。

メモリスタ交点配置のクロスバー構造は,アナログ回路である場合,基本的には,複雑な演算器を必要としない配線工程(BEOL)で形成される。認識,分類の基本処理となる積和演算は,コンダクタンスGと電圧vとの積i=Gvの電流和で生成される。このとき,メモリスタコンダクタンスGの変動分を小さくできれば,その積和演算の精度は,低消費電力となるアナログ計算の精度で十分であるといえる。メモリスタは,学習素子である。脳回路をLSIで構築する場合,デジタルを核とする場合とアナログを核とする場合とは,核の世界が逆転する。TensorFlowを使用すると,ADが入力側,DAが出力側となるが,CellularFlowでは,DAが入力側,ADが出力側となり,アナログ核は,メモリスタ集合となる。技術の連続性の良さを重視するならば,デジタル核を基本とするほうがよいが,メモリ回路の各交点に積和演算のデジタル演算器を配置することになるので,膨大な資源(演算器)を必要とする。アナログ核を基本とするならば,メモリ回路の各交点に,メモリスタを配置すればよいことになる。また,ソフトの世界では,可変抵抗素子の仮定の存在だけで,学習処理を回路モデルとして構築できる。すなわち,脳回路を解析するSPICEシステムを構築することができる。ニュートン法を基本とする節点方程式の構築である。深層学習では,重みを求める最適化アルゴリズムとして,ADAM法,あるいはBFGS法が有効に活用されている。これらは,ニュートン法にも深く関係し,ヤコビ行列Jの逆行列問題,あるいはヘッセ行列Hによるその近似問題に帰着する数理手法である。ここでは,逆行列の直接的な計算を避ける高速積和演算手法が利用されている。CellularFlowのSPICE的回路シミュレータにおいても,重みを求める最適化アルゴリズムが包含されている。その最適化アルゴリズムは,回路の各節点とアース間に仮想コンデンサを挿入し,ヤコビ行列Jを対角優位な節点コンダクタンス行列に変換する緩和法である。これも,逆行列の直接的な計算を避ける回路シミュレーション的手法であって,ニューロ的高速積和演算による疎行列手法である。本書では,そのシミュレーション結果を含めてその手法を簡単に記述する。

CellularFlowは,計算機構造と回路解析のアナログ状態空間において,キルヒホッフの法則とオームの法則に支配される節点方程式を基本とする。CellularFlowは,節点方程式内にある各電流積項(オームの法則)の電流和(キルヒホッフの電流則)を基本ニューロンの結合でつくるアナログ計算機である。CellularFlowは,節点方程式の構造をそのままIn-memory computingの配線工程による構造でつくることになる。深層構造,閉路構造を含む任意のグラフ構造を対象とする。このとき,基本ニューロンである生物的なHH回路を学習連想の処理が可能な工学的なHHモデルに変更する必要がある。そのため,その学習処理では,ジャイレータ動作が元々包含する順伝搬処理と逆伝搬処理を利用している。ジャイレータ動作は,単純なスイッチング制御で形成される。逆伝搬処理で学習し,順伝搬処理で連想を実行する。基本ニューロンは,ジャイレータニューロンと呼ばれ,カレントミラー(電流複写)によるジャイレータ動作となる。ジャイレータニューロンは,ジャイレータ回路の相互コンダクタンスをメモリスタに置換して構成される回路となる。相互コンダクタンスのプログラマブルな結合でアナログ計算機が構成される。そして,機械学習回路は,そのジャイレータニューロンの組合せで構成される。回路解析上では,ジャイレータニューロンは,一つの回路モデルとして構成され,それがHHモデルである。順伝搬回路と逆伝搬回路を含む機械学習回路は,交点同期の学習を可能とする。ここで,交点同期の学習とは,回路の出力信号が教師信号に時系列的に複数の交点を一致させる処理で,回路の重みをコンダクタンスとして決定する処理である。この学習を使えば,ほぼ万能的に,例えば,種々の周波数を含む音の波の基本部が数個のメモリスタに長期的かつ不揮発的に記憶される。この学習は回路のパラメータ学習法であって,いわばニューロンスパイクの密度あるいは位相を変える基本処理となる。

メモリスタのダイナミックヒステリシス軌道は,メモリスタのデバイスに依存する。すなわち,メモリスタのコンダクタンスは,そのダイナミックヒステリシス動作を支配する学習方程式の収束動作点で決まることになる。しかし,本書では,デバイスに依存する学習方程式を直接解析することの記述はない。本書では,メモリスタのコンダクタンスは,Hebb則に従って変化し,回路出力信号と教師信号との誤差が零,すなわち損失関数が最小となることで決まるとしている。

本書では,基本的な回路理論を記述し,ジャイレータニューロンのダイナミックジャイレータ動作の意義を記述する。そして,新しい回路記述素子として,メモリスタの抵抗変化の動作を重要視し,パラメータ学習法を記述する。抵抗とインダクタのメモリスタへの置換による学習法である。非置換の学習法も記述する。ジャイレータニューロン回路を包含するフィルタ,発振器の機械学習について記述する。ブール関数に対応するファジー関数の連想写像についても簡単に記述する。そのファジー関数の利用によって,アナログの連想写像回路が,データからのラベル情報に対応する真理値表を使って合成できる。

深層学習系では,主流となっている残差ネットワークなどにおいて,いわば,アナログ連続時間の微分処理(ダイナミクス処理)が空間的な深層方向の離散差分に展開される。このような深層方向への展開によって,shortcut結合が存在しても,誤差逆伝搬による学習が可能となっている。節点方程式によるアナログ回路では,閉路内の枝コンダクタンスを求める学習過程は,連続時間の微分処理である。その回路構造は,層結合であっても,大規模な疎行列で表現される浅層のメモリ構造となる。本書では,深層学習に関しては,深い議論はできない。深層学習のアナログ回路化と長期短期記憶(LSTM)の回路について,回路化の問題点を含めて,簡単に記述する。最後に,SPICEアルゴリズムに基づく損失関数の最小化問題を論じる。

本書では,各章において,ダイナミックジャイレータ動作を含むHHモデルの順伝搬動作と逆伝搬動作が記述されている。機械学習の処理は,シナプスの重みを教師信号の振幅情報から取得し,脳回路の基本となる節点セル内の可変コンダクタンスとして埋め込む処理となる。その意味で,本書では,大規模な脳回路の核となる小規模な節点セル集合の基本構成のみを扱うことになる。順伝搬回路と逆伝搬回路では入出関係が逆転するので,読者は,その節点セル集合の回路的仕組みを理解するのに苦しみを感じるかもしれない。しかし,それを理解すれば,読者は,新しい独自の万能的回路を創発する可能性も高い。本書を通じて,脳回路を実現するためには,可変コンダクタンスの不揮発記憶化とHHモデル集合のクロスバー回路化が重要であると認識できるようになる。

回路は工学の言語である。

瑞宝中綬章を受賞した徳島大学の牛田明夫名誉教授とは,SPICEアルゴリズム研究に関し,長年に渡って議論してきました。今も,その議論がおおいに生かされています。再度心より感謝申し上げます。また,「回路は工学の言語である」ことに常々,理解していただいている法政大学の斎藤利通教授,同大学の鳥飼弘幸教授,東京都市大学の神野健哉教授に心より感謝申し上げます。また,画像符号化のコード化に尽力して頂いた中京大学の青森久准教授にも感謝申し上げます。本書の内容は,博士・修士課程の学生諸君の研究がおおいに生かされている。最後に,携わった学生諸君のご努力に感謝申し上げます。

2023年3月
著者一同

1.機械学習と回路基礎
1.1 言葉の定義
1.2 回路素子
 1.2.1 節点電圧と枝電圧
 1.2.2 電源
 1.2.3 受動素子と能動素子
 1.2.4 抵抗素子
 1.2.5 コンデンサ
 1.2.6 インダクタ
1.3 メモリスタとジャイレータニューロン
 1.3.1 メモリスタ
 1.3.2 メモリスタとHebb則
 1.3.3 ジャイレータニューロン
 1.3.4 Hebb則による誤差逆伝搬方式の回路表現
 1.3.5 ジャイレータニューロン集合のクロスバー設計
 1.3.6 ジャイレータニューロンの学習連想期間
1.4 受動回路の解析
 1.4.1 閉路と網路
 1.4.2 回路解析の基本法則
 1.4.3 キルヒホッフの法則
 1.4.4 網路方程式
 1.4.5 節点方程式
 1.4.6 行列式の展開
 1.4.7 重ねの理
 1.4.8 電源の等価変換
 1.4.9 RC回路と1階の微分方程式の平衡解
 1.4.10 簡単なコンダクタンス回路のニューロン集合への置換
 1.4.11 簡単なRC回路のニューロン集合への置換
 1.4.12 RLC回路と2階の微分方程式の解と性質
 1.4.13 RLC回路のニューロン集合への置換
 1.4.14 正弦波定常状態の解析
 1.4.15 ラプラス変換による解析
 1.4.16 疑似インダクタLの実現
 1.4.17 状態変数による解析

2.フィルタと発振器の機械学習
2.1 フィルタの機械学習回路
 2.1.1 オペアンプ
 2.1.2 状態変数フィルタ
 2.1.3 状態変数フィルタの機械学習回路
2.2 発振器の機械学習回路
 2.2.1 発振の原理
 2.2.2 機械学習回路における自律発振の意味
 2.2.3 疑似インピーダンスZ(s)の実現
 2.2.4 RC発振器
 2.2.5 ターマン発振器
 2.2.6 LC発振器
〔1〕コルピッツ発振器
〔2〕ハートレ発振器
 2.2.7 負性抵抗発振器
 2.2.8 アナログ演算による非線形アトラクタ発振器
 2.2.9 アナログフリップフロップ型発振器

3.連想写像と機械学習回路
3.1 学習方程式
 3.1.1 内積演算と活性化関数の意味
 3.1.2 学習方程式と汎化能力
3.2 誤差逆伝搬方式
3.3 ニューロモルフィックコンピューティング
3.4 機械学習回路の節点セルと活性化関数
 3.4.1 節点セルと順伝搬処理
 3.4.2 節点セルとカレントミラー処理
 3.4.3 区分線形関数とOTA回路との関係
 3.4.4 節点セルと逆伝搬処理
 3.4.5 ブール関数の実数関数への対応と連想写像
 3.4.6 抵抗変化型メモリの機械学習回路
 3.4.7 抵抗変化型プログラマブルロジックアレイの機械学習回路

4.畳み込み処理と機械学習回路
4.1 計算グラフと自動微分
4.2 畳み込みニューラルネットワーク(CNN)
4.3 アナログセルラーニューラルネットワーク(A-CeNN)
 4.3.1 テンプレートによる畳み込み処理
 4.3.2 線形化ニューロンによるテンプレート学習
 4.3.3 線形量子化の回路
 4.3.4 畳み込み演算による画像処理
4.4 長短期記憶(LSTM)と機械学習回路

5.機械学習回路のSPICE最適化アルゴリズム
5.1 機械学習回路の状態方程式
 5.1.1 平衡点アトラクタの安定性の判定
 5.1.2 飽和平衡解の定理の証明
5.2 SPICEアルゴリズムによる機械学習回路の解析
 5.2.1 回路素子の離散化表現
 5.2.2 ニュートン法による順伝搬回路の解析
 5.2.3 損失関数の最小化と逆伝搬回路の解析

6.むすび

引用・参考文献
索引

読者モニターレビュー【 N/M 様 (専門分野:総合情報学(情報科学))】

本書は,脳回路の実現を目指して,機械学習と回路についての記述がなされている.

この書籍のレビューを選んだ理由としては,本書のWebページにて,今何かと話題のAI(人工知能)技術を裏で支える,「機械学習」いうキーワードがタイトルに付与されており,興味をそそられたという動機で応募したが,電子工学の分野について,全くの基礎知識のない私が読むには,かなり困難を極めたのが正直な感想である.そういった特性上,おそらく電子工学や,それに関連した電子回路に関する知識のない方は,私と同じように理解が難しいだろうと,本書をパラパラとめくった時に感じてしまった次第である.これらの理由から,本書の内容を詳細には言及できないことを予め断っておく.

本書で扱われている専門用語の定義から始まり,回路の基礎や各種基本的な法則などが順を追って説明されているので,電子工学の知識のある方にとっては比較的理解しやすいのではないだろうかと思った.逆に,私のような電子工学の知識はないが機械学習に関心のある方は,活性化関数や畳み込みニューラルネットワーク(CNN)などの項目では,比較的理解しやすいのではと思われる.

また,本書を読破することによって,脳回路というものを実現するために必要な各種技術やアルゴリズム(手順)が身につくであろうと思われる.

田中 衞(タナカ マモル)

丹治 裕一(タンジ ユウイチ)

萬代 雅希(バンダイ マサキ)

電子情報通信学会 2024年2月号 掲載日:2024/02/28
「電子情報通信学会誌」107巻,2号,2023/2/1,189頁,copyright(c)2023 IEICE

掲載日:2023/09/06

電子情報通信学会2023年ソサイエティ大会プログラム

掲載日:2023/08/01

電気学会誌2023年8月号

掲載日:2023/07/01

電子情報通信学会誌2023年7月号

掲載日:2023/05/17

情報処理学会誌「情報処理」2023年6月号広告

掲載日:2023/05/01

電子情報通信学会誌2023年5月号