科学技術と共に歩む

脳は可変抵抗体である。可変抵抗が世の中を変える，機械学習の時代が来た。ニューロモルフィックコンピューティングの時代である。メモリ自身が演算するIn-memory computing構造の脳回路をつくる時代である。

機械学習は，機械（コンピュータ）がデータから認識や分類，予測，意味抽出などの曖昧処理を効率的に実行する人工知能（AI）の部分集合である。具体的には，入力uと出力yの写像関係(u;y)をメモリの内部に学習で記憶し，未知なる写像関係を連想することである。この連想写像問題には，入力uから出力yへの写像関係を生成する順問題と，出力yから入力uへの写像関係を生成する逆問題がある。例えば，対応関係(個人名,個人番号)を記憶し，個人番号から個人名を引き出す探索処理ならば，大規模な汎用メモリを構築すればよい。このような管理と整理の探索問題は，インターネットを含む現状の情報技術（IT）を使えば解決できる。機械学習は，曖昧な対応関係(個人名,個人の顔)，(楽譜,音の波)，(楽器,音の波)などの連想，特に逆問題を解く機械を構築することである。無限大の資源があれば，すべての曖昧な対応関係をすべて記憶しておけばよいので，どんな逆問題も解くことはできる。しかし，この場合の連想写像問題は，機械学習ではない。機械学習の手法には，例えば，対応関係(t;sin(ωt))に対して，sin(ωt)の部分データから全体データを想起，予測するデータ学習法がある。また，その部分データから周波数成分ω=2πfに関係するパラメータを抽出する問題もある。すなわち，系の構造（トポロジー）条件と発振条件を含め，系の状態方程式の既知あるいは未知なる係数を学習するパラメータ学習法である。

今は，ビッグデータの時代ではある。しかし，デジタルのビッグデータを構成する基本データは，物理現象から出現するアナログデータである場合が多い。ビット精度が求められるデジタル世界とは異なるアナログ世界のビッグデータである。また，基本データを生成する最適な回路構造は，データのみからは生成できない場合も多い。回路は，その閉路構造に意味がある。ビッグデータの連想写像を実行する全体の脳回路を構築する場合でも，核となる個のニューロンの基本構造をつくることが重要となる。基本となる元回路はHodgkin-Huxley回路（HH回路）である。HH回路は，電流あるいは電圧を入力し，コンダクタンスGが電圧v，時間tによって変わる脳の基本回路である。本書では，HH回路における複雑なパルス生成過程に関する記述は割愛し，HH回路の工学的回路モデルであるHHモデルについて述べる。本書において，脳回路は，HHモデル集合のプログラマブル結合によるアナログメモリ計算機かつIn-memory computingであると考える。

回路の基本素子の値が学習的に可変にできることで，アナログとデジタルの回路理論が変わり，コンピュータの構造が変わる。日本では，学習素子を含むニューロン回路について記述している本は少ないのが現状である。デジタル時代の今日では，ビッグデータを対象とすることが重要である。機械学習のなかでも，深層学習が注目されている。特に，GoogleのTensorFlowやBERTによる深層学習は，ウェブ検索最適化や画像音声認識，自然言語処理（翻訳）などインターネットサービスを支えるデジタルのコア技術となっている。TensorFlowは，Python言語によるAIプログラミングで，インターネットを介して適切なライブラリをインポートすることができる。AI技術を身につけるために，TensorFlow技術を学ぶことの重要性は非常に高い。一般に，機械学習は，デジタルの情報技術の世界で実行されるアルゴリズム，すなわち，記憶と演算が分離した逐次計算機上で実行される。そのため，ビッグデータの規模の増大化に伴い，ソフトやハードの資源も膨大化する可能性が高い。また，一般に，元々デジタルデータは，高精度化に伴い，費用や消費電力，時間が増大化する可能性が高い。深層学習のデジタルLSI化技術や逐次計算の並列処理化の研究も進んではいる。Google社開発のTPUも有効に活用されると思われる。しかし，デジタルによる機械学習は，費用対効果の問題を常に抱えている。膨大な深層構造を有する機械学習は，一般には，膨大なGPU（積和演算）と膨大な消費電力を必要とする。

TensorFlowの基本処理は，計算処理の計算グラフへの写像である。計算グラフは，浮動小数点データの局所的計算処理を含む節点と節点間の偏微分要素を重みとする枝からなる木構造グラフである。木構造グラフは閉路を含まないグラフである。計算グラフは，任意の非線形関数の処理とその微分処理を自動的に扱うことができる数理グラフである。計算グラフは，当然，デジタル計算処理と記憶処理，特に，膨大な分岐処理の存在を条件とする。しかし，木構造グラフは，変数の増大化に伴い指数関数的に増大するグラフである。

他方，機械学習を回路グラフで構築する試みがある。回路グラフは，複数の木と複数の閉路を含む構造である。その意味で，まったく計算グラフとは異なる。機械学習回路であるCellularFlowは，そのうちの一つの機械学習システムである。アナログのCellularFlowは，簡単に表現すれば，電流を流せば，環境の抵抗が決定される学習可能な脳回路である。デジタルソフトの世界では，CellularFlowは，if文のない回路記述によるSPICE的回路シミュレータである。CellularFlowは，HHモデルの集合を包含するニューロモルフィックコンピューティングのシステムである。

回路は，一般に，節点と，節点間に抵抗，コンデンサ，インダクタの枝を包含するグラフである。機械学習の世界では，これらの基本回路素子に，ダイナミックヒステリシス素子であるメモリスタを加える必要がある。メモリスタは，1972年にChuaによって考えられていた素子であるが，物理的には，新たな基本回路素子といえるかどうかは不明である。しかし，メモリスタは，履歴の不揮発記憶が可能な抵抗変化素子として，新しい回路理論が展開され，すでに，LSI上で実現された事実は大きい。メモリスタは，抵抗，コンデンサ，インダクタとは異なる新しい回路記述素子を有し，そのダイナミックヒステリシス動作は，欧米を中心に，回路理論やデバイス理論，計算機理論，通信理論などに変革を起こしている。メモリスタを利用して，記憶と演算を融合したIn-memory computingあるいはComputational memoryの3次元LSI構築が現実化されつつある。抵抗変化素子として相変化メモリ素子（PCM）もある。本書で記述される可変抵抗素子（抵抗変化素子）は，メモリスタ以外のデバイスであってもよいが，本書の内容は，メモリスタの回路記述素子を使用して論じられる。少なくとも，メモリスタには，回路理論的に，非常に興味深いダイナミックヒステリシス動作が論じられてきた経緯がある。それは，コンダクタンス成分がon状態とoff状態の間を連続巡回的に変化する動作で，電圧vと時間tに依存するシナプスの基本動作である。そのため，抵抗，コンデンサ，インダクタからなる既存回路に，置換的，あるいは非置換的にメモリスタを新たに加わえて，新たなる回路理論を構築する必要性がある。学習的に可変にできる素子を包含する回路理論である。メモリスタのダイナミックヒステリシス動作を利用した新しい回路動作が生成される可能性もある。例えば，発振器では，回路の出力信号が教師信号に交点同期し自律信号を自動的に生成できる。

メモリスタには，高抵抗（1状態）か低抵抗（0状態）の状態がある。そして，その状態遷移の高速性の高さから，その不揮発性メモリ化が進んでいる。LSI産業界は，すでに，その不揮発性メモリ化の競争の時代に入った。メモリ構造の各交点にスイッチ素子を置くクロスバー構造の実現である。クロスバー構造は，脳内の樹状突起と軸索に対応する横ワード線と縦ワード線からなるメモリ構造である。その各交点に存在する基本演算処理を有効化または無効化することによってネットの任意構造がプログラマブルに構築される。クロスバー構造のスパイキングニューラルネットワークのIn-memoryのLSIとして，例えば，米IBM社が開発したTrueNorthがある。可変コンダクタンス化も進められている。

メモリスタ交点配置のクロスバー構造は，アナログ回路である場合，基本的には，複雑な演算器を必要としない配線工程（BEOL）で形成される。認識，分類の基本処理となる積和演算は，コンダクタンスGと電圧vとの積i=Gvの電流和で生成される。このとき，メモリスタコンダクタンスGの変動分を小さくできれば，その積和演算の精度は，低消費電力となるアナログ計算の精度で十分であるといえる。メモリスタは，学習素子である。脳回路をLSIで構築する場合，デジタルを核とする場合とアナログを核とする場合とは，核の世界が逆転する。TensorFlowを使用すると，ADが入力側，DAが出力側となるが，CellularFlowでは，DAが入力側，ADが出力側となり，アナログ核は，メモリスタ集合となる。技術の連続性の良さを重視するならば，デジタル核を基本とするほうがよいが，メモリ回路の各交点に積和演算のデジタル演算器を配置することになるので，膨大な資源（演算器）を必要とする。アナログ核を基本とするならば，メモリ回路の各交点に，メモリスタを配置すればよいことになる。また，ソフトの世界では，可変抵抗素子の仮定の存在だけで，学習処理を回路モデルとして構築できる。すなわち，脳回路を解析するSPICEシステムを構築することができる。ニュートン法を基本とする節点方程式の構築である。深層学習では，重みを求める最適化アルゴリズムとして，ADAM法，あるいはBFGS法が有効に活用されている。これらは，ニュートン法にも深く関係し，ヤコビ行列Jの逆行列問題，あるいはヘッセ行列Hによるその近似問題に帰着する数理手法である。ここでは，逆行列の直接的な計算を避ける高速積和演算手法が利用されている。CellularFlowのSPICE的回路シミュレータにおいても，重みを求める最適化アルゴリズムが包含されている。その最適化アルゴリズムは，回路の各節点とアース間に仮想コンデンサを挿入し，ヤコビ行列Jを対角優位な節点コンダクタンス行列に変換する緩和法である。これも，逆行列の直接的な計算を避ける回路シミュレーション的手法であって，ニューロ的高速積和演算による疎行列手法である。本書では，そのシミュレーション結果を含めてその手法を簡単に記述する。

CellularFlowは，計算機構造と回路解析のアナログ状態空間において，キルヒホッフの法則とオームの法則に支配される節点方程式を基本とする。CellularFlowは，節点方程式内にある各電流積項（オームの法則）の電流和（キルヒホッフの電流則）を基本ニューロンの結合でつくるアナログ計算機である。CellularFlowは，節点方程式の構造をそのままIn-memory computingの配線工程による構造でつくることになる。深層構造，閉路構造を含む任意のグラフ構造を対象とする。このとき，基本ニューロンである生物的なHH回路を学習連想の処理が可能な工学的なHHモデルに変更する必要がある。そのため，その学習処理では，ジャイレータ動作が元々包含する順伝搬処理と逆伝搬処理を利用している。ジャイレータ動作は，単純なスイッチング制御で形成される。逆伝搬処理で学習し，順伝搬処理で連想を実行する。基本ニューロンは，ジャイレータニューロンと呼ばれ，カレントミラー（電流複写）によるジャイレータ動作となる。ジャイレータニューロンは，ジャイレータ回路の相互コンダクタンスをメモリスタに置換して構成される回路となる。相互コンダクタンスのプログラマブルな結合でアナログ計算機が構成される。そして，機械学習回路は，そのジャイレータニューロンの組合せで構成される。回路解析上では，ジャイレータニューロンは，一つの回路モデルとして構成され，それがHHモデルである。順伝搬回路と逆伝搬回路を含む機械学習回路は，交点同期の学習を可能とする。ここで，交点同期の学習とは，回路の出力信号が教師信号に時系列的に複数の交点を一致させる処理で，回路の重みをコンダクタンスとして決定する処理である。この学習を使えば，ほぼ万能的に，例えば，種々の周波数を含む音の波の基本部が数個のメモリスタに長期的かつ不揮発的に記憶される。この学習は回路のパラメータ学習法であって，いわばニューロンスパイクの密度あるいは位相を変える基本処理となる。

メモリスタのダイナミックヒステリシス軌道は，メモリスタのデバイスに依存する。すなわち，メモリスタのコンダクタンスは，そのダイナミックヒステリシス動作を支配する学習方程式の収束動作点で決まることになる。しかし，本書では，デバイスに依存する学習方程式を直接解析することの記述はない。本書では，メモリスタのコンダクタンスは，Hebb則に従って変化し，回路出力信号と教師信号との誤差が零，すなわち損失関数が最小となることで決まるとしている。

本書では，基本的な回路理論を記述し，ジャイレータニューロンのダイナミックジャイレータ動作の意義を記述する。そして，新しい回路記述素子として，メモリスタの抵抗変化の動作を重要視し，パラメータ学習法を記述する。抵抗とインダクタのメモリスタへの置換による学習法である。非置換の学習法も記述する。ジャイレータニューロン回路を包含するフィルタ，発振器の機械学習について記述する。ブール関数に対応するファジー関数の連想写像についても簡単に記述する。そのファジー関数の利用によって，アナログの連想写像回路が，データからのラベル情報に対応する真理値表を使って合成できる。

深層学習系では，主流となっている残差ネットワークなどにおいて，いわば，アナログ連続時間の微分処理（ダイナミクス処理）が空間的な深層方向の離散差分に展開される。このような深層方向への展開によって，shortcut結合が存在しても，誤差逆伝搬による学習が可能となっている。節点方程式によるアナログ回路では，閉路内の枝コンダクタンスを求める学習過程は，連続時間の微分処理である。その回路構造は，層結合であっても，大規模な疎行列で表現される浅層のメモリ構造となる。本書では，深層学習に関しては，深い議論はできない。深層学習のアナログ回路化と長期短期記憶（LSTM）の回路について，回路化の問題点を含めて，簡単に記述する。最後に，SPICEアルゴリズムに基づく損失関数の最小化問題を論じる。

本書では，各章において，ダイナミックジャイレータ動作を含むHHモデルの順伝搬動作と逆伝搬動作が記述されている。機械学習の処理は，シナプスの重みを教師信号の振幅情報から取得し，脳回路の基本となる節点セル内の可変コンダクタンスとして埋め込む処理となる。その意味で，本書では，大規模な脳回路の核となる小規模な節点セル集合の基本構成のみを扱うことになる。順伝搬回路と逆伝搬回路では入出関係が逆転するので，読者は，その節点セル集合の回路的仕組みを理解するのに苦しみを感じるかもしれない。しかし，それを理解すれば，読者は，新しい独自の万能的回路を創発する可能性も高い。本書を通じて，脳回路を実現するためには，可変コンダクタンスの不揮発記憶化とHHモデル集合のクロスバー回路化が重要であると認識できるようになる。

回路は工学の言語である。

瑞宝中綬章を受賞した徳島大学の牛田明夫名誉教授とは，SPICEアルゴリズム研究に関し，長年に渡って議論してきました。今も，その議論がおおいに生かされています。再度心より感謝申し上げます。また，「回路は工学の言語である」ことに常々，理解していただいている法政大学の斎藤利通教授，同大学の鳥飼弘幸教授，東京都市大学の神野健哉教授に心より感謝申し上げます。また，画像符号化のコード化に尽力して頂いた中京大学の青森久准教授にも感謝申し上げます。本書の内容は，博士・修士課程の学生諸君の研究がおおいに生かされている。最後に，携わった学生諸君のご努力に感謝申し上げます。

2023年3月
著者一同