JP2010541038A - ニューロナルネットワーク構造、及び、ニューロナルネットワーク構造を動作させる方法 - Google Patents

Abstract

処理部と、変数を処理部に入力する入力部と、処理した変数を処理部から出力する出力部とを具備し、処理部は、接続性マトリクスを形成するそれぞれ同一である相互接続によって、互いに相互接続されている複数のオートマトンを備え、ニューロナルネットワーク構造は、プロセス・ベースのアーキテクチャを有する、ニューロナルネットワーク構造。

Description

本発明は、相互接続された複数のオートマトンを備えたニューロナルネットワーク構造に関する。また、本発明は、そのようなニューロナルネットワーク構造を動作させる方法に関し、特に、シナプス結合により相互接続されたオートマトンのネットワークに関する。

順次処理のアーキテクチャに基づく計算は、一連の入力状態により実行され、出力状態を生成する。連続処理の表現は、かかる状態ベースのアーキテクチャにとって異質なものであり、その実現は不可能とは言えないまでも非常に困難である。そのような連続処理を実現するには、一般的に、状態ベースのアーキテクチャが入力に対処できるように連続体を多数の不連続状態へとデジタル化することが必要である。しかしながら、ほとんどの処理は、例えば、ほんの数例を挙げれば、ゴルフクラブのスイング、交通流の発生、人の交流、思考過程などのように、本質的に連続的であり、法則的な挙動を示す。一連の状態のような法則的で系統的な挙動の表現は、人工的であり、状態ベースのアーキテクチャの制限的な制約を課されるのみである。その代表的な例としては、周知のフォン・ノイマン・アーキテクチャがある。

これまでの文献では、ニューラルネットワーク／コンピュータ又はニューロナルネットワーク／コンピュータとしても知られる、ニューラル（又はニューロナル）コンピュータ・アーキテクチャを用いて、フォン・ノイマン型コンピュータ・アーキテクチャによる制約を克服するための提案がなされてきた。

Ｈｏｐｐｅｎｓｔｅａｄｔ他は、“Ｏｓｃｉｌｌａｔｏｒｙ Ｎｅｕｒａｌ Ｃｏｍｐｕｔｅｒｓ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｃｏｎｎｅｃｔｉｖｉｔｙ” （Ｐｈｙｓ． Ｒｅｖ． Ｌｅｔｔｅｒｓ Ｖｏｌ． ８２， １４， ２９８３−２９８６）において、異なる周波数を有し、外部入力により強制的に共通媒体を介して弱く接続されている発振器で構成されているニューラルコンピュータを開示している。そのような発振器はすべて一様に相互接続されているが、外部入力により動的接続性が与えられることで、脳のリズミカルな挙動を考慮した振動ニューラルネットワークが作成される。この方法は、大脳皮質を、弱自律的でありその選択的相互作用は周波数に依存する発振器のネットワークとして取り扱っている。

Ａｓｈｗｉｎ他による“Ｗｈｅｎ Ｉｎｓｔａｂｉｌｉｔｙ Ｍａｋｅｓ Ｓｅｎｓｅ”（Ｎａｔｕｒｅ， Ｖｏｌ． ４３６， ３６−３７）には、ニューラル計算システムでの状態の切り替えが不安定性によって引き起こされる、不安定なダイナミクスを用いたニューラルシステムでの情報処理が開示されている。従って、ニューラルシステムのダイナミクスは、一連の状態を調べて、例えば、特定の匂いを示す神経活動の特定のパターンを生成する。

ＥＰ０４０１９２６Ｂ１には、相互接続された複数のニューロンと、ニューロン間の情報伝達手段とを備えるニューロナルネットワーク構造が開示されている。本構造において、送信ニューロンから受信ニューロンへの情報の伝達は、ニューロン相互接続に割り当てられたシナプス係数の値によって決定され、シナプス係数のネットワークメモリアクセスが回避され、いずれの場合も入力ニューロンの数に少なくとも等しい演算の数を減少させる。

本発明は、同じく神経科学に影響を受けている状態に応じて動作する既知のニューラル計算アーキテクチャ（例えば、ホップフィールド・ネットワーク、又は、適応共鳴理論（ＡＲＴ）ネットワークなど）とは対照的に、状態よりむしろプロセスに基づき、計算がプロセスの実行で識別されるニューロナルネットワーク計算アーキテクチャを提案している。プロセスは、状態とは違って、時間依存変数の集合の連続フロー再生である。

本発明に係るプロセス・ベースのアーキテクチャは、シナプス結合により相互接続されたオートマトンのネットワークで構成されている。ネットワークのノードは、神経集団に相当するオートマトンであり、それらの時間連続的な活動（発火率）で特徴付けられる。ネットワークオートマトンのダイナミクスは、時間連続的な動的システム（積分方程式及び／又は微分方程式など）によって定義され、従って、基本的な電子的要素（例えば、電圧制御発振器、光学的発振器、レーザー、又は、他の種類の発振器、だがこれらに限らない）によって実施可能である。シナプス結合とは、オートマトン同士の結合である。プロセスは、ネットワークノード又はオートマトンの全時間的挙動により決定され、任意に高い複雑度を有する場合がある。このため、本発明のプロセス・ベースのアーキテクチャは、認知アーキテクチャと呼ばれることもある。

このように、本発明は、プロセス・ベースの方法で、時間依存性の（スカラー又はベクトル）変数の集合ｑ_１（ｔ）、ｑ_２（ｔ）、・・・、ｑ_Ｎ（ｔ）によって定義されるＮ次元システムを扱い、処理し、動作させることが可能である。各（スカラー又はベクトル）変数は、ノードの活動を示し、同時に、それ自身が高次元システムであるトータルネットワークの動的挙動も示している。本発明によれば、低次元の挙動がネットワーク変数全体に確実に生じ、高次元構造において、状態ベースの機構を参照せずに、その挙動の記述、制御、符号化が可能である。上記の意味で、プロセスは、複雑なネットワーク内での低次元の挙動の発生として理解される。

本発明によれば、ネットワークのオートマトン間の相互接続における対称性の破れにより、各結合の重み変化が可能となり、制御されたネットワークの挙動が生成される。つまり、低次元プロセスの符号化は、結合の重みの対称性の破れによって行われる。従って、本発明のニューロナルネットワーク構造のプログラミングは、符号化を実現することで行われる。これは、相互接続の対称性の操作と呼ばれることもある。また、本発明は、特定の機能が様々な重み変化により実現可能であるため、ある一定の冗長性を許容し、結果的に、コンピュータ・アーキテクチャのフレキシビリティが向上し、エラーや障害に対するロバスト性を可能とする。

本発明に係る機構によれば、物理的に存在するＮ個の動的要素のニューロナルネットワークを定義し、これらの要素をＮ^２個の有向結合（又は相互接続）を介して接続することが可能となる。そのようなニューロナルネットワークは、本発明に係るプロセス・ベースのアーキテクチャの中央演算処理装置（ＣＰＵ）として機能する。

このように、本発明は、全く新しい計算パラダイムを考案する。プロセス（連続シーケンス）は、それらの自然の枠組み内で表される、すなわち、連続プロセスに対処しているコンピュータで計算される。本発明の主要な利点の一つとして、状態ベースのアーキテクチャでは難しいと考えられていた問題の処理及び解決法が簡易化されている。機能は様々な実現で表現することができるため、機能のロバスト性は、本アーキテクチャのさらに他の主要な利点である。プログラミングのスピードと容易さは、さらなる潜在的利点である。

他の特徴及び実施例は説明及び添付図面から明らかになるであろう。

前述の特徴及び以下で説明する特徴は、明記された組み合わせのみならず、本開示の範囲から逸脱することなく、他の組み合わせ又は単独で使用可能であると理解される。

様々な実施を例として実施例を用いて概略的に図示し、図面を参照して以下に詳細に説明する。説明は、本開示の範囲を限定するものではなく、好ましい実施例の説明にすぎないと理解される。

本発明に係るプロセス・ベースのアーキテクチャを備えたニューロナルネットワーク構造を極めて概略的に示す図である。 図１のアーキテクチャの３つのシナリオを示す図であって、本発明のプロセス・ベースのアーキテクチャのフレキシビリティを示している。 図１のアーキテクチャの３つのシナリオを示す図であって、本発明のプロセス・ベースのアーキテクチャのフレキシビリティを示している。 図１のアーキテクチャの３つのシナリオを示す図であって、本発明のプロセス・ベースのアーキテクチャのフレキシビリティを示している。 本発明のプロセス・ベースのアーキテクチャの概念的基礎を示す図である。

本願の文脈において、プロセスとは、動的システムによってとらえることができるすべての法則的な挙動の集合、例えば、通常の微分方程式の組である。なお、これは、ある初期条件に対する単なる（ある特定の経時変化と同一の）一つの挙動の実行とは異なる。

本発明によれば、十分にコントロールされた方法で、次元Ｎ>>ｍである場合、状態変数
によって表されるｍ次元のプロセスは、状態変数
によって表される高次元ネットワークダイナミクスから発生する。これは、遅いダイナミクスと速いダイナミクスとに時間スケール分離を行うことで達成され、時間スケール分離を用いることで、対象となるプロセスは、初めの速い遷移後に遅いダイナミクスが確立すると、完全なネットワークダイナミクスから発生する。それは、ずっと大きな空間内のプロセスが利用する部分空間でのフローであると直観的に理解することができる、多様体（図３参照）上の所謂位相フローによってとらえられる。

図１に、本発明に係るプロセス・ベースのアーキテクチャを備えたニューロナルネットワーク構造１０の可能な実施例を示す。ニューロナルネットワーク構造１０は、処理部１４に接続された入力部１２を備えている。出力部１６は、処理部１４に接続され、処理部１４によって渡された結果を出力する。出力部１６は、結果を記憶する記憶手段としても機能することが可能である。又は、追加記憶手段を設けることもできる。ニューロナルネットワーク構造１０は、対称性の破れパターンのためのメモリ１８をさらに備えている。

処理部１４は、円で示される複数のオートマトン又はノード２０（図２Ａから図２Ｃも参照）を備えている。オートマトン又はノード２０は、図１において１８及び１９で示される所謂シナプス結合により互いに相互接続されている（例えば、図２Ｃ参照）。各ノード２０は、ニューロナルネットワークの分野の技術に熟達した者であれば分かるように、１９で示される共通のフィードバックを受信する。なお、「オートマトン」及び「ノード」という用語は、本願の文脈において同義語であると見なされることに留意すべきである。

本発明の動作について図面を参照して以下に説明する。

本発明に係る時間スケール分離は、一様に接続されたノード２０のネットワークにおける相対的な接続性の対称性の破れによって実現する。重みの差１８の対称性の調整を行うことで、所望の低次元動的システムを実現することができる。そのような対称性の破れが起こらない場合、唯一の結合が、平均場フィードバック１９を介したものとなる。システム自体が高次元であるにもかかわらず、普通のシステムのほとんどの「コヒーレント」プロセスが低次元であるため、低次元性による制約はほんの小さなものにすぎない。Ｎ個のノード２０のネットワークにおける各ノードは、ｉ番目のノード及び時間ｔに対して、（スカラー又はベクトル）変数ｑ_ｉ（ｔ）で示される時間連続的な活動を示している。

ネットワーク構造１４の接続性マトリクスがＷ（ｑ）＝（ｗ_ｉｊ（ｑ））で表される場合、ネットワーク１４全体のダイナミクスは、以下の式によって表される。

上記式で、
はｉ番目のノードの非線形固有ダイナミクスを示し、Ｓはノード間の非線形で調整可能な情報の転送を示す。ドットは、時間導関数を示す。時間連続的な入力
は、各ノードに固有のものであり、その活動ｑ_ｉ（ｔ）に依存する。

（入力信号として図１に１１で示される）任意の外部信号ｚ_ｉ（ｔ）は、入力部１２において、ｉ番目のパターンベクトルｅ_ｉで空間的に符号化され、
である。そして、これらの複数の外部信号は、
を介してネットワーク１４に送り込まれ、ｉ番目のノード２０で入力信号
をインスタンス化する。ａ_ｉという項は、適切な応用のために調整される線形又は非線形関数を示す。

本発明のネットワーク構造の数学モデルに関する以下の説明において、入力信号は、説明の簡略化のため、省略する。ここで、オートマトン２０間のリンク２２は、一般的に、ｑの活動に依存することにも留意すべきである。これは、ネットワークが以下に説明するような任意のプロセスを生成できるようにするために重要なことである。大抵の応用では、リンクの乗法形式、すなわち、定数ｗ_ｉｊにおいてのｗ_ｉｊ（ｑ）＝ｗ_ｉｊｑ_ｉで十分であり、これについて以下に説明する。

ネットワークのすべてのリンクが同じ一定の重みｗ_ｉｊ＝ｗ、及びｗ_ｉｊ（ｑ）＝ｗｑ_ｉを有する場合、ノードを他のノードと区別できないことは直感で理解することが可能であり、ネットワーク全体が単一のユニットとして機能することが分かる。ｗ_ｉｊ＝ｗ＋μｃ_ｉｊ中の（図１の破線１８に示されるような）小さい重み変化ｃ_ｉｊは、対称性の破れを、以下のように定式化できる上記ダイナミクスに導入する。

上記式で、μは、変化が小さいことを示している。

式（２）の右辺の最初の２つの項は、全ノードに対して同じであり、一定の条件を満たせば（下記参照）、所謂遅い多様体を生成する。この多様体は、
であるｉ番目のプロセス
が経時展開する部分空間である。これは、単純な線形投影
による完全なネットワークダイナミクスと関連している。ここで、ｑ（ｔ）はベクトルｑ（ｔ）＝（ｑ_ｉ（ｔ））であり、
は、活動分布のｉ番目の遅いプロセス
を記憶するｉ番目のベクトルのｋ番目の成分である。プロセス
は、ｍ個の成分
から成る。高次元の補空間は、
により表わされる速い遷移ダイナミクスに沿って、Ｎ−ｍベクトルｗ_ｊによって定義される。μは小さいパラメータなので、時間スケール分離は、以下のように２つのサブシステムの挙動について別々に検討することを可能にする。

ここで、（３ａ）は遅い多様体を特徴付ける。この多様体は、（３ｃ）が満たされた場合にアトラクティブである。なお、（３ａ）及び（３ｃ）の括弧｛ ｝は、適切な変数の集合を示している。すべてのリンク２２が同じである場合、すなわち、μ＝０である場合、多様体上のフローはゼロである（図２Ｃも参照）。このことは、すべてのノード２０及び結合２２が同一であるという記述に等しい。μがゼロでない場合、（３ｂ）により得られる多様体上では、１８を介してフローが生成される。接続性の対称性の破れの性質には制限が設けられていないので、プロセスのダイナミクスｆ（ξ_ｉ（ｔ））は、依然として任意のままであり、パターンベクトルｖｉと、ネットワークノード２０でのオートマトンの固有ダイナミクスとによってしか決定されない。又は、言い換えれば、任意のフローは、接続性マトリクスＷを操作することで、多様体上に生成される。若しくは、さらに言い換えれば、任意であるけれども法則的な挙動が多様体上に生じ、プロセスを定義する。

図２Ａにおいて、ネットワーク１４の上部８つのノード２０は分離されている。その結果として、下層ノードは、非常に特異な出力を発生させ、その出力を、出力部１６となる番号が付けられた４つのノードに位置付ける。このネットワークは、損傷に非常に敏感である。特に、障害が発生すると、ネットワーク機能は破壊される。

図２Ｃには、すべてのノード２０がリンク２２によって接続されており、同様の程度に出力１６に多少寄与する状態が示されている。このアーキテクチャは、損傷に強いが、出力の特異性を十分に許容するものではない。つまり、すべての出力が多少類似しており、実際のプログラミングは不可能である。

図２Ｂには、すべてのノード２０が接続されてはいるものの、接続性１８の対称性の破れが重み変化を許容し、ここではｆ（ξ_ｉ（ｔ））で特徴付けられるような、制御されたネットワークの挙動が発生する、といった本発明のシナリオが示されている。

ｆ（ξ_ｉ（ｔ））と接続性の対称性の破れとは、互いに一意的に関連しているわけではないので、同じ関数ｆ（ξ_ｉ（ｔ））を様々な重み変化によって実現可能である。図２Ｂでは、２つのネットワークが、３０では斜線、３２では点線でそれぞれ示されている。それらは、（３４にて斜線及び点線で示されているように）部分的に重なり合っている。出力ノードＮｏ．２の同一の出力は、ネットワーク３０又はネットワーク３２によって生成することができる。そのようなフレキシビリティが、エラーや障害に対するロバスト性を可能とする。

図３は、初期入力条件の経時展開を示す。図３には、
で表わされる空間にまたがる３つの軸（Ｎ＝３に対し、ｑ_１、ｑ_２、ｑ_３）が存在する。平面４０（ｍ＝２）は、ｉ番目のプロセスの変数
によって広げられた多様体を定義している。５つの初期条件が表示され、５つのアスタリスクでそれぞれ示されている。時間が経過するにつれ、システムの状態ベクトル
は、多様体に向けて素早く移動する軌道を描く。多様体上に到達すると、ダイナミクスは速度を緩め、軌道は多様体内で循環的フローをたどる。これにより新たに出現したプロセスξ_ｉ（ｔ）は、トータルネットワークダイナミクスｑ（ｔ）を近似する。

本発明の新しいプロセス・ベースのアーキテクチャをより良く理解するために、状態ベースの計算で設定された概念や用語と、本発明の動作とを以下に比較する。

「計算」とは、式（３ｂ）で規定されたようなプロセスの実行であり、μ ０に対するネットワーク接続性において実施される。

「メモリ」とは、式（３ａ）から（３ｃ）で規定された同様の動的プロセスを再現する能力のことであり、接続性ｗ_ｉｊの対称性の破れによって真っ先に定義される。

プロセスの「符号化」は、式（３ｃ）が保持するような接続性の重みを断絶することで発生する。

ネットワークへの「入力」は、プロセスが実行されるための初期条件を決定する変数の集合として記載されている。あるいは、プロセスの実行中に、これらの入力値はそれら自身で時間関数として変化することができ、プロセスもそれに応じて変化する。これを説明する例えとしては以下のものが挙げられる。すなわち、２人のダンサーが協調的に動いており、その内の一人が入力ストリームを表わし、他方がＣＰＵプロセスを表わしている。第１のダンサーの関数として、第２のダンサーは自身のダンスの動きを連係させ、同様に、入力ストリームの挙動の関数として、ＣＰＵプロセスによりそのダイナミクスが変更される。

「出力」とは、ネットワークの読み出しであり、ξ_ｉをネットワークダイナミクスｑから抽出すること、一般的には、ｑを随伴座標系Ｖｉに投影することで発生する。

Claims (14)

1. 処理部（１４）と、
   変数（１１）を前記処理部（１４）に入力する入力部（１２）と、
   処理した変数（１７）を前記処理部（１４）から出力する出力部（１６）とを具備し、
   前記処理部（１４）は、接続性マトリクスを形成するそれぞれ同一である相互接続（２２）によって、互いに相互接続されている複数のオートマトン（２０）を備え、
   ニューロナルネットワーク構造（１０）は、プロセス・ベースのアーキテクチャを有する、ニューロナルネットワーク構造（１０）。
2. 前記相互接続は状態変数に依存する請求項１に記載のニューロナルネットワーク構造。
3. 前記プロセス・ベースの処理部で処理されるプロセスは、微分方程式の組などの動的システムによって定義される請求項１又は２に記載のニューロナルネットワーク構造。
4. 前記処理部は、特定のプロセスのより低いダイナミクスを取得する請求項１から３のいずれか一つに記載のニューロナルネットワーク構造。
5. 前記処理部は、時間スケール分離によって、特定のプロセスのより低いダイナミクスを取得する請求項４に記載のニューロナルネットワーク構造。
6. 前記処理部における制御されたネットワークの挙動は、接続性の対称性の破れによって実現される請求項１から５のいずれか一つに記載のニューロナルネットワーク構造。
7. 前記処理部は、対称性の破れを得るため、前記相互接続の重みの差を調整する請求項６に記載のニューロナルネットワーク構造。
8. 接続性マトリクスを形成するそれぞれ同一である相互接続によって、互いに相互接続されている複数のオートマトンを備えたニューロナルネットワーク構造を動作させる方法であって、その動作はプロセス・ベースである、ニューロナルネットワーク構造を動作させる方法。
9. 前記相互接続は状態変数に依存する請求項８に記載の方法。
10. 処理されるプロセスは、微分方程式の組などの動的システムによって定義される請求項８又は９に記載の方法。
11. 特定のプロセスのより低いダイナミクスを取得する工程を含む請求項８から１０のいずれか一つに記載の方法。
12. 前記取得する工程は、時間スケール分離を行うことを含む請求項１１に記載の方法。
13. 接続性の対称性の破れ工程を含む請求項８から１２のいずれか一つに記載の方法。
14. 前記対称性の破れ工程は、前記相互接続の重みの差を調整することを含む請求項１３に記載の方法。