JP2002008032A

JP2002008032A - パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路

Info

Publication number: JP2002008032A
Application number: JP2000181487A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-06-16
Filing date: 2000-06-16
Publication date: 2002-01-11
Anticipated expiration: 2020-06-16
Also published as: JP4478296B2

Abstract

(57)【要約】【課題】パターン検出の信頼性を高めるとともに、素
子間の配線問題を軽減して、回路の規模、消費電力を抑
えることができるようにする。【解決手段】パターン検出装置に、パターンを入力す
る手段と、複数のニューロン素子により、入力されたパ
ターンに含まれる所定のパターンを検出する手段とを備
え、複数のニューロン素子n₁〜n₄からの出力パルス信号
が、それぞれシナプス回路S_1j〜S_4jにより固有の遅延を
受けることで共通のバスライン301を介しても時間軸上
で識別可能にニューロン素子n'_jへ伝達され、ニューロ
ン素子n'_jは、所定時間窓内にニューロン素子n₁〜n₄か
ら入力された複数のパルス信号P₄,P₃,P₂,P₁の到着時間
パターンに応じた出力レベルでパルス信号を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、神経回路網などの
並列演算デバイスにより、パターン認識、特定被写体の
検出等を行うパターン検出装置及び方法、ニューラルネ
ットワーク回路に関するものである。

【０００２】

【従来の技術】従来より、画像認識や音声認識の分野に
おいては、特定の認識対象に特化した認識処理アルゴリ
ズムをコンピュータソフトとして逐次演算して実行する
タイプ、或いは専用並列画像処理プロセッサ（ＳＩＭ
Ｄ、ＭＩＭＤマシン等）により実行するタイプに大別さ
れる。

【０００３】画像認識アルゴリズムを例として、その代
表例を以下に挙げる。先ず、認識対象モデルとの類似度
に関する特徴量を算出して行うものとしては、認識対象
のモデルデータをテンプレートモデルとして表現してお
き、入力画像（或いはその特徴ベクトル）とのテンプレ
ートマッチング等による類似度算出や、高次相関係数の
算出などによる方法、対象のモデル画像を主成分分析し
て得られる固有画像関数空間へ入力パターンを写像して
モデルとの特徴空間内での距離を算出する方法(Sirovic
h, et al., 1987, Low-dimensional procedure for the
characterization of human faces, J. Opt. Soc. Am.
[A], vol. 3, pp.519-524)、複数の特徴抽出結果（特
徴ベクトル）およびその空間配置関係をグラフ表現し、
弾性的グラフマッチングによる類似度算出を行う方法
（Lades et al. 1993, DistortionInvariant Object Re
cognition in the Dynamic Link Architecture, IEEE T
rans. on Computers, vol.42, pp.300-311）、入力画像
に所定の変換を行って位置、回転、スケール不変な表現
を得た後にモデルとの照合を行う方法（Seibert, et a
l. 1992, Learning and recognizing 3D objects from
multiple views in aneural system, in Neural Networ
ks for Perception, vol. 1 Human and Machine Percep
tion(H. Wechsler Ed.) Academic Press, pp.427-444）
等がある。

【０００４】生体の情報処理機構にヒントを得た神経回
路網モデルによるパターン認識方法としては、階層的テ
ンプレートマッチングを行う方法（特公昭60-712号公
報、Fukushima & Miyake, 1982 Neocognitron: A new a
lgorithm for pattern recognition tolerant of defor
mation and shifts in position, Pattern Recognitio
n, vol.15, pp.455-469）、ダイナミックルーティング
神経回路網により対象中心のスケール、位置不変な表現
を得て行う方法(Anderson, et al. 1995, RoutingNetwo
rks in Visual Cortex, in Handbook of Brain Theory
and Neural Networks (M. Arbib, Ed.), MIT Press, p
p.823-826)、その他多層パーセプトロン、動径基底関数
(Radial Basis Function)ネットワークなどを用いる方
法がある。

【０００５】一方、生体の神経回路網による情報処理機
構をより忠実に取り入れようとする試みとして、アクシ
ョンポテンシャルに相当するパルス列による情報の伝達
表現を行う神経回路網モデル回路が提案されている(Mur
ray et al., 1991 Pulse-Stream VLSI Neural Networks
Mixing Analog and Digital Techniques, IEEE Trans.
on Neural Networks, vol.2, pp.193-204.；特開平7-2
62157号公報、特開平7-334478号公報、特開平8-153148
号公報、特許２８７９６７０号公報など)。

【０００６】パルス列生成ニューロンからなる神経回路
網により特定対象の認識、検出を行う方法としては、結
合入力(linking inputs)と供給入力(feeding inputs)を
前提としたEckhornらによる高次（２次以上）のモデル
（Eckhorn, et al. 1990, Feature linking via synchr
onization among distributed assemblies: Simulation
of results from cat cortex, Neural Computation, V
ol.2, pp.293-307)、即ち、パルス結合神経回路網(以
下、ＰＣＮＮと略す) を用いた方式がある（USP5,664,0
65、及び、Broussard, et al. 1999, Physiologically
Motivated Image Fusion for Object Detection using
a Pulse Coupled Neural Network, IEEE Trans. on Neu
ral Networks, vol. 10, pp.554-563、など）。

【０００７】また、ニューラルネットワークにおける配
線問題を軽減する方法として、いわゆるパルス出力ニュ
ーロンのアドレスをイベント駆動型で符号化する方法
（Address Event Representation：以下、ＡＥＲとい
う）がある(Lazzaro, et al. 1993, Silicon Auditory
Processors as Computer Peripherals, In Tourestzky,
D. (ed), Advances in Neural Information Processin
g Systems 5. San Mateo,CA:Morgan Kaufmann Publishe
rs)。この方法では、パルス列出力側のニューロンのＩ
Ｄをアドレスとして２値で符号化することにより、異な
るニューロンからの出力信号を共通バス上に時間的に配
列しても、それを入力する側のニューロンでは元のニュ
ーロンのアドレスを自動的にデコードすることができ
る。

【０００８】

【発明が解決しようとする課題】前述した従来方法を回
路等により実現する場合(特に画像認識への応用に関し
て)、各処理単位をなす機能（例えば、特徴抽出など）
を構成する、特に演算素子レベル、モジュールレベル、
或いはシステムレベルのいずれにおいても、時間軸での
動的特性を活用して２次元パターンに関する情報の表現
を行い、かつこれを認識等に活用する方法がなかった。

【０００９】即ち、多くの場合、空間的なパターン情報
を空間的に配置された演算素子（モジュール）のある時
刻での有限の状態数からなる遷移（典型的には発火、非
発火の２値）パターンにより処理が進行することを前提
とし、デジタルな情報表現のドメインでの処理に限られ
ていた。

【００１０】このために情報処理能力が限られ、回路と
して実現する際、その規模が過大かつ高コストになりが
ちであった。特に、ニューロン間の結線に伴う膨大な数
の配線が占める面積の全体に占める割合が少なからず大
きく、問題となっていた。

【００１１】そこで、上記の問題を軽減すべく、前述の
ＡＥＲが提案されたが、この方法では、ニューロンのア
ドレスを逐次符号化、復号化する機構が必要となり、回
路構成が煩雑であるという問題点があった。

【００１２】一方、スパイク列の入出力、伝達により所
定の処理を行う神経回路網モデルにおいて、スパイク列
の時間軸ドメインでのアナログ情報（スパイク間の間隔
など）を画像情報の符号化などに活用して認識機能を実
現する方法について、上記PCNNに係る文献を含めて、神
経回路網による具体的な構成が示されていなかった。

【００１３】更に、アナログ回路素子による構成では、
デジタル方式に比べ、回路構成の簡素化（少ない素子
数）、高速化、低消費電力化がもたらされることが一般
に知られているが、その一方で、個々の素子特性のばら
つきによる入出力特性の信頼性、ノイズに対する耐性が
少なからず問題となっていた。

【００１４】本発明は上述した課題を解決するためにな
されたものであり、パターンの検出に関する情報処理能
力を飛躍的に向上させ、所定のパターンの検出を、従来
より小さい回路規模で、高精度に実現可能なパターン検
出装置を提供することを目的とする。

【００１５】また、他の目的は、ニューロン間の結線に
伴う配線の数を低減させ、簡単な構成で低コストのニュ
ーラルネットワーク回路を提供することである。

【００１６】

【課題を解決するための手段】上述した課題を解決する
ために、本発明によれば、パターン検出装置に、パター
ンを入力する入力手段と、複数の信号処理素子を備え、
前記入力手段より入力されたパターンに対して所定の複
数の特徴に関する検出を行なって、当該パターンに含ま
れる所定のパターンを検出するパターン検出手段とを有
し、前記複数の信号処理素子の各々が、前記入力手段ま
たは他の信号処理素子からの入力に応じて、更に他の信
号処理素子または外部にパルス信号を出力し、前記複数
の信号処理素子の所定の一部が、所定時間範囲内に入力
された複数のパルス信号の到着時間パターンに応じた出
力レベルでパルス信号を出力することを特徴とする。

【００１７】また、本発明の他の態様によれば、パター
ン検出装置に、パターンを入力する入力手段と、前記入
力手段より入力されたパターンに含まれる所定のパター
ンを検出するパターン検出手段とを備え、前記パターン
検出手段に、前記入力されたパターンから所定の特徴を
抽出する特徴検出層と、前記特徴検出層からの出力を所
定の方法で統合して出力する特徴統合層と、前記特徴統
合層からの出力を受けて所定の特徴またはパターンの存
在する位置情報を出力する特徴位置検出層とを備える。

【００１８】また、本発明の他の態様によれば、ニュー
ラルネットワーク回路に、複数の信号を入力してパルス
信号の出力を行うニューロン素子を複数個並列に配して
構成される処理層を複数備え、所定の前記処理層の少な
くとも１つの前記ニューロン素子へ、他の層の複数のニ
ューロン素子から出力されるパルス信号が、当該複数の
ニューロン素子のそれぞれに対して設けられたシナプス
結合手段及び当該複数のニューロン素子に共通のバスラ
インを介して入力され、前記シナプス結合手段は、前記
複数のニューロン素子から出力されるパルス信号に、当
該複数のニューロン素子のそれぞれに固有のパルス位相
シフト量を与えることを特徴とする。

【００１９】また、本発明の他の態様によれば、入力部
よりパターンを入力し、複数の信号処理素子を用いて、
入力された前記パターンに対して所定の複数の特徴に関
する検出を行なって、当該パターンに含まれる所定のパ
ターンを検出するパターン検出方法において、前記複数
の信号処理素子の各々が、前記入力部または他の信号処
理素子からの入力に応じて、更に他の信号処理素子また
は外部にパルス信号を出力し、前記複数の信号処理素子
の所定の一部が、所定時間範囲内に入力された複数のパ
ルス信号の到着時間パターンに応じた出力レベルでパル
ス信号を出力することを特徴とする。

【００２０】また、本発明の他の態様によれば、パター
ンを入力し、入力された前記パターンに含まれる所定の
パターンを検出するパターン検出方法において、入力さ
れた前記パターンから特徴検出層により所定の特徴を抽
出し、前記特徴検出層からの出力を特徴統合層により所
定の方法で統合して出力し、前記特徴統合層からの出力
を受けて特徴位置検出層により所定の特徴またはパター
ンの存在する位置情報を出力することを特徴とする。

【００２１】

【発明の実施の形態】＜第１の実施形態＞以下、図面を
用いて本発明の１実施形態を詳細に説明する。

【００２２】本実施形態では、神経回路網によりパター
ン認識を行う場合に、空間的なパターン情報の表現を、
構成要素であるニューロンの時間軸ドメインでの動的特
性（例えば、スパイクトレインの時空間発火特性、ニュ
ーロンの時空間的積算による入力特性、スパイクトレイ
ンのスパイク間隔など）を活用して行うことにより、空
間的なパターンの認識に関する情報処理能力を飛躍的に
向上させ、従来より小さい回路規模で、高精度に実現可
能なパターン検出装置を提供する。

【００２３】図１は本実施形態のパターン検出・認識装
置の全体構成を示す図である。ここで、パターン情報は
Ｗｈａｔ経路とＷｈｅｒｅ経路により処理される。Ｗｈ
ａｔ経路は対象または幾何学的特徴などの認識(検出)に
関与する情報を、Ｗｈｅｒｅ経路は対象または特徴の位
置(配置)に関する情報を主として扱う。

【００２４】Ｗｈａｔ経路はいわゆるConvolutionalネ
ットワーク構造(LeCun, Y. and Bengio, Y., 1995, “C
onvolutional Networks for Images Speech, and Time
Series” in Handbook of Brain Theory and Neural Ne
tworks (M. Arbib, Ed.), MITPress, pp.255-258)を有
している。但し、同経路内の層間結合は相互結合をなし
得る点(後述)が、従来と異なる。Ｗｈａｔ経路の最終出
力は認識結果、即ち認識された対象のカテゴリに相当す
る。また、Ｗｈｅｒｅ経路の最終出力は、認識結果に対
応する場所を表す。

【００２５】データ入力層101は、画像の検出認識など
を行う場合は、ＣＭＯＳセンサー或いはＣＣＤ素子等の
光電変換素子であり、音声の検出認識などを行う場合に
は音声入力センサーである。また、所定データ解析部の
解析結果（例えば、主成分分析、ベクトル量子化など）
から得られる高次元のデータを入力するものであっても
よい。データ入力層101は、上記２経路に共通のデータ
入力を行う。

【００２６】以下、画像を入力する場合について説明す
る。Ｗｈａｔ経路には、特徴検出層102（(１,０）、
(１,１)、…、(１,N)）と特徴統合層103（(２,０)、
(２,１)、…、(２,N)）とがある。

【００２７】最初の特徴検出層(１,０)は、Gabor wavel
et変換などにより、データ入力層101より入力された画
像パターンの局所的な低次の特徴（幾何学的特徴のほか
色成分特徴を含んでもよい）を、全画面の各位置(或い
は、全画面にわたる所定のサンプリング点の各点)にお
いて同一箇所で複数個(種類)検出する。そのために、各
々が受容野105を有し、それぞれ異なる特徴を検出する
検出モジュール104を複数備えている。各検出モジュー
ル104は、特徴量の種類（例えば、幾何学的特徴として
所定方向の線分を抽出する場合には、その幾何学的構造
である線分の傾き）に応じた受容野構造を有し、その程
度に応じたパルス列を発生するニューロン素子から構成
される。

【００２８】特徴統合層103(２,０)は、複数の特徴統合
モジュール106を有する。各特徴統合モジュール106は、
所定の受容野構造を有し、パルス列を発生するニューロ
ン素子からなり、特徴検出層102(１,０)からの同一受容
野内の複数のニューロン素子出力の統合（局所平均化等
の演算）を行う。また、各受容野は同一層内のニューロ
ン間で共通の構造を有している。

【００２９】後続の層である各特徴検出層102（(１,
１）、(１,２)、…、(１,N)）及び各特徴統合層103
（(２,１)、(２,２)、…、(２,N)）は、それぞれ学習に
より獲得した所定の受容野構造を持ち、上述した各層と
同様に前者（(１,１)、…）は、各特徴検出モジュール1
04において複数の異なる特徴の検出を行い、後者（(２,
１)、…）は、前段の特徴検出層102からの複数特徴に関
する検出結果の統合を行うもので、特徴統合層103(２,
０)と同様の機能と構造を有する。

【００３０】一方、Where経路には、特徴位置検出層107
（(３,０)、…、(３,ｋ)）があり、What経路上の所定の
（全てである必要はない）特徴統合層103の出力を受
け、低次、中次、高次特徴の位置の出力に関与する。以
下では、Where経路の各層については、更に詳しい説明
を省略する。

【００３１】各層間のニューロン素子201間を結合する
構造は、図２の（Ａ）に示すように、神経細胞の軸索ま
たは樹状突起に相当する信号伝達部203（配線または遅
延線）、及びシナプス回路Ｓ202である。図２の（Ａ）
では、ある特徴検出（統合）細胞（Ｎ）に対する受容野
を形成する特徴統合(検出)細胞のニューロン群（ni）か
らの出力（当該細胞Ｎから見ると入力）に関与する結合
の構成を示している。太線で示している信号伝達部203
は共通バスラインを構成し、この信号伝達ライン上に複
数のニューロンからのパルス信号が時系列に並んで伝達
される。出力先の細胞（Ｎ）からの入力を受ける場合も
同様の構成がとられる。この場合には、全く同じ構成に
おいて時間軸上で入力信号と出力信号とを分割して処理
してもよいし、或いは入力用（樹状突起側）と出力用
（軸索側）の２系統で、図２の（Ａ）と同様の構成を与
えて処理してもよい。

【００３２】シナプス回路Ｓ202としては、層間結合
（特徴検出層102上のニューロンと特徴統合層103上のニ
ューロン間の結合であって、各層ごとにその後続の層及
び前段の層への結合が存在しうる）に関与するものと、
同一層内ニューロン間結合に関与するものとがある。後
者は必要に応じて、主に、後述するペースメーカーニュ
ーロンと特徴検出または特徴統合ニューロンとの結合に
用いられる。

【００３３】シナプス回路Ｓ202において、いわゆる興
奮性結合はパルス信号の増幅を行い、抑制性結合は逆に
減衰を与えるものである。パルス信号により情報の伝達
を行う場合、増幅及び減衰はパルス信号の振幅変調、パ
ルス幅変調、位相変調、周波数変調のいずれによっても
実現することができる。本実施形態においては、シナプ
ス結合回路Ｓ202を、主にパルスの位相変調素子として
用い、信号の増幅は、パルス到着時間の実質的な進み、
減衰は実質的な遅れとして変換される。

【００３４】図２の（Ａ）において、各ニューロン素子
n_jは、パルス信号（スパイクトレイン）を出力し、後述
する様な、いわゆるintegrate-and-fire型のニューロン
素子を用いている。なお、図２の（C）に示すように、
シナプス回路とニューロン素子とを、それぞれまとめて
回路ブロックを構成してもよい。

【００３５】Ｗｈｅｒｅ経路内の各特徴位置検出層107
は、Ｗｈａｔ経路の特徴統合層103の出力を受けて、デ
ータ入力層101上の位置関係を保持し、粗くサンプリン
グされた格子点上の各点で、Ｗｈａｔ経路上の特徴抽出
結果のうち認識に有用な成分（認識カテゴリのパターン
から予め登録してあるもの）に対応するニューロンのみ
が、フィルタリングなどにより応答する。例えば、Ｗｈ
ｅｒｅ経路内の最上位層では、認識対象のカテゴリに対
応するニューロンが格子上に配列され、どの位置に該当
する対象が存在するかを表現する。また、Ｗｈｅｒｅ経
路内の中間層のニューロンは、上位層からのトップダウ
ンの入力を受けて、対応する認識対象の存在位置を中心
として配置しうる特徴が検出された場合にのみ応答する
ように感度調整等が行われるようにすることができる。

【００３６】位置関係が保持される階層的特徴検出をＷ
ｈｅｒｅ経路で行う際には、受容野構造が局所的（例え
ば、楕円形状）であってサイズが上位層ほど徐々に大き
くなる（または、中間層から上位層にかけてはセンサー
面上の１画素より大きいサイズであって一定である）よ
うに構成すれば、特徴要素（図形要素、図形パターン）
間の位置関係は、センサー面上での位置関係をある程度
保存しつつ、各層において各特徴要素（図形要素）が検
出されるようにすることができる。

【００３７】なお、Ｗｈｅｒｅ経路の他の出力形態とし
ては、特徴検出層(１,０)の出力結果に基づいて得られ
る特徴の顕著度マップから、データ入力層上での所定サ
イズの注視領域を設定し、当該領域の位置とサイズ及び
その中での認識対象カテゴリの有無を出力するものであ
ってもよい。更に他の形態としては、階層的に上位層ほ
ど受容野サイズが大きくなり、最上位層では検出された
対象のカテゴリに対応するニューロンのうち、最大値を
出力するものだけが発火するように構成された神経回路
網でもよい。このような系では、データ入力層での配置
関係（空間的位相）に関する情報を、最上位層（及び中
間の各層）においてもある程度保存するようになってい
る。

【００３８】次に各層を構成するニューロンについて説
明する。各ニューロン素子は、いわゆるintegrate-and-
fireニューロンを基本として拡張モデル化したもので、
入力信号（アクションポテンシャルに相当するパルス
列）を時空間的に線形加算した結果が閾値を越したら発
火し、パルス状信号を出力する点では、いわゆるintegr
ate-and-fireニューロンと同じである。

【００３９】図２の（Ｂ）はニューロン素子としてのパ
ルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構
成の一例を示している。これは、公知の回路(IEEE Tran
s. on Neural Networks Vol. 10, pp.540)を拡張したも
のである。ここでは、入力として興奮性と抑制性の入力
を受けるものとして構成されている。

【００４０】以下、このパルス発生回路の動作原理につ
いて説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ
１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の
時定数より小さく、定常状態では、トランジスタＴ１、
Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、
ダイオードモードで結合するトランジスタで構成され
る。

【００４１】キャパシタC1の電位が増加し、キャパシタ
C2のそれよりトランジスタＴ１の閾値だけ上回ると、ト
ランジスタＴ１はアクティブになり、更にトランジスタ
Ｔ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ
３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の
出力は、不図示の出力回路によりキャパシタC1側から出
力される。キャパシタＣ２の電荷蓄積量が最大となる
と、トランジスタＴ１は遮断され、その結果としてトラ
ンジスタＴ２及びＴ３も遮断され、上記正のフィードバ
ックは０となる様に構成されている。

【００４２】いわゆる不応期には、キャパシタＣ２は放
電し、キャパシタＣ１の電位がキャパシタＣ２の電位よ
りも大で、その差がトランジスタＴ１の閾値分を超えな
い限り、ニューロンは応答しない。キャパシタＣ１、Ｃ
２の交互充放電の繰り返しにより周期的なパルスが出力
され、その周波数は一般的には興奮性入力のレベルに対
応して定まる。但し、不応期が存在することにより、最
大値で制限されるようにすることもできるし、一定周波
数を出力するようにもできる。

【００４３】キャパシタの電位、従って電荷蓄積量は、
基準電圧制御回路（時間窓重み関数発生回路）204によ
り時間的に制御される。この制御特性を反映するのが、
入力パルスに対する後述の時間窓内での重み付き加算で
ある（図７参照）。この基準電圧制御回路204は、後述
するペースメーカニューロンからの入力タイミング（又
は、後続層のニューロンとの相互結合入力）に基づき、
基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生
する。

【００４４】抑制性の入力は、本実施形態においては必
ずしも要しない場合があるが、後述するペースメーカニ
ューロンから特徴検出層ニューロンへの入力を抑制性と
することにより、出力の発散（飽和）を防ぐことができ
る。

【００４５】一般的に、入力信号の上記総和と出力レベ
ル（パルス位相、パルス周波数、パルス幅など）との関
係は、そのニューロンの感度特性によって変化し、ま
た、その感度特性は、上位層からのトップダウンの入力
により変化させることができる。以下では、説明の便宜
上、入力信号総和値に応じたパルス出力の周波数は、急
峻に立ち上がるように回路パラメータが設定されている
ものとし（従って周波数ドメインでは殆ど２値）、パル
ス位相変調により、出力レベル（位相変調を加えたタイ
ミングなど）が変動するものとする。

【００４６】また、パルス位相の変調部としては、後述
する図５に示すような回路を付加して用いてもよい。こ
れにより、時間窓内の重み関数が上記基準電圧により制
御される結果、このニューロンからのパルス出力の位相
が変化し、この位相をニューロンの出力レベルとして用
いることができる。

【００４７】また、窓関数などを用いることにより得ら
れる入力の総和値が閾値を越えたときに、所定タイミン
グ遅れて発振出力を出すような公知の回路構成を用いて
もよい。

【００４８】ニューロン素子の構成としては、特徴検出
層102または特徴統合層103に属するニューロンであっ
て、後述するペースメーカニューロンの出力タイミング
に基づき発火パターンが制御される場合には、ペースメ
ーカーニューロンからのパルス出力を受けた後、当該ニ
ューロンが、前段の層の受容野から受ける入力レベル
（上記の入力の単純または重み付き総和値）に応じた位
相遅れをもって、パルス出力するような回路構成であれ
ばよい。この場合、ペースメーカーニューロンからのパ
ルス信号が入力される前では、入力レベルに応じて各ニ
ューロンは互いにランダムな位相でパルス出力する過渡
的な遷移状態が存在する。

【００４９】また、後述するようにペースメーカニュー
ロンを用いない場合には、ニューロン間（特徴検出層10
2と特徴統合層103の間）の相互結合とネットワークダイ
ナミックスによりもたらされる同期発火信号を基準と
し、上述したような入力レベルに応じた特徴検出ニュー
ロンの出力パルスの発火タイミングの制御がなされるよ
うな回路構成であってもよい。

【００５０】特徴検出層102のニューロンは、前述した
ように特徴カテゴリに応じた受容野構造を有し、前段の
層（入力層101または特徴統合層103）のニューロンから
の入力パルス信号（電流値または電位）の時間窓関数に
よる荷重総和値（後述）が閾値以上となったとき、その
総和値に応じて、例えばシグモイド関数等の一定レベル
に漸近的に飽和するような非減少かつ非線形な関数、即
ちいわゆるsquashing関数値をとるような出力レベル
（ここでは位相変化で与えるが、周波数、振幅、パルス
幅基準での変化となる構成でもよい）でパルス出力を行
う。

【００５１】特徴検出層(１,０)には、局所的な、ある
大きさの領域で所定の空間周波数を持ち、方向成分が垂
直であるようなパターンの構造（低次特徴）を検出する
ニューロンN1があるとすると、データ入力層101上のニ
ューロンN1の受容野内に該当する構造が存在すれば、そ
の顕著度(コントラスト)に応じた位相でパルス出力す
る。このような機能はGabor filterにより実現すること
ができる。以下、特徴検出層(１,０)の各ニューロンが
行う特徴検出フィルタ機能について説明する。

【００５２】特徴検出層(１,０)では、多重スケール、
多重方向成分のフィルタセットで表されるGaborウエー
ブレット変換を行うものとし、層内の各ニューロン（ま
たは複数ニューロンからなる各グループ）は、所定の G
aborフィルタ機能を有する。

【００５３】Gaborウエーブレットは、以下の式（１）
で与えられるように、一定の方向成分と空間周波数とを
有する正弦波をガウシアン関数で変調した形状を有し、
スケーリングレベルのインデックスmと方向成分のイン
デックスｎで特定される。ウエーブレットとしてこのフ
ィルタのセットは互いに相似の関数形状を有し、また主
方向と大きさが互いに異なる。このウエーブレットは空
間周波数ドメインと実空間ドメインで関数形が局在して
いること、位置と空間周波数に関する同時不確定性が最
小となり、実空間でも周波数空間でも最も局在した関数
であることが知られている（J,G.Daugman (1985), Unce
rtainty relation for resolution in space, spatial
frequency, and orientation optimized by two-dimens
ional visual cortical filters, Journal of Optical
Society of America A, vol.2, pp. 1160-1169）。

【００５４】

【外１】

【００５５】ここで、(x,y)が画像中の位置、aはスケー
リングファクター、θ_nはフィルタの方向成分を表し、W
は基本空間周波数、σ_x, σ_yはフィルタ関数のｘ方向、
ｙ方向の広がりの大きさを与えるパラメータである。本
実施形態ではθ_nは６方向で０度、３０度、６０度、９
０度、１２０度、１５０度の値をとり、aは２とし、mは
１から４までの値をとる整数として与える。

【００５６】フィルタの特性を定めるパラメータσ_x,
σ_y、および、aはフーリエドメインで互いに適切に均質
に重なり合うことにより、特定の空間周波数及び方向へ
の偏り(感度)がないように設定されるのが望ましい。そ
のために例えば、フーリエ変換後の振幅最大値に対する
半値レベルがフーリエドメインで互いに接するように設
計すると、

【００５７】

【外２】となる。ここに、U_H, U_Lはウエーブレット変換でカバー
する空間周波数帯域の最大値、最小値であり、Mはその
範囲でのスケーリングレベル数を与える。

【００５８】各フィルタg_mn(x,y)と入力濃淡画像との２
次元畳み込み演算を行うことにより、Gaborウエーブレ
ット変換が行われる。即ち、

【００５９】

【外３】

【００６０】ここにIは入力画像、W_mnはGaborウエーブ
レット変換係数である。W_mn (m=1,..,4; n=1,..., 6)の
セットを特徴ベクトルとして各点で求める。'^*'は複素
共役をとることを示す。このようにして特徴検出層(１,
０)の各ニューロンは、gmnに対応する受容野構造を有
し、分布重み係数と画像データとの積和入力を行って得
られるウエーブレット変換係数値の非線型squashing関
数となる出力レベル（ここでは位相基準とするが、周波
数、振幅、パルス幅基準となる構成でもよい）でパルス
出力を行う。この結果、この層（１,０）全体の出力と
して、式（４）のGabor wavelet変換が行われたことに
なる。

【００６１】一方、後続の特徴検出層（(１,１）、(１,
２)、…、(１,ｎ)）の各ニューロンは、上記検出層とは
異なり、認識対象のパターンに固有の特徴を検出する受
容野構造をいわゆるHebb学習則等により形成する。後の
層ほど特徴検出を行う局所的な領域のサイズが認識対象
全体のサイズに段階的に近くなり、幾何学的には中次ま
たは高次の特徴を検出する。例えば、顔の検出認識を行
う場合には中次（または高次）の特徴とは顔を構成する
目、鼻、口等の図形要素のレベルでの特徴を表す。な
お、特徴検出層ニューロンは、出力の安定化のために抑
制性（分流型抑制：shunting inhibition）の結合を前
段の層出力に基づいて受けるような機構を有してもよ
い。

【００６２】次に、特徴統合層103（(２,０)、(２,
１)、…）のニューロンについて説明する。図１に示す
如く特徴検出層102（例えば(１,０)）から特徴統合層10
3(例えば(２,０))への結合は、当該特徴統合ニューロン
の受容野内にある前段の特徴検出層の同一特徴要素（タ
イプ）のニューロンから興奮性結合の入力を受けるよう
に構成され、統合層の各ニューロンは各特徴カテゴリご
との局所平均化（特徴検出ニューロンの受容野を形成す
るニューロンからの入力の平均値算出等）などによるサ
ブサンプリングを行う。

【００６３】即ち、特徴統合において、複数の同一種類
の特徴のパルスを入力し、それらを局所的な領域（受容
野）で統合して平均化などすることにより、その特徴の
位置のゆらぎ、変形に対しても確実に検出することがで
きる。このため、特徴統合層ニューロンの受容野構造
は、特徴カテゴリによらず一様（例えば、いずれも所定
サイズの矩形領域であって、かつ感度または重み係数が
その中で一様分布するなど）となるように構成してよ
い。

【００６４】次に、２次元図形パターンのパルス符号化
と検出方法について説明する。図３は、特徴統合層103
から特徴検出層102への（例えば、図１の層(２,０)から
層(１,１)への）パルス信号の伝播の様子を模式的に示
した図である。

【００６５】特徴統合層103側の各ニューロンn_i（n₁〜n
₄）は、それぞれ異なる特徴量（或いは特徴要素）に対
応しており、特徴検出層102側のニューロンn'_jは、同一
受容野内の各特徴を組み合わせて得られる、より高次の
特徴（図形要素）の検出に関与する。

【００６６】各ニューロン間結合には、パルスの伝播時
間とニューロンn_iからニューロンn' _jへのシナプス結合
（S_ij）での時間遅れ等による固有（特徴に固有）の遅
延が生じ、その結果として、共通バスライン301を介し
てニューロンn'_jに到着するパルス列P_iは、特徴統合層1
03の各ニューロンからパルス出力がなされる限り、学習
によって決まるシナプス結合での遅延量により、所定の
順序（及び間隔）になっている（図３の（Ａ）では、
P₄,P₃,P₂,P₁の順に到着することが示されている）。

【００６７】図３の（Ｂ）は、ペースメーカニューロン
からのタイミング信号を用いて時間窓の同期制御を行う
場合において、層番号（2,k）上の特徴統合細胞n₁、
n₂、n₃（それぞれ異なる種類の特徴を表す）から、層番
号（1,k+1）上のある特徴検出細胞(n'_j)（より上位の特
徴検出を行う）へのパルス伝播のタイミング等を示して
いる。

【００６８】図６は、特徴検出層ニューロンにペースメ
ーカニューロンからの入力がある場合のネットワーク構
成を示す図である。図６において、ペースメーカニュー
ロン603（n_p)は、同一の受容野を形成し、かつ異なる種
類の特徴を検出する特徴検出ニューロン602（n_j,n_k等）
に付随し、それらと同一の受容野を形成して、特徴統合
層（または入力層）上のニューロン601からの興奮性結
合を受ける。そして、その入力の総和値（或いは受容野
全体の活動度レベル平均値など、受容野全体に固有の活
動特性を表す状態に依存するように制御するため）によ
って決まる所定のタイミング（または周波数）でパルス
出力を特徴検出ニューロン602及び特徴統合ニューロン
に対して行う。

【００６９】また、各特徴検出ニューロン602では、そ
の入力をトリガー信号として互いに時間窓が位相ロック
する様に構成されているが、前述したようにペースメー
カニューロン入力がある前は、位相ロックされず、各ニ
ューロンはランダムな位相でパルス出力する。また、特
徴検出ニューロン602では、ペースメーカニューロン603
からの入力がある前は後述する時間窓積分は行われず、
ペースメーカニューロン603からのパルス入力をトリガ
ーとして、同積分が行われる。

【００７０】ここに、時間窓は特徴検出細胞(n'_i)ごと
に定められ、当該細胞に関して同一受容野を形成する特
徴統合層内の各ニューロンおよび、ペースメーカニュー
ロン603に対して共通であり、時間窓積分の時間範囲を
与える。

【００７１】層番号(1,k)にあるペースメーカニューロ
ン603は（ｋは０以上の整数）、パルス出力を、層番号
(2,k-1)の各特徴統合細胞、及びそのペースメーカニュ
ーロン603が属する特徴検出細胞（層番号(1,k)）に出力
することにより、特徴検出細胞が時間的に入力を加算す
る際の時間窓発生のタイミング信号を与えている。この
時間窓の開始時刻が各特徴統合細胞から出力されるパル
スの到着時間を図る基準時となる。即ち、ペースメーカ
ニューロン603は特徴統合細胞からのパルス出力時刻、
及び特徴検出細胞での時間窓積分の基準パルスを与え
る。

【００７２】層番号(2,k)の各特徴統合細胞(n₁,n₂,n₃)
は、層番号(1,k+1)の特徴検出層のペースメーカニュー
ロンからのパルス入力を受け、かつ前段の特徴検出層ま
たはセンサー入力層（層番号(1,k）)からの入力により
十分なレベルに活動電位が上昇している場合（例えば、
ある時間範囲または時間窓での平均入力パルス数が閾値
より大）には、ペースメーカからのパルスの立ち下がり
時に出力を行う。

【００７３】本実施形態では、この特徴統合細胞は、そ
の前の層番号(1,k)の特徴検出層上のペースメーカニュ
ーロンからのタイミング制御は受けるようには、構成し
ていない。なぜならば、特徴統合細胞においては、入力
パルスの到着時間パターンではなく、むしろ一定の時間
範囲での入力レベル（入力パルスの時間的総和値など）
によって決まる位相（周波数、パルス幅、振幅のいずれ
に依存してもよいが、本実施形態では位相とした）での
パルス出力をするため、時間窓の発生タイミングは余り
重要ではないからである。なお、このことは、特徴統合
細胞が前段の特徴検出層のペースメーカニューロンから
のタイミング制御を受ける構成を排除する趣旨ではな
く、そのような構成も可能であることはいうまでもな
い。

【００７４】各パルスは、シナプス回路を通過すると所
定量の位相遅延が与えられ、更に共通バスラインなどの
信号伝達線を通って特徴検出細胞に到着する。この時の
パルスの時間軸上の並びを、特徴検出細胞の時間軸上に
おいて点線で表したパルス（Ｐ₁，Ｐ₂，Ｐ₃）により示
す。

【００７５】特徴検出細胞において各パルス（Ｐ₁，
Ｐ₂，Ｐ₃）の時間窓積分(通常、一回の積分とする；但
し、多数回に渡る時間窓積分による電荷蓄積、または多
数回に渡る時間窓積分の平均化処理を行ってもよい)の
結果、閾値より大となった場合には、時間窓の終了時刻
を基準としてパルス出力（Ｐ_d）がなされる。なお、図
３の（B）に示した学習時の時間窓とは、後で説明する
学習則を実行する際に参照されるものである。

【００７６】図４は、シナプス回路S_iの構成を示す図で
ある。図４の（Ａ）は、シナプス回路202(S_i)におい
て、ニューロンn_iの結合先である各ニューロンn'_jへの
シナプス結合強度（位相遅延）を与える各小回路401
が、マトリクス的に配置されていることを示している。
このようにすると、シナプス回路から結合先ニューロン
への配線を各受容野に対応する同一ライン（局所的な共
通バス301）上で行う事ができ（ニューロン間の配線を
仮想的に行うことができ）、従来から問題となっていた
配線問題の軽減（除去）が図られる。

【００７７】また、結合先のニューロンでは、同一受容
野からの複数パルス入力を受けた際に、それぞれがどの
ニューロンから発せられたものかを時間窓基準でのパル
スの到着時間（特徴検出細胞が検出する特徴に対応し、
それを構成する低次特徴に固有の位相遅延）により、時
間軸上で識別することができる。

【００７８】図４の（Ｂ）に示すように、各シナプス結
合小回路401は、学習回路402と位相遅延回路403とから
なる。学習回路402は、位相遅延回路403の特性を変化さ
せることにより、上記遅延量を調整し、また、その特性
値（或いはその制御値）を浮遊ゲート素子、或いは浮遊
ゲート素子と結合したキャパシタ上に記憶するものであ
る。

【００７９】図５は、シナプス結合小回路の詳細構成を
示す図である。位相遅延回路403はパルス位相変調回路
であり、例えば、図５の（Ａ）に示すように、単安定マ
ルチバイブレータ506、507、抵抗501、504、キャパシタ
503、505、トランジスター502を用いて構成できる。図
５の（Ｂ）は、単安定マルチバイブレータ506へ入力さ
れた方形波P1(図５の（Ｂ）の[1])、単安定マルチバイ
ブレータ506から出力される方形波P2(同[2])、単安定マ
ルチバイブレータ507から出力される方形波P3(同[3])の
各タイミングを表している。

【００８０】位相遅延回路403の動作機構の詳細につい
ては説明を省略するが、Ｐ１のパルス幅は、充電電流に
よるキャパシタ503の電圧が予め定められた閾値に達す
るまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシ
タ505による時定数で決まる。Ｐ２のパルス幅が（図５
の（Ｂ）の点線方形波のように）広がって、その立ち下
がり時点が後にずれるとＰ３の立ち上がり時点も同じ量
ずれるが、Ｐ３のパルス幅は変わらないので、結果的に
入力パルスの位相だけが変調されて出力されたことにな
る。

【００８１】制御電圧Ecを基準電圧のリフレッシュ回路
509と結合荷重を与えるキャパシタ508への電荷蓄積量制
御を行う学習回路402で変化させることにより、パルス
位相（遅延量）を制御することができる。この結合荷重
の長期保持のためには、学習動作後に図５の（Ａ）の回
路の外側に付加される浮遊ゲート素子（図示せず）のチ
ャージとして、或いはデジタルメモリへの書き込み等を
行って結合荷重を格納してもよい。その他回路規模を小
さくなるように工夫した構成（例えば、特開平5-37317
号公報、特開平10-327054号公報参照）など周知の回路
構成を用いることができる。

【００８２】ネットワークが結合荷重の共有結合形式
（１個の重み係数でシナプス結合を表す）になるような
構成をとる場合には、各シナプスでの遅延量（下記の式
（５）のＰ_ij）を同一受容野内で一様とすることができ
る。特に、特徴検出層102から特徴統合層103への結合
は、特徴統合層103がその前段の層である特徴検出層102
出力の局所平均化その他によるサブサンプリングに関与
するため、検出対象によらず（即ち、課題によらず）こ
のように構成することができる。

【００８３】この場合、図４の（Ａ）の各小回路は、図
４の（Ｂ）に示すように、局所共通バスライン401で結
合される単一の回路S_k,iで済み、特に経済的な回路構成
となる。一方、特徴統合層103（またはセンサー入力層1
01）から特徴検出層102への結合がこのようになってい
る場合、特徴検出ニューロンが検出するのは、複数の異
なる特徴要素を表すパルスの同時到着（或いは、略同時
到着）という、イベントである。

【００８４】なお、結合が対称性を有する場合には、同
一荷重（位相遅延）量を与える結合を同一のシナプス結
合用小回路で代表させることにより、相当数のシナプス
結合が少数の回路で代表されるように構成することがで
きる。特に幾何学的特徴量の検出においては、受容野内
での結合荷重の分布が対称性を有する場合が多いので、
シナプス結合回路を減少させ回路規模を大幅に縮小にす
ることが可能である。

【００８５】パルスの同時到着、或いは所定の位相変調
量を実現するシナプスでの学習回路の例としては、図５
の（Ｃ）に示すような回路要素を有するものを用いれば
よい。即ち、学習回路402をパルス伝播時間計測回路510
（ここで、伝播時間とは、ある層のニューロンの前シナ
プスでのパルス出力時刻と次の層上にある出力先ニュー
ロンでの当該パルスの到着時刻との時間差をさす）、時
間窓発生回路511、及び伝播時間が一定値となるように
シナプス部でのパルス位相変調量を調整するパルス位相
変調量調整回路512から構成できる。

【００８６】伝播時間計測回路510としては、後述する
ような同一局所受容野を形成するペースメーカーニュー
ロンからのクロックパルスを入力し、所定の時間幅（時
間窓：図３の（Ｂ）参照）において、そのクロックパル
スのカウンター回路からの出力に基づき伝播時間を求め
るような構成などが用いられる。なお、時間窓は出力先
ニューロンの発火時点を基準として設定することによ
り、以下に示すような拡張されたHebbの学習則が適用さ
れる。

【００８７】また、学習回路402は、同じカテゴリの物
体が提示される頻度が大きくなるほど上記時間窓の幅が
狭くなるようにしてもよい。このようにすることによ
り、見慣れた（すなわち呈示回数、学習回数の多い）カ
テゴリのパターンであるほど、複数パルスの同時到着の
検出(coincidence detection)モードに近づく様な動作
をすることになる。このようにすることにより、特徴検
出に要する時間を短縮できる(瞬時検出の動作が可能と
なる)が、特徴要素の空間配置の細かな比較分析や、類
似するパターン間の識別等を行うことには適さなくな
る。

【００８８】遅延量の学習過程は、例えば、複素数ドメ
インに拡張することにより、特徴検出層のニューロンn_i
と特徴統合層のニューロンn_jとの間の複素結合荷重Ｃ_ij
は、Ｃ_ij＝Ｓ_ijexp(iP_ij) （5）のように与えられ
る。ここに、S_ijは結合強度、P_ijは位相、その前のｉは
純虚数を表し、所定周波数でニューロンjからニューロ
ンiに出力されるパルス信号の時間遅れに相当する位相
である。S_ijはニューロンiの受容野構造を反映し、認識
検出する対象に応じて一般に異なる構造を有する。これ
は学習（教師付き学習または自己組織化）により別途形
成されるか、或いは予め決められた構造として形成され
る。

【００８９】一方、遅延量に関する自己組織化のための
学習則は、

【００９０】

【外４】で与えられる。但し、

【００９１】

【外５】はＣの時間微分、τ_ijは上記時間遅れ（予め設定された
量）、β（〜１）は定数を示す。

【００９２】上式を解くと、Ｃ_ijはβexp(-2πiτ_ij)に
収束し、従って、P_ijは−τ_ijに収束する。学習則適用
の例を図３の（Ｂ）に示した学習時の時間窓を参照して
説明すると、シナプス結合の前側ニューロン（n1,n2,n
3）と後側ニューロン(特徴検出細胞)とが、その学習時
間窓の時間範囲において、ともに発火しているときにだ
け、式（６）に従って結合荷重が更新される。なお、図
３の（Ｂ）において、特徴検出細胞は時間窓の経過後に
発火しているが、同図の時間窓経過前に発火してもよ
い。

【００９３】学習則としては、他の方式を用いてもよ
い。また、競争学習の原理を導入することにより、互い
に所定間隔以上離れてパルスが到着する（時間遅れの差
が所定値以上となる）ようにしてもよい。

【００９４】各特徴検出層102においては、前述したよ
うに同一受容野からの複数の異なる特徴に関するパルス
信号を入力し、時空間的重み付き総和（荷重和）演算と
閾値処理を行う。各特徴量に対応するパルスは予め学習
により定められた遅延量（位相）により、所定の時間間
隔で到着する。

【００９５】このパルス到着時間パターンの学習制御
は、本願の主眼ではないので詳しくは説明しないが、例
えば、ある図形パターンを構成する特徴要素がその図形
の検出に最も寄与する顕著な特徴であるほど先に到着
し、そのような顕著度がほぼ等しい特徴要素間では、互
いに一定量だけ時間的に離れて到着するような競争学習
を導入する。或いは、予め決められた特徴要素（認識対
象を構成する特徴要素であって、特に重要と考えられる
もの：例えば、平均曲率の大きい特徴、直線性の高い特
徴など）間で異なる時間間隔で到着する様に設計しても
よい。

【００９６】顕著度は、当該図形が検出されるときの特
徴要素の検出細胞の反応強度（ここでは、パルス遅延
量）等が該当する。この場合、前段の層である特徴統合
層上の同一受容野内の各低次特徴要素に相当するニュー
ロンは、それぞれ所定の位相で同期発火（パルス出力）
することになる。特徴統合層103の同一ニューロンであ
って位置が異なるが同一の高次の特徴を検出する特徴検
出ニューロンへの結合を有する場合（この場合、受容野
は異なるが、高次の同じ特徴を構成する結合を有する）
も、同一ニューロンである限り同期発火することはいう
までもない。

【００９７】但し、その出力レベル（ここでは位相基準
とするが、周波数、振幅、パルス幅基準となる構成でも
よい）は、受容野ごとに与えられる複数ペースメーカニ
ューロンからの寄与の総和（或いは平均など）によって
決まる。また、特徴検出層102上の各ニューロンにおい
ては、入力パルスの時空間的重み付き総和（荷重和）の
演算は、ニューロンに到着したパルス列について所定幅
の時間窓においてのみ行われる。時間窓内の重み付き加
算を実現する手段は、図２に示したニューロン素子回路
に限らず、他の方法で実現してもよいことは言うまでも
ない。

【００９８】この時間窓は、実際のニューロンの不応期
(refractory period)以外の時間帯にある程度対応して
いる。即ち、不応期(時間窓以外の時間範囲)にはどのよ
うな入力を受けてもニューロンからの出力はないが、そ
の時間範囲以外の時間窓では入力レベルに応じた発火を
行うという点が実際のニューロンと類似している。

【００９９】図３の（Ｂ）に示す不応期は、特徴検出細
胞の発火直後から次の時間窓開始時刻までの時間帯であ
る。不応期の長さと時間窓の幅は任意に設定可能である
ことはいうまでもなく、同図に示したように、時間窓に
比べて不応期を短くとらなくてもよい。ペースメーカニ
ューロンを使わなくても、時間窓の開始時刻は、特徴検
出層と特徴統合層のニューロン間で、ニューロン間の弱
相互結合と所定の結合条件などにより同期発火するメカ
ニズム（E.M.Izhikevich, 1999 'Weakly Pulse-Coupled
Oscillation, FM Interactions, Synchronization, an
d OscillatoryAssociative Memory' IEEE Trans. on Ne
ural Networks, vol.10. pp.508-526.）を導入すること
により、これらニューロン間で同一となる。この同期発
火は、一般的にニューロン間での相互結合と引き込み現
象によりもたらされることが知られている。

【０１００】従って、本実施形態においても、ニューロ
ン間の弱相互結合と所定のシナプス結合条件を満たすよ
うに構成することにより、ペースメーカニューロンなし
で、このような効果をもたらすことができる。

【０１０１】本実施形態では、図６に模式的に示すよう
に、既に説明したメカニズムとして、例えば各特徴検出
層ニューロンごとに、その同一受容野からの入力を受け
るようなペースメーカニューロン（固定周波数でパルス
出力）によるタイミング情報（クロックパルス）の入力
により、上述した開始時期の共通化をもたらすようにし
てもよい。

【０１０２】このように構成した場合には、時間窓の同
期制御は（仮に必要であったとしても）ネットワーク全
体にわたって行なう必要が無く、また、上記したような
クロックパルスの揺らぎ、変動があっても、局所的な同
一受容野からの出力に対して一様にその影響を受ける
（窓関数の時間軸上での位置の揺らぎは同一受容野を形
成するニューロン間で同一となる）ので、特徴検出の信
頼性は劣化することはない。このような局所的な回路制
御により信頼度の高い同期動作を可能にするため、回路
素子パラメータに関するばらつきの許容度も高くなる。

【０１０３】以下、簡単のために、三角形を特徴として
検出する特徴検出ニューロンについて説明する。その前
段の特徴統合層103は、図７の（Ｃ）に示すような各種
向きを持ったL字パターン(f₁₁, f₁₂, …, )、Ｌ字パタ
ーンとの連続性（連結性）を有する線分の組み合わせパ
ターン(f₂₁, f₂₂,…)、三角形を構成する２辺の一部の
組み合わせ(f₃₁,…)、などのような図形的特徴（特徴要
素）に反応するものとする。

【０１０４】また、同図のf₄₁,f₄₂,f₄₃は、向きの異な
る三角形を構成する特徴であって、f ₁₁,f₁₂,f₁₃に対応
する特徴を示している。学習により層間結合をなすニュ
ーロン間に固有の遅延量が設定された結果、三角形の特
徴検出ニューロンにおいては、時間窓を分割して得られ
る各サブ時間窓(タイムスロット）(w₁,w₂,…)におい
て、三角形を構成する主要かつ異なる特徴に対応するパ
ルスが到着するように予め設定がなされる。

【０１０５】例えば、時間窓をｎ分割した後のw₁, w₂,
…、w_nには、図７の(A)に示す如く、全体として三角形
を構成するような特徴のセットの組み合わせに対応する
パルスが初めに到着する。ここに、Ｌ字パターン(f₁₁,
f₁₂, f₁₃)は、それぞれw₁,w₂,w₃内に到着し、特徴要素
(f₂₁,f₂₂,f₂₃)に対応するパルスは、それぞれw₁, w₂,w₃
内に到着するように学習により遅延量が設定されてい
る。

【０１０６】特徴要素(f₃₁,f₃₂,f₃₃)に対応するパルス
も同様の順序で到着する。図７の(A)の場合、一つのサ
ブ時間窓(タイムスロット）にそれぞれ一つの特徴要素
に対応するパルスが到着する。サブ時間窓に分割する意
味は、各サブ時間窓で時間軸上に展開表現された異なる
特徴要素に対応するパルスの検出（特徴要素の検出）を
個別にかつ確実に行うことにより、それらの特徴を統合
する際の統合の仕方、例えば、すべての特徴要素の検出
を条件とするか、或いは一定割合の特徴検出を条件とす
るか等の処理モードの変更可能性や適応性を高めること
にある。例えば、認識（検出）対象が顔であり、それを
構成するパーツである目の探索（検出）が重要であるよ
うな状況（目のパターン検出の優先度を視覚探索におい
て高く設定したい場合）においては、高次の特徴検出層
からのフィードバック結合を導入することにより、選択
的に目を構成する特徴要素パターンに対応する反応選択
性（特定の特徴の検出感度）を高めたりすることができ
る。このようにすることにより、高次の特徴要素（パタ
ーン）を構成する低次の特徴要素により高い重要度を
与えて検出することができる。

【０１０７】また、重要な特徴ほど早いサブ時間窓にパ
ルスが到着するように、予め設定されているとすると、
当該サブ時間窓での重み関数値を他のサブ時間窓での値
より大きくすることにより、重要度の高い特徴ほど検出
されやすくすることができる。この重要度（特徴間の検
出優先度）は、学習により獲得されるか、予め定義して
おくこともできる。

【０１０８】従って、一定割合の特徴要素の検出という
事象さえ起きればよいのであれば、サブ時間窓への分割
は殆ど意味が無くなり、一つの時間窓において行えばよ
い。なお、複数（３つ）の異なる特徴要素に対応するパ
ルスがそれぞれ到着して加算されるようにしてもよい
(図７の（Ｄ）参照)。即ち、一つのサブ時間窓(タイム
スロット）に複数の特徴要素(図７の（Ｄ）)、或いは任
意の数の特徴要素に対応するパルスが入力されることを
前提としてもよい。この場合、図７の（Ｄ）では、初め
のサブ時間窓では、三角形の頂角部分ｆ₁₁の検出を支持
する他の特徴要素ｆ₂₁、ｆ₂₃に対応するパルスが到着
し、同様に２番目のサブ時間窓には頂角部分ｆ₁₂の検出
を支持するような他の特徴要素ｆ₂₂、ｆ₃₁のパルスが到
着している。

【０１０９】なお、サブ時間窓（タイムスロット）への
分割数、各サブ時間窓（タイムスロット）の幅および特
徴のクラスおよび特徴に対応するパルスの時間間隔の割
り当てなどは上述した説明に限らず、変更可能であるこ
とはいうまでもない。例えば、上述した特徴要素の他
に'Ｘ'，'＋'等の特徴要素に対応するサブ時間窓を設定
してもよい。三角形の図形検出にはこのような特徴要素
は冗長(又は不要)ともいえるが、逆に、これらが存在し
ないことを検出することにより、三角形という図形パタ
ーンの検出確度を高めることができる。

【０１１０】また、これら特徴要素の組み合わせでは表
されないような変形を加えた場合（例えば、一定範囲内
の回転を与えた場合）に対しても、上記特徴要素を表す
特徴統合層のニューロンの出力パルスは、理想的なパタ
ーンからのずれの程度に応じた連続的な位相遅れ（遅延
量：但し、予め定めたサブ時間窓（タイムスロット）に
パルスが到着する範囲）をもって反応する（いわゆるgr
aceful degradation）ため、検出される図形特徴の変形
に対する許容範囲が一定レベル以上になるよう出力の安
定化が図られている。例えば、図７（Ｃ）に示す特徴ｆ
₁₁、ｆ₁₂、ｆ₁₃に対応する特徴により形成される三角形
（Ｑ１）とｆ₄₁、ｆ₄₂、ｆ₄₃に対応する特徴により形成
される三角形（Ｑ２）とでは、少なくとも向きが互いに
異なっている筈である。

【０１１１】この場合、各特徴に対応する検出（統合）
細胞が存在するとき、両三角形の中間的な向きに相当す
る三角形（Ｑ３）に対しては、ｆ₁₁、ｆ₁₂、ｆ₁₃に対応
する検出(統合)細胞とｆ₄₁、ｆ₄₂、ｆ₄₃に対応する検出
（細胞）とは、いずれも最大応答出力より低く、直接的
には特徴の種類に応じて決まる受容野構造としてのフィ
ルタカーネルとの畳み込み演算値に応じた出力レベルと
なり、これら全ての細胞からの出力としてのベクトル量
は、中間的な図形に固有なものとして統合すると、２つ
の三角形の状態の中間的な図形（回転を与えた場合）の
検出が可能になる。

【０１１２】例えば、定性的には、回転角度が小さく、
Ｑ１に近いほどｆ₁₁、ｆ₁₂、ｆ₁₃に対応する細胞からの
出力が相対的に大きく、逆にＱ２に近いほどｆ₄₁、
ｆ₄₂、ｆ ₄₃に対応する細胞からの出力が大きくなる。

【０１１３】次に入力パルスの時空間的重み付き総和
（荷重和）の演算について説明する。図７の（B）に示
す如く、各ニューロンでは、上記サブ時間窓（タイムス
ロット）毎に所定の重み関数（例えばGaussian）で入力
パルスの荷重和がとられ、各荷重和の総和が閾値と比較
される。τ_jはサブ時間窓ｊの重み関数の中心位置を表
し、時間窓の開始時刻基準（開始時間からの経過時間）
で表す。重み関数は一般に所定の中心位置（検出予定の
特徴が検出された場合のパルス到着時間を表す）からの
距離(時間軸上でのずれ)の関数としてもよいが、関数形
状としては他の非対称関数としてもよい。

【０１１４】重み関数が上述した距離の関数の場合、ニ
ューロンの各サブ時間窓(タイムスロット）の重み関数
の中心位置τが、ニューロン間の学習後の時間遅れとす
ると、入力パルスの時空間的重み付き総和（荷重和）を
行う神経回路網は一種の時間軸ドメインの動径基底関数
ネットワーク（Radial Basis Function Network；以下
ＲＢＦと略す）とみなすことができる。Gaussian関数を
重み関数に用いたニューロンn_iの時間窓F_Tiは、各サブ
時間窓毎の広がりをσ、係数因子をb_ijで表すと、

【０１１５】

【外６】となる。

【０１１６】なお、重み関数としては、負の値をとるも
のであってもよい。例えば、ある特徴検出層のニューロ
ンが三角形を最終的に検出することが予定されている場
合に、その図形パターンの構成要素でないことが明らか
な特徴（Ｆ_faulse）（例えば、前述した'Ｘ'，'＋'等）
が検出された場合には、他の特徴要素からの寄与が大き
くても三角形の検出出力が最終的になされないように、
入力の総和値算出処理において、当該特徴（Ｆ_faulse）
に対応するパルスからは、負の寄与を与えるような重み
関数及び特徴検出(統合)細胞からの結合を与えておくこ
とができる。

【０１１７】特徴検出層のニューロンn_iへの入力信号の
時空間和X_i(t)は、

【０１１８】

【外７】と表せる。ここに、ε_jは、ニューロンn_jからの出力パ
ルスの初期位相であり、ニューロンn_iとの同期発火によ
り、０に収束するか、又はペースメーカニューロンから
のタイミングパルス入力により、時間窓の位相を０に強
制同期する場合には、ε_jは常に０としてよい。図７の
（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷
重和とを実行すると、図７の（E）に示すような荷重和
値の時間的遷移が得られる。特徴検出ニューロンは、こ
の荷重和値が閾値(Vt)に達するとパルス出力を行う。

【０１１９】ニューロンn_iからの出力パルス信号は、前
述したように、入力信号の時空間和（いわゆる総入力
和）のsquashing非線形関数となる出力レベルと学習に
より与えられた時間遅れ（位相）をもって上位層のニュ
ーロンに出力される（パルス出力は固定周波数(２値)と
し、学習によって決まる固定遅延量に相当する位相に入
力信号の時空間和についてのsquashing非線形関数とな
る位相変調量を加えて出力される）。

【０１２０】図８は、上述した各層の処理手順を示すフ
ローチャートである。低次特徴検出から高次特徴検出ま
での処理の流れをまとめて示すと、同図のようになる。
先ず、ステップS801で、低次特徴検出（例えば、各位置
でのGabor wavelet変換係数の算出など）を行なう。次
に、ステップS802で、それらの特徴の局所平均化等を行
う低次特徴の統合処理を行う。更に、ステップS803〜80
4で中次特徴の検出と統合、ステップS805〜806で高次特
徴の検出と統合を行う。そして、ステップS807では、最
終層の出力として、認識(検出)対象の有無またはその検
出位置出力が行われる。ステップS803〜804とS805〜806
に割り当てる層数は、課題（認識対象など）に応じて任
意に設定又は変更することができる。

【０１２１】図９は、各特徴検出ニューロン602の処理
の手順を示すフローチャートである。まず、ステップS9
01で、複数の特徴カテゴリに応じたパルスを、前層であ
る入力層101または特徴統合層103において同一受容野10
5を形成するニューロン601から入力を受け、ステップS9
02で、ペースメーカニューロン603から入力される（又
は前層ニューロンとの相互作用により得られる）局所同
期信号に基づき、時間窓及び重み関数を発生させ、ステ
ップS903で、それぞれについての所定の時間的重み関数
による荷重和をとり、ステップS904で、閾値に達したか
否かの判定を行い、閾値に達した場合には、ステップS9
05で、パルス出力を行う。なお、ステップS902と903は
時系列的に示したが、実際にはほぼ同時に行われる。

【０１２２】また、各特徴統合ニューロンの処理の手順
は、図１０のフローチャートに示す通りである。すなわ
ち、ステップS1001において、同一カテゴリをなす特徴
検出の処理モジュール104であって、当該ニューロンに
固有の局所受容野をなす特徴検出ニューロンからのパル
ス入力を受け、ステップS1002で、所定の時間幅（不応
期以外の時間範囲）において入力パルスの加算を行う。
ステップS1003で、入力パルスの総和値（例えば、電位
基準で測る）が閾値に達したか否かの判定を行ない、閾
値に達した場合、ステップS1004で、その総和値に応じ
た位相でパルス出力をする。

【０１２３】入力パルスは空間ドメインの各位置での特
徴（或いは、特徴要素の空間的配置関係）に対応するも
のであるから、時空間的ＲＢＦを構成することも可能で
ある。

【０１２４】具体的には、各ニューロン出力値に対して
更に重み付けを行って加算を行うことにより、十分な数
の予め定められた特徴要素のセット（特徴検出細胞）お
よび十分な数のサブ時間窓（タイムスロット）での重み
付き総和（荷重和）の演算とから任意の図形パターンに
対応するパルスパターンの時空間関数を表現することが
できる。認識対称のカテゴリ及びその形状の変化がある
程度限られていれば、必要な特徴検出細胞やサブ時間窓
(タイムスロット）の数を少なくすることができる。

【０１２５】本実施形態では、共通バスは同一受容野に
対して一つ割り当てられるような局所的なバスラインと
したが、これに限らずある層から次の層への層間結合は
同一バスラインで行うように時間軸上でパルス位相遅延
量を分割設定してもよい。また、重なり割合が比較的大
きい隣接受容野間では共通のバスラインを用いるように
構成しても良い。

【０１２６】なお、上述した時空間的ＲＢＦによらず
に、各サブ時間窓(タイムスロット）内での重み付き積
和演算の結果が非線形なsquashing関数値となるように
処理（或いは、閾値処理）して、それらの積をとっても
よい。例えば、不図示の回路構成により、閾値処理結果
（２値）を各サブ時間窓ごとに得て、一時記憶部に格納
するとともに、順次求まる閾値処理結果の論理積を時系
列的に求めるようにすればよい。

【０１２７】閾値処理して積をとる場合には、パターン
の欠損や低コントラスト条件下での特徴検出の許容度が
小さくなることは言うまでもない。

【０１２８】また、上述した処理（時空間的ＲＢＦによ
る図形パターンの検出）は、連想記憶の想起過程に類似
する動作として実現することもできる。即ち、ある局所
領域（または全体領域）で検出されるべき低次（または
中次）の特徴要素の欠損が生じても、他の幾つかの特徴
要素が検出され、上記総和値（８）が閾値を上回れば、
時空間ＲＢＦネットワーク全体としては中次（または高
次）の特徴要素の検出（該当するニューロンの発火）が
行われる様にすることができる。

【０１２９】なお、ネットワークの構成としては、図１
に示したものに限定される必要はなく、所定の幾何学的
特徴要素を検出する層を含む構成であればＭＬＰその他
のものであってもよいことはいうまでもない。

【０１３０】次に、本実施形態の構成に係るパターン検
出（認識）装置を撮像装置に搭載させることにより、特
定被写体へのフォーカシングや特定被写体の色補正、露
出制御を行う場合について、図１１を参照して説明す
る。図１１は、実施形態に係るパターン検出（認識）装
置を撮像装置に用いた例の構成を示す図である。

【０１３１】図１１の撮像装置1101は、撮影レンズおよ
びズーム撮影用駆動制御機構を含む結像光学系1102、CC
D又はＣＭＯＳイメージセンサー1103、撮像パラメータ
の計測部1104、映像信号処理回路1105、記憶部1106、撮
像動作の制御、撮像条件の制御などの制御用信号を発生
する制御信号発生部1107、EVFなどファインダーを兼ね
た表示ディスプレイ1108、ストロボ発光部1109、記録媒
体1110などを具備し、更に上述したパターン検出装置を
被写体検出（認識）装置1111として備える。

【０１３２】この撮像装置1101は、例えば撮影された映
像中から予め登録された人物の顔画像の検出(存在位
置、サイズの検出)を被写体検出(認識)装置1111により
行う。そして、その人物の位置、サイズ情報が被写体検
出(認識)装置1111から制御信号発生部1107に入力される
と、同制御信号発生部1107は、撮像パラメータ計測部11
04からの出力に基づき、その人物に対するピント制御、
露出条件制御、ホワイトバランス制御などを最適に行う
制御信号を発生する。

【０１３３】上述したパターン検出(認識)装置を、この
ように撮像装置に用いた結果、低消費電力で、かつ高速
（リアルタイム）に人物検出とそれに基づく撮影の最適
制御を行うことができるようになる。

【０１３４】（第２の実施形態）実施形態１では、シナ
プスは位相変調を行なうように構成したが、本実施形態
では、図１に示すようなネットワーク構成のもとで、パ
ルス幅(アナログ値)変調動作を行うシナプス素子と実施
形態１に示したようなintegrate-and-fireニューロンで
構成されるネットワークにより、図形パターン等の認識
を行う。

【０１３５】シナプスによる変調はシナプス前信号のパ
ルス幅とシナプス後のパルス幅をそれぞれ、W_b,W_aとす
るとW_a = S_ijW_bで与えられる。ここに、S_ijは実施形態
１の結合強度（式（５））と同じ意味である。変調のダ
イナミックレンジを大きくとる為には、パルス信号の基
本パルス幅を周期（基本パルス間隔）と比べて十分に小
さくとる必要がある。

【０１３６】ニューロンの発火（パルス出力）は、所定
の特徴要素を表す複数のパルス電流の流入に伴う電荷の
蓄積により、電位が所定の閾値を越したときに生じる。
本実施形態においては、サブ時間窓ごとの到着パルスの
重み付き加算（実施形態１参照）は特に要しないが、所
定の幅の時間窓での積分は実行される。この場合、検出
されるべき特徴要素（図形パターン）は、特徴検出層ニ
ューロンに入力される信号の時間的総和（パルス電流値
の総和）のみに依存する。また、入力パルスの幅は実施
形態１における重み関数の値に相当するものである。な
お、サブ時間窓ごとの到着パルス重み付き加算を行う場
合には、実施形態１と同様、到着パルスの時間間隔、到
着時間パターン自体に検出される特徴の有無、変形など
の情報が表されている。

【０１３７】ここで、特徴検出層ニューロンの出力特性
は、該当する特徴の顕著度（実施形態１参照）が大きい
ほど、その周波数が大となるようにしてもよいし、その
パルス幅或いは振幅が大となる特性を有してもよい。

【０１３８】図１２の（Ａ）は本実施形態で用いるシナ
プス素子401の構成単位を示す。実施形態１と同様の学
習回路402と、パルス幅変調回路1201とを有する。後者
は周知の回路(例えば、本出願人による特許２７１７６
６２号公報)を用いることができる。

【０１３９】また、上述したパルス幅変調に代えて、パ
ルス周波数の変調を各シナプス素子で行ってもよい。こ
の場合、上記構成に対応するシナプス素子401の構成
は、図１２の（Ｂ）のように、学習回路402とパルス周
波数変調回路1202から構成される。パルス周波数変調回
路1202としては公知の構成を用いることができる。ま
た、シナプスによる変調は、シナプス前のパルス周波数
とシナプス後のパルス周波数をそれぞれf_b、f_aとすると
f_a = S_ijf_bで与えられる。

【０１４０】なお、ニューロン出力が周波数変調又はパ
ルス幅変調による変調を伴う場合には、パルス幅が最大
で上限値（パルス周期）に飽和するような制御機構をパ
ルス変調回路等が備えることは言うまでもない。

【０１４１】（第３の実施形態）本実施形態で用いる特
徴検出ニューロンは、パルス到着の時間間隔(アナログ
値)、順序に基づき図形特徴及びその変形量の検出を行
い、或いは、重要度（後述）に応じた図形特徴の検出を
行う。

【０１４２】ネットワーク構成は図１に示したものと同
様とする。但し、各受容野内の位置に応じた位相オフセ
ット（変調量）が各層間シナプス結合に付与される。図
１３は、本実施形態で用いる特徴検出ニューロンの受容
野内でのサンプリング構造を示す図である。例えば、図
１３に示すように受容野の形状が楕円であるとすると、
その中心位置からスパイラル状にサンプリングした格子
点（S₁,S₂,...）位置での位相変調量が漸増するように
構成する（任意の点での位相変調量はその最近傍格子点
での位相変調量とする）。

【０１４３】図１４は、特徴要素の受容野内での位置に
応じた位相変調量の例を示す図である。このように、受
容野内の位置に応じた位相変調量(p₁,p₂, ...)が、該当
する特徴が所属すべきサブ時間窓の範囲の変調範囲で与
えられるので、特徴の配置情報をスパイク列の各サブ時
間窓内での位置から抽出することができる。なお、サン
プリングの仕方は、スパイラル状以外の方法によっても
良いことはいうまでもない。

【０１４４】また、実施形態１のようなニューロン内で
の時間窓関数による重み付け加算、或いは実施形態２の
ようなパルス幅変調信号の所定時間窓内の時間的積分を
行うものとし、各特徴要素ごとに対応するサブ時間窓が
存在するものと仮定する。このようにすることにより、
各サブ時間窓内のスパイクの位置が特徴要素の同一受容
野内での空間的位置を示し、その結果として複数のスパ
イクの時間的間隔のパターンが特徴要素（或いは高次の
図形パターン）の配置を表すようににすることが可能と
なる。

【０１４５】更に、特徴の重要度に応じた窓関数、或い
は位相変調を与えることができる。ここで、重要度と
は、検出（認識）されるべきパターンと他のパターンと
の識別を容易にする「顕著な」特徴要素（又は図形パタ
ーン）であり、パターンのカテゴリごとに異なる。これ
は、学習により経験的に獲得され、例えば、その特徴検
出の寄与を大きく評価するようなパラメータの摂動を与
えたとき（対応する特徴のサブ窓関数値を大にする、ま
たは位相変調量を変化させるなど）に、より検出（認
識）の信頼度が高くなる方向にパラメータを更新する等
により実現することができる。

【０１４６】以上説明した実施形態では、同一受容野内
からの複数の異なる特徴に対応するスパイク列を２次元
パターン情報の表現、検出、認識などの目的に用いる方
法を示した。ここで、低次または高次の特徴要素（また
は図形パターン要素）の検出をパルス列の時間窓内での
重み付き荷重和の閾値処理により行うことにより、複雑
多様な背景下において、検出（認識）すべき対象の変形
（位置変動、回転等を含む）や照明、ノイズの影響等に
よる特徴検出の欠損等が生じても、確実に所望のパター
ンを検出することができる。この効果は、特定のネット
ワーク構造によらず実現することができるものである。

【０１４７】更に、検出(認識)対象周囲に存在するパタ
ーンに応じた処理、検出認識対象の特定部分に優先度を
与えるような処理、検出されない筈のパターンが検出さ
れた場合の対応など、いわゆる文脈に依存した処理が可
能となる。一方、見慣れたパターンほど瞬時に検出(識
別)するように構成することもできる。

【０１４８】また、特徴の検出の有無を、所定ニューロ
ンからの所定時間範囲内でのパルスの到着（デジタル情
報）により検出することができるとともに、その特徴の
理想的なパターンからのずれ（変形）の度合いに応じた
アナログ情報（パルス遅延量、パルス幅、周波数など）
により明示的にネットワーク中で内部表現したことによ
り、類似度の高いパターン間の識別精度とその処理時間
を飛躍的に向上させることができる。

【０１４９】更に、上述した構成では、所定ニューロン
の単一の入力線上に時間的に配列されるパルス列の時間
窓内での各位置が、所定のパターンの特徴に相当するよ
うにしたことにより、ニューロン素子間の配線問題を軽
減することができ、信頼性を高い程度に保ちながら、２
次元パターン処理により所定物体の認識検出を行う回路
の規模、消費電力が従来より格段に抑えることができる
という効果がある。

【０１５０】

【発明の効果】以上説明したように、本発明のパターン
検出装置によれば、検出すべき対象について、特徴の欠
損等が生じても、確実に所望のパターンを検出すること
ができる。

【０１５１】また、類似度の高いパターン間の識別精度
とその処理時間を飛躍的に向上させることができる。

【０１５２】更に、本発明のニューラルネットワーク回
路によれば、ニューロン素子間の配線を低減でき、信頼
性を高い程度に保ちながら、回路の規模及び消費電力を
従来より格段に抑えることができるという効果がある。

【図面の簡単な説明】

【図１】本発明に係る一実施形態のネットワーク構成を
示すブロック図である。

【図２】シナプス部とニューロン素子部の構成を示す図
である。

【図３】実施形態１において特徴統合層または入力層か
ら特徴検出層ニューロンへの複数パルス伝播の様子を示
す図である。

【図４】シナプス回路の構成図を示す図である。

【図５】シナプス結合小回路の構成図、及び実施形態１
で用いるパルス位相遅延回路の構成図を示す図である。

【図６】特徴検出層ニューロンにペースメーカニューロ
ンからの入力がある場合のネットワーク構成を示す図で
ある。

【図７】特徴検出ニューロンに入力される異なる特徴要
素に対応する複数パルスを処理する際の時間窓の構成、
重み関数分布の例、特徴要素の例を示す図である。

【図８】各層の処理手順を示すフローチャートである。

【図９】各特徴検出ニューロンの処理手順を示すフロー
チャートである。

【図１０】各特徴統合ニューロンの処理手順を示すフロ
ーチャートである。

【図１１】実施形態に係るパターン検出（認識）装置を
撮像装置に用いた例の構成を示す図である。

【図１２】実施形態２で用いるシナプス小回路の構成を
示す図である。

【図１３】実施形態３で用いる特徴検出ニューロンの受
容野内でのサンプリング構造を示す図である。

【図１４】特徴要素の受容野内での位置に応じた位相変
調量の例を示す図である。

Claims

【特許請求の範囲】

【請求項１】パターンを入力する入力手段と、複数の信号処理素子を備え、前記入力手段より入力され
たパターンに対して所定の複数の特徴に関する検出を行
なって、当該パターンに含まれる所定のパターンを検出
するパターン検出手段とを有し、前記複数の信号処理素子の各々が、前記入力手段または
他の信号処理素子からの入力に応じて、更に他の信号処
理素子または外部にパルス信号を出力し、前記複数の信号処理素子の所定の一部が、所定時間範囲
内に入力された複数のパルス信号の到着時間パターンに
応じた出力レベルでパルス信号を出力することを特徴と
するパターン検出装置。
【請求項２】前記複数の信号処理素子は、所定の特徴を抽出する特徴検出層に属する特徴検出素子
と、当該特徴検出層からの出力を所定の方法で統合して
出力する特徴統合層に属する特徴統合素子とを有し、前記所定の一部の信号処理素子は、複数の前記特徴統合
素子からの入力を受ける前記特徴検出素子であることを
特徴とする請求項１に記載のパターン検出装置。
【請求項３】前記特徴検出素子は、前記特徴の顕著度
又は特徴の配置に応じた出力レベルでパルス信号を出力
することを特徴とする請求項２に記載のパターン検出装
置。
【請求項４】前記特徴統合素子は、所定時間範囲内に
同一の特徴に対応する複数の前記特徴検出素子からの入
力の総和に応じた出力レベルでパルス信号を出力するこ
とを特徴とする請求項２に記載のパターン検出装置。
【請求項５】前記特徴検出層と前記特徴統合層とが交
互にカスケード的にそれぞれ複数接続されていることを
特徴とする請求項２に記載のパターン検出装置。
【請求項６】前記特徴統合層の各特徴統合素子は、当
該層内の位置に応じた前段の特徴検出層内の局所的範囲
に存在し、それぞれが同一の特徴を検出する複数の特徴
検出素子からの信号を入力する局所受容野構造を有する
ことを特徴とする請求項５に記載のパターン検出装置。
【請求項７】前記特徴検出層の各特徴検出素子は、前
段の特徴統合層内の異なる特徴に対応する特徴統合素子
からの信号を入力して、より高次の特徴を検出すること
を特徴とする請求項５に記載のパターン検出装置。
【請求項８】少なくとも一部の前記特徴検出層は所定
方向成分に関する局所空間周波数解析を行う複数フィル
タを備えることを特徴とする請求項２に記載のパターン
検出装置。
【請求項９】少なくとも一部の前記特徴検出層は、Ga
bor wavelet変換を行うことを特徴とする請求項２に記
載のパターン検出装置。
【請求項１０】前記特徴統合素子の同一受容野にある
複数の前記特徴検出素子は、所定のパターンに対して互
いに位相同期してパルス出力することを特徴とする請求
項２に記載のパターン検出装置。
【請求項１１】前記特徴検出素子は、前記複数のパル
ス信号の到着時間パターンにおいて、各パルスに固有の
所定時間窓範囲内に該当パルスが存在するか否かによ
り、対応する所定の特徴の有無を検出することを特徴と
する請求項２に記載のパターン検出装置。
【請求項１２】前記特徴検出層は、当該層内の各特徴
検出素子に付随して前段の層上の特徴統合素子であって
同一受容野上にある素子からの総出力に基づいて、所定
のパルス間隔でパルスを出力して前記特徴検出演算素子
の位相同期信号を与えるタイミング素子を備えているこ
とを特徴とする請求項２に記載のパターン検出装置。
【請求項１３】前記タイミング素子は、当該タイミン
グ素子が備えられた前記特徴検出層内の特徴検出素子
と、当該特徴検出素子の同一受容野内にある前段の前記
特徴統合層内の特徴統合素子とに所定のタイミングパル
スを出力することを特徴とする請求項１２に記載のパタ
ーン検出装置。
【請求項１４】前記特徴検出層内の各特徴検出素子
は、それぞれの検出する特徴に応じた位相でパルス状の
信号を出力することを特徴とする請求項２に記載のパタ
ーン検出装置。
【請求項１５】複数の前記特徴検出層及び前記特徴統
合層を備え、最終層の信号処理素子より前記所定パター
ンの検出結果を表わす信号を出力することを特徴とする
請求項２に記載のパターン検出装置。
【請求項１６】前記複数の信号処理素子同士は結合手
段を介して結合されており、当該結合手段が一方の前記
信号処理素子の出力パルス信号に所定の変調を施して他
方の前記信号処理素子へ伝達することを特徴とする請求
項１に記載のパターン検出装置。
【請求項１７】前記変調は、パルス位相の遅延である
ことを特徴とする請求項１６に記載のパターン検出装
置。
【請求項１８】前記結合手段は同一カテゴリのパター
ンを表わすパルスの入力回数が増すほど、前記パルス位
相の遅延量を小さくすることを特徴とする請求項１７に
記載のパターン検出装置。
【請求項１９】前記パルス位相の遅延量は特徴の種類
によらず略一定であることを特徴とする請求項１７に記
載のパターン検出装置。
【請求項２０】前記変調は、パルス幅変調であること
を特徴とする請求項１６に記載のパターン検出装置。
【請求項２１】前記変調は、周波数変調であることを
特徴とする請求項１６に記載のパターン検出装置。
【請求項２２】前記所定の一部の素子は、前記所定時
間範囲内に入力した複数のパルス信号を時間的に変化す
る所定の重み係数値を乗じて加算した荷重和に応じた出
力レベルでパルス信号を出力することを特徴とする請求
項１に記載のパターン検出装置。
【請求項２３】前記出力レベルは、前記パルス信号の
位相、周波数、振幅またはパルス幅であることを特徴と
する請求項１に記載のパターン検出装置。
【請求項２４】請求項１に記載のパターン検出装置に
よって処理対象画像のパターンより所定のパターンを検
出した結果に基づき、当該処理対象画像の処理動作を制
御することを特徴とする画像処理装置。
【請求項２５】パターンを入力する入力手段と、前記入力手段より入力されたパターンに含まれる所定の
パターンを検出するパターン検出手段とを有し、前記パターン検出手段が、前記入力されたパターンから所定の特徴を抽出する特徴
検出層と、前記特徴検出層からの出力を所定の方法で統合して出力
する特徴統合層と、前記特徴統合層からの出力を受けて所定の特徴またはパ
ターンの存在する位置情報を出力する特徴位置検出層と
を備えることを特徴とするパターン検出装置。
【請求項２６】前記特徴検出層と前記特徴統合層とが
交互にカスケード的にそれぞれ複数接続されていること
を特徴とする請求項２５に記載のパターン検出装置。
【請求項２７】前記特徴位置検出層の数は前記特徴統
合層よりも少なく、当該特徴位置検出層は当該特徴統合
層の所定の一部にそれぞれ接続されていることを特徴と
する請求項２６に記載のパターン検出装置。
【請求項２８】請求項２５に記載のパターン検出装置
によって処理対象画像のパターンより所定のパターンと
その位置を検出した結果に基づき、当該処理対象画像の
処理動作を制御することを特徴とする画像処理装置。
【請求項２９】複数の信号を入力してパルス信号の出
力を行うニューロン素子を複数個並列に配して構成され
る処理層を複数有し、所定の前記処理層の少なくとも１つの前記ニューロン素
子へ、他の層の複数のニューロン素子から出力されるパ
ルス信号が、当該複数のニューロン素子のそれぞれに対
して設けられたシナプス結合手段及び当該複数のニュー
ロン素子に共通のバスラインを介して入力され、前記シナプス結合手段は、前記複数のニューロン素子か
ら出力されるパルス信号に、当該複数のニューロン素子
のそれぞれに固有のパルス位相シフト量を与えることを
特徴とするニューラルネットワーク回路。
【請求項３０】処理対象画像を表わす信号を請求項２
９に記載のニューラルネットワーク回路によって処理し
た結果の出力信号に基づき、当該処理対象画像の処理動
作を制御することを特徴とする画像処理装置。
【請求項３１】入力部よりパターンを入力し、複数の信号処理素子を用いて、入力された前記パターン
に対して所定の複数の特徴に関する検出を行なって、当
該パターンに含まれる所定のパターンを検出するパター
ン検出方法であって、前記複数の信号処理素子の各々が、前記入力部または他
の信号処理素子からの入力に応じて、更に他の信号処理
素子または外部にパルス信号を出力し、前記複数の信号処理素子の所定の一部が、所定時間範囲
内に入力された複数のパルス信号の到着時間パターンに
応じた出力レベルでパルス信号を出力することを特徴と
するパターン検出方法。
【請求項３２】請求項３１に記載のパターン検出方法
によって処理対象画像のパターンより所定のパターンを
検出した結果に基づき、当該処理対象画像の処理動作を
制御することを特徴とする画像処理方法。
【請求項３３】パターンを入力し、入力された前記パターンに含まれる所定のパターンを検
出するパターン検出方法であって、入力された前記パターンから特徴検出層により所定の特
徴を抽出し、前記特徴検出層からの出力を特徴統合層により所定の方
法で統合して出力し、前記特徴統合層からの出力を受けて特徴位置検出層によ
り所定の特徴またはパターンの存在する位置情報を出力
することを特徴とするパターン検出方法。
【請求項３４】請求項３３に記載のパターン検出方法
によって処理対象画像のパターンより所定のパターンと
その位置を検出した結果に基づき、当該処理対象画像の
処理動作を制御することを特徴とする画像処理方法。