JPH0710094B2 - 画像信号処理システム - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、画像中に存在する対象を評価するための画
像信号処理システムに関し、特に、CCD画像素子を用
い、さらに画像信号中に暗電流に対する補償をする画像
信号処理システムに関する。

（従来の技術） 自動組立装置およびロボットがより高級になるに従っ
て、この様な装置に視覚を設けることが望まれている。
これによって部品の存在や特殊な形状の正確な位置と大
きさに関して対象物を調査すると同時に、製造途中にあ
る対象物の位置に上記（組立）装置を位置させることが
可能となる。このために、種々の視覚システムが、電子
的に分析される作業対象の一次元あるいは２次元電気画
像を形成するために使用されている。

これらの視覚システムにおいては、通常の電荷結合素子
（CCD）画像センサが多用されている。CCD画像素子は、
入射光の強度に比例して電荷を蓄積する検出素子の一次
元あるいは２次元アレイから構成されている。一定時間
電荷が蓄積されると、この検出素子は順次走査され、各
素子の電荷に相当するビデオ信号が形成される。形成さ
れたビデオ信号は解析されるべき画像を表現する。

素子に光が入射しない場合でも、一定量の電荷が各検出
素子に蓄積される。この様な素子が走査されると、固有
の電荷蓄積に相当する“暗電流”が形成される。この暗
電流は、温度、各検出素子に電荷が蓄積される時間、お
よび画像センサの電気的特性の関数である。露光された
検出素子であっても、その蓄積電荷中には固有の電荷蓄
積による部分が含まれている。

一般的な画像解析技法では、設定されたしきい値レベル
以上あるいは以下の輝度を有する画素を処理している。
例えば、比較的高いしきい値以上の輝度を有する非常に
明るい画素を計数し、その合成を解析の係数として使用
している。この技術では、CCD画像センサからのビデオ
信号に対する暗電流分は、ビデオ信号輝度に比較的大き
く影響するため、画像解析に対して重要な影響を持つ。

（発明の構成） この画像処理装置は、画像獲得、画像処理、およびビデ
オ出力信号生成の３つのセクションを含んでいる。この
３個のセクションは、アドレスバス、データバス、およ
び一組の制御信号ラインによって接続されている。

画像獲得セクションは、画像を表現する電気信号を形成
するためのCCD画像センサアレイを含んでいる。この画
像センサは、画像信号中の暗電流成分を示す信号を形成
する部分を含んでいる。画像センサからの画像信号は、
アナログ・デジタル変換器によって一連の多重ビット数
にデジタル化される。ゲート回路は、暗電流基準電源の
制御回路に、アナログ・デジタル変換器出力における最
も重要でない数ビットを供給する。画像センサ出力信号
の暗電流を示す最初の部分では、これらのビットは制御
回路にゲートされる。

画像獲得セクションは、画像センサ信号から暗電流基準
電源の出力を差し引く手段を有している。センサ出力信
号の初期部分が獲得されると、暗電流に比例した出力を
形成するために、フィードバックループが形成されて、
基準電源が調整される。基準電源の出力は、センサ信号
の画像を示す部分から連続して差し引かれる。（差し引
かれた）結果の画像信号は、したがって暗電流の影響が
補償されている。

この発明の一般的な目的は、CCD画像センサからの信号
中の暗電流を補償するための機構を提供することにあ
る。

その他の目的は、画像センサからの暗電流をデジタル化
して補償する手段を提供することにある。

（実施例） 第１図は、機器を操作するためのプログラム命令を実行
する、例えばアレン−ブラッドレイ（Allen-Bradley）P
LC−2/15システムのような、一般的なプログラマブル制
御装置10を示している。この制御装置10は、母体基板に
よって相互に接続され、多くの機能モジュール13〜17を
収納するラック11を備えている。ラック11は、各機能モ
ジュールに電力を供給する電源12を有している。機器の
操作を制御するためのユーザが定義したプログラムを格
納し、かつ実行するために、処理モジュール13が備えら
れている。ラック11中に多くの入出力（I/O）モジュー
ル14〜17が備えられ、処理モジュール13と制御されるべ
き機器上の検出および操作素子との間のインターフェイ
スを構成している。これらの内の一個は、アナログ入力
モジュール15であって、４から20ミリアンペアの範囲の
アナログ電流信号の形で、検出素子からデータを受信す
る。この入力モジュール15は、処理モジュール13への送
信のためにアナログ信号をデジタル化する。通常の個別
dc入力モジュール16は、dc電圧が独立に印加される８個
の入力端子19を有している。普通、これらの各dc電圧
は、制御されるべき機器の与えられた状態に対応するセ
ンサスイッチの状態を表している。さらに、ラック11と
遠隔装置間に、標準的な直列プロトコルを用いたデータ
転送能力を提供するために、直列通信モジュール17が設
けられている。

第１図に示すシステムでは、アナログ入力モジュール15
とdc入力モジュール16の両入力端子はライン走査画像処
理装置20からの出力に結合されている。画像処理装置20
は、作業対象の形状がレンズ21によって画像処理装置内
のライン走査センサ上に結像するように、作業対象18上
に位置される。作業対象18は、画像処理装置20の下方に
手作業によって位置され、あるいは組立ライン（図示せ
ず）にそって移動される。画像処理装置20は、２次元ビ
デオ画像を処理装置に結合されたモニタ22上に表示す
る。モニタ22上のディスプレイは、ライン走査センサか
らの直線画像における画像素子の明るさのレベルを表示
し、さらに画像処理の結果を表示する。ここで用いられ
ているように、“画像素子”と言う言葉は、処理装置20
における画像センサの各画像部位に相当する部分の直線
画像を意味するものである。

ユーザがモニタ22上のスクリーンに表示された像を選択
して処理装置に入力できるように、ライトペン24が画像
処理装置20に接続されている。一旦、画像処理装置が作
業対象を評価するように設定されると、処理装置の操作
に対して、さらに次のモニタが必要で無い限り、モニタ
22とライトペン24は分離される。

画像処理装置20の形状および操作は一般に、この発明と
同一の出願人による米国特許出願第07/202,198号に記載
された画像処理装置と類似である。この画像処理装置20
は、作業対象の、２値画像にデジタル化された直線画像
を形成する。ユーザは直線画像中で数個の領域を定義
し、さらに処理装置は各領域の画像素子を評価する。例
えば、定義された一領域における白・黒２値化画像素子
の数が計数される。この評価時点での結果は予め定めら
れた上限および下限と比較され、その比較結果はケーブ
ル23を介して２個のフォーマットのいずれかでプログラ
マブル制御装置10に導入される。その第１番目は、評価
結果が上限および下限内にあるかどうかを示す２値決定
ビットである。この決定ビットはdc入力モジュール16の
入力に供給される。画像処理装置20はさらに、選択され
た評価結果の大きさに相当する４から20ミリアンペアの
電流信号を発生する。この電流信号はアナログ入力モジ
ュール15に供給される。

画像処理装置20はライン走査センサのみならず、直線画
像をユーザが定義したパラメータに従って翻訳し、さら
にその翻訳結果を表現する出力信号を発生するような、
全ての論理回路を含む。第２図は、画像獲得セクション
31、画像解析セクション32、およびビデオディスプレイ
信号生成器33に分割された、画像処理装置の詳細な回路
を示している。３個の各セクションとそれらの構成部材
は３個のバス、すなわち画像処理装置20の種々の構成要
素中を延びる８ビットの並行データバス26、16ビットの
並行アドレスバス27、および個々の制御ラインのバス2
8、よって相互に接続されている。バス26〜28の画像獲
得セクション31中を延びる部分は、画像解析セクション
32およびビデオディスプレイ信号生成器33中を延びる部
分とは分離されている。この分離は、ライン38上の画像
獲得セクション31からの信号によって制御される３組の
トライステートデータバッファ34,35,36によって構成さ
れている。画像が獲得されると、これらのバッファはト
ライステートの状態に設定され、画像処理装置の他のセ
クション32および33とのバスコンテンションを避けるた
めに、このバッファ部分を画像獲得セクション内に分離
する。画像獲得が起こらない場合は、バッファ34〜36は
バス部分を一体に結合し、それによって画像解析セクシ
ョン32がセクション31中の画像データとアクセスし得る
ようにしている。

画像解析セクション32とビデオディスプレイ信号生成器
33は前述の特許出願に記載したものと同様の回路を含ん
でいるが、この画像処理装置20は、後述するように、新
規な画像獲得セクションを有している。特に、画像獲得
セクション31は、トーシバアメリカ（Toshiba America,
Inc.）によって製造されたモデルTCD142Dのようなライ
ン走査画像センサ40を含んでいる。この型のセンサは、
一直線に沿って位置し、各部位がセンサによって形成さ
れる画像中の画像素子に対応する2048個の個々の検出部
位を有している。センサ40は、励起されると、各部位に
入射する光の強度の関数として検出部位内に電荷を蓄積
するための電荷結合素子である。この検出部位の電荷
は、センサクロック47からの信号によって素子から順次
クロックアウトされ、ライン41上にアナログ出力信号を
形成する。この信号は直列に各画素素子の明るさのレベ
ルを表示するものである。センサ出力ライン41は、コン
デンサ42と抵抗43によって画像信号増幅器44の入力45に
結合される。抵抗46は、増幅器44の出力からその入力に
到るフィードバックパスを形成する。

増幅された画像信号は、センサクロック47からタイミン
グ信号を受信するアナログ・デジタル変換器48の入力に
供給される。アナログ・デジタル変換器48はアナログ信
号を連続したデータバイトに変換する。このバイトはそ
れぞれ、画像素子の明るさを64段階のデジタルグレイス
ケールレベルの１つとして表現する。センサクロック47
からの信号に応答して、各デジタルグレイスケールの明
るさのレベルは、データバス26上に結合される。

アナログ・デジタル変換器48からの多重ビット出力は並
行データバス26によって画像ランダムアクセスメモリ
（RAM）49のデータ端子に接続される。画像RAM49は8K×
８の静的メモリであり、それによって個別の画像を格納
することができる４組の格納位置を形成している。この
中にデータが格納され、あるいはここからデータが順次
読み出される、画像RAM49における特定の格納位置の選
択は、一組の制御データラッチ57からのデータリンク58
上の出力信号によって制御される。画像素子に対する明
るさのデータはアナログ・デジタル変換器48によってデ
ータバスに結合されるので、画像格納制御装置59は、制
御信号を画像RAM49に供給し、これを書き込みモードに
設定する。この時、画像格納制御装置59は同様に画像RA
M49にアドレスバス27を介してアドレス信号を印加し、
必要な画像をその中に格納するためにその格納位置を順
次アクセスする。アドレスの配列はセンサクロック47か
らの信号に応答する。

制御ラッチ57中の制御ラッチからのその他の出力は、AC
QUIREと呼ばれる信号を形成し、これはセンサクロック4
7と画像格納制御装置59に新しい画像を獲得すべきであ
ると指示する。制御ラッチ57はデータバス26に接続さ
れ、制御ライン28から制御信号を受信する。制御のため
の指示は、画像解析セクション32から制御ラッチ57中に
格納される。

画像解析セクション32が解析すべき画像データを要求す
るとき、このセクションは、画像RAM49を読み出しモー
ドに設定するためにライン28上に制御信号を発生する。
その後、画像RAM49中の格納位置は、データバス26上に
画像データを得るために画像解析セクション32によって
アドレスされる。解析結果はビデオディスプレイ信号生
成器33に送信され、さらにケーブル23の出力信号ライン
を介してプラグラマブル制御装置10に送信される。

第２図に示す、画像獲得セクション回路の残りの部分
は、画像センサ40によって生成される暗電流に対する補
償機構を形成している。特に、回路のこの部分は４個の
２重入力開放ドレインNANDゲート51,52,53および54を含
んでいる。各NANDゲートの１入力は、センサクロック47
からの制御信号ライン50に共通に接続されている。各NA
NDゲート51〜54の他方の入力は、データバス26の４個の
重要でないビットラインの異なる１個に接続されてい
る。４個のNANDゲート51〜54の出力は、これらの出力の
論理和を形成するために、接続点55で共通に接続されて
いる。

接続点55は、抵抗56によって第１のトランジスタ60のゲ
ート電極に接続されている。このゲート電極はまたプル
アップ抵抗62によって正電源（＋Ｖ）に接続されてい
る。トランジスタ60のドレイン電極は、抵抗63によっ
て、正電位＋Ｖと第２のトランジスタ64のエミッタに結
合されている。第１のトランジスタ60のソース電極は接
地されている。第２のトランジスタ64のベース電極は、
ダイオード接続のトランジスタ66とツェナーダイオード
67によって、正電位＋Ｖの電源に結合されている。抵抗
68はさらに第２のトランジスタ64のベースをグランドに
接続する。ツェナーダイオード67、トランジスタ66、お
よび抵抗68は、第２のトランジスタ64のベースに、温度
依存性のバイアスを形成する。したがって、第２のトラ
ンジスタの伝導度は画像処理装置の温度の関数となる。

第２のトランジスタ64のコレクタは接続点69に接続さ
れ、コンデンサ70は接続点69とグランド間に延びる。放
電トランジスタ72はそのソース・ドレイン伝導路をコン
デンサ70を横切って接続させている。抵抗74は放電トラ
ンジスタ72のゲート電極を画像格納制御装置59からの制
御信号ライン75に結合している。制御信号ライン75はさ
らに、センサクロック47の入力端子に接続されている。

トランジスタ64,66、ツェナーダイオード67、および抵
抗63,68は、コンデンサ70に電荷を形成するために使用
される。温度補償された電流源を形成する。コンデンサ
70上の電荷によって形成される電圧は、暗電流補償電圧
源を形成するために用いられる。後述するように、コン
デンサ70上の電荷による接続点69上での電圧は、画像セ
ンサ40からの暗電流の量に相当する。暗電流補償電圧源
の接続点69は、単一利得の非反転増幅器76の入力に接続
される。抵抗78は増幅器76の出力を画像信号増幅器44の
入力45に結合する。この結合は、接続点69における電圧
を画像信号に組み込み、この信号から暗電流による影響
を取り除く。

CCD画像センサ40は、光照射に対してシールドされた多
数の検出部位を含んでいる。感知される画像を表現する
電荷を格納する検出部位をクロックするに先立って、遮
蔽された部位における電荷が、暗電流を表示する電気信
号を形成するために、センサからクロックアウトされ
る。各遮蔽部位から生成された信号はこれ以降、暗電流
画素と呼ばれる。これらの暗電流画素は、画像信号増幅
器44を介してクロックされ、さらにアナログ・デジタル
変換器48によってクロックアウトされて、暗電流の大き
さに相当する一連の多重ビットデジタル数をバス26上に
形成する。第１番目から始まる１個毎の暗電流画素が、
センサ40によってクロックアウトされ、かつデータバス
26に供給されるので、センサクロック47は高論理レベル
のパルスをライン50上に形成して、各NANDゲート51〜54
の入力に供給する。

データバス26に供給された第１番目の暗電流画素に対す
るデジタル値の、４個の最も重要でないビットの少なく
とも１個は、高論理レベルを有している。したがって、
４個のNANDゲート51〜54のうちの少なくとも１個は、そ
の両方の入力に供給される高論理レベルを有し、その結
果接続点55において低論理レベルを形成する。この低論
理レベルの出力は第１のトランジスタ60をオフとし、第
２のトランジスタ64とコンデンサ70に短い電流パルスを
供給する。このパルスは、電流パルスの大きさとパルス
幅の積をコンデンサ70の容量によって割ったものに等し
い電圧増加を、接続点69に存在する電圧に加算する。電
流パルスの大きさは抵抗63の抵抗値によって分割された
ツェナーダイオード67の降伏電圧に限定される。電流パ
ルスの幅はライン50上のクロックパルスの幅によって決
定される。接続点69における電圧は増幅器76によって緩
衝され、さらに画像信号増幅器44への入力の時点で画像
センサ40からの出力に加算される。実際、コンデンサ70
に蓄積された電圧は、後続の暗電流画像を表現するセン
サからの信号から差し引かれる。

画像センサ40からの暗電流画素に対する信号は、最初、
接続点69における電圧よりも大きい絶対値電圧を有して
いる。この時、データバス上の暗電流画素に対する４個
の最も重要でないビットは、接続点55において低論理レ
ベルを形成する。したがって、一個毎の暗電流画素が画
像獲得システム31を介して計数されるので、コンデンサ
70上の電荷、すなわち接続点69上の電圧が増加する。接
続点69の電圧が上昇すると、画像信号増幅器44の入力45
における信号の合計したものの絶対値は減少する。同様
に、アナログ・デジタル変換器44の出力は減少する。NA
NDゲート51〜54を介して１個毎の暗電流画素値を計数す
ることによって、フィードバック回路は選択された暗電
流画素のサンプル間で安定する。

最終的に、コンデンサ70は、接続点69における電圧が画
像センサ40からの暗電流画素電圧の入力の絶対値に等し
いレベルにまで帯電される。この時点で、電圧の合計
は、画像信号増幅器44への入力45においてゼロとなり、
さらにアナログ・デジタル変換器48はデータバス26上で
数値０を形成する。一旦この現象が発生すると、全NAND
ゲート51〜54は、データバス26に結合されたその入力に
おいて低論理レベルを受信し、これによって、センサク
ロック47によって計数されると高論理レベルを維持す
る。この結果、接続点55における電位は高レベルに維持
され、トランジスタ60は伝導状態を維持し、その結果、
抵抗63を通って流れる電流はグランドへ分流され、その
ままでは、もはやコンデンサ70を帯電しなくなる。その
後、コンデンサ上の電荷は実質的に一定に保持され、接
続点69における電圧は画像信号の、CCD検出素子部位に
おける暗電流に基づく電圧成分に等しくなる。

遮蔽された検出部位からの全電荷が画像センサ40から計
数された後、実際の画像部位からの電荷の計数が停止さ
れる。この後者の期間において、センサクロック47はラ
イン50上に低論理レベルを供給し、これによってNANDゲ
ート51〜54はデータバスビットによる帯電状態から開放
される。しかしながら、接続点69からの暗電流画素電圧
は、実際の画像データが画像センサ40から計数され、さ
らにビデオ増幅器44の入力に供給されているので、引き
続いてセンサ出力信号から差し引かれる。これによって
画像獲得セクション31への信号入力の暗電流補償が実行
される。したがって、実際の画像に対するアナログ・デ
ジタル変換器48からの出力は、暗電流と光の強度との組
合せよりもむしろ、対応する画像素子部位に入射する光
の強度を示すようになる。

最後の検出部位からの信号が画像センサ40により計数停
止にされると、センサクロックはライン75上にパルスを
送出し、トランジスタ72をオンにする。これによって、
コンデンサ70を放電させる導通路が形成され、回路をリ
セットしてその他の画像からの暗電流画素に対して備え
る。このパルスはさらにセンサクロック47をもリセット
する。

【図面の簡単な説明】

第１図はこの発明の画像処理装置にかかるプログラマブ
ル制御装置の概略を示す図、および第２図はこの画像処
理装置の電気回路のブロック図である。 10:プログラマブル制御装置 40:画像センサ 48:アナログ・デジタル変換器 51,52,53,54:NAND回路 60:第１のトランジスタ 64:第２のトランジスタ 66:ダイオード結合トランジスタ 67:ツェナーダイオード 70:コンデンサ 72:放電トランジスタ

Claims (8)

【特許請求の範囲】
1. 【請求項１】複数の画像センサからの信号の暗電流を補
   償する画像信号処理システムにおいて、 画像センサ信号を一連の多重ビットのデジタル量に変換
   するための変換手段と、 上記変換手段からの多重ビットのデジタル量のうちのい
   ずれかの複数ビット信号が予め定められた論理レベルに
   あるときに該論理レベルを検出し、かつ、該論理レベル
   を示す出力信号を生成するための論理回路と、 電圧記憶手段と、 上記複数の画像センサの数の計算に応じて生ずる制御信
   号に応答して上記電圧記憶手段をリセットするためのリ
   セット手段と、 上記リセット手段により上記電圧記憶手段がリセットさ
   れたのち、上記論理回路の出力信号により制御されて上
   記電圧記憶手段に電圧を印加するための供給手段と、 上記電圧記憶手段からの電圧と上記画像センサからの信
   号とを合成するための合成手段とを備えたことを特徴と
   する画像信号処理システム。
2. 【請求項２】上記供給手段は、電圧源に接続された接続
   点と、 上記接続点と接地点との間を導通するように形成された
   導電路が上記論理回路からの出力信号により導通状態と
   される第１のトランジスタと、 上記接続点と上記電圧記憶手段との間を導通するように
   形成された導電路を有し、かつ、上記電圧源が第２のト
   ランジスタのエミッタに接続され上記第２のトランジス
   タのコレクタおよびベースがツエナーダイオードのカソ
   ードに接続され上記ツエナーダイオードのアノードがベ
   ースに接続された上記ベースを有する第３のトランジス
   タと、を含む請求項１に記載の画像信号処理システム。
3. 【請求項３】上記論理回路は、上記変換手段からの前記
   多重ビットのデジタル量のビット信号を入力するように
   入力端子を有する複数の論理ゲートと、上記複数の論理
   ゲートの入力端子が上記ビット信号によって低論理レベ
   ルにあるときに上記複数の論理ゲートから一つの高論理
   レベルを上記第１のトランジスタのゲートに供給する抵
   抗と、を含む請求項２に記載の画像信号処理システム。
4. 【請求項４】上記リセット手段は、上記制御信号を受け
   るゲートと、上記電圧記憶手段の一端に接続されたドレ
   ンと、接地および上記電圧記憶手段の他端に接続された
   ソースとからなる第４のトランジスタである請求項１に
   記載の画像信号処理システム。
5. 【請求項５】複数の画像センサ上に投影される画像から
   上記画像センサの検出部位に入射する光に応答して電荷
   を蓄積する第１の検出部位グループと、電荷を蓄積する
   ように光から遮蔽された第２の検出部位グループとを有
   し、それぞれの上記検出部位グループは蓄積された電荷
   量を表す出力信号を生成して、上記出力信号を一連の多
   重ビットのデジタル量に変換する変換手段とを有する画
   像処理システムにおいて、 第２の検出部位グループからの出力信号を多重ビットの
   デジタル量に変換し、変換された該多重ビットのデジタ
   ル量のうちの少なくとも一つが所定の論理レベルにある
   ときに、該論理レベルを検出して該論理レベルを示す出
   力信号を生成する論理手段と、 コンデンサと、 上記複数の画像センサのうちの上記第２の検出部位グル
   ープの計数に応じて生ずる制御信号に応答して上記コン
   デンサを放電させる放電作動手段と、 上記放電作動手段により上記コンデンサを放電させたの
   ち、上記論理手段からの上記出力信号に応じて所定の電
   流を上記コンデンサに供給する供給手段と、 上記コンデンサの電圧が上記画像センサの信号から差し
   引かれる演算手段と、を備えた画像信号処理システム。
6. 【請求項６】上記供給手段は、電圧源が第５のトランジ
   スタのエミッタに接続され上記第５のトランジスタのコ
   レクタとベースがツエナーダイオードのカソードに接続
   され上記ツエナーダイオードのアノードが第６のトラン
   ジスタのベースに接続され上記第６のトランジスタのコ
   レクタが上記コンデンサの一端に接続され上記第６のト
   ランジスタのエミッタは抵抗を介して上記電圧源に接続
   された定電流供給回路と、ドレンが上記第６のトランジ
   スタのエミッタに接続されソースが接地点に接続されゲ
   ートが抵抗を介して上記電圧源に接続されかつ上記論理
   手段の出力に接続された第７のトランジスタからなる信
   号供給回路とを含む請求項５に記載の画像信号処理シス
   テム。
7. 【請求項７】上記放電作動手段は、上記制御信号を受け
   るゲートと、上記コンデンサの一端に接続されたドレン
   と、接地および上記コンデンサの他端に接続されたソー
   スとからなる第８のトランジスタである請求項５に記載
   の画像信号処理システム。
8. 【請求項８】上記論理手段は、上記変換手段からの多重
   ビットのデジタル量を受ける入力端子を有し、かつ上記
   入力端子のいずれかが低論理レベルにあるときに一つの
   高論理レベルを出力する複数の論理ゲートと、上記複数
   の論理ゲートの出力を上記第７のトランジスタのゲート
   に接続された抵抗とを含む請求項５に記載の画像信号処
   理システム。