JP2001008100A - 赤外線撮像装置及び素子欠陥補償方法 - Google Patents
赤外線撮像装置及び素子欠陥補償方法Info
- Publication number
- JP2001008100A JP2001008100A JP11176349A JP17634999A JP2001008100A JP 2001008100 A JP2001008100 A JP 2001008100A JP 11176349 A JP11176349 A JP 11176349A JP 17634999 A JP17634999 A JP 17634999A JP 2001008100 A JP2001008100 A JP 2001008100A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- heat source
- determination
- normal
- reference heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置及び欠陥素子補償方法に関し、素子のリニアリ
ティ特性についても判定する。 【解決手段】 赤外線の走査を行う光学系1,2と、複
数素子構成の赤外線検知器3と、常温の基準熱源10
と、高温の基準熱源11と、無効走査期間に於ける常温
の基準熱源10による常温データと高温の基準熱源11
による高温データとを基に、赤外線検知器3の各素子の
感度補正、S/N判定やDCオフセット判定による素子
判定、欠陥素子の置換処理を行う信号処理回路6とを含
み、信号処理回路6は、更に、電源立上げ時/置換指令
時に、基準熱源10,11の温度を変更して、全素子平
均値に対する各素子の差分を求め、この差分が閾値を超
えている素子を欠陥素子と判定するリニアリティ判定を
行う処理機能を備えている。
Description
びこの赤外線撮像装置に於ける素子欠陥補償方法に関す
る。赤外線撮像装置は、赤外線の検知素子を用いて、光
学的に、又は機械的に、又は電気的に目標物方向を走査
し、目標物から放射される赤外線を検出し、その検出信
号を処理して赤外線画像を表示するものであり、監視カ
メラ,暗視装置,サーモグラフィ,リモートセンシン
グ,車両や航空機等に搭載する先方監視装置等の広範囲
の分野で利用されている。
〜5μm帯と8〜10μm帯とに区分されている場合が
一般的であり、赤外線検出素子は、3〜5μm帯では、
PtSi,InSn,HgCdTe等の材料による構成
が適用され、又8〜10μm帯では、HgCdTeによ
る構成が適用されている。又赤外線検知器は、素子構成
として、単一素子,一次元配列素子,二次元配列素子の
何れかの構成があり、一次元配列及び二次元配列の構成
の場合、各素子の感度特性が完全に均一でないことか
ら、ばらつきを補正する必要がある。又感度補正をかけ
ても均一にならない素子が存在する場合、隣接する正常
な画素と置き換える必要がある。本発明は、このような
欠陥素子の置き換えを行う赤外線撮像装置及び素子欠陥
補償方法に関する。
図であり、401,402は光学系、403は赤外線の
検知素子を例えば一次元配列とした赤外線検知器、40
4は増幅器、405はAD変換器(A/D)、406は
感度補正等を行う信号処理回路、407はDA変換器
(D/A)、408はブラウン管や液晶表示パネル等に
よるモニタ、410,411は基準熱源を示す。
基準温度に設定した熱源であり、目標物が放射する赤外
線を走査検出する有効走査期間以外の期間、即ち、無効
走査期間に於いて、光学系402を介して基準熱源41
0,411からの赤外線を赤外線検知器403に入射
し、各検知素子の感度補正を信号処理回路406に於い
て行い、目標物の赤外線画像をモニタ408に表示する
ものである。
光学系401,402の概要を示すもので、同一符号は
同一部分を示す。図49に於いて、412,413は光
学系401を構成するレンズ、414,415は光学系
402を構成するレンズ、416,418はレンズによ
る集光部、417,419は反射鏡を示す。
の後段に、一次元配列構成の赤外線検知器403を配置
し、この赤外線検知器403を構成する検知素子の一次
元配列方向と直交する方向に光学系402によって走査
し、目標物を二次元走査するものである。光学系402
の走査は、モニタ408に於ける表示の走査に対応して
行う場合が一般的であるが、例えば、インタレース走査
を行い、2フィールドで1フレームを構成する場合の第
1フィールドは奇数番目のラインの走査を行い、第2フ
ィールドは偶数番目のラインの走査を行い、このインタ
レース走査による赤外線検出出力信号を用い、特定の目
標物の検出の為やモニタ408表示用に走査変換を信号
処理回路406に於いて行うことになる。
次元配列の多素子構成とした場合、隣接素子による検出
信号の相関が大きいことを利用して、感度特性が基準か
ら大きくずれているような欠陥素子に対しては、隣接素
子を代替えとする制御を行う手段が知られている。即
ち、感度特性等が基準から大きくずれている欠陥素子の
検出信号の代わりに、隣接する正常素子の検出信号を用
いるように切替制御する。
03を構成する各素子に対する判定は、S/NとDCオ
フセットとの何れか一方又は両方で行う場合が一般的で
ある。そして、それらの値が基準値から外れている場合
に、その素子は欠陥素子は判定し、この欠陥素子の検出
出力信号を用いないで、隣接する正常素子の検出出力信
号を用いる素子置換処理が行われる。
基準値の範囲内の場合に、感度のばらつきについては、
各素子の検出信号について補正処理を行うものである。
しかし、実際には、検出信号レベルと温度との関係は曲
線となる場合が一般的であり、更に、この特性は素子間
でばらつきがある。従って、感度補正のみでは、正確な
赤外線画像を得ることが容易でなかった。本発明は、赤
外線検知器の各素子の特性を補正すると共に、リニアリ
ティ特性を含めて基準値を外れた素子の置換の処理を行
って、正確な赤外線画像を得ることを目的とする。
は、(1)複数の素子により構成された赤外線検知器3
と、高温の基準熱源11と常温の基準熱源10と、高温
と常温との基準熱源の温度を制御する基準熱源制御回路
12と、有効走査期間に目標物方向の赤外線を走査して
赤外線検知器3に入射し、無効走査期間に、高温と常温
との基準熱源11,10からの赤外線を走査して赤外線
検知器3に入射する光学系1,2と、無効走査期間に取
込んだ高温の基準熱源11による高温データと、常温の
基準熱源10による常温データとを基に、素子対応の感
度補正を行い、且つ赤外線検知器を構成する各素子の欠
陥を判定し、欠陥素子による信号を正常素子による信号
に置換する処理を行う信号処理回路6とを備えた赤外線
撮像装置であって、基準熱源制御回路12は、電源立上
げ時/置換指令時に、高温と常温との基準熱源11,1
0の温度を所定フィールド数毎に2段階に切替え、通常
動作時は所定の一定温度に制御する構成を有し、信号処
理回路6は、無効走査期間に取込んだ高温データと常温
データとを基に、感度補正係数算出と、感度補正と、S
/N判定、DCオフセット判定又はリニアリティ判定の
少なくとも何れか一方の判定による素子判定と、欠陥素
子の素子判定結果による置換アドレス生成・更新と、各
判定による欠陥素子に対する置換処理を行う処理機能を
有するものである。
上げ時/置換指令時の最初は、常温の基準熱源10の温
度をシーンの平均温度のA〔°C〕に、又高温の基準熱
源の温度をA+α〔°C〕に制御し、所定フィールド後
に、常温の基準熱源10の温度をA+ΔT1 〔°C〕
に、又高温の基準熱源11の温度をA+α+ΔT2 〔°
C〕に制御し、通常動作時に、常温と高温との基準熱源
10,11の温度を最初の状態に制御する構成を備え、
又信号処理回路6は、電源立上げ時/置換指令時と通常
動作時とに於ける常温と高温との基準熱源10,11の
温度に対応して、無効走査期間に取込んだ常温データと
高温データとを基に、S/N判定と、DCオフセット判
定と、全素子平均値に対する各素子の差によるリニアリ
ティ判定との組合せを切替えて素子判定を行い、各判定
による欠陥素子に対する置換アドレス生成・更新を行う
処理機能を備えている。
により構成された赤外線検知器3と、高温の基準熱源1
1と、常温の基準熱源10と、有効走査期間に目標物方
向の赤外線を走査して赤外線検知器3に入射し、無効走
査期間に高温と常温との基準熱源11,10からの赤外
線を走査して赤外線検知器3に入射する光学系1,2
と、信号処理回路6とを有し、赤外線検知器3の出力の
高温の基準熱源11による高温データと、常温の基準熱
源10による常温データとを基に、赤外線検知器3の各
素子を判定し、欠陥素子の信号を正常素子の信号に置換
する欠陥素子補償方法であって、電源立上げ時/置換指
令時に、常温の基準熱源10の温度をA〔°C〕に、又
高温の基準熱源11の温度をA+α〔°C〕に制御し
て、無効走査期間に常温データと高温データとを取込
み、S/N判定又はDCオフセット判定の何れか一方又
は両方により欠陥素子か否かの素子判定後に、感度補正
係数算出を行い、次に、常温の基準熱源10の温度をA
±ΔT1 〔°C〕に、又高温の基準熱源11の温度をA
+α±ΔT2 〔°C〕に制御して、無効走査期間に常温
データと高温データとを取込み、全素子についての平均
値に対する各素子毎の差を第1のリニアリティ判定とし
て、閾値と比較し、該閾値を超える素子を欠陥素子と判
定し、次の通常動作時に、常温の基準熱源10の温度を
A〔°C〕に、又高温の基準熱源11の温度をA+α
〔°C〕に制御して、無効走査期間に常温データと高温
データとを取込み、S/N判定又はDCオフセット判定
又はリニアリティ判定との少なくとも何れか一つの判定
によって欠陥素子か否かの素子判定を行い、各判定によ
る判定結果の論理和を基に欠陥素子の置換処理を行う過
程を含むものである。
線検知器3と、高温の基準熱源11と、常温の基準熱源
10と、有効走査期間に目標物方向の赤外線を走査して
赤外線検知器3に入射し、無効走査期間に高温と常温と
の基準熱源11,10からの赤外線を走査して赤外線検
知器3に入射する光学系1,2と、信号処理回路6とを
有し、高温の基準熱源11による高温データと常温の基
準熱源10による常温データとを基に、赤外線検知器3
の各素子を判定し、欠陥素子の信号を正常素子の信号に
置換する欠陥素子補償方法であって、電源立上げ時/置
換指令時に、常温の基準熱源10の温度をA〔°C〕
に、又高温の基準熱源11の温度をA+α〔°C〕に制
御して、無効走査期間に常温データと高温データとを取
込んで第1の感度補正係数を算出し、次に常温の基準熱
源10の温度をA+ΔT1 〔°C〕に、又高温の基準熱
源11の温度をA+α+ΔT2 〔°C〕に制御して、無
効走査期間に常温データと高温データとを取込んで第2
の感度補正係数を算出し、第1と第2との感度補正係数
の素子対応の差を第2のリニアリティ判定として閾値と
比較し、閾値を超える素子を欠陥素子と判定し、通常動
作時に、常温の基準熱源10の温度をA〔°C〕に、又
高温の基準熱源11の温度をA+α〔°C〕に制御し
て、無効走査期間に常温データと高温データとを取込
み、S/N判定又はDCオフセット判定又はリニアリテ
ィ判定との少なくとも何れか一つの判定によって欠陥素
子か否かの素子判定を行い、各判定による判定結果の論
理和を基に欠陥素子の置換処理を行う過程を含むもので
ある。
図であり、1,2は光学系、3は赤外線検知器、4は増
幅器、5はAD変換器(A/D)、6は信号処理回路、
7は走査変換回路、8はDA変換器(D/A)、10,
11は基準熱源、12は基準熱源制御回路、13は制御
回路、21,22はディジタル・シグナル・プロセッサ
(DSP1,DSP2)、23〜26はランダムアクセ
スメモリ(RAM1〜RAM4)、27,28はリード
オンリメモリ(ROM1,ROM2)を示す。以下2
1,22はDSP、23〜28はメモリと略称する。
1,2と、赤外線検知器3と、検出出力信号を増幅する
増幅器4と、AD変換器5と、無効走査期間に赤外線検
知器3に基準温度の赤外線を入射させる為の基準熱源1
0,11と、モニタ(図示を省略)にアナログ映像信号
として入力する為のDA変換器7とについては、従来例
と同様の構成とすることができる。
準熱源10と高温の基準熱源11とからの赤外線を赤外
線検知器3に入射させる為のそれぞれの走査先頭タイミ
ングでトリガ信号1,2を制御回路13に入力し、又有
効走査期間の走査先頭タイミングでトリガ信号3を制御
回路13に入力し、制御回路13はトリガ信号1,2,
3を基に信号処理回路21に各種の演算処理の開始やモ
ード切替えを指示するものである。この制御回路13
は、前述のトリガ信号1,2,3と、運用中に欠陥素子
の置換を行わせる為の置換指令が入力され、シーケンス
コントローラとして動作して、タイミング信号を信号処
理回路6に入力する機能を備えている。
し、1フィールド1/60sとすると、有効走査期間
は、(1/60)×0.8=13.33〔ms〕、無効
走査期間は、(1/60)×0.2=3.33〔ms〕
となる。この無効走査期間に於いて、常温と高温との基
準熱源10,11からの赤外線を赤外線検知器3に入射
させ、有効走査期間に於いて、光学系1を介した目標物
方向からの赤外線を光学系2による走査に従って赤外線
検知器3に入射させる。
と、メモリ23〜28とを含み、DSP21は、データ
取込み、素子判定、置換アドレス生成及び更新、感度補
正係数算出、感度補正等の処理を行い、DSP22は、
感度補正を行う場合の構成を示す。又メモリ(RAM
1)23は、感度補正係数及び素子判定データの格納用
であり、メモリ(RAM2)24は感度補正係数格納
用、メモリ(RAM3)25及びメモリ(RAM4)2
6は置換アドレス格納用である。又メモリ(ROM1)
27及びメモリ(ROM2)28は、それぞれDSP2
1,DSP22のファーム格納用である。
いて補正処理された赤外線検知器3の検出出力信号を、
モニタに表示する為の例えばNTSC方式に従った走査
方式に変換し、又メモリ25,26に格納された置換ア
ドレスに従って欠陥素子の置換処理、即ち、欠陥素子の
検出信号を正常素子の検出信号に置換えて出力するもの
である。
0,11の温度を、AD変換器5によりディジタル信号
に変換された赤外線検知器3からのデータを基に、一定
に制御するものであり、更に、電源立上げ時/置換指令
時に、シーン(赤外線画像)の温度の平均値をA°Cと
すると、例えば、温度1として、基準熱源10の温度を
A〔°C〕、基準熱源11の温度をA+α〔°C〕と
し、温度2として、基準熱源10の温度をA±ΔT
1 〔°C〕、基準熱源11の温度をA+α±ΔT2 に制
御する。例えば、α=10、ΔT1 =−10、ΔT2 =
+20とすることができる。このような切替えのタイミ
ングは、制御回路13から指示される。
開始させる電源立上げ時又は欠陥素子の置換の指令が制
御回路13に入力された時の電源立上げ時/置換指令時
のモードと、赤外線画像を撮像処理する通常動作時のモ
ードとに切替え、電源立上げ時/置換指令時のモードで
は、赤外線画像処理を中止し、素子の良否の判定等を行
い、又通常動作時のモードでは、素子の良否の判定,欠
陥素子の置換処理,感度補正処理等と共に、赤外線画像
処理を行うものである。
の機能説明図であり、赤外線検知器3が180素子によ
る一次元配列の場合の信号処理回路6の機能を示す。な
お、素子判定として、電源立上げ時/置換指令時及び通
常動作時に、リニアリティ(1)を用いた場合(第1の
リニアリティ判定)の第1の実施の形態について説明す
る。
に於いて、常温の基準熱源10の温度をシーンの平均値
Aとし、高温の基準熱源11の温度をA+α=B〔°
C〕として、無効走査期間に取込んだ基準熱源10によ
る常温データと基準熱源11による高温データとを基
に、従来例と同様にS/N,DCオフセット判定により
素子判定を行い、欠陥素子については置換アドレスの生
成,更新を行い、再度、常温データと高温データとの取
込みを行い、感度補正係数を算出後、基準熱源10の温
度をA±ΔT1 =C〔°C〕に、基準熱源11の温度を
B±ΔT2 =D〔°C〕にそれぞれ変更し、感度補正を
行ってデータ取込みを行い、全素子の平均値を算出し、
素子毎に全素子平均値との差分を求める第1のリニアリ
ティ判定を行い、この差分が閾値を超える大きさの場合
に欠陥素子と判定して、置換アドレスの生成,更新を行
う。そして、基準熱源10の温度をA〔°C〕、基準熱
源11の温度をB〔°C〕に変更し、通常動作時のモー
ドに移行して、赤外線画像処理を行うと共に、S/N,
DCオフセット,リニアリティ判定の何れ一つ或いは複
数の判定処理によって、置換アドレスの生成,更新を行
い、フィールド間隔のリアルタイムで欠陥素子の置換え
を行うものである。
31,35は加算器、32,35,37はメモリ(RA
M1)、32,36は除算器、40は取込み(常温)・
感度補正係数算出部41,45は加算器、42,44,
47はメモリ(RAM1)、43,46は除算器を示
し、それぞれ赤外線検知器3の第1素子対応の機能を示
し、第2素子〜第180素子対応に同様の機能を有する
ものである。
判定部、51,54は加算器、52は除算器、53はB
レジスタ、55は絶対値算出回路、56,58はメモリ
(RAM1)、57は比較器、60は常温リニアリティ
判定部、61,64は加算器、62は除算器、63はB
レジスタ、65は絶対値算出回路、66,68はメモリ
(RAM1)、70はリニアリティ(1)判定部、71
はオア回路(OR)、72はメモリ(RAM1)、80
は置換アドレス生成・更新部、81は置換アドレス生成
部、82,83はメモリ(RAM3,RAM4)、8
4,85は切替部を示す。
は、無効走査期間に、常温の基準熱源10からの赤外線
を検出してAD変換した常温データを取込み、又取込み
(高温)部30は、無効走査期間に、高温の基準熱源1
1からの赤外線を検出してAD変換した高温データを取
り込むもので、例えば、32ライン分について16フィ
ールドにわたって取り込む。例えは、赤外線検知器を1
80素子の一元配列構成とすると、180×32×16
=92160のデータを取込むことになる。
42とを用いて、それぞれ1〜16フィールド毎に、3
2ライン分についての累算値を求め、除算器33,43
により1/32してライン平均値を算出し、メモリ3
4,44に格納し、加算器35,45により16フィー
ルド分の平均値を加算し、除算器36,46により1/
16の除算を行ってフィールド平均値、即ち、高温平均
値と常温平均値とを算出し、メモリ37,47にその高
温平均値と常温平均値とを格納する。なお、赤外線検知
器3を構成する第1素子〜第180素子対応に、メモリ
37には高温平均値、メモリ47には常温平均値をそれ
ぞれ格納する。
7の第1素子〜第180素子対応の高温平均値を加算器
51により加算し、除算器52により1/180の除算
を行って第1素子〜第180素子の高温平均値をBレジ
スタ53に格納し、この全素子についての高温平均値
と、各素子対応のメモリ37に格納された高温平均値と
の差分を加算器54に於いて求め、絶対値算出回路55
で正負の差分値の絶対値を求めてメモリ56に高温リニ
ア値として格納する。比較器57は、この高温リニア値
と閾値とを比較し、閾値を超える素子は欠陥素子
(“1”)と判定し、閾値以内の場合は正常素子
(“0”)と判定してメモリ58に格納する。
ニアリティ判定部50と同様に、加算器51と除算器6
2とにより全素子についての常温平均値を求めてBレジ
スタ63に格納し、この全素子平均値と各素子の平均値
との差分を求め、その絶対値について比較器67に於い
て閾値と比較し、その閾値を超える素子は欠陥素子
(“1”)と判定し、又閾値以内の場合は正常
(“0”)と判定してメモリ68に格納する。
58,68の格納された判定値をオア回路71を介して
メモリ72に素子対応の判定値として格納する。即ち、
高温リニアリティ判定と常温リニアリティ判定との何れ
か一方又は両方で欠陥素子(“1”)と判定した素子
は、欠陥素子として、メモリ72に格納される。即ち、
決定結果の論理和をメモリ72に格納することになる。
従って、赤外線検知器3の各素子のリニアリティ特性が
平均から大きくずれている場合、欠陥素子と判定して正
常素子による置換が行われる。
アドレス生成部81に於いてメモリ72に格納された素
子判定値(正常=“0”,欠陥=“1”)を基に、正常
素子は置換無し、欠陥素子は例えば隣接した次の素子に
置換える。例えば、第1素子が欠陥素子の場合、この第
1素子の検出信号を、この第1素子に隣接した正常な第
2素子の検出信号に置換える。従って、第2素子による
1画素対応の検出信号は2画素対応の検出信号として処
理される。この置換を示すアドレスを生成して、メモリ
82,83の何れかに格納する。このメモリ(RAM
3,RAM4)82,83は二面構成の場合を示し、例
えば、フィールド毎に、一方を更新している時に、他方
から読出しを行う制御を行うことになる。
3の検出出力信号について、1フィールド間隔でリアル
タイムに感度補正,置換アドレス生成・更新を行うもの
である。図3,図4及び図5は通常動作時の機能説明図
であり、基準熱源10,11を、例えば、前述の温度1
に固定する。図4は、取込み(高温)部30と高温リニ
アリティ判定部50との機能を示し、図2及び図3と同
一符号は同一部分を示す。取込み(高温)部30は、無
効走査期間に於ける32ライン分について16フィール
ドにわたって、第1素子〜第180素子の全素子につい
ての高温平均値を求め、高温リニアリティ判定部50
は、この高温平均値と各素子対応の高温平均値との差分
が閾値を超えるか否かを比較器57により判定し、閾値
を超えた素子は、欠陥素子(“1”)と判定してメモリ
(RAM1)58に格納する。
算出部40と常温リニアリティ判定部60との機能を示
し、図2及び図3と同一符号は同一部分を示す。取込み
(常温)・感度補正係数算出部40は、無効走査期間に
於ける32ライン分について16フィールドにわたっ
て、赤外線検知器の第1素子〜第180素子の全素子に
ついての常温平均値を求め、常温リニアリティ判定部6
0は、この常温平均値と各素子対応の常温平均値との差
分が閾値を超えているか否かを比較器67により判定
し、閾値を超えた素子は、欠陥素子(“1”)と判定し
てメモリ(RAM1)68に格納する。
換アドレス生成・更新部80と、感度補正部90と、感
度補正係数算出部100との機能を示し、リニアリティ
判定部70は、高温リニアリティ判定部50からの素子
判定値と、常温リニアリティ判定部60からの素子判定
値とをオア回路71を介してメモリ72に素子判定値と
して格納する。
ドレス生成部81と、メモリ82,83,86,87
と、切替部84,85と、オア回路88(OR)とを含
み、電源立上げ時に求めた素子判定値をメモリ86に格
納する。又メモリ87は、メモリ86に格納された素子
判定値と、リニアリティ判定部70のメモリ72に格納
された素子判定値との論理和の素子判定値を格納する。
即ち、電源立上げ時に求めた素子判定値に、通常動作時
に得られた素子判定値を加えることになり、置換アドレ
ス生成部81は、メモリ87に格納された欠陥素子
(“1”)を示す素子判定値に従って置換アドレスを生
成し、フィールド毎に切替部84,85の切替制御を行
って、メモリ82,83の何れかに格納する。
92とを含み、又感度補正係数算出部100は、加算器
101と除算器102とメモリ(RAM1)103とを
含む機能を有し、メモリ37(図4参照)からの高温平
均値と、メモリ47(図5参照)からの常温平均値との
差を加算器101により求め、除算器102により逆数
を求め、感度補正係数としてメモリ103に格納する。
有効走査期間に得られた画像データから常温平均値を減
算し、乗算器92に於いて、メモリ103からの感度補
正係数を乗算し、走査変換回路7に画像データとして入
力し、置換アドレス生成・更新部80からの置換アドレ
スに従って、欠陥素子をそれに隣接する正常な素子に置
換えた状態の画像データとし、DA変換器8によりアナ
ログ信号に変換してモニタ9に加えて赤外線画像を表示
させる。従って、温度分布等を正確に表す赤外線画像を
表示できる。前述の図2〜図6に示す機能は、電源立上
げ時/置換指令時と通常動作時とに於いて、第1のリニ
アリティ判定により欠陥素子か否かを判定し、欠陥素子
の置換処理を行う場合を示す。
り、電源立上げ時又は置換指令時のフィールドと、光学
系動作と、動作シーケンスと、DSP1,DSP2(図
1に於けるDSP21,22)の動作とを示す。フィー
ルドNに於ける光学系動作の走査期間中の無効期間(以
下、無効走査期間及び有効走査期間を、簡略化して無効
期間及び有効期間と表現する)では、DSP1によりデ
ータを取込み、前述のように、常温の基準熱源10は、
シーンの平均値をAとして、L=A〔°C〕に設定し、
高温の基準熱源11は、α=10として、H=A+10
〔°C〕に設定する。この場合の取込みデータ数は、各
フィールドに於いて、高温データ及び常温データは、1
80(素子)×32(ライン)=5760となる。
6フィールド間で取り込んだ高温データと低温データと
について、全素子に対する平均値を求めて、この平均値
との差分により素子判定,置換アドレス生成更新,欠陥
素子の置換を行う。次のフィールドN+16〜N+31
に於いては、フィールドN〜N+15と同様に、高温デ
ータ及び常温データを取込み、平均値を求めることによ
り、各素子対応の感度補正係数を算出する。そして、熱
源温度変更を行う。例えば、高温の基準熱源11は、Δ
T2 =+20として、H=A+20〔°C〕、常温の基
準熱源10は、ΔT1 =−10として、L=A−10
〔°C〕に設定する。この熱源温度変更に要するフィー
ルドをaとする。
+48+aに於いて、DSP2により感度補正処理を行
い、又DSP1により感度補正されたデータを基に、リ
ニアリティ特性による素子判定、欠陥素子についての置
換アドレスの生成,更新を行い、次に熱源温度変更を行
う。即ち、最初のように、常温の基準熱源10は、シー
ンの平均値をAとして、L=A〔°C〕に設定し、高温
の基準熱源11は、H=A+10〔°C〕に設定する。
そして、撮像画像信号を処理する通常動作に移行する。
ンスを示し、フィールドN〜N+3の場合のみを示す
が、それ以降のフィールドに於いても同様な動作を行う
ものである。又フィールドN+2,N+3について、前
のフィールドN,N+1と同一の処理内容の説明の図示
を省略している。通常動作時は、有効期間に於いて画像
データを処理すると共に、無効期間に於いて高温データ
と常温データとをDSP1により取込み、リニアリティ
特性(第1のリニアリティ判定)による素子判定,置換
アドレス生成更新,感度補正係数算出,感度補正処理を
行う。感度補正処理はDSP2が担当する。
準熱源10とA+10〔°C〕とした高温の基準熱源1
1とに対応する常温データと高温データとを取込んで、
S/NとDCオフセットとの判定により、素子の正常/
欠陥の判定を行い、次に、常温データと高温データとを
取込んで、感度補正係数を算出し、その後、基準熱源1
0の温度をA−10〔°C〕、基準熱源11の温度をA
+20〔°C〕に変更し、感度補正を行ったデータにつ
いて、全素子の平均値を算出し、素子毎に全素子平均値
との差を求め、予め設定した閾値と比較して、閾値を超
える値の素子をリニアリティ判定による欠陥素子とし、
S/N,DCオフセットの判定に於ける欠陥素子との論
理和による欠陥素子について置換処理を行うものであ
る。
ートを示し、図7,図8に於けるフィールドN〜N+4
8+aについて、図1に示すDSP(DSP1)21
と、DSP(DSP2)22との動作を示す。即ち、D
SP1,DSP2の初期値設定を行い、DSP1は無効
期間に於ける高温データと低温データとのデータ取込み
を行い、フィールドN+15では、フィールドN〜N+
15間に於いて取得したデータを基に、従来例と同様な
S/N,DCオフセットについての素子判定を行い、欠
陥素子についての置換アドレスを生成し、メモリ(RA
M3)25に格納する。
得したデータを基に、フィールドN+31に於いて感度
補正係数を算出する。そして、熱源温度変更を行う。即
ち、基準熱源10をA〔°C〕からC〔°C〕に変更
し、基準熱源11をB〔°C〕からD〔°C〕に変更す
る。この基準熱源の温度変更に要するフィールドをaと
する。
SP2は、フィールドN+32+a〜N+37+aに於
いて、それぞれ前のフィールドN+31に於いて算出さ
れた感度補正係数を用いて感度補正処理を行う。又DS
P1は、フィールドN+32+a〜N+48+aに於い
て取込んだ高温データと常温データとを基にリニアリテ
ィ判定を行い、欠陥素子についての置換アドレスを生成
し、メモリ(RAM3)25に格納する。そして、熱源
温度変更を行う。この熱源温度変更は、常温の基準熱源
10と高温の基準熱源11との温度を、それぞれ最初の
A〔°C〕とB〔°C〕とに戻すものである。
ートであり、フィールドN,N+1,N+2に於けるD
SP1,DSP2の詳細な処理を示す。即ち、初期値設
定後、フィールドNに於いては、DSP2は、前フィー
ルドN−1に於いて算出された感度補正係数を用いて感
度補正処理を行い、DSP1は、無効期間に高温データ
と常温データとのデータ取込みを行い、有効期間に、こ
のフィールドNに於いて取得した32ライン分のデータ
と、過去の16フィールドに於ける32ライン分のデー
タとを用いて、感度補正係数を算出し、素子判定を行
い、欠陥素子に対する置換アドレスを生成する。
も、無効期間に於いて、DSP1は、高温データと常温
データとの取込みを行い、有効期間に於いて、DSP1
は、感度補正係数算出と、素子判定と、置換アドレス生
成・更新を行う。又DSP2は、前のフィールドN,N
+2に於いて算出された感度補正係数を用いて感度補正
処理を行う。
あり、赤外線検知器を180素子の一次元配列構成とし
た場合について示し、基準熱源11による高温データと
基準熱源10による常温データとの取込み時のDSP1
の処理フローを示す。又赤外線画像の1画面は、例え
ば、図15に示すように、180×480(画素)構成
となる。即ち、180素子の一次元配列構成の赤外線検
知器を矢印の走査方向に走査して、480ラインで1画
面を構成した場合を示す。
の説明図であり、赤外線検知器3の180素子対応に1
7ビット構成のデータを格納する領域〜と、16フ
ィールド分の高温データを格納する領域H1〜H16
と、16フィールド分の常温データを格納する領域L1
〜L16とを形成した場合を示し、それぞれ図示のデー
タが格納されることになる。
B,C,Dレジスタ等の複数のレジスタとを含む構成を
有するもので、DSP1は、図14に示すように、バス
ラインからAレジスタに高温データを書込み、このAレ
ジスタからメモリ23(RAM1)に転送して格納す
る。これを180素子について1ライン分行う。この場
合、DSPの1サイクルを40nsとすると、この処理
時間は、40(ns)×180(素子)×2(サイク
ル)=14400(ns)となる。
を書込み、メモリ23(RAM1)からBレジスタに書
込み、AレジスタのデータとBレジスタのデータとを加
算してAレジスタに格納する。これを31ライン分につ
いて行う。従って、処理時間は、40(ns)×180
(素子)×31(ライン)×4(サイクル)=8928
00(ns)となる。次にAレジスタのデータを1/3
2の除算を行ってAレジスタへ格納し、Aレジスタから
メモリ23(RAM1)のフィールド対応の領域H1〜
H16に格納する。この場合、14.4μsとなる。従
って、高温データのライン平均値算出処理時間は、92
1.6μsとなる。
ンからAレジスタに常温データを書込み、このAレジス
タからメモリ23(RAM1)に転送して格納する。な
お、(AレジスタからRAM1(領域(LB1〜LB3
2))への格納)は、後述の実施の形態に於いて通常動
作時のみ行う処理ステップを示す。これを180素子に
ついて1ライン分行い、又バスラインからAレジスタに
高温データを書込み、メモリ23(RAM1)からBレ
ジスタに書込む。この場合も、(AレジスタからRAM
1(領域(LB1〜LB32))への格納)は、後述の
実施の形態に於いて通常動作時のみ行う処理ステップを
示す。
のデータとを加算してAレジスタに書込み、これを31
ライン分について行う。次にAレジスタのデータを1/
32の除算を行ってAレジスタへ格納し、除算結果の常
温平均値をAレジスタからメモリ23(RAM1)のフ
ィールド対応の領域L1〜L16に格納する。
トであり、RAM1の領域H1〜H16から高温データ
の平均値をAレジスタに書込み、このAレジスタからR
AM1の領域(図16参照)へ格納する。そして、R
AM1の領域H1〜H16から高温データの平均値を読
出してAレジスタに書込み、又RAM1の領域L1〜L
16から常温データの平均値を読出してBレジスタに書
込み、AレジスタのデータとBレジスタのデータとを加
算してAレジスタに書込み、このAレジスタからRAM
1の領域へ加算結果を格納する。これを15フィール
ドにわたって行い、次にAレジスタのデータを1/16
の除算を行ってAレジスタに格納し、AレジスタからR
AM1の領域へ除算結果を格納する。それにより、高
温データのフィールド平均値が得られる。
常温データのフィールド平均値を求め、RAM1の領域
へ格納する。そして、RAM1の領域から高温デー
タのフィールド平均値をAレジスタへ、RAM1の領域
から常温データのフィールド平均値をBレジスタへそ
れぞれ書込み、AレジスタとBレジスタとのデータの差
分の逆数を求めてAレジスタに書込み、このAレジスタ
からRAM1の領域へ算出結果を感度補正係数として
格納する。
あり、RAM1の領域に格納された感度補正係数をA
レジスタへ書込み、このAレジスタからRAM2(図1
のメモリ24参照)の領域へ感度補正係数値として書
込む。このRAM2は、例えば、180素子対応の16
ビット構成の領域,を有するものである。そして、
RAM1の領域からAレジスタへフィールド平均値を
書込み、このAレジスタからRAM1の領域へオフセ
ット補正係数値として書込む。
ータを書込み、RAM1の領域からBレジスタへ感度
補正係数値として書込み、RAM1の領域からCレジ
スタへオフセット補正係数値として書込み、Aレジスタ
のデータとCレジスタのデータとの差分にBレジスタの
データを乗算してAレジスタに格納し、Aレジスタから
感度補正したデータをバスラインに送出する。この感度
補正に要する時間は、例えば、10.40msとなる。
ーチャートであり、RAM1の領域H1〜H16から高
温データをAレジスタへ書込み、AレジスタからRAM
1の領域へ格納し、次に、15フィールド分につい
て、RAM1の領域H1〜H16から高温データをAレ
ジスタに書込み、RAM1の領域からBレジスタへ平
均値を書込み、AレジスタのデータとBレジスタのデー
タとを加算してAレジスタに書込み、AレジスタからR
AM1の領域へ加算結果を格納する。
レジスタのデータを1/16の除算を行ってAレジスタ
に格納し、このAレジスタからRAM1の領域へ除算
結果を格納する。即ち、高温データのフィールド平均値
を求める。
ータをAレジスタへ書込み、前述の高温データの場合と
同様に、除算結果の常温データのフィールド平均値をA
レジスタからRAM1の領域に格納する。
0参照)、RAM1の領域から高温データのフィール
ド平均値をAレジスタに書込み、Aレジスタのデータと
Bレジスタのデータとを加算してAレジスタに格納す
る。これを180素子について行い、Bレジスタの加算
結果を1/180として、高温データの全素子平均値を
Bレジスタに格納する。
フィールド平均値をAレジスタに書込み、Aレジスタの
データとBレジスタのデータとの差分をAレジスタに書
込み、Aレジスタのデータの絶対値を求めてAレジスタ
に格納し、このAレジスタからRAM1の領域へ格納
する。即ち、素子対応の平均値に対する差分をRAM1
の領域に格納する。
スタへ書込み、判定値(閾値)と比較し、判定値を差分
値が超えてない場合は、正常素子と判定して、Aレジス
タに“0”を書込み、又判定値を差分値が超えて大きい
場合、欠陥素子(異常素子)と判定して、Aレジスタに
“1”を書込む。そして、AレジスタからRAM1の領
域に判定結果を書込む。即ち、180素子対応にそれ
ぞれ判定結果をRAM1に書込むことになる。
領域から高温データのフィールド平均値をAレジスタ
に書込み、AレジスタのデータとBレジスタのデータと
の加算結果をBレジスタに格納し、このBレジスタの1
80素子についての加算結果に対して1/180の除算
を行い、除算結果をBレジスタに格納する。又RAM1
の領域からAレジスタにデータを書込み、Aレジスタ
のデータとBレジスタのデータとの差分をAレジスタに
格納し、Aレジスタのデータの絶対値を求めてAレジス
タに格納し、このAレジスタからRAM1の領域へ格
納する。従って、領域には180素子についての高温
データの差分の絶対値が格納される。
の絶対値を書込み、判定値(閾値)とAレジスタのデー
タとを比較し、差分の絶対値が判定値を超えて大きい場
合、欠陥素子(異常素子)と判定して、Aレジスタに
“1”を書込み、又それ以外は正常素子と判定して、A
レジスタに“0”を書込む。そして、AレジスタからR
AM1の領域に判定結果を書込む。従って、180素
子対応に高温データについての判定結果が領域に書込
まれる。
ールド平均値をAレジスタに書込み、Bレジスタを用い
て180素子についての加算を行い、加算結果のBレジ
スタの内容を1/180にしてBレジスタに格納し、R
AM1の領域から常温データのフィールド平均値をA
レジスタに書込み、AレジスタのデータとBレジスタの
データとの差分を求め、その差分の絶対値をAレジスタ
に格納し、このAレジスタからRAM1の領域へ、1
80素子についての常温データの差分の絶対値を格納す
る。
対値を書込み、判定値(閾値)と比較して素子判定を行
う。前述のように、判定値を超えている場合は欠陥素子
(異常素子)として“1”、又超えていない場合は正常
素子として“0”を、それぞれAレジスタを介してRA
M1の領域に格納する。
に高温データのリニアリティ判定結果と、RAM1の領
域からAレジスタに常温データのリニアリティ判定結
果との論理和を、AレジスタからRAM1の領域にリ
ニアリティ(1)の判定結果(第1のリニアリティ判
定)として格納する。
チャートであり、電源立上げ時/置換指令時に於ける動
作を示し、Dレジスタ及びAレジスタをそれぞれ0と
し、次にAレジスタが180素子に対応した値180で
あるか否かを判定し、180でない場合は、RAM1の
領域からBレジスタへリニアリティ判定データを書込
み、“1”か否かを判定し、“1”の場合、欠陥素子を
示すから、Aレジスタが0か否かを判定し、0の場合は
Cレジスタを1とし、Dレジスタが偶数か否かを判定
し、偶数の場合、CレジスタからRAM3(図1のメモ
リ25)の領域へ正常,欠陥の判定結果を書込み、A
レジスタの内容を+1する。
子であるから、Aレジスタの内容をCレジスタに書込
む。又Aレジスタが0でない場合、Aレジスタの内容を
−1してCレジスタに書込む。そして、前述のDレジス
タが偶数か否かを判定する。Dレジスタが偶数の場合、
CレジスタからRAM4(図1のメモリ26)の領域
へ正常,欠陥の判定結果を書込み、Aレジスタの内容を
+1する。これを180素子について行うことにより、
Aレジスタの内容が180となる。そして、Dレジスタ
の内容を+1する。このDレジスタの内容が偶数か否か
を判定した時、奇数であると、RAM3からRAM4に
切替えて、CレジスタからこのRAM4の領域にデー
タを書込むことになる。
チャートであり、通常動作に於ける場合を示し、180
素子分について順次RAM1からAレジスタにデータを
書込み、RAM1の領域からBレジスタにリニアリテ
ィ判定結果を書込み、AレジスタとBレジスタとの論理
和をAレジスタに書込む。そして、DレジスタとAレジ
スタとを0とし、Aレジスタの内容か180か否かを判
定する。このステップ以降は図22の対応するステップ
と同一であり、重複する説明は省略する。
ムチャートであり、走査系の同期信号によるトリガ信号
1〜3と、DSP動作と、DSPインストラクションと
を示す。トリガ信号1〜3は、前述のように、光学系の
走査に同期した信号であり、無効走査期間の走査先頭タ
イミング(高温データ取込み先頭タイミング)と、常温
データ取込み先頭タイミングと、有効走査期間の走査先
頭タイミングとを示すものである。そして、1/60の
周期の各フィールドの無効走査期間を3.33ms、有
効走査期間を13.33msとすると、トリガ信号1の
立上りにより、無効走査期間の半分の1.65msのD
SPインストラクションINST1に従って、DSPは
32ラインについての高温データの取込みが開始され
る。
上りにより、DSPインストラクションINST2に従
って、DSPは32ラインについての常温データを取込
む。この場合、高温データの取込みに921.6μs、
常温データの取込みに1.1520msを要する場合を
示す。そして、フィールドN〜N+15にわたる高温デ
ータと常温データとの取込みにより、フィールドN+1
5のトリガ信号3の立上りによる有効走査期間に於い
て、DSPインストラクションINST8に従って、S
/N判定とDCオフセット判定とによる素子判定を行
い、それによる置換アドレス生成・更新を行うものであ
る。この場合、素子判定に5.91ms、置換アドレス
生成・更新に166μsを要する場合を示す。
を省略しているが、次のフィールドN+16からフィー
ルドN+31に於いても同様な処理により、高温データ
と常温データとを取込み、フィールドN+31の有効走
査期間に於いて感度補正係数計算を行う。そして、基準
熱源の温度を変更し、その時のフィールド数をaとし
て、フィールドN+32+a〜N+48+aに於いて高
温データと常温データとを取込み、フィールドN+48
+aの有効走査期間に於いてリニアリティ判定による素
子判定を行い、置換アドレス生成・更新を行い、次に基
準熱源の温度を最初の状態に戻して通常動作に移行す
る。
り、トリガ信号1〜3と、DSP1動作とDSP1イン
ストラクションと、DSP2動作とDSP2インストラ
クションとを示す。無効走査期間に於いては、DSP1
インストラクションINST1,INST2に従って、
基準熱源の温度を一定として、高温データと常温データ
とを取込み、有効走査期間に於いては、DSP1インス
トラクションINST7に従って、感度補正係数計算と
素子判定と置換アドレス生成・更新のDSP1動作とな
る。又DSP2インストラクションにより感度補正のD
SP2動作となる。
s、素子判定に7.09ms、置換アドレス生成・更新
に195μsを有する場合を示す。又DSP2は、無効
走査期間では動作しないが、有効走査期間では、DSP
2インストラクションINST4に従って感度補正処理
を行う。この場合、例えば、90素子、480ラインに
ついての場合、10.40msを要することになる。
(RAM2〜RAM4)の説明図であり、RAM2は前
述のように領域,を有し、16ビット構成のデータ
を格納する180素子に対応するアドレス0〜180の
領域にオフセット補正係数、アドレス181〜360
の領域に感度補正係数が格納される。又RAM3,R
AM4はそれぞれ16ビット構成の置換アドレスデータ
を格納するアドレス0〜180の領域をそれぞれ有す
るものである。
時/置換指令時及び通常動作時に、リニアリティ(1)
(第1のリニアリティ判定)による素子判定を用いた場
合を示すが、第2の実施の形態として、電源立上げ時/
置換指令時は、リニアリティ(1)による素子判定を行
い、通常動作時は、このリニアリティ(1)による素子
判定と、S/Nによる素子判定と、DCオフセットによ
る素子判定との判定結果の論理和による素子判定結果を
用いることできる。この場合、電源立上げ時/置換指令
時の動作は、前述の第1の実施の形態の場合と同様であ
るから、重複した説明は省略する。
態に於ける通常動作時の機能説明図であり、通常動作時
に、感度補正とS/Nにる素子判定及び置換を行う場合
の機能を示すのであって、図27に於いて、180は取
込み(高温)部、110は感度補正係数算出部、18
1,185,111は加算器、182,184,18
7,113はメモリ(RAM1)、183,186は除
算器、112は逆数部を示す。
温)・感度補正係数算出部、130は雑音値算出判定
部、121,125,135は加算器、122,12
4,127,131,133,136,138はメモリ
(RAM1)、123,126は除算器、132,12
4,137は比較器を示す。
部、150は素子判定部、160は置換アドレス生成・
更新部、170は感度補正部、141,143,15
2,162,163はメモリ(RAM1)、142は比
較器、151,161はオア回路(OR)、164は置
換アドレス生成部、165,166はメモリ(RAM
3,RAM4)、167,168は切替部、171は加
算器、172は乗算器、7は走査変換回路、8はDA変
換器(D/A)、9はモニタを示す。
補正係数算出部110は、図4に於ける取込み(高温)
部30及び図6に於ける感度補正係数算出部100と同
一の機能を有し、又図28の取込み(常温)・感度補正
係数算出部120は、図5に於ける取込み(常温)・感
度補正整数算出部40と同一の機能を有し、又図29の
置換アドレス生成・更新部160及び感度補正部170
は、図6に於ける置換アドレス生成・更新部80及び感
度補正部90と同一の機能を有するもので、重複した説
明は省略する。
時のRAM1の説明図であり、17×16380の領域
を用いた場合を示し、右側のそれぞれのデータが格納さ
れる。又図32はDCオフセットによる素子判定時のR
AM1の説明図であり、17×7200の領域を用いた
場合を示し、右側のそれぞれのデータが格納される。又
RAM1についてはそれぞれの処理過程で同一又は異な
る領域が使用される。又RAM3,RAM4について
は、図26に示す前述の実施の形態の場合と同様の構成
とすることができる。
は、メモリ131(図31の領域LB1〜LB32)に
16フィールド対応に32ライン分の高温データを格納
し、比較器132により最大値を抽出してメモリ133
(RAM1の領域)にDC値の最大値として格納し、
又比較器134により最小値を抽出してメモリ134
(RAM1の領域にDC値の最小値として格納する。
そして、加算器133に於いて、(DC値の最大値)−
(DC値の最小値)の演算により、雑音値を算出し、メ
モリ136(RAM1の領域)に格納する。比較器1
37は、雑音値と閾値とを比較し、閾値を超える雑音値
の素子は異常(欠陥)素子(“1”)とし、閾値を超え
ない雑音値の素子は正常(“0”)としてメモリ138
(RAM1の領域)に格納する。
感度補正係数算出部110の加算器111の出力の高温
平均値と常温平均値との差分をメモリ141に格納し、
比較器142により閾値と比較し、閾値を超えるものは
欠陥素子(“1”)とし、超えないのは正常素子
(“0”)としてメモリ43に差信号による素子判定値
を格納する。素子判定部150は、雑音値算出判定部1
30のメモリ138からの雑音による素子判定値と、差
信号判定部140のメモリ143からの差信号による素
子判定値との論理和をメモリ152(RAM1の領域
)に、S/Nによる素子判定値として格納する。
トであり、図33〜図35はS/Nによる素子判定、図
36はDCオフセットによる素子判定を示す。なお、図
33の高温のフィールド平均値算出のフローと、常温の
フィールド平均値算出のフローとは、図17示すフロー
と同様であり、重複した説明は省略する。
温のフィールド平均値と常温のフィールド平均値との差
分を求め、素子判定として、差信号を判定値(閾値)と
比較する。差信号が小さいことは、高温データと常温デ
ータとの差が小さいことであるから、判定値より小さい
場合に異常素子と判定して“1”とし、判定値より大き
い場合は正常素子と判定して“0”とする。これを信号
Sの判定値としてRAM1に格納する。
の領域LB1(図31参照)からAレジスタに常温デー
タを書込み、この常温データをRAM1の領域,に
格納する。180素子について終了すると、次に31ラ
イン分について、AレジスタとBレジスタとCレジスタ
とを用いて順次大小比較することにより、RAM1の領
域にDC最大値を格納し、RAM1の領域にDC最
小値を格納する。そして、図35に示すように、最大値
と最小値との差分を雑音値として、AレジスタからRA
M1の領域PP1〜PP16(図31参照)に格納す
る。即ち、180素子対応に16フィールドについての
雑音値がそれぞれ格納される。
スタにデータを書込み、RAM1の領域PP2〜PP1
6から順次データをBレジスタに書込んで、Aレジスタ
とBレジスタとの比較を行い、A<Bの場合は、RAM
11の領域に雑音値を格納し、A<Bでない場合は次
のステップに移行する。
ータを書込み、判定値(閾値)と比較する。この判定値
をAレジスタのデータが超えている場合は異常素子とし
て“1”をAレジスタに書込み、又超えていない場合は
正常素子として“0”をAレジスタに書込み、このAレ
ジスタからRAM1の領域へ、“1”,“0”の雑音
Nについての判定値を格納する。そして、信号Sの判定
値と雑音Nの判定値との論理和をRAM1の領域に、
S/N判定による素子判定結果として格納する。
の領域L1〜L16と、A,Bレジスタとを用いて、常
温データの15フィールド分の平均値を算出し、平均値
をRAM1の領域へ格納する。次に、mフィールド目
に於ける平均値と、(m−1)フィールド目までの平均
値との差分を求めて、その絶対値をDC判定値として、
RAM1の領域に格納し、予め設定した判定値(閾
値)と比較する。この判定値より大きい場合は、異常素
子として“1”、大きくない場合は、正常素子として
“0”を、Aレジスタを介してRAM1の領域にDC
オフセット判定値として格納する。
/置換指令時と通常動作時とに於いてリニアリティ
(1)(第1のリニアリティ判定)による素子判定を用
い、又第2の実施の形態は、電源立上げ時/置換指令時
にリニアリティ(1)による素子判定を行い、通常動作
時に、リニアリティ(1)による素子判定と、S/Nに
よる素子判定と、DCオフセットによる素子判定とを行
う場合であり、第3の実施の形態として、電源立上げ時
/置換指令時には、リニアリティ(2)(第2のリニア
リティ判定)による素子判定、通常動作時にはリニアリ
ティ(1)(第1のリニアリティ判定)による素子判定
を行うものである。
ティ判定)の素子判定は、常温の基準熱源10の温度を
A〔°C〕とし、高温の基準熱源11の温度をA+10
〔°C〕(α=10)として、それぞれの基準熱源1
0,11による常温データと高温データとを用いて感度
補正係数を算出して係数1とする。次に基準熱源10の
温度をA−10〔°C〕(ΔT1 =−10)とし、基準
熱源11の温度をA+20〔°C〕(ΔT2 =+20)
に変更して、それぞれの基準熱源10,11による常温
データと高温データとを用いて感度補正係数を算出して
係数2とする。これらの係数1,2の差分を算出し、そ
の差分と閾値とを比較し、閾値を超える素子を欠陥素子
と判定する。
時の機能説明図であり、図37に於いて、200は取込
み(高温)部、210は取込み(常温)部、201,2
05,211,215は加算器、202,204,20
7,212,214,217はメモリ(RAM1)、2
03,206,213,216は除算器を示す。
補正係数算出部(感度)部、240はリニアリティ
(2)判定部、250は置換アドレス生成・更新部、7
は走査変換回路、8はDA変換器(D/A)、9はモニ
タ、221,231,241は加算器、222,232
は逆数部、223,233,242,244はメモリ
(RAM1)、243は比較器、251は置換アドレス
生成部、252,253はメモリ(RAM3,RAM
4)、254,255は切替部である。
部210は、図2に於ける取込み(高温)部30と取込
み(常温)・感度補正係数算出部40と同様な機能を備
えており、高温平均値の算出処理及び常温平均値の算出
処理については同様な処理であるから、重複した説明は
省略する。
に示すように、17×6840の領域を使用し、右側に
示すようなデータを格納するものである。又図38に於
ける感度補正係数算出(感度)部220は、基準熱源1
0,11の温度を、A〔°C〕とB〔°C〕とした場合
の常温平均値と高温平均値との差分を求め、この差分値
の逆数を逆数部222により求めて、感度補正係数とし
てメモリ223(図39に示すRAM1の領域)に格
納する。これを係数1とする。
基準熱源10,11の温度をC〔°C〕とD〔°C〕と
した場合の常温平均値と高温平均値との差分を求め、こ
の差分値の逆数を逆数部232により求めて、感度補正
係数としてメモリ233(図39に示すRAM1の領域
)に格納する。これを係数2とする。
1と係数2との差分を求め、係数の差としてメモリ24
2(RAM1の領域)に格納し、比較器243により
閾値と比較し、閾値を超えているものは異常素子と判定
し、閾値を超えないものは正常素子と判定し、メモリ2
44(RAM1の領域)に異常素子は“1”、正常素
子は“0”とした判定値を格納する。
4からの判定値を基に、赤外線検知器の素子の置換アド
レスを生成し、メモリ252,253に格納し、走査変
換回路7に於いて画像データに対する置換処理を行う。
ートであり、DSP1,DSP2(図1参照)は初期値
設定を行い、DSP1は無効期間に於いて高温データと
常温データとを取込み、有効期間は動作しない。フィー
ルドN+15に於いて、高温データと常温データとをそ
れぞれ32ライン分取得し、次の有効期間に於いて感度
補正係数(1)を算出し、これを前述のように係数1と
し、次に熱源温度を変更して、同様の処理によってフィ
ールドN+31+aの有効期間に於いて感度補正係数
(2)を算出し、これを係数2とする。
41に示すように、係数1と係数2とを用いてリニアリ
ティ(2)判定による素子判定を行い、判定結果に従っ
た置換アドレス生成・更新を行い、置換アドレスをメモ
リ252(RAM3)に格納し、次フィールドに於ける
置換アドレスとして走査変換回路7に入力される。
チャートであり、RAM1(図39参照)の領域から
感度補正係数、即ち、係数1をAレジスタに書込み、R
AM1の領域からBレジスタへ感度補正係数、即ち係
数2をBレジスタに書込み、A,Bレジスタ間の差分を
求め、RAM1の領域へ係数の差として格納する。そ
して、この領域の係数の差をAレジスタに書込み、判
定値(閾値)と比較する。判定値(閾値)よりAレジス
タのデータが大きい場合は、異常素子として“1”、大
きくない場合は正常素子として“0”を、Aレジスタか
らRAM1の領域へリニアリティ(2)判定値として
格納する。
あり、フィールドと、光学系動作と、動作シーケンス
と、DSP1動作と、DSP2動作とを示し、図43に
於けるフィールドN〜N+15では、基準熱源の温度を
H=L+10〔°C〕(A=L,α=10)、L=シー
ンの平均値(A)として、DSP1は無効期間に於いて
データ取込み、有効期間に於いて感度補正係数算出を行
い、熱源温度変更を行い、次に図44に示すように、H
=L+20〔°C〕(L=A,ΔT2 =+20)、L=
シーンの平均値−10〔°C〕(ΔT1 =−10)とし
て、フィールドN+16+a〜N+31+aに於いて同
様にデータの取込みと感度補正係数算出とを行い、フィ
ールドN+32+aの有効期間に於いて、リニアリティ
(2)判定による素子判定、置換アドレス生成・更新、
置換の処理を行う。
に、リニアリティ(1)判定により素子判定を行い、欠
陥素子についてリアルタイムで正常素子の検出信号を利
用する置換処理を行うものであり、重複する説明は省略
する。
/置換指令時は、リニアリティ(2)判定(第2のリニ
アリティ判定)を行い、通常動作時はリニアリティ
(1)判定(第1のリニアリティ判定)とS/N判定と
DCオフセット判定とを行う。即ち、電源立上げ時/置
換指令時には、図37〜図44について説明したよう
に、基準熱源の温度を変更してそれぞの感度補正係数を
求め、その感度補正係数の差分を基にリニアリティ
(2)判定を行い、通常動作時には、図1〜図26につ
いて説明したように、リニアリティ(1)判定を行うも
のである。
ティ(2)判定を行い、通常動作時は、感度補正とDC
オフセット判定とを行う実施の形態の機能を、図45〜
図47に示す。この図45に於いて、300は取込み
(高温)部、301,305は加算器、302,30
4,307はメモリ(RAM1)、303,306は除
算器を示す。
温)・感度補正係数算出部、320はDCオフセット値
算出部、311,315,321,325は加算器、3
12,314,317,322,324,327,32
9はメモリ(RAM1)、313,316,323は除
算器、326は絶対値回路、328は比較器を示す。
算出(感度)部、340は感度補正部、350は置換ア
ドレス生成・更新部、331,341は加算器、332
は逆数部、333,352,353はメモリ(RAM
1)、342は乗算器、351はオア回路(OR)、3
54は置換アドレス生成部、355,356はメモリ
(RAM3,RAM4)、357,358は切替部、7
は走査変換回路、8はDA変換器(D/A)、9はモニ
タを示す。
・感度補正係数算出部310は、例えば、図2に於ける
取込み(高温)部30と取込み(高温)・感度補正係数
算出部40と同一の機能を備えており、前述のように、
メモリ37の各素子対応の領域に高温平均値が格納さ
れ、又メモリ47の各素子対応の領域に常温平均値が格
納されるもので、重複した説明は省略する。
314に格納された1〜15フィールドのライン常温平
均値を加算してメモリ322に格納し、除算器323に
より1/15の乗算によりフィールド常温平均値をメモ
リ324に格納し、このフィールド常温平均値と、ライ
ン常温平均値との差分を加算器325に於いて求め、絶
対値回路326により差分の絶対値を求め、メモリ32
7にDCオフセット値として格納し、比較器328に於
いて閾値と比較し、この閾値を超えたDCオフセット値
の素子を異常素子と判定し、判定値の“1”をメモ32
9に格納し、又閾値を超えないDCオフセット値の素子
を正常素子と判定し、判定値の“0”をメモリ329に
格納する。
モリ307からの高温平均値と、メモリ317の常温平
均値との差分の逆数を感度補正係数としてメモリ333
に格納し、この感度補正係数を感度補正部340の乗算
器342に入力する。この感度補正部340は、メモリ
317からの常温平均値を画像データから減算し、乗算
器342に於いてメモリ333からの感度補正係数を乗
算して、赤外線検知器の各素子の感度を補正する。
モリ329からの素子判定値と、メモリ352からの電
源立上げ時に求めた素子判定値との論理和を求めて、新
たな素子判定値としてメモリ353に格納する。置換ア
ドレス生成部354は、素子判定値を基に置換アドレス
を生成し、メモリ355又は356に格納する。この置
換アドレスが走査変換回路7に入力され、素子判定値が
“1”の欠陥素子を、素子判定値が“0”の正常素子に
よって置換した状態の信号処理を行う。
されるものではなく、例えば、赤外線検知器3の素子数
は180以外の数とすることも可能であり、又無効走査
期間に於ける常温データと高温データとの取込みのライ
ン数とフィールド数とは、走査効率やDSPの演算能力
等に対応して任意に選択可能である。又第1のリニアリ
ティ判定と、第2のリニアリティ判定と、S/N判定等
の他の判定との種々の組合せを適用することも可能であ
る。又電源立上げ時には、第1のリニアリティ判定又は
第2のリニアリティ判定により欠陥素子か正常素子かの
判定を含めるものであり、従って、通常動作に移行した
場合に、少なくとも、リニアリティ特性がほぼ均一な素
子による赤外線画像を得ることができる。そして、この
通常動作を所定時間経過した時に、自動的に置換指令に
よる動作を行わせて、リニアリティ判定を行わせること
も可能である。
検知器3の各素子の判定手段として、従来例のS/N判
定やDCオフセット判定に、リニアリティ判定を付加し
たものであり、このリニアリティ判定による素子判定に
よって、複数素子から構成された赤外線検知器3の各素
子の特性の均一化を保証することが可能となり、又周囲
温度の変化等による特性変化に対しても対応することが
できる。従って、モニタに表示する赤外線画像の精度を
著しく向上することができる利点がある。更に、通常動
作時に於いても、S/N判定,DCオフセット判定等と
共にリニアリティ判定を含めて、リアルタイムで欠陥素
子の有無の判定と、欠陥素子の置換処理とを行うことが
可能となり、赤外線撮像装置の信頼性を向上することが
できる利点がある。
る。
る。
ある。
ある。
である。
である。
である。
の説明図である。
る。
る。
ある。
Claims (4)
- 【請求項1】 複数の素子により構成された赤外線検知
器と、高温の基準熱源と常温の基準熱源と、該高温と常
温との基準熱源の温度を制御する基準熱源制御回路と、
有効走査期間に目標物方向の赤外線を走査して前記赤外
線検知器に入射し、無効走査期間に前記高温と常温との
基準熱源からの赤外線を走査して前記赤外線検知器に入
射する光学系と、前記無効走査期間に取込んだ前記高温
の基準熱源による高温データと前記常温の基準熱源によ
る常温データとを基に、前記素子対応の感度補正を行
い、且つ前記赤外線検知器を構成する各素子の欠陥を判
定し、欠陥素子による信号を正常素子による信号に置換
する処理を行う信号処理回路とを備えた赤外線撮像装置
に於いて、 前記基準熱源制御回路は、電源立上げ時/置換指令時に
前記高温と常温との基準熱源の温度を所定フィールド数
毎に2段階に切替え、通常動作時は所定の一定温度に制
御する構成を有し、 前記信号処理回路は、前記無効走査期間に取込んだ前記
高温データと前記常温データとを基に、感度補正係数算
出と、感度補正と、S/N判定、DCオフセット判定又
はリニアリティ判定の少なくとも何れか一方の判定によ
る素子判定と、欠陥素子の素子判定結果による置換アド
レス生成・更新と、各判定による欠陥素子に対する置換
処理を行う処理機能を有することを特徴とする赤外線撮
像装置。 - 【請求項2】 前記基準熱源制御回路は、前記電源立上
げ時/置換指令時の最初は、前記常温の基準熱源の温度
をA〔°C〕に、又前記高温の基準熱源の温度をA+α
〔°C〕に制御し、所定フィールド後に、前記常温の基
準熱源の温度をA+ΔT1 〔°C〕に、又前記高温の基
準熱源の温度をA+α+ΔT2 〔°C〕に制御し、前記
通常動作時に、前記常温と高温との基準熱源の温度を前
記最初の状態に制御する構成を備え、 前記信号処理回路は、前記電源立上げ時/置換指令時と
通常動作時とに於ける前記常温と高温との基準熱源の温
度に対応して、無効走査期間に取込んだ前記常温データ
と高温データとを基に、S/N判定と、DCオフセット
判定と、全素子平均値に対する各素子の差によるリニア
リティ判定との組合せを切替えて素子判定を行い、各判
定による欠陥素子に対する置換アドレス生成・更新を行
う処理機能を備えたことを特徴とする請求項1記載の赤
外線撮像装置。 - 【請求項3】 複数の素子により構成された赤外線検知
器と、高温の基準熱源と、常温の基準熱源と、有効走査
期間に目標物方向の赤外線を走査して前記赤外線検知器
に入射し、無効走査期間に前記高温と常温との基準熱源
からの赤外線を走査して前記赤外線検知器に入射する光
学系と、信号処理回路とを有し、前記赤外線検知器の出
力の前記高温の基準熱源による高温データと前記常温の
基準熱源による常温データとを基に、前記赤外線検知器
の各素子を判定し、欠陥素子の信号を正常素子の信号に
置換する欠陥素子補償方法に於いて、 電源立上げ時/置換指令時に、前記常温の基準熱源の温
度をA〔°C〕に、又前記高温の基準熱源の温度をA+
α〔°C〕に制御して、無効走査期間に常温データと高
温データとを取込み、S/N判定又はDCオフセット判
定の何れか一方又は両方により欠陥素子か否かの素子判
定後に感度補正係数算出を行い、 前記常温の基準熱源の温度をA±ΔT1 〔°C〕に、又
前記高温の基準熱源の温度をA+α±ΔT2 〔°C〕に
制御して、無効走査期間に常温データと高温データとを
取込み、全素子についての平均値に対する各素子毎の差
を第1のリニアリティ判定として、閾値と比較し、該閾
値を超える素子を欠陥素子と判定し、 通常動作時に、前記常温の基準熱源の温度をA〔°C〕
に、又前記高温の基準熱源の温度をA+α〔°C〕に制
御して、感度補正後、無効走査期間に常温データと高温
データとを取込み、S/N判定又はDCオフセット判定
又は前記リニアリティ判定との少なくとも何れか一つの
判定によって欠陥素子か否かの素子判定を行い、 各判定による判定結果の論理和を基に欠陥素子の置換処
理を行う過程を含むことを特徴とする欠陥素子補償方
法。 - 【請求項4】 複数の素子により構成された赤外線検知
器と、高温の基準熱源と、常温の基準熱源と、有効走査
期間に目標物方向の赤外線を走査して前記赤外線検知器
に入射し、無効走査期間に前記高温と常温との基準熱源
からの赤外線を走査して前記赤外線検知器に入射する光
学系と、信号処理回路とを有し、前記高温の基準熱源に
よる高温データと前記常温の基準熱源による常温データ
とを基に、前記赤外線検知器の各素子を判定し、欠陥素
子の信号を正常素子の信号に置換する欠陥素子補償方法
に於いて、 電源立上げ時/置換指令時に、前記常温の基準熱源の温
度をA〔°C〕に、又前記高温の基準熱源の温度をA+
α〔°C〕に制御して、無効走査期間に常温データと高
温データとを取込んで第1の感度補正係数を算出し、 次に前記常温の基準熱源の温度をA+ΔT1 〔°C〕
に、又前記高温の基準熱源の温度をA+α+ΔT2 〔°
C〕に制御して、無効走査期間に常温データと高温デー
タとを取込んで第2の感度補正係数を算出し、 前記第1と第2との感度補正係数の素子対応の差を第2
のリニアリティ判定として閾値と比較し、該閾値を超え
る素子を欠陥素子と判定し、 通常動作時に、前記常温の基準熱源の温度をA〔°C〕
に、又前記高温の基準熱源の温度をA+α〔°C〕に制
御して、無効走査期間に常温データと高温データとを取
込み、S/N判定又はDCオフセット判定又はリニアリ
ティ判定との少なくとも何れか一つの判定によって欠陥
素子か否かの素子判定を行い、 各判定による判定結果の論理和を基に欠陥素子の置換処
理を行う過程を含むことを特徴とする欠陥素子補償方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17634999A JP3876400B2 (ja) | 1999-06-23 | 1999-06-23 | 赤外線撮像装置及び素子欠陥補償方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17634999A JP3876400B2 (ja) | 1999-06-23 | 1999-06-23 | 赤外線撮像装置及び素子欠陥補償方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001008100A true JP2001008100A (ja) | 2001-01-12 |
| JP3876400B2 JP3876400B2 (ja) | 2007-01-31 |
Family
ID=16012057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17634999A Expired - Fee Related JP3876400B2 (ja) | 1999-06-23 | 1999-06-23 | 赤外線撮像装置及び素子欠陥補償方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3876400B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004077349A (ja) * | 2002-08-21 | 2004-03-11 | Yamato Scale Co Ltd | 金属検出装置 |
| US6900756B2 (en) | 2001-02-21 | 2005-05-31 | Qinetiq Limited | Calibrating radiometers |
| JP2008148129A (ja) * | 2006-12-12 | 2008-06-26 | Canon Inc | 撮像装置、及びその制御方法、並びにプログラム |
| JP2011171892A (ja) * | 2010-02-17 | 2011-09-01 | Fujitsu Ltd | 撮像装置 |
| US11039096B2 (en) | 2017-04-24 | 2021-06-15 | Nec Corporation | Image processing device, image processing method and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03246428A (ja) * | 1990-02-23 | 1991-11-01 | Fujitsu Ltd | 赤外線映像装置 |
| JPH0432378A (ja) * | 1990-05-29 | 1992-02-04 | Mitsubishi Heavy Ind Ltd | 赤外線撮像装置 |
| JPH07507390A (ja) * | 1992-05-26 | 1995-08-10 | フリル システムズ アクチボラゲット | 検出器の較正 |
| JPH09130679A (ja) * | 1995-10-27 | 1997-05-16 | Fujitsu Ltd | 赤外線撮像装置 |
| JPH09307815A (ja) * | 1996-05-10 | 1997-11-28 | Fujitsu Ltd | 赤外線撮像装置 |
-
1999
- 1999-06-23 JP JP17634999A patent/JP3876400B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03246428A (ja) * | 1990-02-23 | 1991-11-01 | Fujitsu Ltd | 赤外線映像装置 |
| JPH0432378A (ja) * | 1990-05-29 | 1992-02-04 | Mitsubishi Heavy Ind Ltd | 赤外線撮像装置 |
| JPH07507390A (ja) * | 1992-05-26 | 1995-08-10 | フリル システムズ アクチボラゲット | 検出器の較正 |
| JPH09130679A (ja) * | 1995-10-27 | 1997-05-16 | Fujitsu Ltd | 赤外線撮像装置 |
| JPH09307815A (ja) * | 1996-05-10 | 1997-11-28 | Fujitsu Ltd | 赤外線撮像装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6900756B2 (en) | 2001-02-21 | 2005-05-31 | Qinetiq Limited | Calibrating radiometers |
| JP2004077349A (ja) * | 2002-08-21 | 2004-03-11 | Yamato Scale Co Ltd | 金属検出装置 |
| JP2008148129A (ja) * | 2006-12-12 | 2008-06-26 | Canon Inc | 撮像装置、及びその制御方法、並びにプログラム |
| JP2011171892A (ja) * | 2010-02-17 | 2011-09-01 | Fujitsu Ltd | 撮像装置 |
| US11039096B2 (en) | 2017-04-24 | 2021-06-15 | Nec Corporation | Image processing device, image processing method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3876400B2 (ja) | 2007-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100539648C (zh) | 摄像元件及摄像装置和方法 | |
| JPH09510068A (ja) | 画像のサブ画像からの合成 | |
| EP0430982A1 (en) | Wide dynamic range camera | |
| JP2001177752A (ja) | 互いに相違する集束距離で撮影された画像構成要素を有する組合せ出力画像を生成するための撮像方法および装置 | |
| JP3876400B2 (ja) | 赤外線撮像装置及び素子欠陥補償方法 | |
| JP3969848B2 (ja) | 赤外線撮像装置 | |
| JP4793059B2 (ja) | 撮像装置及び撮像システム | |
| US7119318B2 (en) | Image processing apparatus and method | |
| JP3418812B2 (ja) | 赤外線撮像装置の画素置換方法 | |
| JP2004241818A (ja) | 赤外線撮像装置の固定パターンノイズ補正方法および固定パターンノイズ補正装置 | |
| JP3406455B2 (ja) | 赤外線撮像装置 | |
| JPH11190663A (ja) | 赤外線検知器リアルタイム感度補正方法及び赤外線撮像装置 | |
| EP0766204B1 (en) | High speed hardware loader for look-up table | |
| JP2808814B2 (ja) | 欠陥画素の位置検出装置 | |
| JP4390940B2 (ja) | 欠陥画素検出装置 | |
| JP4654610B2 (ja) | 撮像装置及び撮像制御方法 | |
| TWI689204B (zh) | 影像擷取裝置以及用於影像放大的影像擷取方法 | |
| JP3584499B2 (ja) | オフセット補正データ自動切替え回路 | |
| JP4180869B2 (ja) | 赤外線撮像装置 | |
| JP3495571B2 (ja) | シェーディング補正機能付き非冷却赤外線2次元センサカメラ | |
| JPH077667A (ja) | 赤外線撮像装置 | |
| JPH05264357A (ja) | 赤外線撮像装置の感度補正装置 | |
| JP2001245277A (ja) | 画像変換装置 | |
| JP2886510B2 (ja) | ビデオ信号データの処理システム | |
| JP2808781B2 (ja) | 固体撮像装置の画像欠陥補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061019 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |