[go: up one dir, main page]

JP3548465B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP3548465B2
JP3548465B2 JP25474599A JP25474599A JP3548465B2 JP 3548465 B2 JP3548465 B2 JP 3548465B2 JP 25474599 A JP25474599 A JP 25474599A JP 25474599 A JP25474599 A JP 25474599A JP 3548465 B2 JP3548465 B2 JP 3548465B2
Authority
JP
Japan
Prior art keywords
imaging
pixels
mode
addition
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25474599A
Other languages
English (en)
Other versions
JP2001078081A (ja
Inventor
修 結城
誠二 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP25474599A priority Critical patent/JP3548465B2/ja
Priority to US09/655,862 priority patent/US7154542B1/en
Priority to TW089118348A priority patent/TW529302B/zh
Priority to CNB001269445A priority patent/CN1153449C/zh
Publication of JP2001078081A publication Critical patent/JP2001078081A/ja
Application granted granted Critical
Publication of JP3548465B2 publication Critical patent/JP3548465B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/715Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using frame interline transfer [FIT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は撮像装置及び撮像方法に係わり、特に撮像領域の画素を画素加算して読み出す撮像装置及び撮像方法に関する。
【0002】
【従来の技術】
特定の撮像領域を表示装置の画素数より粗く拡大表示する方法が知られている。以下、この方法を用いた撮像装置について説明する。
【0003】
図19に、撮像装置の構成を示す。この撮像装置は、光電変換部101、垂直転送部102、蓄積部103、水平転送部104、信号電荷検出部105および水平転送部104と反対側に設けられた出力部106からなる。なお、矢印は通常の信号電荷の転送方向を示す。
【0004】
図20は、蓄積部を有する撮像装置を駆動させるための代表的なパルス波形例である。図20において、(a)は複合帰線消去信号、(b),(c),(d)および(e)は垂直転送部102に印加する4相クロック信号で、それぞれVA1,VA2,VA3およびVA4ゲートに印加する垂直転送パルス波形(以下φVA1,φVA2,φVA3およびφVA4と記す)、(f),(g),(h)および(i)は蓄積部103に印加する4相クロック信号で、それぞれVB1,VB2,VB3およびVB4ゲートに印加する垂直転送パルス波形(以下φVB1,φVB2,φVB3,φVB4と記す)、(j)はCCD出力信号の有効識別信号(以下、プリブランキングと記す)、(k)は水平転送部104の信号電荷を信号電荷検出部105へ移す転送パルス(以下、水平転送パルスと記す)波形を示している。
【0005】
次に、図19と図20を参照して従来の撮像装置の駆動方法を説明する。
【0006】
垂直帰線消去期間A3中に、光電変換部101より垂直転送部102へ蓄積された電荷を図20(b)〜(e)に示されたチャージパルスC3によって転送する。次に、垂直高速転送パルスF3により電荷を垂直転送部102より蓄積部103へ蓄積部の段数分転送する。次に、映像走査期間B3で蓄積部103へ一水平期間G3ごとに垂直転送パルスI3を印加し、電荷を一水平期間G3ごとに水平転送部104へ転送する。これと同時に一水平期間G3すなわち垂直転送パルスI3の間に水平転送部104上の信号電荷を1回分転送できる周波数の水平転送パルスH3を水平転送部104に印加し、信号電荷を信号電荷検出部105より出力する。
【0007】
また、垂直転送部102に、垂直帰線消去期間A3の開始よりチャージパルスC3が印加される前まで、水平転送部104に対して反対側にある出力部106方向へ垂直高速転送パルスD3を印加し、垂直転送部102にある不要電荷の掃き出しを行う。
【0008】
以上の駆動方法により垂直転送部102と蓄積部103は別々に動作可能となり、電子シャッタスピードがおよそ1/60秒〜1/1600秒が可能となる。
【0009】
次に、図21に示したパルス波形図を参照して蓄積部を有する撮像装置における画面の一部を縦および横が2倍で面積比が4倍で表示するための駆動方法を説明する。なお、ここでは画面中央部を拡大するためのパルス波形である(以下、この動作を電子ズームと記す)。図21において、(a)は複合帰線消去信号、(b),(c),(d)および(e)は垂直転送部に印加する4相クロック信号で、それぞれφVA1,φVA2,φVA3,φVA4、(f),(g),(h)および(i)は蓄積部に印加する4相クロック信号で、それぞれφVB1,φVB2,φVB3,φVB4、(j)はプリブランキング、(k)は水平転送パルス波形を示している。
【0010】
まず、垂直帰線消去期間A4中に、光電変換部101より垂直転送部102へ蓄積された電荷をチャージパルスC4によって転送する。次に、垂直高速転送パルスE4により電荷を垂直転送部102より蓄積部103へ段数分転送する。蓄積部103では、垂直高速転送パルスF4により段数の4分の1だけ余分に転送し、水平転送部104、信号電荷検出部105より掃出する。次に、蓄積部103に残った4分の3段分の電荷を、つづく映像走査期間B4で、一水平走査期間G4のほぼ真中の時刻に蓄積部103へ垂直転送パルスI4を二水平走査期間ごとに印加することにより水平転送部104へ転送する。同時に二垂直転送パルス間に水平転送部104上の信号電荷を一回分転送できる周波数の水平転送パルスH4を水平転送部104に印加し、信号電荷を信号電荷検出部105より出力する。この操作により、光電変換部101の蓄積部103側の約4分の1から4分の3の部分、つまり中央部分が一映像走査期間に引き伸ばされて出力される。そして、映像走査期間B4の終わりには、光電変換部101の蓄積部103とは反対側の4分の1の信号電荷は、蓄積部103の一部に残る状態となる。この残された信号電荷は、次の垂直帰線消去期間A4のはじまりの部分にある蓄積部103の高速転送パルスJ4により水平転送部104へ転送され、信号電荷検出部105より掃き出される。
【0011】
次に信号処理回路において、プリブランキング信号により、ブランキング処理し一水平走査期間遅延を行い空白部分を補間することで縦と横を2倍に拡大した画面をモニタ画面いっぱいに表示することができる。
【0012】
なお、従来例では画面中央部を拡大したが、拡大位置は任意である。
【0013】
【発明が解決しようとする課題】
しかしながら、上記の様な撮像素子を用いた撮像装置では表示装置の解像度と同数の画素数のデータを読み出す撮像素子を用いているので、例えば、撮像面の1/4部分を表示装置全面に表示しようとすると、解像度は水平、垂直で1/2となってしまう。
【0014】
また、上記の撮像装置では、任意の位置の部分読み出しを行うことは直接できないので、余分な画素まで読み出し掃き捨てなければならなかった。
【0015】
本発明の目的は、撮像素子全面の読み出しによる表示と、例えば、1/4部分の表示に於いても充分な解像度が得られる撮像装置を提案することにある。
【0016】
また本発明の他の目的は、読み出し領域の指定が可能とし必要部分だけの読み出しを可能とする撮像装置を提案することにある。
【0017】
【課題を解決するための手段】
本発明の撮像装置は、第1の撮像領域の画素をn(nは自然数)画素加算して読み出す第1の読み出し手段と、
前記第1の撮像領域よりも小さい第2の撮像領域の画素を非加算、またはm(m<n;mは自然数)画素加算して読み出す第2の読み出し手段と、
前記第1の読み出し手段におけるn画素加算と前記第2の読み出し手段における非加算との違い、または前記第1の読み出し手段におけるn画素加算と前記第2の読み出し手段におけるm画素加算との違いに基づいて、露光制御を行う露光制御手段とを有し、
前記第1の読み出し手段は、第1の色信号を蓄積した複数の画素からの第1の色信号を加算する第1の加算手段と、第2の色信号を蓄積した複数の画素からの第2の色信号を加算する第2の加算手段と、を有し、前記第1の色信号の加算数と、前記第2の色信号の加算数とが異なることを特徴とするものである。
【0018】
本発明の撮像方法は、撮像素子の第1の撮像領域の画素をn(nは自然数)画素加算して読み出す第1のモードと、
前記第1の撮像領域よりも小さい第2の撮像領域の画素を非加算、またはm(m<n;mは自然数)画素加算して読み出す第2のモードと、
前記第1のモードにおけるn画素加算と前記第2のモードにおける非加算との違い、または前記第1のモードにおけるn画素加算と前記第2のモードにおけるm画素加算との違いに基づいて、露光制御を行う第3のモードとを有し、
前記第1のモードは、第1の色信号を蓄積した複数の画素からの第1の色信号を加算する第1の加算モードと、第2の色信号を蓄積した複数の画素からの第2の色信号を加算する第2の加算モードと、を有し、前記第1の色信号の加算数と、前記第2の色信号の加算数とが異なることを特徴とするものである。
【0019】
本発明の好適な実施形態では、表示しようとする画素数より多くの画素数を有する撮像素子と、その余剰分の画素を撮像素子内、または/および、外で加算する手段を有し、さらに、例えば、増幅型撮像素子の如き、ランダムアクセス可能な撮像素子を用いることにより、撮像面の全面を表示する加算モード、および、全面表示と同数の撮像データを部分的に読み出す非加算モードの2種の撮像手段を有する。
【0020】
また、加算モードと非加算モードとで、読み出し画素数を略同一(同一又は同一に近い値)とすれば、記憶領域や画像処理部の構成を統一することが可能である。すなわち、複数のモードを有する撮像装置は一般的には記憶領域や画像処理部で複数必要とされるが、本発明では複数モードでの記憶領域や画像処理部構成を統一し簡潔なものとすることが可能である。
【0021】
さらに、自動露光制御(以下、AEという。)や自動合焦制御(以下、AFという。)では、部分指定領域の露光評価や合焦評価が行える様に分割された撮像面で予め評価データを用意記憶しておき、撮像時にはモードや指定領域に合う評価データを用いて制御を行う。この様な手段により、スムーズなモード切り換えや領域指定が可能となる。すなわち、部分読み出しモードでは、AEやAFが複数領域で評価されなければならないが、それらの評価データを複数記憶することにより、速いAE/AFを行なうことが可能となる。
【0022】
読み出し領域の指定では、水平、垂直の画素数を表示画素数に合わせる為に、端が指定された場合でも、充分な画素数が得られる様に読み出し領域のポイントの自動校正手段を付加している。すなわち、読み出し領域の指定で表示装置へ所定の画素数のデータが送れる様に、領域指定の制限を行なうものである。
【0023】
以下、図18(a)〜(c)を用いて本発明について説明をする。図18(a)に示すように、撮像素子の撮像領域200の画素数をa0×b0とし、撮像領域200より小さい撮像領域201の画素数をa1×b1とし、撮像領域201より小さい撮像領域202の画素数a2×b2とする。
【0024】
本発明では撮像領域201(第1の撮像領域となる)のn画素(nは自然数)ごとに加算読み出しを第1のモードで行い、撮像領域202(第2の撮像領域となる)のm画素(m<n;mは自然数)ごとに加算読み出し、又は非加算読み出しを第2のモードで行う。なお、ここでは撮像領域200内の撮像領域201から第1のモードで加算読み出しする場合を取りあげたが、撮像領域200全体を第1のモードで加算読み出しする場合には撮像領域201を撮像領域200(本願の第1の撮像領域を撮像領域200とする)と置き換えて考えればよい。
【0025】
この場合、図18(b)に示す、第1のモードで加算読み出しされて構成される実質的な画素数a3×b3(<a1×b1)を、第2のモードの非加算読み出しの場合の画素数a2×b2と等しく(a3×b3=a2×b2)すれば、第1のモードで読み出された信号の画素数と第2のモードで読み出された信号の画素数は等しくなり、上記のように記憶領域や画像処理部の構成を統一できる。また、図18(a)に示す、第1のモードで加算読み出しされて構成される実質的な画素数a3×b3(<a1×b1)を、図18(c)に示す、第2のモードの加算読み出しの場合の画素数a4×b4(<a2×b2)と等しく(a3×b3=a4×b4)すれば、同様に記憶領域や画像処理部の構成を統一できる。
【0026】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔第1の実施の形態〕
図1は、本発明のシステム構成を示す図である。
【0027】
ここで光電変換は、被写体からの光が絞り羽根1を通り、レンズ2により撮像素子4へ結像されることで行われる。なお、3は、モワレ等を防ぐ為に光の高域をカットする光学ローパス・フィルター、色補正フィルター、および赤外線カットする為のフィルター等が組み合わされたフィルター群である。
【0028】
撮像素子4で変換された光信号は、アドレス指定部8からの信号によりXアドレス選択部6およびYアドレス選択部5で2次元で画素位置選択が行われ、タイミング調整部7に読み出される。このタイミング調整部7では、撮像素子4からの出力(1〜複数本)のタイミング調整が行われる。そして、タイミング調整部7から出力された信号は、AGC(オートゲインコントロール)10により電圧を制御され、A/D変換器11でデジタル信号に変換される。
【0029】
カメラDSP12は、動画または静止画の画像処理を行う。またMPU14は、この画像処理の際に使われるパラメータをカメラDSP12に設定したり、AE、AF処理を行ったりする。なお、AF制御は、フォーカス・モーター51によりフォーカス・レンズ(図示せず)を前後に動かして行う。
【0030】
画像処理する際の一時的な記憶領域としてDRAM13が用いられ、不揮発性の記憶領域として画像記録媒体18が用いられる。画像記録媒体18は、例えば、スマート・メディア、磁気テープ、または光ディスク等である。
【0031】
この画像処理後の表示を行う為にビデオエンコーダ15、および、CRT16等が設けられている。また、ビューファインダー17は、例えばLCDの様なもので画像記録媒体18に記憶する前に被写体を確認したりする為に用いられる。これらの出力装置は、CRT16、および、ビューファインダー17に限らずプリンタ等を用いてもよい。
【0032】
なお、表示領域指定部19は、図5の如き水平1600画素×垂直1000画素の撮像素子の内で図8の様に水平800画素×垂直500画素の読み出しを行う場合に、その位置を指定するポインタ装置であり、本実施形態ではその中央位置を指定する様に構成されている。従って、図5の水平1600画素×垂直1000画素の内の中央(800,500)の座標が指定される。
【0033】
図2に全体処理を示すフローチャート、図3に図2の一部フローチャート、図4に画像処理のフローチャートを示す。
【0034】
先ず、撮像装置の電源をオンした後、図12に示される様な、撮像素子の分割域R2〜R5(中央部R1を含む)での露光評価と焦点評価を行い評価値をメモリ(DRAM13)に記憶する(図2のS1,S2)。なお、この測定は定期的に行われる。
【0035】
撮像がオンであればモード判定を行い(図2のS3,S4)、加算モードの場合はアドレス指定部8へ撮像素子の複数画素加算走査のモードが設定される(図2のS5)。例えば、このモードでは図7の如き加算走査の設定がなされる。
【0036】
続いて、メモリから加算モード用AEデータ、例えば、図12の中央部R1のデータをMPU14が読み出し、光学系絞り羽根1とAGC10の増幅率の設定を行う(図2のS6)。また、同様にメモリから加算モード用の図12の中央部R1の焦点評価値を読み出し、フォーカス・モーター51により、フォーカス・レンズ(図示せず)を前後に動かして、AF制御を行う(図2のS7)。
【0037】
他方、非加算モードの場合は、撮像読み出し領域が、表示領域指定部19でポインタ・デバイスにより指定される(図2のS8)。このズーム位置に合わせ、Xアドレス選択部6、およびYアドレス選択部5に先頭アドレスの設定がなされる。なお、この場合の画素読み出しアドレス指定はX,Yアドレス共に1画素ずつ進む順次走査がアドレス指定部8に設定される(図2のS9)。
【0038】
続いて、メモリから非加算モード用AEデータ、例えば、図12の左上R2部分のデータをMPU14が読み出し、光学系絞り羽根1とAGC10の増幅率の設定を行う(図2のS10)。また、同様にメモリから非加算モード用の図12の左上R2部分の焦点評価値を読み出し、フォーカス・モーター51によりフォーカス・レンズ(図示せず)を前後に動かして、AF制御を行う(図2のS11)。
【0039】
このモードに応じた撮像データはA/D変換器11でデジタル撮像データに変換された後、DRAM13に記憶される。なお、加算モードでも非加算モードの場合でも同じメモリ領域29(図9)が使用される。
【0040】
この記憶された撮像データは、図4に示される様な画像処理が行われ、輝度信号と色差信号としてビデオ・エンコード処理等を受けた後、図3に示される、CRT表示、画像記録、ビューファインダー表示に用いられる。そして、この一連の動作は、撮像オン、オフ判定から繰り返される。
【0041】
以下、加算モードと非加算モードについて詳しく述べる。
【0042】
先ず、本実施形態で用いた撮像素子の動作について説明する。図16において、158はフォトダイオード(以下PDという。)150で蓄積された電荷を増幅MOSトランジスタ160のゲートを浮遊構造としたフローティング・デフュージョン(以下、FDという。)に転送する為の電位障壁操作用転送ゲートのMOSトランジスタである。また、157は該PD150の電荷をリセットする為のリセットMOSトランジスタである。そして、ライン選択用のMOSトランジスタとして159が設けられている。なお、これらのMOSトランジスタのゲートは、各々、PD150の電荷を転送する転送信号線153、FDをリセットするリセット信号線156、および選択信号線152に接続されている。
【0043】
ここで、PD150に蓄積された電荷は、リセット信号線156によりリセットトランジスタ157がオンしリセットされたFDへ、転送信号線153により選択されたMOSトランジスタ158を通して転送され、選択信号線152により選択された選択MOSトランジスタ159を介してソースフォロワMOSトランジスタ160で増幅され、読み出し線154へ読み出される。
【0044】
図17は図16に示された画素の複数配列した画素部と読み出し回路を示す回路構成図である。図17では簡易化のために2×2画素のみが示されている。
【0045】
非加算制御では、図17に示されるMOSトランジスタ161−1が信号線169により導通されることで容量162−1へ該電荷は蓄積される。同様に、PD150−2の電荷は、信号線156−1,153−1,152−1、および、169のPD150−1の読み出し制御の際に容量164−1へ読み出される。続いて、信号線167と信号線168が交互にオンされることで、PD150−1,PD150−2の撮像信号は順次に増幅器169を通して読み出される。垂直方向への動作は156−2,153−2,152−2の制御から上記と同様の動作により行われる。
【0046】
次に加算制御では、図17に示される信号線156−1,153−1,152−1、および、169の制御で、PD150−1,PD150−2の電荷が、各々、容量162−1,164−1へ蓄積される。続いて、信号線156−2,153−2,152−2、および170の制御で、PD150−3,PD150−4の電荷が、各々、容量162−2,164−2へ蓄積される。この後、信号線167と信号線168を同時にオンすれば、PD150−1,PD150−2,PD150−3、およびPD150−4の電荷を加算した撮像信号が増幅器169を通して読み出される。またPD150−1,PD150−4の信号の電荷を容量162−1,容量164−1へ蓄積し、この後、信号線167と信号線168を同時にオンすれば、PD150−1,PD150−4の電荷を加算した撮像信号が増幅器169を通して読み出される。
【0047】
上記した制御手段で、非加算と加算での動作を行わせることができる。
【0048】
また、上述した様に信号線156,153,152の選択制御手段で垂直の任意の位置を、信号線167,168の制御手段で水平方向の任意の位置を選択することが可能である。
【0049】
上記した様に図5は本実施形態で用いた水平1600画素×垂直1000画素で構成される撮像素子20である。
【0050】
撮像素子20の加算モードは、図6に示される水平800画素×垂直500画素の表示装置30への全面表示のモードであり、図7の40に示すような加算を行っている。ここで、図1の光学フィルター群3に設けられた光学ローパス・フィルターは、1600画素×1000画素で被写体の折り返しを生じない様に設定されている。従って、単純に4画素に1画素を抜き取って読み出しを行えば画像にモワレを生じてしまう。この為、この加算モードでは図7の40の様にR,Bについては水平、垂直で、Gに関しては斜め方向に複数画素の加算を行っている。これにより加算方向の被写体像の空間周波数は落とされ、折り返しによる偽色は軽減される。
【0051】
一方、非加算モードは図8の50に示される様に、撮像素子20の内の1/4面を読み出すモードで部分ズームに相当する。この場合、ズーム位置は表示領域指定部19で指定され、本例では中央部分(図5の撮像装置の第250行〜第750行、第400列〜第1200列の範囲の画素領域)がズームされる。この時、撮像素子20からは図8の50の様に1画素毎の非加算撮像信号が水平800画素×垂直500画素分読み出される。これは、図6の表示装置30の1画素毎に撮像信号1画素が対応しており、従来例の様に表示装置と同様画素の1部の画素をズーム表示するのと比べ解像度は充分なものとなる。
【0052】
上述した様に水平800画素×垂直500画素の表示装置30に合わせて加算モードと非加算モードの撮像装置からの読み出し画素数を設定している為に、加算モードの一部分を拡大した非加算表示が解像度を損なうことなく行える。
【0053】
また上記例では図6の全画素に対し、図7の如き加算処理を施したが、G11から水平800画素、垂直500画素に対し、図7の加算処理を行なう。一方でG11から水平1600画素、垂直1000画素に対し図24の如き加算処理を行なう。この場合には、G11から(800,500)までの領域とG11から(1600,1000)迄の領域を同一の表示解像度で画角を異にして表すことが可能となる。
【0054】
さらに撮像素子20に補色系のカラーフィルターを用いた場合でも、図22に示す撮像素子の非加算モードとしてG11から(800,500)までの画素を読み出し、色分離、画像処理後、水平800画素×垂直1000画素で構成される表示装置30へ表示することを行う。
【0055】
また、加算モードでは図23の如き加算が施され、撮像素子の最大画角としての像が表示装置30へ表示される。
【0056】
この場合の、色分離、画像処理は上記したものと同一である。
〔第2の実施の形態〕
複数の撮像モードを有する撮像装置では、例えば、図14に示される様に、加算モード用メモリ28と非加算モード用メモリ27を2系統用いる方法が考えられる。ここに蓄積された撮像データは、各々、図15で示される加算処理部21、または、非加算処理部22で個別の処理が行われる。この様な処理方式を行った場合、メモリの容量は、加算モード用+非加算モード用となり大きな容量が必要とされることになる。また、処理部も同様に2系統が用いられ、大規模で高速な処理部が必要とされることになる。
【0057】
これに対し、本実施形態では、加算モード時に画素間信号の加算を撮像素子4内で行い、非加算モード時はXアドレス選択部6とYアドレス選択部5で読み出し位置を指定し加算モード時と同じ画素数でズーム撮影を行えば図9の様に加算モードと非加算モード用メモリは共用メモリとすることができる。また、カメラDSP12の処理も図10に示す色分離31、ホワイトバランス(以下WBと略す)処理41、ガンマ(以下、γと略す)補正34,42、黒白クリップ処理35,43、ローパス・フィルター処理37,44,45、等の一連の処理部を共有し1系統とすることができる。
【0058】
なお、加算モード時の加算処理はA/D11とDRAM13の間に図示しないライン・メモリと加算器によって行っても素子内の画素加算と同様のメモリ、および、処理構成を採ることが可能である。
〔第3の実施の形態〕
一般に露出調整機構は、光学系の絞り1と映像信号のAGC10の増幅率の制御にて行うものが知られている。この方法で制御を行う場合は、特開昭62−110369号公報に開示される様に、画面を中央領域と周辺領域に分けて、夫々の領域における映像信号レベルを評価値として検出し重み付けした量で光学系の絞りと映像信号の増幅率の制御を行う方法が知られている。
【0059】
しかし、本発明の撮像装置の如く複数のモードを有する場合は、1種類の露光量検出だけではAEに対応することができない。
【0060】
図11のLPF23を通過したR1乃至R5の映像信号は、積分器24によって積分され、DRAM13内のAEデータ記憶領域AE1乃至AE5に記憶される。この動作は、非加算モードで40万画素ズームの場合は、例えば図12に図示される様にセンサ4のR2領域を積分した出力をAEデータ1(AE1)へ記憶する。また、加算モードの時にはセンサ4全体での撮像となるので図12のR1、つまり、画像中央の積分出力をAEデータ2(AE2)へ記憶する。
【0061】
この様に、各モードに応じた露光評価値をメモリ上に記憶しておき、各モードの切り換え時に、記憶されている測光評価値により、AE制御を行えば、例えば所望のズーム域の光量に適した露光が迅速に可能となる。
【0062】
当然R1乃至R5の測光評価値を予めDRAM13に記憶しておき、モードの選択、ズーム位置に合わせてAE制御を行えば、撮像素子4内の任意領域のズームも迅速に行える。
【0063】
次に、焦点調整機構は、現フィールドと前フィールドでの焦点評価値の比較によって、フォーカス・モーターを駆動し、合焦させるものが知られている。
【0064】
しかし、フォーカス制御に関しても、前記、AE制御と同様に、本発明の撮像装置の如く複数のモードを有する場合は、1種類の焦点評価値だけではAFに迅速に対応することができない。
【0065】
図11のHPF(ハイパスフィルター)25を通過したR1乃至R5の映像信号は、積分器26によって積分され、DRAM13内のAFデータ記憶領域AF1乃至AF5に記憶される。この動作は、非加算モードで40万画素ズームの場合は、例えば、図12に図示される様に撮像素子4のR2領域を積分した出力をAFデータ2(AF2)へ記憶する。また、加算モードの時には、撮像素子4全体での撮像となるので図12のR1、つまり、画像中央の積分出力をAFデータ1(AF1)へ記憶する。
【0066】
この様に、各モードに応じた焦点評価値をメモリ上に記憶しておき、各モードの切り換え時に、記憶されている焦点評価値と現フィールドとの焦点評価値を用いれば、例えば所望のズーム域の合焦制御が迅速かつ適確に行える。
【0067】
当然R1乃至R5の焦点評価値を予めDRAM13に記憶しておき、モードの選択、ズーム位置に合わせてAF制御を行えば、センサ4内の任意のズーム位置のAF制御が迅速に行える。
〔第4の実施の形態〕
図1の表示領域指定部19は本実施形態では非加算モードで読み出すブロックの中心を指示するものである。なお実際には開始点や終点を示すポインタとしても構わない。
【0068】
この読み出し領域サイズとして図8の如き水平800画素×垂直500画素を固定してあると、図13(b)の(1600,800)座標を指定した場合、実際には読み出せない領域が生じる。この場合は図13(a)のdポイント、つまり、(1200,600)座標がポイントされたと見なして斜線の領域を読み出し表示を行う。他の3角も領域サイズに応じた限界ポイントa(400,200),b(1200,200),c(400,600)を設け読み出し表示の限定とする。
【0069】
つまり、撮像領域内の限定ポイントa,b,c,dで規定される設定座標の範囲以外の座標の指定があった場合は、指定された座標に近い4つの限定ポイントのいずれかが指定されたとして撮像素子の読み出し領域を限定する。
【0070】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、第1の加算モードと非加算モード(又は第1の加算モードより画素数の少ない第2の加算モード)とを制御することにより、解像度の劣化のない拡大撮像が可能となる。
【0071】
また、加算時と非加算時の読み出し撮像データ数を同数とすることにより、モード毎の処理系構成は同一とすることができメモリと処理系は簡潔な1系統で済ませられる。
【0072】
撮像位置を切り替えたり、モードを切り替えた時は予め記憶されている値でAE/AF制御が行え切り換えがスムーズに行える。
【図面の簡単な説明】
【図1】本発明の撮像装置の構成図である。
【図2】本発明の撮像装置の動作フローチャートである。
【図3】本発明の撮像装置の動作フローチャートである。
【図4】画像処理部のフローチャートである。
【図5】本実施形態で用いた撮像素子の画素構成図である。
【図6】本実施形態で用いた表示装置の画素構成を表わす図である。
【図7】加算モードでの読み出し撮像データ構成を示す図である。
【図8】非加算モードでの読み出し撮像データを示す図である。
【図9】本発明の撮像装置のメモリ構成を示す図である。
【図10】本発明の撮像装置の画像処理部を示す図である。
【図11】本発明のAE/AFデータの記憶状態を示す図である。
【図12】AE/AFの評価領域の分割例を示す図である。
【図13】撮像素子からの読み出し領域の限定を説明するための図である。
【図14】従来の撮像装置のメモリ構成を説明するための図である。
【図15】従来の撮像装置の画像処理部を説明するための図である。
【図16】撮像素子の画素構成を説明するための図である。
【図17】撮像素子の構成を説明するための図である。
【図18】本発明を説明するための模式図である。
【図19】従来の撮像装置のCCD撮像素子の構成図である。
【図20】従来のCCD撮像素子を用いた撮像装置の駆動方法を説明するためのタイミング図である。
【図21】従来の電子ズーム時の撮像装置の駆動方法を説明するための図である。
【図22】本実施形態で用いた撮像素子の画素構成図である。
【図23】加算モードでの読み出し撮像データ構成を示す図である。
【図24】加算モードでの読み出し撮像データ構成を示す図である。
【符号の説明】
1 絞り羽根
2 レンズ
3 各種光学フィルター
4 撮像素子
5 Yアドレス選択部
6 Xアドレス選択部
7 タイミング調整部
8 アドレス指定部
9 発振器
10 オート・ゲイン調整部
11 A/D変換器
12 カメラDSP
13 DRAM
14 中央演算ユニット
15 ビデオ・エンコーダ
16 CRT
17 ビューファインダー
18 画像記録媒体
19 表示領域指定部
51 フォーカス・モーター
20 撮像素子画素構成
30 表示装置画素構成
40 加算モードでの読み出し撮像データ構成
50 非加算モードでの表示用画素構成
29 本提案の画像メモリ構成
31 色分離
32 高帯域輝度処理部
33 広帯域化処理部
34 γ補正
35 黒白クリップ処理部
36 加算処理部
37 ローパス・フィルター
38 輪郭補正部
39 色信号処理部
41 WB処理部
42 γ補正部
43 黒白クリップ処理部
44 ローパス・フィルター
45 ローパス・フィルター
23 ローパス・フィルター
24 積分器
25 ハイパス・フィルター
26 積分器
27 非加算モード用フレーム・メモリ
28 加算モード用フレーム・メモリ
21 加算処理部、非加算処理部
R1乃至R5 AE/AF評価用分割エリア
AE1乃至AE5 AEデータ記憶領域
AF1乃至AF5 AFデータ記憶領域
a,b,c,d 領域指定ポイント
A1,A3,A4 垂直帰線消去期間
B1,B3,B4 映像走査期間
C1,C3,C4 チャージ・パルス
D1,D3,D4,E1,E4,F1,F3,F4,K1,J4 高速転送パルス
G1,G3,G4 水平走査期間
H1,H3,H4 水平転送パルス
I1,I3,I4 垂直転送パルス
101 光電変換部
102 垂直転送部
103 蓄積部
104 水平転送部
105 信号電荷検出部
106 出力部
150 フォトダイオード
151 画素アンプ
152 選択信号線
153 転送信号線
156 リセット信号線
157 リセットMOSトランジスタ
158 転送MOSトランジスタ
159 選択MOSトランジスタ
160 ソースフォロワMOSトランジスタ
161 CT選択MOSトランジスタ
162 CT
163 CT選択MOSトランジスタ
164 CT
165 水平転送選択MOSトランジスタ
166 水平転送選択MOSトランジスタ
167 水平転送選択信号線
168 水平転送選択信号線
169 増幅器

Claims (14)

  1. 第1の撮像領域の画素をn(nは自然数)画素加算して読み出す第1の読み出し手段と、 前記第1の撮像領域よりも小さい第2の撮像領域の画素を非加算、またはm(m<n;mは自然数)画素加算して読み出す第2の読み出し手段と、
    前記第1の読み出し手段におけるn画素加算と前記第2の読み出し手段における非加算との違い、または前記第1の読み出し手段におけるn画素加算と前記第2の読み出し手段におけるm画素加算との違いに基づいて、露光制御を行う露光制御手段とを有し、
    前記第1の読み出し手段は、第1の色信号を蓄積した複数の画素からの第1の色信号を加算する第1の加算手段と、第2の色信号を蓄積した複数の画素からの第2の色信号を加算する第2の加算手段と、を有し、前記第1の色信号の加算数と、前記第2の色信号の加算数とが異なることを特徴とする撮像装置。
  2. 前記第1の読み出し手段により読み出される画素数は、前記第2の読み出し手段により読み出される画素数と略同一であることを特徴とする請求項1記載の撮像装置。
  3. 前記第1の読み出し手段による信号と前記第2の読み出し手段による信号とは、同一の画像データ処理手段でデータ処理されることを特徴とする請求項1記載の撮像装置。
  4. 前記第1の撮像領域内の前記第2の撮像領域を含む複数の撮像領域の露光量評価値と焦点評価値を記憶し、前記第1の読み出し手段か前記第2の読み出し手段かの指定、及び/又は前記複数の撮像領域の読み出し領域の指定に応じて、前記露光量評価値及び前記焦点評価値を、露光量制御及び焦点制御に用いることを有する請求項1〜3のいずれかの請求項に記載の撮像装置。
  5. 前記第1の撮像領域内の設定座標の範囲以外の指定は、撮像素子の読み出し領域を限定させることを特徴とする請求項1記載の撮像装置。
  6. 前記第2の読み出し手段により読み出された信号に適する光学ローパス・フィルターを有することを特徴とする請求項1記載の撮像装置。
  7. 前記n画素加算又は/及び前記m画素加算は、水平および垂直の画素加算を含んでいることを特徴とする請求項1記載の撮像装置。
  8. 水平方向及び垂直方向の任意の画素位置から読み出しを行う手段を有することを特徴とする請求項1記載の撮像装置。
  9. 撮像素子の第1の撮像領域の画素をn(nは自然数)画素加算して読み出す第1のモードと、
    前記第1の撮像領域よりも小さい第2の撮像領域の画素を非加算、またはm(m<n;mは自然数)画素加算して読み出す第2のモードと、
    前記第1のモードにおけるn画素加算と前記第2のモードにおける非加算との違い、または前記第1のモードにおけるn画素加算と前記第2のモードにおけるm画素加算との違いに基づいて、露光制御を行う第3のモードとを有し、
    前記第1のモードは、第1の色信号を蓄積した複数の画素からの第1の色信号を加算する第1の加算モードと、第2の色信号を蓄積した複数の画素からの第2の色信号を加算する第2の加算モードと、を有し、前記第1の色信号の加算数と、前記第2の色信号の加算数とが異なることを特徴とする撮像方法。
  10. 前記第1のモードで読み出される画素数は、前記第2のモードで読み出される画素数と略同一であることを特徴とする請求項9記載の撮像方法。
  11. 前記露光制御手段は、前記第1及び第2の撮像領域からの信号の増幅率を制御すること特徴とする請求項1記載の撮像装置。
  12. 前記第1及び第2の撮像領域に光を結像するレンズと、前記第1及び第2の撮像領域からの信号をディジタル信号に変換するA/D変換器と、前記A/D変換器からの信号を処理するカメラDSPとを有することを特徴とする請求項1〜8、11のいずれかの請求項に記載の撮像装置。
  13. 前記第1の読み出し手段におけるn画素加算、前記第2の読み出し手段におけるm画素加算は、前記第1の撮像領域、前記第2の撮像領域を含む撮像素子外で行うことを特徴とする請求項12記載の撮像装置。
  14. 前記第1の読み出し手段におけるn画素加算、前記第2の読み出し手段におけるm画素加算は、前記第1の撮像領域、前記第2の撮像領域を含む撮像素子内で行われることを特徴とする請求項12記載の撮像装置。
JP25474599A 1999-09-08 1999-09-08 撮像装置及び撮像方法 Expired - Fee Related JP3548465B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP25474599A JP3548465B2 (ja) 1999-09-08 1999-09-08 撮像装置及び撮像方法
US09/655,862 US7154542B1 (en) 1999-09-08 2000-09-06 Image pickup apparatus having an exposure control circuit
TW089118348A TW529302B (en) 1999-09-08 2000-09-07 Image pickup apparatus
CNB001269445A CN1153449C (zh) 1999-09-08 2000-09-08 图像拾取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25474599A JP3548465B2 (ja) 1999-09-08 1999-09-08 撮像装置及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004000410A Division JP4027323B2 (ja) 2004-01-05 2004-01-05 撮像装置

Publications (2)

Publication Number Publication Date
JP2001078081A JP2001078081A (ja) 2001-03-23
JP3548465B2 true JP3548465B2 (ja) 2004-07-28

Family

ID=17269292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25474599A Expired - Fee Related JP3548465B2 (ja) 1999-09-08 1999-09-08 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US7154542B1 (ja)
JP (1) JP3548465B2 (ja)
CN (1) CN1153449C (ja)
TW (1) TW529302B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4906995B2 (ja) * 2000-04-07 2012-03-28 ソニー株式会社 信号処理装置および撮像装置
JP4696429B2 (ja) * 2001-09-19 2011-06-08 ソニー株式会社 撮像装置
US7773129B2 (en) 2002-08-02 2010-08-10 Canon Kabushiki Kaisha Image pickup device, imaging apparatus containing the same, and control method thereof
JP3877695B2 (ja) 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP2005073077A (ja) * 2003-08-26 2005-03-17 Sharp Corp 固体撮像装置
JP4497872B2 (ja) * 2003-09-10 2010-07-07 キヤノン株式会社 撮像装置
JP4290071B2 (ja) * 2004-06-02 2009-07-01 キヤノン株式会社 固体撮像装置及び撮像システム
JP4450187B2 (ja) 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
JP4756960B2 (ja) 2005-09-02 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP4298710B2 (ja) * 2006-02-10 2009-07-22 キヤノン株式会社 撮像装置
JP4949709B2 (ja) * 2006-03-23 2012-06-13 オリンパスイメージング株式会社 カメラ、カメラの決定方法、カメラの制御方法
JP2008017090A (ja) * 2006-07-05 2008-01-24 Casio Comput Co Ltd 撮像装置、及び電子ズーム方法
JP4732311B2 (ja) 2006-11-29 2011-07-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009086490A (ja) * 2007-10-02 2009-04-23 Nikon Corp 撮像装置
JP2011114788A (ja) * 2009-11-30 2011-06-09 Sanyo Electric Co Ltd 撮像装置、および、撮像方法
JP2012225795A (ja) * 2011-04-20 2012-11-15 Kobe Steel Ltd タイヤ表面形状測定装置及びタイヤ表面形状測定方法
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP6336286B2 (ja) 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6338385B2 (ja) 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6459517B2 (ja) * 2015-01-06 2019-01-30 株式会社リコー 撮像装置、映像送信装置、及び映像送受信システム
US20240329364A1 (en) * 2023-03-31 2024-10-03 Sony Semiconductor Solutions Corporation Imaging lens and imaging apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985758A (en) 1982-12-07 1991-01-15 Canon Kabushiki Kaisha Signal processing system having selected output from plural readout devices
CA1269446C (en) 1984-12-28 1990-05-22 Image sensing apparatus
JPH07118786B2 (ja) 1985-11-08 1995-12-18 松下電器産業株式会社 撮像装置
US4914519A (en) 1986-09-19 1990-04-03 Canon Kabushiki Kaisha Apparatus for eliminating noise in a solid-state image pickup device
EP0272152B1 (en) 1986-12-18 1994-08-03 Canon Kabushiki Kaisha Signal reading out circuit
EP0282993B1 (en) * 1987-03-20 1994-02-02 Canon Kabushiki Kaisha Imaging apparatus
JPS63245073A (ja) 1987-03-31 1988-10-12 Canon Inc 撮像装置
EP0302675B1 (en) 1987-08-05 1994-05-18 Canon Kabushiki Kaisha Photoelectric converting apparatus
US6124891A (en) * 1987-11-04 2000-09-26 Canon Kabushiki Kaisha Exposure control device
US5262850A (en) 1988-09-20 1993-11-16 Canon Kabushiki Kaisha Photoelectric converting device having reduced line sensor space
JP2595077B2 (ja) * 1988-12-23 1997-03-26 株式会社日立製作所 撮像装置
US5162912A (en) 1989-04-10 1992-11-10 Canon Kabushiki Kaisha Photoelectric conversion apparatus eliminating noise in an output signal
US5315412A (en) 1990-04-06 1994-05-24 Canon Kabushiki Kaisha Multi-chip color image sensor with light-receiving windows arranged to provide sensor output signals corresponding to the gap between adjacent sensors
US5288988A (en) 1990-08-07 1994-02-22 Canon Kabushiki Kaisha Photoconversion device having reset control circuitry
EP0644687B1 (en) * 1993-09-17 2003-12-03 Canon Kabushiki Kaisha Image pickup apparatus
US6806907B1 (en) * 1994-04-12 2004-10-19 Canon Kabushiki Kaisha Image pickup apparatus having exposure control
JPH0888788A (ja) * 1994-09-20 1996-04-02 Canon Inc 撮像装置
JPH0946600A (ja) * 1995-08-02 1997-02-14 Canon Inc 撮像装置
JPH11112882A (ja) * 1997-09-30 1999-04-23 Olympus Optical Co Ltd 撮像装置
US6657668B1 (en) * 1997-11-19 2003-12-02 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling automatic focusing of a digital camera
US6888568B1 (en) * 1999-08-19 2005-05-03 Dialog Semiconductor Gmbh Method and apparatus for controlling pixel sensor elements

Also Published As

Publication number Publication date
JP2001078081A (ja) 2001-03-23
CN1287444A (zh) 2001-03-14
CN1153449C (zh) 2004-06-09
US7154542B1 (en) 2006-12-26
TW529302B (en) 2003-04-21

Similar Documents

Publication Publication Date Title
JP3548465B2 (ja) 撮像装置及び撮像方法
CN103168463B (zh) 图像传感器和摄像设备
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
KR100274413B1 (ko) 비디오신호 처리장치
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
JP4307780B2 (ja) 固体撮像装置およびその信号読出し方法
EP0926885B1 (en) Solid state image pickup apparatus
JPH0946600A (ja) 撮像装置
JPH09238286A (ja) デジタル光学センサ
JP4850602B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP2006174404A (ja) 固体撮像素子および固体撮像装置
JP2005072966A (ja) 固体撮像素子及び撮像装置
JP2009017459A (ja) Ccd型固体撮像素子及びその駆動方法並びに撮像装置
JPH07288824A (ja) 輝度信号生成装置
US9749520B2 (en) Imaging device and image processing method
JP2000106678A (ja) 撮像装置
JP4458864B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4027323B2 (ja) 撮像装置
US8379137B2 (en) Imaging apparatus
JPH10304238A (ja) 固体撮像素子を備えたカメラの自動露光時間設定装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP2006129418A (ja) 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置
JP2008270832A (ja) 固体撮像素子及び撮像装置
JP3490748B2 (ja) 測光装置
US7616354B2 (en) Image capture apparatus configured to divisionally read out accumulated charges with a plurality of fields using interlaced scanning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees