[go: up one dir, main page]

JP2013074368A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2013074368A
JP2013074368A JP2011210313A JP2011210313A JP2013074368A JP 2013074368 A JP2013074368 A JP 2013074368A JP 2011210313 A JP2011210313 A JP 2011210313A JP 2011210313 A JP2011210313 A JP 2011210313A JP 2013074368 A JP2013074368 A JP 2013074368A
Authority
JP
Japan
Prior art keywords
pixels
defective pixel
temperature
defective
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011210313A
Other languages
Japanese (ja)
Inventor
Daisuke Okada
大輔 岡田
Takuro Naito
拓朗 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011210313A priority Critical patent/JP2013074368A/en
Publication of JP2013074368A publication Critical patent/JP2013074368A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いることで、固体撮像素子の温度推定の精度を向上させることができる撮像装置及び撮像方法を提供すること。
【解決手段】撮像領域内に遮光領域(OB領域)を含む固体撮像素子(イメージセンサーであるCCD101)の温度による欠陥画素の位置情報を予め求めておいて、撮影時に欠陥画素の位置情報を元に固体撮像素子(イメージセンサーであるCCD101)の温度を求て、この求めた温度に基づき補正条件を変更して欠陥画素を補正する。しかも、遮光領域の画素のうちの欠陥画素を除外して固体撮像素子(イメージセンサーであるCCD101)の温度を算出する。
【選択図】 図2
When estimating a temperature of a solid-state image sensor (image sensor) from an output value of an OB area pixel of the solid-state image sensor, a value obtained by excluding an output value of a defective pixel in the OB area from a pixel output value of the OB area is used. Thus, an imaging apparatus and an imaging method capable of improving the accuracy of temperature estimation of a solid-state imaging device are provided.
Position information of a defective pixel based on the temperature of a solid-state imaging device (CCD 101 that is an image sensor) including a light-shielding area (OB area) in the imaging area is obtained in advance, and the position information of the defective pixel is obtained based on the position at the time of shooting. Then, the temperature of the solid-state imaging device (CCD 101 which is an image sensor) is obtained, and the correction condition is changed based on the obtained temperature to correct the defective pixel. In addition, the temperature of the solid-state imaging device (CCD 101 which is an image sensor) is calculated by excluding defective pixels from the pixels in the light shielding region.
[Selection] Figure 2

Description

この発明は、固体撮像素子(イメージセンサー)の温度を推定して、固体撮像素子の欠陥画素を補正させるようにした撮像装置及び撮像方法に関するものである。   The present invention relates to an imaging apparatus and an imaging method in which the temperature of a solid-state imaging device (image sensor) is estimated and defective pixels of the solid-state imaging device are corrected.

CCDやCMOS等の半導体にて形成した固体撮像素子等のイメージセンサーでは、半導体により構成される多数の画素により、多数の画素からなる撮像面(結像面)を形成している。このようなイメージセンサーでは、製造に際して或いは経年変化等により、撮像面を構成する半導体に局部的な結晶欠陥が生じる。   In an image sensor such as a solid-state imaging device formed of a semiconductor such as a CCD or CMOS, an imaging surface (imaging plane) composed of a large number of pixels is formed by a large number of pixels composed of a semiconductor. In such an image sensor, local crystal defects occur in the semiconductor constituting the imaging surface due to manufacturing or aging.

また、このようなイメージセンサーでは、上述した半導体の局部的な結晶欠陥等により入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう欠陥画素を生じ、上記欠陥画素からの撮像出力に起因する画質劣化を生じることが知られている。この画像欠陥は、この画像欠陥信号がそのまま処理されると、モニタ画面上に高輝度のスポットとして現れるので白傷欠陥と呼ばれている。   In addition, in such an image sensor, a defective pixel in which a constant bias voltage is always added to an imaging output corresponding to the amount of incident light due to the above-described local crystal defects of the semiconductor, and the like is output. It is known that image quality deterioration due to the image quality is caused. This image defect is called a white defect because it appears as a bright spot on the monitor screen when the image defect signal is processed as it is.

ところで、近年、このようなイメージセンサー(CCDやCMOS等)を用いたディジタルスチルカメラ(以下、ディジタルカメラという)等の撮像装置が主流になっている。このようなイメージセンサーは、総画素領域のうち撮影に利用される有効画素領域と撮影に利用されないOB領域(オプティカルブラック領域)を有している。   Incidentally, in recent years, imaging apparatuses such as digital still cameras (hereinafter referred to as digital cameras) using such image sensors (CCD, CMOS, etc.) have become mainstream. Such an image sensor has an effective pixel area used for shooting out of the total pixel area and an OB area (optical black area) not used for shooting.

このようなイメージセンサーを用いた撮像装置においては、生産・検査工程であらかじめイメージセンサーの欠陥画素位置情報をメモリに記憶させ、メモリに記憶させた欠陥画素位置情報を欠陥画素の補正に用いることが知られている。例えば、イメージセンサーのOB領域(オプティカルブラック領域)の出力値からイメージセンサーの温度を推定し、その結果に応じた補正条件を欠陥画素補正に適用する技術が既に知られている(例えば、特許文献1参照)。   In such an imaging device using an image sensor, defective pixel position information of the image sensor is stored in the memory in advance in the production / inspection process, and the defective pixel position information stored in the memory is used for correction of the defective pixel. Are known. For example, a technique for estimating the temperature of an image sensor from an output value of an OB area (optical black area) of the image sensor and applying correction conditions corresponding to the result to defective pixel correction is already known (for example, Patent Documents). 1).

しかし、近年のディジタルカメラのイメージセンサーでは、高画素数化に伴うセルサイズの小型化により、OB領域での欠陥画素発生率が上がること、また推定に用いるOB領域の画素数が少ない事から、OB領域中の欠陥画素が画素出力値へ与える割合が大きく、イメージセンサーの温度の推定精度が落ちるという問題があった。   However, in recent digital camera image sensors, the reduction in the cell size accompanying the increase in the number of pixels increases the defective pixel occurrence rate in the OB region, and the number of pixels in the OB region used for estimation is small. There is a problem that the ratio of defective pixels in the OB region to the pixel output value is large, and the accuracy of estimating the temperature of the image sensor is lowered.

そこで、本発明は、固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いることで、固体撮像素子の温度推定の精度を向上させることができる撮像装置及び撮像方法を提供することを目的とする。   Therefore, according to the present invention, when the temperature of the solid-state image sensor (image sensor) is estimated from the output value of the OB area pixel of the solid-state image sensor, the value obtained by excluding the output value of the defective pixel in the OB area from the pixel output value of the OB area. An object of the present invention is to provide an imaging apparatus and an imaging method that can improve the accuracy of temperature estimation of a solid-state imaging device.

この目的を達成するため、この発明の撮像装置は、撮像領域内に遮光領域を含む固体撮像素子と、前記固体撮像素子の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段と、撮影時に、前記欠陥画素記憶手段に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段と、前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段と、を備えている。しかも、前記温度算出手段は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする。   In order to achieve this object, an image pickup apparatus according to the present invention includes a solid-state image pickup device including a light-shielding region in an image pickup region, and a defective pixel position storage in which position information of a defective pixel according to the temperature of the solid-state image pickup device is obtained and stored in advance. And calculating the temperature of the solid-state image sensor based on the position information of the defective pixel stored in the defective pixel storage unit and changing the correction condition based on the calculated temperature at the time of photographing And defective pixel correction means for correcting the defective pixel based on the correction condition. In addition, the temperature calculating unit calculates the temperature of the solid-state imaging device by excluding defective pixels from the pixels in the light shielding region.

また、上述した目的を達成するため、この発明の撮像方法は、撮像領域内に遮光領域を含む固体撮像素子の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する撮像方法であって、
前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする。
In order to achieve the above-described object, the imaging method of the present invention obtains in advance position information of a defective pixel depending on the temperature of a solid-state imaging device including a light-shielding area in the imaging area, and the position of the defective pixel at the time of shooting. An imaging method for obtaining the temperature of the solid-state imaging device based on information and correcting the defective pixel by changing a correction condition based on the obtained temperature,
The temperature of the solid-state imaging device is calculated by excluding defective pixels from the pixels in the light shielding region.

この発明にかかる撮像装置及び撮像方法によれば、固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子の温度推定の精度を向上させることができる。   According to the imaging apparatus and the imaging method according to the present invention, when the temperature of the solid-state imaging device (image sensor) is estimated from the output value of the OB region pixel of the solid-state imaging device, the defective pixel in the OB region is determined from the pixel output value of the OB region. Therefore, the accuracy of temperature estimation of the solid-state imaging device can be improved.

(a)はこの発明に係る撮像装置であるディジタルカメラの正面図、(b)は(a)のデジカメの背面図、(c)は(a)のディジタルカメラの平面図である。(A) is a front view of a digital camera which is an imaging apparatus according to the present invention, (b) is a rear view of the digital camera of (a), and (c) is a plan view of the digital camera of (a). 図1に示したディジタルカメラの制御回路図である。FIG. 2 is a control circuit diagram of the digital camera shown in FIG. 1. 図1に示したディジタルカメラの欠陥補正処理のフローチャートである。It is a flowchart of the defect correction process of the digital camera shown in FIG. 欠陥補正処理における演算対象であるOB領域について説明する図である。It is a figure explaining the OB area | region which is the calculation object in a defect correction process. 図4のOB領域の出力平均値を求める時に欠陥画素を含めた場合と含めない(除外した)場合について説明する図である。FIG. 5 is a diagram illustrating a case where a defective pixel is included and a case where a defective pixel is not included (excluded) when the output average value of the OB region in FIG. 欠陥画素位置記憶手段の欠陥画素補正座標登録領域A、B、Cの説明図である。It is explanatory drawing of the defective pixel correction coordinate registration area | region A, B, C of a defective pixel position memory | storage means. この発明に係るディジタルカメラの他の実施例を示すもので、ディジタルカメラに用いられるRGBフィルタを模式的に示す説明図である。Another embodiment of the digital camera according to the present invention is an explanatory view schematically showing an RGB filter used in the digital camera. 欠陥画素記憶手段に格納された欠陥画素のアドレスのデータの個数(欠陥画素のデータ数)等を表で示す説明図である。It is explanatory drawing which shows the number of the data of the address of the defective pixel stored in the defective pixel memory | storage means (data number of defective pixel) etc. by a table | surface. この実施例の欠陥画素補正処理内容を示すフローチャートである。It is a flowchart which shows the defective pixel correction process content of this Example. 固体撮像素子の温度が10°Cのとき欠陥画素記憶手段に格納された欠陥画素のアドレス(固体撮像素子の縦横座標)のデータの個数(欠陥画素のデータ数)を示した説明図である。It is explanatory drawing which showed the number of data (data number of a defective pixel) of the address (ordinate and horizontal coordinate of a solid-state image sensor) of the defective pixel stored in the defective pixel memory | storage means when the temperature of a solid-state image sensor is 10 degreeC. 固体撮像素子の温度が20°Cのとき欠陥画素記憶手段に格納された欠陥画素のアドレス(固体撮像素子の縦横座標)のデータの個数(欠陥画素のデータ数)を示した説明図である。It is explanatory drawing which showed the number of data (the number of data of a defective pixel) of the address (vertical and horizontal coordinate of a solid-state image sensor) of the defective pixel stored in the defective pixel memory | storage means when the temperature of a solid-state image sensor is 20 degreeC. 固体撮像素子の温度が30°Cのとき欠陥画素記憶手段に格納された欠陥画素のアドレス(固体撮像素子の縦横座標)のデータの個数(欠陥画素のデータ数)を示した説明図である。It is explanatory drawing which showed the number of data (the number of data of a defective pixel) of the address (ordinate and horizontal coordinate of a solid-state image sensor) of the defective pixel stored in the defective pixel memory | storage means when the temperature of a solid-state image sensor is 30 degreeC. 固体撮像素子の温度が40°Cのとき欠陥画素記憶手段に格納された欠陥画素のアドレス(固体撮像素子の縦横座標)のデータの個数(欠陥画素のデータ数)を示した説明図である。It is explanatory drawing which showed the number of data (data number of a defective pixel) of the address (vertical coordinate of a solid-state image sensor) of the defective pixel stored in the defective pixel memory | storage means when the temperature of a solid-state image sensor is 40 degreeC. 欠陥画素補正処理に際して算出される固体撮像素子の温度情報をLCDモニタに表示させる際のフローチャートである。It is a flowchart at the time of displaying the temperature information of the solid-state image sensor calculated in the defective pixel correction process on the LCD monitor. 図14の欠陥画素補正処理に際して算出される温度情報をLCDモニタに表示させた例を示す説明図である。FIG. 15 is an explanatory diagram illustrating an example in which temperature information calculated in the defective pixel correction process of FIG. 14 is displayed on an LCD monitor.

以下、この発明に係る撮像装置としてのディジタルカメラを図面に基づいて説明する。   A digital camera as an imaging apparatus according to the present invention will be described below with reference to the drawings.

[構成]
<ディジタルカメラ本体の外観構成>
図1(a)〜図1(c)は、本発明の実施形態におけるディジタルカメラの外観を示したものである。この図1(a)はディジタルカメラの正面図、図1(b)はディジタルカメラの背面図、図1(c)はディジタルカメラの平面図である。
[Constitution]
<Appearance structure of digital camera body>
Fig.1 (a)-FIG.1 (c) show the external appearance of the digital camera in embodiment of this invention. 1A is a front view of the digital camera, FIG. 1B is a rear view of the digital camera, and FIG. 1C is a plan view of the digital camera.

ディジタルカメラ本体2の上面には、図1(a)〜図1(c)に示すように、レリーズスイッチ(レリーズ操作キー)SW1、モードダイヤルスイッチ(モード操作キー)SW2、およびジョグダイヤル1スイッチ(操作キー)SW3が配設されている。   As shown in FIGS. 1A to 1C, a release switch (release operation key) SW1, a mode dial switch (mode operation key) SW2, and a jog dial 1 switch (operation Key) SW3 is provided.

また、ディジタルカメラ本体2の正面には、図1(a)に示すように、ストロボ発光部3、測距ユニット5、光学ファインダF、撮影レンズである鏡胴ユニット7が設けられている。   Further, as shown in FIG. 1A, a strobe light emitting unit 3, a distance measuring unit 5, an optical finder F, and a lens barrel unit 7 that is a photographing lens are provided on the front surface of the digital camera body 2.

ディジタルカメラ本体2の背面には、図1(b)に示すように、LCDモニタ(表示装置、表示部)10、ジョグダイヤル2スイッチ(操作キー)SW4、ズームスイッチSW5[TELE操作キー]、ズームスイッチSW6[WIDE操作キー]、上スイッチ(上操作キー)SW7、右スイッチ(右操作キー)SW8、OKスイッチ(OK操作キー)SW9、左スイッチ(左操作キー)SW10、下スイッチ/マクロスイッチ(下/マクロ操作キー)SW11、ディスプレイスイッチ(ディスプレイ操作キー)SW12、削除スイッチ(削除操作キー)SW13、メニュースイッチ(メニュー操作キー)SW14、電源スイッチ(電源操作キー)SW15が設けられている。また、ディジタルカメラ本体2の側面には、図1(b)に示すように電池蓋4が設けられている。
<ディジタルカメラ本体2内のシステムの概略構成>
図2は、図1に示した鏡胴ユニット7の具体的な構成を示すと共に、この鏡胴ユニット7を介して被写体像が結像されるCCD101(固体撮像素子であるイメージセンサー)と、CCD101からの映像信号(画像信号)を処理する制御回路等のシステム構成を示したものである。このCCD101や制御回路等は図1のディジタルカメラ本体2内に設けられている。
On the back of the digital camera body 2, as shown in FIG. 1B, an LCD monitor (display device, display unit) 10, jog dial 2 switch (operation key) SW4, zoom switch SW5 [TELE operation key], zoom switch SW6 [WIDE operation key], upper switch (up operation key) SW7, right switch (right operation key) SW8, OK switch (OK operation key) SW9, left switch (left operation key) SW10, down switch / macro switch (down) / Macro operation key) SW11, display switch (display operation key) SW12, delete switch (deletion operation key) SW13, menu switch (menu operation key) SW14, and power switch (power operation key) SW15. Further, a battery cover 4 is provided on the side surface of the digital camera body 2 as shown in FIG.
<Schematic configuration of system in digital camera body 2>
FIG. 2 shows a specific configuration of the lens barrel unit 7 shown in FIG. 1, and a CCD 101 (an image sensor that is a solid-state image sensor) on which a subject image is formed via the lens barrel unit 7, and a CCD 101. 1 shows a system configuration of a control circuit and the like for processing a video signal (image signal) from The CCD 101, the control circuit, and the like are provided in the digital camera body 2 shown in FIG.

この制御回路は、図2に示したフロントエンドIC回路(画像信号制御回路)であるF/E−IC102、メモリ(記憶装置)であるSDRAM103、装置制御手段(装置制御回路)であるプロセッサ(ディジタルスチルカメラプロセッサ)104を有する。
・鏡胴ユニット7
鏡胴ユニット7は、ズーム光学系すなわちZOOM光学(ZOOM光学ユニット)7−1、フォーカス光学系すなわちFOCAS光学系(FOCAS光学ユニット)7−2、絞りユニット7−3、メカシャッタユニット7−4、モータドライバ7−5を備えている。
The control circuit includes an F / E-IC 102 which is a front end IC circuit (image signal control circuit) shown in FIG. 2, an SDRAM 103 which is a memory (storage device), and a processor (digital control device) which is a device control means (device control circuit). (Still camera processor) 104.
-Lens barrel unit 7
The lens barrel unit 7 includes a zoom optical system, that is, a ZOOM optical (ZOOM optical unit) 7-1, a focus optical system, that is, a FOCAS optical system (FOCAS optical unit) 7-2, an aperture unit 7-3, a mechanical shutter unit 7-4, A motor driver 7-5 is provided.

図2では、ZOOM光学系7−1は、ZOOMレンズ7−1aと、ZOOMレンズ7−1aを光軸方向に駆動するZOOMモータ7−1bを有する。また、FOCAS光学系7−2は、FOCASレンズ7−2aと、FOCASレンズ7−2aを光軸方向に駆動するFOCASモータ7−2bを有する。絞りユニット7−3は、絞り7−3aと、絞り7−3aを駆動する絞りモータ7−3bを有する。メカシャッタユニット7−4は、メカシャッタ7−4aと、メカシャッタ7−4aを駆動するメカシャッタモータ7−4bを有する。各モータ7−1b〜7−4bは、モータードライバ7−5によって駆動される。モータードライバ7−5は、プロセッサ104からの駆動信号により駆動制御される。
・CCD101
このCCD101は、鏡胴ユニット7の各撮影レンズ系を通して入射される被写体画像を受光面上に結像して、被写体画像信号をF/E−IC102に出力する。
・F/E−IC102
F/E−IC102は、CCD101から入射される被写体画像信号に基づいて、CCD101への入射光に応じた信号レベルの差分をとるCDS相関二重サンプリング102−1と、入力信号の強弱を補正するAGC102−2、アナログ信号をディジタル信号に変換するA/D変換部102−3を備えている。そして、F/E−IC102は、A/D変換部102−3により変換されるディジタル信号をCCD1信号処理ブロック104−1に出力する。
・SDRAM103
このSDRAM103は、プロセッサ104を介して得られるRAW−RGB画像データ(RAW−RGBデータ)、YUV画像データ、JPEG画像データを記憶する。
・プロセッサ104
プロセッサ104は、CCD1信号処理ブロック104−1、CCD2信号処理ブロック104−2、欠陥画素補正手段である欠陥画素補正ブロック104−3A、各部の制御を実質的に行う制御手段(制御装置)であるCPUブロック104−3を有する。また、プロセッサ104は、LOCAL SRAM104−4、USBブロック104−5、シリアルブロック104−11、JPEG・CODECブロックJPEG圧縮・伸長を行うブロック104−7、RESIZEブロック104−8を有する。更に、プロセッサ104は、TV信号表示ブロック画像データを液晶モニタ・TV等の表示機器に表示させるためのビデオ信号に変換するTV信号表示ブロック104−9、メモリカードコントローラブロック撮影画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック104−10を有している。これらの各ブロックは相互にバスライン符号省略で接続されている。
(プロセッサ104の各部の機能および制御回路のその他の構成)
F/E−IC102は、CCD101を駆動するTG(タイミング信号発生部)102−4、CCD101から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)102−1、CDS102−1にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)102−2、AGC102−2でゲイン調整された信号をディジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部102−3を有する。
In FIG. 2, the ZOOM optical system 7-1 includes a ZOOM lens 7-1a and a ZOOM motor 7-1b that drives the ZOOM lens 7-1a in the optical axis direction. The FOCAS optical system 7-2 includes a FOCAS lens 7-2a and a FOCAS motor 7-2b that drives the FOCAS lens 7-2a in the optical axis direction. The aperture unit 7-3 includes an aperture 7-3a and an aperture motor 7-3b that drives the aperture 7-3a. The mechanical shutter unit 7-4 includes a mechanical shutter 7-4a and a mechanical shutter motor 7-4b that drives the mechanical shutter 7-4a. Each of the motors 7-1b to 7-4b is driven by a motor driver 7-5. The motor driver 7-5 is driven and controlled by a drive signal from the processor 104.
・ CCD101
The CCD 101 forms a subject image incident through each photographing lens system of the lens barrel unit 7 on the light receiving surface and outputs a subject image signal to the F / E-IC 102.
・ F / E-IC102
The F / E-IC 102 corrects the intensity of the input signal and the CDS correlated double sampling 102-1 that takes a difference in signal level according to the incident light to the CCD 101 based on the subject image signal incident from the CCD 101. The AGC 102-2 includes an A / D conversion unit 102-3 that converts an analog signal into a digital signal. Then, the F / E-IC 102 outputs the digital signal converted by the A / D conversion unit 102-3 to the CCD1 signal processing block 104-1.
SDRAM 103
The SDRAM 103 stores RAW-RGB image data (RAW-RGB data), YUV image data, and JPEG image data obtained via the processor 104.
Processor 104
The processor 104 is a CCD 1 signal processing block 104-1, a CCD 2 signal processing block 104-2, a defective pixel correction block 104-3 A serving as defective pixel correction means, and a control means (control device) that substantially controls each part. It has a CPU block 104-3. The processor 104 also includes a LOCAL SRAM 104-4, a USB block 104-5, a serial block 104-11, a JPEG / CODEC block JPEG compression / decompression block 104-7, and a RESIZE block 104-8. The processor 104 further includes a TV signal display block 104-9 for converting the TV signal display block image data into a video signal for display on a display device such as a liquid crystal monitor / TV, a memory card controller block, and a memory for recording captured image data. It has a memory card controller block 104-10 for controlling the card. These blocks are connected to each other with the bus line code omitted.
(Function of each part of processor 104 and other configuration of control circuit)
The F / E-IC 102 includes a TG (timing signal generation unit) 102-4 that drives the CCD 101, a CDS (correlated double sampling unit) 102-1 that samples an electrical signal (analog RGB image signal) output from the CCD 101, AGC (Analog Gain Control Unit) 102-2 that adjusts the gain of the signal sampled by the CDS 102-1 and the signal gain-adjusted by the AGC 102-2 are converted into a digital signal (hereinafter referred to as “RAW-RGB data”). A / D converter 102-3.

そして、プロセッサ104における信号制御処理は、CCD1信号処理ブロック104−1から出力される垂直同期信号VD・水平同期信号HDによりTG102−4を介して行われる。即ち、プロセッサ104のCCD1信号処理ブロック104−1は、F/E−IC102のTG102−4へ画面水平同期信号HDと画面垂直同期信号VDの出力を行うと共に、これらの同期信号に合わせてF/E−IC102のA/D変換部102−3から出力されるディジタル信号であるRAW−RGBデータを取り込む。そして、このCCD1信号処理ブロック104−1に取り込まれたRAW−RGBデータはSDRAM103に保存される。
・CCD2信号処理ブロック104−2
また、SDRAM103には、CCD2信号処理ブロック104−2で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、さらにJPEGCODECブロック104−7で圧縮処理されたJPEG形式等の画像データが保存される。
The signal control processing in the processor 104 is performed via the TG 102-4 by the vertical synchronizing signal VD / horizontal synchronizing signal HD output from the CCD1 signal processing block 104-1. That is, the CCD1 signal processing block 104-1 of the processor 104 outputs the screen horizontal synchronizing signal HD and the screen vertical synchronizing signal VD to the TG 102-4 of the F / E-IC 102, and F / F in accordance with these synchronizing signals. RAW-RGB data, which is a digital signal output from the A / D converter 102-3 of the E-IC 102, is captured. The RAW-RGB data captured by the CCD1 signal processing block 104-1 is stored in the SDRAM 103.
CCD2 signal processing block 104-2
The SDRAM 103 stores YUV data (YUV format image data) converted by the CCD2 signal processing block 104-2, and further stores JPEG format image data compressed by the JPEGCODEC block 104-7. Is done.

尚、前記YUVデータのYUVは輝度データYと、色差輝度データと青色B成分データの差分と、輝度データと赤色R成分データの差分Vの情報で色を表現するものである。
・操作キー(操作Key)ユニットK_U(SW1−SW15)
この操作キーユニットK_U(SW1−SW15)は、図1(a)〜図1(c)のディジタルカメラ本体2の外観表面に設けられているレリーズスイッチSW1、モードダイヤルスイッチSW2、望遠側ズームスイッチ[TELE]SW5、広角側ズームスイッチ[WIDE]SW6、上スイッチSW7、右スイッチSW8、OKスイッチSW9、左スイッチSW10、下スイッチ/マクロスイッチSW11、ディスプレイスイッチSW12、削除スイッチSW13、メニュースイッチSW14、電源スイッチSW15等である。この操作キーユニットK_U(SW1−SW15)は、撮影者の操作に応じた動作指示信号をSUB−CPU109を介してプロセッサ104に入力する。
・CPUブロック104−3
このCPUブロック104−3は、F/E−IC102を制御すると共に、鏡胴ユニット7のモータドライバ7−5を制御する。また、CPUブロック104−3は、ストロボ回路114を制御することによってストロボ発光部3から照明光を発光させる。これに加えて、CPUブロック104−3は、測距ユニット5も制御する。更に、CPUブロック104−3は、プロセッサ104のSUB−CPU109に接続され、SUB−CPU109はLCDドライバ111を介して図2のサブLCD1(図1には図示しない)の表示制御を行う。しかも、CPUブロック104−3は、音声記録回路115−1や音声再生回路116−1を作動制御する。
The YUV of the YUV data expresses the color with the luminance data Y, the difference between the color difference luminance data and the blue B component data, and the difference V between the luminance data and the red R component data.
Operation key (operation key) unit K_U (SW1-SW15)
The operation key unit K_U (SW1-SW15) includes a release switch SW1, a mode dial switch SW2, a telephoto zoom switch [on the external surface of the digital camera body 2 shown in FIGS. TELE] SW5, wide-angle zoom switch [WIDE] SW6, upper switch SW7, right switch SW8, OK switch SW9, left switch SW10, lower switch / macro switch SW11, display switch SW12, delete switch SW13, menu switch SW14, power switch SW15 or the like. The operation key unit K_U (SW1-SW15) inputs an operation instruction signal according to the photographer's operation to the processor 104 via the SUB-CPU 109.
CPU block 104-3
The CPU block 104-3 controls the F / E-IC 102 and the motor driver 7-5 of the lens barrel unit 7. Further, the CPU block 104-3 controls the strobe circuit 114 to emit illumination light from the strobe light emitting unit 3. In addition to this, the CPU block 104-3 also controls the distance measuring unit 5. Further, the CPU block 104-3 is connected to the SUB-CPU 109 of the processor 104, and the SUB-CPU 109 performs display control of the sub LCD 1 in FIG. 2 (not shown in FIG. 1) via the LCD driver 111. Moreover, the CPU block 104-3 controls the operation of the audio recording circuit 115-1 and the audio reproduction circuit 116-1.

尚、サブCPU109は、更に、AFLED8、ストロボLED9、リモコン受光部6、スイッチSW1〜SW15からなる操作キーユニットK_U(SW1−SW15)、ブザー113に接続されている。
・欠陥画素補正ブロック(欠陥画素補正手段)104−3A
この欠陥画素補正ブロック104−3Aは、CCD101のOB領域出力平均値とCCD101の温度の相関テーブル、即ち図5に示したようなCCD101のOB領域出力平均値とCCD101の温度の相関を示す特性線F1,F2を得るためのテーブルを用いて、CCD101の欠陥画素補正処理を行う。
The sub CPU 109 is further connected to an AF LED 8, a strobe LED 9, a remote control light receiving unit 6, an operation key unit K_U (SW1-SW15) including switches SW1 to SW15, and a buzzer 113.
Defect pixel correction block (defective pixel correction means) 104-3A
This defective pixel correction block 104-3A has a correlation table between the average OB area output value of the CCD 101 and the temperature of the CCD 101, that is, a characteristic line indicating the correlation between the average OB area output value of the CCD 101 and the temperature of the CCD 101 as shown in FIG. The defective pixel correction process of the CCD 101 is performed using a table for obtaining F1 and F2.

また、このCCD101のOB領域出力平均値とCCD101の温度の相関テーブル、即ち図5に示したようなCCD101のOB領域出力平均値とCCD101の温度の相関を示す特性線F1を得るためのテーブルは、内蔵メモリ120又はROM108若しくはLOCAL SRAM104−4等の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求めて記憶されている。尚、図5の特性線F2は、特性線F1との比較のためのものである。   Further, a correlation table between the average OB area output value of the CCD 101 and the temperature of the CCD 101, that is, a table for obtaining the characteristic line F1 indicating the correlation between the average OB area output value of the CCD 101 and the temperature of the CCD 101 as shown in FIG. , And stored in advance in a built-in memory 120 or a table memory (table storage device) for storing temperature correlation tables such as ROM 108 or LOCAL SRAM 104-4. The characteristic line F2 in FIG. 5 is for comparison with the characteristic line F1.

しかも、ディジタルカメラの生産・検査工程で、CCD101(イメージセンサー)の温度に対応する欠陥画素位置情報は上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に記憶させて、このテーブルメモリに記憶させた欠陥画素位置情報を欠陥画素の補正に用いるようになっている。   In addition, in the production / inspection process of the digital camera, the defective pixel position information corresponding to the temperature of the CCD 101 (image sensor) is stored in the table memory (table storage device) for storing the temperature correlation table and stored in the table memory. The stored defective pixel position information is used for correcting defective pixels.

即ち、CPUブロック104−3は、ディジタルカメラの電源スイッチSW15がオンされたときに、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されている特性線F1のテーブルを読み込んでRAM107に記憶させると共に、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されているCCD101(イメージセンサー)の温度に対応する欠陥画素位置情報(欠陥画素のアドレス)を読み込んで欠陥画素記憶手段としてのRAM107に記憶させ、CCD101による撮影時にCCD101の温度に対応する欠陥画素位置情報を欠陥画素の補正に用いるようになっている。尚、以下の説明では、便宜上、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)として内蔵メモリ120を用いた場合について説明する。   That is, when the power switch SW15 of the digital camera is turned on, the CPU block 104-3 displays the table of the characteristic line F1 obtained and stored in advance in the above-described temperature correlation table storage table memory (table storage device). The pixel information is read and stored in the RAM 107, and at the same time, the defective pixel position information (defective pixel address) corresponding to the temperature of the CCD 101 (image sensor) previously obtained and stored in the table memory (table storage device) for storing the temperature correlation table. Is stored in a RAM 107 as defective pixel storage means, and defective pixel position information corresponding to the temperature of the CCD 101 is used for correction of the defective pixel at the time of photographing by the CCD 101. In the following description, the case where the built-in memory 120 is used as the above-described table memory (table storage device) for storing the temperature correlation table will be described for convenience.

このRAM107には、欠陥画素補正座標登録領域A,B,Cが設けられている。この欠陥画素補正座標登録領域Aには温度TEMPが閾値TH2より小さい場合の欠陥画素が登録(記憶)され、欠陥画素補正座標登録領域Bには温度TEMPが閾値TH2より大きく且つ閾値TH2より小さい場合の欠陥画素が登録(記憶)され、欠陥画素補正座標登録領域Cには温度TEMPが閾値TH3より大きい場合の欠陥画素が登録(記憶)されている。尚、RAM107とは別に欠陥画素メモリに設けておいて、この欠陥画素メモリに欠陥画素補正座標登録領域A,B,Cを記憶させることもできる。尚、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)にも、RAM107に設けた欠陥画素補正座標登録領域A,B,Cと同様な欠陥画素補正座標登録領域が設けられている。
・USBブロック104−5
このUSBブロック104−5はUSBコネクタ122に接続され、シリアルブロック104−11はシリアルドライバ回路123−1を介してRS‐232Cコネクタ123−2に接続されている。
・TV信号表示ブロック104−9
このTV信号表示ブロック104−9は、LCDドライバ117を介してLCDモニタ10に接続されると共に、TV信号表示ブロック104−9から出力されたビデオ信号を75Ωインピーダンスに変換するためのビデオAMP(アンプリファイア)118を介してビデオジャックカメラをTV等の外部表示機器に接続するためのビデオジャック119に接続されている。
・メモリカードコントローラブロック104−10
このメモリカードコントローラブロック104−10はメモリカードスロット121のカード接点との接点に接続されている。
・LCDドライバ117
このLCDドライバ117はLCDモニタ10を駆動すると共に、TV信号表示ブロック104−9から出力されたビデオ信号をLCDモニタ10に表示させる信号に変換する役割を果たす。
The RAM 107 is provided with defective pixel correction coordinate registration areas A, B, and C. In this defective pixel correction coordinate registration area A, defective pixels when the temperature TEMP is lower than the threshold TH2 are registered (stored), and in the defective pixel correction coordinate registration area B, the temperature TEMP is higher than the threshold TH2 and lower than the threshold TH2. Defective pixels are registered (stored), and defective pixels when the temperature TEMP is higher than the threshold value TH3 are registered (stored) in the defective pixel correction coordinate registration area C. It is also possible to provide a defective pixel memory separately from the RAM 107 and store the defective pixel correction coordinate registration areas A, B, and C in the defective pixel memory. Note that the table memory (table storage device) for storing the temperature correlation table is also provided with defective pixel correction coordinate registration areas similar to the defective pixel correction coordinate registration areas A, B, and C provided in the RAM 107.
・ USB block 104-5
The USB block 104-5 is connected to the USB connector 122, and the serial block 104-11 is connected to the RS-232C connector 123-2 via the serial driver circuit 123-1.
TV signal display block 104-9
The TV signal display block 104-9 is connected to the LCD monitor 10 via the LCD driver 117, and a video AMP (amplify) for converting the video signal output from the TV signal display block 104-9 into 75Ω impedance. A) The video jack camera is connected via 118 to a video jack 119 for connecting to an external display device such as a TV.
Memory card controller block 104-10
The memory card controller block 104-10 is connected to a contact with the card contact of the memory card slot 121.
LCD driver 117
The LCD driver 117 functions to drive the LCD monitor 10 and convert the video signal output from the TV signal display block 104-9 into a signal to be displayed on the LCD monitor 10.

LCDモニタ10は撮影前の被写体の状態監視、撮影画像確認及びメモリカード又は内蔵メモリ120に記録された画像データ表示のために用いられる。   The LCD monitor 10 is used for monitoring the state of a subject before photographing, confirming a photographed image, and displaying image data recorded in the memory card or the built-in memory 120.

撮影者がモードダイアルSW2を撮影モードに設定して電源SW15をONすることで、カメラが撮影モードで起動する。この動作をROM108の制御プログラムが検知することにより、モータードライバ7−5に制御信号を出力し、鏡胴ユニット7を撮影可能位置にディジタルカメラ本体2の正面から進出移動させ、CCD101、F/E−IC102、プロセッサ104等を起動させる。   When the photographer sets the mode dial SW2 to the photographing mode and turns on the power SW 15, the camera is activated in the photographing mode. When this operation is detected by the control program of the ROM 108, a control signal is output to the motor driver 7-5, the lens barrel unit 7 is moved forward from the front of the digital camera body 2 to the photographing position, and the CCD 101, F / E. -Activate the IC 102, the processor 104, and the like.

この状態で鏡胴ユニット7を被写体に向けることにより、被写体画像がCCD101の各画素の受光面上に結像されCCD101より出力された電気信号アナログRGB画像信号は、F/E−IC102を介し12ビットbitのRAW−RGBデータに変換される。   By directing the lens barrel unit 7 toward the subject in this state, the subject image is imaged on the light receiving surface of each pixel of the CCD 101 and the electrical signal analog RGB image signal output from the CCD 101 is transmitted through the F / E-IC 102. It is converted into bit-bit RAW-RGB data.

このRAW−RGBデータは、プロセッサ104のCCD1信号処理ブロック104−1に取り込まれ、SDRAM103に保存される。そしてSDRAM103から読み出されたRAW−RGB画像データは、CCD2信号処理ブロック104−2にて表示可能な形式であるYUVデータに変換された後に、SDRAM103にYUVデータが保存される。   This RAW-RGB data is taken into the CCD1 signal processing block 104-1 of the processor 104 and stored in the SDRAM 103. The RAW-RGB image data read from the SDRAM 103 is converted into YUV data that can be displayed by the CCD2 signal processing block 104-2, and then the YUV data is stored in the SDRAM 103.

その後SDRAM103から読み出されたYUVデータは、TV信号表示ブロック104−9を介して、LCDモニタに送られ、撮影画像が表示される。前記したLCDモニタ10に画像を表示しているモニタリング時においては、CCD1信号処理ブロック104−1による画素数の間引き処理により、1/30秒の時間で1フレームを読み出している。ここでいうモニタリングとは、電子ファインダとして機能する、LCDモニタ10に撮影画像がリアルタイムで表示されているだけで、撮影者のレリーズスイッチSW1操作が行われていない状態である。   Thereafter, the YUV data read from the SDRAM 103 is sent to the LCD monitor via the TV signal display block 104-9, and a photographed image is displayed. At the time of monitoring when an image is displayed on the LCD monitor 10 described above, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels by the CCD1 signal processing block 104-1. The monitoring here is a state in which a photographed image is displayed in real time on the LCD monitor 10 functioning as an electronic viewfinder, and the release switch SW1 is not operated by the photographer.

この撮影画像のLCDモニタ10への表示により、撮影画像を撮影者が確認することが出来る。なおTV信号表示ブロック104−9からビデオAMP118を、ビデオジャック119からケーブルを介し外部TVテレビに、撮影画像を表示させることもできる。   The photographer can confirm the photographed image by displaying the photographed image on the LCD monitor 10. The captured image can also be displayed on the external TV television via the cable from the video signal display block 104-9 and the video AMP 118 from the video jack 119.

CCD1信号処理ブロック104−1は、取り込まれたRAW−RGBデータにより、AF自動合焦評価値、AE自動露出評価値、AWBオートホワイトバランス評価値を算出する。
(AF処理)
CCD1信号処理ブロック104−1によるAF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時合焦検出動作時には、FOCAS光学系7−2のFOCASレンズ7−2a位置におけるAF評価値を取得して、高周波成分が一番高くなる点を合焦検出位置として、AF動作(AF処理)が実行される。
The CCD1 signal processing block 104-1 calculates an AF automatic focus evaluation value, an AE automatic exposure evaluation value, and an AWB auto white balance evaluation value based on the captured RAW-RGB data.
(AF processing)
The AF evaluation value by the CCD1 signal processing block 104-1 is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By utilizing this, at the time of focus detection operation during AF operation, an AF evaluation value at the position of the FOCAS lens 7-2a of the FOCAS optical system 7-2 is obtained, and the point where the high frequency component becomes the highest is detected as the focus detection position. As described above, an AF operation (AF process) is executed.

即ち、このAF動作(AF処理)では、CCD1信号処理ブロック104−1がFOCASレンズ7−2aの位置におけるAF評価値を取得すると共にこのAF評価値の高周波成分が一番高くなる点を合焦検出位置となるように、プロセッサ104のCPUブロック104−3がモータドライバ7−5を介してFOCASモータ7−2bを動作制御して、このモータドライバ7−5によりFOCASレンズ7−2aが光軸方向に駆動させる。
(AE評価値、AWB評価値)
CCD1信号処理ブロック104−1によるAE評価値とAWD評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD1信号処理ブロック104−1は、CCD101の全画素の撮像面(受光面)に対応した画面を複数の256エリアに等分割する。即ち、CCD101の全画素の撮像面(受光面)を水平方向に16分割し且つ垂直方向に16分割することにより、CCD101の全画素の撮像面(受光面)に対応した画面を256エリアに分割する。また、CCD1信号処理ブロック104−1は、分割した複数の256エリアのそれぞれのRGB積算を算出する。
(AE処理)
そして、ROM108に存在する制御プログラムは、プロセッサ104により読み出されてRAM107に常駐し、算出されたRGB積算値を読み出す。そして、この制御プログラムは、AE処理においてCCD101の撮像面(結像面)の複数のエリアの輝度をそれぞれ算出して、この算出した輝度分布から適正なCCD101の複数のエリアの露光量をそれぞれ決定する。このAE処理には、周知の技術を採用できるのでその詳細な説明は省略する。
(AWB処理)
決定した露光量に基づいて、露光条件CCD101の電子シャッタ回数、絞りユニット7−3の絞り値等を設定する。またAWB処理では、RGBの分布から被写体の光源の色に合わせた制御値を決定する。このAWB処理により、CCD2信号処理ブロック104−2でYUVデータに変換するときのホワイトバランスをあわせている。尚、前記した、AE処理とAWB処理は、前記モニタリング時には、連続的に実行されている。
<レリーズスイッチSW1の操作による撮影処理>
そして、前記したモニタリング動作時に、レリーズスイッチSW1が押圧半押しから全押し操作され、静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
(撮影動作)
即ち、プロセッサ104のCPUブロック104−3は、レリーズスイッチSW1が押圧半押しから全押しされると、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bを駆動させることにより、FOCASレンズ7−2aを光軸方向に移動させて合焦させる。この合焦後、AE処理が行われ、CCD101の露光が開始される。
That is, in this AF operation (AF processing), the CCD1 signal processing block 104-1 obtains an AF evaluation value at the position of the FOCAS lens 7-2a and focuses the point where the high-frequency component of this AF evaluation value is highest. The CPU block 104-3 of the processor 104 controls the operation of the FOCAS motor 7-2b via the motor driver 7-5 so that the detection position is reached, and the FOCAS lens 7-2a is moved to the optical axis by the motor driver 7-5. Drive in the direction.
(AE evaluation value, AWB evaluation value)
The AE evaluation value and the AWD evaluation value by the CCD1 signal processing block 104-1 are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the CCD1 signal processing block 104-1 equally divides the screen corresponding to the imaging surface (light receiving surface) of all the pixels of the CCD 101 into a plurality of 256 areas. That is, by dividing the imaging surface (light receiving surface) of all the pixels of the CCD 101 into 16 in the horizontal direction and 16 in the vertical direction, the screen corresponding to the imaging surface (light receiving surface) of all the pixels in the CCD 101 is divided into 256 areas. To do. Also, the CCD1 signal processing block 104-1 calculates the RGB integration of each of the divided 256 areas.
(AE treatment)
The control program existing in the ROM 108 is read by the processor 104 and resides in the RAM 107, and the calculated RGB integrated value is read. Then, this control program calculates the brightness of each of the plurality of areas on the imaging surface (imaging surface) of the CCD 101 in the AE process, and determines the appropriate exposure amount of each of the plurality of areas of the CCD 101 from the calculated brightness distribution. To do. Since a known technique can be adopted for this AE process, its detailed description is omitted.
(AWB processing)
Based on the determined exposure amount, the number of electronic shutters of the exposure condition CCD 101, the aperture value of the aperture unit 7-3, and the like are set. In the AWB process, a control value that matches the color of the light source of the subject is determined from the RGB distribution. By this AWB processing, the white balance when the CCD2 signal processing block 104-2 is converted into YUV data is adjusted. The AE process and the AWB process described above are continuously executed during the monitoring.
<Shooting process by operating the release switch SW1>
When the release switch SW1 is fully pressed from the half-pressed state and the still image shooting operation is started during the monitoring operation described above, the AF operation and the still image recording process that are the focus position detection operations are performed.
(Shooting operation)
In other words, the CPU block 104-3 of the processor 104 controls the operation of the motor driver 7-5 based on the control program stored in the ROM 108 and releases the FOCAS by the motor driver 7-5 when the release switch SW1 is pressed halfway down. By driving the motor 7-2b, the FOCAS lens 7-2a is moved in the optical axis direction to be focused. After this focusing, AE processing is performed, and exposure of the CCD 101 is started.

そして、プロセッサ104のCPUブロック104−3は、前記したAE処理が行われ、CCD101の露光開始時点で、ROM108制御プログラムからモータードライバ7−5への駆動指令により、メカシャッタ7−4aが閉じさせる。これに伴い、CCD101から静止画用のアナログRGB画像信号が出力され、アナログRGB画像信号がF/E−IC102のA/D変換部102−3でRAW−RGBデータに変換される。   The CPU block 104-3 of the processor 104 performs the above-described AE process, and closes the mechanical shutter 7-4a by a drive command from the ROM 108 control program to the motor driver 7-5 when the exposure of the CCD 101 starts. Accordingly, an analog RGB image signal for a still image is output from the CCD 101, and the analog RGB image signal is converted into RAW-RGB data by the A / D conversion unit 102-3 of the F / E-IC 102.

このRAW−RGBデータは、プロセッサ104のCCD1信号処理ブロック104−1に取り込まれ、CCD2信号処理ブロック104−2でYUV変換されてSDRAM103に保存される。しかも、このYUVデータはSDRAM103から読み出されてRESIZEブロック104−8で記録画素数に対応するサイズに変換され、JPEGCODECブロック104−7でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM103に書き戻された後、メモリカードコントローラブロック104−10を介して、メモリカード121−1等のメディアに保存される。
[作用]
このような構成のディジタルカメラにおけるOB領域のOB画素値から欠陥画素補正条件を変更する方法を図3に示したフローチャート基づいて説明する。
This RAW-RGB data is taken into the CCD1 signal processing block 104-1 of the processor 104, YUV converted by the CCD2 signal processing block 104-2, and stored in the SDRAM 103. In addition, this YUV data is read from the SDRAM 103, converted into a size corresponding to the number of recording pixels in the RESIZE block 104-8, and compressed into image data in the JPEG format or the like in the JPEGCODEC block 104-7. The compressed image data in JPEG format or the like is written back to the SDRAM 103 and then stored in a medium such as the memory card 121-1 via the memory card controller block 104-10.
[Action]
A method of changing the defective pixel correction condition from the OB pixel value in the OB area in the digital camera having such a configuration will be described with reference to the flowchart shown in FIG.

ここで、OB領域とは、CCD(イメージセンサー)101の撮像面の総画素領域(撮像領域)のうち遮光膜により遮光されて撮影に利用されない領域で、オプティカルブラック領域と呼ばれている。尚、この撮像領域は、遮光膜により遮光されて撮影に利用されないOB領域と、撮影に利用される有効画素領域(有効撮像領域)を有する。   Here, the OB area is an area that is shielded by the light shielding film and is not used for photographing out of the total pixel area (imaging area) of the imaging surface of the CCD (image sensor) 101, and is called an optical black area. The imaging area includes an OB area that is shielded by the light shielding film and is not used for imaging, and an effective pixel area (effective imaging area) that is used for imaging.

電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図2のプロセッサ(制御装置)104による制御動作が開始される。この際、プロセッサ(制御装置)104のCPUブロック104−3は、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されている特性線F1のテーブルを読み込んでRAM107に記憶させる。また、これに伴いCPUブロック104−3は、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されているCCD101(イメージセンサー)の温度に対応する欠陥画素位置情報(欠陥画素のアドレス)を読み込んで欠陥画素記憶手段としてのRAM107に記憶させる。   When a camera power supply (not shown) is turned on by operating the power switch SW15, a control operation by the processor (control device) 104 in FIG. 2 is started. At this time, the CPU block 104-3 of the processor (control device) 104 reads the table of the characteristic line F1 previously obtained and stored in the table memory (table storage device) for storing the temperature correlation table and stores it in the RAM 107. Let As a result, the CPU block 104-3 also detects defective pixel position information (defective) corresponding to the temperature of the CCD 101 (image sensor) stored in advance in the table memory (table storage device) for storing the temperature correlation table. Pixel address) is read and stored in the RAM 107 as defective pixel storage means.

また、このような電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図3のステップS10において図2のプロセッサ(制御装置)104のCPUのブロック104−3による撮影動作の制御が開始される。即ち、CPUのブロック104−3は、カメラ電源(図示せず)がONされると、上述した撮影動作すなわちAF処理およびAE処理,AWB処理を開始させて、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bを駆動させると共に、FOCASレンズ7−2aを光軸方向に移動させて合焦動作をさせる。   Further, when a camera power supply (not shown) is turned on by such an operation of the power switch SW15, a photographing operation by the block 104-3 of the CPU of the processor (control device) 104 of FIG. 2 in step S10 of FIG. Control is started. That is, when the camera power source (not shown) is turned on, the CPU block 104-3 starts the above-described photographing operation, that is, AF processing, AE processing, and AWB processing, and the motor driver based on the control program in the ROM 108. 7-5 is controlled to drive the FOCAS motor 7-2b by the motor driver 7-5, and the FOCAS lens 7-2a is moved in the optical axis direction to perform a focusing operation.

これに伴い、CPUのブロック104−3は、CCD1−信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1−信号処理ブロック104−1に取り込ませる。このCPUのブロック104−3は、取り込まれた画像信号に基づいて、TV信号表示ブロック104−9およびLCDドライバ117を介してLCDモニタ10に被写体像を表示させる。   Accordingly, the CPU block 104-3 controls the operation of the CCD1-signal processing block 104-1, and causes the CCD1-signal processing block 104-1 to capture the image signal from the CCD 101 via the F / E-IC 102. . The CPU block 104-3 displays the subject image on the LCD monitor 10 via the TV signal display block 104-9 and the LCD driver 117 based on the captured image signal.

この状態から、CPUのブロック104−3は、レリーズスイッチSW1が押されて半押しから全押しされると、ステップS11で撮影要求と判断し、ステップS12に移行する。このステップS12においてCPUのブロック104−3は、CCD1−信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1−信号処理ブロック104−1に取り込ませ、ステップS13に移行する。この際、CPUのブロック104−3は、CCD1−信号処理ブロック104−1に取り込まれた画像信号から水平・垂直OB画素のうち欠陥画素を除いた画素のみをCCD2−信号処理ブロック104−2に積算させてステップS14に移行する。ここで、水平・垂直OB画素とは、OB領域の画素を言う。   From this state, when the release switch SW1 is pressed and pressed halfway down to the full press, the CPU block 104-3 determines that a photographing request is made in step S11, and proceeds to step S12. In this step S12, the CPU block 104-3 controls the operation of the CCD1-signal processing block 104-1, and causes the CCD1-signal processing block 104-1 to capture the image signal from the CCD 101 via the F / E-IC 102. The process proceeds to step S13. At this time, the CPU block 104-3 transfers only the pixels obtained by excluding the defective pixels from the horizontal / vertical OB pixels from the image signal captured by the CCD1-signal processing block 104-1 to the CCD2-signal processing block 104-2. The integration is performed and the process proceeds to step S14. Here, the horizontal / vertical OB pixel means a pixel in the OB area.

そして、ステップS14においてCPUのブロック104−3は、水平・垂直OB画素値がある値(閾値)TH以上であるか否かを判断する。この判断において、水平・垂直OB画素値がある値THより小さい場合には、ステップS15に移行する。また、この判断において、水平・垂直OB画素値がある値TH以上の場合には、欠陥画素温度キズと判断され積算対象とならないので、ステップS16に移行する。   In step S14, the block 104-3 of the CPU determines whether or not the horizontal / vertical OB pixel value is equal to or greater than a certain value (threshold value) TH. In this determination, when the horizontal / vertical OB pixel value is smaller than a certain value TH, the process proceeds to step S15. In this determination, if the horizontal / vertical OB pixel value is equal to or greater than a certain value TH, it is determined as a defective pixel temperature scratch and is not subject to integration, and the process proceeds to step S16.

ここで、水平・垂直OBは、CCD101の全画面(撮像面)のうちの水平OB領域及び垂直OB領域である。ここでCCD101の全画面(撮像面)のうち撮像の際に露光に用いられる撮像エリアを有効撮像面(有効画素領域)とすると、水平OB領域はCCD101の全画面(撮像面)の水平方向において有効撮像面(有効画素領域)の左右の部分に存在し、垂直OB領域はCCD101の全画面(撮像面)の垂直方向において有効撮像面(有効画素領域)の上下の部分に存在する。   Here, the horizontal / vertical OB is a horizontal OB area and a vertical OB area of the entire screen (imaging surface) of the CCD 101. Here, assuming that an imaging area used for exposure during imaging in the entire screen (imaging surface) of the CCD 101 is an effective imaging surface (effective pixel region), the horizontal OB region is in the horizontal direction of the entire screen (imaging surface) of the CCD 101. The vertical OB area exists in the left and right parts of the effective imaging surface (effective pixel area), and the vertical OB area exists in the upper and lower parts of the effective imaging surface (effective pixel area) in the vertical direction of the entire screen (imaging surface) of the CCD 101.

また、水平・垂直OB画素値は水平OB画素値および垂直OB画素値を意味し、水平OB画素値は水平OB領域の画素値であり、垂直OB画素値は垂直OB領域の画素値である。また、欠陥画素温度キズとは、温度依存性の高い欠陥画素を意味し、即ちイメージセンサーの温度により出力値が変化する欠陥画素(後述する)を言う。   The horizontal / vertical OB pixel value means a horizontal OB pixel value and a vertical OB pixel value. The horizontal OB pixel value is a pixel value in the horizontal OB area, and the vertical OB pixel value is a pixel value in the vertical OB area. The defective pixel temperature flaw means a defective pixel having high temperature dependency, that is, a defective pixel whose output value changes depending on the temperature of the image sensor (described later).

そして、CPUのブロック104−3は、ステップS14において積算対象とならなかった画素数をステップS16でカウントしてRAM107に記憶させ、それ以外の画素の画素値をステップS15で積算(演算)してRAM107に記憶させて、ステップS17に移行する。   Then, the CPU block 104-3 counts the number of pixels that were not to be integrated in step S14 in step S16 and stores them in the RAM 107, and integrates (calculates) the pixel values of the other pixels in step S15. The program is stored in the RAM 107, and the process proceeds to step S17.

このステップS17においてCPUのブロック104−3は、水平・垂直OBの画素が全て積算されたか否か、即ちOB領域に演算対象画素があるか否かを判断する。この判断において、積算対象の水平・垂直OBの画素が全て積算されていないと判断された場合にはステップS17−1に移行し、積算対象の水平・垂直OBの画素が全て積算されたと判断された場合にはステップS18に移行する。   In step S17, the CPU block 104-3 determines whether or not all horizontal and vertical OB pixels have been integrated, that is, whether or not there is a calculation target pixel in the OB area. In this determination, if it is determined that all the horizontal / vertical OB pixels to be integrated have not been integrated, the process proceeds to step S17-1, and it is determined that all the horizontal / vertical OB pixels to be integrated have been integrated. If yes, the process proceeds to step S18.

このステップS17−1においてCPUのブロック104−3は、欠陥画素温度キズと判断され積算対象とならない画素を除いて(除外して)、水平・垂直OB領域の画素値を積算してRAM107に記憶させ、ステップS18に移行する。   In step S17-1, the CPU block 104-3 accumulates pixel values in the horizontal / vertical OB areas and stores them in the RAM 107, excluding (excludes) pixels that are determined as defective pixel temperature scratches and are not subject to integration. Then, the process proceeds to step S18.

ステップS18においてCPUのブロック104−3は、水平・垂直OB領域の出力画素値の平均値を算出して、この算出した水平・垂直OB領域の出力画素値の平均値をRAM107に記憶させ、ステップS19に移行する。この水平・垂直OB領域の出力画素値の平均値を算出する式は、「積算値/積算対象OB総画素数−D欠陥画素数」となる。   In step S18, the CPU block 104-3 calculates the average value of the output pixel values in the horizontal / vertical OB area, and stores the calculated average value of the output pixel values in the horizontal / vertical OB area in the RAM 107. The process proceeds to S19. The equation for calculating the average value of the output pixel values in the horizontal and vertical OB areas is “integrated value / total number of OBs to be integrated−D defective pixel number”.

ステップS19においてCPUのブロック104−3は、ステップS18で算出された予め記憶されているCCD101のOB領域出力平均値と固体撮像素子であるCCD101の温度の相関テーブルから、固体撮像素子であるCCD101(イメージセンサー)の温度TEMPを算出してRAM107に記憶させ、ステップS20に移行する。   In step S19, the CPU block 104-3 determines whether the CCD 101 (solid-state image sensor) is a correlation table between the OB area output average value of the CCD 101 stored in advance in step S18 and the temperature of the CCD 101, which is the solid-state image sensor. The temperature TEMP of the image sensor) is calculated and stored in the RAM 107, and the process proceeds to step S20.

ステップS20においてCPUのブロック104−3は、固体撮像素子であるCCD101(イメージセンサー)の温度TEMPとあらかじめ決められたスレッシュTH2、TH3とを比較し、この比較によりステップS21〜S23の分岐処理を行う。即ち、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH2より小さい時はステップS21に移行し、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH2とTH3の中間の時はステップS22に移行し、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH3より大きい時はステップS23に移行する。   In step S20, the CPU block 104-3 compares the temperature TEMP of the CCD 101 (image sensor), which is a solid-state imaging device, with the predetermined thresholds TH2 and TH3, and performs the branch processing of steps S21 to S23 based on this comparison. . That is, when the temperature TEMP of the CCD 101 (image sensor) that is a solid-state image sensor is lower than TH2 in step S20, the process proceeds to step S21, and the temperature TEMP of the CCD 101 (image sensor) that is a solid-state image sensor is TH2 and TH3 in step S20. If the temperature TEMP of the CCD 101 (image sensor), which is a solid-state imaging device, is higher than TH3 in step S20, the process proceeds to step S23.

ステップS21においてCPUのブロック104−3は、欠陥画素補正ブロック104−3Aを動作制御して、条件1の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Aに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させ、ステップS22では条件2の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Bに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させ、ステップS23では条件3の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Cに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させて、終了する。尚、この欠陥画素の補正は、欠陥画素補正ブロック104−3Aを設けずに、CCD1信号処理ブロック104−1により行わせることもできる。また、欠陥画素補正の具体的な方法は公知技術と同様であるため説明を省略する。   In step S <b> 21, the CPU block 104-3 controls the operation of the defective pixel correction block 104-3 </ b> A so as to correct the defective pixel registered in the defective pixel correction coordinate registration area A of the RAM 107. In step S22, the defective pixel correction block 104-3A causes the defective pixel correction block 104-3A to execute the defective pixel correction of the condition 2, that is, the correction of the defective pixel registered in the defective pixel correction coordinate registration area B of the RAM 107. In step S23, the defect pixel correction block 104-3A is caused to execute the defective pixel correction of the condition 3, that is, the correction of the defective pixel registered in the defective pixel correction coordinate registration area C of the RAM 107, and the process ends. This defective pixel correction can be performed by the CCD1 signal processing block 104-1 without providing the defective pixel correction block 104-3A. In addition, since a specific method for correcting defective pixels is the same as that of a known technique, description thereof is omitted.

このようにして、CCD1信号処理ブロック104−1に取り込まれた画像信号から欠陥画素の補正処理が行われたRAW−RGB画像データがSDRAMに記録される。
(補足説明)
図4は、図3記載のステップS13の演算対象(積算対象)について説明する図である。
In this way, RAW-RGB image data in which defective pixel correction processing has been performed from the image signal captured by the CCD1 signal processing block 104-1 is recorded in the SDRAM.
(Supplementary explanation)
FIG. 4 is a diagram for explaining the calculation target (accumulation target) in step S13 shown in FIG.

この図4は、図3に記載のステップS14で演算処理(積算処理)がされる時の画素イメージを表している。そして、白抜きの四角形は固体撮像素子であるCCD101(イメージセンサー)の欠陥画素を示している。近年の固体撮像素子であるCCD(イメージセンサー)では、高画素数化に伴うセルサイズの小型化により、OB領域での欠陥画素発生率が上がっている。図4に示す通り、水平・垂直OB領域(水平OB領域および垂直OB領域)の画素数は、有効画素領域に比べ格段に小さいため、画素値の積算等を行う際に、欠陥画素が含まれている場合、結果に与える影響が大きくなる。   FIG. 4 shows a pixel image when the calculation process (integration process) is performed in step S14 shown in FIG. The white squares indicate defective pixels of the CCD 101 (image sensor) that is a solid-state image sensor. In a CCD (image sensor) which is a solid-state imaging device in recent years, the defective pixel occurrence rate in the OB region is increasing due to the cell size reduction accompanying the increase in the number of pixels. As shown in FIG. 4, since the number of pixels in the horizontal / vertical OB area (horizontal OB area and vertical OB area) is much smaller than the effective pixel area, defective pixels are included when integrating pixel values and the like. If this is the case, the effect on the results will be greater.

図5は、OB領域の出力平均値を求める時に、欠陥画素を含めた場合と含めない(除外した)場合について説明する図である。即ち、図5は、OB領域の画素出力平均値を求める際に、図4で示した水平・垂直OB領域の欠陥画素を含めて計算した場合を(a)の特性線F2で示し、含めないで(除外して)計算した場合を(b)の特性線F1で示しで表している。   FIG. 5 is a diagram illustrating a case where a defective pixel is included and a case where a defective pixel is not included (excluded) when an output average value of an OB area is obtained. That is, FIG. 5 shows the case of calculating the pixel output average value in the OB area including the defective pixels in the horizontal / vertical OB area shown in FIG. (Excluded) is shown by the characteristic line F1 in (b).

一般的に温度キズの様な、温度依存性の高い欠陥画素では、固体撮像素子であるCCD(イメージセンサー)の温度が10℃上がると2倍になるといわれている。   In general, it is said that a defective pixel having a high temperature dependency such as a temperature flaw is doubled when the temperature of a CCD (image sensor) which is a solid-state imaging device is increased by 10 ° C.

このため、図5の(a)の特性線F2で示した通り、OB領域の画素出力平均値を計算する時に、欠陥画素を含めると、温度が高くなるほど平均値が非線形に上がってしまい、正確に温度との相関がとれなくなる。逆に、図5の(b)の特性線F1で示した通り、OB領域出力平均値を求める際に、OB領域の欠陥画素を含めないで計算する事により、欠陥画素の値の影響が無くなり、線形に温度との相関がとれる。   For this reason, as shown by the characteristic line F2 in FIG. 5A, when calculating the pixel output average value of the OB region, if the defective pixel is included, the average value increases nonlinearly as the temperature increases. The correlation with the temperature is lost. On the contrary, as shown by the characteristic line F1 in FIG. 5B, when calculating the OB area output average value without including the defective pixels in the OB area, the influence of the value of the defective pixels is eliminated. Linearly correlates with temperature.

図5では、OB領域に欠陥画素がある場合のOB出力平均値をOBAVE−Aとして、OB領域に欠陥画素が無い場合または欠陥画素を含めない場合のOB出力平均値をOBAVE−Aと比較したものである。この図5に示すように、OB領域に欠陥画素がない場合にOB出力平均値は出力特性線F1で示したように一定の傾斜で直線的に変化し、OB領域に欠陥画素がある場合にOB出力平均値は出力特性線F2で示したように温度が上昇すると変化が大きくなる。   In FIG. 5, the OB output average value when there is a defective pixel in the OB region is OBAVE-A, and the OB output average value when there is no defective pixel in the OB region or when the defective pixel is not included is compared with OBAVE-A. Is. As shown in FIG. 5, when there is no defective pixel in the OB area, the OB output average value changes linearly with a constant slope as shown by the output characteristic line F1, and when there is a defective pixel in the OB area. The change in the OB output average value increases as the temperature rises as indicated by the output characteristic line F2.

この出力特性線F1から分かるように、OB領域に欠陥画素が無い場合、または欠陥画素を含めない場合の平均値OBAVE−Aから算出される温度は40℃となる。   As can be seen from the output characteristic line F1, the temperature calculated from the average value OBAVE-A when there is no defective pixel in the OB region or when the defective pixel is not included is 40 ° C.

また、出力特性線F2から分かるように、OB領域に欠陥画素がある場合には平均値OBAVE−Aから算出される温度は30℃となる。   Further, as can be seen from the output characteristic line F2, when there is a defective pixel in the OB region, the temperature calculated from the average value OBAVE-A is 30 ° C.

この温度を比較すると、OB領域に欠陥画素がある場合に平均値OBAVE−Aなる温度はOB領域に欠陥画素がない場合(含めない婆アイ)の平均値OBAVE−Aなる温度と10℃の推定誤差があることがわかる。この推定誤差は、図5から固体撮像素子であるCCD(イメージセンサー)の温度が高くなる程大きくなる。   Comparing this temperature, when there is a defective pixel in the OB region, the temperature of the average value OBAVE-A is estimated to be 10 ° C. with the temperature of the average value OBAVE-A when there is no defective pixel in the OB region (not included). It can be seen that there is an error. This estimation error increases as the temperature of the CCD (image sensor), which is a solid-state imaging device, increases from FIG.

図6は、図3のステップS21,S22,S23における欠陥画素補正条件について説明する図である。   FIG. 6 is a diagram for explaining defective pixel correction conditions in steps S21, S22, and S23 of FIG.

この図6に記載の、閾値TH2〜TH3の大小関係は、TH2<TH3となる。図6に示す通り、算出された温度TEMPが閾値TH2より小さい場合には、欠陥画素補正座標登録領域Aに登録されている欠陥画素が補正される。算出された温度TEMPが閾値TH2と閾値TH3の間の時は、欠陥画素補正座標登録領域AとBに登録されている欠陥画素が補正される。また、算出された温度TEMPが閾値TH3より大きい時は、欠陥画素補正座標登録領域A、B、C全てに登録されている欠陥画素が補正される。このように、算出された温度に従って、欠陥画素の補正条件を変更する。   The magnitude relationship between the thresholds TH2 to TH3 shown in FIG. 6 is TH2 <TH3. As shown in FIG. 6, when the calculated temperature TEMP is smaller than the threshold value TH2, the defective pixel registered in the defective pixel correction coordinate registration area A is corrected. When the calculated temperature TEMP is between the threshold value TH2 and the threshold value TH3, the defective pixel registered in the defective pixel correction coordinate registration areas A and B is corrected. When the calculated temperature TEMP is larger than the threshold value TH3, the defective pixels registered in all the defective pixel correction coordinate registration areas A, B, and C are corrected. In this way, the correction condition of the defective pixel is changed according to the calculated temperature.

図7〜図9は、この発明に係る撮像装置の他の実施例を示すものである。そして、図7は、ディジタルカメラに用いられるRGBフィルタを模式的に示す説明図である。図8は、各優先補正画素群PNにおけるRAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。図9は、この実施例の欠陥画素補正処理内容を示すフローチャートである。   7 to 9 show another embodiment of the imaging apparatus according to the present invention. And FIG. 7 is explanatory drawing which shows typically the RGB filter used for a digital camera. FIG. 8 is an explanatory diagram showing, in a table form, the number of defective pixel addresses (number of data of defective pixels) stored in the RAM 107 in each priority correction pixel group PN. FIG. 9 is a flowchart showing the defective pixel correction processing contents of this embodiment.

図7において、CCD101は、結像された被写体像を電気信号(画像データ)に変換して出力する固体撮像素子である。このCCD101は、受光面全体が画素(ピクセル)と呼ばれる格子状の領域(以下、画素101a(図7参照)ともいう)に分割されており、ディジタルデータである画素データの集合で構成される画像データを、電気信号として出力する。   In FIG. 7, a CCD 101 is a solid-state imaging device that converts a formed subject image into an electrical signal (image data) and outputs it. The CCD 101 has an entire light receiving surface divided into a grid-like area called a pixel (hereinafter also referred to as a pixel 101a (see FIG. 7)), and an image composed of a set of pixel data that is digital data. Data is output as an electrical signal.

CCD101では、分割された各領域(画素)にベイヤー配列を構成するように色フィルタ(RGB、CYM等)が設けられており、実施例では、図7に示すように、ベイヤー配列のRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されている。このため、CCD101は、各画素101aからRGB3原色に対応した電気信号(アナログRGB画像信号)を出力する。なお、CCD101は、固体撮像素子としてのCMOS型イメージセンサ等で構成することもできる。   The CCD 101 is provided with color filters (RGB, CYM, etc.) so as to form a Bayer array in each divided area (pixel). In the embodiment, as shown in FIG. (Hereinafter referred to as “RGB filter”) is arranged. Therefore, the CCD 101 outputs an electrical signal (analog RGB image signal) corresponding to the three primary colors of RGB from each pixel 101a. The CCD 101 can also be configured with a CMOS image sensor or the like as a solid-state image sensor.

そして、図1,図2の鏡胴ユニット7が被写体に向けられることにより、図2の鏡胴ユニット7のZOOMレンズ7−1aに入射される被写体画像がCCD101の各画素の受光面上に結像する。そして、CCD101から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS102−1、AGC102−2を介してA/D変換部102−3に入力され、A/D変換部102−3により12ビット(bit)のRAW−RGBデータに変換される。   1 and 2 is directed toward the subject, the subject image incident on the ZOOM lens 7-1a of the lens barrel unit 7 in FIG. 2 is formed on the light receiving surface of each pixel of the CCD 101. Image. Then, an electrical signal (analog RGB image signal) corresponding to the subject image output from the CCD 101 is input to the A / D converter 102-3 via the CDS 102-1 and AGC 102-2, and the A / D converter 102. -3 to 12-bit (RAW) RGB data.

このRAW−RGBデータは、CCD1信号処理ブロック104−1に取り込まれてSDRAM103に保存される。そして、SDRAM103から読み出されたRAW−RGBデータは、CCD2信号処理ブロック104−2でYUVデータ(YUV信号)に変換された後に、SDRAM103にYUVデータとして保存される。   This RAW-RGB data is taken into the CCD1 signal processing block 104-1 and stored in the SDRAM 103. The RAW-RGB data read from the SDRAM 103 is converted into YUV data (YUV signal) by the CCD2 signal processing block 104-2, and then stored in the SDRAM 103 as YUV data.

そして、SDRAM103から読み出されるYUVデータは、TV信号表示ブロック104−9を介して液晶モニタ(LCD)10へ送られ、液晶モニタ(LCD)10において撮影画像が表示される。その液晶モニタ(LCD)10に撮影画像を表示しているモニタリング時においては、画素数の間引き処理により1/30秒の時間で1フレームが読み出されている。   Then, the YUV data read from the SDRAM 103 is sent to the liquid crystal monitor (LCD) 10 via the TV signal display block 104-9, and the photographed image is displayed on the liquid crystal monitor (LCD) 10. At the time of monitoring in which a captured image is displayed on the liquid crystal monitor (LCD) 10, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels.

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)10に撮影画像が表示されているだけで、まだレリーズスイッチSW1が押圧(半押も含む)操作されていない状態である。   During this monitoring operation, the photographed image is only displayed on the liquid crystal monitor (LCD) 10 functioning as an electronic viewfinder, and the release switch SW1 is not yet pressed (including half-pressed).

この撮影画像の液晶モニタ(LCD)10への表示によって、撮影者は、静止画を撮影するための構図の確認等を行うことができる。
(欠陥画素とその検出方法)
ディジタルスチルカメラに使用される撮像素子(上記したCCD101等)では、半導体の製造工程において、全ての受光素子が完全に同一性能で形成されるわけではなく、一部の受光素子に欠陥が生じてしまうことがある。この欠陥が生じてしまった受光素子に相当する画素を、以下では欠陥画素という。
By displaying the photographed image on the liquid crystal monitor (LCD) 10, the photographer can confirm the composition for photographing the still image.
(Defective pixel and its detection method)
In an imaging device (such as the CCD 101 described above) used in a digital still camera, not all light receiving elements are formed with the same performance in the semiconductor manufacturing process, and some light receiving elements are defective. May end up. A pixel corresponding to the light receiving element in which this defect has occurred is hereinafter referred to as a defective pixel.

よって、撮像素子を備えたディジタルスチルカメラ等の機器は、所定の数以下の個数の欠陥画素をその撮像素子に有する場合がある。このため、ディジタルカメラでは、その欠陥画素のCCD101上における縦横座標(アドレス)等(以下、欠陥画素データ)を予めRAM107等に格納しておき、撮影時に、撮像データにおけるRAM107等に格納された欠陥画素のアドレスに相当する画素データに対して欠陥画素補正処理を実施する。   Therefore, a device such as a digital still camera equipped with an image sensor may have a predetermined number or less of defective pixels in the image sensor. For this reason, in the digital camera, the ordinate and abscissa (address) of the defective pixel on the CCD 101 (hereinafter referred to as defective pixel data) are stored in the RAM 107 or the like in advance, and the defect stored in the RAM 107 or the like in the imaging data at the time of shooting. A defective pixel correction process is performed on the pixel data corresponding to the pixel address.

この欠陥画素は、例えば、画像全体の輝度値の平均値であるAE評価値が128程度の真白な画像を取得させ、当該画像データの各画素データにおいて、輝度値の128からの差異が所定の値よりも大きいか否かを判断することにより、検出することができる。ここで、輝度値が128よりも低いものを黒キズといい、輝度値が128よりも高いものを白キズという。   For this defective pixel, for example, a pure white image having an AE evaluation value that is an average value of the luminance values of the entire image of about 128 is acquired, and in each pixel data of the image data, a difference from the luminance value of 128 is predetermined. It can be detected by judging whether it is larger than the value. Here, those having a luminance value lower than 128 are referred to as black scratches, and those having a luminance value higher than 128 are referred to as white scratches.

また、上述の欠陥画素とは別に、暗電流特性の悪い画素(温度キズ)である欠陥画素も存在する。この温度キズは、暗電流が増えたり蓄積されたりする条件、すなわち撮像素子の温度が上昇したり露光時間が長くなったりするほど影響が大きくなるという動的な欠陥要因である。   In addition to the above-described defective pixels, there are also defective pixels that have poor dark current characteristics (temperature scratches). This temperature flaw is a dynamic defect factor in which the influence increases as the dark current increases or accumulates, that is, as the temperature of the image sensor increases or the exposure time increases.

このため、この温度キズの欠陥画素では、通常1秒程度の露光では問題とならないが、露光時間が長くなるに従って暗電流の増加が大きくなり、それが画像データに重畳され、画像上において輝点となって見える。夜景撮影等の長時間露光撮影による画像において、点々の星状のノイズとして現れるものがこれである。この温度キズの欠陥画素は、300万画素の撮像素子に対して60個程度であり、個々の欠陥画素のアドレスをRAM107等に格納しておくことができる。しかし、温度キズの欠陥画素は、上述したように動的な欠陥要因であることから、露光秒時などの撮影パラメータによって補正しなければならない。   For this reason, a defective pixel having this temperature flaw usually does not cause a problem with exposure of about 1 second, but as the exposure time becomes longer, the increase in dark current increases, which is superimposed on the image data and becomes a bright spot on the image. Looks like. This is what appears as dotted star-like noise in an image obtained by long exposure photography such as night scene photography. There are about 60 defective pixels with temperature flaws for an image sensor with 3 million pixels, and the addresses of the individual defective pixels can be stored in the RAM 107 or the like. However, since defective pixels with temperature flaws are dynamic defect factors as described above, they must be corrected by imaging parameters such as exposure time.

この温度キズの欠陥画素は、例えば、遮光して真暗な画像を取得させ、当該画像データの各画素データにおいて、輝度値が所定の値よりも大きいか否かを判断することにより、検出することができる。この温度キズの欠陥画素は、第1実施例と同様にして温度を推定することにより、補正することができる。
(欠陥画素の補正方法の一例)
欠陥画素の補正は基本的に以下の方法で行われる。先ず、ディジタルカメラでは、上記したように検出してRAM107等に格納した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、RAM(記憶部)107に登録(記憶若しくは記録等の格納)する。
The defective pixel having the temperature flaw is detected by, for example, acquiring a true-dark image by shielding light and determining whether the luminance value is larger than a predetermined value in each pixel data of the image data. Can do. The defective pixel having the temperature flaw can be corrected by estimating the temperature in the same manner as in the first embodiment.
(Example of defect pixel correction method)
Correction of defective pixels is basically performed by the following method. First, in the digital camera, the data of the defective pixel address (vertical and horizontal coordinates on the CCD 101) detected as described above and stored in the RAM 107 or the like is registered (stored or stored) in the RAM (storage unit) 107. .

その後、レリーズスイッチSW1(図1参照)が押し下げられて、上述したようにCCD101により取得された画像データがプロセッサ104内を伝播される過程において、当該画像データ(生成過程の画像データである画像生成データ)が欠陥画素補正部として用いられるCCD2信号処理ブロック104−2へと送られる。CCD2信号処理ブロック104−2では、当該画像データ(その各画素データ)において、RAM(記憶部)107に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間する。   Thereafter, when the release switch SW1 (see FIG. 1) is pressed down and the image data acquired by the CCD 101 is propagated through the processor 104 as described above, the image data (image generation that is image data in the generation process) is generated. Data) is sent to a CCD2 signal processing block 104-2 used as a defective pixel correction unit. In the CCD2 signal processing block 104-2, pixel data corresponding to the address of the defective pixel registered in the RAM (storage unit) 107 is read out from the image data (each pixel data) and viewed with the surrounding RGB filters. Interpolate with pixel data corresponding to the same color.

基本的には、注目した欠陥画素(補正対象としての欠陥画素)の水平方向に隣接する両隣の画素データの平均値を、当該注目した欠陥画素の画素データとすることにより補間する。ここで、注目した欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データを、当該注目した欠陥画素の画素データとすることにより補正する。   Basically, interpolation is performed by using an average value of pixel data on both sides adjacent to each other in the horizontal direction of a focused defective pixel (defective pixel to be corrected) as pixel data of the focused defective pixel. Here, when the noticed defective pixel is located at the left end or the right end in the image data, the pixel data adjacent to the horizontal direction is corrected as the pixel data of the noticed defective pixel.

また、RGBフィルタで見て同色の欠陥画素が、水平方向に2つ並んでいる場合(以下では、連続2画素の欠陥画素ともいう)であっても、補正することができる。この注目した連続2画素の欠陥画素を補正する場合、一方の欠陥画素が他方の欠陥画素とは逆側で隣接する画素データを、当該一方の欠陥画素の画素データとし、他方の欠陥画素が一方の欠陥画素とは逆側で隣接する画素データを、当該他方の欠陥画素の画素データとすることにより、補間する。ここで、注目した連続2画素の欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データとそれに隣接する画素データとの2画素分の画素データを、当該注目した連続2画素の欠陥画素の画素データとすることにより補正する。
(欠陥画素補正処理)
この欠陥画素補正処理について、以下の説明では理解容易のために、RAM(記憶部)107に登録(格納)可能な欠陥画素数(登録限度数)を500としている。
Further, even when two defective pixels of the same color viewed in the RGB filter are arranged in the horizontal direction (hereinafter also referred to as a defective pixel of two consecutive pixels), the correction can be made. When correcting the focused defective pixels of the two consecutive pixels, pixel data in which one defective pixel is adjacent to the other defective pixel on the opposite side is set as pixel data of the one defective pixel, and the other defective pixel is Interpolation is performed by using pixel data adjacent to the defective pixel as the pixel data of the other defective pixel. Here, when the defective pixel of the continuous two pixels of interest is located at the left end or the right end in the image data, the pixel data for two pixels of the pixel data adjacent in the horizontal direction and the pixel data adjacent thereto are Correction is performed by using pixel data of the defective pixels of the two consecutive pixels of interest.
(Defective pixel correction process)
In the following description, the number of defective pixels that can be registered (stored) in the RAM (storage unit) 107 (registration limit number) is set to 500 for the defective pixel correction processing for easy understanding.

また、欠陥画素の影響の変化の判断基準を露光時間としている。この判断基準となる露光時間は、CCD101の遮光領域の真暗な画像(ダーク画像)の輝度値(欠陥画素レベル)を補正判断値としたとき、この補正判断値を用いて決定される。   Further, the exposure time is used as a criterion for determining the change in the influence of defective pixels. The exposure time serving as the determination reference is determined using the correction determination value when the luminance value (defective pixel level) of a true-dark image (dark image) in the light shielding area of the CCD 101 is used as the correction determination value.

即ち、CCD101における欠陥画素の検出の際、遮光して真暗な画像(ダーク画像の画像データ)を取得(撮影)させて、この取得した当該画像(ダーク画像の画像データ)における画素(画素データ)の輝度値(欠陥画素レベル)とすると共に、この取得した当該画像(画像データ)において輝点として現れる輝度値(欠陥画素レベル)を補正判断値としたとき、この補正判断値を用いて露光時間の設定条件が決定される。   That is, when a defective pixel is detected in the CCD 101, a pixel image (pixel data) in the acquired image (dark image image data) is obtained by capturing (photographing) a dark image with darkness (dark image image data). When the brightness value (defective pixel level) that appears as a bright spot in the acquired image (image data) is used as a correction judgment value, the exposure time is determined using this correction judgment value. The setting conditions are determined.

例えば、実施例では、欠陥画素レベル(輝度値)が240以上であると、露光時間が2秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が240以上のときは、その補正判断値を240〜255としている。   For example, in the embodiment, if the defective pixel level (luminance value) is 240 or more, it appears as a bright spot in the image (image data) when the exposure time is 2 seconds. For this reason, when the defective pixel level (luminance value) is 240 or more, the correction judgment value is 240 to 255.

また、欠陥画素レベル(輝度値)が220以上であると、露光時間が4秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が220以上のときは、補正判断値を240〜250としている。   If the defective pixel level (luminance value) is 220 or more, it appears as a bright spot in the image (image data) when the exposure time is 4 seconds. Therefore, when the defective pixel level (luminance value) is 220 or more, the correction determination value is 240 to 250.

更に、欠陥画素レベル(輝度値)が200以上であると、露光時間が8秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が200以上のときは、補正判断値を200〜239とし、
また、欠陥画素レベル(輝度値)が180以上であると、露光時間が16秒の場合に画像(画像データ)において輝点として現れることから、欠陥画素レベル(輝度値)が180以上のときは、その補正判断値を180〜199としている。
Further, if the defective pixel level (luminance value) is 200 or more, it appears as a bright spot in the image (image data) when the exposure time is 8 seconds. From this, when the defective pixel level (luminance value) is 200 or more, the correction judgment value is set to 200 to 239,
If the defective pixel level (luminance value) is 180 or more, it appears as a bright spot in the image (image data) when the exposure time is 16 seconds. The correction judgment value is 180 to 199.

また、実施例では、当該欠陥画素レベル(輝度値)が高いものほど、補正優先度の高い欠陥画素(温度キズ)であるものとしている。なお、欠陥画素レベルとしての輝度値は、出力のフルスケールを255とした出力値を示しており、数値が大きくなるほど大きな(高い)出力であることを示している。   In the embodiment, the higher the defective pixel level (luminance value) is, the higher the correction priority is the defective pixel (temperature scratch). Note that the luminance value as the defective pixel level is an output value with the full scale of the output being 255, and indicates that the larger the value, the larger (higher) output.

欠陥画素の数は撮像素子(センサ)の特性に依存する。例えば、CMOSでは、同条件下であってもCCDより10倍も多い欠陥画素が出現すると言われている。このため、実際にディジタルスチルカメラ(実施例ではディジタルカメラ)にセンサ(実施例ではCCD101)を搭載した状態において、露光2秒で出現する欠陥画素の数、露光4秒で出現する欠陥画素の数、・・・・というように、設定された各露光時間で出現する欠陥画素の数を統計的に把握し、露光時間に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、露光時間に応じた補正画素数として設定する。このため、上記した露光時間に対する補正判断値すなわち欠陥画素レベル(輝度値)の各数値は、露光時間に応じた補正画素数の設定のための目安であるということができる。この欠陥画素補正処理においては、欠陥画素レベルが高い画素から順に、露光時間に応じた補正画素数だけ、欠陥画素補正を行う。   The number of defective pixels depends on the characteristics of the image sensor (sensor). For example, in CMOS, it is said that 10 times more defective pixels appear than CCD even under the same conditions. For this reason, in the state where the sensor (CCD 101 in the embodiment) is actually mounted on the digital still camera (the digital camera in the embodiment), the number of defective pixels appearing in the exposure of 2 seconds and the number of defective pixels appearing in the exposure of 4 seconds. As such, it is possible to statistically grasp the number of defective pixels that appear at each set exposure time, and determine that it is sufficient to correct all of the defective pixels that appear according to the exposure time. The number is set as the number of corrected pixels according to the exposure time. For this reason, it can be said that the correction judgment value for the exposure time, that is, each numerical value of the defective pixel level (luminance value) is a guideline for setting the number of correction pixels according to the exposure time. In this defective pixel correction process, defective pixels are corrected by the number of corrected pixels corresponding to the exposure time in order from the pixel with the highest defective pixel level.

この実施例では、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図8参照)。   In this embodiment, the correction pixel number is 200 when the exposure time is 2 seconds, the correction pixel number is 500 when the exposure time is 4 seconds, and the correction pixel number is 700 when the exposure time is 8 seconds. The number of corrected pixels when the exposure time is 16 seconds is 1000 (see FIG. 8).

すなわち、統計的に、欠陥画素レベル(輝度値)が240〜255となる画素数が200以下であり、欠陥画素レベル(輝度値)が220〜255となる画素数が500以下であり、欠陥画素レベル(輝度値)が200〜255となる画素数が700以下であり、欠陥画素レベル(輝度値)が180〜255となる画素数が1000以下であることを意味している。   That is, statistically, the number of pixels with a defective pixel level (luminance value) of 240 to 255 is 200 or less, the number of pixels with a defective pixel level (luminance value) of 220 to 255 is 500 or less, and defective pixels This means that the number of pixels with a level (luminance value) of 200 to 255 is 700 or less, and the number of pixels with a defective pixel level (luminance value) of 180 to 255 is 1000 or less.

プロセッサ104は、設定された露光時間に応じた補正画素数での欠陥画素補正処理のために、欠陥画素データとして、検出した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、それぞれの欠陥画素レベルおよび設定された露光時間に関連付けて、以下のようにRAM107に格納する。なお、実施例では、後述するようにRAM107に適宜登録するための欠陥画素データをRAM107に格納しているが、プロセッサ104が適宜データを格納および読み出すことが可能とされたメモリであればよい。   For the defective pixel correction processing with the number of corrected pixels corresponding to the set exposure time, the processor 104 converts the detected defective pixel address data (vertical and horizontal coordinates on the CCD 101) into defective defect data as defective pixel data. In association with the pixel level and the set exposure time, it is stored in the RAM 107 as follows. In the embodiment, as described later, defective pixel data to be appropriately registered in the RAM 107 is stored in the RAM 107. However, any memory can be used as long as the processor 104 can store and read data as appropriate.

先ず、図8に示すように、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に200個の画素を欠陥画素として検出し、第1優先補正画素群P1の欠陥画素のアドレスデータとして、RAM107に格納する。この第1優先補正画素群P1として検出された200個の欠陥画素は、そのまま露光時間が2秒の場合に補正する200個の欠陥画素となる。   First, as shown in FIG. 8, 200 pixels are detected as defective pixels in order from the pixel having the highest defective pixel level among all the pixels of the CCD 101, and the address data of the defective pixel in the first priority correction pixel group P1 is detected. Is stored in the RAM 107. The 200 defective pixels detected as the first priority correction pixel group P1 become 200 defective pixels that are corrected when the exposure time is 2 seconds.

次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を欠陥画素として検出し、その検出した500個の画素から、第1優先補正画素群P1の200個の欠陥画素を除いたものを欠陥画素として選出し、第2優先補正画素群P2の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を検出する過程において、それらのうち第1優先補正画素群P1の200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第2優先補正画素群P2の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い500個の画素から、第1優先補正画素群P1の200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第2優先補正画素群P2として検出された300個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素を加算することにより、露光時間が4秒の場合に補正する500個の欠陥画素となる。また、このような欠陥画素補正処理では、RAM107に登録(格納)可能な欠陥画素数を、後述するように、欠陥画素レベルが高い方から順に補正優先度の高い欠陥画素として設定することから、実施例では、RAM107に登録(格納)可能な欠陥画素数が500であるので、露光時間が4秒の場合に補正する500個の欠陥画素が、そのまま補正優先度の高い欠陥画素となる。   Next, among all the pixels of the CCD 101, 500 pixels are detected as defective pixels in order from the pixel having the highest defective pixel level, and 200 pixels of the first priority correction pixel group P1 are detected from the detected 500 pixels. Are removed as defective pixels and stored in the RAM 107 as address data of defective pixels in the second priority correction pixel group P2. This is because, for example, in the process of detecting 500 pixels in order from the pixel with the highest defective pixel level among all the pixels of the CCD 101, among the 200 defective pixels in the first priority correction pixel group P1 among them, This is done by selecting a defective pixel level lower than the low defective pixel level. Therefore, 200 defective pixels of the first priority correction pixel group P1 are subtracted from 500 pixels having a high defective pixel level among all the pixels of the CCD 101 as defective pixels of the second priority correction pixel group P2. The remaining 300 pixels are detected. The 300 defective pixels detected as the second priority correction pixel group P2 are corrected when the exposure time is 4 seconds by adding 200 defective pixels of the first priority correction pixel group P1. Defective pixels. In such a defective pixel correction process, the number of defective pixels that can be registered (stored) in the RAM 107 is set as a defective pixel having a higher correction priority in order from the highest defective pixel level, as will be described later. In the embodiment, since the number of defective pixels that can be registered (stored) in the RAM 107 is 500, the 500 defective pixels that are corrected when the exposure time is 4 seconds directly become defective pixels having a high correction priority.

次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を欠陥画素として検出し、その検出した700個の画素から、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を除いたものを欠陥画素として選出し、第3優先補正画素群P3の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を検出する過程において、それらのうち第2優先補正画素群P2の300個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第3優先補正画素群P3の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い700個の画素から、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を減算した、残りの200個の画素を検出することとなる。この第3優先補正画素群P3として検出された200個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を加算することにより、露光時間が8秒の場合に補正する700個の欠陥画素となる。   Next, 700 pixels are detected as defective pixels in order from the pixel having the highest defective pixel level among all the pixels of the CCD 101, and 200 pixels of the first priority correction pixel group P1 are detected from the detected 700 pixels. The defective pixels and the 300 defective pixels of the second priority correction pixel group P2 are selected as defective pixels and stored in the RAM 107 as address data of defective pixels of the third priority correction pixel group P3. For example, in the process of detecting 700 pixels in order from the pixel having the highest defective pixel level among all the pixels of the CCD 101, among the 300 defective pixels in the second priority correction pixel group P2 among them, This is done by selecting a defective pixel level lower than the low defective pixel level. Therefore, as the defective pixels of the third priority correction pixel group P3, the 200 defective pixels of the first priority correction pixel group P1 and the second defective pixels are selected from 700 pixels having a high defective pixel level among all the pixels of the CCD 101. The remaining 200 pixels obtained by subtracting 300 defective pixels of the priority correction pixel group P2 are detected. The 200 defective pixels detected as the third priority correction pixel group P3 are obtained by adding the 200 defective pixels of the first priority correction pixel group P1 and the 300 defective pixels of the second priority correction pixel group P2. Thus, 700 defective pixels are corrected when the exposure time is 8 seconds.

次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を欠陥画素として検出し、その検出した1000個の画素から、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を除いたものを欠陥画素として選出し、第4優先補正画素群P4の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を検出する過程において、それらのうち第3優先補正画素群P3の200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第4優先補正画素群P4の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い1000個の画素から、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第4優先補正画素群P4として検出された300個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を加算することにより、露光時間が16秒の場合に補正する1000個の欠陥画素となる。   Next, 1000 pixels are detected as defective pixels in order from the pixel having the highest defective pixel level among all the pixels of the CCD 101, and 200 pixels of the first priority correction pixel group P1 are detected from the detected 1000 pixels. Of the second priority correction pixel group P2 and 300 defective pixels of the third priority correction pixel group P3 are selected as defective pixels, and the fourth priority correction pixel group P4 is selected. The data is stored in the RAM 107 as defective pixel address data. This is because, for example, in the process of detecting 1000 pixels in order from the pixel with the highest defective pixel level among all the pixels of the CCD 101, among the 200 defective pixels in the third priority correction pixel group P3 among them, This is done by selecting a defective pixel level lower than the low defective pixel level. Therefore, as the defective pixels of the fourth priority correction pixel group P4, the 200 defective pixels of the first priority correction pixel group P1, the second defective pixel level, the 1000 defective pixels among all the pixels of the CCD 101, the second The remaining 300 pixels are detected by subtracting the 300 defective pixels of the priority correction pixel group P2 and the 200 defective pixels of the third priority correction pixel group P3. The 300 defective pixels detected as the fourth priority correction pixel group P4 are the 200 defective pixels in the first priority correction pixel group P1, the 300 defective pixels in the second priority correction pixel group P2, and the third priority pixels. By adding the 200 defective pixels of the correction pixel group P3, 1000 defective pixels are corrected when the exposure time is 16 seconds.

なお、上記したように補正画素数を設定していることから、各優先補正画素群PN(N=1〜4)の各欠陥画素では、CCD101の全ての画素の中において、補正判断値すなわち設定の目安としての欠陥画素レベル(輝度値)の範囲にある欠陥画素レベルの画素の全てを漏らすことなく含むものではあるが、設定の目安としての欠陥画素レベル(輝度値)よりも小さな欠陥画素レベルの画素が含まれている場合はあり得る。   Since the number of correction pixels is set as described above, in each defective pixel of each priority correction pixel group PN (N = 1 to 4), the correction judgment value, that is, the setting is set among all the pixels of the CCD 101. Defective pixel level (luminance value) in the range of the defective pixel level (luminance value) as a guideline of the defective pixel level that is included without leaking, but smaller than the defective pixel level (luminance value) as a guideline of setting May be included.

実施例のプロセッサ104では、上述したようにRAM107に格納した各優先補正画素群PN(N=1〜4)のアドレスデータ(図8参照)すなわち各欠陥画素データを利用して、欠陥画素補正処理を行う。図9は、このプロセッサ104にて実行される実施例の欠陥画素補正処理内容を示すフローチャートである。   The processor 104 of the embodiment uses the address data (see FIG. 8) of each priority correction pixel group PN (N = 1 to 4) stored in the RAM 107 as described above, that is, defective pixel correction processing using each defective pixel data. I do. FIG. 9 is a flowchart showing the details of the defective pixel correction process of the embodiment executed by the processor 104.

ステップS1では、設定された露光時間を取得して、ステップS2へ進む。このステップS1では、レリーズスイッチSW1が押し下げられて撮影動作が開始されると、それにより得ることが可能となる当該撮影時の露光時間の情報を取得する。この露光時間は、撮影モードや撮影現場の雰囲気等に応じてプロセッサ104が設定する場合もあれば、操作キーユニットK_U(SW1−SW15)への操作により設定される場合もあるが、撮影動作が開始されると当該撮影時の露光時間が決まることから、撮影動作の開始に伴って露光時間の情報を取得する。   In step S1, the set exposure time is acquired, and the process proceeds to step S2. In this step S1, when the release switch SW1 is depressed to start the shooting operation, information on the exposure time at the time of shooting that can be obtained thereby is acquired. The exposure time may be set by the processor 104 according to the shooting mode, the atmosphere at the shooting site, or the like, or may be set by operating the operation key unit K_U (SW1-SW15). Since the exposure time at the time of shooting is determined when it is started, information on the exposure time is acquired with the start of the shooting operation.

ステップS2では、ステップS1での設定された露光時間の取得に続き、取得した露光時間が8秒以上であるか否かを判定し、Yesの場合はステップS3へ進み、Noの場合はステップS4へ進む。このステップS2では、欠陥画素補正処理の内容の切り換え、すなわちCCD2信号処理ブロック104−2による欠陥画素補正動作の回数の切り換えのために、ステップS1で取得した露光時間の長さ(数値)を判断している。これは、上述したように、露光時間に応じた補正画素数が予め設定されていることと、CCD2信号処理ブロック104−2のRAM107に登録(格納)可能な欠陥画素数(登録限度数)には限度があることと、による。実施例では、RAM107に登録可能な欠陥画素数(登録限度数)が500であるのに対し、露光時間が4秒の場合の補正画素数が500に設定されかつ露光時間が8秒の場合の補正画素数が700に設定されていることから、露光時間が8秒以上であると設定された補正画素数が登録限度数を越えるので、欠陥画素補正動作を2回とすべくステップS3へ進み、露光時間が4秒以下であると設定された補正画素数が登録限度数以下であるので、欠陥画素補正動作を1回とすべくステップS4へ進む。   In Step S2, following the acquisition of the set exposure time in Step S1, it is determined whether or not the acquired exposure time is 8 seconds or more. If Yes, the process proceeds to Step S3. If No, Step S4 is performed. Proceed to In step S2, the length (numerical value) of the exposure time acquired in step S1 is determined for switching the content of the defective pixel correction process, that is, for switching the number of defective pixel correction operations by the CCD2 signal processing block 104-2. doing. As described above, this is because the number of correction pixels corresponding to the exposure time is set in advance and the number of defective pixels (registration limit number) that can be registered (stored) in the RAM 107 of the CCD2 signal processing block 104-2. Depends on the limits. In the embodiment, the number of defective pixels (registration limit number) that can be registered in the RAM 107 is 500, whereas the number of corrected pixels when the exposure time is 4 seconds is set to 500 and the exposure time is 8 seconds. Since the number of corrected pixels is set to 700, the number of corrected pixels set to have an exposure time of 8 seconds or more exceeds the registration limit number, so the process proceeds to step S3 in order to perform the defective pixel correction operation twice. Since the number of correction pixels set to the exposure time of 4 seconds or less is equal to or less than the registration limit number, the process proceeds to step S4 in order to perform the defective pixel correction operation once.

ステップS3では、ステップS2での露光時間が8秒以上であるとの判断に続き、補正優先度の高い欠陥画素の補正を実行して、ステップS4へ進む。このステップS3では、ステップS2にて露光時間が8秒以上であると判断したことから、CCD2信号処理ブロック104−2のRAM107に登録可能な欠陥画素数(登録限度数)よりも多くの欠陥画素を補正する必要があるので、CCD2信号処理ブロック104−2は補正優先度の高い順すなわち欠陥画素レベル(輝度値)の大きい順からRAM107の登録限度数の欠陥画素を補正する。実施例においてCCD2信号処理ブロック104−2は、RAM107の登録限度数が500であることから、第1優先補正画素群P1の200個の欠陥画素のアドレスデータと、第2優先補正画素群P2の300個の欠陥画素のアドレスデータと、をRAM107から読み出して、CCD2信号処理ブロック104−2のRAM107に登録(格納)する。   In step S3, following the determination that the exposure time in step S2 is 8 seconds or longer, correction of defective pixels having a high correction priority is executed, and the flow proceeds to step S4. In this step S3, since it is determined in step S2 that the exposure time is 8 seconds or more, there are more defective pixels than the number of defective pixels (registration limit number) that can be registered in the RAM 107 of the CCD2 signal processing block 104-2. Therefore, the CCD2 signal processing block 104-2 corrects the defective pixels of the registration limit number of the RAM 107 from the order of the highest correction priority, that is, the order of the defective pixel level (luminance value). In the embodiment, since the registration limit number of the RAM 107 is 500, the CCD2 signal processing block 104-2 has the address data of 200 defective pixels in the first priority correction pixel group P1 and the second priority correction pixel group P2. The address data of 300 defective pixels is read from the RAM 107 and registered (stored) in the RAM 107 of the CCD2 signal processing block 104-2.

その後、CCD2信号処理ブロック104−2は、送られてきた画像データ(その各画素データ)において、RAM107に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、第1優先補正画素群P1の200個の欠陥画素と、第2優先補正画素群P2の300個の欠陥画素と、の合計500個の欠陥画素の補正を行う。ここで、当該500個の欠陥画素のアドレスデータは、その全てがRAM107に登録可能であることから、CCD2信号処理ブロック104−2では一度の欠陥画素補正動作で、補正優先度の高い500個の欠陥画素の全てを補正することができる。なお、各優先補正画素群PN(N=1〜4)の欠陥画素の個数の区切りが、RAM107の登録限度数に対応していない場合、補正優先度の高い方から順に登録可能な登録限度数の欠陥画素のアドレスデータを、RAM107への登録を可能とする状態で予めRAM107に格納しておくことが望ましい。   Thereafter, the CCD2 signal processing block 104-2 reads out the pixel data corresponding to the address of the defective pixel registered in the RAM 107 in the received image data (each pixel data thereof), and looks at the surrounding RGB filters. By interpolating with pixel data corresponding to the same color, a total of 500 defective pixels of 200 defective pixels in the first priority correction pixel group P1 and 300 defective pixels in the second priority correction pixel group P2 Perform the correction. Here, since all the address data of the 500 defective pixels can be registered in the RAM 107, the CCD2 signal processing block 104-2 performs a defective pixel correction operation once, and the 500 correction pixels having a high correction priority. All defective pixels can be corrected. Note that if the number of defective pixels in each priority correction pixel group PN (N = 1 to 4) does not correspond to the registration limit number in the RAM 107, the registration limit number that can be registered in order from the highest correction priority. It is desirable to store the address data of the defective pixels in the RAM 107 in advance in a state enabling registration in the RAM 107.

ステップS4では、ステップS2での露光時間が8秒以上ではないとの判断、あるいは、ステップS3での補正優先度の高い欠陥画素の補正の実行に続き、露光時間に応じた欠陥画素補正の準備を行って、ステップS5へ進む。このステップS4では、ステップS1で取得した露光時間に応じた補正画素数の欠陥画素を補正するために、各優先補正画素群PN(N=1〜4)のアドレスデータをRAM107から適宜読み出して、RAM107に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う(これを処理Aとする)。すなわち、実質的な補正画素数の設定を行う。
(高速な撮影処理での欠陥画素補正処理)
ここで、撮影モードや撮影現場の雰囲気等により、高速な撮影処理が必要な場合(例えば、連写等)、上記した欠陥画素補正処理の実行によりCCD2信号処理ブロック104−2で繰り返し(上記した実施例では2回)欠陥画素補正動作を行うと、その欠陥画素補正の処理時間が問題となる。このため、欠陥画素補正処理では、連写等の高速な撮影処理が必要な場合、欠陥画素レベルが高い画素(補正優先度の高い欠陥画素)を優先的に補正することを前提として、CCD2信号処理ブロック104−2での欠陥画素補正動作を1回だけ行う。これは、欠陥画素レベルが高い画素は、欠陥画素として画像(画像データ)に表れやすい画素であることによる。この場合、例えば、図9のフローチャートにおいてステップS3で欠陥画素補正動作を実行した場合はステップS4へと進むことなく、欠陥画素補正処理を終了するようにすることができる。これにより、連写等の高速な撮影処理が必要な場合、欠陥画素補正に要する処理時間を短縮しつつ画像(画像データ)に出現し易い欠陥画素を補正することができる。
(欠陥画素補正処理の作用)
この欠陥画素補正処理では、上述したように、撮像素子(CCD101)において補正対象とすべき欠陥画素の数が、RAM107に登録可能な欠陥画素数を超える場合、当該RAM107への登録内容を書き換えつつ、すなわちRAM107における欠陥画素データの登録内容を変更しつつ、CCD2信号処理ブロック104−2での欠陥画素補正の動作を繰り返すことから、撮像素子(CCD101)の全ての欠陥画素を補正することができる。詳細には、実施例では、RAM107に登録(格納)可能な登録限度数が500であるのに対し、露光時間に応じて必要な補正画素数を、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図8参照)ことから、露光時間が2秒もしくは4秒の場合、CCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数の補正を実行し、露光時間が8秒もしくは16秒の場合、1回目のCCD2信号処理ブロック104−2での欠陥画素補正動作としてステップS3にて500個の補正優先度の高い欠陥画素の補正を実行し、ステップS3に続く2回目のCCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、ステップS3で実行した欠陥画素補正の補正画素数500を減算した残りの補正画素数の補正をステップS5にて実行する。このように、CCD2信号処理ブロック104−2のRAM107に登録可能な欠陥画素数を超える場合(実施例では露光時間が8秒もしくは16秒の場合)であっても、その超えた画素数を2回目(設定条件によっては複数回)のCCD2信号処理ブロック104−2での欠陥画素補正動作により補正するので、補正が必要とされる欠陥画素数とRAM107の登録限度数との関係に拘らず、撮像素子(CCD101)の全ての欠陥画素を補正することができる。
In step S4, following the determination that the exposure time in step S2 is not more than 8 seconds or the execution of correction of defective pixels having a high correction priority in step S3, preparation for defective pixel correction according to the exposure time is performed. To go to step S5. In this step S4, in order to correct the defective pixels having the number of correction pixels corresponding to the exposure time acquired in step S1, the address data of each priority correction pixel group PN (N = 1 to 4) is appropriately read from the RAM 107, By registering (storing) in the RAM 107, preparation for defective pixel correction according to the exposure time is performed (this is referred to as process A). That is, a substantial correction pixel number is set.
(Defective pixel correction processing in high-speed shooting processing)
Here, when high-speed shooting processing is required (for example, continuous shooting) depending on the shooting mode, shooting atmosphere, etc., the above-described defective pixel correction processing is repeated in the CCD2 signal processing block 104-2 (described above). When the defective pixel correction operation is performed twice in the embodiment, the processing time of the defective pixel correction becomes a problem. For this reason, in the defective pixel correction processing, when high-speed shooting processing such as continuous shooting is required, it is assumed that pixels with a high defective pixel level (defective pixels with a high correction priority) are preferentially corrected. The defective pixel correction operation in the processing block 104-2 is performed only once. This is because a pixel having a high defective pixel level is a pixel that tends to appear in an image (image data) as a defective pixel. In this case, for example, when the defective pixel correction operation is executed in step S3 in the flowchart of FIG. 9, the defective pixel correction process can be terminated without proceeding to step S4. Accordingly, when high-speed shooting processing such as continuous shooting is required, it is possible to correct defective pixels that are likely to appear in an image (image data) while reducing the processing time required for defective pixel correction.
(Operation of defective pixel correction processing)
In this defective pixel correction process, as described above, when the number of defective pixels to be corrected in the image sensor (CCD 101) exceeds the number of defective pixels that can be registered in the RAM 107, the registration contents in the RAM 107 are rewritten. That is, since the defective pixel correction operation in the CCD2 signal processing block 104-2 is repeated while changing the registered contents of the defective pixel data in the RAM 107, all defective pixels of the image sensor (CCD 101) can be corrected. . More specifically, in the embodiment, while the registration limit number that can be registered (stored) in the RAM 107 is 500, the number of correction pixels required according to the exposure time is the correction pixel number when the exposure time is 2 seconds. Is 200, the number of correction pixels when the exposure time is 4 seconds is 500, the number of correction pixels when the exposure time is 8 seconds is 700, and the number of correction pixels when the exposure time is 16 seconds is 1000 ( Therefore, when the exposure time is 2 seconds or 4 seconds, as the defective pixel correction operation in the CCD2 signal processing block 104-2, the correction pixel number is corrected according to the exposure time acquired in step S1. If the exposure time is 8 seconds or 16 seconds, 500 defective pixels with high correction priority are corrected in step S3 as the defective pixel correction operation in the first CCD2 signal processing block 104-2. As the defective pixel correction operation in the CCD2 signal processing block 104-2 for the second time following step S3, the correction pixel number 500 of the defective pixel correction executed in step S3 is calculated from the correction pixel number corresponding to the exposure time acquired in step S1. Correction of the remaining correction pixel number obtained by subtracting is performed in step S5. Thus, even when the number of defective pixels that can be registered in the RAM 107 of the CCD2 signal processing block 104-2 is exceeded (in the embodiment, when the exposure time is 8 seconds or 16 seconds), the number of pixels exceeding the number is 2 Since the correction is performed by the defective pixel correction operation in the CCD2 signal processing block 104-2 of the second time (multiple times depending on the setting conditions), regardless of the relationship between the number of defective pixels that need to be corrected and the registration limit number of the RAM 107, All defective pixels of the image sensor (CCD 101) can be corrected.

また、露光時間に応じて補正対象とする画素数を変更していることから、露光時間に応じた必要な補正画素数だけ補正すること、換言すると過不足のなく適切に補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。これは、補正不足により、画像(画像データ)において出現する欠陥画素が補正されていないと、画像上にて当該欠陥画素が認識されてしまう虞があり、過補正により、画像(画像データ)において出現しない画素を欠陥画素として補正してしまうと、補正前の画像において問題とはならない画素(およびその周辺)であったにも拘らず当該画素の周辺を実質的に平滑化することによる空間解像度の劣化等を招いてしまう虞があることによる。   Further, since the number of pixels to be corrected is changed according to the exposure time, it is possible to correct only the necessary number of correction pixels according to the exposure time, in other words, it is possible to appropriately correct without excess or deficiency, It is possible to prevent image quality deterioration due to insufficient correction or overcorrection of defective pixels. This is because if defective pixels appearing in the image (image data) are not corrected due to insufficient correction, the defective pixels may be recognized on the image. If a non-appearing pixel is corrected as a defective pixel, the spatial resolution is obtained by substantially smoothing the periphery of the pixel even though it is not a problem pixel (and its periphery) in the image before correction. This is because there is a risk of causing deterioration or the like.

さらに、欠陥画素レベルが高い画素を優先的に補正することから、画像(画像データ)上において欠陥画素と認識され易い画素を優先的に補正することができるので、より効率的に画質を向上させることができる。   Furthermore, since pixels with a high defective pixel level are preferentially corrected, pixels that are easily recognized as defective pixels on the image (image data) can be preferentially corrected, so that the image quality can be improved more efficiently. be able to.

このため、上述したディジタルカメラでは、RAM107での登録限度数に拘らず、補正対象とするすべての欠陥画素を適切に補正することができる。これにより、暗電流が増えたり蓄積されたりする条件、例えば、撮像素子(CCD101)の温度が上昇したり露光時間が長い状況で撮影された画像(画像データ)であっても、その品質を向上させることができる。   For this reason, in the digital camera described above, it is possible to appropriately correct all defective pixels to be corrected regardless of the registration limit number in the RAM 107. As a result, the quality of an image (image data) taken under conditions where dark current increases or accumulates, for example, when the temperature of the image sensor (CCD 101) rises or the exposure time is long is improved. Can be made.

また、上記した実施例では、欠陥画素の影響の変化の判断基準を露光時間とし、露光時間に応じた補正画素数が設定されている例を示したが、動的な欠陥要因である温度キズの影響が変化する要因を判断基準として補正画素数を設定するものであればよく、実施例に限定されるものではない。例えば、ISO感度に応じた補正画素数の設定に基づいて欠陥画素補正処理を行うものとすることができる。この場合、露光時間と同様に、実際にディジタルスチルカメラ(実施例ではディジタルカメラ)にセンサ(実施例ではCCD101)を搭載した状態において、ISO感度100で出現する欠陥画素の数、ISO感度200で出現する欠陥画素の数、・・・・というように、設定された各ISO感度で出現する欠陥画素の数を統計的に把握し、ISO感度に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、ISO感度に応じた補正画素数として設定すればよい。この一例として、露光時間がISO100の補正画素数を200とし、ISO200の場合の補正画素数を500とし、ISO400の場合の補正画素数を700とし、ISO800の場合の補正画素数を1000とすることにより、上記した露光時間に対応して補正画素数が設定されている場合と同様に欠陥画素補正処理を行うことができる。この場合であっても、制御部28は、設定されたISO感度に応じた補正画素数での欠陥画素補正処理のために、検出した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、RAM107に格納する。   In the above-described embodiment, an example in which the exposure criterion is set as the criterion for determining the change in the influence of the defective pixel and the number of corrected pixels according to the exposure time is set is shown. As long as the correction pixel number is set based on a factor that changes the influence of the above as a criterion, it is not limited to the embodiment. For example, the defective pixel correction process can be performed based on the setting of the number of correction pixels according to the ISO sensitivity. In this case, as with the exposure time, the number of defective pixels that appear with an ISO sensitivity of 100 and an ISO sensitivity of 200 when the sensor (CCD 101 in the embodiment) is actually mounted on a digital still camera (digital camera in the embodiment). To statistically grasp the number of defective pixels that appear at each set ISO sensitivity, such as the number of defective pixels that appear, and to correct all the defective pixels that appear according to the ISO sensitivity It is sufficient to set the number that can be determined to be sufficient as the number of correction pixels according to the ISO sensitivity. As an example of this, the number of correction pixels with an exposure time of ISO 100 is 200, the number of correction pixels with ISO 200 is 500, the number of correction pixels with ISO 400 is 700, and the number of correction pixels with ISO 800 is 1000. Thus, defective pixel correction processing can be performed in the same manner as in the case where the number of correction pixels is set corresponding to the exposure time described above. Even in this case, the control unit 28 uses the data of the detected defective pixel address (vertical and horizontal coordinates on the CCD 101) for defective pixel correction processing with the number of corrected pixels according to the set ISO sensitivity. Stored in the RAM 107.

このような点から露光時間とISO感度の組み合わせから欠陥画素補正処理を行うようにすることにより、よりきめ細かな欠陥画素補正処理を行うことができる。この場合、RAM107に格納する欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を少なくするのが望ましい。図10〜図13は、露光時間とISO感度の組み合わせから欠陥画素補正処理を行うようにする際に、RAM107に格納する欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を少なくするための説明図である。   From this point of view, the defective pixel correction process can be performed more finely by performing the defective pixel correction process from the combination of the exposure time and the ISO sensitivity. In this case, it is desirable to reduce the number of defective pixel addresses (vertical and horizontal coordinates on the CCD 101) stored in the RAM 107 (number of defective pixel data) and the like. 10 to 13 show the number of defective pixel addresses (vertical and horizontal coordinates on the CCD 101) stored in the RAM 107 when the defective pixel correction process is performed based on the combination of the exposure time and the ISO sensitivity (the number of defective pixels). It is an explanatory diagram for reducing the number of data.

ここで、図10〜図13は、CCD101の温度がそれぞれ10°C,20°C,30°C,40°Cのとき、RAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)をそれぞれ示したものである。しかも、この図10〜図13において、縦軸は露光時間に応じた補正画素数のための組み合わせの説明のための露光時間(2s,4s,8s,16s)を示し、横軸はISO感度設定に応じた補正画素数のための組み合わせの説明のためのISO感度(100,200,400,800)を示している。   10 to 13 show the addresses of defective pixels stored in the RAM 107 (ordinate and abscissa on the CCD 101) when the temperature of the CCD 101 is 10 ° C, 20 ° C, 30 ° C, and 40 ° C, respectively. The number of data (number of defective pixel data) is shown respectively. Moreover, in FIGS. 10 to 13, the vertical axis represents the exposure time (2 s, 4 s, 8 s, 16 s) for explaining the combination for the number of correction pixels according to the exposure time, and the horizontal axis represents the ISO sensitivity setting. The ISO sensitivity (100, 200, 400, 800) for explanation of the combination for the number of corrected pixels corresponding to is shown.

このような露光時間に応じた変数をxとし、ISO感度設定に応じた変数をyとすると共に、CCD101の温度に応じた変数をzとしたとき、RAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)は図10〜図13に示したような補正画素群Pxyzで示すアドレスで表すことができる。   When the variable according to the exposure time is x, the variable according to the ISO sensitivity setting is y, and the variable according to the temperature of the CCD 101 is z, the address of the defective pixel stored in the RAM 107 (CCD101 The number of pieces of data (upper and lower horizontal coordinates) (the number of defective pixel data) can be represented by an address indicated by a correction pixel group Pxyz as shown in FIGS.

この図10〜図13において、補正画素群Pxyzと変数x,y,zとの関係を説明する。   The relationship between the correction pixel group Pxyz and the variables x, y, z will be described with reference to FIGS.

図10〜図13において、露光時間2sのとき「x=1」とし、露光時間4sのとき「x=2」とし、露光時間8sのとき「x=3」とし、露光時間16sのとき「x=4」とする。また、図10〜図13において、ISO感度が100のとき「y=1」とし、ISO感度が200のとき「y=2」とし、ISO感度が300のとき「y=3」とし、ISO感度が400のとき「y=4」とする。   10 to 13, “x = 1” is set when the exposure time is 2 s, “x = 2” is set when the exposure time is 4 s, “x = 3” is set when the exposure time is 8 s, and “x” is set when the exposure time is 16 s. = 4 ". 10 to 13, when the ISO sensitivity is 100, “y = 1” is set, when the ISO sensitivity is 200, “y = 2” is set, and when the ISO sensitivity is 300, “y = 3” is set, and the ISO sensitivity is set. When y is 400, “y = 4”.

また、CCD101の温度が10°Cのとき「z=1」とし、CCD101の温度が20°Cのとき「z=2」とし、CCD101の温度が30°Cのとき「z=3」とし、CCD101の温度が40°Cのとき「z=4」とする。   When the temperature of the CCD 101 is 10 ° C., “z = 1”, when the temperature of the CCD 101 is 20 ° C., “z = 2”, and when the temperature of the CCD 101 is 30 ° C., “z = 3”. When the temperature of the CCD 101 is 40 ° C., “z = 4”.

従って、例えば、図10においてP111は、補正画素群Pxyzのx,y,zをx=1(露光時間2s)、y=1(ISO100)、z=1(CCD101の温度10°C)としたときのアドレスを示している。また、例えば、図11においてP342は、補正画素群Pxyzのx,y,zをx=3(露光時間8s)、y=4(ISO800)、z=2(CCD101の温度20°C)としたときのアドレスを示している。このような補正画素群Pxyzで示すアドレスに、欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)が格納される。   Therefore, for example, P111 in FIG. 10 indicates that x, y, and z of the correction pixel group Pxyz are x = 1 (exposure time 2 s), y = 1 (ISO 100), and z = 1 (the temperature of the CCD 101 is 10 ° C.). Shows the address. For example, in FIG. 11, in P342, x, y, and z of the correction pixel group Pxyz are x = 3 (exposure time 8 s), y = 4 (ISO 800), and z = 2 (the temperature of the CCD 101 is 20 ° C.). Shows the address. The number of data (number of defective pixel data) of the defective pixel address (vertical and horizontal coordinates on the CCD 101) is stored in the address indicated by the correction pixel group Pxyz.

このように図10〜図13は、各補正画素群PxyzにおけるRAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。この図10〜図13は変数が1≦x≦4、1≦y≦4、1≦z≦4の範囲をもっている場合のすべての組み合わせを表で示す説明図である。   As described above, FIGS. 10 to 13 are tables illustrating the number of data (number of defective pixel data) of defective pixel addresses (vertical and horizontal coordinates on the CCD 101) stored in the RAM 107 in each correction pixel group Pxyz. It is. 10 to 13 are explanatory diagrams showing all combinations in the case where variables have ranges of 1 ≦ x ≦ 4, 1 ≦ y ≦ 4, and 1 ≦ z ≦ 4.

ところで、このように変数x,y,zが4つある場合、各補正画素群Pxyzは4x4x4=64通りにもなってしまう。(実際のディジタルスチルカメラでは1≦x≦9、1≦y≦7、1≦z≦5の範囲をもっている場合もあるため、さらに多くの補正画素群Pxyzを必要としてしまう。)
このような補正画素群Pxyzの数を少なくするため、「露光時間1(2,3,4,・・・)段分の補正画素群Pxyz=撮像素子の温度では、t(t+k,t+2k,t+3k,・・・)℃分の補正画素群Pxyz=撮像素子のアナログゲイン1(2,3,4,・・・)段分の補正画素群Pxyz」とする。
By the way, when there are four variables x, y, and z in this way, each correction pixel group Pxyz has 4 × 4 × 4 = 64 patterns. (An actual digital still camera may have a range of 1 ≦ x ≦ 9, 1 ≦ y ≦ 7, 1 ≦ z ≦ 5, and thus requires a larger number of correction pixel groups Pxyz.)
In order to reduce the number of such correction pixel groups Pxyz, “(correction pixel group Pxyz for exposure time 1 (2, 3, 4,...) Stages = t (t + k, t + 2k, t + 3k at the temperature of the image sensor)”. ,..., Correction pixel group Pxyz for degrees Celsius = correction pixel group Pxyz for analog gain 1 (2, 3, 4,.

図10〜図13に示したようにA〜Jで示す組み合わせ線を考えたとき、各組み合わせ線A〜Jが係る補正画素群Pxyzの部分は、同一の補正画素群と成すことができる。例えば組み合わせ線Fの係る網掛けをしたセル(P431,P341,P422,P332,P242,P413,P323,P233,P143,P314,P224,P134)を同一の補正画素群と成すことができる。   When the combination lines indicated by A to J as shown in FIGS. 10 to 13 are considered, the portion of the correction pixel group Pxyz related to each combination line A to J can be formed with the same correction pixel group. For example, the shaded cells (P431, P341, P422, P332, P242, P413, P323, P233, P143, P314, P224, P134) of the combination line F can be formed as the same correction pixel group.

図10〜図13は、同一の補正画素群と成した考え方をその他の補正画素群にも適応させる場合の考え方を示した図である。このようにすることで、64通りもあった補正画素群PxyzはA〜Jまでの10通りに圧縮することができる。   FIGS. 10 to 13 are views showing the concept in the case where the concept of the same correction pixel group is applied to other correction pixel groups. By doing so, the 64 correction pixel groups Pxyz can be compressed into 10 ways A to J.

上述した実施例1では欠陥画素補正処理についてのみ説明したが、欠陥画素補正処理のみに限定されるものではない。図14,図15は、欠陥画素補正処理に際して算出されるCCD(イメージセンサー)101の温度情報をLCDモニタ10に表示させるようにした例を示したものである。   In the first embodiment described above, only the defective pixel correction process has been described. However, the present invention is not limited to the defective pixel correction process. FIGS. 14 and 15 show an example in which the temperature information of the CCD (image sensor) 101 calculated in the defective pixel correction process is displayed on the LCD monitor 10.

図14のステップS10においてCPUのブロック104−3は、電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図2のプロセッサ(制御装置)104のCPUのブロック104−3による撮影制御が開始される。このCPUのブロック104−3は、カメラ電源(図示せず)がONされると、図14のステップS10−1におけるようにモニタリング動作を開始して、ステップS10−2に移行する。このモニタリング動作においてCPUのブロック104−3は、上述した撮影動作すなわちAF処理およびAE処理,AWB処理を開始させて、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bの駆動させると共に、FOCASレンズ7−2aを光軸方向に移動させて合焦動作をさせる。これに伴い、CPUのブロック104−3は、CCD1信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1信号処理ブロック104−1に取り込ませる。このCPUのブロック104−3は、取り込まれた画像信号に基づいて、TV信号表示ブロック104−9およびLCDドライバ117を介してLCDモニタ10に被写体像を表示させる。   In step S10 of FIG. 14, the block 104-3 of the CPU is block 104-3 of the CPU of the processor (control device) 104 of FIG. 2 when the camera power supply (not shown) is turned on by the operation of the power switch SW15. Shooting control by is started. When a camera power supply (not shown) is turned on, the CPU block 104-3 starts a monitoring operation as in step S10-1 in FIG. 14, and proceeds to step S10-2. In this monitoring operation, the CPU block 104-3 starts the above-described photographing operation, that is, AF processing, AE processing, and AWB processing, and controls the operation of the motor driver 7-5 based on the control program in the ROM 108, thereby driving the motor driver 7. -5 drives the FOCAS motor 7-2b and moves the FOCAS lens 7-2a in the optical axis direction to perform a focusing operation. Accordingly, the CPU block 104-3 controls the operation of the CCD1 signal processing block 104-1, and causes the CCD1 signal processing block 104-1 to capture the image signal from the CCD 101 via the F / E-IC 102. The CPU block 104-3 displays the subject image on the LCD monitor 10 via the TV signal display block 104-9 and the LCD driver 117 based on the captured image signal.

そして、ステップS10−2においてCPUのブロック104−3は、LCDモニタ10に固体撮像素子であるCCD(イメージセンサー)101の温度情報を表示するか否かの判断をする。この判断は、ステップS10で電源スイッチSW15の操作により、カメラ電源がONされたとき、カメラの設定が「センサーの温度表示をする」になっていたるか否かで行われる。この設定は、メニュースイッチ(メニュー操作キー)SW14を操作して、LCDモニタ10にカメラ設定の多数の項目を表示させ、この項目のなかの「センサーの温度表示をする」をスイッチSW7〜SW10等により選択することで、行われる。   In step S <b> 10-2, the CPU block 104-3 determines whether or not to display temperature information of the CCD (image sensor) 101 that is a solid-state imaging device on the LCD monitor 10. This determination is made based on whether or not the camera setting is “display sensor temperature” when the camera power is turned on by operating the power switch SW15 in step S10. For this setting, the menu switch (menu operation key) SW14 is operated to display a number of items of camera settings on the LCD monitor 10, and among these items, “display sensor temperature” is displayed on the switches SW7 to SW10, etc. It is done by selecting by.

そして、ステップS10−2においてCPUのブロック104−3は、温度情報を表示しない場合にステップS10−1に戻ってループし、温度情報を表示する場合に実施例1のステップS13〜S19を実行する。このステップS19では、図3に記載したフロー同様に、イメージセンサーの温度(TEMP)が算出され、ステップS19−1に移行する。   In step S10-2, the CPU block 104-3 loops back to step S10-1 when the temperature information is not displayed, and executes steps S13 to S19 of the first embodiment when the temperature information is displayed. . In step S19, the temperature (TEMP) of the image sensor is calculated as in the flow described in FIG. 3, and the process proceeds to step S19-1.

このステップS19においてCPUのブロック104−3は、ステップ19(S19)で算出された温度情報を図15に示したようにLCDモニタ10に表示させる。この図15では、温度情報を表示させるマークMtをLCDモニタ10に表示させると共に、LCDモニタ10に温度表示バーBtを表示させている。そして、ステップS19で算出された温度が低い場合は、図15(a)のように温度表示バーBtの黒で示した部分が短く、温度が高い場合には図15(b)のように温度表示バーBtの黒で示した部分が長く表示される。これにより撮影者は、CCD(イメージセンサー)101の温度を把握することが出来、温度が高い場合は、ノイズや欠陥画素が発生し、画質劣化が発生することを認識できる。   In step S19, the CPU block 104-3 displays the temperature information calculated in step 19 (S19) on the LCD monitor 10 as shown in FIG. In FIG. 15, a mark Mt for displaying temperature information is displayed on the LCD monitor 10, and a temperature display bar Bt is displayed on the LCD monitor 10. When the temperature calculated in step S19 is low, the black portion of the temperature display bar Bt is short as shown in FIG. 15 (a), and when the temperature is high, the temperature is shown in FIG. 15 (b). The black portion of the display bar Bt is displayed for a long time. As a result, the photographer can grasp the temperature of the CCD (image sensor) 101. When the temperature is high, the photographer can recognize that noise and defective pixels are generated and image quality is deteriorated.

以上説明したように、この発明の実施の形態の撮像装置は、撮像領域内に遮光領域(OB領域)を含む固体撮像素子(CCD101)と、前記固体撮像素子(CCD101)の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段(RAM107)と、撮影時に、前記欠陥画素記憶手段(RAM107)に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子(CCD101)の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段(CPUブロック104−3)と、前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段(欠陥画素補正ブロック104−3A)と、を備えている。しかも、前記温度算出手段(CPUブロック104−3)は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(CCD101)の温度を算出するようになっている。   As described above, the imaging apparatus according to the embodiment of the present invention includes a solid-state imaging device (CCD101) including a light-shielding region (OB region) in an imaging region, and defective pixels depending on the temperature of the solid-state imaging device (CCD101). Defective pixel position storage means (RAM 107) for which position information has been obtained and stored in advance, and the solid-state imaging device (CCD 101) based on the position information of the defective pixel stored in the defective pixel storage means (RAM 107) at the time of photographing. ) And a temperature calculation means (CPU block 104-3) for changing the correction condition based on the calculated temperature, and a defective pixel correction means (defect for correcting the defective pixel based on the correction condition). Pixel correction block 104-3A). In addition, the temperature calculation means (CPU block 104-3) calculates the temperature of the solid-state imaging device (CCD 101) by excluding defective pixels from the pixels in the light shielding area.

この構成によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。   According to this configuration, when the temperature of the solid-state imaging device (CCD 101 as the image sensor) is estimated from the output value of the OB region pixel of the solid-state imaging device (CCD 101), the defective pixel in the OB region is determined from the pixel output value of the OB region. Since the value excluding the output value is used, the accuracy of temperature estimation of the solid-state imaging device (CCD 101) can be improved.

また、この発明の実施の形態の撮像装置において、前記温度算出手段(CPUブロック104−3)は、複数の補正条件を予め記憶し、温度算出の結果により補正条件を切り替えるようになっている。   In the imaging apparatus according to the embodiment of the present invention, the temperature calculation means (CPU block 104-3) stores a plurality of correction conditions in advance and switches the correction conditions according to the temperature calculation result.

この構成によれば、メモリ等に予め記憶された複数の補正条件と温度算出の結果により補正条件を切り替えるので、補正条件を簡易且つ迅速に変更できる。   According to this configuration, since the correction conditions are switched according to a plurality of correction conditions stored in advance in a memory or the like and the result of temperature calculation, the correction conditions can be changed easily and quickly.

更に、この発明の実施の形態の撮像装置において、前記遮光領域の画素のうちの欠陥画素を除外した前記遮光領域の画素の平均値と前記固体撮像素子(CCD101)の温度との相関テーブルが前記欠陥画素位置記憶手段(RAM107)に予め記憶されている。しかも、前記温度算出手段(CPUブロック104−3)は、撮影時に前記遮光領域の画素のうち所定の閾値以上の画素値のものを除外して前記遮光領域の出力の平均値を求めて、この求めた出力の平均値と前記欠陥画素位置記憶手段(RAM107)に予め記憶されている遮光領域の画素の平均値と固体撮像素子(CCD101)の温度との相関テーブルにより前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(CCD101)の温度を算出するようになっている。   Furthermore, in the imaging apparatus according to the embodiment of the present invention, the correlation table between the average value of the pixels in the light shielding region excluding defective pixels among the pixels in the light shielding region and the temperature of the solid-state imaging device (CCD 101) is It is stored in advance in the defective pixel position storage means (RAM 107). In addition, the temperature calculation means (CPU block 104-3) obtains an average value of the output of the light shielding region by excluding pixels having a predetermined threshold value or more from the pixels of the light shielding region during photographing. Based on the correlation table of the average value of the obtained output, the average value of the pixels in the light-shielding area stored in advance in the defective pixel position storage means (RAM 107), and the temperature of the solid-state imaging device (CCD 101), The temperature of the solid-state imaging device (CCD 101) is calculated by excluding the defective pixels.

この構成によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、前記遮光領域の画素のうちの欠陥画素を除外した遮光領域の画素の平均値と固体撮像素子(CCD101)の温度との相関テーブルを用いて、前記固体撮像素子(CCD101)の温度を算出するので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。即ち、図5の(a)の特性線F2で示した通り、OB領域の画素出力平均値を計算する時に、欠陥画素を含めると、温度が高くなるほど平均値が非線形に上がってしまい、正確に温度との相関がとれなくなる。しかし、この実施の形態におけるように、図5の(b)の特性線F1で示した通り、OB領域出力平均値を求める際に、OB領域の欠陥画素を含めないで計算する事により、欠陥画素の値の影響が無くなり、線形に温度との相関がとれる。   According to this configuration, when the temperature of the solid-state imaging device (CCD 101 as the image sensor) is estimated from the output value of the OB region pixel of the solid-state imaging device (CCD 101), defective pixels among the pixels in the light shielding region are excluded. Since the temperature of the solid-state imaging device (CCD101) is calculated using a correlation table between the average value of pixels in the light-shielding region and the temperature of the solid-state imaging device (CCD101), the accuracy of temperature estimation of the solid-state imaging device (CCD101) is increased. Can be improved. That is, as shown by the characteristic line F2 in FIG. 5A, when calculating the pixel output average value of the OB region, if the defective pixel is included, the average value increases nonlinearly as the temperature increases. Correlation with temperature is lost. However, as in this embodiment, as shown by the characteristic line F1 in FIG. 5B, when calculating the average output value of the OB area, it is possible to calculate the defect without including the defective pixels in the OB area. The influence of the pixel value is eliminated, and the temperature is linearly correlated.

また、ディジタルスチルカメラなどの撮像装置において、生産・検査工程であらかじめ、撮像素子の欠陥画素位置情報をメモリに記憶し、撮影時に記録してある欠陥画素位置情報を元に欠陥画素を補正する技術があり、それを応用したものとして、長秒時露光の露光時間毎に発生する画素欠陥位置情報をグループ化して登録することで使用するメモリ容量を節約つつ適切な画素欠陥補正をする技術が考えられている。しかし、長秒時露光の露光時間毎に発生する画素欠陥位置情報をグループ化して登録することで使用するメモリ容量を節約しつつ適切な画素欠陥補正をする技術では、撮像素子の温度やアナログゲインの変化を考慮していない。撮像素子の画素欠陥の発生は露光時間にも大きく影響するが、撮像素子の温度やアナログゲインにも大きく影響をするため、その影響も考慮しなければならない。   Further, in an imaging apparatus such as a digital still camera, a technique for storing defective pixel position information of an image sensor in a memory in advance in a production / inspection process and correcting defective pixels based on defective pixel position information recorded at the time of photographing As an application, there is a technology that corrects pixel defects while saving the memory capacity used by grouping and registering pixel defect position information that occurs every exposure time of long-time exposure. It has been. However, the technology that corrects the pixel defect while saving the memory capacity to be used by grouping and registering the pixel defect position information that occurs every exposure time of long-time exposure, the temperature of the image sensor and the analog gain Does not consider changes. Although the occurrence of pixel defects in the image sensor greatly affects the exposure time, it also has a significant effect on the temperature and analog gain of the image sensor, so that influence must be taken into consideration.

このような点を考慮して、この発明の実施の形態の撮像装置において、前記欠陥画素位置記憶手段(RAM107)は前記固体撮像素子(CCD101)の温度、露光時間、及びISO感度の組み合わせに応じた前記欠陥画素の位置が重複させることなく記憶している。また、前記欠陥画素補正手段(欠陥画素補正ブロック104−3A)は前記欠陥画素位置記憶手段(RAM107)に記憶されている前記欠陥画素の位置情報をもとに前記固体撮像素子(CCD101)の温度、露光時間、及びISO感度に応じて欠陥画素補正を行うようになっている。   In consideration of such points, in the imaging apparatus according to the embodiment of the present invention, the defective pixel position storage unit (RAM 107) corresponds to a combination of the temperature, exposure time, and ISO sensitivity of the solid-state imaging device (CCD 101). The positions of the defective pixels are stored without overlapping. The defective pixel correction means (defective pixel correction block 104-3A) is a temperature of the solid-state imaging device (CCD 101) based on the position information of the defective pixels stored in the defective pixel position storage means (RAM 107). Defective pixel correction is performed according to the exposure time and ISO sensitivity.

この構成によれば、生産・検査工程であらかじめ撮像素子の欠陥画素位置情報をメモリに記憶する際に、撮像素子の画素欠陥の発生を露光時間の影響だけでなく、温度やアナログゲインの影響も考慮して、グループ化することで撮像素子の温度やISO感度設定に変化が生じた場合でも、使用するメモリ容量を節約しつつ適切な画素欠陥補正をすることができる。   According to this configuration, when the defective pixel position information of the image sensor is stored in the memory in advance in the production / inspection process, the occurrence of the pixel defect of the image sensor is not only influenced by the exposure time but also by the effect of temperature and analog gain. Considering this, even when the temperature of the image sensor and the ISO sensitivity setting change due to grouping, appropriate pixel defect correction can be performed while saving the memory capacity to be used.

更に、この発明の実施の形態の撮像装置は、前記表示装置(LCDモニター10)は前記算出された前記固体撮像素子(CCD101)の温度情報を表示するようになっている。   Furthermore, in the imaging apparatus according to the embodiment of the present invention, the display device (LCD monitor 10) displays the calculated temperature information of the solid-state imaging device (CCD 101).

この構成によれば、推定した固体撮像素子(イメージセンサーであるCCD101)の温度をLCDモニター10に表示して撮影者に知らせることで、撮影者はいつでもイメージセンサーの温度状態を把握することが出来る。そして、高温時には、撮影者がカメラの電源を切る等の対策をし固体撮像素子(イメージセンサーであるCCD101)の温度を下げることで、ノイズや欠陥画素の少ない状態で撮影できる効果がある。   According to this configuration, the photographer can grasp the temperature state of the image sensor at any time by displaying the estimated temperature of the solid-state imaging device (the CCD 101 which is an image sensor) on the LCD monitor 10 and notifying the photographer. . When the temperature is high, the photographer takes measures such as turning off the power of the camera and lowers the temperature of the solid-state imaging device (the CCD 101 as the image sensor), so that it is possible to take an image with less noise and defective pixels.

また、この発明の実施の形態の撮像方法は、撮像領域内に遮光領域(OB領域)を含む固体撮像素子(イメージセンサーであるCCD101)の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子(イメージセンサーであるCCD101)の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する。しかも、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(イメージセンサーであるCCD101)の温度を算出するようにしている。   In the imaging method according to the embodiment of the present invention, the position information of the defective pixel according to the temperature of the solid-state imaging device (the CCD 101 that is the image sensor) including the light shielding area (OB area) in the imaging area is obtained in advance. At the time of shooting, the temperature of the solid-state imaging device (CCD 101 that is an image sensor) is obtained based on the position information of the defective pixel, and the correction condition is changed based on the obtained temperature to correct the defective pixel. In addition, the temperature of the solid-state imaging device (CCD 101 which is an image sensor) is calculated by excluding defective pixels from the pixels in the light shielding region.

この撮像方法によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。   According to this imaging method, when the temperature of the solid-state imaging device (the CCD 101 as the image sensor) is estimated from the output value of the OB region pixel of the solid-state imaging device (CCD 101), the defective pixel in the OB region is determined from the pixel output value of the OB region. Therefore, the accuracy of the temperature estimation of the solid-state imaging device (CCD 101) can be improved.

10・・・LCDモニター(表示装置)
101・・・CCD(固体撮像素子)
107・・・RAM(欠陥画素位置記憶手段)
104・・・ディジタルスチルカメラプロセッサ(プロセッサ)
104−3・・・CPUブロック(温度算出手段)
104−3A・・・欠陥画素補正ブロック(欠陥画素補正手段)
10 ... LCD monitor (display device)
101 ... CCD (solid-state image sensor)
107... RAM (defective pixel position storage means)
104 ... Digital still camera processor (processor)
104-3... CPU block (temperature calculation means)
104-3A ... defective pixel correction block (defective pixel correction means)

特開2009−33550号公報JP 2009-33550 A

Claims (6)

撮像領域内に遮光領域を含む固体撮像素子と、
前記固体撮像素子の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段と、
撮影時に、前記欠陥画素記憶手段に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段と、
前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段と、を備える撮像装置であって、
前記温度算出手段は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像装置。
A solid-state imaging device including a light-shielding region in the imaging region;
A defective pixel position storage means for preliminarily obtaining and storing defective pixel position information according to the temperature of the solid-state imaging device;
A temperature calculating unit that calculates a temperature of the solid-state image sensor based on the position information of the defective pixel stored in the defective pixel storage unit and changes a correction condition based on the calculated temperature at the time of shooting;
An imaging device comprising: defective pixel correction means for correcting the defective pixel based on the correction condition,
The temperature calculation means calculates the temperature of the solid-state image sensor by excluding defective pixels from the pixels in the light shielding region.
請求項1の撮像装置において、前記温度算出手段は、複数の補正条件を予め記憶し、温度算出の結果により補正条件を切り替えることを特徴とする撮像装置。   The imaging apparatus according to claim 1, wherein the temperature calculation unit stores a plurality of correction conditions in advance and switches the correction conditions according to a temperature calculation result. 請求項1の撮像装置において、前記遮光領域の画素のうちの欠陥画素を除外した前記遮光領域の画素の平均値と前記固体撮像素子の温度との相関テーブルが前記欠陥画素位置記憶手段に予め記憶されていると共に、前記温度算出手段は、撮影時に前記遮光領域の画素のうち所定の閾値以上の画素値のものを除外して前記遮光領域の出力の平均値を求めて、この求めた出力の平均値と前記欠陥画素位置記憶手段に予め記憶されている遮光領域の画素の平均値と固体撮像素子の温度との相関テーブルにより前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像装置。   2. The image pickup apparatus according to claim 1, wherein a correlation table between an average value of pixels in the light-shielding region excluding defective pixels among pixels in the light-shielding region and a temperature of the solid-state image sensor is stored in the defective pixel position storage unit in advance. The temperature calculating means obtains an average value of the output of the light shielding region by excluding pixels having a pixel value equal to or greater than a predetermined threshold among the pixels of the light shielding region at the time of shooting, and outputs the calculated output. The solid-state imaging is performed by excluding defective pixels from the pixels in the light-shielding region based on a correlation table between the average value and the average value of the pixels in the light-shielding region and the temperature of the solid-state imaging device stored in advance in the defective pixel position storage unit. An imaging device characterized by calculating a temperature of an element. 前記欠陥画素位置記憶手段は前記固体撮像素子の温度、露光時間、及びISO感度の組み合わせに応じた前記欠陥画素の位置が重複させることなく記憶していると共に、前記欠陥画素補正手段は前記欠陥画素位置記憶手段に記憶されている前記欠陥画素の位置情報をもとに前記固体撮像素子の温度、露光時間、及びISO感度に応じて欠陥画素補正を行うことを特徴とする請求項1記載の撮像装置。   The defective pixel position storage means stores the position of the defective pixel in accordance with a combination of temperature, exposure time, and ISO sensitivity of the solid-state image sensor without overlapping, and the defective pixel correction means stores the defective pixel. 2. The imaging according to claim 1, wherein defective pixel correction is performed according to the temperature, exposure time, and ISO sensitivity of the solid-state imaging device based on the position information of the defective pixel stored in a position storage means. apparatus. 請求項1に記載の撮像装置は、算出した前記固体撮像素子の温度情報を表示装置に表示することを特徴とする撮像装置。   The imaging device according to claim 1, wherein the calculated temperature information of the solid-state imaging device is displayed on a display device. 撮像領域内に遮光領域を含む固体撮像素子の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する撮像方法であって、
前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像方法。
The position information of the defective pixel due to the temperature of the solid-state imaging device including the light-shielding region in the imaging region is obtained in advance, and the temperature of the solid-state imaging device is obtained based on the position information of the defective pixel at the time of shooting. An imaging method for correcting the defective pixel by changing a correction condition based on temperature,
An imaging method, wherein a temperature of the solid-state imaging device is calculated by excluding defective pixels from pixels in the light shielding region.
JP2011210313A 2011-09-27 2011-09-27 Imaging apparatus and imaging method Withdrawn JP2013074368A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011210313A JP2013074368A (en) 2011-09-27 2011-09-27 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011210313A JP2013074368A (en) 2011-09-27 2011-09-27 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
JP2013074368A true JP2013074368A (en) 2013-04-22

Family

ID=48478537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011210313A Withdrawn JP2013074368A (en) 2011-09-27 2011-09-27 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP2013074368A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130630A (en) * 2014-01-08 2015-07-16 キヤノン株式会社 Imaging apparatus, control method of the same, program, and storage medium
KR102039715B1 (en) * 2018-11-26 2019-11-01 엔텍월드(주) Passage Type Umbrella Dryer
JP2024121890A (en) * 2023-02-28 2024-09-09 キヤノン株式会社 Camera control device, camera control program, and camera control method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130630A (en) * 2014-01-08 2015-07-16 キヤノン株式会社 Imaging apparatus, control method of the same, program, and storage medium
KR102039715B1 (en) * 2018-11-26 2019-11-01 엔텍월드(주) Passage Type Umbrella Dryer
JP2024121890A (en) * 2023-02-28 2024-09-09 キヤノン株式会社 Camera control device, camera control program, and camera control method
JP7763200B2 (en) 2023-02-28 2025-10-31 キヤノン株式会社 Camera control device, camera control program, and camera control method

Similar Documents

Publication Publication Date Title
US8823857B2 (en) Image apparatus
US9270875B2 (en) Dual image capture processing
JP6019964B2 (en) Image processing apparatus, imaging apparatus equipped with the same, and image processing method
JP5123137B2 (en) Imaging apparatus and imaging method
CN102870404B (en) Imaging device and dark current correction method of same
JP5169318B2 (en) Imaging apparatus and imaging method
JP2005130045A (en) Image pickup apparatus and image pickup element used therefor
JP5780764B2 (en) Imaging device
JP5223686B2 (en) Imaging apparatus and imaging method
JP5387341B2 (en) Imaging device
JP2014216775A (en) Imaging apparatus, detection method, and program
JP5948997B2 (en) Imaging apparatus and imaging method
JP2013074368A (en) Imaging apparatus and imaging method
JP5310331B2 (en) Imaging apparatus and imaging method
JP5095434B2 (en) Imaging apparatus and image processing apparatus
JP2005176115A (en) Imaging device
JP5299159B2 (en) Imaging apparatus and program
JP2010068331A (en) Imaging device and imaging method
JP2000224472A (en) Image pickup controller and image pickup controlling method
JP2006121165A (en) Imaging apparatus and image forming method
JP2014230121A (en) Imaging apparatus and pixel defect detection method
JP5418553B2 (en) Imaging apparatus and imaging method using the same
JP5091734B2 (en) Imaging apparatus and imaging method
JP2008283477A (en) Image processing apparatus and image processing method
JP4514138B2 (en) Method for driving solid-state imaging device and digital camera

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202