KR100986203B1

KR100986203B1 - 촬상 장치 및 이에 이용하는 결함 화소 보정 방법

Info

Publication number: KR100986203B1
Application number: KR1020080077513A
Authority: KR
Inventors: 아키히토 시모오오조노; 히데키 진구우지; 테츠야 오오우라; 타케시 이바라키
Original assignee: 닛뽕빅터 가부시키가이샤
Priority date: 2008-03-12
Filing date: 2008-08-07
Publication date: 2010-10-07
Anticipated expiration: 2028-08-07
Also published as: EP2101487A3; JP2009218994A; EP2101487A2; US8134616B2; JP5056501B2; US20090231473A1; EP2101487B1; KR20090097759A

Abstract

(과제) 연속적인 결함 화소로부터의 화소 신호를 보정할 수 있는 촬상 장치를 제공한다.

(해결 수단) 화소 신호 발생부(5)는, 주목(注目) 화소와 동색(同色) 인접 화소와 이색(異色) 주변 화소로부터의 화소 신호를 동일한 타이밍으로 발생시킨다. 결함 화소 검출부(6)는, 동색 인접 화소 내에서 최대 레벨의 화소 신호와 2번째의 레벨의 화소 신호를 추출한다. 결함 화소 검출부(6)는, 최대 레벨의 화소가 결함 화소인지를 판정하여, 결함 화소가 아니면 최대 레벨의 화소를 선택하고, 결함 화소이면 2번째의 레벨의 화소를 선택하여 치환 화소로 한다. 결함 화소 치환부(7)는, 주목 화소가 결함 화소가 아니면 그대로 출력하고, 주목 화소가 결함 화소이면, 치환 화소를 출력한다.

주목 화소, 동색 인접 화소, 이색 주변 화소, 화소 신호

Description

촬상 장치 및 이에 이용하는 결함 화소 보정 방법{IMAGING APPARATUS AND DEFECTIVE PIXEL CORRECTION METHOD USED THEREFOR}

본 발명은, 고체 촬상 소자를 이용하여 피사체를 촬상하는 촬상 장치에 관한 것으로, 특히, 촬상시에 고체 촬상 소자가 갖는 결함 화소로부터의 화소 신호를 보정할 수 있는 촬상 장치 및 이에 이용하는 결함 화소 보정 방법에 관한 것이다.

전하 결합 소자(CCD: Charge Coupled Device)나 상보형 금속 산화물 반도체(CMOS: Complementary Metal Oxide Semiconductor) 등의 고체 촬상 소자는, 반도체의 국부적인 결정 결함 등에 의해 결함 화소를 갖고 있는 일이 있다. 결함 화소를 가진 고체 촬상 소자를 이용하여 피사체를 촬상하면, 결함 소자로부터 얻어지는 화소 신호는 화이트(white)와 동등한 고휘도의 신호가 되기 때문에, 일반적으로 결함 화소는 화이트 손상으로 칭해지고 있다. 고체 촬상 소자를 구비한 촬상 장치를 이용하여 피사체를 촬상하는 촬상시에, 촬상 신호에 포함되는 결함 화소로부터의 화소 신호를 즉시(리얼 타임)로 검출하여 보정하는 발명이 여러 가지 제안되고 있다.

결함 화소로부터의 화소 신호를 즉시로 검출하여 보정하는 발명의 종래예로 서는, 예를 들면, 일본특허 제3227815호 공보나 일본특허 제3544304호 공보에 기재된 것이 있다. 결함 화소로부터의 화소 신호를 동색의 주변 화소의 화소 신호로 치환하거나, 복수의 주변 화소에 기초하여 생성한 화소 신호로 치환하거나 함으로써, 결함 화소로부터의 화소 신호가 보정된다.

[특허 문헌 1] 일본 특허 제3227815호 공보

[특허 문헌 2] 일본 특허 제3544304호 공보

고체 촬상 소자에 있어서의 결함 화소는 1개의 화소만으로 발생하고 있다고는 할 수 없고, 복수의 화소가 연속하여 결함 화소로 되어 있는 경우도 있다. 이러한 경우, 결함 화소로부터의 화소 신호를 주변 화소의 화소 신호로 치환할 때에, 그 주변 화소도 결함 화소이면 결함 화소로부터의 화소 신호는 적절히 보정되지 않게 된다. 따라서, 동색의 2개 이상의 화소가 연속적으로 결함 화소로 되어 있는 경우라도 결함 화소로부터의 화소 신호를 적절히 보정하는 것이 필요해진다.

전술한 바와 같이, 결함 화소로부터의 화소 신호는 화이트와 동등한 고휘도의 신호가 되기 때문에, 연속적인 결함 화소와 예를 들면 화이트 문자와 같은 그림 모양을 촬상하고 있는 경우의 정상인 화소를 구별하는 것이 필요해진다. 그림 모양의 일부인 정상인 화소로부터의 화소 신호를 결함 화소로부터의 화소 신호라고 오(誤)검출한 경우에는 오(誤)보정으로 되어 버린다. 따라서, 연속적인 결함 화소로부터의 화소 신호와 그림 모양의 일부인 정상인 화소로부터의 화소 신호를 적확히 구별하여, 연속적인 결함 화소인 경우에 결함 화소로부터의 화소 신호를 보정하고, 그림 모양의 일부인 경우에 오보정을 방지하는 것이 요구된다.

본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 연속적인 결함 화소로부터의 화소 신호를 보정할 수 있는 촬상 장치 및 이에 이용하는 결함 화소 보정 방법을 제공하는 것을 목적으로 한다. 또한, 연속적인 결함 화소로부터의 화소 신호와 그림 모양의 일부인 정상인 화소로부터의 화소 신호를 구별할 수 있고, 그림 모양의 일부인 경우에 오보정을 방지할 수 있는 촬상 장치 및 이에 이용하는 결함 화소 보정 방법을 제공하는 것을 목적으로 한다.

본 발명은, 전술한 종래의 기술의 과제를 해결하기 위해, 복수색의 복수의 색 필터가 수평 방향 및 수직 방향으로 배열된 광학 필터(2a)와, 상기 복수의 색 필터 각각에 대응하여 형성된 복수의 화소를 갖는 촬상 소자(2b)를 구비하고, 입력된 광신호를 상기 복수색에 대응한 각각의 화소 신호로 변환하여 출력하는 촬상부(2)와, 상기 촬상부(2)에서 순차 출력되는 화소 신호 중의 1개의 화소 신호를 주목(注目) 화소로부터 발생한 제1 화소 신호로 했을 때, 상기 주목 화소의 주위로서 상기 주목 화소의 수평 방향 양측 및 수직 방향 양측에 위치하는 복수의 동색(同色) 화소 및 복수의 이색(異色) 화소를 포함하는 영역으로부터, 상기 복수의 동색 화소로부터의 제2 화소 신호와 상기 복수의 이색 화소로부터의 제3 화소 신호를 발생시키는 화소 신호 발생부(5)와, 상기 제2 화소 신호 내에서 최대 레벨의 화소 신호와 2번째의 레벨의 화소 신호를 추출하는 제1 추출부(671)와, 상기 제2 화소 신호의 레벨의 평균치를 산출하는 평균치 산출부(673)와, 상기 최대 레벨과 상기 평균치를 이용하여, 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소인지 아닌지를 판정하는 제1 판정부(675)와, 상기 제1 판정부(675)에 의해 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소가 아니라고 판정되었을 때 상기 최대 레벨의 화소 신호를 출력하고, 상기 제1 판정부(675)에 의해 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소라고 판정되었을 때 상기 2번째의 레벨의 화 소 신호를 출력하는 선택부(676)와, 상기 제1 화소 신호의 레벨과 상기 선택부(676)에서 출력된 화소 신호의 레벨을 이용하여, 상기 주목 화소가 결함 화소인지 아닌지를 판정하는 제2 판정부(677)와, 상기 제2 판정부(677)에 의해 상기 주목 화소가 결함 화소가 아니라고 판정되었을 때 상기 제1 화소 신호를 그대로 출력하고, 상기 제2 판정부(677)에 의해 상기 주목 화소가 결함 화소라고 판정되었을 때 상기 제1 화소 신호를 대신하여 상기 선택부(676)에서 출력된 화소 신호를 출력하는 치환부(678)를 구비하는 것을 특징으로 하는 촬상 장치를 제공한다.

여기서, 상기 화소 신호 발생부(5)는, 상기 촬상부(2)에서 순차 출력되는 화소 신호를 상기 촬상 소자(2b)의 1라인분씩 순차 지연시키는 복수의 라인 메모리(507, 514, 521, 528)와, 상기 촬상부(2)에서 순차 출력되는 화소 신호 또는 상기 복수의 라인 메모리(507, 514, 521, 528) 각각에서 출력되는 화소 신호를 상기 촬상 소자(2b)의 1화소씩 순차 지연시키는 복수의 화소 지연기(501∼506, 508∼513, 515∼520, 522∼527, 529∼534)를 포함하는 것이 바람직하다.

상기 제1 판정부(675)는, 상기 최대 레벨이 상기 평균치에 제1 문턱값을 가산한 값보다 클 때, 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소라고 판정하는 것이 바람직하다.

상기 제2 판정부(677)는, 상기 제1 화소 신호의 레벨이 상기 선택부(676)에서 출력된 화소 신호의 레벨에 제2 문턱값을 가산한 값보다 클 때, 상기 주목 화소가 결함 화소라고 판정하는 것이 바람직하다.

또한, 상기 제3 화소 신호 내에서, 2번째의 레벨의 화소 신호와, 3번째의 레 벨의 화소 신호와, 상기 2번째의 레벨의 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제1 최소 레벨의 화소 신호와, 상기 3번째의 레벨의 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제2 최소 레벨의 화소 신호를 추출하는 제2 추출부(672)와, 상기 제1 최소 레벨이 상기 2번째의 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있고, 그리고, 상기 제2 최소 레벨이 상기 3번째의 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있는 제1 상태인지, 적어도 한쪽이 상기 미리 정한 범위 내에 없는 제2 상태인지를 판정하는 제3 판정부(674)를 더 구비하고, 상기 선택부(676)는, 상기 제3 판정부(674)에 의해 상기 제1 상태라고 판정되었을 때 상기 2번째의 레벨의 화소 신호를 출력하고, 상기 제3 판정부(674)에 의해 상기 제2 상태라고 판정되었을 때 상기 최대 레벨의 화소 신호를 출력하는 것이 바람직하다.

여기서, 상기 제3 판정부(674)는, 상기 미리 정한 범위를 상기 2번째 또는 3번째의 레벨이 클수록 넓게 하고, 상기 2번째 또는 3번째의 레벨이 작을수록 좁게 하는 것이 바람직하다.

이때, 상기 제3 판정부(674)는, 상기 2번째 또는 3번째의 레벨이 작을수록 상기 2번째 또는 3번째의 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 크게 하고, 상기 2번째 또는 3번째의 레벨이 클수록 상기 2번째 또는 3번째의 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 작게 하는 것이 바람직하다.

또한, 본 발명은, 전술한 종래의 기술의 과제를 해결하기 위해, 입력된 광신호를, 복수색의 복수의 화소가 수평 방향 및 수직 방향으로 배열된 촬상 소자에 의 해 상기 복수색에 대응한 각각의 화소 신호로 교환하여 출력하는 스텝과, 상기 촬상 소자에서 순차 출력되는 화소 신호 중의 1개의 화소 신호를 주목 화소로부터 발생한 제1 화소 신호로 했을 때, 상기 주목 화소의 주위로서 상기 주목 화소의 수평 방향 양측 및 수직 방향 양측에 위치하는 복수의 동색 화소 및 복수의 이색 화소를 포함하는 영역으로부터, 상기 복수의 동색 화소로부터의 제2 화소 신호와 상기 복수의 이색 화소로부터의 제3 화소 신호를 발생시키는 스텝과, 상기 제2 화소 신호 내에서 최대 레벨의 화소 신호와 2번째의 레벨의 화소 신호를 추출하는 제1 추출 스텝과, 상기 제2 화소 신호의 레벨의 평균치를 산출하는 스텝(S1)과, 상기 최대 레벨과 상기 평균치를 이용하여, 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소인지 아닌지를 판정하는 제1 판정 스텝(S2)과, 상기 제1 판정 스텝에서 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소가 아니라고 판정되었을 때 상기 최대 레벨의 화소 신호를 선택하고, 상기 제1 판정 스텝에서 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소라고 판정되었을 때 상기 2번째의 레벨의 화소 신호를 선택하는 선택 스텝(S5, S6)과, 상기 제1 화소 신호의 레벨과 상기 선택 스텝에서 선택된 화소 신호의 레벨을 이용하여, 상기 주목 화소가 결함 화소인지 아닌지를 판정하는 제2 판정 스텝(S7)과, 상기 제2 판정 스텝에서 상기 주목 화소가 결함 화소가 아니라고 판정되었을 때 상기 제1 화소 신호를 그대로 출력하고, 상기 제2 판정 스텝에서 상기 주목 화소가 결함 화소라고 판정되었을 때 상기 제1 화소 신호를 대신하여 상기 선택 스텝에서 선택된 화소 신호를 출력하는 스텝(S8, S9)을 포함하는 것을 특징으로 하는 결함 화소 보정 방법을 제공한다.

여기서, 상기 제1 판정 스텝(S2)은, 상기 최대 레벨이 상기 평균치에 제1 문턱값을 가산한 값보다 클 때, 상기 최대 레벨의 화소 신호를 발생시킨 화소가 결함 화소라고 판정하는 것이 바람직하다.

상기 제2 판정 스텝(S7)은, 상기 제1 화소 신호의 레벨이 상기 선택 스텝(S5, S6)에서 선택된 화소 신호의 레벨에 제2 문턱값을 가산한 값보다 클 때, 상기 주목 화소가 결함 화소라고 판정하는 것이 바람직하다.

또한, 상기 제3 화소 신호 내에서, 2번째의 레벨의 화소 신호와, 3번째의 레벨의 화소 신호와, 상기 2번째의 레벨의 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제1 최소 레벨의 화소 신호와, 상기 3번째의 레벨의 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제2 최소 레벨의 화소 신호를 추출하는 제2 추출 스텝과, 상기 제1 최소 레벨이 상기 2번째의 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있고, 그리고, 상기 제2 최소 레벨이 상기 3번째의 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있는 제1 상태인지, 적어도 한쪽이 상기 미리 정한 범위 내에 없는 제2 상태인지를 판정하는 제3 판정 스텝(S3, S4)을 더 포함하고, 상기 선택 스텝(S5, S6)은, 상기 제3 판정 스텝(S3, S4)에서 상기 제1 상태라고 판정되었을 때 상기 2번째의 레벨의 화소 신호를 출력하고, 상기 제3 판정 스텝(S3, S4)에서 상기 제2 상태라고 판정되었을 때 상기 최대 레벨의 화소 신호를 출력하는 것이 바람직하다.

여기서, 상기 제3 판정 스텝(S3, S4)은, 상기 미리 정한 범위를 상기 2번째 또는 3번째의 레벨이 클수록 넓게 하고, 상기 2번째 또는 3번째의 레벨이 작을수록 좁게 하는 것이 바람직하다.

이때, 상기 제3 판정 스텝(S3, S4)은, 상기 2번째 또는 3번째의 레벨이 작을수록 상기 2번째 또는 3번째의 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 크게 하고, 상기 2번째 또는 3번째의 레벨이 클수록 상기 2번째 또는 3번째의 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 작게 하는 것이 바람직하다.

(발명의 효과)

본 발명의 촬상 장치 및 이에 이용하는 결함 화소 보정 방법에 의하면, 연속적인 결함 화소로부터의 화소 신호를 보정할 수 있다. 또한, 연속적인 결함 화소로부터의 화소 신호와 그림 모양의 일부인 정상인 화소로부터의 화소 신호를 구별할 수 있어, 그림 모양의 일부인 경우에 오보정을 방지할 수 있다.

(발명을 실시하기 위한 최량의 형태)

이하, 본 발명의 촬상 장치 및 이에 이용하는 결함 화소 보정 방법에 대하여, 첨부 도면을 참조하여 설명한다. 도1 은 본 발명의 일 실시 형태에 따른 촬상 장치의 전체 구성예를 나타내는 블록도이다. 도1 에 있어서, 도시하지 않은 피사체로부터의 입사광은 촬상 렌즈(1)에 의해 집광되어 촬상부(2)에 조사(照射)된다. 촬상부(2)는, 후술하는 색 배열의 광학 필터(2a)와 CCD나 CMOS 등의 고체 촬상 소자(2b)를 갖고, 고체 촬상 소자(2b) 상에 광학 필터(2a)를 형성하여 양자를 일체화한 것이다.

도2 에 나타내는 바와 같이, 광학 필터(2a)는 일 예로서, 녹(G)의 색 필터(2ag)와 청(B)의 색 필터(2ab)를 수평 방향으로 교대로 배치한 라인과, 적(R)의 색 필터(2ar)와 녹(G)의 색 필터(2ag)를 수평 방향으로 교대로 배치한 라인을, 수직 방향으로 교대로 배열시킨 것이다. 고체 촬상 소자(2b)는 광학 필터(2a)의 각 색 필터(2ar, 2ag, 2ab)에 대응하여 수평 방향 및 수직 방향으로 배열된 복수의 화소를 갖고 있다. 또한, 광학 필터(2a)로서는 도2 에 나타내는 색 배열에 한정되는 일 없이, 다른 배열이라도 좋고, 예를 들면, 마젠타(magenta), 시안(cyan), 황(yellow), 녹(green)의 보색 필터이어도 좋다. 광학 필터(2a)에 있어서의 색 배열은 임의라도 좋다.

도1 로 되돌아가, 고체 촬상 소자(2b)는 입력된 광신호를 전기 신호로서의 화소 신호로 변환한다. 샘플 홀드(S/H) 회로(3)는 고체 촬상 소자(2b)에서 출력된 각 색 각각의 화소 신호를 샘플 홀드하여 출력한다. A/D 변환기(4)는 S/H 회로(3)에서 출력된 아날로그 신호의 화소 신호를 디지털 신호로 변환하여 화소 신호 발생부(5)에 공급한다. 화소 신호 발생부(5)는, 촬상부(2)에서 순차 출력되는 화소 신호 중의 1개의 화소 신호를 주목 화소로부터 발생한 화소 신호로 했을 때, 일 예로서 도2 의 이점 쇄선으로 둘러싼 영역(A1)으로 나타내는 바와 같이, 주목 화소의 주위이며 주목 화소의 수평 방향 양측 및 수직 방향 양측에 위치하는 복수의 동색 화소 및 복수의 이색 화소를 포함하는 영역으로부터, 복수의 동색 화소의 화소 신호와 복수의 이색 화소로부터의 화소 신호를, 주목 화소로부터의 화소 신호와 동일한 타이밍으로 발생시키는 것이다.

화소 신호 발생부(5)는 일 예로서 도3 에 나타내는 바와 같이 구성된다. 도3 에 있어서, 1화소 지연기(501∼506)는, 입력 단자(500)에 입력된 화소 신호를 순차 1화소씩 지연한다. 라인 메모리(507)는 입력 단자(500)에 입력된 화소 신호를 1라인 지연하고, 1화소 지연기(508∼513)는, 라인 메모리(507)의 출력을 순차 1화소씩 지연한다. 라인 메모리(514)는 라인 메모리(507)의 출력을 1라인 지연하고, 1화소 지연기(515∼520)는, 라인 메모리(514)의 출력을 순차 1화소씩 지연한다. 라인 메모리(521)는 라인 메모리(514)의 출력을 1라인 지연하고, 1화소 지연기(522∼527)는, 라인 메모리(521)의 출력을 순차 1화소씩 지연한다. 또한, 라인 메모리(528)는 라인 메모리(521)의 출력을 1라인 지연하고, 1화소 지연기(529∼534)는, 라인 메모리(528)의 출력을 순차 1화소씩 지연한다.

이상에 따라, 출력 단자(535∼569)로부터는, 도2 의 영역(A1)에 포함되는 수평 방향 7화소, 수직 방향 5화소의 계 35화소의 색 필터(2ar, 2ag, 2ab)에 대응한 각 색의 화소 신호가 동일한 타이밍으로 출력되게 된다. 또한, 본 실시 형태에서는 후술하는 바와 같이 35화소의 화소 신호를 이용하여 결함 화소의 검출 및 결함 화소로부터의 화소 신호의 치환(보정)을 행하도록 구성하고 있지만, 이에 한정되는 것은 아니다. 촬상부(2)에 있어서의 광학 필터(2a)의 색 배열에 따라 최적한 화소수의 화소 신호를 이용하면 좋다.

도1 에 있어서, 화소 신호 발생부(5)에서 출력된 35화소의 화소 신호는 결함 화소 검출부(6) 및 결함 화소 치환부(7)에 공급된다. 여기에서는 결함 화소 검출부(6) 및 결함 화소 치환부(7)를 개념적으로 도시하고 있다. 결함 화소 검출부(6) 는, 입력된 35화소의 화소 신호 내의 주목 화소의 화소 신호가 결함 화소로부터 얻어진 화소 신호인지 아닌지를 검출하여, 검출 결과를 결함 화소 치환부(7)에 공급한다. 결함 화소 치환부(7)는, 결함 화소 검출부(6)에 의한 검출 결과에 기초하여, 주목 화소가 정상인 화소의 경우에는 주목 화소로부터의 화소 신호를 그대로 출력하고, 주목 화소가 결함 화소의 경우에는 주목 화소로부터의 화소 신호를 주목 화소와 동색의 다른 정상인 화소로부터의 화소 신호로 치환하여 출력한다. 결함 화소 검출부(6) 및 결함 화소 치환부(7)의 더욱 구체적인 구성 및 동작에 대해서는 나중에 후술하는 것으로 한다.

결함 화소 치환부(7)에서 출력된 화소 신호는 영상 신호 처리부(8)에 순차 입력된다. 영상 신호 처리부(8)는 입력된 각 색의 화소 신호에 기초하여 기록 재생부(9)에 의해 기록하고, 및/또는, 영상 표시부(11)에 표시하기 위한 영상 신호를 생성한다. 또한, 영상 신호 처리부(8)는 기록 재생부(9)나 영상 표시부(11)에 공급하는 영상 신호에 대하여 각종의 신호 처리를 시행하여 출력한다. 영상 신호 처리부(8)에서 출력된 영상 신호는 기록 재생부(9)와 스위치(10)의 단자(a)에 공급된다. 기록 재생부(9)는 하드 디스크·드라이브, 광디스크, 자기 테이프, 반도체 메모리 등의 임의의 기록 매체를 구비하고 있다. 기록 재생부(9)는, 제어부(13)에 의해 영상 신호를 기록하도록 지시된 경우에는, 입력된 영상 신호를 기록한다. 영상 표시부(11)는, 스위치(10)의 단자(a)를 통하여 입력된 영상 신호를 표시한다.

제어부(13)가 기록 재생부(9)에 대하여 기록 재생부(9)에 기록된 영상 신호를 재생하도록 지시한 경우는, 스위치(10)는 제어부(13)에 의한 제어에 따라 단 자(b)에 접속하도록 전환된다. 영상 표시부(11)는, 스위치(10)의 단자(b)를 통하여 입력된 기록 재생부(9)에 의한 재생 영상 신호를 표시한다.

타이밍 발생부(12)는, 타이밍 신호를 필요로 하는 장치 내의 각 부에 타이밍 신호를 공급한다. 제어부(13)는, 전술한 기록 재생부(9)와 스위치(10) 외에, 장치 내의 각부를 제어한다. 제어부(13)는 일 예로서 마이크로 컴퓨터에 의해 구성할 수 있다. 도1 에 파선으로 둘러싸서 나타내는 바와 같이, 화소 신호 발생부(5)∼영상 신호 처리부(8)의 부분은 1개의 집적 회로로서 구성해도 좋다. 화소 신호 발생부(5)∼결함 화소 치환부(7)의 부분을 1개의 집적 회로로 하고, 영상 신호 처리부(8)를 다른 집적 회로로서 구성해도 좋다. 장치 내의 각부를 어떻게 집적 회로화하는지는 임의이다. 또한, 본 실시 형태의 구성의 일부를 소프트웨어(컴퓨터 프로그램)에 의해 구성해도 좋고, 소프트웨어와 하드웨어의 구분 사용도 임의이다.

다음으로, 도4∼도9 를 이용하여, 본 실시 형태에 있어서의 결함 화소 검출부(6)에 의한 결함 화소의 검출 방법과 결함 화소 치환부(7)에 의한 결함 화소의 보정 방법의 원리에 대하여 설명한다. 도4 는, 도2 의 일점 쇄선으로 둘러싼 영역(A2)에 포함되는 수평 방향 5화소, 수직 방향 5화소의 계 25화소의 색 필터(2ar, 2ag, 2ab)에 대응한 화소를 나타내고 있다. 이 예에서는 중앙에 위치하고 있는 B의 화소를 주목 화소(Pt)로 한다. 이 주목 화소(Pt)로부터의 화소 신호는 도3 에 있어서의 출력 단자(552)로부터 출력된다. 도4 에 있어서, 주목 화소(Pt)는 결함 화소이라고 한다. 설명의 형편상, 도4∼도9 에 있어서의 화소의 배열을 각각의 화소로부터 얻어지는 화소 신호로서 다루는 경우가 있다.

주목 화소(Pt)가 결함 화소인지 아닌지의 검출은 다음과 같이 행해진다. 영역(A2) 내에는 주목 화소(Pt)와 동색의 인접 화소(Psc1∼Psc8)의 8화소가 존재하고 있다. 주목 화소(Pt)와 인접 화소(Psc1∼Psc8)와의 사이에는 다른 색의 화소가 존재하고 있지만, 동색 화소로서는 인접하고 있기 때문에, 인접 화소로 칭하기로 한다. 이 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호 내, 최대 레벨(Lscmax)의 화소 신호를 발생시킨 화소(Pscmax)를 추출한다. 또한, P, L의 첨자 sc는 동색, dc는 이색을 나타내는 것으로 한다. 레벨이란 각각의 화소 신호가 갖는 휘도 레벨이다. 주목 화소(Pt)의 레벨(Lt)이, 최대 레벨(Lscmax)에 소정의 문턱값(후술하는 도13 의 문턱값(Th2))을 가산한 값보다도 크면, 주목 화소(Pt)는 결함 화소라고 판정할 수 있다. 도4 의 예에서는, 인접 화소(Psc7)가 화소(Pscmax)라고 한다. 주목 화소(Pt)로부터의 화소 신호를 인접 화소(Psc7)로부터의 화소 신호로 치환함으로써, 결함 화소인 주목 화소(Pt)의 화소 신호가 보정된다.

이 결함 화소의 보정 방법에서는, 주목 화소(Pt)와 인접 화소(Psc1∼Psc8)와의 상관을 취하여 가장 상관이 높은 인접 화소를 치환 화소로 하는 방법이나, 주목 화소(Pt)를 끼워 대향하는 수평 방향, 수직 방향, 2개의 경사 방향 중 어느 하나가 가장 상관이 높은 방향인지를 검출하여, 가장 상관이 높은 방향의 한 쌍의 화소를 이용하여 보간치를 생성하는 방법과 비교하여 처리가 간이하며, 회로 규모는 작게 끝난다. 또한, 보정의 정밀도는 실용상 전혀 문제없다.

다음으로, 도5 를 이용하여, 주목 화소(Pt)가 결함 화소이며, 주목 화소(Pt)를 둘러싸는 동색 인접 화소(Psc1∼Psc8) 중 어느 하나가 결함 화소로 되어 있는 경우, 즉, 동색 화소에 있어서의 인접한 2개의 화소가 결함 화소로 되어 있는 경우의 검출 방법 및 보정 방법에 대하여 설명한다. 도5 의 예에서는, 동색 인접 화소(Psc1∼Psc8) 내의 인접 화소(Psc7)가 결함 화소이다. 이 경우, 도4 에서 설명한 검출 방법 및 보정 방법을 그대로 적용하면, 결함 화소인 인접 화소(Psc7)로부터의 화소 신호가 최대 레벨(Lscmax)로 되어 버린다. 따라서, 결함 화소인 주목 화소(Pt)로부터의 화소 신호를 동일하게 결함 화소의 인접 화소(Psc7)로부터의 화소 신호로 치환해 버리게 되어, 오보정으로 된다. 그래서, 이하와 같이 하여 오보정을 회피한다.

동색 인접 화소(Psc1∼Psc8)의 8화소로부터의 화소 신호의 평균 레벨(Lscave)을 구한다. 최대 레벨(Lscmax)이 평균 레벨(Lscave)에 소정의 문턱값(후술하는 도13 의 문턱값(Th1))을 가산한 값보다도 크면, 최대 레벨(Lscmax)의 화소 신호를 발생시킨 화소(Pscmax)(도5 에서는 인접 화소(Psc7))는 정상인 화소가 아니라, 결함 화소라고 판정할 수 있다. 이 경우는, 화소(Pscmax)가 아니라, 동색 인접 화소(Psc1∼Psc8) 중, 2번째의 레벨(Lsc#2)의 화소 신호를 발생시킨 화소(Psc#2)를 추출한다. 도5 의 예에서는, 인접 화소(Psc6)가 화소(Psc#2)이라고 한다. 주목 화소(Pt)로부터의 화소 신호를 인접 화소(Psc6)로부터의 화소 신호로 치환함으로써, 오보정을 회피하면서, 결함 화소인 주목 화소(Pt)의 화소 신호가 보정된다. 이 도4, 도5 에서 설명한 검출 방법 및 보정 방법은 본 실시 형태에 의한 기본이 되는 검출 방법 및 보정 방법이다.

단, 이 도5 에서 설명한 검출 방법 및 보정 방법을 모든 경우에 적용하면 오 보정으로 되어 버리는 일이 있다. 그래서, 이하의 경우에는 도5 의 검출 방법 및 보정 방법을 실행시키지 않도록 하는 것이 바람직하다. 도6∼도9 에서 설명하는 검출 방법 및 보정 방법은, 상기의 기본이 되는 검출 방법 및 보정 방법을 더욱 바람직한 방법으로 발전시킨 것이다. 예를 들면, 화이트 문자와 같은 고휘도의 화상을 포함하는 피사체를 촬상하여, 화이트 문자의 일부가 가늘고 긴 그림 모양으로 되어 있는 경우를 생각한다. 이와 같은 경우에는, 가늘고 긴 화이트 문자 부분의 화소 신호는 결함 화소가 연속되어 있는 경우의 화소 신호와 유사한 상태가 된다. 따라서, 이와 같은 경우에는 오보정으로 되어 버리기 때문에, 고휘도 화상의 그림 모양과 연속된 결함 화소를 구별하여 오보정을 회피하는 것이 필요해진다.

도6 은 주목 화소(Pt)를 포함하는 3화소가 연속된 결함 화소로 되어 있는 경우, 도7 은 주목 화소(Pt)를 포함하는 9화소가 화이트 문자의 일부인 그림 모양인 경우를 나타내고 있다. 도6, 도7 은 어느 경우도, 도5 의 경우와 동일하게, 주목 화소(Pt)를 둘러싸는 동색 인접 화소(Psc1∼Psc8)의 어느 하나가 결함 화소 또는 그와 동등한 매우 높은 레벨을 갖고, 그 이외의 인접 화소는 레벨이 낮다는 상태이다. 도6 의 경우에는 도5 에서 설명한 검출 방법 및 보정 방법을 적용하는 것이 필요하며, 도7 의 경우에는 그것을 적용하면 오보정으로 되어 버리기 때문에 적용을 회피하는 것이 필요하다.

그래서, 도6 과 도7 을 다음과 같이 구별한다. 도6 과 도7 을 구별하기 위해, 도2 의 이점 쇄선으로 둘러싼 영역(A1)에 포함되는, 주목 화소(Pt)와는 다른 색의 화소로부터의 화소 신호를 이용한다. 전술한 바와 같이, 주목 화소(Pt)로부 터의 화소 신호를 치환하기 위해 동색 인접 화소(Psc1∼Psc8)로부터 화소(Pscmax) 또는 화소(Psc#2)를 추출하는 경우에는, 영역(A2)에 포함되는 주목 화소(Pt)를 둘러싸는 동색의 복수의 인접 화소를 이용한다. 고휘도 화상의 그림 모양과 연속된 결함 화소를 구별하기 위해 주목 화소(Pt)와는 다른 색의 화소로부터의 화소 신호를 참조하는 경우에는, 영역(A2)보다도 범위가 넓은 영역(A1)에 포함되는 이색 주변 화소로부터의 화소 신호를 이용한다.

도8, 도9 는, 도2 의 이점 쇄선으로 둘러싼 영역(A1)에 포함되는 수평 방향 7화소, 수직 방향 5화소의 계 35화소의 색 필터(2ar, 2ag, 2ab)에 대응한 화소를 나타내고 있다. 영역(A1) 내에는 주목 화소(Pt)와 인접한 이색 화소 및 이 인접한 이색 화소보다도 외측의 이색 화소가 존재하기 때문에, 이들을 이색 주변 화소로 칭하기로 한다. 도8, 도9 에 나타내는 바와 같이, 이색 주변 화소 내의 2번째의 레벨(Ldc#2)의 화소 신호를 발생시킨 화소(Pdc#2)와 3번째의 레벨(Ldc#3)의 화소 신호를 발생시킨 화소(Pdc#3)를 추출한다. 도8, 도9 의 예에서는, 화소 레벨(Ldc#2)는 R의 화소이며, 화소(Pdc#3)는 G의 화소이지만, 동일색의 화소가 화소(Pdc#2, Pdc#3)로 되는 경우도 있을 수 있다.

이색 주변 화소 내의 최대 레벨의 화소 신호를 발생시킨 화소를 추출하지 않는 것은 본 실시 형태의 1개의 특징이다. 그림 모양은 이색 주변 화소 내에 2화소 이상의 고휘도의 화소를 갖는 것에 대하여, 연속된 결함 화소의 경우는 이색 주변 화소 내의 1화소만이 결함 화소인 것이 통상이기 때문에, 이색 주변 화소 내의 최대 레벨의 화소 신호를 발생시킨 화소를 판정에 이용하지 않음으로써 양자를 구별 하는 것이 가능해진다.

또한, 화소(Pdc#2)와 동색의 화소 내에서 최소 레벨(Ldcrmin)을 발생시킨 화소(Pdcrmin)와, 화소(Pdc#3)와 동색의 화소 내에서 최소 레벨(Ldcgmin)을 발생시킨 화소(Pdcgmin)를 추출한다. 그리고, 레벨(Ldc#2)과 최소 레벨(Ldcrmin)이 거의 동일한 레벨이며, 레벨(Ldc#3)과 최소 레벨(Ldcgmin)이 거의 동일한 레벨이면, 도8 과 같은 연속된 결함 화소라고 판정할 수 있다. 한편, 어느 한쪽이라도 거의 동일한 레벨이 아닌 경우에는, 도9 와 같은 그림 모양이라고 판정할 수 있다. 또한, 화소(Pdc#2, Pdc#3)가 모두 R의 화소라면, 레벨(Ldc#2, Ldc#3)과 최소 레벨(Ldcrmin)이 각각 거의 동일한 레벨인지를 검출하면 좋고, 화소(Pdc#2, Pdc#3)가 모두 G의 화소이면, 레벨(Ldc#2, Ldc#3)과 최소 레벨(Ldcgmin)이 각각 거의 동일한 레벨인지를 검출하면 좋다. 거의 동일한 레벨이란, 비교하는 양자의 차분이 소정의 범위 내에 들어가 있다는 것이며, 이 소정의 범위의 상세에 대해서는 나중에 후술한다.

그림 모양이 아니라, 연속된 결함 화소라고 판정한 경우에는 도5 의 경우와 동일하게, 주목 화소(Pt)로부터의 화소 신호를 2번째의 레벨(Lsc#2)의 화소 신호를 발생시킨 화소(Psc#2)로부터의 화소 신호로 치환함으로써, 결함 화소인 주목 화소(Pt)의 화소 신호가 보정된다. 그림 모양이라고 판정하는 경우에는, 주목 화소(Pt)의 화소 신호를 그대로 출력시킨다.

그런데, 영역(A1)은, 영역(A2)에 대하여 수평 방향 양측에 1열씩 부가함으로써 영역을 확대한 것이다. 또한, 영역(A2)에 대하여 수직 방향 양측에 1행씩 부가 하여 확대한 영역을 영역(A1)으로 해도 좋다. 영역(A2)에 대하여 수평 방향 양측과 수직 방향 양측의 쌍방에 영역을 확대해도 좋다. 영역을 너무 확대하면 상기의 그림 모양인지 아닌지의 판정에 오판정이 발생하기 쉬워진다. 따라서, 그림 모양인지 아닌지를 판정하기 위해 이용하는 이색 주변 화소의 범위는, 동색 인접 화소로부터 화소(Pscmax) 또는 화소(Psc#2)를 추출하기 위한 영역(A2)을 수평 방향 양측에 1열씩 또는 수직 방향 양측에 1행씩 확대한 영역(A1)으로 하는 것이 바람직하다. 단, 수직 방향 양측으로 확대하는 경우에는, 도3 에 있어서의 라인 메모리의 수를 증대시키지 않으면 안되기 때문에, 영역(A2)을 수평 방향 양측에 1열씩 확대하는 편이 바람직하다.

여기서, 전술한 거의 동일한 레벨인지 아닌지를 결정하는 소정의 범위에 대하여 설명한다. 도10(A) 는 화소(Pdc#2)로부터의 화소 신호가 고휘도이며 레벨(Ldc#2)이 높고, 도10(B) 는 화소(Pdc#3)로부터의 화소 신호가 저휘도이며 레벨(Ldc#3)이 낮은 상태를 개념적으로 나타내고 있다. 화소(Pdcrmin)의 최소 레벨(Ldcrmin), 화소(Pdcgmin)의 최소 레벨(Ldcgmin)은 각각 도시의 상태라고 한다. 최소 레벨(Ldcrmin, Ldcgmin)의 어느 하나이며, 색을 특정하지 않는 최소 레벨을 Ldcmin으로 표기하고, 화소(Pdcrmin, Pdcgmin) 중 어느 하나이며, 최소 레벨(Ldcmin)의 화소 신호를 발생시킨 색을 특정하지 않는 화소를 화소(Pdcmin)로 표기하는 것으로 한다.

도10(A), (B) 에 나타내는 바와 같이, 최소 레벨(Ldcmin)이 레벨(Ldc#2, Ldc#3)로부터 마이너스(負) 방향의 문턱값(Th0-) 내인지, 또는 플러스(正) 방향의 문턱값(Th0+) 내인 경우에 거의 동일한 레벨이라고 한다. 즉, 최소 레벨(Ldcmin)이 레벨(Ldc#2, Ldc#3)을 중앙치로 하여 레벨이 커지는 방향 및 작아지는 방향의 소정의 범위(Th0) 내에 들어가 있는지 아닌지에 따라 거의 동일한 레벨인지 아닌지를 결정한다. 이때, 범위(Th0)(문턱값(Th0-, Th0+))는 레벨(Ldc#2, Ldc#3)의 레벨의 대소(大小)에 따라 가변하는 것이 바람직하다. 도10(A) 에 있어서는, 레벨(Ldc#2)이 높기 때문에 범위(Th0)는 넓어져 있고, 도10(B) 에 있어서는, 레벨(Ldc#3)이 낮기 때문에 범위(Th0)는 좁아져 있다.

도10(A), (B) 의 설명에서 알 수 있는 바와 같이, 레벨(Ldc#2, Ldc#3)이 클수록 최소 레벨(Ldcmin)과 거의 동일한 레벨이라고 판단하는 판단 기준이 완만해지고, 레벨(Ldc#2, Ldc#3)이 작을수록 최소 레벨(Ldcmin)과 거의 동일한 레벨이라고 판단하는 판단 기준이 엄격해진다. 이와 같이, 화소(Pdc#2, Pdc#3)의 레벨(Ldc#2, Ldc#3)이 클수록 범위(Th0)를 넓게 하고, 레벨(Ldc#2, Ldc#3)이 작을수록 범위(Th0)를 좁게 함으로써, 레벨(Ldc#2, Ldc#3)이 어떤 레벨이어도, 연속된 결함 화소와 그림 모양을 구별하기 위한 "거의 동일한 레벨"인지 아닌지의 판정을 정확히 행하는 것이 가능해진다. 또한, 여기에서는 레벨(Ldc#2, Ldc#3)이 클수록 범위(Th0)를 넓게 하는 것으로 했지만, 레벨(Ldc#2, Ldc#3)이 소정의 고휘도 이상으로 범위(Th0)를 일정하게 해도 좋다.

계속해서, 범위(Th0)를 결정하는 마이너스 방향의 문턱값(Th0-)과 플러스 방향의 문턱값(Th0+)의 더욱 바람직한 예에 대하여 설명한다. 문턱값(Th0-, Th0+)은 레벨(Ldc#2, Ldc#3)의 대소에 따라 비선형으로 변화시키는 것이 바람직하다. 문턱 값(Th0-, Th0+)은 레벨(Ldc#2, Ldc#3)의 대소에 무관계의 일정 부분인 고정 문턱값부(Th0base)와 레벨(Ldc#2, Ldc#3)의 대소에 따라 비선형으로 변화하는 비선형 문턱값부(Th0vari)를 가산한 값으로 해도 좋고, 레벨(Ldc#2, Ldc#3)의 대소에 따라 비선형으로 변화하는 비선형 문턱값부(Th0vari)만으로 해도 좋다. 여기에서는 고정 문턱값부(Th0base)와 비선형 문턱값부(Th0vari)를 가산한 값으로 하는 경우에 대하여 설명한다. 고정 문턱값부(Th0base)와 비선형 문턱값부(Th0vari)를 가산한 값은, 문턱값(Th0-, Th0+) 각각의 값을 결정하기 위한 것이다.

도11 은, 레벨(Ldc#2, Ldc#3)의 대소에 따라 비선형으로 변화하는 비선형 문턱값부(Th0vari)의 특성예를 나타내고 있다. 도11 의 예에서는, 레벨(Ldc#2, Ldc#3)을 12비트로 하고, 0에서 4095까지의 값을 취하는 경우를 나타내고 있다. 레벨(Ldc#2, Ldc#3)의 값이 0에서 2047까지의 범위에 있어서는 비선형 문턱값부(Th0vari)를 값 0에서 180까지 변화하는 곡선 형상으로 하고, 2048 이상에서는 값 180으로 고정으로 하고 있다. 비선형 문턱값부(Th0vari)의 값은 단순한 예이다. 레벨(Ldc#2, Ldc#3)을 11비트로 한 경우에는, 비선형 문턱값부(Th0vari)을 값 0에서 180까지 변화하는 곡선 형상만으로 해도 좋다. 비선형 문턱값부(Th0vari)는, 반드시 레벨(Ldc#2, Ldc#3)이 소정의 값을 넘는 부분을 고정으로 할 필요는 없다.

값 0에서 180까지 변화하는 곡선 형상의 비선형 문턱값부(Th0vari)에 있어서는, 레벨(Ldc#2, Ldc#3)이 작을수록(저휘도가 될수록), 레벨(Ldc#2, Ldc#3)의 근소한 변화라도 비선형 문턱값부(Th0vari)의 값이 크게 변화하도록 변화량을 크게 하 고, 레벨(Ldc#2, Ldc#3)이 클수록(고휘도가 될수록), 비선형 문턱값부(Th0vari)의 변화량을 작게 한 특성으로 되어 있다.

도12(A) 는 최저 휘도시의 문턱값(Th0-, Th0+)을 나타내고 있고, 고정 문턱값부(Th0base)만이다. 도12(B) 는 중간 휘도시의 문턱값(Th0-, Th0+), 도12(C) 는 레벨 2048 이상의 고휘도시의 문턱값(Th0-, Th0+)을 나타내고 있다. 도12(B), (C) 의 경우는 모두 고정 문턱값부(Th0base)와 비선형 문턱값부(Th0vari)를 가산한 값이 문턱값(Th0-, Th0+)이 된다. 이와 같이, 레벨(Ldc#2, Ldc#3)이 작을수록 비선형 문턱값부(Th0vari)의 변화량을 크게 하고, 클수록 변화량을 작게 함으로써, 화소 결함이 비교적 눈에 띄는 저휘도에서는 주목 화소(Pt)가 보정되기 쉬워지고, 화소 결함이 비교적 눈에 띄지 않는 고휘도에서는 주목 화소(Pt)가 보정되기 어려워진다. 따라서, 주목 화소(Pt)가 고휘도의 경우에는 과잉의 보정을 억제할 수 있어 오보정을 효과적으로 방지하는 것이 가능해진다.

다음으로, 도13 에 나타내는 플로우 차트를 이용하여, 이상 상술한 본 실시 형태에 있어서의 결함 화소의 검출 방법과 결함 화소의 보정 방법의 원리에 기초한 결함 화소 검출부(6) 및 결함 화소 치환부(7) 각각의 동작에 대하여 설명한다. 도13 에 있어서, 결함 화소 검출부(6)는, 스텝 S1에서, 주목 화소(Pt)의 동색 인접 화소(Psc1∼Psc8)의 화소 신호의 평균 레벨(Lscave)을 산출한다. 결함 화소 검출부(6)는, 스텝 S2에서, 동색 인접 화소(Psc1∼Psc8) 내의 최대 레벨(Lscmax)을 갖는 화소(Pscmax)를 구하고, 최대 레벨(Lscmax)이, 평균 레벨(Lscave)에 문턱값(Th1)을 가산한 값(Lscave+Th1)을 넘는지 아닌지를 판정한다. 최대 레 벨(Lscmax)이 값(Lscave+Th1)을 넘지 않으면 (No), 최대 레벨(Lscmax)의 화소 신호를 발생시킨 화소(Pscmax)는 정상인 화소라고 판단할 수 있기 때문에, 스텝 S5로 이동한다.

스텝 S2에서 최대 레벨(Lscmax)이 값(Lscave+Th1)을 넘어 있으면 (Yes), 스텝 S3, S4로 이동한다. 스텝 S3, S4 의 순은 역이어도 좋다. 결함 화소 검출부(6)는, 스텝 S3에서, 이색 주변 화소에 있어서의 2번째의 레벨(Ldc#2)의 화소 신호를 발생시킨 화소(Pdc#2)와, 화소(Pdc#2)와 동색의 화소 내에서 최소 레벨(Ldcmin)을 발생시킨 화소(Pdcmin)를 추출하여, 레벨(Ldc#2)과 최소 레벨(Ldcmin)이 거의 동일한 레벨인지 아닌지를 판정한다. 거의 동일한 레벨인지 아닌지의 판단 기준은 전술한 대로이다. 거의 동일한 레벨이면 (Yes) 스텝 S4로 이동하고, 거의 동일한 레벨이 아니면 (No) 스텝 S5로 이동한다.

그리고, 결함 화소 검출부(6)는, 스텝 S4에서, 이색 주변 화소에 있어서의 3번째의 레벨(Ldc#3)의 화소 신호를 발생시킨 화소(Pdc#3)와, 화소(Pdc#3)와 동색의 화소 내에서 최소 레벨(Ldcmin)을 발생시킨 화소(Pdcmin)를 추출하여, 레벨(Ldc#3)과 최소 레벨(Ldcmin)이 거의 동일한 레벨인지 아닌지를 판정한다. 거의 동일한 레벨이면 (Yes) 스텝 S6으로 이동하고, 거의 동일한 레벨이 아니면 (No) 스텝 S5로 이동한다.

이상의 일련의 공정에 있어서, 스텝 S2에서 최대 레벨(Lscmax)이 값(Lscave+Th1)을 넘어 있지 않다고 판정된 경우는, 도4 에 상당하는 상태이다. 또한, 스텝 S3, S4에서 레벨(Ldc#2, Ldc#3)의 적어도 한쪽이 최소 레벨(Ldcmin)과 거의 동일한 레벨이 아니라고 판정된 경우는, 도7 에 상당하는 상태이다. 이들의 경우, 결함 화소 검출부(6)는, 스텝 S5에서, 동색 인접 화소(Psc1∼Psc8)에 있어서의 최대 레벨(Lscmax)의 화소 신호를 발생시킨 화소(Pscmax)를 치환 화소(Pr)로 한다.

한편, 스텝 S2에서 최대 레벨(Lscmax)이 값(Lscave+Th1)을 넘어 있다고 판정되고, 스텝 S3, S4에서 레벨(Ldc#2, Ldc#3)의 쌍방이 최소 레벨(Ldcmin)과 거의 동일한 레벨이라고 판정된 경우는, 도5, 도6 에 상당하는 상태이다. 이 경우, 결함 화소 검출부(6)는, 스텝 S6에서, 동색 인접 화소(Psc1∼Psc8)에 있어서의 2번째의 레벨(Lsc#2)의 화소 신호를 발생시킨 화소(Psc#2)를 치환 화소(Pr)로 한다.

스텝 S5 또는 S6에서 치환 화소(Pr)가 결정되면, 스텝 S7로 이동한다. 결함 화소 검출부(6)는, 스텝 S7에서, 주목 화소(Pt)의 레벨(Lt)이, 치환 화소(Pr)의 레벨(Lr)에 문턱값(Th2)을 가산한 값(Lr+Th2)을 넘는지 아닌지 판정한다. 레벨(Lt)이 값(Lr+Th2)을 넘지 않으면 (No) 스텝 S8로 이동하고, 레벨(Lt)이 값(Lr+Th2)을 넘으면 (Yes) 스텝 S9로 이동한다. 레벨(Lt)이 값(Lr+Th2)을 넘지 않는 상태란, 주목 화소(Pt)가 결함 화소가 아닌 경우이거나, 결함 화소로부터의 화소 신호와 동등의 고휘도 신호이지만, 도7 과 같이 그림 모양의 일부라고 판정된 경우이다. 그래서, 결함 화소 치환부(7)는, 스텝 S8에서, 결함 화소 검출부(6)에 의한 지시에 기초하여, 주목 화소(Pt)로부터의 화소 신호를 그대로 출력시킨다.

한편, 레벨(Lt)이 값(Lr+Th2)을 넘는 상태란 주목 화소(Pt)가 결함 화소인 경우이기 때문에, 결함 화소 치환부(7)는, 스텝 S9에서, 결함 화소 검출부(6)에 의 한 지시에 기초하여, 주목 화소(Pt)로부터의 화소 신호를 치환 화소(Pr)로부터의 화소 신호로 치환하여 출력한다. 이 치환 화소(Pr)로부터의 화소 신호는, 도4 와 같이 주목 화소(Pt)만이 결함 화소로 되어 있는 경우에는 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호에 있어서의 최대 레벨(Lscmax)을 나타내는 신호이며, 도5, 도6 과 같이 동색 인접 화소 내의 1개가 결함 화소로 되어 있는 경우에는 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호에 있어서의 2번째의 레벨(Lsc#2)을 나타내는 신호이다.

도14 는, 도13 에서 설명한 결함 화소 검출부(6) 및 결함 화소 치환부(7)에 있어서의 동작을 하드웨어에 의해 구성한 경우의 구성예이다. 도14 는 일 구성예이며, 본 발명은 이에 한정되는 것은 아니다. 도14 에 있어서, 순위매김부(671)에는 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호가 입력되고, 순위매김부(672)에는 이색 주변 화소로부터의 화소 신호가 입력된다. 순위매김부(671)는, 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호를 순위매김함으로써 최대 레벨(Lscmax)과 2번째의 레벨(Lsc#2)을 추출하여 선택부(676)에 공급한다. 또한, 순위매김부(671)는, 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호를 동색 인접 화소 평균치 산출부(673)에 공급한다. 또한, 순위매김부(671)는 예를 들면 복수의 비교기에 의해 구성할 수 있다.

순위매김부(672)는, 이색 주변 화소로부터의 화소 신호를 순위매김함으로써 이색 주변 화소 내의 2번째의 레벨(Ldc#2)과 3번째의 레벨(Ldc#3)과 최소 레벨(Ldcmin)을 추출하여 판정부(674)에 공급한다. 또한, 순위매김부(672)는 예를 들면 복수의 비교기에 의해 구성할 수 있다. 순위매김부(671)는, 동색 인접 화소(Psc1∼Psc8)로부터의 화소 신호로부터 최대 레벨(Lscmax)과 2번째의 레벨(Lsc#2)을 추출하는 추출부로서 동작하고 있다. 순위매김부(672)는, 이색 주변 화소 내로부터의 화소 신호로부터 2번째의 레벨(Ldc#2)과 3번째의 레벨(Ldc#3)과 최소 레벨(Ldcmin)을 추출하는 추출부로서 동작하고 있다. 최소 레벨(Ldcmin)은, 전술한 바와 같이, 2번째의 레벨(Ldc#2)을 나타내는 화소(Pdc#2)와 3번째의 레벨(Ldc#3)을 나타내는 화소(Pdc#3)가 동일한 색의 화소이면 그 색의 화소의 최소 레벨을 나타내는 1개의 화소 신호이고, 다른 색의 화소이면 각각의 색의 화소의 최소 레벨을 나타내는 2개의 화소 신호이다.

동색 인접 화소 평균치 산출부(673)는, 입력된 동색 인접 화소(Psc1∼Psc8)의 화소 신호의 평균치(Lscave)를 산출하여, 판정부(675) 내의 가산기(6751)에 공급한다. 가산기(6751)는, 평균치(Lscave)와 문턱값 발생부(6752)로부터 발생된 문턱값(Th1)을 가산한 값(Lscave+Th1)을 비교기(6753)에 공급한다. 비교기(6753)는, 최대 레벨(Lscmax)과 값(Lscave+Th1)을 비교하여, 최대 레벨(Lscmax)이 값(Lscave+Th1)을 넘는 경우에 예를 들면 1의 판정 신호를, 넘지 않는 경우에 예를 들면 0의 판정 신호를 선택부(676)에 공급한다. 이와 같이, 판정부(675)는, 최대 레벨(Lscmax)과 평균치(Lscave)을 이용하여 화소(Pscmax)가 결함 화소인지 아닌지를 판정하고 있다.

판정부(674)는, 레벨(Ldc#2), 레벨(Ldc#3)과 최소 레벨(Ldcmin)과의 차(差)가 문턱값 발생부(6741)로부터 발생된 문턱값(Th0-, Th0+)에 의해 결정되는 범 위(Th0)에 들어가 있는지 아닌지를 판정한다. 다음의 (1)식, (2)식을 만족하면, 레벨(Ldc#2, Ldc#3)과 최소 레벨(Ldcmin)은 거의 동일한 레벨이다.

(Ldc#2)-(Th0-)<Ldcmin<(Ldc#2)+(Th0+) …(1)

(Ldc#3)-(Th0-)<Ldcmin<(Ldc#3)+(Th0+) …(2)

범위(Th0)는 레벨(Ldc#2, Ldc#3)에 따라 가변된다. 문턱값 발생부(6741)는, 레벨(Ldc#2, Ldc#3)에 따른 문턱값(Th0-, Th0+)을 발생하는 테이블이어도 좋고, 소정의 계산식을 이용하여 레벨(Ldc#2, Ldc#3)에 따른 문턱값(Th0-, Th0+)을 발생하는 계산부이어도 좋다. 판정부(674)는, 레벨(Ldc#2, Ldc#3)과 최소 레벨(Ldcmin)이 거의 동일한 레벨일 때 예를 들면 1의 판정 신호를, 레벨(Ldc#2, Ldc#3)의 적어도 한쪽이 최소 레벨(Ldcmin)과 거의 동일한 레벨이 아닐 때 예를 들면 0의 판정 신호를 선택부(676)에 공급한다.

선택부(676)는, 판정부(675)로부터의 판정 신호가 0일 때는 판정부(674)로부터의 판정 신호의 값에 관계없이, 화소(Pscmax)로부터의 화소 신호인 최대 레벨(Lscmax)을 선택한다. 본 실시 형태에 있어서는 바람직한 구성으로서 판정부(674)를 형성하고 있고, 선택부(676)는, 판정부(675)로부터의 판정 신호가 1일 때에는, 판정부(674)로부터의 판정 신호가 0이면 최대 레벨(Lscmax)을 선택하고, 판정부(674)로부터의 판정 신호가 1이면 화소(Psc#2)로부터의 화소 신호인 2번째의 레벨(Lsc#2)을 선택한다.

선택부(676)에 의해 선택된 최대 레벨(Lscmax) 또는 2번째의 레벨(Lsc#2)은, 치환 화소(Pr)의 화소 신호(Lr)로서 판정부(677)의 가산기(6771)에 입력된다. 가 산기(6771)는, 레벨(Lr)과 문턱값 발생부(6772)로부터 발생된 문턱값(Th2)을 가산한 값(Lr+Th2)을 비교기(6773)에 공급한다. 비교기(6773)에는, 주목 화소(Pt)로부터의 화소 신호인 레벨(Lt)이 입력된다. 비교기(6773)는, 레벨(Lt)과 값(Lr+Th2)을 비교하여, 레벨(Lt)이 값(Lr+Th2)을 넘는 경우에 예를 들면 1의 판정 신호를, 넘지 않는 경우에 예를 들면 0의 판정 신호를 치환부(678)에 공급한다. 이와 같이, 판정부(677)는, 주목 화소(Pt)의 레벨(Lt)과 치환 화소(Pr)의 레벨(Lr)을 이용하여 주목 화소(Pt)가 결함 화소인지 아닌지를 판정하고 있다.

치환부(678)의 단자(a)에는 주목 화소(Pt)로부터의 화소 신호인 레벨(Lt)이 입력되고, 단자(b)에는 선택부(676)에서 출력된 치환 화소(Pr)로부터의 화소 신호인 레벨(Lr)이 입력된다. 치환부(678)는, 판정부(677)로부터의 판정 신호가 0일 때는 레벨(Lt)을 그대로 출력하고, 1일 때는 레벨(Lt)을 대신하여 레벨(Lr)을 출력한다.

이상의 구성 및 동작에 의해, 주목 화소(Pt)가 결함 화소인 도4 에 나타내는 바와 같은 경우에 주목 화소(Pt)로부터의 화소 신호가 보정된다. 또한, 주목 화소(Pt)가 결함 화소이며, 동색 인접 화소(Psc1∼Psc8) 내의 1개도 결함 화소로 되어 있고, 연속된 2개의 동색 화소가 결함 화소로 되어 있는 도5, 도6 에 나타내는 바와 같은 경우에도, 주목 화소(Pt)로부터의 화소 신호가 적절히 보정된다. 나아가서는, 도6 과 같은 연속된 결함 화소와 도7 과 같은 그림 모양을 적확히 구별하여, 연속된 결함 화소의 경우의 주목 화소(Pt)로부터의 화소 신호가 적정하게 보정된다.

이상의 설명에서 알 수 있는 바와 같이, 본 실시 형태에 있어서는, 동색 인접 화소(Psc1∼Psc8) 내의 최대 레벨(Lscmax)의 화소(Pscmax)가 결함 화소라고 판정한 경우에는 2번째의 레벨(Lsc#2)의 화소(Psc#2)를 치환 화소(Pr)로서 이용하기는 하지만, 동색 인접 화소(Psc1∼Psc8) 내의 3번째의 레벨 이후의 화소를 치환 화소(Pr)로서 이용하지 않는다. 이것은, 3번째의 레벨 이후의 화소를 치환 화소(Pr)로서 이용하면 오보정이 발생하기 쉬워지기 때문이다. 따라서, 본 실시 형태에 따르면 오보정이 적은 촬상 장치 및 결함 화소 보정 방법을 제공하는 것이 가능하다.

도1 에 있어서, 영상 신호 처리부(8)에 순차 공급되는 화소 신호는 각각 주목 화소의 화소 신호로서 전술한 본 실시 형태에 의한 처리가 시행된 후에 출력되기 때문에, 촬상부(2)로부터의 촬상 신호에 결함 화소로부터의 화소 신호가 포함되어 있어도 결함 화소로부터의 화소 신호는 리얼 타임으로 보정되게 된다. 또한, 기록 재생부(9)에 기록하거나, 영상 표시부(11)에 표시하거나 하는 영상 신호는, 촬상부(2)의 모든 화소로부터의 화소 신호를 이용하여 생성한 것이 아니다. 촬상부(2)의 수평 방향 양단부 및 수직 방향 양단부의 화소로부터의 화소 신호는 영상 신호의 생성에는 사용하지 않는다. 따라서, 영상 신호의 각 프레임의 수평 방향 양단부 및 수직 방향 양단부의 화소 신호를 포함하여 모든 화소 신호에 대하여 전술한 본 실시 형태에 따른 처리가 시행된다.

본 발명은 이상 설명한 본 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지 변경 가능하다.

도1 은 본 발명의 일 실시 형태에 따른 촬상 장치의 전체 구성예를 나타내는 블록도이다.

도2 는 도1 에 있어서의 광학 필터(2a)의 색 배열의 일 예를 나타내는 도면이다.

도3 은 도1 에 있어서의 화소 신호 발생부(5)의 구성예를 나타내는 블록도이다.

도4 는 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도5 는 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도6 은 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도7 은 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도8 은 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도9 는 본 발명의 일 실시 형태에 있어서의 결함 화소의 검출 방법과 보정 방법의 원리에 대하여 설명하기 위한 도면이다.

도10 은 본 발명의 일 실시 형태에서 이용하는 문턱값을 설명하기 위한 도면 이다.

도11 은 본 발명의 일 실시 형태에서 이용하는 비선형인 문턱값의 특성을 설명하기 위한 도면이다.

도12 는 본 발명의 일 실시 형태에서 이용하는 비선형인 문턱값의 예를 나타내는 도면이다.

도13 은 도1 에 있어서의 결함 화소 검출부(6) 및 결함 화소 치환부(7)의 동작을 설명하기 위한 플로우 차트이다.

도14 는 도1 에 있어서의 결함 화소 검출부(6) 및 결함 화소 치환부(7)의 구체적인 구성예를 나타내는 블록도이다.

(도면의 주요 부분에 대한 부호의 설명)

1 : 촬상 렌즈

2 : 촬상부

2a : 광학 필터

2b : 고체 촬상 소자

5 : 화소 신호 발생부

6 : 결함 화소 검출부

7 : 결함 화소 치환부

8 : 영상 신호 처리부

9 : 기록 재생부

11 : 영상 표시부

Claims

복수색의 복수의 색 필터가 수평 방향 및 수직 방향으로 배열된 광학 필터와, 상기 복수의 색 필터 각각에 대응하여 형성된 복수의 화소를 갖는 촬상 소자를 구비하고, 입력된 광신호를 상기 복수색에 대응한 각각의 화소 신호로 변환하여 출력하는 촬상부와,

상기 촬상부에서 순차 출력되는 화소 신호 중의 1개의 화소 신호를 주목(注目) 화소로부터 발생한 제1 화소 신호로 했을 때, 상기 주목 화소의 주위로서 상기 주목 화소의 수평 방향 양측 및 수직 방향 양측에 위치하는 복수의 동색(同色) 화소 및 복수의 이색(異色) 화소를 포함하는 영역으로부터, 상기 복수의 동색 화소로부터의 제2 화소 신호와 상기 복수의 이색 화소로부터의 제3 화소 신호를 발생시키는 화소 신호 발생부와,

상기 제2 화소 신호 내에서 최대 휘도 레벨을 갖는 화소 신호와 2번째의 휘도 레벨을 갖는 화소 신호를 추출하는 제1 추출부와,

상기 제2 화소 신호가 갖는 휘도 레벨의 평균치를 산출하는 평균치 산출부와,

상기 최대 휘도 레벨과 상기 평균치를 이용하여, 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소인지 아닌지를 판정하는 제1 판정부와,

상기 제1 판정부에 의해 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소가 아니라고 판정되었을 때 상기 최대 휘도 레벨을 갖는 화소 신호를 출력하고, 상기 제1 판정부에 의해 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소라고 판정되었을 때 상기 2번째의 휘도 레벨을 갖는 화소 신호를 출력하는 선택부와,

상기 제1 화소 신호가 갖는 휘도 레벨과 상기 선택부에서 출력된 화소 신호가 갖는 휘도 레벨을 이용하여, 상기 주목 화소가 결함 화소인지 아닌지를 판정하는 제2 판정부와,

상기 제2 판정부에 의해 상기 주목 화소가 결함 화소가 아니라고 판정되었을 때 상기 제1 화소 신호를 그대로 출력하고, 상기 제2 판정부에 의해 상기 주목 화소가 결함 화소라고 판정되었을 때 상기 제1 화소 신호를 대신하여 상기 선택부에서 출력된 화소 신호를 출력하는 치환부

를 구비하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

상기 화소 신호 발생부는, 상기 촬상부에서 순차 출력되는 화소 신호를 상기 촬상 소자의 1라인분씩 순차 지연시키는 복수의 라인 메모리와, 상기 촬상부에서 순차 출력되는 화소 신호 또는 상기 복수의 라인 메모리 각각에서 출력되는 화소 신호를 상기 촬상 소자의 1화소씩 순차 지연시키는 복수의 화소 지연기를 포함하는 것을 특징으로 하는 촬상 장치.
제1항 또는 제2항에 있어서,

상기 제1 판정부는, 상기 최대 휘도 레벨이 상기 평균치에 제1 문턱값을 가산한 값보다 클 때, 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소라고 판정하는 것을 특징으로 하는 촬상 장치.
제1항 또는 제2항에 있어서,

상기 제2 판정부는, 상기 제1 화소 신호가 갖는 휘도 레벨이 상기 선택부에서 출력된 화소 신호가 갖는 휘도 레벨에 제2 문턱값을 가산한 값보다 클 때, 상기 주목 화소가 결함 화소라고 판정하는 것을 특징으로 하는 촬상 장치.
제1항 또는 제2항에 있어서,

상기 제3 화소 신호 내에서, 2번째의 휘도 레벨을 갖는 화소 신호와, 3번째의 휘도 레벨을 갖는 화소 신호와, 상기 2번째의 휘도 레벨을 갖는 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제1 최소 휘도 레벨을 갖는 화소 신호와, 상기 3번째의 휘도 레벨을 갖는 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제2 최소 휘도 레벨을 갖는 화소 신호를 추출하는 제2 추출부와,

상기 제1 최소 휘도 레벨이 상기 2번째의 휘도 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있고, 그리고, 상기 제2 최소 휘도 레벨이 상기 3번째의 휘도 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있는 제1 상태인지, 적어도 한쪽이 상기 미리 정한 범위 내에 없는 제2 상태인지를 판정하는 제3 판정부

를 구비하고,

상기 선택부는, 상기 제3 판정부에 의해 상기 제1 상태라고 판정되었을 때 상기 2번째의 휘도 레벨을 갖는 화소 신호를 출력하고, 상기 제3 판정부에 의해 상기 제2 상태라고 판정되었을 때 상기 최대 휘도 레벨을 갖는 화소 신호를 출력하는 것을 특징으로 하는 촬상 장치.
제5항에 있어서,

상기 제3 판정부는, 상기 미리 정한 범위를 상기 2 번째 또는 3번째의 휘도 레벨이 클수록 넓게 하고, 상기 2번째 또는 3번째의 휘도 레벨이 작을수록 좁게 하는 것을 특징으로 하는 촬상 장치.
제6항에 있어서,

상기 제3 판정부는, 상기 2번째 또는 3번째의 휘도 레벨이 작을수록 상기 2번째 또는 3번째의 휘도 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 크게 하고, 상기 2번째 또는 3번째의 휘도 레벨이 클수록 상기 2번째 또는 3번째의 휘도 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 작게 하는 것을 특징으로 하는 촬상 장치.
입력된 광신호를, 복수색의 복수의 화소가 수평 방향 및 수직 방향으로 배열된 촬상 소자에 의해 상기 복수색에 대응한 각각의 화소 신호로 변환하여 출력하는 스텝과,

상기 촬상 소자에서 순차 출력되는 화소 신호 중의 1개의 화소 신호를 주목 화소로부터 발생한 제1 화소 신호로 했을 때, 상기 주목 화소의 주위로서 상기 주목 화소의 수평 방향 양측 및 수직 방향 양측에 위치하는 복수의 동색 화소 및 복수의 이색 화소를 포함하는 영역으로부터, 상기 복수의 동색 화소로부터의 제2 화소 신호와 상기 복수의 이색 화소로부터의 제3 화소 신호를 발생시키는 스텝과,

상기 제2 화소 신호 내에서 최대 휘도 레벨을 갖는 화소 신호와 2번째의 휘도 레벨을 갖는 화소 신호를 추출하는 제1 추출 스텝과,

상기 제2 화소 신호가 갖는 휘도 레벨의 평균치를 산출하는 스텝과,

상기 최대 휘도 레벨과 상기 평균치를 이용하여, 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소인지 아닌지를 판정하는 제1 판정 스텝과,

상기 제1 판정 스텝에서 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소가 아니라고 판정되었을 때 상기 최대 휘도 레벨을 갖는 화소 신호를 선택하고, 상기 제1 판정 스텝에서 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소라고 판정되었을 때 상기 2번째의 휘도 레벨을 갖는 화소 신호를 선택하는 선택 스텝과,

상기 제1 화소 신호가 갖는 휘도 레벨과 상기 선택 스텝에서 선택된 화소 신호가 갖는 휘도 레벨을 이용하여, 상기 주목 화소가 결함 화소인지 아닌지를 판정하는 제2 판정 스텝과,

상기 제2 판정 스텝에서 상기 주목 화소가 결함 화소가 아니라고 판정되었을 때 상기 제1 화소 신호를 그대로 출력하고, 상기 제2 판정 스텝에서 상기 주목 화소가 결함 화소라고 판정되었을 때 상기 제1 화소 신호를 대신하여 상기 선택 스텝에서 선택된 화소 신호를 출력하는 스텝

을 포함하는 것을 특징으로 하는 결함 화소 보정 방법.
제8항에 있어서,

상기 제1 판정 스텝은, 상기 최대 휘도 레벨이 상기 평균치에 제1 문턱값을 가산한 값보다 클 때, 상기 최대 휘도 레벨을 갖는 화소 신호를 발생시킨 화소가 결함 화소라고 판정하는 것을 특징으로 하는 결함 화소 보정 방법.
제8항 또는 제9항에 있어서,

상기 제2 판정 스텝은, 상기 제1 화소 신호가 갖는 휘도 레벨이 상기 선택 스텝에서 선택된 화소 신호가 갖는 휘도 레벨에 제2 문턱값을 가산한 값보다 클 때, 상기 주목 화소가 결함 화소라고 판정하는 것을 특징으로 하는 결함 화소 보정 방법.
제8항 또는 제9항에 있어서,

상기 제3 화소 신호 내에서, 2번째의 휘도 레벨을 갖는 화소 신호와, 3번째의 휘도 레벨을 갖는 화소 신호와, 상기 2번째의 휘도 레벨을 갖는 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제1 최소 휘도 레벨을 갖는 화소 신호와, 상기 3번째의 휘도 레벨을 갖는 화소 신호를 발생시킨 화소와 동색의 화소로부터의 제2 최소 휘도 레벨을 갖는 화소 신호를 추출하는 제2 추출 스텝과,

상기 제1 최소 휘도 레벨이 상기 2번째의 휘도 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있고, 그리고, 상기 제2 최소 휘도 레벨이 상기 3번째의 휘도 레벨보다 큰 방향 및 작은 방향의 미리 정한 범위 내에 있는 제1 상태인지, 적어도 한쪽이 상기 미리 정한 범위 내에 없는 제2 상태인지를 판정하는 제3 판정 스텝

을 포함하고,

상기 선택 스텝은, 상기 제3 판정 스텝에서 상기 제1 상태라고 판정되었을 때 상기 2번째의 휘도 레벨을 갖는 화소 신호를 출력하고, 상기 제3 판정 스텝에서 상기 제2 상태라고 판정되었을 때 상기 최대 휘도 레벨을 갖는 화소 신호를 출력하는 것을 특징으로 하는 결함 화소 보정 방법.
제11항에 있어서,

상기 제3 판정 스텝은, 상기 미리 정한 범위를 상기 2번째 또는 3번째의 휘도 레벨이 클수록 넓게 하고, 상기 2번째 또는 3번째의 휘도 레벨이 작을수록 좁게 하는 것을 특징으로 하는 결함 화소 보정 방법.
제12항에 있어서,

상기 제3 판정 스텝은, 상기 2번째 또는 3번째의 휘도 레벨이 작을수록 상기 2번째 또는 3번째의 휘도 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 크게 하고, 상기 2번째 또는 3번째의 휘도 레벨이 클수록 상기 2번째 또는 3번째의 휘도 레벨이 변화했을 때의 상기 미리 정한 범위의 변화량을 작게 하는 것을 특징으로 하는 결함 화소 보정 방법.