KR20120020054A - 촬상 장치, 촬상 방법 및 프로그램 - Google Patents

Abstract

촬상 장치는, 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계, 렌즈를 통해 입사되는 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자, 피사체까지의 거리를 취득하는 취득 수단, 및 취득 수단에 의해 취득된 피사체까지의 거리에 따른 광학계의 결상 특성에 기초하여 촬상 소자로부터 출력되는 촬상 화상에서의 블러를 보정하는 보정 수단을 포함한다.

Description

촬상 장치, 촬상 방법 및 프로그램{IMAGING APPARATUS, IMAGING METHOD, AND PROGRAM}

본 발명은 촬상 장치, 촬상 방법, 및 프로그램에 관한 것으로서, 특히, 감축된 연산량으로, 포커스된 화상을 생성할 수 있게 해주는 촬상 장치, 촬상 방법, 및 프로그램에 관한 것이다.

통상, 디지털 스틸 카메라(digital still camera)나 또는 임의의 유사한 촬상 장치를 사용하여 촬상할 때, 유저는 소정의 조작을 행함으로써 원하는 피사체에 포커스를 맞춘다. 구체적으로, 유저는, 원하는 피사체를 파인더의 중앙에 위치시키고, 셔터 버튼을 반쯤 누름으로써 피사체에 포커스를 맞추어, 원하는 피사체에 디지털 스틸 카메라를 조준한다.

일반적으로, 디지털 스틸 카메라에 있어서의 포커싱 동작은, 콘트라스트 방식을 사용하여 피사체 상의 콘트라스트가 최대가 되는 렌즈 위치를 결정하고, 그렇게 결정된 렌즈 위치에 렌즈를 이동시킴으로써 행해진다. 전술한 포커싱 동작은 소위 자동 포커싱(autofocusing)이라고 일컬어진다. 대안적으로, 광학 거리계에 기초한 레인지 파인더(range finder)를 사용하여, 2개의 다른 광로를 따라 진행하는 광속을 이용하여 생성된 화상들을 중첩하여 피사체 상에 포커스를 맞출 수도 있다.

또한, 대안적으로, 터치 패널 기능을 구비하는 전자 뷰 파인더(electronic view finder: EVF)에 표시되는 리얼타임 화상(소위, 스루 화상(through image))에 있어서, 유저가 소정의 피사체를 선택하고, 선택된 피사체를 포함하는 영역까지의 거리를 카메라가 (자동적으로) 측정하고 그 피사체에 포커스를 맞추는 기술이 있다(예를 들면, 일본공개특허공보 평8-122847호 참조).

그러나, 전술한 바와 같이 자동적으로 포커스가 맞추어진 피사체를 촬상하기 전에, 피사체까지의 거리가 급격하게 변화될 수 있거나, 또는 자동 포커싱이 매우 정밀하게 행해지지 않았을 수 있다. 이 경우, 결과적인 촬상 화상은, 포커스된 화상이 아니거나, 또는 디포커스된 화상이다.

이 문제를 해결하기 위해, 그러한 디포커스된 화상에 소정의 신호 처리를 실시하여, 블러(blur)가 보정되고, 포커스된 화상이 생성되는 것을 생각할 수 있다. 구체적으로, 디포커스된 화상에 있어서의 블러의 양을 나타내는 블러 함수(blur function)를 추정하고, 피사체까지의 거리(피사체 거리)에 따른 렌즈의 결상 특성에 기초하여, 추정된 블러 함수의 역함수를 사용하여 디포커스된 화상에 대하여 역산을 행한다. 이에 따라, 자동 포커싱 동작을 행하지 않고 포커스된 화상이 생성될 수 있다.

그러나, 디포커스된 화상에 포함되는 피사체까지의 거리를 알지 못하기 때문에, 모든 가능한 피사체 거리에 따른 렌즈의 결상 특성에 기초하여, 디포커스된 화상에 대하여 신호 처리를 행할 필요가 있다. 이 경우, 연산량이 대단히 방대하게 되어버린다.

그러므로, 감축된 연산량으로, 포커스된 화상을 생성하는 것이 바람직하다.

본 발명의 일 실시예에 따른 촬상 장치는, 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계, 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자, 상기 피사체까지의 거리를 취득하는 취득 수단, 및 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러(blur)를 보정하는 보정 수단을 포함한다.

상기 촬상 장치는, 상기 촬상 화상을 표시하는 표시 수단, 및 유저의 조작에 기초하여, 상기 표시 수단에 표시된 상기 촬상 화상에서의 피사체를 선택하는 선택 수단을 더 포함한다. 상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 근거하는, 상기 선택 수단에 의해 선택된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 화상에서의 블러를 보정할 수 있다.

상기 표시 수단은 스루 화상들(through images)을 표시하고, 상기 스루 화상들은, 상기 촬상 소자에 대하여 화소값 가산 또는 씨닝 판독(thinning reading)을 행하도록 지시함으로써 생성되는 리얼타임으로 촬상되는 화상들이다. 상기 선택 수단은 유저의 조작에 기초하여 상기 스루 화상들 중의 하나에서의 피사체를 선택할 수 있다. 상기 취득 수단은, 상기 선택 수단이 상기 스루 화상에서의 상기 피사체를 선택할 때, 상기 피사체까지의 거리를 취득할 수 있다. 상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 근거하는, 상기 선택 수단에 의해 상기 스루 화상에서 선택된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 화상에서의 블러를 보정할 수 있다.

상기 촬상 장치는, 상기 스루 화상으로부터 포커스된 스루 화상을 생성하는 생성 수단을 더 포함할 수 있고, 상기 포커스된 스루 화상은 상기 선택 수단에 의해 상기 스루 화상에서 선택된 상기 피사체에 포커스가 맞추어지도록 생성된다. 상기 표시 수단은 상기 생성 수단에 의해 생성된 상기 포커스된 스루 화상을 표시할 수 있다.

상기 촬상 소자는 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 상기 신호의 일부를 출력할 수 있고, 상기 신호의 일부는 상기 피사체까지의 거리에 관한 거리 정보로서 이용된다. 상기 취득 수단은 상기 촬상 소자로부터 출력되는 상기 거리 정보에 기초하여 상기 피사체까지의 거리를 취득할 수 있다.

상기 렌즈는, 무한히 멀리 있거나 먼 거리에 있는 오브젝트에 포커스를 맞추는 단초점 렌즈일 수 있다.

상기 렌즈는 줌 렌즈일 수 있고, 상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리와 상기 줌 렌즈의 줌 상태에 따른, 미리 얻어진 상기 광학계의 결상 특성에 기초하여 상기 촬상 화상에서의 블러를 보정할 수 있다.

상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 점상 강도 분포에 기초하여 상기 촬상 화상에서의 블러를 보정할 수 있다.

상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 선상 강도 분포에 기초하여 상기 촬상 화상에서의 블러를 보정할 수 있다.

상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 광학 전달 함수(optical transfer function)에 기초하여 상기 촬상 화상에서의 블러를 보정할 수 있다.

본 발명의 일 실시예에 따른 촬상 방법은, 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계, 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자, 상기 피사체까지의 거리를 취득하는 취득 수단, 및 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 보정 수단을 포함하는 촬상 장치에 이용된다. 상기 방법은, 상기 취득 수단을 이용하여 상기 피사체까지의 거리를 취득하는 단계, 및 상기 보정 수단을 이용하여, 상기 취득하는 단계에서 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 단계를 포함한다.

본 발명의 일 실시예에 따른 프로그램은, 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계, 및 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자를 포함하는 촬상 장치에서의 촬상 처리를 실행하도록 컴퓨터에 지시한다. 상기 프로그램은, 상기 컴퓨터가, 상기 피사체까지의 거리의 취득을 제어하는 취득 제어 단계, 및 상기 취득 제어 단계에서 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 보정 단계를 실행하도록 지시한다.

본 발명의 다른 실시예에 있어서, 피사체까지의 거리가 취득되고, 취득된 상기 피사체까지의 거리에 따른 광학계의 결상 특성에 기초하여, 촬상 소자로부터 출력되는 촬상 화상에서의 블러가 보정된다.

본 발명의 임의의 실시예들에 의하면, 감축된 연산량으로, 포커스된 화상이 생성될 수 있다.

도 1은 본 발명을 적용한 촬상 장치의 실시예의 구성을 도시하는 블럭도이다.
도 2는 거리 측정 이미지 센서를 형성하는 화소들의 배열에 관하여 설명하기 위한 도면이다.
도 3은 촬상 장치의 기능 구성의 예를 도시하는 블럭도이다.
도 4는 촬상 처리를 설명하기 위한 흐름도이다.
도 5는 블러 보정 처리를 설명하기 위한 흐름도이다.
도 6은 촬상 처리의 다른 예를 설명하기 위한 흐름도이다.
도 7은 촬상 장치의 기능 구성의 다른 예를 도시하는 블럭도이다.
도 8은 도 7에 도시된 촬상 장치에 의해 행해지는 촬상 처리를 설명하기 위한 흐름도이다.
도 9는 촬상 장치의 기능 구성의 또 다른 예를 도시하는 블럭도이다.
도 10은 도 9에 도시된 촬상 장치에 의해 행해지는 촬상 처리를 설명하기 위한 흐름도이다.
도 11은 컴퓨터의 하드웨어 구성의 예를 도시하는 블럭도이다.

이하, 본 발명의 실시예들에 대해 도면을 참조하여 설명한다. 설명은 다음의 순서로 행한다.

1. 제1 실시예(단초점 렌즈(single focal length lens)가 제공되고, 셔터 조작에 응답하여 촬상되는 구성)

2. 제2 실시예(단초점 렌즈가 제공되고, 터치 조작에 응답하여 촬상되는 구성)

3. 제3 실시예(줌 렌즈(zoom lens)가 제공되고, 셔터 조작에 응답하여 촬상되는 구성)

<1. 제1 실시예>

[촬상 장치의 구성]

도 1은 본 발명을 적용한 촬상 장치의 실시예의 구성을 도시한다.

도 1에 도시된 촬상 장치(11)는, 예를 들면, 디지털 스틸 카메라로서 구성되어, 유저의 조작에 따라, 피사체를 촬상하고, 피사체의 촬상 화상(정지 화상)을 저장하고, 촬상된 화상을 유저에게 제시한다.

촬상 장치(11)는, 예를 들면, 적어도 다음과 같은 조작 모드에서, 즉, 피사체를 촬상하고, 촬상된 화상을 기록하는 촬상 모드와, 기록된 촬상 화상을 유저가 열람할 수 있는 화상 뷰잉 모드에서 동작한다. 촬상 장치(11)는, 유저의 셔터 조작에 의해 촬상 모드가 선택되면, 유저의 셔터 조작에 응답하여 피사체를 촬상하고, 촬상된 화상을 기록한다. 촬상 장치(11)는, 유저의 조작에 의해 화상 뷰잉 모드가 선택되면, 기록되어 있는 촬상 화상 중에서 원하는 촬상 화상을 유저가 선택하게 해주고, 선택된 촬상 화상을 표시한다.

도 1에 도시된 촬상 장치(11)는 광학계(31), 거리 측정 이미지 센서(32), A/D(analog to digital) 컨버터(33), 타이밍 발생기(34), 화상 처리기(35), 카메라 신호 처리기(36), 메모리(37), 모니터(38), 조작 유닛(39), 제어기(40), 및 거리 측정 보조광 발광기(41)를 포함한다.

광학계(31)는 피사체를 촬상한 상을 거리 측정 이미지 센서(32)에 공급한다.

광학계(31)는 렌즈(31a) 및 조리개(31b)를 포함하고, 렌즈(31a)를 통해 입사되는 피사체로부터의 광량을 조절하여, 그 결과의 광이 거리 측정 이미지 센서(32)에 입사되게 해준다.

광학계(31)는, 렌즈(31a)를 통해 입사되는 피사체로부터의 광에 대응하는 상이 결성되는 위치를 조정할 필요가 없다. 즉, 렌즈(31a)는 단초점 거리를 갖고, 렌즈(31a)로부터 2m, 4m, 또는 다른 거리에 위치한 원격의 점(멀리 있는 오브젝트)이나 또는 무한히 멀리 있는 점에도 포커스를 맞추도록 설계된 단안 렌즈(monocular lens)이다. 조리개(31b)는 렌즈(31a)를 통해 거리 측정 이미지 센서(32)에 입사되는 광량을 조절한다.

거리 측정 이미지 센서(32)는 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서, 또는 임의의 다른 적합한 센서이고, 피사체를 촬상하여 그 결과의 화상 신호를 출력한다.

즉, 거리 측정 이미지 센서(32)는, 광학계(31)를 통해 입사되는 광을 수광하고, 광전 변환 처리에서 그 광을 수광량에 따른 전기 신호 형태의 화상 신호(아날로그 신호)로 변환하고, 화상 신호를 A/D 컨버터(33)에 공급한다.

또한, 거리 측정 이미지 센서(32)는, 렌즈(31a)를 통해 입사되는 피사체로부터의 광에 대응하는 신호의 일부를, 촬상 장치(11)와 피사체 사이의 거리를 나타내는 거리 정보(아날로그 신호)로서 A/D 컨버터(33)에 공급한다.

이제, 도 2를 참조하여, 거리 측정 이미지 센서(32)를 형성하는 화소들의 배열에 관해 설명한다.

일반적인 이미지 센서는, G(그린) 화소들이 바둑판 패턴(checkerboard pattern)으로 배열되고, G 화소들 사이에 R(레드)과 B(블루) 화소들이 배치되도록, 화소들에 R, G, 및 B의 컬러가 할당되는, 소위, 베이어(Bayer) 레이아웃을 채택한다.

도 2에 도시된 거리 측정 이미지 센서(32)는, 일반적인 이미지 센서에 있어서의 바둑판 패턴으로 배열된 Ｇ 화소들의 절반 정도(인접하는 2×2(=4)개의 RGBG 화소들로 이루어진 각 세트 중의 Ｇ화소)가 거리 측정을 위한 화소들로서(도 2에 블랙으로 칠해짐) 사용되도록 구성된다.

거리 측정 이미지 센서(32)는, 후술할 거리 측정 보조광 발광기(41)로부터 피사체에 투사되어, 피사체로부터 반사되고, 거리 측정용 화소들에 입사되는 광을 수광한다. 거리 측정 이미지 센서(32)는, 소위 TOF(time of flight) 방법을 사용하여, 광의 투사로부터 수광까지의 시간에 기초하여 피사체까지의 거리를 결정하고, 피사체까지의 거리를 나타내는 거리 정보를 출력한다.

즉, 거리 측정 이미지 센서(32)는, RGB의 화소들에 의해 생성된 화상 신호뿐만 아니라, 거리 측정용 화소들에 의해 생성된 거리 정보도 출력할 수 있다.

도 2에 도시된 거리 측정 이미지 센서(32)에 있어서, 4개의 화소 중 1개의 화소를 거리 측정용 화소로서 이용하고, 전체 RGB 화소들에 대한 거리 측정용 화소들의 비율을, 예를 들면 16개의 화소 중 1개로 임의로 설정한다. 또한, 거리 측정 이미지 센서(32)는, RGB 화소들과 거리 측정용 화소들로 형성된 단일(단일 패널) 센서(즉, 화소들이 1 칩화됨)이지만, 대안적으로 2개의 센서, 즉, 전술한 베이어 레이아웃을 채택한 이미지 센서와, 전체 화소들이 거리 측정용으로 이용되는 거리 측정 센서로 형성될 수도 있다. 이 경우, 거리 측정 센서에 있어서의 1화소는, 이미지 센서에 있어서의 1개의 화소, 4개의 화소, 또는 임의의 다른 개수의 화소에 대응하기만 하면 된다. 즉, 거리 측정 센서의 화소 수(화소 배치)는, 이미지 센서에 있어서의 화소 수(화소 배치)와 반드시 동일할 필요는 없다. 또한, 대안적으로, 거리 측정 이미지 센서(32)는, 3 패널의 센서일 수 있다. 구체적으로, RGB 이미지 센서 중 적어도 1개의 센서에 있어서, 예를 들면 인접하는 2×2(=4)개의 화소들 중 1개를 거리 측정용 화소로서 이용할 수 있다.

도 1을 다시 참조하여, 촬상 장치(11)의 구성을 설명한다. A/D 컨버터(33)는, 거리 측정 이미지 센서(32)로부터 공급된 아날로그 신호(화상 신호 및 거리 정보)를 디지털 신호로 변환하고, 디지털 신호를 화상 처리기(35)에 공급한다.

타이밍 발생기(34)는, 예를 들면, 거리 측정 이미지 센서(32)가 CCD 센서일 경우, 제어기(40)의 제어 하에 CCD를 구동하기 위한 타이밍 신호를 생성하고, 타이밍 신호를 거리 측정 이미지 센서(32) 및 A/D 컨버터(33)에 공급한다.

화상 처리기(35)는, A/D 컨버터(33)로부터의 디지털 신호(화상 신호)에 대하여, 제어기(40)의 제어 하에 소정의 화상 처리를 행하고, 처리된 신호를 카메라 신호 처리기(36)에 공급한다.

카메라 신호 처리기(36)는, 화상 처리기(35)로부터의 화상 신호에 대하여, 컬러 보정, 화이트 밸런스 조정, 계조 변환, 감마 보정, YC 변환, 및 압축 등의 각종 처리를 행하고, 처리된 신호를 메모리에 기록하고 모니터(38)에 표시한다.

조작 유닛(39)은 버튼, 다이얼, 레버, 모니터(38)에 라미네이트된 터치 패널, 및 다른 컴포넌트들로 형성되어, 유저의 조작 입력을 접수한다.

제어기(40)는 유저의 조작 입력을 나타내는 신호에 기초하여 촬상 장치(11)의 컴포넌트들을 제어한다.

거리 측정 보조광 발광기(41)는, 피사체에 의해 광이 반사되어, 도 2를 참조하여 설명된 거리 측정 이미지 센서(32)에 있어서의 거리 측정용 화소들에 의해 수광되는 광을 발광한다.

[촬상 장치의 기능 구성의 예]

다음에 도 3을 참조하여, 도 1에 도시된 촬상 장치(11)의 기능 구성의 예에 관하여 설명한다.

도 3에 도시된 촬상 장치(11)는 촬상부(51), 입력부(52), 입력 제어부(53), 촬상 제어부(54), 거리 정보 취득부(55), 표시 제어부(56), 표시부(57), 기록 제어부(58), 기록부(59), 및 블러 보정부(60)를 포함한다.

촬상부(51)는 렌즈(51a) 및 거리 측정 이미지 센서(51b)를 포함한다. 렌즈(51a) 및 거리 측정 이미지 센서(51b)는, 도 1에 도시된 렌즈(31a) 및 거리 측정 이미지 센서(32)와 동일하므로, 렌즈(51a) 및 거리 측정 이미지 센서(51b)의 상세한 설명은 생략한다. 렌즈(51a)에 입사된 피사체의 광은 거리 측정 이미지 센서(51b)에 포커스되고, 촬상부(51)는 결상된 피사체의 상을 실은 화상 신호를 촬상 제어부(54)에 공급할 뿐만 아니라, 결상된 피사체까지의 거리에 대한 거리 정보를 거리 정보 취득부(55)에 공급한다.

입력부(52)는 도 1에 도시된 조작 유닛(39)에 대응하고, 유저가 조작을 행할 때 조작 유닛(39)으로부터 입력을 접수하고, 유저의 조작(조작 신호)에 대응하는 입력을 나타내는 신호를 입력 제어부(53)에 공급한다.

입력 제어부(53)는, 입력부(52)로부터의 조작 신호에 대응하는 지시를 촬상 제어부(54) 및 거리 정보 취득부(55)에 공급한다.

촬상 제어부(54)는 촬상부(51)로부터의 화상 신호에 기초하여, 표시부(57)에 표시될 표시용 화상을 실은 화상 신호를 생성하고, 생성된 화상 신호를 표시 제어부(56)에 공급한다. 또한, 촬상 제어부(54)는, 입력 제어부(53)로부터의 지시에 따라, 촬상부(51)로부터의 화상 신호를 취득하고, 취득된 화상 신호를 기록 제어부(58)에 공급한다.

거리 정보 취득부(55)는, 입력 제어부(53)로부터의 지시에 따라, 촬상부(51)로부터의 거리 정보를 취득하고, 거리 정보를 기록 제어부(58)에 공급한다.

표시 제어부(56)는, 촬상 제어부(54)로부터의 표시용 화상을 실은 화상 신호에 기초하여, 표시부(57)에 표시용 화상을 표시한다. 대안적으로, 표시 제어부(56)는 기록 제어부(58)를 통해 기록부(59)로부터 공급되는(판독되는) 화상 신호에 실려있는 화상을 표시부(57)에 표시한다.

표시부(57)는, 도 1에 도시된 모니터(38)에 대응하고, 표시 제어부(56)의 제어 하에 화상을 표시한다.

기록 제어부(58)는 촬상 제어부(54)로부터의 화상 신호와, 거리 정보 취득부(55)로부터의 거리 정보를, 거리 측정 이미지 센서(51b)의 화소들 단위(예를 들면, 인접하는 4개의 화소 단위)로 관련시키고, 서로 관련된 화상 신호와 거리 정보를 기록부(59)에 기록한다. 대안적으로, 기록 제어부(58)는, 필요에 따라, 기록부(59)에 기록되어 있는 화상 신호와 거리 정보를 판독하고, 이들을 표시 제어부(56) 및 블러 보정부(60)에 공급한다.

기록부(59)는, 도 1에 도시된 메모리(37)에 대응하고, 기록 제어부(58)로부터의 화상 신호와 거리 정보를 기록한다. 필요에 따라, 기록 제어부(58)는 기록부(59)에 기록되어 있는 화상 신호와 거리 정보를 판독한다.

블러 보정부(60)는, 입력 제어부(53)로부터의 지시에 따라, 기록 제어부(58)로부터의 화상 신호에 실려있는 촬상 화상에 포함된 블러를 보정하고, 보정된 촬상 화상을 기록 제어부(58)에 공급한다. 기록 제어부(58)에 공급되는 블러 보정된 촬상 화상은 기록부(59)에 기록된다.

[촬상 장치에 의해 실행되는 촬상 처리]

다음에 도 4의 흐름도를 참조하여, 촬상 장치(11)에 의해 실행되는 촬상 처리에 관하여 설명한다.

예를 들면, 유저가 촬상 장치(11)를 턴온하고, 조작을 행하여 촬상 모드를 선택하면, 촬상 장치(11)는, 유저가 촬상할 수 있게 해주는, 촬상 모드에서 동작한다. 단계 S11에 있어서, 촬상 제어부(54)는, 리얼타임으로 촬상되는 화상인 스루 화상들을 표시부(57)에 표시하도록, 촬상부(51)를 제어한다.

구체적으로, 촬상 제어부(54)는, 거리 측정 이미지 센서(51b)에 지시하여, 화소값 가산 또는 씨닝 판독(thinning reading)을 행함으로써, 예를 들면 VGA(video graphics array) 사이즈의 표시용 화상을 실은 화상 신호(이하, 간단히 표시용 화상이라고 일컬음)를 생성하고, 화상 신호를 표시 제어부(56)에 공급한다. 표시 제어부(56)는, 촬상 제어부(54)로부터의 표시용 화상을 스루 화상으로서 표시부(57)에 표시한다. 이러한 방식으로, 유저는 표시부(57)에 리얼타임으로 표시되는 스루 화상들을 볼 수 있고, 촬상되는 화상의 구도를 결정할 수 있다.

단계 S12에 있어서, 입력 제어부(53)는, 유저가 셔터 조작을 행했는지의 여부, 즉, 셔터 버튼으로서 작용하는 입력부(52)를 유저가 압하했는지의 여부를 판정한다.

단계 S12에 있어서의 판정이, 셔터 조작이 행해지지 않았다는 것을 나타내는 경우, 제어는 단계 S11로 되돌아가고, 셔터 조작이 행해질 때까지 단계 S11 및 S12의 처리가 반복해서 실행된다.

반면, 단계 S12에 있어서의 판정이, 셔터 조작이 행해졌다는 것을 나타내는 경우, 입력 제어부(53)는, 입력부(52)를 통해 행해진 셔터 조작을 나타내는 조작 신호에 대응하는 지시를 촬상 제어부(54) 및 거리 정보 취득부(55)에 발행하고, 제어는 단계 S13으로 진행한다.

단계 S13에 있어서, 촬상 제어부(54)는 입력 제어부(53)로부터의 지시에 따라 촬상 처리를 행한다. 구체적으로, 촬상 제어부(54)는, 입력 제어부(53)가 촬상 제어부(54)에 지시를 발행할 때, 거리 측정 이미지 센서(51b)로부터 전체 화소값들을 판독함으로써, 예를 들면 풀 HD(full high definition) 사이즈의 촬상 화상을 실은 화상 신호(이하, 간단히 촬상 화상이라고 일컬음)를 생성하고, 촬상 화상을 기록 제어부(58)에 공급한다.

단계 S14에 있어서, 거리 정보 취득부(55)는, 입력 제어부(53)가 거리 정보 취득부(55)에 지시를 발행한 타이밍에, 거리 측정 이미지 센서(51b)로부터의 거리 정보를 취득하고, 거리 정보를 기록 제어부(58)에 공급한다.

단계 S13 및 S14에서의 처리들은 동시에 실행될 수 있다.

단계 S15에 있어서, 기록 제어부(58)는 촬상 제어부(54)로부터의 촬상 화상과, 거리 정보 취득부(55)로부터의 거리 정보를, 거리 측정 이미지 센서(51b)의 화소들 단위로 관련시키고, 서로 관련된 촬상 화상과 거리 정보를 기록부(59)에 기록한다.

도 2를 참조하여 설명한 바와 같이, 거리 측정 이미지 센서(51b)(거리 측정 이미지 센서(32))에 있어서의 인접하는 4개의 화소는, 전체적으로 화상 신호를 출력하는 RGB의 3개의 화소와 거리 측정용의 1화소로 형성된다. 이제, 인접하는 4개의 화소를 블럭이라고 한다. 각각의 블럭마다, 촬상 화상을 실은 화상 신호(이하, 화상 정보라고 일컬음) 및 거리 정보가 생성된다. 바꾸어 말하면, 촬상 화상에 있어서 각각의 블럭마다의 화상 정보와 거리 정보를, 촬상 화상에 있어서의 블럭의 위치를 나타내는 좌표들을 이용하여, 서로 관련시킨다.

전술한 섹션에서는, 각각의 블럭마다 화상 정보와 거리 정보는 서로 별개의 것으로서, 블럭의 좌표들을 이용하여 서로 관련지어진다. 대안적으로, 거리 정보는 각각의 블럭마다의 화상 정보에 포함될 수 있다.

또한, 전술한 섹션에서는, 인접하는 4개의 화소가 1개의 블럭을 형성한다. 1개의 블럭은 적어도 1개의 거리 측정용 화소를 포함하기만 하면 되고, 예를 들면, 인접하는 4×4=16개의 화소가 1개의 블럭을 형성할 수 있다.

단계 S16에 있어서, 입력 제어부(53)는 모드 전환 버튼, 전원 온/오프 버튼, 또는 다른 버튼(도시 생략)으로서 작용하는 입력부(52)에 대하여, 유저가 압하 조작을 행하여 촬상 모드를 종료하기 위한 지시를 발행했는지의 여부를 판정한다.

단계 S16에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되지 않은 것을 나타내는 경우, 제어는 단계 S11로 되돌아가고, 단계 S11 내지 S16의 처리들이 반복해서 실행된다.

반면, 단계 S16에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행된 것을 나타내는 경우, 촬상 처리는 종료한다.

전술한 처리들을 실행함으로써, 촬상 장치(11)는 유저의 셔터 조작에 응답하여, 유저가 원하는 구도의 촬상 화상을 기록할 수 있다. 렌즈(51a)(렌즈(31a))가 원격의 위치나 또는 무한히 먼 피사체에 포커를 맞추는 단초점 렌즈이기 때문에, 결과적인 촬상 화상은 포커스가 맞추어진 원격의 피사체를 포함한다. 촬상 화상은, 원격의 경치나 또는 임의의 다른 원격의 피사체를 포함하는 우수한 풍경 화상일 수 있다.

그러나, 전술한 처리들은, 일반적으로, 촬상 장치(11)에 가까이 있는 피사체의 포커스된 화상을 생성할 수 없거나, 또는 촬상 화상에 있어서, 촬상 장치(11)에 가까이 있는 피사체들이 모두 흐릿하다(blurred).

다음으로, 기록부(59)에 기록된 촬상 화상에 있어서, 유저에 의해 선택된 흐릿한 피사체를 보정하는 블러 보정 처리에 관하여 설명한다.

[촬상 장치에 의해 실행되는 블러 보정]

도 5는 촬상 장치(11)에 의해 실행되는 블러 보정을 설명하기 위한 흐름도이다.

예를 들면, 유저가 조작 유닛을 조작하여 화상 뷰잉 모드를 선택하면, 촬상 장치(11)는 화상 뷰잉 모드에서 동작하여, 유저가 기록된 촬상 화상을 열람할 수 있게 해주고, 표시부(57)는, 기록부(59)에 기록되어 있는 촬상 화상들에 대응하는 섬네일 화상들(thumbnail images)의 리스트를 표시한다. 섬네일 화상들은 그들이 블러 보정을 받았는지의 여부를 나타내는 아이콘들이 수반된다. 유저가 조작 유닛을 조작하여 섬네일 화상 리스트 중에서 블러 보정을 받지 않은 섬네일 화상을 선택하면, 블러 보정이 개시된다.

단계 S31에 있어서, 기록 제어부(58)는 기록부(59)에 기록되어 있는 촬상 화상 중에서 유저에 의해 선택된 섬네일 화상에 대응하는 촬상 화상과, 촬상 화상에 관련된 거리 정보를 기록부(59)로부터 판독한다. 기록 제어부(58)는, 이렇게 판독된 촬상 화상 및 거리 정보 중에서, 촬상 화상을 표시 제어부(56)에 공급하고, 촬상 화상 및 거리 정보 둘다를 블러 보정부(60)에 공급한다.

단계 S32에 있어서, 표시 제어부(56)는, 기록 제어부(58)로부터의 촬상 화상을 표시부(57)에 표시한다. 기록 제어부(58)로부터의 촬상 화상은 전술한 바와 같이 풀 HD 사이즈를 가지므로, 표시 제어부(56)는 기록 제어부(58)로부터의 촬상 화상을, 표시부(57)에 표시가능한 VGA 사이즈의 화상으로 해상도를 변환해서, 변환된 화상을 표시부(57)에 표시한다.

단계 S33에 있어서, 입력 제어부(53)는, 해상도가 변환되어 표시부(57)에 표시된 촬상 화상(이하, 표시용 촬상 화상이라고 일컬음)에 있어서의 소정의 피사체를 유저가 선택했는지의 여부를, 모니터(38)에 라미네이트된 터치 패널로서 작용하는 입력부(52)로부터의 조작 신호에 기초하여 판정한다.

단계 S33에 있어서의 판정이, 표시용 촬상 화상에 있어서의 피사체가 선택되지 않았다는 판정을 나타내는 경우, 입력 제어부(53)가 표시용 촬상 화상에 있어서의 소정의 피사체가 선택되었다고 판정할 때까지, 단계 S33의 처리가 반복해서 실행된다.

반면, 단계 S33에 있어서의 판정이, 표시용 촬상 화상에 있어서의 피사체가 선택되었다는 것을 나타내는 경우, 입력 제어부(53)는, 촬상 화상에 있어서의 좌표들에 관한 좌표 정보를 블러 보정부(60)에 공급한다. 좌표 정보는 터치 패널로서 작용하는 입력부(52)로부터의 조작 신호에 포함되고, 좌표들은 표시용 촬상 화상에 있어서 유저에 의해 선택된 피사체 부분에 대응하는 영역(블럭)을 나타낸다.

단계 S34에 있어서, 블러 보정부(60)는, 입력 제어부(53)로부터의 좌표 정보에 의해 나타내어지는 좌표들에 대응하는 기록 제어부(58)로부터의 거리 정보, 즉, 유저에 의해 선택된 피사체 부분에 연관된 거리 정보에 대응하는 렌즈(51a)의 결상 특성에 기초하여 기록 제어부(58)로부터의 촬상 화상에 있어서의 블러를 보정한다.

일반적으로, 촬상 화상에 포함된, 소정의 피사체 거리를 갖는 피사체의 블러의 분포는, 렌즈(51a)의 특성 및 피사체 거리에 따른 점상 강도 분포(point image intensity distribution)(점 확산 함수(point spread function: PSF))를 이용하여 모델화된다.

블러 보정부(60)는, 촬상 화상에 대하여 디컨볼루션(deconvolution)을 행함으로써 블러 보정을 행한다. 디컨볼루션은, 표시용 촬상 화상에 있어서 표시부(57)상에서 유저에 의해 터치(선택)된 영역에 대응하는 촬상 화상에 있어서의 영역(이하, 촬상 화상의 이 영역을 선택 영역이라고 일컬음)에 연관된 거리 정보(피사체 거리)에 따른 PSF를 이용해서 행해진다. 블러 보정부(60)는, 블러 보정된 촬상 화상을 기록 제어부(58)에 공급한다.

또한, 풀 HD 사이즈의 촬상 화상에 있어서, 선택 영역은, 예를 들면, 전술한 1개의 블럭에 대응할 수 있거나, 또는 복수의 블럭으로 형성되는 영역일 수 있다. 선택 영역이 복수의 블럭으로 형성되는 경우, PSF가 의존하는 거리 정보는, 복수의 블럭 중 실질적으로 중앙에 위치하는 블럭에 연관될 수 있거나, 또는 복수의 블럭에 연관된 거리 정보의 평균에 연관될 수 있다.

전술한 바와 같이, 촬상 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있기 때문에, 블러 보정부(60)는 모든 가능한 피사체 거리에 따른 PSF를 이용하여 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다.

단계 S35에 있어서, 기록 제어부(58)는, 블러 보정부(60)로부터의 블러 보정된 촬상 화상을 기록부(59)에 기록한다.

전술한 처리들에 있어서, 피사체 거리에 대한 거리 정보에 관련된 촬상 화상에 있어서 소정의 피사체가 선택되고, 선택된 피사체 부분에 연관된 거리 정보에 대응하는 렌즈의 결상 특성에 기초하여, 촬상 화상에 대하여 블러 보정이 행해진다. 즉, 촬상 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있기 때문에, 촬상 장치는 모든 가능한 피사체 거리에 따른 PSF를 이용하여 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다. 그 결과, 촬상 장치는, 자동 포커싱이나 또는 달리 피사체에 포커스를 맞추는 것을 행하지 않고, 감축된 연산량으로, 포커스된 화상을 생성할 수 있다.

이상에 있어서는, 촬상 화상에 대하여 블러 보정을 행할 때, 블러 보정부(60)는 거리 정보에 대응하는 렌즈(51a)의 결상 특성으로서 PSF(점 확산 함수(point spread function))를 이용한다. 대안적으로, 렌즈(51a)의 결상 특성은 선 확산 함수(line spread function(LSF))이거나 점 확산 함수에 대해 2차원 푸리에(Fourier) 변환을 행하여 얻은 광학 전달 함수(optical transfer function(OTF))이어도 된다. OTF는 공간 주파수 도메인에 있어서 화상의 열화 정도를 나타내는 함수이다.

또한, 대안적으로, 도 4의 흐름도를 참조하여 설명된 촬상 처리를 실행함으로써 제공되는 촬상 화상이, 기록 매체 또는 임의의 다른 적합한 매체(도시 생략) 등을 통해, 퍼스널 컴퓨터 등과 같은 화상 처리 장치에 공급될 수 있고, 화상 처리 장치에 있어서, 전술한 블러 보정이 행해질 수 있다. 이 경우에, 화상 처리 장치는, 도 1에 도시된 촬상 장치(11)에 있어서의 촬상부(51), 촬상 제어부(54), 및 거리 정보 취득부(55)를 포함하지 않는다. 이러한 구성의 화상 처리 장치에 의해 실행되는 블러 보정에 있어서, 표시부(57)에 표시되는 표시용 촬상 화상은 풀 HD 사이즈인 화상으로 남아있을 수 있고, 피사체 선택은 터치 패널에 대한 유저의 터치 조작 대신에 마우스 클릭 조작에 의해 행해질 수 있다.

또한, 이상의 설명에 있어서는, 촬상 장치(11)에 있어서, 촬상 모드가 화상 뷰잉 모드로 전환되는 경우, 유저가 촬상 화상의 섬네일 리스트 중에서 블러 보정을 받지 않은 촬상 화상을 선택할 때, 블러 보정이 행해진다. 대안적으로, 블러 보정은, 촬상 모드가 화상 뷰잉 모드를 포함하는 다른 모드들로 전환될 때, 자동적으로 실행될 수 있다.

[촬상 장치에 의해 실행되는 촬상 처리의 다른 예]

다음으로, 도 6을 참조하여, 촬상 모드가 종료된 후, 자동적으로 블러 보정이 행해지는 촬상 처리에 관하여 설명한다.

도 6의 흐름도의 단계 S71 내지 S76의 처리들은 도 4의 흐름도의 단계 S11 내지 S16의 처리들과 기본적으로 동일하고, 도 6의 흐름도의 단계 S78 내지 S81의 처리들은 도 5의 흐름도의 단계 S32 내지 S35의 처리들과 기본적으로 동일하다. 그러므로, 도 6의 상기 단계들의 설명은 생략한다.

즉, 단계 S71 내지 S75의 처리들에 있어서, 촬상 화상과 거리 정보는 서로 관련되어져서 기록되고, 단계 S76에 있어서, 모드 전환 버튼(도시 생략)으로서 작용하는 입력부(52)에 대하여 유저가 압하 조작을 실행하여 촬상 모드를 종료하기 위한 지시가 발행되었는지의 여부가 판정된다.

단계 S76에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되었다는 것을 나타내는 경우, 제어는 단계 S77로 진행된다.

단계 S77에 있어서, 기록 제어부(58)는, 단계 S71 내지 S75의 처리들에 의해 촬상되어 기록부(59)에 기록된 촬상 화상들 중에서, 시간 축을 따라 가장 일찍 기록(촬상)되었던 촬상 화상과, 그 촬상 화상에 관련된 거리 정보를 기록부(59)로부터 판독한다. 기록 제어부(58)는, 판독된 촬상 화상 및 거리 정보 중에서, 촬상 화상을 표시 제어부(56)에 공급하고, 촬상 화상 및 거리 정보 둘 다를 블러 보정부(60)에 공급한다.

단계 S78 내지 S81의 처리들에 있어서, 블러 보정된 촬상 화상이 기록부(59)에 기록된 후, 단계 S82에서, 기록 제어부(58)는, 단계 S71 내지 S75의 처리들에 의해 촬상되어 기록된 모든 촬상 화상들에 대하여 블러 보정이 행해졌는지의 여부를 판정한다.

단계 S82에 있어서의 판정이, 모든 촬상 화상들이 처리되지는 않았다는 것을 나타내는 경우, 제어는 단계 S77로 되돌아가고, 남아있는 촬상 화상들에 대하여 촬상 시간의 내림 차순으로 단계 S77 및 그 이후의 단계들의 처리들이 반복해서 실행된다.

반면, 단계 S82에 있어서의 판정이, 모든 촬상 화상들이 처리되었다는 것을 나타내는 경우, 촬상 처리는 종료한다.

전술한 처리들에 있어서, 피사체 거리에 관한 거리 정보에 관련된 촬상 화상에 있어서의 소정의 피사체가 선택되고, 선택된 피사체 부분에 연관된 거리 정보에 대응하는 렌즈의 결상 특성에 기초하여 촬상 화상의 블러가 보정된다. 즉, 촬상 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있기 때문에, 촬상 장치는 모든 가능한 피사체 거리에 따른 PSF를 이용하여 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다. 그 결과, 촬상 장치는 자동 포커싱, 또는 달리 피사체에 포커스를 맞추는 것을 행하지 않고, 감축된 연산량으로, 포커스된 화상을 생성할 수 있다.

이상, 이미 얻어진 촬상 화상에 있어서, 유저가 포커스를 맞추고 싶은 피사체를 선택하는 구성을 참조하여 설명했다. 대안적으로, 촬상 전의 스루 화상에 있어서, 유저가 포커스를 맞추고 싶은 피사체를 선택할 수도 있다.

<2. 제2 실시예>

[촬상 장치의 기능 구성의 예]

도 7은 촬상 전의 스루 화상에 있어서, 유저가 포커스를 맞추고 싶은 피사체를 선택하도록 구성된 촬상 장치의 기능 구성의 예를 도시한다.

촬상 장치(111)는 촬상부(51), 입력부(52), 입력 제어부(53), 촬상 제어부(54), 거리 정보 취득부(55), 표시 제어부(56), 표시부(57), 기록부(59), 블러 보정부(60), 포커스된 화상 생성부(151), 및 기록 제어부(152)를 포함한다.

도 7에 도시된 촬상 장치(111)에 있어서, 도 3의 촬상 장치(11)에 제공된 컴포넌트들과 동일한 기능을 갖는 컴포넌트들은, 동일한 명칭 및 동일한 참조 부호를 가지며, 그 컴포넌트들에 대한 설명은 적당하게 생략한다.

즉, 도 7에 도시된 촬상 장치(111)가, 도 3에 도시된 촬상 장치(11)와 다른 것은, 포커스된 화상 생성부(151)가 새롭게 제공되고, 기록 제어부(58)가 기록 제어부(152)로 대체된다는 것이다.

포커스된 화상 생성부(151)는, 입력 제어부(53)로부터의 지시에 따라, 촬상 제어부(54)로부터의 표시용 화상과, 거리 정보 취득부(55)로부터의 거리 정보에 기초하여, 표시용 포커스된 화상을 생성한다. 표시용 포커스된 화상은, 표시용 화상에 있어서 유저에 의해 선택된 피사체에 포커스가 맞추어지도록 생성된다. 그 후, 포커스된 화상 생성부(151)는 표시용 포커스된 화상을 표시 제어부(56) 및 기록 제어부(152)에 공급한다.

기록 제어부(152)는, 촬상 제어부(54)로부터의 화상 신호와, 거리 정보 취득부(55)로부터의 거리 정보를, 거리 측정 이미지 센서(51b)의 화소들 단위로 관련시킬 뿐만 아니라, 표시용 포커스된 화상 신호와, 화상 신호 및 거리 정보를 관련시키고, 서로 관련된 화상 신호, 거리 정보, 및 표시용 포커스된 화상을 기록부(59)에 기록한다. 기록 제어부(152)는, 필요에 따라, 기록부(59)에 기록되어 있는 화상 신호, 거리 정보, 및 표시용 포커스된 화상을 판독하고, 이들을 표시 제어부(56) 및 블러 보정부(60)에 공급한다.

[촬상 장치에 의해 실행되는 촬상 처리]

다음으로, 도 8의 흐름도를 참조하여, 촬상 장치(111)에 의해 실행되는 촬상 처리에 관하여 설명한다.

예를 들면, 유저가 촬상 장치(111)를 턴온하고, 조작을 행하여 촬상 모드를 선택하면, 촬상 장치(111)는, 유저가 촬상할 수 있게 해주는 촬상 모드에서 동작한다. 단계 S111에 있어서, 촬상 제어부(54)는, 리얼타임으로 촬상된 화상인 스루 화상들을 표시부(57)에 표시하도록, 촬상부(51)를 제어한다.

구체적으로, 촬상 제어부(54)는, 거리 측정 이미지 센서(51b)에 지시하여, 화소값 가산 또는 씨닝 판독을 행함으로써, 예를 들면 VGA 사이즈의 표시용 화상을 생성하고, 표시용 화상을 표시 제어부(56)에 공급한다. 표시 제어부(56)는, 촬상 제어부(54)로부터의 표시용 화상을, 스루 화상으로서 표시부(57)에 표시한다.

단계 S112에 있어서, 입력 제어부(53)는, 표시부(57)에 표시된 표시용 화상에 있어서의 소정의 피사체를 유저가 선택했는지의 여부를, 모니터(38)에 라미네이트된 터치 패널로서 작용하는 입력부(52)로부터의 조작 신호에 기초하여 판정한다.

단계 S112에 있어서의 판정이, 표시용 화상에 있어서의 피사체가 선택되지 않았다는 것을 나타내는 경우, 입력 제어부(53)가 표시용 화상에 있어서 소정의 피사체가 선택되었다고 판정할 때까지, 단계 S111 및 S112의 처리가 반복해서 실행된다.

반면, 단계 S112에 있어서의 판정이, 표시용 화상에 있어서의 피사체가 선택되었다는 것을 나타내는 경우, 입력 제어부(53)는, 터치 패널로서 작용하는 입력부(52)로부터의 피사체 선택 조작을 나타내는 조작 신호에 대응하는 지시를 촬상 제어부(54)와 거리 정보 취득부(55)에 발행한다. 또한, 입력 제어부(53)는, 조작 신호에 포함되고, 표시용 화상에 있어서의, 유저에 의해 선택된 피사체 부분의 좌표들을 나타내는 좌표 정보를 포커스된 화상 생성부(151)에 공급한다.

단계 S113에 있어서, 촬상 제어부(54)는, 입력 제어부(53)로부터의 지시에 따라, 촬상 처리를 행한다. 구체적으로, 촬상 제어부(54)는, 전술한 바와 같이 표시용 화상을 생성할 뿐만 아니라, 입력 제어부(53)가 촬상 제어부(54)에 지시를 공급하는 타이밍에, 거리 측정 이미지 센서(51b)로부터 전체 화소값들을 판독하여, 예를 들면, 풀 HD 사이즈의 촬상 화상을 생성하고, 기록 제어부(152)에 촬상 화상을 공급한다.

단계 S114에 있어서, 거리 정보 취득부(55)는, 입력 제어부(53)가 거리 정보 취득부(55)에 지시를 발행하는 타이밍에, 거리 측정 이미지 센서(51b)로부터의 거리 정보를 취득하고, 거리 정보를 포커스된 화상 생성부(151) 및 기록 제어부(152)에 공급한다.

단계 S115에 있어서, 포커스된 화상 생성부(151)는, 입력 제어부(53)가 좌표 정보를 포커스된 화상 생성부(151)에 공급하는 타이밍에, 촬상 제어부(54)에 의해 생성된 표시용 화상을 취득한다.

단계 S116에 있어서, 포커스된 화상 생성부(151)는, 입력 제어부(53)로부터의 좌표 정보 및 거리 정보 취득부(55)로부터의 거리 정보에 기초하여, 촬상 제어부(54)로부터 취득한 표시용 화상을 이용하여, 표시용 화상에 있어서의 유저에 의해 선택된 피사체 부분에 포커스가 맞추어진 표시용 포커스된 화상을 생성한다.

구체적으로, 포커스된 화상 생성부(151)는, 표시용 화상에 대하여 디컨볼루션을 행함으로써 블러 보정을 행한다. 디컨볼루션은, 표시용 화상에 있어서 표시부(57)상에서 유저에 의해 터치(선택)된 영역에 대응하는 촬상 화상에 있어서의 선택 영역에 연관된 거리 정보(피사체 거리)에 따른 PSF를 이용하여 행해진다. 포커스된 화상 생성부(151)는, 블러 보정된 표시용 화상인 표시용 포커스된 화상을 표시 제어부(56) 및 기록 제어부(152)에 공급한다. 표시용 포커스된 화상에, 유저에 의해 터치된 영역(피사체 부분)을 나타내는 좌표 정보가 부가된다는 것에 유의한다.

단계 S117에 있어서, 표시 제어부(56)는, 포커스된 화상 생성부(151)로부터의 표시용 포커스된 화상을 표시부(57)에 표시한다.

단계 S113과 S114의 처리들, 그리고 단계 S115 내지 S117의 처리들은 동시에 실행될 수 있다.

단계 S118에 있어서, 기록 제어부(152)는, 촬상 제어부(54)로부터의 촬상 화상, 거리 정보 취득부(55)로부터의 거리 정보, 및 포커스된 화상 생성부(151)로부터의 표시용 포커스된 화상을, 거리 측정 이미지 센서(51b)의 화소들 단위로 서로 관련시키고, 서로 관련된 촬상 화상, 거리 정보, 및 표시용 포커스된 화상을 기록부(59)에 기록한다.

표시용 포커스된 화상은, 거리 측정 이미지 센서(51b)(거리 측정 이미지 센서(32))에 지시하여 화소값 가산 또는 씨닝 판독을 행하여 생성되었기 때문에, 표시용 포커스된 화상에 있어서의 1개의 화소는, 거리 측정 이미지 센서(51b)(거리 측정 이미지 센서(32))로부터 전체 화소값들을 판독하여 생성된 촬상 화상에 있어서의 소정 개수의 블럭(소정 개수의 화소)에 관련된다.

단계 S119에 있어서, 입력 제어부(53)는, 모드 전환 버튼(도시 생략)으로서 작용하는 입력부(52)에 대하여 유저가 압하 조작을 행하는지의 여부를 판정하여, 촬상 모드를 종료하기 위한 지시를 발행한다.

단계 S119에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되지 않았다는 것을 나타내는 경우, 제어는 단계 S111로 되돌아가고, 단계 S111 내지 S119의 처리들이 반복해서 실행된다.

반면, 단계 S119에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되었다는 것을 나타내는 경우, 제어는 단계 S120으로 진행한다.

단계 S120에 있어서, 기록 제어부(152)는, 단계 S111 내지 S118의 처리들에 의해 촬상되어 기록부(59)에 기록되어 있는 촬상 화상 중에서, 시간 축을 따라 가장 일찍 기록(촬상)되었던 촬상 화상과, 그 촬상 화상에 관련된 거리 정보 및 표시용 포커스된 화상을 기록부(59)로부터 판독한다. 기록 제어부(152)는, 이렇게 판독된 촬상 화상, 거리 정보, 및 표시용 포커스된 화상을 블러 보정부(60)에 공급한다.

단계 S121에 있어서, 블러 보정부(60)는, 기록 제어부(152)로부터의 표시용 포커스된 화상에 부가되어 있는 좌표 정보에 의해 나타내어지는 좌표들에 대응하는, 기록 제어부(152)로부터의 거리 정보, 즉, 유저에 의해 선택된 피사체 부분에 연관된 거리 정보에 대응하는 렌즈(51a)의 결상 특성에 기초하여 기록 제어부(152)로부터의 촬상 화상에 있어서의 블러를 보정한다.

구체적으로, 블러 보정부(60)는, 촬상 화상에 대하여 디컨볼루션을 행함으로써 블러 보정을 행한다. 디컨볼루션은, 표시용 포커스된 화상에 부가되어 있는 좌표 정보에 의해 나타내어지는 표시용 포커스된 화상에 있어서의 영역에 대응하는 촬상 화상에 있어서의 선택 영역에 연관된 거리 정보(피사체 거리)에 따른 PSF를 이용해서 행해진다. 블러 보정부(60)는, 블러 보정된 촬상 화상을 기록 제어부(152)에 공급한다.

전술한 바와 같이, 표시용 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있기 때문에, 블러 보정부(60)는 모든 가능한 피사체 거리에 따른 PSF를 이용하여 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다.

단계 S122에 있어서, 기록 제어부(152)는, 블러 보정부(60)로부터의 블러 보정된 촬상 화상을 기록부(59)에 기록한다.

단계 S123에 있어서, 기록 제어부(152)는, 단계 S111 내지 S118의 처리들에 의해 촬상되어 기록된 모든 촬상 화상들에 대하여 블러 보정이 행해졌는지의 여부를 판정한다.

단계 S123에 있어서의 판정이, 모든 촬상 화상들이 처리되지는 않았다는 것을 나타내는 경우, 제어는 단계 S120으로 되돌아가고, 남아있는 촬상 화상들에 대하여 촬상 시간의 내림 차순으로, 단계 S120 및 그 이후의 단계들의 처리들이 반복해서 실행된다.

반면, 단계 S123에 있어서의 판정이, 모든 촬상 화상들이 처리되었다는 것을 나타내는 경우, 촬상 처리는 종료한다.

이상의 처리들에 있어서, 표시용 화상(스루 화상)에 있어서 소정의 피사체가 선택되면, 피사체까지의 거리에 관한 거리 정보에 관련된 촬상 화상이 취득되고(촬상되고), 표시용 화상에 있어서 선택된 피사체 부분에 대응하는, 촬상 화상에 있어서의 영역에 연관된 거리 정보에 대응하는 렌즈의 결상 특성에 기초하여 촬상 화상에 있어서의 블러가 보정된다. 즉, 표시용 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있기 때문에, 촬상 장치는 모든 가능한 피사체 거리에 따른 PSF를 이용하여 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다. 그 결과, 촬상 장치는, 자동 포커싱, 또는 달리 피사체에 포커스를 맞추는 것을 행하지 않고, 감축된 연산량으로, 포커스된 화상을 생성할 수 있다.

또한, 표시용 화상에 있어서 피사체가 선택되면, 화소값 가산 또는 씨닝 판독을 행함으로써 생성되었던 표시용 화상에 대하여 블러 보정이 행해지고, 그 결과의 표시용 포커스된 화상이 표시된다. 그러나, 이 처리에서의 연산량은, 전체 화소값들을 판독하여 생성된 촬상 화상에 대하여 블러 보정이 행해지는 경우에 일반적으로 필요로 되는 연산량보다 적다. 또한, 촬상 모드(단계 S111 내지 S118) 동안, 촬상 화상에 대해 블러 보정이 행해지지 않고, 촬상 화상 및 거리 정보가 기록부(59)에 기록될 뿐이므로, 촬상 처리가 리얼타임으로 실행되고, 따라서 유저는 스루 화상들을 보면서 연속적으로 촬상할 수 있다. 촬상 모드 동안, 촬상 장치가 고부하의 처리를 실행하지 않을 경우에는, 촬상 모드의 처리와 동시에, 촬상 화상에 대한 블러 보정이 행해질 수 있다.

이상, 표시용 화상에 있어서, 유저가 피사체를 선택하고, 피사체에 포커스가 맞추어진 촬상 화상이 생성되는 구성을 참조하여 설명했다. 대안적으로, 촬상 제어부(54)에, 얼굴 인식, 사람 인식, 또는 임의의 다른 피사체 인식 기능이 제공되어, 표시용 화상에 있어서의 피사체에 얼굴 인식 또는 사람 인식이 행해질 수 있고, 피사체에 포커스가 맞추어진 촬상 화상이 생성될 수 있다.

또한, 이상에 있어서는, 촬상부(51)의 렌즈(51a)로서 단초점 렌즈를 이용하는 구성을 참조하여 설명했다. 이하에 있어서는, 촬상부(51)의 렌즈로서 줌 렌즈를 이용하는 구성을 참조하여 설명한다.

<3. 제3 실시예>

[촬상 장치의 기능 구성의 예]

도 9는 촬상부(51)의 렌즈로서 줌 렌즈를 이용하는 촬상 장치의 기능 구성의 예를 도시한다.

촬상 장치(211)는 촬상부(51), 입력부(52), 입력 제어부(53), 촬상 제어부(54), 거리 정보 취득부(55), 표시 제어부(56), 표시부(57), 기록 제어부(58), 기록부(59), 줌 정보 취득부(231), 블러 보정부(232), 및 블러 보정 데이터 저장부(233)를 포함한다. 또한, 촬상부(51)는 거리 측정 이미지 센서(51b) 및 줌 렌즈(234)를 포함한다.

도 9에 도시된 촬상 장치(211)에 있어서, 도 3에 도시된 촬상 장치(11)에 제공된 컴포넌트들과 동일한 기능을 갖는 컴포넌트들은, 동일한 명칭 및 동일한 참조 부호를 가지며, 그 컴포넌트들에 대한 설명은 적당하게 생략한다.

즉, 도 9에 도시된 촬상 장치(211)에 있어서, 도 3에 도시된 촬상 장치(11)와 다른 것은, 줌 정보 취득부(231) 및 블러 보정 데이터 저장부(233)가 새롭게 제공되고, 렌즈(51a) 및 블러 보정부(60)가 줌 렌즈(234) 및 블러 보정부(232)로 대체된다는 것이다.

줌 정보 취득부(231)는, 입력 제어부(53)로부터의 지시에 따라, 촬상부(51)에 있어서의 줌 렌즈(234)의 줌 배율에 관한 줌 정보를 촬상부(51)로부터 취득하고, 줌 정보를 블러 보정부(232)에 공급한다.

블러 보정부(232)는, 입력 제어부(53)로부터의 지시에 따라 블러 보정 데이터 저장부(233)로부터 블러 보정 데이터를 판독하고, 블러 보정 데이터는 줌 정보 취득부(231)로부터의 줌 정보에 대응한다. 블러 보정부(232)는 이렇게 판독된 블러 보정 데이터를 이용하여, 기록 제어부(58)로부터의 촬상 화상에 포함된 블러를 보정하고, 블러 보정된 촬상 화상을 기록 제어부(58)에 공급한다. 기록 제어부(58)에 공급된 블러 보정된 촬상 화상은 기록부(59)에 기록된다.

블러 보정 데이터 저장부(233)는, 예를 들면 플래시 메모리로 형성되며, 미리 준비되고 줌 정보에 대응하는 블러 보정 데이터를 저장한다. 블러 보정부(232)는, 블러 보정 데이터 저장부(233)에 저장되어 있는 블러 보정 데이터를 필요에 따라 판독한다.

줌 렌즈(234)는 입력 제어부(53)로부터의 지시에 기초하여 구동되고, 줌 렌즈(234)의 위치에 기초하여 줌 배율이 결정된다. 즉, 줌 정보 취득부(231)에 의해 취득되는 줌 정보는, 줌 렌즈(234)의 위치에 대응한다.

[촬상 장치에 의해 실행되는 촬상 처리]

다음으로, 도 10의 흐름도를 참조하여, 촬상 장치(211)에 의해 실행되는 촬상 처리에 관하여 설명한다.

도 10의 흐름도의 단계 S211 내지 S214의 처리들은, 도 6의 흐름도의 단계 S71 내지 S74의 처리들과 기본적으로 동일하므로, 도 10의 상기 처리들의 설명은 생략한다.

도 10의 단계 S212에 있어서의 판정이, 셔터 조작이 행해졌다는 것을 나타내는 경우, 입력 제어부(53)는, 입력부(52)를 통해 실행되는 셔터 조작을 나타내는 조작 신호에 대응하는 지시를, 촬상 제어부(54), 거리 정보 취득부(55), 및 줌 정보 취득부(231)에 발행한다.

단계 S215에 있어서, 줌 정보 취득부(231)는, 입력 제어부(53)가 줌 정보 취득부(231)에 지시를 발행한 타이밍에, 촬상부(51)에 있어서의 줌 렌즈(234)에 연관된 줌 정보를 취득하고, 줌 정보 취득부(231)는 줌 정보를 기록 제어부(58)에 공급한다.

단계 S216에 있어서, 기록 제어부(58)는, 촬상 제어부(54)로부터의 촬상 화상과, 거리 정보 취득부(55)로부터의 거리 정보를, 거리 측정 이미지 센서(51b)의 화소들 단위로 관련시킬 뿐만 아니라, 줌 정보와, 촬상 화상 및 거리 정보를 관련시키고, 그런 다음 서로 관련된 촬상 화상, 거리 정보, 및 줌 정보를 기록부(59)에 기록한다.

단계 S217에 있어서, 입력 제어부(53)는, 모드 전환 버튼(도시 생략)으로서 작용하는 입력부(52)에 대하여, 유저가 압하 조작을 행하여, 촬상 모드를 종료하기 위한 지시를 발행하였는지의 여부를 판정한다.

단계 S217에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되지 않았다는 것을 나타내는 경우, 제어는 단계 S211로 되돌아가고, 단계 S211 내지 S217의 처리들이 반복해서 실행된다.

반면, 단계 S217에 있어서의 판정이, 촬상 모드를 종료하기 위한 지시가 발행되었다는 것을 나타내는 경우, 제어는 단계 S218로 진행한다.

단계 S218에 있어서, 기록 제어부(58)는, 단계 S211 내지 S216의 처리들에 의해 촬상되어 기록부(59)에 기록되어 있는 촬상 화상 중에서, 시간 축을 따라 가장 일찍 기록되었던 촬상 화상과, 그 촬상 화상에 관련된 거리 정보 및 줌 정보를 기록부(59)로부터 판독한다. 기록 제어부(58)는, 이렇게 판독된 촬상 화상, 거리 정보, 및 줌 정보 중에서, 촬상 화상을 표시 제어부(56)에 공급하고, 촬상 화상, 거리 정보, 및 줌 정보를 블러 보정부(232)에 공급한다.

단계 S219에 있어서, 표시 제어부(56)는 기록 제어부(58)로부터의 촬상 화상을 표시부(57)에 표시한다. 기록 제어부(58)로부터의 촬상 화상은, 전술한 바와 같이 풀 HD 사이즈를 가지기 때문에, 표시 제어부(56)는, 기록 제어부(58)로부터의 촬상 화상을, 표시부(57)에 표시가능한 VGA 사이즈의 화상으로 해상도를 변환해서, 변환된 화상을 표시부(57)에 표시한다.

단계 S220에 있어서, 입력 제어부(53)는, 해상도가 변환되어 표시부(57)에 표시된 표시용 촬상 화상에 있어서의 소정의 피사체를, 유저가 선택했는지의 여부를, 모니터(38)에 라미네이트된 터치 패널로서 작용하는 입력부(52)로부터의 조작 신호에 기초하여 판정한다.

단계 S220에 있어서의 판정이, 표시용 촬상 화상에 있어서의 피사체가 선택되지 않았다는 것을 나타내는 경우, 입력 제어부(53)가 표시용 촬상 화상에 있어서의 소정의 피사체가 선택되었다고 판정할 때까지, 단계 S220의 처리가 반복해서 실행된다.

반면, 단계 S220에 있어서의 판정이, 표시용 촬상 화상에 있어서의 피사체가 선택되었다는 것을 나타내는 경우, 입력 제어부(53)는 촬상 화상에 있어서의 좌표들에 관한 좌표 정보를 블러 보정부(232)에 공급한다. 좌표 정보는 터치 패널로서 작용하는 입력부(52)로부터의 조작 신호에 포함되어 있고, 좌표들은 표시용 촬상 화상에 있어서 유저에 의해 선택된 피사체 부분에 대응하는 영역(블럭)을 나타낸다.

단계 S221에 있어서, 블러 보정부(232)는, 입력 제어부(53)로부터의 좌표 정보에 의해 나타내어지는 좌표들에 대응하는, 기록 제어부(58)로부터의 거리 정보, 즉, 유저에 의해 선택된 피사체 부분에 연관된 거리 정보에 대응할 뿐만 아니라, 기록 제어부(58)로부터의 줌 정보에도 대응하는 줌 렌즈(234)의 결상 특성에 기초하여 기록 제어부(58)로부터의 촬상 화상에 있어서의 블러를 보정한다.

구체적으로, 우선, 블러 보정부(232)는, 기록 제어부(58)로부터의 줌 정보에 대응하는 블러 보정 데이터를 블러 보정 데이터 저장부(233)로부터 판독한다. 구체적으로, 블러 보정 데이터 저장부(233)에 저장되어 있는 블러 보정 데이터는, 예를 들면, 미리 준비된, 소정의 렌즈 위치마다의 줌 렌즈(234)의 PSF에 관한 데이터(PSF 데이터)이다. 즉, 이 처리에서는, 줌 정보에 의해 나타내어지는 줌 배율을 실현하는 줌 렌즈(234)의 위치에 대응하는 PSF 데이터가 판독된다.

PSF 데이터는, 반드시 연속적인 렌즈 위치들(줌 배율들)에 대하여 준비될 필요는 없고, 이산적인 줌 배율들에 대하여 준비될 수 있다. 소정의 줌 정보에 의해 나타내어지는 줌 배율에 대응하는 PSF 데이터가, 블러 보정 데이터의 형태로 준비되어 있지 않은 경우, 준비되어 있는 PSF 데이터를 선형 보간하거나 또는 달리 처리함으로써, 대응하는 PSF 데이터가 결정될 수 있다.

그런 다음, 블러 보정부(232)는, 촬상 화상에 대하여 디컨볼루션을 행함으로써 블러 보정을 행한다. 디컨볼루션은, 블러 보정 데이터 저장부(233)로부터 판독한 PSF 데이터에 의해 표현되며, 표시용 촬상 화상에 있어서 표시부(57)상에서 유저에 의해 터치(선택)된 영역에 대응하는 촬상 화상에 있어서의 선택 영역에 연관된 거리 정보(피사체 거리)에 따른 PSF를 이용해서 행해진다. 블러 보정부(232)는, 블러 보정된 촬상 화상을 기록 제어부(58)에 공급한다.

단계 S222에 있어서, 기록 제어부(58)는, 블러 보정부(232)로부터의 블러 보정된 촬상 화상을 기록부(59)에 기록한다.

단계 S223에 있어서, 기록 제어부(58)는, 단계 S211 내지 S216의 처리들에 의해 촬상되어 기록된 모든 촬상 화상들에 대하여 블러 보정이 행해졌는지의 여부를 판정한다.

단계 S223에 있어서의 판정이, 모든 촬상 화상들이 처리되지는 않았다는 것을 나타내는 경우, 제어는 단계 S218로 되돌아가고, 남아있는 촬상 화상들에 대하여 촬상 시간의 내림 차순으로, 단계 S218 및 그 이후의 단계들의 처리들이 반복해서 실행된다.

반면, 단계 S223에 있어서의 판정이, 모든 촬상 화상들이 처리되었다는 것을 나타내는 경우, 처리는 종료한다.

이상의 처리들에 있어서, 피사체 거리에 대한 거리 정보에 관련된 촬상 화상에 있어서, 소정의 피사체가 선택되고, 선택된 피사체 부분에 연관된 거리 정보뿐만 아니라, 또 줌 렌즈에 연관된 줌 정보에 대응하는 줌 렌즈의 결상 특성에 기초하여 촬상 화상에 있어서의 블러가 보정된다. 즉, 촬상 화상에 있어서 선택된 피사체(유저가 포커스를 맞추고 싶은 피사체)까지의 거리를 거리 정보의 형태로 미리 알고 있고, 또한 줌 렌즈에 연관된 줌 정보(줌 배율)에 대응하는 PSF가 미리 준비되어 있기 때문에, 촬상 장치는 모든 가능한 피사체 거리에 따른 PSF를 이용하여, 각각의 피사체 거리에 대해, 촬상 화상에 대하여 디컨볼루션을 행할 필요없이, 블러 보정을 행할 수 있다. 그 결과, 줌 렌즈를 포함하는 촬상 장치도, 자동 포커싱, 또는 달리 피사체에 포커스를 맞추는 것을 행하지 않고, 감축된 연산량으로, 포커스된 화상을 생성할 수 있다.

이상의 설명에 있어서, 단안 렌즈를 포함하는 촬상 장치에 있어서는, TOF(time of flight) 방법을 이용하여 거리 측정 이미지 센서(51b)(거리 측정 이미지 센서(32))에 의해 피사체까지의 거리가 결정된다. 전술한 구성이 반드시 이용될 필요는 없고, 피사체까지의 거리를 결정하기 위한 다른 적합한 구성으로 대체될 수도 있다.

예를 들면, 우렌즈 및 좌렌즈(양안 렌즈)를 포함하고, 그 렌즈들의 광축들이 서로 평행한 촬상 장치에 있어서는, 피사체를 촬상 장치의 중앙 선(2개의 광축 사이의 중앙 선)에 배치하고, 2개의 렌즈를 통해 결상되는 피사체 상들의 위치 차이에 기초하여 피사체까지의 거리가 결정될 수 있다.

또한, 이상에 있어서, 촬상 장치는, 정지 화상을 촬상하는 디지털 스틸 카메라인 구성을 참조하여 설명했다. 대안적으로, 촬상 장치는, 비디오 화상을 촬상하는 디지털 비디오 캠코더 등일 수 있다. 이 경우, 피사체가 선택될 때 촬상 화상에 대해 블러 보정이 행해진다.

또한, 이상에 있어서, 촬상 장치에 제공되는 광학계(31)는, 렌즈(31a)를 통해 입사되는 피사체의 광에 대응하는 상이 결상되는 위치를 조정할 필요가 없는 경우를 참조하여 설명했다. 대안적으로, 촬상 장치는 다음의 2개의 동작 모드, 즉 초점 위치를 조정할 필요가 없는 제1 모드와, 소위 자동 포커싱이 행해지는 제2 모드를 가질 수 있고, 동작 모드가 제1 모드와 제2 모드 간에 전환될 수 있다. 이 경우, 전술한 촬상 처리는, 촬상 장치가 제1 모드에서 동작할 경우에 실행된다.

전술한 일련의 처리들은, 하드웨어나 또는 소프트웨어를 이용하여 실행될 수 있다. 일련의 처리들이 소프트웨어를 이용하여 실행될 경우, 소프트웨어를 형성하는 프로그램은, 전용의 하드웨어에 통합된 컴퓨터, 또는 예를 들면, 각종 프로그램이 인스톨되어 각종 기능을 제공하는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 11은 전술한 일련의 처리들을 프로그램의 형태로 실행하는 컴퓨터의 하드웨어 구성의 예를 도시하는 블럭도이다.

컴퓨터는, 버스(904)에 의해 서로 접속된 CPU(central processing unit)(901), ROM(read only memory)(902), 및 RAM(random access memory)(903)을 포함한다.

또한, 버스(904)에는 입력/출력 인터페이스(905)도 접속된다. 입력/출력 인터페이스(905)에는 다음의 컴포넌트들, 즉, 키보드, 마우스, 마이크로폰, 및 다른 디바이스들로 형성된 입력부(906)와, 디스플레이, 스피커, 및 다른 디바이스로 형성된 출력부(907)와, 하드 디스크 드라이브, 비휘발성의 메모리, 및 다른 디바이스들로 형성된 저장부(908)와, 네트워크 인터페이스 및 다른 디바이스들로 형성된 통신부(909)와, 자기 디스크, 광 디스크, 광자기 디스크, 및 반도체 메모리 등과 같은 리무버블 매체(911)를 구동하는 드라이브(910)가 접속된다.

이렇게 구성되는 컴퓨터에서는, CPU(901)가, 예를 들면 저장부(908)에 저장되어 있는 프로그램을 입력/출력 인터페이스(905) 및 버스(904)를 통해 RAM(903)에 로드해서 프로그램을 실행함으로써, 전술한 일련의 처리들을 실행한다.

컴퓨터(CPU(901))에 의해 실행되는 프로그램은, 예를 들면 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(compact disk-read only memory), DVD(digital versatile disk)), 광자기 디스크, 및 반도체 메모리 등으로 형성되는 패키지 매체인 리무버블 매체(911)에 기록되어 있을 수 있다. 프로그램은, 또한, 근거리 통신망(local area network), 인터넷, 및 디지털 위성 방송 등과 같은 유선 또는 무선의 전송 매체를 통해 제공될 수 있다.

전술한 형태들 중 임의의 형태로 제공되는 프로그램은, 리무버블 매체(911)를 드라이브(910)에 로딩하여, 입력/출력 인터페이스(905)를 통해 저장부(908)에 인스톨될 수 있다. 대안적으로, 프로그램은 유선 또는 무선 전송 매체를 통해, 통신부(909)에 의해 수신하여, 저장부(908)에 인스톨될 수 있다. 또 대안적으로, 프로그램은 ROM(902)이나 저장부(908)에 미리 인스톨될 수 있다.

컴퓨터에 의해 실행되는 프로그램은, 본 명세서에서 설명된 시계열 순서로 처리들이 연속해서 실행되는 프로그램일 수 있거나, 또는 동시에 처리들이 실행되거나, 또는 필요한 타이밍에, 예를 들면, 각각의 처리가 호출될 때, 그 처리가 실행되는 프로그램일 수 있다.

본 발명의 실시예들은 전술한 실시예들로 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 여러 가지의 변경들이 이루어질 수 있다.

본 발명은 2010년 8월 26일자로 출원된 일본 우선권 특허 출원 제2010-189302호에 개시된 내용에 관한 요지를 포함하고, 그 전체 내용은 본 명세서에 참조로 원용된다.

당업자는, 첨부된 청구항들 및 그 등가물의 범위 내에서, 설계 요건들 및 다른 요인들에 따라 각종 변형, 조합, 서브-조합, 및 변경들이 발생할 수 있다는 것을 이해할 것이다.

11: 촬상 장치
51: 촬상부
51a: 렌즈
51b: 거리 측정 이미지 센서
54: 촬상 제어부
55: 거리 정보 취득부
56: 표시 제어부
57: 표시부
58: 기록 제어부
59: 기록부
60: 블러 보정부
111: 촬상 장치
151: 포커스된 화상 생성부
152: 기록 제어부
211: 촬상 장치
231: 줌 정보 취득부
232: 블러 보정부
233: 블러 보정 데이터 저장부
234: 줌 렌즈

Claims (12)

1. 촬상 장치로서,
   렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계,
   상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자,
   상기 피사체까지의 거리를 취득하는 취득 수단, 및
   상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러(blur)를 보정하는 보정 수단을 포함하는, 촬상 장치.
2. 제1항에 있어서,
   상기 촬상 화상을 표시하는 표시 수단, 및
   유저의 조작에 기초하여, 상기 표시 수단에 표시된 상기 촬상 화상에서의 피사체를 선택하는 선택 수단을 더 포함하고,
   상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 근거하는, 상기 선택 수단에 의해 선택된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
3. 제2항에 있어서,
   상기 표시 수단은 스루 화상들(through images)을 표시하고, 상기 스루 화상들은, 상기 촬상 소자에 대하여 화소값 가산 또는 씨닝 판독(thinning reading)을 행하도록 지시함으로써 생성되는 리얼타임으로 촬상되는 화상들이며,
   상기 선택 수단은 유저의 조작에 기초하여 상기 스루 화상들 중의 하나에서의 피사체를 선택하고,
   상기 취득 수단은, 상기 선택 수단이 상기 스루 화상에서의 상기 피사체를 선택할 때, 상기 피사체까지의 거리를 취득하고,
   상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 근거하는, 상기 선택 수단에 의해 상기 스루 화상에서 선택된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
4. 제3항에 있어서,
   상기 스루 화상으로부터 포커스된 스루 화상을 생성하는 생성 수단을 더 포함하고, 상기 포커스된 스루 화상은 상기 선택 수단에 의해 상기 스루 화상에서 선택된 상기 피사체에 포커스가 맞추어지도록 생성되고,
   상기 표시 수단은 상기 생성 수단에 의해 생성된 상기 포커스된 스루 화상을 표시하는, 촬상 장치.
5. 제1항에 있어서,
   상기 촬상 소자는 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 상기 신호의 일부를 출력하고, 상기 신호의 일부는 상기 피사체까지의 거리에 관한 거리 정보로서 이용되고,
   상기 취득 수단은 상기 촬상 소자로부터 출력되는 상기 거리 정보에 기초하여 상기 피사체까지의 거리를 취득하는, 촬상 장치.
6. 제1항에 있어서,
   상기 렌즈는 무한히 멀리 있거나 먼 거리에 있는 오브젝트에 포커스를 맞추는 단초점 렌즈인, 촬상 장치.
7. 제1항에 있어서,
   상기 렌즈는 줌 렌즈이고,
   상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리와 상기 줌 렌즈의 줌 상태에 따른, 미리 얻어진 상기 광학계의 결상 특성에 기초하여 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
8. 제1항에 있어서,
   상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 점상 강도 분포에 기초하여 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
9. 제1항에 있어서,
   상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 선상 강도 분포에 기초하여 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
10. 제1항에 있어서,
    상기 보정 수단은, 상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 광학 전달 함수(optical transfer function)에 기초하여 상기 촬상 화상에서의 블러를 보정하는, 촬상 장치.
11. 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계,
    상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자,
    상기 피사체까지의 거리를 취득하는 취득 수단, 및
    상기 취득 수단에 의해 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 보정 수단을 포함하는 촬상 장치에 이용되는 촬상 방법으로서,
    상기 취득 수단을 이용하여 상기 피사체까지의 거리를 취득하는 단계, 및
    상기 보정 수단을 이용하여, 상기 취득하는 단계에서 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 단계를 포함하는, 촬상 방법.
12. 렌즈를 통해 입사되는 피사체의 광에 대응하는 상을 결상하는 광학계, 및 상기 렌즈를 통해 입사되는 상기 피사체의 광에 대응하는 신호를 생성하고 그 신호를 촬상 화상으로서 출력하는 촬상 소자를 포함하는 촬상 장치에서의 촬상 처리를 실행하도록 컴퓨터에 지시하는 프로그램으로서,
    상기 프로그램은, 상기 컴퓨터가,
    상기 피사체까지의 거리의 취득을 제어하는 취득 제어 단계, 및
    상기 취득 제어 단계에서 취득된 상기 피사체까지의 거리에 따른 상기 광학계의 결상 특성에 기초하여, 상기 촬상 소자로부터 출력되는 상기 촬상 화상에서의 블러를 보정하는 보정 단계를 실행하도록 지시하는, 프로그램.

Images