KR101297524B1 - 이미지에서의 흐림 검출에 대한 응답 - Google Patents

Abstract

이미지에서 흐릿한 관심 영역들의 검출에 응답하는 시스템 및 방법이 개시된다. 하나의 실시형태는, 디지털 이미지 캡처링 디바이스에 의해 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하기 위한 영역 로케이터를 포함한다. 또한, 그 실시형태는 관심 영역이 흐릿한지를 검출하는 흐릿한 영역 검출기를 포함한다. 흐릿한 영역 표시기는 흐릿한 영역이 검출되었을 때 사용자에게 표시한다. 흐릿한 영역이 검출되면, 디스플레이 인터페이스는 검출된 흐릿한 영역의 확대된 이미지를 제공한다. 일부 실시형태는 장면을 어떻게 다시 캡처할지에 대한 권고를 개선된 결과들과 함께 제공한다.

Description

이미지에서의 흐림 검출에 대한 응답{RESPONSE TO DETECTION OF BLUR IN AN IMAGE}

본 개시물은 일반적으로 이미지에서의 흐림 검출에 관한 것이다.

예를 들어, 카메라 폰과 같은 카메라 또는 다른 이미지 캡처링 디바이스는 자동 포커스 능력들 및 핸드 지터 (hand jitter) 감소 특징들을 제공하여 사용자가 양호한 사진을 찍는데 도움을 줄 수도 있다. 그럼에도 불구하고, 때때로 사진이 흐릿할 수도 있고 또는 사용자가 포커스를 맞추기를 원하는 사진에서의 영역이 포커스가 맞지 않을 수도 있다. 일부의 종래 카메라에서, 카메라 상의 액티브 디스플레이에는 사용자가 찍으려고 하는 사진의 품질이 사용자가 양호하다고 생각하게 하기 위해 카메라에 의해 "보여지는" 이미지가 나타난다. 그러나, 때때로, 그것은 캡처될 전체 장면의 디스플레이를 뷰잉할 때 액티브 디스플레이의 사이즈에 비해 작은 관심 영역이 포커스가 맞지 않은 경우를 알려주기 어려울 수도 있다. 이 때문에, 더 큰 디스플레이를 갖는 데스크톱 컴퓨터 또는 랩톱으로 사진이 전송된 후에, 친구와 공유하거나 프린트될 사진의 품질이 너무 열악하다는 것을 사진을 찍은 사용자가 단지 나중에 발견하는 것이 통상적이다.

여기에서의 실시형태들은 흐릿한 안면과 같은 이미지의 흐릿한 영역을 검출하고, 사용자가 흐릿한 영역을 더욱 뚜렷하게 뷰잉할 수 있도록 흐릿한 영역의 클로즈업을 디스플레이 상에 디스플레이하기 위한 방법들 및 디바이스들을 제공한다. 일부 실시형태에서, 몇몇 검출된 흐릿한 영역의 클로즈업이 디스플레이되는 것 뿐만 아니라, 비교를 위해 선명한 것으로 결정된 영역이, 흐릿한 영역 다음에 디스플레이될 수도 있다. 흐릿한 영역의 클로즈업을 디스플레이하는 것은, 디바이스의 사용자가, 흐릿한 영역이 장면 내에 존재하는 것을 더욱 뚜렷하게 볼 수 있게 하고 사진을 다시 찍는 것을 정할 수 있게 한다. 여기에 설명된 실시형태들은 사진 캡처링 디바이스의 액티브 디스플레이 상에서 양호하게 보이는 사진을 찍은 후에만 사진에서 흐릿한 영역이 존재한다는 것을 발견하는 사용자의 문제를 극복한다. 관심 영역을 위치결정하고 그 영역이 흐릿한지를 결정하기 위해 그 영역을 분석하기 위한 알고리즘들의 완료시에 흐릿한 영역이 검출되는 경우 통지가 사용자에게 제공될 수도 있다.

특정 실시형태에서, 이미지의 흐릿한 영역의 클로즈업을 검출 및 디스플레이하기 위한 장치가 개시된다. 그 장치는 디지털 이미지 캡처링 디바이스에 의해 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하기 위한 영역 로케이터를 포함한다. 그 장치는 또한 위치결정된 하나 이상의 영역들이 흐릿한 경우를 검출하기 위한 흐림 검출기를 포함한다. 예를 들어, 흐림 검출기는 위치결정된 영역에서 검출된 하드 에지들에 대한 소프트 에지들의 비에 기초하여, 위치결정된 영역이 "너무 흐릿한" 것으로 결정할 수도 있다. 그 장치는 흐림 검출기에 응답하여, 흐릿한 영역의 검출에 응답하여 신호를 생성하기 위한 표시기를 더 포함한다. 그 장치는 또한, 흐릿한 영역의 확대된 이미지를 디스플레이 디바이스에 제공하기 위한 디스플레이 인터페이스를 포함한다.

또 다른 특정 실시형태에서, 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하는 단계를 포함하는 방법이 개시된다. 그 방법은 또한, 위치결정된 관심 영역들 중에 하나 이상의 흐릿한 영역들을 검출하는 단계를 포함한다. 그 방법은 제 1 흐릿한 영역을 검출한 것에 응답하여 사용자 통지 신호를 생성하는 단계, 및 디스플레이 디바이스에 의해 디스플레이될 제 1 흐릿한 영역의 확대된 이미지를 생성하는 단계를 더 포함한다.

또 다른 특정 실시형태에서, 컴퓨터 판독가능한 유형의 매체는, 컴퓨터로 하여금, 이미지의 흐릿한 영역을 검출하게 하는 컴퓨터 코드를 포함한다. 그 컴퓨터 코드는 또한, 컴퓨터로 하여금, 검출된 흐릿한 영역의 통지를 제공하게 하고, 컴퓨터로 하여금, 검출된 흐릿한 영역의 확대된 이미지의 디스플레이를 개시하게 한다.

또 다른 특정 실시형태에서, 장치는 디지털화된 이미지의 흐릿한 영역을 검출하는 수단을 포함한다. 그 장치는 검출하는 수단에 응답하여, 검출된 흐릿한 영역의 통지를 생성하는 수단을 더 포함한다. 그 장치는 또한, 검출된 흐릿한 영역의 확대된 이미지의 디스플레이를 개시하는 수단을 포함한다.

따라서, 개시된 실시형태들에 의해 제공되는 하나의 특정한 이점은, 사용자가 더욱 뚜렷하게 뷰잉할 수 있는, 검출된 흐릿한 영역의 확대된 뷰를 제시하는 것이다.

본 개시물의 다른 양태들, 이점들, 및 특징들은, 도면의 간단한 설명, 상세한 설명, 및 특허청구범위를 포함하는 다음의 섹션들을 포함하는 전체 명세서를 검토한 후에 명백해질 것이다.

도 1 은 이미지 캡처링 및 프로세싱 시스템의 일 실시형태의 블록도이다.
도 2 는 흐릿한 영역들을 검출하는 카메라의 일 실시형태의 블록도이다.
도 3 은 하드 에지와 소프트 에지 및 에지가 하드하거나 소프트한 것으로 특성화하는데 사용되는 선분들의 기울기들의 일 실시형태의 예시이다.
도 4 는 이미지를 캡처하고 이미지가 흐릿한 영역을 포함하는지를 결정하는 방법의 일 실시형태의 흐름도이다.
도 5 는 비교를 위해 흐릿한 안면들 및 선명한 안면을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다.
도 6 은 이미지의 흐릿한 영역들을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다.
도 7 은 이미지의 흐릿한 영역들을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다.
도 8 은 이미지에서의 흐릿한 영역들을 평가하기 위한 일 실시형태의 흐름도이다.
도 9 는 임계값을 특정함으로써 사용자가 카메라를 튜닝하는 것을 허용하는 그래픽 사용자 인터페이스의 일 실시형태의 도면이다.
도 10 은 흐림 검출기 및 검출된 흐릿한 영역의 확대된 이미지를 디스플레이하기 위한 디스플레이를 갖는 무선 통신 디바이스의 일 실시형태의 블록도이다.

도 1 은 관심 영역 로케이터 (118) 및 흐림 검출기 (122) 를 갖는 이미지 프로세싱 시스템 (130) 을 포함하는 이미지 캡처링 및 프로세싱 시스템의 일 실시형태의 블록도이다. 시스템 (100) 은 이미지 프로세싱 시스템 (130) 에 커플링된 이미지 캡처 디바이스 (101) 를 포함한다. 이미지 프로세싱 시스템 (130) 은 이미지 저장 디바이스 (140) 에 커플링된다. 이미지 프로세싱 시스템 (130) 은, 이미지 캡처 디바이스 (101) 로부터 이미지 데이터 (109) 를 수신하고, 이미지의 영역을 검출하는 것 및 영역이 흐릿한지를 결정하는 것을 포함하는 이미지 데이터 (109) 에 대한 동작들을 수행함으로써, 수신된 이미지 데이터 (109) 를 프로세싱하도록 구성된다. 일반적으로, 시스템 (100) 은 비교적 한정된 프로세싱 리소스들을 사용하여 실시간 이미지 프로세싱을 수행하도록 구성된 전자 디바이스에서 구현될 수도 있다.

특정 실시형태에서, 이미지 캡처 디바이스 (101) 는 비디오 카메라 또는 스틸 카메라와 같은 카메라이다. 다른 실시형태들에서, 이미지 캡처 디바이스 (101) 는 셀룰러 전화, 개인 휴대 정보 단말기 (PDA), 또는 다른 휴대용 전자 디바이스에 포함된 카메라일 수도 있다. 이미지 캡처 디바이스 (101) 는 포커싱 (focusing) 모듈 (104) 에 응답하고 노광 모듈 (106) 에 응답하는 렌즈 (102) 를 포함한다. 센서 (108) 는 렌즈 (102) 를 통해 광을 수신하고, 렌즈 (102) 를 통해 수신된 이미지에 응답하여 이미지 데이터 (109) 를 생성한다. 포커싱 모듈 (104) 은 센서 (108) 에 응답할 수도 있고, 렌즈 (102) 의 포커싱을 자동으로 제어하도록 구성될 수도 있다. 또한, 노광 모듈 (106) 은 센서 (108) 에 응답할 수도 있고, 이미지의 노광을 자동으로 제어하도록 구성될 수도 있다. 특정 실시형태에서, 센서 (108) 는 적절한 검출기들이 광의 상이한 색들을 검출하도록 배치된 다수의 검출기들, 또는 픽셀 웰 (pixel well) 들을 포함한다. 예를 들어, 수신된 광이 필터링되어 각각의 검출기가 레드, 그린, 또는 블루의 인커밍 광을 수신하도록 할 수도 있다.

이미지 캡처 디바이스 (101) 는 이미지 데이터 (109) 를 이미지 프로세싱 시스템 (130) 에 제공한다. 이미지 프로세싱 시스템 (130) 은 이미지 캡처 디바이스 (101) 로부터 수신된 이미지 데이터 (109) 에 대해 디모자이크 (demosaic) 동작을 수행하기 위한 디모자이크 모듈 (110) 을 포함한다. 색 보정 모듈 (112) 은 디모자이크된 이미지 데이터 상에 색 보정을 수행하도록 구성된다. 감마 모듈 (114) 은 색 보정 모듈 (112) 로부터 수신된 데이터로부터 감마 보정된 이미지 데이터를 생성하도록 구성된다. 색 변환 모듈 (116) 은 감마 보정된 이미지 데이터에 대한 색 공간 변환을 수행하고, 결과적인 이미지 데이터를 관심 영역 로케이터 (118) 에 제공하도록 커플링된다. 압축 및 저장 모듈 (120) 은 흐림 검출기 (122) 의 출력을 수신하고, 압축된 출력 데이터를 이미지 저장 디바이스 (140) 에 저장하도록 커플링된다. 이미지 저장 디바이스 (140) 는 하나 이상의 디스플레이 버퍼들, 레지스터들, 캐시들, 플래시 메모리 엘리먼트들, 하드 디스크들, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합과 같은, 임의의 타입의 저장 매체를 포함할 수도 있다.

관심 영역 로케이터 (118) 는 사진에서 관심 영역을 검출하기 위한 알고리즘을 실행하도록 구성된다. 더욱 상세하게는, 특정 실시형태에서, 관심 영역 로케이터 (118) 가 위치결정한 영역은 안면 검출기 (119) 에 의해 검출되는 안면일 수도 있다. 또한, 특정 실시형태에서, 관심 영역 로케이터 (118) 는 서브 영역 격리기 (121) 를 포함한다. 서브 영역 격리기 (121) 는 관심 영역 로케이터 (118) 에 의해 발견된 관심 영역 내에 하나 이상의 서브 영역들의 격리를 제공할 수도 있다. 예를 들어, 관심 영역 로케이터 (118) 가 우선 안면을 위치결정할 수도 있다. 그 후에, 서브 영역 격리기 (121) 는 관심 있는 서브 영역으로서 안면의 눈 주위의 영역을 격리할 수도 있다. 따라서, 일부 실시형태에서, 관심 영역 로케이터 (118) 는 안면을 위치결정하고, 일부 실시형태에서는 관심 영역 로케이터 (118) 가 눈 또는 입과 같은 안면의 특정 부분을 위치결정한다.

흐림 검출기 (122) 는 이미지 데이터에서의 흐릿한 영역을 검출하도록 동작한다. 흐림 검출기 (122) 는 관심 영역 로케이터 (118) 에 의해 위치결정된 영역들 중 어떤 영역이 흐릿한지를 검출한다. 흐림 검출기 (122) 는 위치결정된 영역을 서브 영역들로 세그먼트화할 수도 있고 각각의 서브 영역이 흐릿한지 여부를 결정할 수도 있다. 또 다른 실시형태에서, 흐림 검출기 (122) 는 영역을 서브 영역들로 세그먼트화하지 않는다. 오히려, 영역이 전체로서 분석될 수도 있다. 이미지의 흐릿한 영역이 검출되는 경우, 흐릿한 영역 크로퍼 (cropper) (124) 가 흐릿한 영역을 크로핑하여, 흐릿한 영역이 디스플레이 및 사용자 통지자 (126) 에 의해 "클로즈업" 하여 디스플레이될 수도 있도록 한다. 즉, 이용가능한 디스플레이 면적의 실질적으로 더 큰 면적에는 크로핑된 흐릿한 영역이 차지할 수도 있다. 흐릿한 영역의 클로즈업을 디스플레이하는 것은, 디스플레이의 뷰를 차지하는 전체 장면의 경우보다 사용자가 흐릿한 영역을 더 뚜렷하게 볼 수 있게 한다. 따라서, 흐릿한 영역의 확대된 이미지가 디스플레이될 수도 있다. 일부 실시형태에서, 흐림 검출기 (122) 는 흐릿한 영역들의 검출을 불능화하기 위한 불능화 메커니즘 (123) 을 포함한다. 흐림 검출기 (122) 를 불능화하는 것은 이미지 프로세싱 시스템 (130) 에 의해 소모되는 전력을 절약할 수도 있다.

디스플레이 및 사용자 통지자 (126) 는 카메라의 사용자에게 흐릿한 영역이 검출된 것을 통지하도록 구성될 수도 있다. 통지는, 예를 들어, 사운드, 광, 진동, 또는 흐릿한 영역이 검출되었다고 하는 진술문 (statement) 을 포함할 수도 있다. 압축 및 저장 유닛 (120) 으로 이미지가 통과되고, 그 압축 및 저장 유닛 (120) 은 사용자 선택기 (128) 에 응답한다. 사용자 선택기 (128) 는 사용자가 이미지를 유지 또는 폐기하기를 바라는지를 표시한 사용자로부터의 입력을 수신하도록 구성된다. 또한, 일부 실시형태에서, 사용자 선택기 (128) 는 흐릿한 영역의 검출을 위해 사용자가 임계값을 조정하는 것을 허용할 수도 있다. 사용자가 이미지를 유지하는 것을 선택하는 경우, 압축 및 저장 유닛 (120) 으로 신호가 전송되어 압축 및 저장 유닛 (120) 으로 하여금 이미지를 압축하게 하고 그 이미지를 이미지 저장 디바이스 (140) 에 저장하게 한다.

따라서, 특정 실시형태에서, 이미지 프로세싱 시스템 (130) 은 안면과 같은 관심 영역을 검출하기 위한 알고리즘을 실행한다. 이미지 프로세싱 시스템 (130) 은 또한, 검출된 관심 영역들 중에 흐릿한 영역을 검출하기 위한 알고리즘을 실행한다. 예를 들어, 포커스가 맞지 않는 안면은 이미지의 뷰어에게 특히 불쾌할 수도 있다. 더욱 상세하게는, 눈이 포커스가 맞는지 여부가 뷰잉 경험의 질에 영향을 줄 수도 있다. 위치결정된 영역이 흐릿한지를 결정하기 위해, 위치결정된 영역이 분석된다. 위치결정된 영역이 흐릿한 경우, 그 영역이 이미지 프로세싱 시스템 (130) 에 의해 크로핑되고 디스플레이에 제시된다. 전체 장면이 디스플레이된 경우에 흐릿한 영역이 차지할 수 있는 것보다 디스플레이의 훨씬 더 큰 면적을 차지하도록 흐릿한 영역이 디스플레이된다.

도 2 는 흐릿한 영역들을 검출하는 카메라 (200) 의 일 실시형태의 블록도이다. 카메라 (200) 는 조리개 (201), 렌즈 (202), 이미지 캡처 컴포넌트 (204), 및 저장부 (206) 를 포함한다. 이미지 캡처 컴포넌트 (204) 는 전하 커플링 디바이스를 포함할 수도 있다. 카메라 (200) 는 흐림 검출기 (208), 흐릿한 영역 표시기 (220) 및 흐릿한 영역 디스플레이 (222) 를 더 포함한다. 조리개 (201) 는 카메라 (200) 에 입사하는 광량을 조정한다. 이미지 캡처 컴포넌트 (204) 는 렌즈 (202) 를 통과한 이미지에 응답하여 이미지를 저장부 (206) 에 저장될 전자 신호들로 변환한다.

특정 실시형태에서, 관심 영역 로케이터 (210) 는 흐림 검출기 (208) 의 컴포넌트이다. 관심 영역 로케이터 (210) 는 카메라 (200) 에 의해 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하도록 구성된다. 관심 영역 로케이터 (210) 는 관심 영역을 위치결정하기 위해 당업계에 공지되었거나 또는 개발될 복수의 검출 알고리즘들 중 하나를 구현할 수도 있다. 일부 실시형태에서, 관심 영역은 안면일 수 있다. 따라서, 일부 실시형태에서는, 사용자에게 이미지에서 안면들을 검출하기 위한 선택권이 주어진다. 일부 실시형태에서, 사용자는 흐림 검출기 (208) 를 불능화시킬 수도 있다. 사용자가 안면들을 검출하는 것을 선택하면, 도 2 에 도시되지 않은 서브 영역 격리기가, 예를 들어, 눈, 입 또는 코를 위치결정하도록 채용될 수도 있다.

일부 이미지 캡처링 디바이스에서는, 사진을 찍는 것을 지연시키지 않도록 저해상도로 신속히 동작하는 알고리즘에 의해 이미지 프리뷰 모드에서 안면 검출이 수행된다. 일부 실시형태에서는, 완료하는데 좀 더 걸리지만 더욱 정확한 결과를 산출하는 알고리즘의 이용으로 이 프리뷰 모드의 안면 검출이 향상된다. 따라서, 프리뷰 모드의 안면 검출기가 사진에서의 안면들을 위치결정하기 위해 동작할 수도 있다. 그 후에, 프리뷰 모드의 안면 검출기에 의해 안면들이 저해상도로 위치결정되었던 이미지 상에서 포스트 프리뷰 모드의 안면 검출기가 동작한다. 또한, 프리뷰 모드는 그 또는 그녀의 머리가 기울어질 때 사람의 안면을 검출하는 것을 가능하게 하지 않을 수도 있다. 프리뷰 모드의 안면 검출기는 약 33 밀리초의 지속기간에 걸쳐 동작할 수도 있는 반면, 더 오래 걸리고, 더욱 정확한 알고리즘은 완료하는데 약 2 초가 걸릴 수도 있다. 따라서, 프리뷰 모드의 안면 검출기는 이미지에서의 모든 안면들을 검출할 정도로 충분히 강건하지 않을 수도 있다. 일부 실시형태에서는, 고해상도 사진이 찍힌 후이고 그 사진이 인코딩되기 직전에, 더욱 정확한 안면 검출기가, 포즈에 상관없이 이미지에서 모든 안면들을 검출하기 위해 개선된 능력으로 동작하고, 안면들의 선예도의 레벨을 평가한다. 예를 들어, 프리뷰 모드에서의 안면 검출기가 엄격한 실시간 제한의 가정하에서 모든 안면들을 검출하는 것이 가능할지라도, 프리뷰 모드에서의 안면 검출이, 대상물 또는 촬영자의 핸드 모션으로 인해, 사진이 캡처되는 바와 같이 스냅샷에서 캡처된 안면들이 실제로 포커스가 맞을 것이라는 것을 반드시 의미하지는 않는다. 따라서, 촬영자가 장면을 남기기 전에 최종 스냅샷을 분석하는 것이 유리할 수도 있다.

그에 따라, 흐림 검출기 (208) 는 에지 검출기 및 분류기 (212) 를 포함한다. 하나의 실시형태에서, 에지 검출기는 검출된 영역에서 에지들의 검출을 달성하기 위해 영역에서의 픽셀 각각에 대해 4개의 1차 미분 (first-order derivative) 들을 계산한다. 에지 검출기 및 분류기 (212) 는 소정의 픽셀이 소프트 에지, 하드 에지의 일부인 것으로 분류되어야 하는지, 또는 에지의 일부인 것으로 분류되지 않는지를 결정하는 것이 가능하다. 일반적으로, 하드 에지는 포커스가 맞는 특징을 표시하고, 소프트 에지는, 포커스가 맞지 않거나, 예를 들어, 사진을 찍는 동안의 카메라 사용자의 핸드의 모션, 관심 있는 주요 대상물 대신에 배경 엘리먼트들에 포커싱된 카메라, 또는 이미지 캡처 동안에 이동한 대상물로 인해 다른 방법으로 흐릿해진 특징을 표시한다.

일부 실시형태가 특히 흐릿한 안면들을 검출하도록 구성될 수도 있지만, 일부 실시형태는 특히 예를 들어, 나무들, 또는 수중 적용에 있어서의 물고기와 같은 관심 있는 다른 대상물들에서의 흐림을 검출하도록 구성될 수도 있다는 것에 주목한다. 또한, 일부 실시형태는, 예를 들어, 식물 상의 나뭇잎들 또는 물고기 상의 비늘들과 같은, 안면 특징들 이외의 서브 영역들을 평가하도록 구성될 수도 있다.

흐릿한 영역 검출기 (208) 는 에지 카운터들 (213) 을 더 포함한다. 에지 카운터들 (213) 중 하나의 카운터는 에지 검출기 및 분류기 (212) 에 의해 검출된 안면의 영역에서 검출된 다수의 소프트 에지들을 카운트하고, 에지 카운터들 (213) 중 또 다른 카운터는 에지 검출기 및 분류기 (212) 에 의해 그 영역에서 검출된 다수의 하드 에지들을 카운트한다. 흐림 검출기 (208) 의 비율 컴퓨터 (214) 는 관심 영역 로케이터 (210) 에 의해 검출된 안면의 영역에서 검출된 하드 에지들의 수에 대한 소프트 에지들의 수의 비를 계산하도록 구성된다. 임계값 비교기 (216) 는 비율 컴퓨터 (214) 가 계산한 비율을 임계값과 비교하도록 구성된다. 일부 실시형태에서, 임계값은 13 이다. 일부 실시형태에서는, 사용자가 임계값을 설정한다. 그 비율이 임계값보다 큰 경우, 영역은 흐릿한 것으로 생각되고, 그렇지 않으면 영역이 선명한 것으로 생각된다.

일부 실시형태에서는, 영역이 서브 영역들로 세그먼트화되지 않는다. 오히려, 영역에서의 하드 및 소프트 에지들의 수가 카운트되고, 하드 에지들의 수에 대한 소프트 에지들의 수의 비가 임계값과 비교되어 영역이 흐릿한지를 결정한다. 다른 실시형태들에서는, 안면과 같은 관심 영역이 눈과 입의 서브 영역들로 세그먼트화된다. 눈 서브 영역의 총 소프트 에지들은 입 서브 영역의 총 소프트 에지들에 더해지고, 눈 서브 영역의 총 하드 에지들은 입 서브 영역의 총 하드 에지들에 더해진다. 안면의 나머지 서브 영역들은 평가되지 않을 수도 있다. 소프트 에지들의 총 수가 하드 에지들의 총 수를 임계값만큼 초과하는 경우, 안면은 흐릿한 것으로 취급되고, 확대된 사이즈로 디스플레이된다.

흐릿한 영역 표시기 (220) 는 흐릿한 영역이 검출된 경우 카메라 (200) 의 사용자에게 통지하도록 구성된다. 이 통지는 흐릿한 영역 검출시에 카메라 (200) 로부터 발생되는 광 또는 사운드일 수도 있다. 사용자에게 검출된 흐릿한 영역을 통지하는 것 이외에도, 흐릿한 영역 디스플레이 (222) 는 검출된 흐릿한 영역의 확대된 뷰 (예를 들어, 클로즈업 뷰) 를 디스플레이할 수도 있다. 즉, 흐릿한 영역이 더 큰 해상도로 디스플레이되도록 하기 위해 디스플레이의 더 큰 면적을 차지하도록 흐릿한 영역이 크로핑 및 확대될 수도 있다.

따라서, 특정 실시형태에서, 장치가 이미지에서 흐릿한 영역을 검출 및 표시한다. 그 장치는 이미지의 흐릿한 영역을 검출하기 위한 흐림 검출기를 포함한다. 일부 실시형태에서, 흐릿한 영역은 사진이 찍히는 사람의 안면이다. 흐림 검출기는 영역에서 에지들을 검출하기 위한 에지 검출기를 더 포함한다. 일부 실시형태에서, 에지 검출기는 에지들을 검출하기 위해 다양한 포인트들에서 신호의 1차 미분들을 계산할 수도 있다. 검출된 에지가 소프트 에지 또는 하드 에지 중 어느 하나로 분류된다. 흐림 검출기는 영역에서 소프트 에지들의 제 1 수 및 하드 에지들의 제 2 수를 식별하기 위한 로직을 포함한다. 흐림 검출기는 하드 에지들의 제 2 수에 대한 소프트 에지들의 제 1 수의 비를 임계값과 비교하여 그 비가 임계값을 상회하는지를 결정하기 위한 비교기를 더 포함할 수도 있다. 일부 실시형태에서, 임계값은 장치의 사용자에 의해 특정된다. 또한, 흐림 검출기는 영역에서의 다수의 흐릿한 서브 영역들 및 흐릿하지 않은 서브 영역들을 카운트할 수도 있고, 흐릿한 서브 영역들의 수가 흐릿하지 않은 서브 영역들의 수를 초과하는 경우 영역을 흐릿한 것으로 분류할 수도 있다.

일부 실시형태에서는, 영역이 서브 영역들로 분해되지 않지만, 오히려, 소프트 및 하드 에지들의 수가 전체로서의 영역에 대해 결정되고, 하드 에지들에 대한 소프트 에지들의 비가 임계값과 비교된다. 일부 실시형태에서, 영역의 모든 서브 영역들보다 작은 서브 영역들이 흐림의 존재에 대해 평가되고, 서브 영역 또는 일부 서브 영역들만이 흐릿한 경우에는 영역이 흐릿한 것으로 생각된다. 흐릿한 영역을 검출하는 흐림 검출기에 응답하는 표시기는, 검출된 흐릿한 영역에 응답하여 장치에서 사용자 통지를 생성한다. 일부 실시형태에서, 사용자는 흐림 검출기를 불능화하는 것이 가능할 수도 있어서, 흐림 검출기가 필요하지 않을 때 전력을 절약할 수 있다.

도 3 은 하드 에지와 소프트 에지 및 에지가 하드하거나 소프트한 것으로 특성화하는데 사용되는 선분들의 기울기들의 일 실시형태의 예시이다. 도 3 은 소프트 에지 (302) 및 하드 에지 (308) 의 특정 실시형태를 도시한다. 이미지 프로세싱 시스템 (130) (예를 들어, 도 1 의 이미지 프로세싱 시스템 (130)) 은 소프트 에지 (302) 의 포인트들 A, B 및 C 를 검출한다.

일부 실시형태에서, 이 검출은 5개의 포인트 에지 검출기들을 이용함으로써 수행될 수도 있다. 에지 검출을 위해 사용되는 커널의 하나의 특정 예는:

수평 방향으로 에지를 검출하는 경우,

이고,

수직 방향으로 에지를 검출하는 경우,

이다. 사용된 커널은 더 높거나 더 낮은 차원일 수도 있다. 5×5 커널은 큰 안면들의 경우 하드 에지와 소프트 에지 사이를 정확히 구별하기에 충분하지 않을 수도 있다는 것에 주목한다. 일부 실시형태에서는, 모든 검출된 안면들이, 예를 들어, 100×126 픽셀과 같은 소정의 사이즈로 정규화된다. 일부 실시형태에서, 소프트 에지들을 검출하는데 5×5 에지 검출기가 사용되고 하드 에지들을 검출하는데 3×3 에지 검출기가 사용된다.

상기에서 주어진 에지 검출 커널의 동작을 예시하기 위해, 소프트 에지 (302) 와 같은 소프트 에지를 발생시키는 픽셀 값들의 매트릭스의 일 예는:

로 주어진다.

픽셀 값들의 이 소프트 에지 매트릭스의 제 1 열에서의 픽셀 값들의, 5×5 커널의 제 1 열에서의 수치적 값들과의 곱을 합계하는 것은, -40 (= -1×10-2×10-1×10) 의 결과를 산출한다. 3 열의 픽셀 값들의 곱을 합계하는 것은 -120,000 (= -1000×30-2000×30-1000×30) 을 산출한다. 5 열의 픽셀 값들의 곱을 합계하는 것은 200,200 (1001×50+1002×50+1001×50) 을 산출한다. 이들 3개의 결과들을 합계하는 것은 80,160 을 산출한다. 이 수는 1000 으로 나누어져서 160 의 나머지를 갖는 80 을 산출한다. A 로부터 C 까지의 이미지를 가로지르는 거리가 B 내지 C 의 2배의 크기라는 사실에 대해 보상하기 위해, 이들 값들 중 첫번째인 80 이 2 의 인자로 정규화된다. 따라서, 80 은 2 로 곱해져서 160 을 산출할 수 있다. 이것은 160 과 160 의 수의 쌍을 발생시킨다. 이들 2개의 수의 비가 정확히 1 이고, 이는 포인트들이 동일 직선상 (co-linear) 에 있어서 평활화된 에지인 것을 의미한다. 하나의 실시형태에서, 0.8 과 1.2 사이의 비가 임계값으로 사용되어 에지가 소프트한 것으로 분류한다. 예시하기 위해, 직선 BC (306) 가 직선 AC (304) 와 거의 평행하여 기울기들의 비가 0.8 과 1.2 사이에 있기 때문에 소프트 에지 (302) 는 소프트한 것으로 설명될 수도 있다.

하드 에지 (308) 에 관련하여, 이 하드 에지를 발생시키는 픽셀 값들의 매트릭스의 일 예는:

이다.

이전과 같이 동일한 5×5 커널을 이용하여 이 블록의 픽셀들에 대한 에지 검출을 수행하는 것은 320 과 160 의 수의 쌍을 산출한다. 이 경우, 직선 DF (310) 의 기울기에 대한 직선 EF (312) 의 기울기의 비가 1 보다 크고 임계값을 초과하여, 하드 에지를 나타낸다. 다른 커널들이 에지 검출을 위해 사용될 수 있고, 현재 공지되어 있거나 또는 장차 개발될 다른 에지 검출 방법들이 채용될 수도 있다는 것에 주목한다.

도 4 는 이미지를 캡처하고 이미지가 흐릿한 영역을 포함하는지를 결정하는 방법의 일 실시형태의 흐름도이다. 도면부호 402 에서 시작하여, 이미지가 사용자에 의해 캡처된다. 도면부호 404 로 계속하여, 이미지에서 하나 이상의 관심 영역들을 위치결정하기 위한 관심 영역 로케이터 알고리즘이 적용된다. 도면부호 406 으로 나아가서, 발견된 관심 영역들 상에서 에지 검출이 수행된다. 일부 실시형태에서, 관심 영역이 전체로서 분석된다. 다른 실시형태에서, 영역이 다수의 서브 영역들로 세그먼트화되고, 서브 영역들의 일부 또는 전부가 개별적으로 분석된 후에, 영역에 대해 그 결과들이 조합된다. 도면부호 408 로 이동하여, 각각의 검출된 에지가 하드 또는 소프트한 것으로 분류된다. 도면부호 410 으로 진행하여, 소프트 에지들의 수 및 하드 에지들의 수가 카운트된다. 다음에, 도면부호 412 에서, 영역에서의 하드 에지들의 수에 대한 영역에서의 소프트 에지들의 수의 비가 계산된다.

도면부호 414 로 계속하여, 하드 에지들에 대한 소프트 에지들의 비가 임계값을 하회하면, 도면부호 415 에서, 영역이 흐릿하지 않은 것으로 분류되고, 도면부호 418 에서, 흐릿하지 않은 영역 카운터가 증가된다. 그와 달리, 도면부호 416 에서, 영역이 흐릿한 것으로 분류되고, 도면부호 419 에서, 흐릿한 영역 카운터가 증가된다. 도면부호 422 로 계속하여, 아직 분석되지 않은 또 다른 관심 영역이 존재하는 경우, 프로세스는 도면부호 406 으로 되돌아가고, 여기서 에지 검출이 다음의 관심 영역 상에서 수행된다. 위치결정된 모든 영역들이 에지 검출에 의해 평가되었다면, 도면부호 424 에서, 시스템은 도 5, 도 6, 도 7 및 도 8 을 참조하여 더욱 완전히 설명되는 바와 같이 옵션들 및 디스플레이들을 다시 제공할 것이다. 프로세스가 도면부호 428 에서 종료한다.

일부 실시형태에서, 관심 영역이 안면일 수도 있다. 안면이 서브 영역들로 세그먼트화될 수 있어서, 예를 들어, 하나의 서브 영역이 눈을 포함하고, 또 다른 서브 영역이 입을 포함하도록 한다. 특정 실시형태에서, 안면이 관심 영역으로서 검출되는 경우, 눈 서브 영역에서의 하드 에지들의 수와 입 서브 영역에서의 하드 에지들의 수가 함께 더해지고, 눈 서브 영역에서의 소프트 에지들의 수와 입 서브 영역에서의 소프트 에지들의 수가 함께 더해진다. 하드 에지 픽셀들의 수에 대한 소프트 에지들의 비가 안면들에 대해 13 의 임계값과 같은 어떤 임계값보다 큰 경우, 관심 영역이 흐릿한 것으로 태깅될 수도 있다. 그와 달리, 안면이 선명한 것으로 분류된다. 따라서, 일부 실시형태에서는, 영역이 흐릿한지의 결정이 영역의 모든 서브 영역들보다 작은 서브 영역들의 분석에 의존한다.

따라서, 장치는 디지털화된 이미지의 흐릿한 영역을 검출하는 수단, 그 검출하는 수단에 응답하여, 장치의 사용자에게 검출된 흐릿한 영역을 통지하는 수단, 및 검출된 흐릿한 영역의 확대된 뷰의 디스플레이를 제공하는 수단을 포함할 수도 있다. 이들 기능들을 수행하는 수단은 애플리케이션 특정 회로 또는 적절한 명령들을 실행하는 디지털 프로세서 또는 디지털 프로세서 및 애플리케이션 특정 회로의 조합을 포함할 수도 있다. 애플리케이션 특정 회로는 프로그래밍된 로직 디바이스를 포함할 수도 있다. 이미지를 저장하는 수단은 랜덤 액세스 메모리 또는 다른 저장 매체를 포함할 수도 있다. 일부 실시형태에서, 디지털화된 이미지에서 안면 영역을 검출하고 그 안면 영역의 에지 검출을 수행하는 수단은 또한, 애플리케이션 특정 회로 또는 디지털 프로세서를 포함할 수도 있다. 검출된 흐릿한 영역의 확대된 이미지를 디스플레이하는 수단은 플랫 패널 디스플레이 또는 다른 디스플레이 메커니즘을 포함할 수도 있다.

도 5 는 비교를 위해 흐릿한 안면들 및 선명한 안면을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다. 도 1 의 시스템 (100), 도 2 의 카메라 (200), 및 도 8 을 참조하여 설명될 시스템 (800) 과 같은 디바이스에 의해 인터페이스가 사용된다. 특히, 도 5 는 카메라가 2개의 흐릿한 안면들 및 하나의 선명한 안면을 검출하는 경우에 카메라 (예를 들어, 도 2 의 카메라 (200)) 에 의해 디스플레이될 수도 있는 제 1 인터페이스 (501) 를 도시하고 있다. 카메라의 사용자가 흐릿한 안면들 (502) 과 선명한 안면 (504) 을 비교할 수 있도록 이들 양자가 디스플레이된다. 전체 장면보다는 전체 장면의 검출된 영역들만이 디스플레이되기 때문에, 디스플레이된 검출된 영역들은 디스플레이의 더 큰 면적을 차지할 수도 있어서, 더욱 뚜렷하고 더 큰 해상도로 보여질 수 있다는 것에 주목한다.

예시된 실시형태에서, 디스플레이 (501) 는 "일부 안면이 흐릿하였다. 사진 속의 대상물들이 움직이지 않고 다시 찍기를 제안한다. 당신은 다시 찍기를 원하는가?" 라는 취지의 진술문을 포함한다. 사용자는 버튼들 (506) 을 이용하여 예 또는 아니오를 선택할 수도 있다. 예를 들어, 버튼들 (506) 에 의해 보여진 옵션들은, 터치 감응 스크린에 제공될 수도 있고, 또는 네비게이팅 및 선택 기능의 사용에 의해 제공될 수도 있다. 사용자가 예를 선택하면, 가장 최근에 취급된 이미지 데이터가 메모리로부터 삭제될 수도 있고 사용자는 단순히 사진을 다시 찍는다. 사용자가 아니오를 선택하면, "일부 안면이 흐릿하였지만, 당신은 다시 찍지 않기로 선택한다. 당신은 임계치를 증가시키고 싶은가?" 라고 읽히는 진술문을 포함하는 제 2 인터페이스 (507) 가 디스플레이될 수도 있다. 제 2 인터페이스 (507) 가 하드 에지들에 대한 소프트 에지들의 비가 비교되는 임계치를 증가시키기 위한 옵션을 사용자에게 제공하여, 시스템을 튜닝하여서, 장차, 흐릿한 검출 메커니즘이 관심 영역들이 흐릿한 것으로 카테고리화하는 경우를 덜 엄격하게 하도록 한다. 사용자가 이 옵션에 대해 예를 선택하는 경우, 임계값의 설정을 가능하게 하는 또 다른 디스플레이가 디스플레이될 수도 있다.

하나의 실시형태에서, 디스플레이는 또한, 복수의 흐릿한 영역들 중 어떤 영역이 가장 흐릿한지를 표시할 수도 있다. 따라서, 도 5 에서는, 흐릿한 안면 NO. 1 이 가장 흐릿한 것으로 도시되어 있다. 하드 에지들에 대한 소프트 에지들의 가장 높은 비를 갖는 흐릿한 영역을 선택함으로써, 복수의 흐릿한 영역들 중 가장 흐릿한 영역이 결정될 수도 있다. 대안적으로, 또 다른 예로서, 영역에서의 흐릿하지 않은 서브 영역들의 수에 대한 영역에서의 흐릿한 서브 영역들의 수의 가장 높은 비를 갖는 흐릿한 영역을 선택함으로써 가장 흐릿한 영역이 결정될 수도 있다. 어떤 영역이 가장 흐릿한지를 결정하는데 다른 메트릭이 채용될 수도 있다.

도 6 은 핸드 지터의 결과일 수도 있는 흐릿한 영역들을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다. 특히, 도 6 은 이미지에서의 모든 안면들 (602) 이 흐릿한 것으로 결정된 것을 도시한다. 이것은 사진을 찍는 동안 움직인 핸드 모션으로부터 초래될 수 있다. 도 8 을 참조하여 설명되는 바와 같이, 모든 안면들이 흐릿한 경우, 전체 사진이 흐릿한지에 대한 결정이 이루어질 수도 있다. 전체 사진이 흐릿한 것으로 결정되지 않으면, 도 7 의 디스플레이가 도시된다. 전체 사진이 흐릿하면, 사용자에게 도 6 의 진술문 "모든 안면들이 흐릿하였고 배경이 흐릿하다. 핸드 지터 감소를 이용하는 것을 제안한다. 당신은 다시 찍기를 원하는가?" 가 제시된다. 사용자가 선택할 수도 있는 하나의 옵션 (604) 은, 사진을 찍는 동안 발생하는 핸드 모션으로 인한 지터를 감소시키도록 동작하는 핸드 지터 감소 (HJR) 알고리즘을 이용하여 사진을 다시 찍는 것이다. 대안적으로, 사용자는 핸드 지터 감소 없이 사진을 다시 찍기 위한 옵션 (606) 을 선택할 수도 있고, 사용자는 사진을 유지하기 위해 아니오를 선택할 수도 있다.

도 7 은 사진에서의 안면 이외의 대상물에 포커스를 맞춘 결과일 수도 있는 흐릿한 영역들 (702) 을 디스플레이하기 위한 그래픽 사용자 인터페이스의 일 실시형태의 도면이다. 예를 들어, 사용자는 배경에서의 나무에 무심코 포커스를 맞추어, 2개의 안면들 사이에 카메라를 겨냥하였을 수도 있다. 따라서, 모든 안면들이 흐릿한 경우, 카메라는 배경 특징이 선명한지를 결정한다. 그렇다면, 메시지 "모든 안면들이 흐릿하였으나 배경이 선명하다. 한 사람을 겨냥하는 것을 제안한다. 당신은 다시 찍기를 원하는가?" 가 디스플레이된다. 그 후에, 사용자는 버튼들 (704 및 706) 을 이용하여 사진을 다시 찍을지 여부를 선택할 수도 있다.

도 8 은 사진에서의 흐릿한 영역들을 평가하기 위한 일 실시형태의 흐름도이다. 도면부호 802 에서 시작하여, 이미지 또는 사진이 캡처된다. 도면부호 804 에서, 다수의 관심 영역들이 사진에서 위치결정되고 각각의 영역이 흐림에 대해 평가된다. 도면부호 806 에서 계속하여, 모든 영역들이 흐릿한지에 대한 결정이 이루어진다. 모든 영역들이 흐릿하지 않으면, 도면부호 808 에서, 흐릿한 영역들 중 적어도 하나가 흐릿하지 않은 영역과 함께 디스플레이된다. 도면부호 810 으로 이동하여, 사용자가 그 후에 사진을 다시 찍을지를 결정할 수 있다. 따라서, 예를 들어, 2개의 안면들이 흐릿하고 하나의 안면이 흐릿하지 않은 경우, 도 5 에 도시된 바와 같이 2개의 흐릿한 안면들이 흐릿하지 않은 안면과 함께 디스플레이될 수 있다. 하나의 안면이 흐릿하지 않기 때문에, 안면이 흐릿한 2명의 사람들이 이미지 캡처 동안에 이동하였을 가능성이 있고, 2개의 흐릿한 안면들은 사진 촬영가의 핸드 모션의 결과일 가능성이 없다. 사용자가 사진을 다시 찍는 것으로 결정하는 경우, 프로세스는 도면부호 802 로 진행한다. 그렇지 않으면, 프로세스는 도면부호 820 에서 종료한다.

도면부호 806 에서 계속해서, 모든 위치결정된 영역들이 흐릿하면, 도면부호 812 에서, 위치결정된 영역들 외부의 이미지 상에서 에지 검출이 수행될 수도 있다. 사진의 모든 위치결정된 영역들이 흐릿한 것으로 결정되는 경우, 사진 촬영가의 핸드가 움직인 것이 원인일 수 있고, 또는 카메라의 자동 포커스 특징이 원하는 포커스를 캡처하는데 실패한 것이 원인일 수 있다. 흐림이 핸드 지터에 의해 야기되면, 위치결정된 영역들 외부의 이미지에서의 특징들이 마찬가지로 흐릿할 것이다. 위치결정된 영역들 외부의 이미지 상에서 수행된 에지 검출을 이용하여, 위치결정된 영역들 외부의 흐림이 검출될 수 있다. 따라서, 도면부호 812 에서는, 전체 이미지 상에서 에지 검출이 수행된다. 도면부호 814 에서, 전체 사진이 흐릿한 경우, 도면부호 816 에서, 흐릿한 영역들이 디스플레이되고 사용자에게는 핸드 지터 감소를 이용하여 사진을 다시 찍기 위한 옵션이 주어진다. 도면부호 818 에서, 사용자가 사진을 다시 찍는 것으로 정하는 경우, 프로세스는 도면부호 802 로 되돌아간다. 그렇지 않으면, 프로세스는 도면부호 820 에서 종료한다. 도면부호 815 에서 계속하여, 이미지의 일부 영역이 흐릿하지 않으면, 예를 들어, 흐릿하지 않은 장면의 나무가 존재하면, 흐릿한 영역들이 디스플레이된다. 도면부호 818 에서, 사용자는 원하는 대상물에 대한 더 양호한 포커스로 카메라를 겨냥하도록 프롬프트될 수도 있다. 사용자가 사진을 다시 찍는 것으로 정하는 경우, 프로세스는 도면부호 802 로 되돌아간다. 사용자가 사진을 다시 찍는 것으로 정하지 않는 경우, 프로세스는 도면부호 820 에서 종료한다.

일부 실시형태에서, 아무런 흐릿한 영역도 검출되지 않으면, 카메라는 흐릿하지 않은 영역들 및 다음과 같은 진술문 "아무런 흐릿한 영역들도 검출되지 않았다. 당신은 임계값을 감소시키고 싶은가?" 를 디스플레이할 수도 있다. 그 후에, 사용자는 예 또는 아니오를 선택할 수도 있다. 사용자가 예를 선택한 경우, 임계값이 1씩 감소되고, 그 후에 사용자는 사진을 다시 찍을 수 있다.

따라서, 일부 실시형태에서, 모든 관심 영역들이 흐릿하면, 전체의 캡처된 이미지 상에서 에지 검출이 수행된다. 전체의 캡처된 이미지 상의 에지 검출이 전체 사진이 흐릿하다는 것을 표시하면, 사용자에게 핸드 지터 감소 알고리즘을 이용하여 이미지를 다시 캡처하기 위한 옵션이 제공된다. 전체의 캡처된 이미지 상의 에지 검출이 관심 영역들 외부의 선명한 특징들을 표시하면, 사용자가 카메라를 더 양호하게 겨냥하도록 권고된다.

도 9 는 임계값을 특정함으로써 사용자가 카메라 (예를 들어, 도 2 의 카메라 (200)) 를 튜닝하는 것을 허용하는 그래픽 사용자 인터페이스의 일 실시형태의 도면이다. 카메라에 의해 캡처된 이미지들을 뷰잉하는데 사용되는 컴퓨터에 의해 도 9 의 디스플레이가 제공될 수도 있고, 또는 "사진 앨범 모드" 에서 카메라에 의해 제공될 수도 있다. 도 9 의 디스플레이에서, 흐릿한 사진 (906) 이 도시되어 있다. "크롭", "세피아" 및 "그레이스케일을 행함" 옵션들을 포함하는 편집을 위해 옵션들 (902) 이 사용자에게 이용가능하다. "카메라를 튜닝함" 으로 라벨링된 또 다른 옵션 (904) 이 제공된다. 이 옵션을 선택함으로써, 사용자는 하드 에지들에 대한 소프트 에지들의 비가 비교되는 임계값을 조정할 수도 있다. 임계값을 증가시키는 것은 영역이 흐릿한 것으로 고려될 가능성이 감소하고, 임계값을 감소시키는 것은 영역이 흐릿한 것으로 고려될 가능성이 증가한다. 예를 들어, 카메라에 의해 찍힌 컴퓨터 상의 장면의 이미지를 뷰잉하는 사용자가, 이미지가 카메라의 흐림 검출기에 의해 검출되지 않은 흐릿한 영역을 포함한다는 것을 발견할 수도 있고, 소프트 에지 대 하드 에지 비를 공장 디폴트로부터 더 작은 어떤 것으로 감소시키도록 선택할 수도 있어서, 장차 감소되는 흐릿한 영역들에 알고리즘이 더욱 민감해질 수 있다. 특정 실시형태에서, "카메라를 튜닝함" 옵션 (804) 의 선택은 인터페이스로 하여금 사용자가 임계값을 선택하는 것을 허용한다는 것을 디스플레이하게 한다. 또 다른 실시형태에서, "카메라를 튜닝함" 옵션 (804) 의 선택은 사용자가 임계값이 증가하도록 조정할 수 있게 한다.

도 10 은 흐림 검출기 및 검출된 흐릿한 영역의 확대된 이미지를 디스플레이하기 위한 디스플레이를 갖는 무선 통신 디바이스의 일 실시형태의 블록도이다. 시스템 (1000) 은 휴대용 전자 디바이스에서 구현될 수도 있고, 디지털 신호 프로세서 (DSP) 또는 마이크로제어기와 같은, 메모리 (1032) 에 커플링된 프로세서 (1010) 를 포함한다. 메모리 (1032) 는 프로세서 (1010) 에 의해 실행될 때, 프로세서로 하여금 흐릿한 영역 검출을 위한 동작들을 수행하게 하고 다른 프로세스들을 수행하게 하는 컴퓨터 코드 (1042) 를 저장하기 위한 판독가능한 유형의 매체이다. 프로세서 (1010) 는 도 1 의 흐림 검출기 (122) 또는 도 2 의 흐림 검출기 (208) 와 같은 흐림 검출기 (1062) 를 포함한다. 프로세서 (1010) 는 스피커 (1036) 를 통해 사운드가 나게 함으로써, 또는 도 5, 도 6 및 도 7 에 도시된 사용자 인터페이스들 중 하나 이상과 같은 디스플레이 (1028) 상에 광을 제공하거나 또는 디스플레이를 제공함으로써, 사용자에게 검출된 흐릿한 영역을 통지할 수도 있다.

카메라 인터페이스 (1068) 는 프로세서 (1010) 에 커플링되고 카메라 (1070) 에 또한 커플링된다. 카메라 (1070) 는 비디오 카메라 또는 스틸 이미지 카메라일 수도 있고 또는 양자의 기능성들을 구현할 수도 있다. 디스플레이 제어기 (1026) 는 프로세서 (1010) 및 디스플레이 디바이스 (1028) 에 커플링된다. 또한, 오디오 제어기 (1034) 는 프로세서 (1010) 에 커플링될 수 있다. 스피커 (1036) 및 마이크로폰 (1038) 은 오디오 제어기 (1034) 에 커플링될 수 있다. 무선 인터페이스 (1040) 는 프로세서 (1010) 및 안테나 (1042) 에 커플링될 수 있다. 또한, 시스템 (1000) 에 입력들을 수신 및 커플링하기 위한 입력 디바이스 (1030) 는 입력 제어기 (1031) 에 의해 시스템 (1000) 에 커플링될 수도 있다.

도 10 의 시스템의 동작 동안에, 사용자는 카메라 (1070) 를 이용하여 사진을 찍을 수도 있다. 카메라 (1070) 에 의해 캡처된 이미지 데이터는 카메라 인터페이스 (1068) 를 통해 프로세서 (1010) 에 커플링된다. 프로세서 (1010) 내의 흐림 검출기 (1062) 는 메모리 (1032) 에 저장된 컴퓨터 코드 (1042) 에 따라 결과적인 이미지에서 하나 이상의 흐릿한 영역들을 검출할 수도 있다. 디스플레이 (1028) 는 검출된 흐릿한 영역들의 확대된 이미지를 디스플레이할 수도 있다. 입력 디바이스 (1030) 는 사용자가 흐릿한 영역을 가진 사진을 유지하거나 사진을 다시 찍도록 정하는 것을 가능하게 할 수도 있다. 카메라 (1070) 에 의해 캡처된 이미지들은 무선 인터페이스 (1040) 및 안테나 (1042) 를 통해 무선으로 시스템 (1000) 에 의해 송신될 수도 있다. 또한, 캡처된 이미지들은 메모리 (1032) 에 저장될 수도 있다.

당업자라면 여기에 개시된 실시형태들과 함께 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들은 전자적 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로 구현될 수도 있다는 것을 또한 이해할 것이다. 이러한 하드웨어와 소프트웨어의 상호교환가능성을 명확하게 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들이 그들의 기능성 면에서 일반적으로 상술되었다. 이러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 실시형태 결정이 본 개시물의 범위로부터 벗어나는 것으로서 해석되어서는 안된다.

여기에 개시된 실시형태들과 함께 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거가능 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거가능 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 그 저장 매체로부터 정보를 판독할 수 있고, 그 저장 매체에 정보를 기입할 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내의 개별 컴포넌트들로서 상주할 수도 있다.

따라서, 하나의 실시형태는 컴퓨터로 하여금 이미지의 흐릿한 영역을 검출하게 하는 컴퓨터 코드를 포함하는 판독가능한 유형의 매체이다. 컴퓨터 코드는 또한, 컴퓨터로 하여금 검출된 흐릿한 영역의 통지를 제공하게 한다. 컴퓨터 코드는 또한, 컴퓨터로 하여금 하드 및 소프트 에지들을 포함하는 영역을 흐릿하거나 흐릿하지 않은 것으로서 분류하기 전에 하드 에지들의 수에 대한 소프트 에지들의 수의 비가 임계값을 초과하는지를 결정하게 할 수도 있다. 컴퓨터 코드는 검출된 흐릿한 영역의 확대된 이미지를 디스플레이되게 한다.

개시된 실시형태들의 이전 설명은 당업자가 개시된 실시형태들을 만들거나 이용하게 할 수 있도록 하기 위해 제공된 것이다. 이들 실시형태들에 대한 다양한 변형들은 당업자에게 자명할 것이고, 여기에 정의된 원리들은 본 개시물의 범위를 벗어남이 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 여기에 나타난 실시형태들로 제한되지 아니하고, 다음의 특허청구범위에 의해 정의된 바와 같은 원리들 및 신규한 특징들과 일치 가능한 최광의 범위에 부합하도록 의도된다.

Claims (31)

1. 디스플레이 디바이스를 갖는, 이미지에서의 흐림 (blur) 의 검출에 응답하기 위한 장치로서,
   디지털 이미지 캡처링 디바이스에 의해 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하도록 구성된 영역 로케이터;
   하나 이상의 상기 위치결정된 관심 영역들이 흐릿한지 여부를 검출하도록 구성된 흐림 검출기로서, 상기 흐림 검출기는 상기 하나 이상의 위치결정된 관심 영역들에서 하나 이상의 에지들을 검출하기 위한 에지 검출기를 포함하고, 각각의 검출된 에지는 소프트 에지와 하드 에지 중 하나의 에지로서 분류되며, 상기 흐림 검출기는 검출된 하드 에지들의 제 2 수에 대한 검출된 소프트 에지들의 제 1 수의 비를 임계값과 비교하도록 더 구성되고, 상기 임계값은 상기 장치의 사용자에 의해 조정가능한, 상기 흐림 검출기; 및
   상기 디스플레이 디바이스에,
   상기 하나 이상의 위치결정된 관심 영역들의 하나 이상의 확대된 이미지들,
   상기 위치결정된 관심 영역들에 적어도 부분적으로 기초하여 제안된 사용자 액션을 나타내는 하나 이상의 진술문들, 및
   사용자로부터의 입력을 수신하도록 구성된 하나 이상의 옵션들로서, 상기 하나 이상의 옵션들은 상기 제안된 사용자 액션에 적어도 부분적으로 기초하는, 상기 하나 이상의 옵션들
   을 디스플레이하도록 구성된 디스플레이 인터페이스를 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 에지 검출기는 상기 하나 이상의 위치결정된 관심 영역들에서의 픽셀 각각에 대하여 4개의 1차 미분 (first-order derivative) 들을 계산하기 위한 로직을 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
7. 제 1 항에 있어서,
   상기 흐림 검출기는 상기 하나 이상의 위치결정된 관심 영역들의 서브 영역에서 소프트 에지들의 제 1 수 및 하드 에지들의 제 2 수를 식별하기 위한 로직을 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
8. 제 1 항에 있어서,
   적어도 하나의 흐릿한 관심 영역은 비교를 위해 흐릿하지 않은 관심 영역과 함께 디스플레이되는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
9. 제 1 항에 있어서,
   상기 흐림 검출기는,
   위치결정된 모든 관심 영역들이 흐릿한지 여부를 결정하고;
   상기 위치결정된 모든 관심 영역들이 흐릿한 것으로 결정한 것에 응답하여, 상기 위치결정된 모든 관심 영역들 외부의 영역이 흐릿한지를 결정하도록 더 구성되고,
   상기 디스플레이 인터페이스는, 상기 디스플레이 디바이스에, 상기 흐림 검출기가 상기 위치결정된 모든 관심 영역들 외부의 영역이 흐릿하다는 것을 결정하는 것에 응답하여, 핸드 지터 감소 알고리즘을 사용하여 또 다른 사진을 찍기 위한 옵션을 디스플레이하도록 더 구성되는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
10. 제 1 항에 있어서,
    상기 이미지는 상기 장치의 구성요소에 의해 캡처되는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
11. 제 1 항에 있어서,
    흐릿한 영역들의 검출을 불능화하기 위한 불능화 메커니즘을 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
12. 제 1 항에 있어서,
    상기 이미지를 캡처하기 위한 카메라를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
13. 이미지에서의 흐림 (blur) 의 검출에 응답하기 위한 방법으로서,
    캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하는 단계;
    상기 위치결정된 관심 영역들 중에 하나 이상의 흐릿한 영역들을 검출하는 단계로서, 상기 하나 이상의 흐릿한 영역들을 검출하는 단계는, 제 1 위치결정된 관심 영역에서 소프트 에지들의 수에 대응하는 제 1 값을 결정하고 상기 제 1 위치결정된 관심 영역에서 하드 에지들의 수에 대응하는 제 2 값을 결정하는 단계, 및 상기 제 1 값과 상기 제 2 값의 비를 임계값과 비교하는 단계를 더 포함하는, 상기 하나 이상의 흐릿한 영역들을 검출하는 단계;
    디스플레이 디바이스에 상기 하나 이상의 위치결정된 관심 영역들의 하나 이상의 확대된 이미지들을 디스플레이하는 단계;
    상기 디스플레이 디바이스에 제안된 사용자 액션을 나타내는 하나 이상의 진술문들을 디스플레이하는 단계로서, 상기 제안된 사용자 액션을 나타내는 하나 이상의 진술문들은 상기 위치결정된 관심 영역들에 적어도 부분적으로 기초하는, 상기 하나 이상의 진술문들을 디스플레이하는 단계; 및
    상기 디스플레이 디바이스에 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 옵션들을 디스플레이하는 단계로서, 상기 하나 이상의 옵션들은 상기 제안된 사용자 액션에 적어도 부분적으로 기초하는, 상기 하나 이상의 옵션들을 디스플레이하는 단계를 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
14. 삭제
15. 제 13 항에 있어서,
    상기 하나 이상의 관심 영역들에서의 픽셀 각각에 대해 4개의 1차 미분들을 계산하는 단계 및
    상기 4개의 1차 미분들을 이용하여 상기 제 1 값 및 상기 제 2 값을 결정하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
16. 제 13 항에 있어서,
    위치결정된 관심 영역을 복수의 서브 영역들로 세그먼트화하는 단계;
    상기 복수의 서브 영역들 중에 특정 서브 영역에서의 소프트 에지들의 수를 결정하는 단계; 및
    상기 특정 서브 영역에서의 하드 에지들의 수를 결정하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
17. 제 13 항에 있어서,
    적어도 하나의 흐릿한 관심 영역의 확대된 뷰 및 흐릿하지 않은 적어도 하나의 관심 영역의 확대된 뷰를 동시에 디스플레이하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
18. 제 13 항에 있어서,
    다수의 흐릿한 관심 영역들의 확대된 뷰를 동시에 디스플레이하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
19. 제 13 항에 있어서,
    모든 관심 영역들이 흐릿한 것으로 검출한 것에 응답하여, 상기 하나 이상의 위치결정된 관심 영역들 내에 존재하지 않는 상기 캡처된 이미지의 적어도 일부에 대해 에지 검출을 수행하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
20. 제 19 항에 있어서,
    상기 하나 이상의 위치결정된 관심 영역들 내에 존재하지 않는 상기 캡처된 이미지의 상기 일부가 흐릿한 것으로 결정한 것에 응답하여, 핸드 지터 감소 알고리즘을 이용하기 위한 옵션을 사용자에게 제공하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
21. 제 19 항에 있어서,
    상기 하나 이상의 위치결정된 관심 영역들 내에 존재하지 않는 상기 캡처된 이미지의 상기 일부가 흐릿하지 않은 것으로 결정한 것에 응답하여, 사용자에게 더 양호하게 겨냥하도록 권고하기 위한 인터페이스를 생성하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
22. 이미지에서의 흐림 (blur) 의 검출에 응답하기 위한 컴퓨터 실행가능 코드를 저장한 비일시적 (non-transitory) 컴퓨터 판독가능 매체로서,
    이미지 캡쳐 디바이스로 하여금 캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하게 하는 코드;
    상기 이미지 캡쳐 디바이스로 하여금 상기 위치결정된 관심 영역들 중 하나 이상의 흐릿한 영역들을 검출하게 하는 코드로서, 상기 이미지 캡쳐 디바이스로 하여금 하나 이상의 흐릿한 영역들을 검출하게 하는 코드는, 상기 이미지 캡쳐 디바이스로 하여금 제 1 위치결정된 관심 영역에서 소프트 에지들의 수에 대응하는 제 1 값을 결정하게 하고, 상기 제 1 위치결정된 관심 영역에서 하드 에지들의 수에 대응하는 제 2 값을 결정하게 하는 코드, 및 상기 이미지 캡쳐 디바이스로 하여금 상기 제 2 값에 대한 상기 제 1 값의 비가 임계값을 초과하는 경우를 결정하게 하는 코드를 포함하는, 상기 하나 이상의 흐릿한 영역들을 검출하게 하는 코드;
    상기 이미지 캡쳐 디바이스로 하여금 디스플레이 디바이스에 상기 하나 이상의 위치결정된 관심 영역들의 하나 이상의 확대된 이미지들을 디스플레이하게 하는 코드;
    상기 이미지 캡쳐 디바이스로 하여금 상기 디스플레이 디바이스에 제안된 사용자 액션을 나타내는 하나 이상의 진술문들을 디스플레이하게 하는 코드로서, 상기 제안된 사용자 액션을 나타내는 하나 이상의 진술문들은 상기 위치결정된 관심 영역들에 적어도 부분적으로 기초하는, 상기 하나 이상의 진술문들을 디스플레이하게 하는 코드; 및
    상기 이미지 캡쳐 디바이스로 하여금 상기 디스플레이 디바이스에 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 옵션들을 디스플레이하게 하는 코드로서, 상기 하나 이상의 옵션들은 상기 제안된 사용자 액션에 적어도 부분적으로 기초하는, 상기 하나 이상의 옵션들을 디스플레이하게 하는 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
23. 삭제
24. 이미지에서의 흐림 (blur) 의 검출에 응답하기 위한 장치로서,
    캡처된 이미지에서 하나 이상의 관심 영역들을 위치결정하는 수단;
    상기 위치결정된 관심 영역들 중 하나 이상의 흐릿한 영역들을 검출하는 수단으로서, 상기 하나 이상의 흐릿한 영역들을 검출하는 것은, 제 1 위치결정된 관심 영역에서 소프트 에지들의 수에 대응하는 제 1 값을 결정하고 상기 제 1 위치결정된 관심 영역에서 하드 에지들의 수에 대응하는 제 2 값을 결정하는 것, 및 상기 제 1 값과 상기 제 2 값의 비를 임계값과 비교하는 것을 더 포함하는, 상기 하나 이상의 흐릿한 영역들을 검출하는 수단;
    디스플레이 디바이스에 상기 하나 이상의 위치결정된 관심 영역들의 하나 이상의 확대된 이미지들을 디스플레이하는 수단;
    상기 디스플레이 디바이스에 제안된 사용자 액션을 나타내는 하나 이상의 진술문들을 디스플레이하는 수단으로서, 상기 제안된 사용자 액션을 나타내는 하나 이상의 진술문들은 상기 위치결정된 관심 영역들에 적어도 부분적으로 기초하는, 상기 하나 이상의 진술문들을 디스플레이하는 수단; 및
    상기 디스플레이 디바이스에 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 옵션들을 디스플레이하는 수단으로서, 상기 하나 이상의 옵션들은 상기 제안된 사용자 액션에 적어도 부분적으로 기초하는, 상기 하나 이상의 옵션들을 디스플레이하는 수단을 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
25. 제 24 항에 있어서,
    상기 캡쳐된 이미지를 저장하는 수단을 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
26. 제 24 항에 있어서,
    상기 위치결정된 관심 영역들 중 하나 이상의 흐릿한 영역들을 검출하는 수단은 안면 영역을 검출하는 수단을 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
27. 삭제
28. 제 1 항에 있어서,
    상기 흐림 검출기는,
    위치결정된 모든 관심 영역들이 흐릿한지 여부를 결정하고;
    상기 위치결정된 모든 관심 영역들이 흐릿한 것으로 결정한 것에 응답하여, 상기 위치결정된 모든 관심 영역들 외부의 영역이 흐릿하지 않은지를 결정하도록 더 구성되고,
    상기 디스플레이 인터페이스는, 상기 디스플레이 디바이스에,
    상기 흐림 검출기가 상기 위치결정된 모든 관심 영역들 외부의 영역이 흐릿하지 않은 것으로 결정하는 것에 응답하여, 사용자에게 카메라를 적어도 하나의 관심 영역을 향하여 겨냥하도록 제안하는 진술문; 및
    상기 흐림 검출기가 상기 위치결정된 모든 관심 영역들 외부의 영역이 흐릿하지 않은 것으로 결정하는 것에 응답하여, 또 다른 사진을 찍기 위한 옵션
    을 디스플레이하도록 더 구성되는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
29. 제 1 항에 있어서,
    상기 흐림 검출기는,
    제 1 위치결정된 관심 영역이 흐릿하지 않은지를 결정하고;
    상기 제 1 위치결정된 관심 영역이 흐릿하지 않은 것으로 결정한 것에 응답하여, 제 2 위치결정된 관심 영역이 흐릿한지를 결정하도록 더 구성되고,
    상기 디스플레이 인터페이스는, 상기 디스플레이 디바이스에,
    상기 흐림 검출기가 상기 제 2 위치결정된 관심 영역이 흐릿한 것으로 결정하는 것에 응답하여, 사용자에게 상기 이미지의 대상물에게 정지 상태를 유지하라고 지시하도록 제안하는 진술문; 및
    상기 흐림 검출기가 상기 제 2 위치결정된 관심 영역이 흐릿한 것으로 결정하는 것에 응답하여, 또 다른 사진을 찍기 위한 옵션을 디스플레이하도록 더 구성되는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.
30. 제 13 항에 있어서,
    제 1 관심 영역이 흐릿한 것과, 제 2 관심 영역이 흐릿하지 않은 것을 검출하는 것에 응답하여, 사용자에게 상기 이미지의 대상물에게 정지 상태를 유지하라고 지시하도록 제안하는 단계를 더 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 방법.
31. 제 1 항에 있어서,
    상기 하나 이상의 관심 영역들은 하나 이상의 사람 안면들을 포함하는, 이미지에서의 흐림의 검출에 응답하기 위한 장치.

Images