[go: up one dir, main page]

KR100801088B1 - 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 - Google Patents

다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 Download PDF

Info

Publication number
KR100801088B1
KR100801088B1 KR1020060097337A KR20060097337A KR100801088B1 KR 100801088 B1 KR100801088 B1 KR 100801088B1 KR 1020060097337 A KR1020060097337 A KR 1020060097337A KR 20060097337 A KR20060097337 A KR 20060097337A KR 100801088 B1 KR100801088 B1 KR 100801088B1
Authority
KR
South Korea
Prior art keywords
image
images
focus
lens
lenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020060097337A
Other languages
English (en)
Inventor
성기영
조희근
박두식
한영란
김윤태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060097337A priority Critical patent/KR100801088B1/ko
Priority to US11/892,648 priority patent/US7944498B2/en
Application granted granted Critical
Publication of KR100801088B1 publication Critical patent/KR100801088B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

다중 초점 카메라 장치 및 다중 초점 카메라 장치를 이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는 방법이 제공된다. 본 발명의 실시예에 따른 다중 초점 카메라 장치는 입사되는 빛을 집광하는 복수의 렌즈를 포함하는 렌즈부 및 복수의 렌즈에 대응하여 복수의 센싱영역을 가지고, 각 센싱영역에서 각 렌즈를 통과한 빛을 전기 신호로 변환하여 복수의 영상을 획득하는 이미지 센서부를 포함하는데, 각 렌즈는 동일한 광학적 특성을 가지고 센싱영역과의 거리가 다르게 형성되며, 한번의 촬영으로 복수의 영상을 획득한다.
다중 초점, 포커스 프리, 프리 포커스, 아웃포커스, 카메라

Description

다중 초점 카메라 장치 및 다중 초점 카메라 장치를 이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는 방법{Camera apparatus having multiple focus and method for producing focus-free image and out of focus image using the apparatus}
도 1은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 렌즈의 광학적 특성이 같을 때의 다중 초점 카메라 장치의 렌즈 배치를 보여주는 도면이다.
도 3은 본 발명의 다른 일 실시예에 따른 각 렌즈와 센싱영역 사이의 거리가 같도록 렌즈가 배치될 때 서로 다른 광학적 특성을 가지는 렌즈를 보여주는 도면이다.
도 4는 각 렌즈들이 전후 방향으로 함께 움직이는 모습을 보여주는 도면이다.
도 5는 본 발명의 다중 초점 카메라 장치의 개념도이다.
도 6은 한번의 촬영으로 복수의 영상을 획득했을 때 렌즈의 위치에 따른 영상을 보여주는 도면이다.
도 7은 본 발명의 다중 초점 카메라 장치에 의해 초점심도(DOF)가 증가하는 모습을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법을 보여주는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 포커스 프리 영상을 생성하는 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법을 보여주는 순서도이다.
도 11은 본 발명의 일 실시예에 따른 아웃포커스 영상을 생성하는 과정을 설명하는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 렌즈부
115: 렌즈
120: 이미지 센서부
125: 센싱영역
130: 화각 보정부
140: 포커스 프리 영상생성부
150: 아웃포커스 영상생성부
본 발명은 다중 초점 카메라 장치 및 다중 초점 카메라 장치를 이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는 방법에 관한 것으로, 보다 상세하게는 한번의 촬영으로 초점거리가 다른 다수의 영상을 획득하고, 이로부터 포커스 프리(Focus-Free) 영상과 아웃포커스(Out of Focus) 영상을 획득하는 방법 및 장치에 관한 것이다.
디지털 기기에 대한 기술을 발전으로 디지털 기기는 점점 초경량화, 초소형화, 초슬림화 되어가고 있다. 또한, 디지털 기기의 통합화 추세에 따라서 휴대폰, 디지털 카메라, MP3 등은 하나의 디지털 기기에서 작동이 가능하게 되었다.
핸드폰에 디지털 카메라의 기능을 넣은 카메라폰의 렌즈 직경은 일반적으로 디지털 스틸 카메라(DSC; Digital Still Camera)에 비해 작기 때문에 초점심도(DOF; Depth OF Focus)의 폭이 넓다. 일반적인 카메라폰의 물체 측 초점심도는 60cm ~ 무한대로, 카메라폰으로부터 60cm 이상 떨어진 지점을 촬영하면 최적 선명도는 아니지만 카메라폰으로부터 거리에 따라 큰 차이가 없이 유사한 선명도를 가지는 영상을 획득할 수 있다. 따라서, 카메라폰으로는 고급 카메라의 아웃포커스 기능을 구현하기가 쉽지 않다.
카메라폰의 초점심도의 폭이 넓기는 하나, 물체가 카메라폰으로부터 60cm 근처에 있을 경우에 초점거리 이외의 위치에 있는 물체에 대해서는 많은 블러(blur) 현상이 발생한다. 따라서 포커스 프리 영상을 얻기가 쉽지 않다. 또한, 초점거리가 60cm 보다 멀다고 하더라도 물체 측 초점위치의 선예도(sharpness)가 가장 좋고, 그 전후에 있는 물체의 영상은 약간의 블러(blur) 현상이 발생한다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 카메라폰, 소형 디지털 카메라 등에 있어서 한번의 촬영으로 다양한 초점거리를 가지는 영상을 획득하여 고급 카메라의 기능인 포커스 프리(Focus-Free) 영상과 아웃포커스(Out of Focus) 영상을 구현할 수 있는 장치 및 방법에 관한 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다중 초점 카메라 장치는 입사되는 빛을 집광하는 복수의 렌즈를 포함하는 렌즈부 및 상기 복수의 렌즈에 대응하여 복수의 센싱영역을 가지고, 상기 각 센싱영역에서 상기 각 렌즈를 통과한 빛을 전기 신호로 변환하여 복수의 영상을 획득하는 이미지 센서부를 포함하는데, 상기 각 렌즈는 동일한 광학적 특성을 가지고 상기 센싱영역과의 거리가 다르게 형성되며, 한번의 촬영으로 복수의 영상을 획득한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 다른 일 실시예에 따른 다중 초점 카메라 장치는 입사되는 빛을 집광하는 복수의 렌즈를 포함하는 렌즈부 및 상기 복수의 렌즈에 대응하여 복수의 센싱영역을 가지고, 상기 각 센싱영역에서 상기 각 렌즈를 통과한 빛을 전기 신호로 변환하여 복수의 영상을 획득하는 이미지 센서 부를 포함하는데, 상기 각 렌즈는 서로 다른 광학적 특성을 가지고 상기 센싱영역과의 거리가 같게 형성되며, 한번의 촬영으로 복수의 영상을 획득한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법은 (a) 제 1 항 또는 제 14 항의 장치를 이용하여 한번의 촬영으로 복수의 영상을 획득하는 단계, (b) 상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 화각 보정을 하는 단계 및 (c) 상기 획득한 복수의 영상으로부터 최적의 선예도(sharpness)를 가지는 부분영상을 각각 추출하여, 상기 추출된 부분영상을 결합하여 포커스 프리(Focus-Free) 영상을 생성하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법은 (a) 제 1 항 또는 제 14 항의 장치를 이용하여 한번의 촬영으로 복수의 영상을 획득하는 단계, (b) 상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 화각 보정을 하는 단계 및 (c) 상기 획득한 복수의 영상 중 소정의 영상으로부터 최적의 선예도를 가지는 부분영상을 추출하고 상기 소정의 영상을 제외한 나머지 영상을 블러링(blurring)하여, 상기 블러링한 영상과 상기 최적의 선예도를 가지는 부분영상을 결합하여 아웃포커스(Out of Focus) 영상을 생성하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
이하, 본 발명의 실시예들에 의하여 다중 초점 카메라 장치 및 다중 초점 카메라 장치를 이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치의 구성을 보여주는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 렌즈의 광학적 특성이 같을 때의 다중 초점 카메라 장치의 렌즈 배치를 보여주는 도면이며, 도 3은 본 발명의 다른 일 실시예에 따른 각 렌즈와 센싱영역 사이의 거리가 같도록 렌즈가 배치될 때 서로 다른 광학적 특성을 가지는 렌즈를 보여주는 도면이며, 도 5는 본 발명의 다중 초점 카메라 장치의 개념도이다.
본 발명에 따른 다중 초점 카메라 장치는 렌즈부(110), 이미지 센서부(120), 화각 보정부(130), 포커스 프리 영상 생성부(140) 및 아웃포커스 영상 생성부(150)를 포함할 수 있다.
렌즈부(110)는 입사되는 빛을 집광하는 복수의 렌즈(115a, 115b, 115c, 115d)를 포함한다. 여기서, 렌즈(115)의 개수에는 제한이 없다. 복수의 렌즈(115) 는 렌즈(115)의 정면으로 보았을 때 가로x세로의 바둑판 형태로 배열되는 것(4개의 렌즈로 구성될 경우 정사각형 형태로 배열)이 바람직하나, 설명의 편의를 위해 도 2와 도 3에서는 일렬로 배열되는 구조를 도시하고 있다. 이하, 본 명세서에서는 설명의 편의를 위해 렌즈부(110)가 4개의 렌즈(115a, 115b, 115c, 115d)로 구성되며 일직선으로 배열되는 경우로 설명하도록 한다.
렌즈(115)의 개수가 n개일 때 다중의 렌즈(115)가 놓여져서 한번의 촬영에 의해 n개의 영상(125)을 획득할 수 있다. 이때 복수의 렌즈(115)들 중 하나의 렌즈를 기준렌즈(본 명세서에서는 115b 렌즈)로 하여 사용자는 기준렌즈(115b)로 사물에 대하여 초점을 맞추고 촬영을 할 수 있다.
또한, 도 4와 같이 각 렌즈(115a, 115b, 115c, 115d)는 그룹으로 묶여져 있어서 함께 전후 방향으로 움직이는 구조이다. 따라서 기준렌즈(115b)가 움직이면 다른 렌즈(115a, 115c, 115d)도 기준렌즈(115b)와 동일한 거리를 같은 방향으로 움직인다. 물론, 각각의 렌즈(115a, 115b, 115c, 115d)가 개별적으로 움직이게도 할 수도 있다.
본 발명의 일 실시예에 따라 각 렌즈(115)는 도 2와 같이 동일한 광학적 특성을 가질 때 각 렌즈(115)는 후술할 이미지 센서부(120)의 센싱영역(125)과 서로 다른 거리의 위치에 놓여질 수 있다. 이때 광학적 특성은 렌즈(115)의 초점거리가 될 수 있다. 따라서 기준렌즈(115b)를 기준으로 포커스를 맞추어서 촬영을 할 때, 다른 렌즈(115a, 115c, 115d)에 의해 획득한 영상(125a, 125c, 125d)은 렌즈(115)와 센싱영역(125) 사이의 거리가 다르기 때문에 기준렌즈(115b) 와는 다른 위치에 포커스를 맞춰서 영상을 획득하게 된다.
본 발명의 다른 일 실시예에 따라 각 렌즈는 도 3과 같이 서로 다른 광학적 특성을 가지고 각 렌즈(115a, 115b, 115c, 115d)는 이미지 센서부(120)의 센싱영역과의 거리가 동일하게 형성될 수도 있다. 이때 광학적 특성은 렌즈(115)의 초점거리가 될 수 있다. 그 결과, 기준렌즈(115b)를 기준으로 포커스를 맞추어서 촬영을 할 때, 다른 렌즈(115a, 115c, 115d)에 의해 획득한 영상은 렌즈(115)와 센싱영역(125) 사이의 거리는 같지만 렌즈(115)의 초점거리가 각각 달라서 기준렌즈(115b)와는 다른 위치에 포커스를 맞춰진 영상을 획득하게 된다.
이미지 센서부(120)는 렌즈(115)를 통과한 빛을 감지하여, 전기 신호로 변환하여 영상을 획득한다. 이미지 센서부(120)는 렌즈부(110)의 복수의 렌즈(115a, 115b, 115c, 115d)에 대응하여 각각의 센싱영역(125a, 125b, 125c, 125d)을 가진다. 즉, 각각의 렌즈(115a, 115b, 115c, 115d)를 통과한 빛은 대응하는 각각의 센싱영역(125a, 125b, 125c, 125d)에서 감지되어 각각의 영상을 획득하게 된다.
도 5에서 렌즈 A(115a), 렌즈 B(115b), 렌즈 C(115c), 렌즈 D(115d)를 통과한 빛은 이미지 센서부의 센싱영역 A(125a), 센싱영역 B(125b), 센싱영역 C(125c), 센싱영역 D(125d)에 각각 감지되어 영상을 획득하게 된다. 따라서, 한번의 촬영으로 복수의 영상을 획득할 수 있다.
화각 보정부(130)는 이미지 센서부(120)에서 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 보정을 한다. 각 렌즈의 위치가 다르므로 촬영을 할 때 특정의 장면(Scean)에 대하여 약간씩 상이한 크기의 영상을 획득하게 된다. 따라서 각각의 영상이 동일한 크기의 영상이 되도록 화각 보정을 한다. 화각을 보정하는 방법은 종래의 기술로 많이 제시되어 있기 때문에 설명을 생략하기로 한다.
포커스 프리(Focus-Free) 영상 생성부(140)는 복수의 영상으로부터 포커스 프리 영상을 생성한다. 각각의 획득한 영상으로부터 최적의 선예도(sharpness)를 가지는 부분영상을 각각 추출한 후, 추출된 각 부분영상을 결합(merging)하여 영상을 생성할 수 있다. 따라서, 전 영역에 걸쳐서 선예도가 높은 포커스 프리 영상을 획득할 수 있다.
아웃포커스(Out-of Focus) 영상 생성부(150)는 복수의 영상으로부터 아웃포커스 영상을 생성한다. 각각의 획득한 영상 중 소정의 영상으로부터 최적의 선예도를 가지는 부분 영상을 추출하고, 소정의 영상을 제외한 나머지 영상을 블러링하여, 블러링한 영상과 최적의 선예도를 가지는 부분영상을 결합(merging)하여 아웃포커스 영상을 생성할 수 있다.
이때, 소정의 영상은 기준 렌즈(115b)에 의해 획득한 영상(125b)이 됨이 바람직하다. 따라서, 사용자가 포커스를 맞춘 영역은 선예도(sharpness)가 높아 선명하고 이외의 나머지 영역은 흐릿하게 나오는 아웃포커스 영상을 획득할 수 있다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
도 6은 한번의 촬영으로 복수의 영상을 획득했을 때 렌즈의 위치에 따른 영상을 보여주는 도면이다.
일반 카메라의 오토 포커스(Auto focus) 기능은 렌즈를 앞뒤로 움직이면서 사물의 최적 초점을 찾는 것이다. 이와 유사하지만 본 발명에서는 각각의 렌즈(115a, 115b, 115c, 115d)는 물체 측 초점거리가 다르게 형성되어 있고 각각의 렌즈는 모두 함께 전후로 움직이므로, 각각의 렌즈를 통해 서로 다른 물체 측 초점거리를 가지는 영상을 획득할 수가 있다. 이 때 물체 측 초점거리는 렌즈에 의해 특정 지점이 포커스가 맞춰질 때 포커스된 지점과 렌즈 사이의 거리를 말한다.
예를 들어 도 6에서 사용자는 4명의 사람을 촬영하고자 한다. 도면에서 각 사람에 대해서 A, B, C, D를 나타내고 있는데 A, B, C, D 순으로 카메라로부터 먼 위치에 있다. 이때 렌즈 B(115b)를 기준 렌즈로 하여 B 사람에 포커스를 맞추어서 촬영을 하여 4개의 영상(125a, 125b, 125c, 125d)을 획득한다. 이때, 물체 쪽 초점거리(도면의 공식에서 a)가 각각 다르므로 렌즈 A(115a)는 B 사람보다 카메라에 더 가까운 위치에 포커스를 맞추게 되고, 렌즈 C(115c), D(115d)는 각각 B 사람보다 카메라에 더 먼 위치에 포커스를 맞추게 된다. 따라서, 각 렌즈별로 다른 물체쪽 초점거리를 가진 영상을 획득하게 된다. 렌즈 A(115a)에 의해 획득한 영상(125a)은 기준렌즈(115b)에 의해 포커스를 맞춘 사람 B보다 가까운 위치에 있는 사람 A에 포커스를 맞춘 영상이고, 렌즈 C(115c)에 의해 획득한 영상(125b)은 기준렌즈(115b)에 의해 포커스를 맞춘 사람 B보다 더 먼 위치에 있는 사람 C에 포커스를 맞춘 영상이며, 렌즈 D에 의해 획득한 영상(125d)은 사람 C보다 더 먼 위치에 있는 사람 D에 포커스를 맞춘 영상이다. 각각의 렌즈(115a, 115b, 115c, 115d)에 대하여 획득한 영상(125a, 125b, 125c, 125d)은 각각 사람 A, 사람 B, 사람 C, 사람 D에 대하여 선명하게 나타날 것이다.
따라서 본 발명의 다중 초점 카메라 장치는 카메라로부터 물체 측 초점거리가 다양한 영상을 획득할 수가 있다.
도 7은 본 발명의 다중 초점 카메라 장치에 의해 초점심도(DOF)가 증가하는 모습을 보여주는 도면이다.
DOF는 결상된 이미지가 이 영역 안에는 모두 좋은 영상을 획득할 수 있다는 것을 의미한다. 각 렌즈(115a, 115b, 115c, 115d))의 광학적 특징(특히, 렌즈의 초점거리)이 동일할 경우, 각 렌즈(115)들은 각각 도면에 표시된 것과 같은 초점심도(DOF)를 가지게 된다. 광학적 특징이 동일하므로 각 렌즈(115)로부터 동일한 거리의 영역에 DOF가 형성됨을 알 수 있다. 따라서 본 발명에서는 4 개의 렌즈(115)를 사용할 경우 각각의 렌즈(115)에 의해 획득한 영상에서 포커스된 영역을 합친다면 전체 영역이 선예도가 높게 나타날 수 있으므로, 좋은 영상을 얻을 수 있는 DOF 가 증가되는 효과가 발생하게 된다.
본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법을 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법을 보여주는 순서도이고, 도 9는 본 발명의 일 실시예에 따른 포커스 프리 영상을 생성하는 과정을 설명하는 도면이다.
먼저 전술한 본 발명의 다중 초점 카메라 장치를 이용해서 한번의 촬영으로 이미지 센서부(120)에서 복수의 영상(125a, 125b, 125c, 125d)을 획득한다(S310). 이때 전술한 바와 같이 각각의 영상은 각각 다른 지점에 포커스를 맞춘 영상이다.
이때, 이미지 센서부(120)에서 획득한 영상(125)에 대하여 디모자이크(De-mosaic) 처리를 할 수 있다(S320). 포착된 픽셀값을 실제 색상을 표현하는 정확한 값으로 변환하는 처리를 디모자이크라고 한다.
다음, 화각 보정부(130)에서는 획득한 복수의 영상(125)이 모두 같은 크기의 영상(125)이 되도록 화각 보정을 한다(S330). 도 9에서 화각 보정 전에는 획득한 영상(125a, 125b, 125c, 125d)의 크기가 다름을 알 수 있다. 이때 기준렌즈인 렌즈 B(115b)에 의해 획득한 영상(125b)을 기준으로 나머지 영상들(125a, 125c, 125d)에 대하여 화각 보정을 할 수 있다. 화각 보정 후 각 영상의 크기가 같아지도록 바뀐 것을 도 9에서 알 수 있다. 보정된 영상은 모두 화각이 동일하고 각각 다른 위치에 포커스를 맞춘 영상이다.
다음, 포커스 프리 영상 생성부(140)에서는 복수의 영상(125)에 대하여 최적 의 선예도를 가지는 부분영상을 각각 추출한 후, 추출된 부분영상을 결합(merging)하여 전 영역에 걸쳐서 선예도가 높은 포커스 프리 영상을 생성한다(S340).
복수의 영상(125)으로부터 픽셀별로 최적의 선예도를 선택하기 위해서, 국부적으로 하이 패스 필터(High Pass Filter)를 사용하여 가장 큰 값에 해당하는 부분을 선택하는 방법을 사용할 수 있다.
또한, 복수의 영상(125)으로부터 각 픽셀들을 비교하여 픽셀 중 가장 높은 값에 해당하는 픽셀을 선택하는 방법을 사용할 수도 있다.
다음, 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법을 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법을 보여주는 순서도이고, 도 11은 본 발명의 일 실시예에 따른 아웃포커스 영상을 생성하는 과정을 설명하는 도면이다.
먼저, 전술한 본 발명의 다중 초점 카메라 장치를 이용해서 한번의 촬영으로 이미지 센서부(120)에서 복수의 영상(125)을 획득한다(S410). 이때 전술한 바와 같이 각각의 영상(125a, 125b, 125c, 125d)은 각각 다른 지점에 포커스를 맞춘 영상이다. 도 11에서 두 명의 여자를 본 발명의 카메라로 촬영을 하는데, 촬영한 카메라는 전술한 바와 같이 물체 쪽 초점거리가 각각 다른 4개의 렌즈(115a, 115b, 115c, 115d)로 구성되어 있다. 렌즈 B(115b)를 기준렌즈로 하여 여자 2를 포커스를 하여 촬영을 한다. 여자 1은 여자 2에 비해서 카메라로부터 더 먼 위치에 있다.
이때, 이미지 센서부(120)에서 획득한 영상(125)에 대하여 포착된 픽셀값을 실제 색상을 표현하는 정확한 값으로 변환하는 디모자이크(De-mosaic) 처리를 할 수 있다(S420).
다음, 화각 보정부(130)에서는 획득한 복수의 영상(125)이 모두 같은 크기의 영상이 되도록 화각 보정을 한다(S430). 도 10에서는 기준렌즈인 렌즈 B(115b)에 의해 획득한 영상(125b)을 기준으로 나머지 영상들(125a, 125c, 125d)에 대하여 화각 보정을 하여 각 영상의 크기가 같아지도록 처리된 결과가 도시되어 있다(도 11에서 촬영 후 화각 보정한 영상).
보정된 영상은 모두 화각이 동일하고 각각 다른 위치에 포커스를 맞춘 영상이다. 이때, 렌즈 A(115a)의 포커스는 여자 2보다 앞쪽에 맞추어져 있고, 렌즈 B(115b)의 포커스는 여자 2에 맞추어져 있으며, 렌즈 C(115c)의 포커스는 여자 1과 여자 2 사이에 맞추어져 있으며, 렌즈 D(115d)의 포커스는 여자 1에 맞추어져 있다. 따라서, 여자 2를 기준으로 보았을 때, 렌즈 B(115b)는 여자 2 부분에 대하여 가장 높은 선예도를 가지고, 나머지 렌즈 A(115a)와, 렌즈 C(115c), 렌즈 D(115d)는 상대적으로 낮은 선예도를 가지게 된다.
다음, 아웃포커스 영상 생성부(150)에서는 획득한 영상(125) 중 소정의 영상으로부터 최적의 선예도를 가지는 부분영상을 추출하고, 소정의 영상을 제외한 나머지 영상을 블러링(blurring)하여, 블러링한 영상과 최적의 선예도를 가지는 부분영상을 결합하여 아웃포커스 영상을 생성한다(S440).
소정의 영상은 사용자가 포커스를 맞춘 렌즈(115b)인 기준렌즈에 의해 획득한 영상일 수 있다. 도 11에서는 렌즈 B(115b)에 의해 획득한 영상이다.
렌즈 B(115b)에 의해 획득한 영상(125b)에서 하이 패스 필터(High Pass Filter)를 이용하여 높은 선예도를 가지는 부분 영상을 추출할 수 있다. 도 11에서 여자 2만 하이 패스 필터에 의해 추출되어 도시된 것을 볼 수 있다(도 11의 하이 패스 필터에 의해 추출된 영상(H)).
이때, 나머지 렌즈 A(115a), 렌즈 C(115c), 렌즈 D(115d)에 의해 획득한 영상(125a, 125c, 125d)은 로우 패스 필터를 사용하여 블러링(blurring)을 한다. 이때, 렌즈 B(115b)와 상대적으로 가까운 초점거리를 가지는 렌즈 A(115a), 렌즈 C(115c)에 의해 획득한 영상(125a, 125c)은 상대적으로 작은 가중치(weight)를 갖는 로우 패스 필터를 사용하고, 렌즈 B(115b)와 상대적으로 먼 초점거리를 가지는 렌즈 D(115d)에 의해 획득한 영상(125d)은 상대적으로 큰 가중치를 갖는 로우 패스 필터를 사용할 수 있다. 따라서, 렌즈 A(115a)와 렌즈 C(115c)에 의해 획득한 영상(125a, 125c)은 상대적으로 적은 블러링이 발생하고, 렌즈 D(115d)에 의해 획득한 영상(125d)은 상대적으로 많은 블러링이 발생하게 된다(도 11의 블러링한 영상 참조). 이는 사용자가 포커스를 맞춘 사람 2를 기준으로 하여 더 먼 쪽에 있는 것은 더 많은 블러링을 시켜서 더 흐릿하게 보이는 효과를 내기 위해서이다.
다음, 블러링한 영상들을 결합한다. 이때 블러링한 영상들의 각 픽셀을 평균하여 하나의 영상으로 결합(merging)할 수 있다(도 11의 블러링한 영상을 결합한 영상(L)).
다음, 전술한 하이 패스 필터로 추출한 영상과 블러링한 영상을 결합한다(도 11의 H와 L을 결합한 최종 아웃포커스 영상). 이때, 하이 패스 필터로 추출한 영상 의 나머지 픽셀들은 블러링한 영상이 채워지게 된다. 즉, 블러링한 영상 위에 하이 패스 필터로 추출한 영상을 덮어 씌울 수 있다.
이렇게 함으로써 사용자가 초점을 맞춘 여자 2는 높은 선예도를 가진 선명한 영상이 되고, 여자 2로부터 멀리 있을수록 블러링이 되는 아웃포커스 영상을 생성할 수가 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
상기한 바와 같은 본 발명의 다중 초점 카메라 장치 및 다중 초점 카메라 장치를 이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 한번의 촬영으로 다중 초점을 갖는 다수의 영상을 획득하여 초점심도(DOF)를 증가시킬 수 있다는 장점이 있다.
둘째, 고가의 카메라 장치에서 가능한 포커스 프리 영상을 간단하게 생성할 수 있다는 장점도 있다.
셋째, 고가의 카메라 장치에서 가능한 아웃포커스 영상을 간단하게 생성할 수 있다는 장점도 있다.

Claims (35)

  1. 입사되는 빛을 집광하는 복수의 렌즈를 포함하는 렌즈부;
    상기 복수의 렌즈에 대응하여 복수의 센싱영역을 가지고, 상기 각 센싱영역에서 상기 각 렌즈를 통과한 빛을 전기 신호로 변환하여 복수의 영상을 획득하는 이미지 센서부; 및
    상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 보정하는 화각 보정부를 포함하는데,
    상기 각 렌즈는 동일한 광학적 특성을 가지고 상기 센싱영역과의 거리가 다르게 형성되고 상기 보정된 복수의 영상을 영상 처리하여 단일의 영상을 생성하는, 다중 초점 카메라 장치.
  2. 제 1 항에 있어서,
    상기 복수의 렌즈는 정사각형의 바둑판 형태로 배열되는, 다중 초점 카메라 장치.
  3. 제 1 항에 있어서,
    상기 복수의 렌즈는 전후 방향으로 함께 움직이는, 다중 초점 카메라 장치.
  4. 제 1 항에 있어서,
    상기 복수의 렌즈 중 소정의 렌즈는 기준 렌즈가 되어, 상기 기준 렌즈를 기준으로 촬영을 하도록 형성된, 다중 초점 카메라 장치.
  5. 제 1 항에 있어서,
    상기 광학적 특성은 렌즈의 초점 거리를 포함하는, 다중 초점 카메라 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 획득한 복수의 영상으로부터 최적의 선예도(sharpness)를 가지는 부분영상을 각각 추출하여, 상기 추출된 각 부분영상을 결합하여 상기 단일의 영상을 생성하는 포커스 프리(Focus-Free) 영상 생성부를 더 포함하는, 다중 초점 카메라 장치.
  8. 제 7 항에 있어서,
    상기 포커스 프리 영상 생성부는 상기 획득한 각 영상에 국부적으로 하이 패스 필터(High Pass Filter)를 사용하여 가장 큰 값의 선예도를 가지는 부분영상을 선택하여 추출하는, 다중 초점 카메라 장치.
  9. 제 7 항에 있어서,
    상기 포커스 프리 영상 생성부는 상기 획득한 각 영상의 각 픽셀(Fixel)들을 비교하여 가장 큰 값의 선예도를 가지는 부분영상을 선택하여 추출하는, 다중 초점 카메라 장치.
  10. 제 1 항에 있어서,
    상기 획득한 복수의 영상 중 소정의 영상으로부터 최적의 선예도를 가지는 부분영상을 추출하고 상기 소정의 영상을 제외한 나머지 영상을 블러링(blurring)하여, 상기 블러링한 영상과 상기 최적의 선예도를 가지는 부분영상을 결합하여 상기 단일의 영상을 생성하는 아웃포커스(Out of Focus) 영상 생성부를 더 포함하는, 다중 초점 카메라 장치.
  11. 제 10 항에 있어서,
    상기 최적의 선예도를 가지는 부분영상은 사용자가 초점을 맞춰 촬영한 기준 렌즈에 의해 획득한 영상에 국부적으로 하이 패스 필터를 사용하여 가장 큰 값의 선예도를 가지는 부분을 선택하여 추출되는, 다중 초점 카메라 장치.
  12. 제 10 항에 있어서,
    상기 블러링한 영상은 로우 패스 필터(Low Pass Filter)를 사용하여 상기 소정의 영상을 제외한 나머지 영상을 블러링한 후, 각각의 영상을 평균하여 결합함으로써 획득되는, 다중 초점 카메라 장치.
  13. 제 12 항에 있어서,
    상기 로우 패스 필터는 상기 소정의 영상을 획득한 렌즈의 물체 측 초점거리와 가까운 물체 측 초점거리를 가지는 렌즈에 의해 획득한 영상일수록 작은 가중치(weight)의 로우 패스 필터인, 다중 초점 카메라 장치.
  14. 입사되는 빛을 집광하는 복수의 렌즈를 포함하는 렌즈부;
    상기 복수의 렌즈에 대응하여 복수의 센싱영역을 가지고, 상기 각 센싱영역에서 상기 각 렌즈를 통과한 빛을 전기 신호로 변환하여 복수의 영상을 획득하는 이미지 센서부; 및
    상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 보정하는 화각 보정부를 포함하는데,
    상기 각 렌즈는 서로 다른 광학적 특성을 가지고 상기 센싱영역과의 거리가 같게 형성되고, 상기 보정된 복수의 영상을 영상 처리하여 단일의 영상을 생성하는, 다중 초점 카메라 장치.
  15. 제 14 항에 있어서,
    상기 복수의 렌즈는 정사각형의 바둑판 형태로 배열되는, 다중 초점 카메라 장치.
  16. 제 14 항에 있어서,
    상기 복수의 렌즈는 전후 방향으로 함께 움직이는, 다중 초점 카메라 장치.
  17. 제 14 항에 있어서,
    상기 복수의 렌즈 중 소정의 렌즈는 기준 렌즈가 되어, 상기 기준 렌즈를 기 준으로 촬영을 하도록 형성된, 다중 초점 카메라 장치.
  18. 제 14 항에 있어서,
    상기 광학적 특성은 렌즈의 초점 거리를 포함하는, 다중 초점 카메라 장치.
  19. 삭제
  20. 제 14 항에 있어서,
    상기 획득한 복수의 영상으로부터 최적의 선예도(sharpness)를 가지는 부분영상을 각각 추출하여, 상기 추출된 각 부분영상을 결합하여 상기 단일의 영상을 생성하는 포커스 프리(Focus-Free) 영상 생성부를 더 포함하는, 다중 초점 카메라 장치.
  21. 제 20 항에 있어서,
    상기 포커스 프리 영상 생성부는 상기 획득한 각 영상에 국부적으로 하이 패스 필터(High Pass Filter)를 사용하여 가장 큰 값의 선예도를 가지는 부분영상을 선택하여 추출하는, 다중 초점 카메라 장치.
  22. 제 20 항에 있어서,
    상기 포커스 프리 영상 생성부는 상기 획득한 각 영상의 각 픽셀(Fixel)들을 비교하여 가장 큰 값의 선예도를 가지는 부분영상을 선택하여 추출하는, 다중 초점 카메라 장치.
  23. 제 14 항에 있어서,
    상기 획득한 복수의 영상 중 소정의 영상으로부터 최적의 선예도를 가지는 부분영상을 추출하고 상기 소정의 영상을 제외한 나머지 영상을 블러링(blurring)하여, 상기 블러링한 영상과 상기 최적의 선예도를 가지는 부분영상을 결합하여 상기 단일의 영상을 생성하는 아웃포커스(Out of Focus) 영상 생성부를 더 포함하는, 다중 초점 카메라 장치.
  24. 제 23 항에 있어서,
    상기 최적의 선예도를 가지는 부분영상은 사용자가 초점을 맞춰 촬영한 기준 렌즈에 의해 획득한 영상에 국부적으로 하이 패스 필터를 사용하여 가장 큰 값의 선예도를 가지는 부분을 선택하여 추출되는, 다중 초점 카메라 장치.
  25. 제 23 항에 있어서,
    상기 블러링한 영상은 로우 패스 필터(Low Pass Filter)를 사용하여 상기 소정의 영상을 제외한 나머지 영상을 블러링한 후, 각각의 영상을 평균하여 결합함으로써 획득되는, 다중 초점 카메라 장치.
  26. 제 25 항에 있어서,
    상기 로우 패스 필터는 상기 소정의 영상을 획득한 렌즈의 물체 측 초점거리와 가까운 물체 측 초점거리를 가지는 렌즈에 의해 획득한 영상일수록 작은 가중치(weight)의 로우 패스 필터인, 다중 초점 카메라 장치.
  27. (a) 제 1 항 또는 제 14 항의 장치를 이용하여 한번의 촬영으로 복수의 영상을 획득하는 단계;
    (b) 상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 화각 보정을 하는 단계; 및
    (c) 상기 획득한 복수의 영상으로부터 최적의 선예도(sharpness)를 가지는 부분영상을 각각 추출하여, 상기 추출된 부분영상을 결합하여 포커스 프리(Focus-Free) 영상을 생성하는 단계를 포함하는, 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법.
  28. 제 27 항에 있어서,
    상기 부분영상은 상기 획득한 각 영상에 국부적으로 하이 패스 필터(High Pass Filter)를 사용하여 가장 큰 값의 선예도를 가지는 부분을 선택하여 추출되는, 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법.
  29. 제 27 항에 있어서,
    상기 부분영상은 상기 획득한 각 영상의 각 픽셀(Fixel)들을 비교하여 가장 큰 값의 선예도를 가지는 부분을 선택하여 추출되는, 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법.
  30. 제 27 항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 획득한 영상을 디모자이크(De-mosaic)하는 단계를 더 포함하는, 다중 초점 카메라 장치를 이용하여 포커스 프리 영상을 생성하는 방법.
  31. (a) 제 1 항 또는 제 14 항의 장치를 이용하여 한번의 촬영으로 복수의 영상을 획득하는 단계;
    (b) 상기 획득한 복수의 영상이 모두 같은 크기의 영상이 되도록 화각 보정을 하는 단계; 및
    (c) 상기 획득한 복수의 영상 중 소정의 영상으로부터 최적의 선예도를 가지는 부분영상을 추출하고 상기 소정의 영상을 제외한 나머지 영상을 블러링(blurring)하여, 상기 블러링한 영상과 상기 최적의 선예도를 가지는 부분영상을 결합하여 아웃포커스(Out of Focus) 영상을 생성하는 단계를 포함하는, 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법.
  32. 제 31 항에 있어서,
    상기 최적의 선예도를 가지는 부분영상은 사용자가 초점을 맞춰 촬영한 기준 렌즈에 의해 획득한 영상에 국부적으로 하이 패스 필터를 사용하여 가장 큰 값의 선예도를 가지는 부분을 선택하여 추출되는, 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법.
  33. 제 31 항에 있어서,
    상기 블러링한 영상은 로우 패스 필터(Low Pass Filter)를 사용하여 상기 소정의 영상을 제외한 나머지 영상을 블러링한 후, 각각의 영상을 평균하여 결합함으로써 획득되는, 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법.
  34. 제 33 항에 있어서,
    상기 로우 패스 필터는 상기 소정의 영상을 획득한 렌즈의 물체 측 초점거리와 가까운 물체 측 초점거리를 가지는 렌즈에 의해 획득한 영상일수록 작은 가중치(weight)의 로우 패스 필터인, 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법.
  35. 제 31 항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 획득한 영상을 디모자이크(De-mosaic)하는 단계를 더 포함하는, 다중 초점 카메라 장치를 이용하여 아웃포커스 영상을 생성하는 방법.
KR1020060097337A 2006-10-02 2006-10-02 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 Active KR100801088B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060097337A KR100801088B1 (ko) 2006-10-02 2006-10-02 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
US11/892,648 US7944498B2 (en) 2006-10-02 2007-08-24 Multi-focal camera apparatus and methods and mediums for generating focus-free image and autofocus image using the multi-focal camera apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060097337A KR100801088B1 (ko) 2006-10-02 2006-10-02 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법

Publications (1)

Publication Number Publication Date
KR100801088B1 true KR100801088B1 (ko) 2008-02-05

Family

ID=39260727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060097337A Active KR100801088B1 (ko) 2006-10-02 2006-10-02 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법

Country Status (2)

Country Link
US (1) US7944498B2 (ko)
KR (1) KR100801088B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110078175A (ko) * 2009-12-30 2011-07-07 삼성전자주식회사 영상 데이터 생성 방법 및 장치
KR101367025B1 (ko) 2009-12-03 2014-02-24 퀄컴 인코포레이티드 광학 효과들을 발생하기 위한 디지털 이미지 합성
WO2015126044A1 (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치
US9154684B2 (en) 2010-01-12 2015-10-06 Samsung Electronics Co., Ltd Method for performing out-focus using depth information and camera using the same
US9319580B2 (en) 2012-11-12 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for shooting and storing multi-focused image in electronic device
KR20160071233A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US9613403B2 (en) 2013-03-28 2017-04-04 Samsung Electronics Co., Ltd. Image processing apparatus and method

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE520949C2 (sv) * 2002-01-15 2003-09-16 Sven-Aake Afsenius Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning
US8155478B2 (en) * 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
US20100079602A1 (en) * 2008-09-26 2010-04-01 Silverbrook Research Pty Ltd. Method and apparatus for alignment of an optical assembly with an image sensor
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
US8464950B2 (en) * 2008-12-22 2013-06-18 Cognex Corporation Fast vision system
CN101770060B (zh) * 2008-12-27 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组及其组装方法
EP2616879A4 (en) * 2010-09-16 2014-10-15 Medha Dharmatilleke METHOD AND CAMERA SYSTEMS FOR RECORDING AND GENERATING 3-DIMENSIONAL (3D) VIDEOS AND 3-DIMENSIONAL (3D) STILL PHOTOS
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9047666B2 (en) 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
CN105323478A (zh) * 2013-08-01 2016-02-10 华为终端有限公司 一种拍照方法及装置
JP5930079B2 (ja) * 2013-09-30 2016-06-08 株式会社ニコン 電子機器
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
RU2589750C2 (ru) * 2014-10-02 2016-07-10 Алмаленс, Инк. Мобильное устройство с оптическими элементами
US9854227B2 (en) * 2015-01-08 2017-12-26 David G Grossman Depth sensor
US20160203689A1 (en) * 2015-01-08 2016-07-14 Kenneth J. Hintz Object Displacement Detector
CN204721458U (zh) * 2015-02-15 2015-10-21 宁波舜宇光电信息有限公司 阵列摄像模组和阵列摄像装置
WO2016127919A1 (zh) * 2015-02-15 2016-08-18 宁波舜宇光电信息有限公司 阵列摄像模组和阵列摄像装置及其调焦方法
KR102468133B1 (ko) * 2016-02-29 2022-11-18 엘지전자 주식회사 발 정맥 인증 장치
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
KR102609464B1 (ko) * 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
KR101882281B1 (ko) * 2017-09-15 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
KR101882282B1 (ko) * 2017-09-22 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
WO2019231042A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 생체 인증 장치
JP7458715B2 (ja) * 2019-06-28 2024-04-01 キヤノン株式会社 撮影装置、その制御方法、プログラム、並びに記録媒体
CN116671119A (zh) 2020-11-23 2023-08-29 Ams-欧司朗有限公司 相机系统、移动设备和操作移动设备用于多焦点成像的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040103786A (ko) * 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
KR20060014228A (ko) * 2004-08-10 2006-02-15 주식회사 팬택 다수의 카메라를 구비하고 있는 이동통신 단말기의 멀티초점 촬영 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
US6148113A (en) * 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
JPH11311832A (ja) 1998-04-28 1999-11-09 Sony Corp 多焦点カメラ
US6201899B1 (en) * 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
US6753929B1 (en) * 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
JP2002281361A (ja) 2001-03-21 2002-09-27 Ricoh Co Ltd 多眼式カメラ
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US20040032525A1 (en) * 2002-05-09 2004-02-19 Oren Aharon Video camera with multiple fields of view
US7460167B2 (en) * 2003-04-16 2008-12-02 Par Technology Corporation Tunable imaging sensor
JP4210189B2 (ja) 2003-09-24 2009-01-14 フジノン株式会社 撮像装置
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US7561191B2 (en) * 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040103786A (ko) * 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
KR20060014228A (ko) * 2004-08-10 2006-02-15 주식회사 팬택 다수의 카메라를 구비하고 있는 이동통신 단말기의 멀티초점 촬영 방법 및 장치

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367025B1 (ko) 2009-12-03 2014-02-24 퀄컴 인코포레이티드 광학 효과들을 발생하기 위한 디지털 이미지 합성
US8798388B2 (en) 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
KR20110078175A (ko) * 2009-12-30 2011-07-07 삼성전자주식회사 영상 데이터 생성 방법 및 장치
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
US10659767B2 (en) 2010-01-12 2020-05-19 Samsung Electronics Co., Ltd. Method for performing out-focus using depth information and camera using the same
US9154684B2 (en) 2010-01-12 2015-10-06 Samsung Electronics Co., Ltd Method for performing out-focus using depth information and camera using the same
US11184603B2 (en) 2010-01-12 2021-11-23 Samsung Electronics Co., Ltd. Method for performing out-focus using depth information and camera using the same
US9819931B2 (en) 2010-01-12 2017-11-14 Samsung Electronics Co., Ltd Method for performing out-focus using depth information and camera using the same
US9319580B2 (en) 2012-11-12 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for shooting and storing multi-focused image in electronic device
US9613403B2 (en) 2013-03-28 2017-04-04 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2015126044A1 (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치
US10674066B2 (en) 2014-02-19 2020-06-02 Samsung Electronics Co., Ltd. Method for processing image and electronic apparatus therefor
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
KR20160071233A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템

Also Published As

Publication number Publication date
US20080079839A1 (en) 2008-04-03
US7944498B2 (en) 2011-05-17

Similar Documents

Publication Publication Date Title
KR100801088B1 (ko) 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
CN102884802B (zh) 三维成像装置和视点图像恢复方法
JP6309922B2 (ja) 撮像システム及び撮像方法
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6972266B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
US10049439B2 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
US20180184013A1 (en) Image processing apparatus, image processing method, program, and storage medium
JP2017184217A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
US9148552B2 (en) Image processing apparatus, image pickup apparatus, non-transitory storage medium storing image processing program and image processing method
JP2014222291A (ja) 撮像装置およびその制御方法
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2016197231A (ja) 表示制御装置及び方法、及び撮像装置
JP6516510B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP2015207851A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2009047735A (ja) 撮像装置及び画像処理プログラム
JP2017032978A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6652294B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2015207841A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2014085608A (ja) 撮像装置
JP2020038319A (ja) 撮像装置及びその制御方法
JP6929140B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
WO2017163588A1 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

St.27 status event code: A-5-5-P10-P19-oth-PG1701

Patent document republication publication date: 20080410

Republication note text: Request for Correction Notice (Document Request)

Gazette number: 1008010880000

Gazette reference publication date: 20080205

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20121210

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20131217

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 15

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 16

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 17

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 18

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 19

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 19