KR101251803B1 - 영상 처리 방법 - Google Patents

Abstract

본 발명은 백색 균형을 수행하기 위한 영상 처리 방법으로서, 백색 균형을 수행하기 위한 기준 구분선을 구성하는 단계; 상기 기준 구분선을 기초로 하여 픽셀의 분포도를 포함하는 그리드를 형성하는 단계; 일 포인트에 대하여 레드 게인값, 블루 게인값 및 픽셀 분포도를 추출하는 단계; 상기 추출된 게인값 및 상기 픽셀 분포도에 소정 가중치를 적용하는 단계; 상기 일 포인트의 픽셀 분포도가 최대값인 경우 상기 일 포인트를 현재 게인값으로서 저장하는 단계; 및 상기 현재 게인값을 갱신하는 단계를 포함하고, 간단한 방법으로 정확하게 백색 균형을 수행할 수 있어 이미지의 질을 향상시킬 수 있다.

Description

영상 처리 방법{METHOD OF IMAGE PROCESS}

본 발명은 백색 균형을 위한 영상 처리 방법에 관한 것으로서, 특히, GRGB 그리드 상의 기준 구분선을 따라 게인값을 업데이트한 후, 최종 게인값을 이용하여 경계화를 수행함으로써 이미지의 품질을 향상시킬 수 있는 영상 처리 방법에 관한 것이다.

근래 카메라 및 비디오 장치를 이용한 영상 기술이 발달함에 따라 다양한 환경에서도 뛰어난 화질을 얻기 위한 자동 초점 조절(Automatic Focusing:AF), 자동 조리개 조절(Automatic Exposure: AE) 또는 자동 백색 균형 조절(Automatic white balance: AWB)과 같은 자동 조절 기술이 요구되고 있다.

백색 균형(White Balance)은 사진에서 비이상적인 색상 기미를 제거하는 과정으로서 인물에 흰색으로 보이는 물체가 사진 또는 그림에서 제대로 나타나게 해준다. 카메라는 광원의 색온도를 고려햐여 백색 균형을 수행해야 하는데 백색 균형은 광원의 상대적인 차가움(coolness) 또는 따뜻함(warmth)에 의존적이다. 인간의 눈은 다른 광원 하에서 백색을 판별할 수 있으나 디지털 카메라에 의해서는 자동 백색 균형(Auto White Balance)의 수행하는데 종종 오류가 발생된다. 이는 사람의 눈과 카메라에 장착된 이미지 센서의 특성 및 감도가 다르기 때문이다.

부정확한 백색 균형은 눈에 거슬리는 청색, 오렌지 또는 녹색 등의 색 기미를 발생시킬 수 있어 인물 사진에 있어서 비이상적이거나 심지어 치명적인 결과를 초래한다.

예컨대, 광원의 온도가 높을수록 청색이 두드러지고 반대의 경우 적색이 두드러지게 된다. 이렇게 색조의 왜곡 현상을 없애기 위하여 청색과 적색의 균형을 자연광 상태와 유사하게 조절하는 기술이 백색 균형이다.

색온도(color temperature)는 표면 온도를 가진 이상적인 흑체(blackbody)로부터 방사되는 빛의 스펙트럼을 나타내고 있고, 표면 온도를 수치화하여 나타낸 것이다. 흑체는 빛을 흡수만 하고 반사 또는 투과하지 아니한 이상적인 물체를 의미하며, 아래 표 1 에서와 같이 광원(Light source)의 종류에 따라 색온도의 범위가 달라질 수 있다.

색온도(Color Temperature)	광원(Light Source)
1000 - 2000 K	촛불(Candlelight)
2500 - 3500 K	텅스템 전구(Tungsten Bulb(household variety))
3000 - 4000 K	해돋이/일몰(Sunrise/Sunset(dear sky))
4000 - 5000 K	형광등(Fluorescent Lamps)
5000 - 5500 K	전기플래시(Electronic Flash)
5000 - 6500 K	맑은날 일광(Daylioght with Clear Sky(sun overhead))
6500 - 8000 K	흐린날(Moderately Overcast Sky)

맥베쓰 차트(Macbeth chart)는 2300K, 2800K, 3000K, 3400K, 5000K 및 6500K 와 같은 다른 빛 조건에서 획득될 수 있는 기준 컬러들에 대한 차트로서, 백색 균형을 위하여 다른 색온도의 광원에 대한 적색 및 청색 보정이 행해진 컬러 차트이다. 이 보정된 값은 다른 빛 조건 하에서 해당하는 백색점(white point)을 모두 포함하는 복수의 다각형 박스(polygonal bounding box)에 반영되어 있다. 다각형 박스는 점들의 집합을 이용하여 기준 구분선을 설정하고 이것을 검색 너비(Search Width)만큼 양쪽으로 확장함으로써 구성될 수 있다. 맥베쓰 차트는 이외에도 컬러 보정을 위한 이미지 처리에 다양하게 사용되고 있다.

본 발명은 상술한 백색 균형을 간단하고 정확하게 처리할 수 있는 영상 처리 방법 및 장치를 제공할 수 있도록 한다.

본 발명의 일 실시예에 따른 영상 처리 방법은, 백색 균형을 수행하기 위한 기준 구분선을 구성하는 단계; 상기 기준 구분선을 기초로 하여 픽셀의 분포도를 포함하는 그리드를 형성하는 단계; 일 포인트에 대하여 레드 게인값, 블루 게인값 및 픽셀 분포도를 추출하는 단계; 상기 추출된 게인값 및 상기 픽셀 분포도에 소정 가중치를 적용하는 단계; 상기 일 포인트의 픽셀 분포도가 최대값인 경우 상기 일 포인트를 현재 게인값으로서 저장하는 단계; 및 상기 현재 게인값을 갱신하는 단계를 포함한다.

본 발명에 따르면 정확한 백색 균형을 수행함으로써 선명한 이미지를 획득할 수 있다.

도 1은 베이어 어레이를 예시한 도면이다.
도 2는 GRGB 그리드를 예시한 도면이다.
도 3은 GRGB 그리드 상의 색온도 분포를 예시한 도면이다.
도 4는 도 4는 레드 게인값 및 블루 게인값의 산출 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 최대점을 추출하는 과정을 설명하기 위한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 순서도를 나타낸다.

본 발명의 일 실시예에 따른 영상 처리 방법에서는 이미지 센서로부터 획득되는 각 픽셀의 RGB 값에 대하여 백색 균형을 수행하고 있다. 또한, 각 픽셀에서 획득되는 RGB값은 배이어 어레이로서 구성될 수 있다.

배이어 컬러 필터 어레이(Bayer Color filter Array)는 포토 센서의 평방 그리드에 RGB 컬러 필터를 배열하는 어레이의 일종으로서 발명자 Bryce Bayer의 이름을 따서 지어진 명칭이다. 배이어 필터는 모자이크 형상의 어레이로 구성되고, 도 1과 같이 RGB 컬러 필터가 25%, 50% 및 25% 의 비율로 어레이 상에 분포됨으로써 RGB 색상을 픽셀별로 감지할 수 있다. 픽셀별로 획득되는 R 값, G값 및 B값을 이용하여 G/R 및 G/B 을 산출하여 도 2의 G/R vs G/B 그리드 평면을 형성할 수 있다. 본 발명에서 G/R 값은 레드 게인값이고 G/B 값은 블루 게인값을 나타낸다.

한편, 도 2의 G/R vs G/B 그리드 평면은, 배이어 어레이로 구성되는 이미지 픽셀에 대하여 평면의 일 차원을 레드 게인값인 G/R = ((Gr+Gb)/2)/R를 x 축 으로 하고, 평면의 다른 차원을 블루 게인값인 G/B = ((Gr+Gb)/2)/B를 y 축 으로 하여 구성될 수 있다.

즉, G/R vs G/B 그리드 평면은 G/R 및 G/B 값에 해당하는 픽셀의 분포를 나타내고 있다. G/R 및 G/B 값은 저장이 용이하기 위하여 다시 각각 100배수 되고 이 값이 255를 초과한 경우 255를 제함으로써 산출될 수 있다. 도 2에서는 특정 범위의 G/R 및 G/B 값을 가지는 픽셀들로 이루어진 다각형이 형성되고, 해당 다각형은 경계박스가 될 수 있다. 본 발명에서는 해당 경계 박스 내의 그리드로부터 최적의 블루 게인 및 레드 게인값을 산출하는 방법을 제시한다. 도 3의 기준 구분선은 본 발명의 일 실시예에 따라 포인트를 이동함에 따라 게인값을 산출하기 위한 기준선이 될 수 있다.

한편, 도 2의 GRGB 그리드에 도시되는 경계 박스는 특정 색온도를 포함할 수 있고, 도 3와 같이 색온도가 분포할 수 있다.

도 4는 레드 게인값 및 블루 게인값의 산출 과정을 설명하기 위한 도면이다. 레드 게인값 및 블루 게인값의 산출을 위하여 먼저, 서로 상이한 색온도 상에서 블루 보정 및 레드 보정이 행해딘 맥베쓰 차트가 이용될 수 있다. 다음에, 도 2의 GRGB 그리드의 기준 구분선을 따라 각 포인트에 대하여 백색 균형을 수행할 수 있다. 도 4에서 나타내는 바와 같이, GRGB 그리드 상에서 기준 구분선 내에 존재하는 각 포인트(P0, ,Pn)에 대하여 각각 백색 균형을 수행할 수 있고, 각 포인트를 중심으로 소정 검색 너비를 가지는 그리드가 백색 균형의 기초가 될 수 있다.

각 그리드는 포인트(P0, ,Pn)를 중심으로하는 직사각형이 될 수 있고 직사각형을 구성하는 검색 너비 및 데이터의 개수는 제한적이지 않다.

이하, 기준선을 따라 레드 게인 및 블루 게인값을 구하기 위하여 해당 그리드로 예시되는 표 2의 GRGB 그리드를 이용하여 설명한다. 표 2의 가로축은 G/R 값을 나타내고 세로축은 G/B값을 나타낸다.

	1	2	3	4
1	25	6	6	0
2	5	7	8	79
3	45	67	56	6
4	29	90	123	56
5	4	8	98	78

다음에, 표 2의 각 픽셀별 값에 레드 게인값인 x축 값(1,2,3,...)을 곱하여 표3을 얻을 수 있다.

25	10	18	0
5	14	24	316
45	134	168	24
29	180	369	224
4	16	294	312

다음에, 표 3의 각 픽셀별 값에 블루 게인값인 y축 값(1,2,3,...)을 곱하여 표 4를 얻을 수 있다.

25	10	6	0
10	14	16	158
135	134	168	18
116	360	492	224
20	40	490	390

표 3 및 표 4에서 새롭게 산출된 값은 픽셀 분포도에 특정 게인값, 즉, 레드 게인값 또는 블루 게인값 중 하나가 곱해진 값으로서, 곱해진 게인값의 영향이 더욱 증대화된 값이다. 또한, 표 3 및 표 4의 산출과정에서 나타내는 바와 같이, 표 2의 G/R 값, G/B값은 상기 증대화된 값들에 대하여 일종의 가중치로서 동작하고 있다.

다음에, 표 3 및 표 4에서의 값들을 모두 더하면, 표 3에서의 합(표3)은 2888이고, 표 4에서의 합(표4)은 2211이 될 수 있으며 표 2에서의 합(표2)은 795가 될 수 있다. 합(표3) 및 합(표4)를 각각 합(표2)로 나누면, 2211/795=2.781..., 2888/795=3.632... 이 될 수 있다. 새로운 레드 게인값, 후자는 새로운 블루 게인값이 될 수 있다. 또한, 새로운 게인값에 해당하는 픽셀의 분포도가 표 2상에서 최대의 최대점이 될 수 있는지를 판단할 수 있다.

도 5는 본 발명의 일 실시예에 따라 최대점을 추출하는 과정을 설명하기 위한 그래프이다. 도 5를 참조하면, 가로축으로 예시되는 특정 포인트에 대하여 세로축으로서 가중치가 곱해질 수 있다. 한편, 가중치의 적용에 있어서는 색온도를 기초로 각각 상이하게 적용될 수 있다. 도 5에서는 6500K에 해당하는 색온도하에서 최고의 가중치가 적용되고 있고, 그보다 낮거나 높은 색온도에서는 보다 낮은 가중치가 적용되고 있다. 예컨대, 일광 하에서는 레드 게인값에 적용되는 가중치는 점진적으로 증가하고, 블루 게인값에 적용되는 가중치는 감소되도록 할 수 있는 등, 색온도에 따라 적용되는 가중치는 이미지의 추출 조건, 예컨대 피사체의 색온도에 따라 달라질 수 있다.

표 2 내지 표 4에서 산출되는 새로운 레드 게인값 및 블루 게인값에 대하여 도 5와 같이 가중치가 적용되면 현재 포인트에 대한 게인값이 산출되는 것이다. 새롭게 산출되는 현재 포인트의 게인값에 대하여 해당 게인값에 대한 픽셀 분포가 최대인지를 판단할 수 있다. 해당 게인값이 최대점인지의 판단은, 해당 게인값의 픽셀 분포가 소정값 이상인지, 또는 게인값에 대한 픽셀 분포가 증가하다가 감소하는 지에 따라 판단될 수 있다.

한편, 현재 포인트에 대한 게인값이 최대의 분포도를 가지는 경우에는 현재 포인트를 현재 게인으로 저장할 수 있다.

다음에, 기준 구분선에 포함된 각 포인트들에 대한 게인값의 산출은 기준 구분선의 마지막 포인트까지 수행될 수 있다. 마지막 포인트까지 게인값의 산출이 완료된 경우에는 최초에저장된 현재 게인값을 이용하여 게인값을 갱신할 수 있고, 이를 이용하여 그리드를 경계화할 수 있다.

갱신된 새로운 게인값은, 이하의 식에서와 같이 설정될 수 있다.

갱신 게인값 = 현재 게인값 + (현재 게인값 - 이전 게인값)/( 현재 게인값 + 이전 게인값)

최종의 게인값이 획득된 경우에는 해당 게인값을 포함하는 그리드의 영역만을 추출할 수 있고, 각 그리드는 소정 범위의 색온도 예컨대, 도 3에서 나타내는 바와 같이, 2300K 내지 7000 K 범위의 색온도하에 추출되는 그리드만을 포함할 수 있다. 이로써, 색조의 왜곡이 감소된 이미지를 획득할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 순서도를 나타낸다.

단계(S11)에서, 멕베쓰 차트로부터 획득되는 경계 박스를 이용하여 기준 구분선을 구성한다.

단계(S12)에서, 기준 구분선을 구성하는 각 포인트에 대하여 그리드를 형성한다.

단계(S13)에서, 각 포인트에 해당하는 그리드 내에서 레드 게인값, 블루 게인값 및 픽셀 분포도를 추출한다. 새로운 레드 게인값 및 블루 게인값은 상술한 표 2 내지 표 4및 이와 관련되는 상세한 설명에서 설명한 바 있다. 새로운 레드 게인값 및 블루 게인값에 해당하는 픽셀의 분포도도 산출한다.

단계(S14)에서, 단계(S13)에서 산출한 새로운 레드 게인값 및 블루 게인값에 대하여 색온도를 기반으로 가중치를 적용한다.

단계(S15)에서, 가중치가 적용된 포인트에 대하여 게인값이 최대의 픽셀 분포를 포함한지 판단한다.

단계(S16)에서, 단계(S15)에서 현재 포인트가 최대인 경우에는 현재 포인트를 현재 게인으로 저장한다. 단계(S15)에서 현재 포인트가 최대가 아닌 것으로 판단된 경우에는 기준 구분선 상의 다음 포인트로 이동하여 단계(S13) 내지 단계(S15)의 동작을 반복한다.

단계(S17)에서, 현재 포인트가 마지막 포인트 인 지를 판단하여 마지막 포인트가 아닌 경우에는 단계(S13) 내지 단계(S15)의 동작을 반복한다.

단계(S18)에서, 현재 포인트가 마지막 포인트 인 경우에는 최종 게인값을 이용하여 게인값을 갱신하고 그리드를 경계화한다.

이상, 본 발명의 일 실시예에 따른 영상 처리 방법에 대해 설명하였다. 본 발명의 영상 처리 방법은 상술한 실시예 외에도 다양한 변형이 가능하다. 또한, 본 발명에 따른 영상 처리 방법은 DVD, CD-ROM, 자기 디스크 등과 같은 컴퓨터 판독 가능한 기록 매체에 프로그램 또는 데이터로서 저장, 실행될 수도 있다.

Claims (6)

1. 백색 균형을 수행하기 위한 기준 구분선을 구성하는 단계;
   상기 기준 구분선을 기초로 하여 픽셀의 분포도를 포함하는 그리드를 형성하는 단계;
   일 포인트에 대하여 레드 게인값, 블루 게인값 및 픽셀 분포도를 추출하는 단계;
   추출된 상기 레드 게인값, 상기 블루 게인값 및 상기 픽셀 분포도에 소정 가중치를 적용하는 단계;
   상기 일 포인트의 픽셀 분포가 최대값인 경우 상기 일 포인트를 현재 게인값으로서 저장하는 단계; 및
   상기 현재 게인값을 갱신하는 단계를 포함하는 영상 처리 방법.
2. 제1항에 있어서,
   상기 일 포인트의 픽셀 분포가 최대값 미만인 경우 상기 일 포인트를 변경하는 단계를 더 포함하는 영상 처리 방법.
3. 제1항에 있어서,
   상기 일 포인트가 상기 기준 구분선의 마지막 포인트인 경우 상기 현재 게인값을 갱신하고, 상기 일 포인트가 마지막 포인트가 아닌 경우 상기 일 포인트를 변경하는 단계를 더 포함하는 영상 처리 방법.
4. 제1항에 있어서,
   상기 가중치는 상기 일 포인트에 해당하는 색온도를 기반으로 설정되는 영상 처리 방법.
5. 제1항에 있어서,
   상기 현재 게인값을 갱신하는 단계는,
   현재 게인값 + (현재 게인값 - 이전 게인값)/(현재 게인값 + 이전 게인값)을 새로운 게인값으로 설정하는 단계를 포함하는 영상 처리 방법.
6. 제1항에 있어서,
   상기 그리드는 특정 레드 게인값 및 블루 게인값에 해당하는 픽셀의 분포도로 구성되는 영상 처리 방법.
   
   
   

Images