[go: up one dir, main page]

KR101878817B1 - 영상 개선 방법 및 그 장치 - Google Patents

영상 개선 방법 및 그 장치 Download PDF

Info

Publication number
KR101878817B1
KR101878817B1 KR1020160148717A KR20160148717A KR101878817B1 KR 101878817 B1 KR101878817 B1 KR 101878817B1 KR 1020160148717 A KR1020160148717 A KR 1020160148717A KR 20160148717 A KR20160148717 A KR 20160148717A KR 101878817 B1 KR101878817 B1 KR 101878817B1
Authority
KR
South Korea
Prior art keywords
component
reflection component
pixel
reflection
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160148717A
Other languages
English (en)
Other versions
KR20180051856A (ko
Inventor
홍민철
오종근
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Priority to KR1020160148717A priority Critical patent/KR101878817B1/ko
Publication of KR20180051856A publication Critical patent/KR20180051856A/ko
Application granted granted Critical
Publication of KR101878817B1 publication Critical patent/KR101878817B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상 개선 방법 및 그 장치가 개시된다. 영상 개선 방법은 (a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계; (b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계; (c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계; (d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계; (e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및 (f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함한다.

Description

영상 개선 방법 및 그 장치{Image enhancement method and apparatus}
본 발명은 영상 개선 방법 및 그 장치에 관한 것이다.
영상 획득 디바이스의 고성능화 및 소형화로 인해 모바일 기기를 포함한 다양한 응용 분야에서 영상 정보가 활용되고 있다. 특히, 영상 인식 및 영상 기반 보안 시스템 등의 응용 시스템을 위해 의미 있는 영상 정보의 획득, 표현 및 처리는 매우 중요한 연구 분야로 인식되어 왔다. 그러나 영상 획득 과정에서 환경의 영향으로 인한 영상 왜곡은 응용 시스템의 성능 저하를 발생시키는 주요 원인이 된다.
조도량의 부족은 외부 환경에 의한 영상 왜곡의 대표적인 원인으로서, 상기 문제를 해결하기 위해 많은 연구가 진행되어 왔다. 대표적인 방식으로는 히스토그램 평활화(histogram equalization), 자동 노출 조정(auto exposure correction), 감마 조정(gamma correction) 등이 활용되어 왔으나 저연산량의 이점에도 불구하고 성능 개선의 한계점을 갖고 있다.
저조도 및 역광 현상 문제를 해결하기 위해 인간 시각 모델에 대한 연구가 진행되어 왔으며, 인간의 시각 모델은 물체의 반사를 통해서 들어오는 반사(reflectance) 성분과 광원을 통하여 들어오는 조명(illuminance) 성분으로 표현될 수 있음이 실험적으로 입증되었다. 더불어, 이와 같은 시각 모델과 인간의 지각 모델인 Werber-Fachner Law를 바탕으로 SSR(Single Scale Retinex) 방식이 발표되었다. SSR 방식은 관측 영상의 반사 성분을 예측 및 보정하여 저조도 영상을 효과적으로 개선할 수 있으나, 색차 왜곡, 필터 의존성 및 후광 현상 등의 문제점이 존재한다.
이와 같은 문제점을 해결하기 위해 다수의 가우시안 필터를 기반으로 하는 MSR(Multi Scale Retinex) 및 MSR 방식에서 색차 보정 과정이 추가된 MSRCR(Multi Scale Retienx with Color Restoration) 방식이 제안되었다. 또한, 반사 성분 예측 과정에 random spray 모델을 적용한 RSR(Random Spray Retinex) 등의 방식들이 제안되었다. 그러나 상기 방식들의 성능은 각 색신호 성분에 대해 독립적인 처리를 수행하며, 반사 성분 예측에 적용되는 가우시안 필터의 표준 편차 및 필터 윈도우 크기에 따라 성능 편차가 큰 문제점이 있다.
이와 같은 문제를 해결하기 위한 방안으로 AMSR(Adaptive Muti Scale Retinex) 방식이 제안되었다. 이러한 방식은 YCbCr 영역에서 휘도(luminance) 성분에 대해서 MSR 방식을 적용하여 입력 영상에 대한 적응성을 향상시키고자 하였다. 휘도 채널을 통하여 반사 성분을 예측 및 보정하고, 보정된 반사 성분을 이용하여 휘도 및 밝기 정보를 보정하는 과정으로 구성되어 있다. 상기 방식은 연산 속도 향상의 이점이 있으나 광원 색도의 왜곡 성분을 제거하는데 한계가 있으며, 이로 인해 채도성분에 대한 표현이 자연스럽지 못한 단점이 있다.
상기와 같이 기존 레티넥스 방식들은 조도에 의한 왜곡 정도를 반영하기 위한 매개 변수의 부족으로 인해 가우시안 필터의 표준편차 선택에 의한 성능의 민감성, 복원 영상의 색신호 성분 왜곡 및 신호 분포 특성의 손실 등의 문제점을 갖고 있다.
본 발명은 영상의 저조도 영역을 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 레티넥스 방식을 기반으로 하는 변형 특성을 활용하여 영상의 조도를 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 영상 내에서 조명 성분을 예측하고, 예측된 조명 성분을 제거하여 얻어진 반사 성분을 구하고, 영상의 전역 통계특성 중 하나인 변형 특성(Skewness)를 이용하여 반사 성분 왜곡을 예측하여 적응적으로 보정함으로써 조도를 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면 영상의 저조도 영역을 개선할 수 있는 영상 개선 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계; (b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계; (c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계; (d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계; (e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및 (f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함하는 영상 개선 방법이 제공될 수 있다.
상기 각 픽셀의 휘도 성분을 보정하는 단계 이후에, 상기 각 픽셀의 휘도 성분과 보정된 휘도 성분을 이용하여 상기 각 픽셀의 휘도 성분의 이득을 계산하는 단계; 및 상기 각 픽셀의 휘도 성분의 이득을 반영하여 상기 각 픽셀의 색차 성분을 보정하는 단계를 더 포함할 수 있다.
상기 (b) 단계는, 상기 각 픽셀에 대해 상기 예측된 반사 성분의 평균값 및 표준편차값을 각각 계산하는 단계; 상기 각 픽셀에 대해 예측된 반사 성분, 상기 예측된 반사 성분의 평균값 및 상기 표준편차값을 이용하여 상기 반사 성분 비대칭도를 계산하는 단계; 상기 각 픽셀의 휘도 성분에 대한 평균값 및 표준편차값을 각각 계산하는 단계; 및 상기 각 픽셀에 대한 휘도 성분의 값, 상기 휘도 성분에 대한 평균값 및 상기 표준편차값을 이용하여 상기 휘도 성분 비대칭도를 계산하는 단계를 포함할 수 있다.
상기 (d) 단계는, 상기 반사 성분의 이득이 상기 반사 성분의 오프셋보다 작도록 상기 반사 성분의 이득과 상기 반사 성분의 오프셋이 계산될 수 있다.
상기 (d) 단계는, 상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.
상기 (d) 단계는, 상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.
상기 (d) 단계는, 상기 반사 성분의 이득과 오프셋은 하기 수학식을 이용하여 계산되되,
Figure 112016109494334-pat00001
여기서,
Figure 112016109494334-pat00002
는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
Figure 112016109494334-pat00003
는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타내며,
Figure 112016109494334-pat00004
는 이득과 오프셋을 위한 보정 상수를 나타내며,
Figure 112016109494334-pat00005
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00006
는 반사 성분 비대칭도를 나타낸다.
상기 매개변수는 하기 수학식을 이용하여 계산되되,
Figure 112016109494334-pat00007
여기서,
Figure 112016109494334-pat00008
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00009
는 휘도 성분 비대칭도를 나타낸다.
상기 각 픽셀의 휘도 성분의 이득은 하기 수학식을 이용하여 계산되되,
Figure 112016109494334-pat00010
여기서,
Figure 112016109494334-pat00011
는 각 픽셀에 대해 보정된 휘도 성분을 나타내고,
Figure 112016109494334-pat00012
는 각 픽셀의 휘도 성분을 나타내며,
Figure 112016109494334-pat00013
는 색차 성분 보정 상수를 나타낸다.
본 발명의 다른 측면에 따르면, 영상의 저조도 영역을 개선할 수 있는 영상 개선 장치가 제공된다.
본 발명의 일 실시예에 따르면, 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 반사 성분 예측부; 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 비대칭도 계산부; 상기 휘도 성분 비대칭도 및 상기 반사 성분 비대칭도를 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 반사 성분 보정부; 및 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 휘도 성분 보정부를 포함하는 영상 개선 장치가 제공될 수 있다.
상기 각 픽셀의 휘도 성분 및 상기 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 색차 성분 보정부를 더 포함할 수 있다.
상기 반사 성분 보정부는, 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하며, 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정할 수 있다.
상기 반사 성분 보정부는, 상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.
상기 반사 성분 보정부는, 상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.
본 발명의 일 실시예에 따른 영상 개선 방법 및 그 장치를 제공함으로써, 영상의 저조도 영역을 개선할 수 있다.
또한, 본 발명은 레티넥스 방식을 기반으로 하는 변형 특성을 활용하여 영상의 조도를 개선할 수 있다.
또한, 본 발명은 영상 내에서 조명 성분을 예측하고, 예측된 조명 성분을 제거하여 얻어진 반사 성분을 구하고, 영상의 전역 통계특성 중 하나인 변형 특성(Skewness)를 이용하여 반사 성분 왜곡을 예측하여 적응적으로 보정함으로써 조도를 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 개선 방법을 나타낸 순서도.
도 2 및 도 3은 종래와 본 발명의 일 실시예에 따른 영상 저조도 개선 방법에 대한 CPP(Contrast Per Pixel) 및 연산량 성능을 비교한 표.
도 4 내지 도 7을 통해 종래와 본 발명의 일 실시예에 따른 시각적 성능 비교를 도시한 결과.
도 8은 본 발명의 일 실시예에 따른 영상 개선 장치의 내부 구성을 나타낸 블록도.
도 9는 본 발명의 일 실시예에 따른 비선형 사상 함수에 사용되는 매개면수
Figure 112016109494334-pat00014
에 따른 개선된 반사 성분의 결과 그래프.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 개선 방법을 나타낸 순서도이다.
단계 110에서 영상 개선 장치(100)는 영상(편의상 입력 영상이라 칭하기로 함)을 입력받는다. 여기서, 입력 영상은 RGB 형태일 수 있다.
레티넥스 기반 영상 개선 방법은 영상의 휘도 성분을 통해 반사 성분을 예측하고, 예측된 반사 성분의 보정 과정을 통해 휘도 성분을 보정하는 방식이다.
따라서, 단계 115에서 영상 개선 장치(100)는 입력 영상의 색공간을　YCbCr 형태로 변환한다.
단계 120에서 영상 개선 장치(100)는 색공간이 변환된 영상의 각 픽셀의 휘도 성분(Y)을 이용하여 각 픽셀의 반사 성분을 예측한다.
예를 들어, 영상의 각 채널에 N개의 center/surround 가우시안 필터를 적용하고, 각 결과에 가중치를 적용함으로써 각 픽셀에 대한 반사 성분을 예측할 수 있다.
영상 개선 장치(100)는 수학식 1을 이용하여 각 픽셀에 대한 반사 성분을 예측할 수 있다.
Figure 112016109494334-pat00015
여기서, G는 가우시안 저주파 통과 필터를 나타내고,
Figure 112016109494334-pat00016
는 컨볼루션(convolution) 연산자를 나타낸다.
Figure 112016109494334-pat00017
는 가중치를 나타낸다.
또한,
Figure 112016109494334-pat00018
로, K 및 c는 정규화 상수 및 표준편차를 나타내며, S는 가우시안 필터를 적용하는 2차원 윈도우 영역을 나타낸다.
단계 125에서 영상 개선 장치(100)는 각 픽셀에 대해 예측된 반사 성분을 이용하여 반사 성분 비대칭도를 계산하고, 각 픽셀에 대한 휘도 성분을 이용하여 휘도 성분 비대칭도를 각각 계산한다.
예를 들어, 영상 개선 장치(100)는 반사 성분 비대칭도와 휘도 성분 비대칭도를 하기 수학식 2를 이용하여 계산할 수 있다.
Figure 112016109494334-pat00019
여기서,
Figure 112016109494334-pat00020
는 휘도 성분의 비대칭도를 나타내고,
Figure 112016109494334-pat00021
는 반사 성분에 대한 비대칭도를 나타낸다.
또한,
Figure 112016109494334-pat00022
는 각 픽셀에 대한 휘도 성분의 평균값을 나타내고,
Figure 112016109494334-pat00023
는 각 픽셀에 대한 휘도 성분의 표준편차값을 나타내고,
Figure 112016109494334-pat00024
는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
Figure 112016109494334-pat00025
는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타낸다.
각 픽셀의 휘도 성분 및 각 픽셀에 대해 예측된 반사 성분의 분포가 평균값을 기준으로 좌우 대칭인 경우 비대칭도는 "0"이 된다.
그러나, 각 픽셀의 휘도 성분 및 각 픽셀에 대해 예측된 반사 성분의 분포가 평균값을 기준으로 좌측으로 밀집될수록 비대칭도는 커지게 된다.
조도양이 작아짐에 따라 각 픽셀의 휘도 성분 및 해당 휘도 성분으로부터 예측된 반사 성분의 왜곡이 존재하게 된다.
따라서, 왜곡된 휘도 성분 및 반사 성분의 왜곡 특성을 보정하기 위한 매개 변수가 필요하다.
이를 위해, 단계 130에서 영상 개선 장치(100)는 휘도 성분 비대칭도를 이용하여 매개 변수를 계산한다.
영상 개선 장치(100)는 수학식 3를 이용하여 매개 변수를 계산할 수 있다.
Figure 112016109494334-pat00026
여기서,
Figure 112016109494334-pat00027
는 비대칭도 보정 상수를 나타낸다.
휘도양이 작을수록 휘도 성분에 대한 비대칭도(
Figure 112016109494334-pat00028
)는 큰 값을 가지고 되고, 매개변수(
Figure 112016109494334-pat00029
)도 비례하여 큰 값을 가지게 된다. 반면, 휘도양이 커질수록 매개변수(
Figure 112016109494334-pat00030
)는 작은 값을 갖게 된다.
대조비 개선이 효과적이기 위해서는 반사 성분 보정 함수는 휘도 성분 비대칭도가 클수록 반사 성분의 표현 영역을 확장하고, 휘도 성분 비대칭도가 작을수록 반사 성분의 표현 영역을 축소하는 특성을 지녀야 한다.
따라서, 이와 같은 특성을 반영하기 위해 매개 변수를 이용하여 각 픽셀에 대한 예측된 반사 성분을 보정해야 한다.
이를 위해, 단계 135에서 영상 개선 장치(100)는 반사 성분 비대칭도를 이용하여 반사 성분 이득 및 오프셋을 계산한다.
각 픽셀의 예측된 반사 성분은 조도양에 따라 왜곡 성분을 포함할 수 있다. 이로 인해, 각 픽셀의 예측된 반사 성분은 비대칭적인 분포 특성을 갖고 있다.
따라서, 영상 개선 장치(100)는 반사 성분 비대칭도, 각 픽셀에 대해 예측된 반사 성분의 평균값 및 표준편차값을 이용하여 반사 성분의 이득과 오프셋을 각각 계산할 수 있다.
이를 수학식으로 나타내면, 수학식 4와 같다.
Figure 112016109494334-pat00031
여기서, T는 이득 및 오프셋을 위한 보정 상수를 나타낸다.
Figure 112016109494334-pat00032
조건을 만족하기 위해서는 T>0인 상수로 정의되어야 한다.
반사 성분 이득 및 오프셋은 다음과 같은 특성을 가지도록 계산되어야 한다.
저조도로 인해 반사 성분 비대칭도가 양의 값을 갖는 경우, 각 픽셀에 대해 예측된 반사 성분은 평균값보다 작은 영역에 밀집되어 있다. 따라서,
Figure 112016109494334-pat00033
로 설정하여 각 픽셀에 대해 예측된 반사 성분의 밀집도가 큰 영역은 각 픽셀에 대해 예측된 반사 성분의 좁은 영역을 반사 성분 보정 과정에 사용하고, 밀집도가 작은 영역은 각 픽셀의 예측된 반사 성분의 넓은 영역을 반사 성분 보정 과정에 사용함으로써, 밀집도에 따라 반사 성분 보정 과정에 사용하는 화소수의 균형을 유지하도록 할 수 있다.
반면에, 고조도 영상인 경우,
Figure 112016109494334-pat00034
로 설정하여 예측된 반사 성분의 밀집도에 따라 반사 성분 보정 과정에 사용하는 예측된 반사 성분의 값이 큰 영역과 작은 영역의 화소수의 균형을 유지하도록 할 수 있다.
단계 140에서 영상 개선 장치(100)는 매개변수, 반사 성분의 이득과 오프셋을 이용하여 각 픽셀의 예측된 반사 성분을 보정한다.
예를 들어, 영상 개선 장치(100)는 수학식 5를 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정할 수 있다.
Figure 112016109494334-pat00035
수학식 5에 의해 각 픽셀에 대해 예측된 반사 성분은 [0,1] 사이의 값으로 정규화될 수 있다.
단계 145에서 영상 개선 장치(100)는 각 픽셀의 보정된 반사 성분을 이용하여 각 픽셀의 휘도 성분을 보정한다.
예를 들어, 영상 개선 장치(100)는 하기 수학식 6을 이용하여 각 픽셀의 휘도 성분을 보정할 수 있다.
Figure 112016109494334-pat00036
단계 150에서 영상 개선 장치(100)는 각 픽셀의 휘도 성분의 값 및 보정된 휘도 성분의 값을 이용하여 휘도 성분의 이득을 계산한다.
본 발명의 일 실시예에서는 휘도 성분과 색차 신호의 상관성 유지 및 연산량의 절감을 위해, 휘도 성분의 이득을 이용하여 색차 성분 보정에 이용할 수 있다. 이를 위해, 영상 개선 장치(100)는 하기 수학식 7을 이용하여 각 픽셀의 휘도 성분의 이득을 계산할 수 있다.
Figure 112016109494334-pat00037
여기서,
Figure 112016109494334-pat00038
는 색차 성분 보정 상수를 나타낸다.
Figure 112016109494334-pat00039
가 커질수록 색차 성분 포화 현상이 발생한다.
따라서, 본 발명의 일 실시예에서는
Figure 112016109494334-pat00040
에서 색차 성분 보정을 수행할 수 있다.
단계 155에서 영상 개선 장치(100)는 각 픽셀에 대한 휘도 성분 이득을 이용하여 각 픽셀의 색차 성분을 각각 보정한다.
이를 수학식으로 나타내면, 수학식 8과 같다.
Figure 112016109494334-pat00041
단계 160에서 영상 개선 장치(100)는 색공간을 RGB 형식으로 변환한다.
도 2 및 도 3은 종래와 본 발명의 일 실시예에 따른 영상 저조도 개선 방법에 대한 CPP(Contrast Per Pixel) 및 연산량 성능을 비교한 표이다.
U x V 크기의 영상에 대해 CPP는 수학식 9와 같이 기술된다.
Figure 112016109494334-pat00042
CPP는 주변 화소와의 변화 정도를 표현하는 지표이다. 도 2에서 보여지는 바와 같이, MSRCR 방식이 RSR 방식보다 CPP 측면에서 효과적인 것을 알 수 있으며, 본 발명의 일 실시예에 따른 저조도 영상 개선 방법이 종래의 기술보다 CPP 개선 효과가 우수함을 알 수 있다. 특히, 본 발명의 일 실시예에 따른 저조도 개선 방법은 저조도 영상 대비 평균 100%, MSRCR 대비 평균 37%, RSR 대비 75% CPP 개선 효과가 있음을 알 수 있다.
도 3에서 보여지는 바와 같이, RSR 방식은 각 화소에 적용되는 random spray 필터 수 및 필터 윈도우 크기가 큰 관계로 가장 많은 연산량을 필요로 하며, MSRCR 방식은 각 채널의 독립적인 반사 성분 보정 과정으로 인해 본 발명의 일 실시예에 따른 저조도 영상 개선 방법에 비해 많은 연산량을 필요로 하는 것을 알 수 있다.
또한, 본 발명의 일 실시예에 따른 저조도 영상 개선 방법은 휘도 성분만 비선형 함수를 이용하여 보정하고, 색 신호 성분은 휘도 성분의 이득을 이용한 관계로 연산량이 가장 낮음을 알 수 있다. 본 발명의 일 실시예에 따른 저조도 영상 개선 방법의 연산량은 MSRCR 방식의 평균 50%, RSR 방식의 평균 6%을 나타냄을 알 수 있다.
도 4 내지 도 7을 통해 종래와 본 발명의 일 실시예에 따른 시각적 성능 비교를 도시한 결과이다. 도 4 내지 도 7에서 (a)는 저조도 영상, (b)는 MSRCR 방식을 이용한 결과 영상, (c)는 RSR 방식을 이용한 결과 영상을 나타내고, (d)는 본 발명의 일 실시예에 따른 저조도 영상 개선 방법에 따른 결과 영상을 나타낸다.
도 4 내지 도 7에서 보여지는 바와 같이, MSRCR 방식은 대조비 개선 측면에서는 효과적이지만, 저조도 영상의 비대칭성에 대한 고려 미흡하여 신호의 포화 현상 및 색신호 왜곡 현상이 존재함을 알 수 있다.
또한, RSR 방식은 색신호는 효과적으로 유지되었으나, 대조비 개선에 한계를 갖고 있음을 확인할 수 있었다.
반면에 본 발명의 일 실시예에 따른 저조도 영상 개선 방법은 영상들의 분포 특성을 효과적으로 반영하여 대조비 개선 및 색 신호 성분을 효과적으로 유지함을 확인할 수 있다.
따라서, 도 2 내지 도 7에서 보여지는 바와 같이, 영상 조도양에 대한 사전 정보 없이 관측 영상 및 예측된 반사 성분의 비대칭성을 이용하여 대조비 개선, 색신호 보존 및 연산량 측면에서 종래에 비해 성능 개선이 효과적으로 이루어진 것을 알 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 개선 장치의 내부 구성을 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 개선 장치(100)는 입력부(810), 변환부(815), 반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840), 메모리(845) 및 프로세서(850)를 포함하여 구성된다.
입력부(810)는 영상을 입력받기 위한 수단이다. 여기서, 영상은 RGB 형태의 영상을 나타낸다.
변환부(815)는 영상의 색공간을 변환하기 위한 수단이다.
변환부(815)는 RGB 형태의 영상을 YCbCr 형태로 변환한다. 또한, 변환부(815)는 조도 개선이 완료된 YCbCr 형태의 영상을 RGB 형태로 변환하는 기능을 한다.
반사 성분 예측부(820)는 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 기능을 한다.
비대칭도 계산부(825)는 각 픽셀의 예측된 반사 성분과 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 기능을 한다.
반사 성분 보정부(830)는 휘도 성분 비대칭도 및 반사 성분 비대칭도를 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정하는 기능을 한다.
반사 성분 보정부(830)는 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 반사 성분 비대칭도를 이용하여 반사 성분의 이득 및 오프셋을 계산한다. 또한, 반사 성분 보정부(830)는 매개 변수, 반사 성분의 이득과 오프셋을 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정할 수 있다.
휘도 성분 보정부(835)는 각 픽셀의 보정된 반사 성분을 이용하여 각 픽셀의 휘도 성분을 보정하는 기능을 한다.
색차 성분 보정부(840)는 각 픽셀의 휘도 성분 및 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 기능을 한다.
반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840)의 각 기능은 도 1에서 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
메모리(845)는 본 발명의 일 실시예에 따른 영상 개선 방법을 수행하기 위한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(850)는 본 발명의 일 실시예에 따른 영상 개선 장치(100)의 내부 구성 요소들(예를 들어, 입력부(810), 변환부(815), 반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840), 메모리(845) 등)을 제어하는 기능을 한다.
도 9는 본 발명의 일 실시예에 따른 비선형 사상 함수에 사용되는 매개면수
Figure 112016109494334-pat00043
에 따른 개선된 반사 성분의 결과 그래프이다. 도 9를 참조하면,
Figure 112016109494334-pat00044
> 1 일 때 밝게 사상 되고, 0<
Figure 112016109494334-pat00045
< 1 일 때 어둡게 사상 됨을 알 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 영상 개선 장치
810: 입력부
815: 변환부
820: 반사 성분 예측부
825: 비대칭도 계산부
830: 반사 성분 보정부
835: 휘도 성분 보정부
840: 색차 성분 보정부
845: 메모리
850: 프로세서

Claims (15)

  1. (a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계;
    (b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계;
    (c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계;
    (d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계;
    (e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및
    (f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함하는 영상 개선 방법.
  2. 제1 항에 있어서,
    상기 각 픽셀의 휘도 성분을 보정하는 단계 이후에,
    상기 각 픽셀의 휘도 성분과 보정된 휘도 성분을 이용하여 상기 각 픽셀의 휘도 성분의 이득을 계산하는 단계; 및
    상기 각 픽셀의 휘도 성분의 이득을 반영하여 상기 각 픽셀의 색차 성분을 보정하는 단계를 더 포함하는 영상 개선 방법.
  3. 제1 항에 있어서, 상기 (b) 단계는,
    상기 각 픽셀에 대해 상기 예측된 반사 성분의 평균값 및 표준편차값을 각각 계산하는 단계;
    상기 각 픽셀에 대해 예측된 반사 성분, 상기 예측된 반사 성분의 평균값 및 상기 표준편차값을 이용하여 상기 반사 성분 비대칭도를 계산하는 단계;
    상기 각 픽셀의 휘도 성분에 대한 평균값 및 표준편차값을 각각 계산하는 단계; 및
    상기 각 픽셀에 대한 휘도 성분의 값, 상기 휘도 성분에 대한 평균값 및 상기 표준편차값을 이용하여 상기 휘도 성분 비대칭도를 계산하는 단계를 포함하는 것을 특징으로 하는 영상 개선 방법.
  4. 제1 항에 있어서, 상기 (d) 단계는,
    상기 반사 성분의 이득이 상기 반사 성분의 오프셋보다 작도록 상기 반사 성분의 이득과 상기 반사 성분의 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
  5. 제1 항에 있어서, 상기 (d) 단계는,
    상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
  6. 제1 항에 있어서, 상기 (d) 단계는,
    상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
  7. 제1 항에 있어서, 상기 (d) 단계는,
    상기 반사 성분의 이득과 오프셋은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
    Figure 112016109494334-pat00046

    여기서,
    Figure 112016109494334-pat00047
    는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
    Figure 112016109494334-pat00048
    는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타내며,
    Figure 112016109494334-pat00049
    는 이득과 오프셋을 위한 보정 상수를 나타내며,
    Figure 112016109494334-pat00050
    는 비대칭도 보정 상수를 나타내고,
    Figure 112016109494334-pat00051
    는 반사 성분 비대칭도를 나타냄.
  8. 제1 항에 있어서,
    상기 매개변수는 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
    Figure 112016109494334-pat00052

    여기서,
    Figure 112016109494334-pat00053
    는 비대칭도 보정 상수를 나타내고,
    Figure 112016109494334-pat00054
    는 휘도 성분 비대칭도를 나타냄.
  9. 제2 항에 있어서,
    상기 각 픽셀의 휘도 성분의 이득은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
    Figure 112016109494334-pat00055

    여기서,
    Figure 112016109494334-pat00056
    는 각 픽셀에 대해 보정된 휘도 성분을 나타내고,
    Figure 112016109494334-pat00057
    는 각 픽셀의 휘도 성분을 나타내며,
    Figure 112016109494334-pat00058
    는 색차 성분 보정 상수를 나타냄.
  10. 제1 항 내지 제9 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  11. 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 반사 성분 예측부;
    각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 비대칭도 계산부;
    상기 휘도 성분 비대칭도 및 상기 반사 성분 비대칭도를 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 반사 성분 보정부; 및
    상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 휘도 성분 보정부를 포함하는 영상 개선 장치.
  12. 제11 항에 있어서,
    상기 각 픽셀의 휘도 성분 및 상기 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 색차 성분 보정부를 더 포함하는 영상 개선 장치.
  13. 제11 항에 있어서,
    상기 반사 성분 보정부는,
    상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하며, 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 것을 특징으로 하는 영상 개선 장치.
  14. [청구항 14은(는) 설정등록료 납부시 포기되었습니다.]
    제13 항에 있어서,
    상기 반사 성분 보정부는,
    상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 장치.
  15. [청구항 15은(는) 설정등록료 납부시 포기되었습니다.]
    제13 항에 있어서,
    상기 반사 성분 보정부는,
    상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 장치.

KR1020160148717A 2016-11-09 2016-11-09 영상 개선 방법 및 그 장치 Expired - Fee Related KR101878817B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160148717A KR101878817B1 (ko) 2016-11-09 2016-11-09 영상 개선 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148717A KR101878817B1 (ko) 2016-11-09 2016-11-09 영상 개선 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180051856A KR20180051856A (ko) 2018-05-17
KR101878817B1 true KR101878817B1 (ko) 2018-07-17

Family

ID=62486105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148717A Expired - Fee Related KR101878817B1 (ko) 2016-11-09 2016-11-09 영상 개선 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101878817B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833274B (zh) * 2020-07-17 2023-12-08 中国电子技术标准化研究院 一种图像增强方法及计算设备
CN115147288B (zh) * 2021-03-31 2025-07-11 华为技术有限公司 图像处理方法及电子设备
CN113781360B (zh) * 2021-09-27 2023-10-20 牟宗勇 基于人工智能的输液装置图像增强方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060095173A (ko) * 2005-02-28 2006-08-31 한국과학기술원 조명-반사율 모델에 기반한 영상의 왜곡 보정 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060095173A (ko) * 2005-02-28 2006-08-31 한국과학기술원 조명-반사율 모델에 기반한 영상의 왜곡 보정 시스템 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
논문1:대한전자공학회(2016.10) *
논문2:한국통신학회(2011.08) *
논문3:대한전자공학회(2014.11) *
대조비 개선을 위한 비대칭도 특성을 이용한 적응적인 레티넥스 방식, 전자공학회논문지 *

Also Published As

Publication number Publication date
KR20180051856A (ko) 2018-05-17

Similar Documents

Publication Publication Date Title
Parihar et al. A study on Retinex based method for image enhancement
US9123103B2 (en) Method and apparatus for image denoising with three-dimensional block-matching
US9390482B2 (en) Image processing apparatus and method of processing image
US9454805B2 (en) Method and apparatus for reducing noise of image
CN101816017B (zh) 图像处理装置以及程序
US9842382B2 (en) Method and device for removing haze in single image
CN102918562B (zh) 用于生成增强图像的方法和系统
US11445214B2 (en) Determining variance of a block of an image based on a motion vector for the block
US20160253787A1 (en) Methods and systems for denoising images
WO2019200657A1 (zh) 图像边缘处理方法、电子装置及计算机可读存储介质
CN104346776A (zh) 基于Retinex理论的非线性图像增强方法及其系统
CN101282417A (zh) 图像降噪方法和设备
EP3411831B1 (en) Adaptive bilateral (bl) filtering for computer vision
Hou et al. Underwater image dehazing and denoising via curvature variation regularization
KR102644946B1 (ko) 영상 처리 방법 및 장치
US12087032B2 (en) Image adjustment apparatus, image adjustment method, and program
CN103312963A (zh) 图像处理设备和图像处理方法
KR20190143260A (ko) 이미지 복원 장치 및 방법
KR101456445B1 (ko) Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
WO2016189901A1 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
KR101878817B1 (ko) 영상 개선 방법 및 그 장치
KR102207940B1 (ko) 영상 노이즈 제거 방법 및 시스템
KR101418521B1 (ko) 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치
KR20230049231A (ko) 영상 개선 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20240711

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240711