[go: up one dir, main page]

KR102004079B1 - 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체 - Google Patents

이미지 유형 식별 방법, 장치, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR102004079B1
KR102004079B1 KR1020177033322A KR20177033322A KR102004079B1 KR 102004079 B1 KR102004079 B1 KR 102004079B1 KR 1020177033322 A KR1020177033322 A KR 1020177033322A KR 20177033322 A KR20177033322 A KR 20177033322A KR 102004079 B1 KR102004079 B1 KR 102004079B1
Authority
KR
South Korea
Prior art keywords
image
identification
ratio
channel
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020177033322A
Other languages
English (en)
Other versions
KR20170139089A (ko
Inventor
구오쉥 리
린 다이
지앙타오 후앙
Original Assignee
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Publication of KR20170139089A publication Critical patent/KR20170139089A/ko
Application granted granted Critical
Publication of KR102004079B1 publication Critical patent/KR102004079B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/00624
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06K9/4642
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체에 관한 것이고, 상기 이미지 유형 식별 방법은 식별 대기 이미지의 색 공간의 각각의 채널의 히스토그램을 취득하는 단계와, 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 단계와, 비율이 미리 설정된 조건을 만족하면 식별 대기 이미지를 자연 이미지로 확정하는 단계와, 비율이 미리 설정된 조건을 만족하지 않으면 식별 대기 이미지를 합성 이미지로 확정하는 단계를 포함한다. 본 발명에 따르면, 식별하는 전반 과정에서 대량의 계산을 진행할 필요가 없고, 휴대폰 등 모바일 단말의 이미지 유형의 식별에 적용될 수 있고 응용성이 향상된다.

Description

이미지 유형 식별 방법, 장치, 프로그램 및 기록매체
당해 출원은 출원번호가 201610097153.1이며 출원일이 2016년 02월 22일인 중국특허출원을 기초로 우선권을 주장하고 해당 중국특허출원의 전체 내용은 본원 발명에 원용된다.
본 발명은 통신 기술 분야에 관한 것이며, 더욱 상세하게는 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체에 관한 것이다.
디스플레이 장치에 나타나는 이미지는 일반적으로 두 가지가 있다. 한가지는 인공적으로 합성한 이미지인데 합성 이미지라고 칭하고, 다른 한가지는 자연계에 존재하는 이미지인데 자연 이미지라고 칭한다. 합성 이미지는 일반적으로 디스플레이 장치의 특성에 따라 디스플레이 장치의 특성에 맞는 내용을 인공적으로 그려낸 이미지이다. 예를 들어, 디스플레이 장치가 나타낼 수 있는 비트 심도(bit depth), 색영역(color gamut) 및 명암비(contrast ratio)에 따라 그려낸 아름다운 이미지이다. 이에 반해 자연 이미지는 특정된 디스플레이 장치의 특성에 따라 처리하지 않은 일반적으로 자연에 진실하게 존재하는 이미지이고, 후기 작업에서 특정된 이미지 처리 기술을 사용하여 자연 이미지가 더 아름답게 되도록 처리할 수 있다. 그러나 합성 이미지인 경우 후기 작업에서 합성 이미지에 대해 처리를 진행하면 합성 이미지의 아름다움을 파괴할 가능성이 있다.
따라서, 이미지에 대해 후기 처리를 진행하기 전에 이미지 유형을 식별하고 이미지 유형에 따라 이미지에 대해 후기 처리 등 작업을 수행해야 하는지 여부를 결정하여 이미지의 아름다움을 유지할 필요가 있다.
기존 기술에 있어서, 이미지 엔트로피(entropy)를 계산하는 방법에 의해 이미지 유형을 식별하고, 이미지 엔트로피가 소정의 임계값보다 크면 당해 이미지를 자연 이미지로 식별하고, 이미지 엔트로피가 소정의 임계값보다 작거나 또는 소정의 임계값과 동일하면 당해 이미지를 합성 이미지로 식별할 수 있었다. 그러나 이런 식별방법은 계산하는 데이터 양이 거대하기 때문에 휴대폰 등 모바일 단말의 이미지 유형의 식별에 적용될 수 없다.
본 발명은 관련 기술에 존재하는 문제를 해결하기 위해 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체를 제공한다.
본 발명의 제1 양태에 따르면 이미지 유형 식별 방법이 제공되고, 상기 방법은,
식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하는 단계와,
상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 단계와,
상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하는 단계와,
상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 포함한다.
일 실시예에서, 상기 미리 설정된 색 공간은 RGB 색 공간을 포함하고, 상기 미리 설정된 조건은 상기 비율의 소수점 이하의 자리수가 5를 초과하는 것을 포함한다.
일 실시예에서, 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 단계는,
상기 각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산하는 단계를 포함하고, 여기서, n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수이다.
일 실시예에서, 상기 방법은,
상기 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하는 단계와,
상기 비율의 수가 미리 설정된 수를 초과하면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 더 포함한다.
일 실시예에서, 상기 방법은,
상기 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하는 단계 이전에, 상기 식별 대기 이미지 중의 노이즈를 필터링하는 단계를 더 포함한다.
일 실시예에서, 상기 방법은,
상기 식별 대기 이미지의 특징 정보를 취득하는 단계와,
상기 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하는 단계와,
매칭된다고 판단되면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 더 포함하고,
상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함한다.
본 발명의 제2양태에 따르면 이미지 유형 식별 장치가 제공되고, 상기 장치는,
식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하도록 구성된 취득 모듈과,
상기 취득 모듈이 취득한 상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하도록 구성된 계산 모듈,
상기 계산 모듈이 계산한 상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하도록 구성된 제1 확정 모듈과,
상기 계산 모듈이 계산한 상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제2 확정 모듈을 구비한다.
일 실시예에서, 상기 미리 설정된 색 공간은 RGB 색 공간을 포함하고, 상기 미리 설정된 조건은 상기 비율의 소수점 이하의 자리수가 5를 초과하는 것을 포함한다.
일 실시예에서, 상기 계산 모듈은,
상기 각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산하도록 구성되고, 여기서, n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수이다.
일 실시예에서, 상기 장치는,
상기 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하도록 구성된 통계 모듈과,
상기 통계 모듈이 통계한 상기 비율의 수가 미리 설정된 수를 초과하면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제3 확정 모듈을 더 포함한다.
일 실시예에서, 상기 장치는,
상기 취득 모듈이 상기 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하기 전에, 상기 식별 대기 이미지 중의 노이즈를 필터링하도록 구성된 필터링 모듈을 더 구비한다.
일 실시예에서, 상기 장치는,
상기 식별 대기 이미지의 특징 정보를 취득하도록 구성된 특징 정보 취득 모듈과,
상기 특징 정보 취득 모듈이 취득한 상기 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하도록 구성된 판단 모듈과,
상기 판단 모듈이 매칭된다고 판단하면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제4 확정 모듈을 더 구비하고,
상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함한다.
본 발명의 제3 양태에 따르면 이미지 유형 식별 장치가 제공되고, 상기 장치는,
프로세서와,
상기 프로세서에 의해 실행 가능한 명령어를 기억하는 메모리를 포함하고,
상기 프로세서는,
식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하고,
상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하고,
상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하며,
상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 식별하도록 구성한다.
본 발명 제4 양태에 따르면, 프로세서에 의해 실행되는 것을 통하여 상기 방법을 구현하는 컴퓨터 판독가능한 기록매체에 기록된 프로그램이 제공된다.
본 발명 제5 양태에 따르면, 상기 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 실시예에 따르면 하기와 같은 유익한 효과를 가져올 수 있다.
식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하고, 취득한 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산한 다음, 비율이 미리 설정된 조건을 만족하는지 여부에 의해 식별 대기 이미지의 유형을 확정할 수 있기 때문에 식별하는 전반 과정에서 대량의 계산을 진행할 필요가 없고, 휴대폰 등 모바일 단말의 이미지 유형의 식별에 적용될 수 있고 응용성이 향상된다.
상기 일반적인 서술 및 하기 세부적인 서술은 단지 예시적이고 해석적이며 본 발명을 한정하려는 것이 아님이 이해되어야 한다.
하기의 도면은 명세서에 병합되어 본 명세서의 일부를 구성하고 본 발명에 부합하는 실시예를 나타내며 명세서와 함께 본 발명의 원리를 해석한다.
도 1은 일 예시적인 실시예에 따른 이미지 유형 식별 방법을 나타내는 흐름도이다.
도 2a는 일 예시적인 실시예에 따른 식별 대기 이미지의 적색 채널의 히스토그램을 나타내는 제1 개략도이다.
도 2b는 일 예시적인 실시예에 따른 식별 대기 이미지의 녹색 채널의 히스토그램을 나타내는 제1 개략도이다.
도 2c는 일 예시적인 실시예에 따른 식별 대기 이미지의 청색 채널의 히스토그램을 나타내는 제1 개략도이다.
도 3a은 일 예시적인 실시예에 따른 식별 대기 이미지의 적색 채널의 히스토그램을 나타내는 제2 개략도이다.
도 3b는 일 예시적인 실시예에 따른 식별 대기 이미지의 녹색 채널의 히스토그램을 나타내는 제2 개략도이다.
도 3c는 일 예시적인 실시예에 따른 식별 대기 이미지의 청색 채널의 히스토그램을 나타내는 제2 개략도이다.
도 4는 일 예시적인 실시예에 따른 다른 이미지 유형 식별 방법을 나타내는 흐름도이다.
도 5는 일 예시적인 실시예에 따른 다른 이미지 유형 식별 방법을 나타내는 흐름도이다.
도 6은 일 예시적인 실시예에 따른 이미지 유형 식별 장치를 나타내는 블록도이다.
도 7은 일 예시적인 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다.
도 8은 예시적인 다른 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다.
도 9는 예시적인 다른 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다.
도 10은 예시적인 일 실시예에 따른 이미지 유형의 식별에 적용되는 식별 장치를 나타내는 블록도이다.
여기서, 예시적인 실시예에 대하여 상세하게 설명하고, 그 사례를 도면에 표시한다. 하기의 서술이 도면에 관련될 때, 달리 명시하지 않는 경우, 서로 다른 도면에서의 동일한 부호는 동일한 구성 요소 또는 유사한 구성 요소를 나타낸다. 하기의 예시적인 실시예에서 서술한 실시방식은 본 발명에 부합되는 모든 실시 방식을 대표하는 것이 아니며, 실시방식들은 다만 첨부된 특허청구범위에 기재한 본 발명의 일부 측면에 부합되는 장치 및 방법의 예이다.
도 1은 일 예시적인 실시예에 따른 이미지 유형 식별 방법을 나타내는 흐름도이다. 도 1에 도시된 바와 같이, 상기 이미지 유형 식별 방법은 모바일 단말에 적용될 수 있다. 상기 모바일 단말은 휴대폰, 태블릿 PC (PAD) 등 단말 장치일 수 있으나 이에 한정되는 것은 아니다. 상기 방법은 하기의 S101 단계 내지 S104 단계를 포함할 수 있다.
S101 단계: 식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득한다.
본 실시예에서, 서로 다른 유형의 이미지는 미리 설정된 색 공간의 각각의 채널에서의 히스토그램이 서로 다른 특징을 구비한다. 따라서 히스토그램의 특징에 대한 분석을 통해 이미지의 유형을 식별할 수 있다.
여기서, 미리 설정된 색 공간은 RGB 색 공간, LAB 색 공간 등일 수 있다.
예를 들어, 식별 대기 이미지의 RGB 색 공간의 각각의 채널의 히스토그램을 취득한다. 도 2a 내지 도 2c에 도시된 식별 대기 이미지의 RGB 3개 채널의 히스토그램일 수 있고, 도 3a 내지 도 3c에 도시된 식별 대기 이미지의 RGB 3개 채널의 히스토그램일 수 있다.
여기서, 히스토그램의 횡축은 0 ~ 255의 그레이 스케일 값을 나타내고, 종축은 대응되는 그레이 스케일의 픽셀 수를 나타낸다.
S102 단계: 취득한 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산한다.
본 실시예에서, 취득한 히스토그램에 의해 이미지 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산할 수 있다.
예를 들어, 도 2a 내지 도 2c에 도시된 히스토그램 또는 도 3a 내지 도 3c에 도시된 히스토그램에 의해 적, 녹, 청 3개 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산할 수 있다.
본 실시예에서, 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 방법은 하기와 같다.
각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산한다. 여기서 n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수이다. 바람직하게는 n의 값은 1 ~ 5이다.
예를 들어, 적색 채널의 제1 그레이 스케일 픽셀 수와 제0 그레이 스케일 픽셀 수의 비율 및 제1 그레이 스케일 픽셀 수와 제2 그레이 스케일 픽셀 수의 비율, 제2 그레이 스케일 픽셀 수와 제1의 그레이 스케일 픽셀 수의 비율 및 제2 그레이 스케일 픽셀 수와 제3 그레이 스케일 픽셀 수의 비율, 제3 그레이 스케일 픽셀 수와 제2 그레이 스케일 픽셀 수의 비율 및 제3 그레이 스케일 픽셀 수와 제4 그레이 스케일 픽셀 수의 비율, ......, 제254 그레이 스케일 픽셀 수와 제253 그레이 스케일 픽셀 수의 비율 및 제254 그레이 스케일 픽셀 수와 제255 그레이 스케일 픽셀 수의 비율을 각각 계산한다.
만약 도 3a에 도시된 적색 채널의 히스토그램에서 제89 그레이 스케일이 1624 개의 픽셀을 구비하고, 제90 그레이 스케일이 1609 개의 픽셀을 구비하고, 제91 그레이 스케일이 1554 개의 픽셀을 구비하면, 제90 그레이 스케일과 제89 그레이 스케일의 비율은 0.9907635이고, 제90 그레이 스케일과 제91 그레이 스케일의 비율은 1.03539253이다.
S103 단계: 계산한 비율이 미리 설정된 조건을 만족하면 식별 대기 이미지를 자연 이미지로 확정한다.
본 실시예에서, 미리 설정된 색 공간이 RGB이면, 미리 설정된 조건은 비율의 소수점 이하의 자리수가 5를 초과하는 것이다.
계산한 비율이 미리 설정된 조건을 만족하면, 즉 계산한 비율의 소수점 이하의 자리수가 5를 초과하면, 상기 식별 대기 이미지는 자연 이미지이다.
상기에 계속하여 설명하면, 제90 그레이 스케일과 제89 그레이 스케일의 비율이 0.9907635이고, 제90 그레이 스케일과 제91 그레이 스케일의 비율이 1.03539253이며, 양자의 소수점 자리수는 모두 5를 초과한다. 따라서 도 3a에 대응되는 이미지가 자연 이미지라고 잠정적으로 판단할 수 있다. 만약 도 3b 내지 도 3c에 도시된 히스토그램에서 인접한 그레이 스케일 픽셀 수의 비율의 소수점 자리수도 5를 초과하면 도 3a 내지 도 3c에 대응되는 이미지가 자연 이미지라고 확정할 수 있다.
S104 단계: 계산한 비율이 미리 설정된 조건을 만족하지 않으면 식별 대기 이미지를 합성 이미지로 확정할 수 있다.
본 실시예에서, 계산한 비율이 미리 설정된 조건을 만족하지 않으면, 즉 계산한 비율이 정수 또는 소수점 이하의 자리수가 5를 초과하지 않으면, 상기 식별 대기 이미지는 합성 이미지이다.
만약 도 2a에 도시된 적색 채널의 히스토그램에서 제1 그레이 스케일과 제0 그레이 스케일의 비율이 0.01이고, 제1 그레이 스케일과 제2 그레이 스케일의 비율이 100이면 계산한 비율이 미리 설정된 조건을 만족하지 않기 때문에 도 2a에 대응되는 이미지는 합성 이미지라고 잠정적으로 판단할 수 있다. 만약 도 2b 내지 도 2c에 도시된 히스토그램에서 인접한 그레이 스케일 픽셀 수의 비율도 미리 설정된 조건을 만족하지 않으면 도 2a 내지 도 2c에 대응되는 이미지를 합성 이미지로 확정할 수 있다.
본 실시예에서, 이미지 유형의 식별 정확도를 높이기 위해, 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하는 단계 및 비율의 수가 미리 설정된 수를 초과하면 식별 대기 이미지를 합성 이미지로 확정하는 단계를 포함할 수 있다. 여기서, 미리 설정된 수는 필요에 따라 예컨대 6개, 8개 등으로 융통성 있게 설정할 수 있다.
만약 도 2a 내지 도 2c에 도시된 3개 채널의 히스토그램에서 미리 설정된 조건을 만족하지 않는 비율의 수가 각각 508개이면, 도 2a 내지 도 2c에 대응되는 이미지가 합성 이미지라고 가일층 확정할 수 있다.
상기 이미지 유형 식별 방법을 나타내는 실시예에 따르면, 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하고, 취득한 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산한 다음, 비율이 미리 설정된 조건을 만족하는지 여부에 의해 식별 대기 이미지의 유형을 확정할 수 있기 때문에 식별하는 전반 과정에서 대량의 계산을 진행할 필요가 없고, 휴대폰 등 모바일 단말의 이미지 유형의 식별에 적용될 수 있고 응용성이 향상된다.
도 4는 일 예시적인 실시예에 따른 다른 이미지 유형 식별 방법을 나타내는 흐름도이다. 도 4에 도시된 바와 같이, 상기 방법은 상기 S101단계 이전에 하기 단계를 더 포함할 수 있다.
S100 단계: 식별 대기 이미지 중의 노이즈를 필터링한다.
여기서, 이미지 중의 노이즈는 주로 카메라의 센서가 수신 신호인 빛을 출력하는 과정에서 생성된 이미지 중의 거친 부분이거나 또는 이미지에서 나타나지 말아야 하는 통상적으로 전자 간섭에 의해 생성된 외부의 픽셀이다.
본 실시예에서, 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하는 단계 이전에, 먼저 식별 대기 이미지 중의 노이즈를 필터링하여 취득한 히스토그램의 정확도를 더 높이고 이미지 유형의 식별 정확도를 높일 수 있다.
상기 이미지 유형 식별 방법을 나타내는 실시예는 식별 대기 이미지 중의 노이즈를 필터링함으로써 취득한 히스토그램의 정확도가 향상되고 이미지 유형의 식별 정확도를 더 향상시킬 수 있다.
도 5는 일 예시적인 실시예에 따른 다른 이미지 유형 식별 방법을 나타내는 흐름도이다. 도 5에 도시된 바와 같이, 상기 방법은 하기 단계를 더 포함할 수 있다.
S501 단계: 식별 대기 이미지의 특징 정보를 취득한다.
본 실시예에서, 합성 이미지의 특징 라이브러리를 미리 구축할 수 있다. 상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함한다. 따라서 식별 대기 이미지의 특징 정보를 취득하고 취득한 특징 정보를 특징 라이브러리와 비교함으로써 식별 대기 이미지가 합성 이미지인지 여부를 식별할 수 있다.
여기서, 특징 라이브러리는 합성 이미지의 RGB 3개 채널의 픽셀 수량의 특징 정보, 합성 이미지의 단색 이미지 특징 정보 등 중의 하나 이상을 포함하되 이에 한정되지 않는다.
본 실시예에서, 특징 라이브러리 중의 특징 정보와 비교하기 위해, 식별 대기 이미지의 RGB 3개 채널의 픽셀 수량의 특징 정보를 취득할 수 있고, 식별 대기 이미지의 적색 이미지 특징 정보를 취득할 수도 있다.
S502 단계: 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하고, 매칭된다고 판단되면 S503 단계를 실행하고, 매칭되지 않는다고 판단되면 S504 단계를 실행한다.
S503 단계: 식별 대기 이미지를 합성 이미지로 확정하고, 처리를 종료한다.
만약 도 2a 내지 도 2c에 도시된 것이 식별 대기 이미지의 RGB 3개 채널의 히스토그램이라고 가정하면, 도 2a 내지 도 2c에 도시된 바와 같이, 식별 대기 이미지의 RGB 3개 채널의 히스토그램은 완전히 동일하다. 따라서 식별 대기 이미지의 RGB 3개 채널의 픽셀의 수가 동일하다. 즉, 특징 라이브러리 중의 특징 정보와 매칭된다. 따라서 식별 대기 이미지를 합성 이미지로 확정할 수 있다.
S504 단계: 식별 대기 이미지가 합성 이미지가 아니라고 확정한다.
본 실시예에서, 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되지 않으면 식별 대기 이미지가 합성 이미지가 아니라고 확정할 수 있다.
참고로, 상기 방법은 이미지 유형을 식별할 수 있을 뿐만 아니라, 이미 식별된 이미지 유형에 대해 정정할 수 있다. 예를 들어, 전에 현재 이미지가 합성 이미지라고 식별되었을 경우, 상기 이미지의 특징 정보를 취득하고 상기 특징 정보를 특징 라이브러리 중의 특징 정보와 비교하는 것을 통하여 상기 이미지가 합성 이미지인지 여부를 확정함으로써 식별 정확도를 대폭 향상시킬 수 있다.
상기 이미지 유형 식별 방법을 나타내는 실시예에 따르면, 취득한 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하는 것을 통하여 식별 대기 이미지가 합성 이미지인지 여부를 확정함으로써, 합성 이미지의 식별 방법을 더 제공하고, 이미지 유형의 식별 방식이 다양해지고, 또한 이미 식별한 이미지 유형에 대해 정정할 수 있어 식별 정확도를 대폭 향상시킬 수 있다.
본 발명은 상기 이미지 유형 식별 방법의 실시예에 대응하여 이미지 유형 식별 장치의 실시예를 더 제공한다.
도 6은 일 예시적인 실시예에 따른 이미지 유형 식별 장치를 나타내는 블록도이다. 도 6에 도시된 바와 같이, 이미지 유형 식별 장치는 취득 모듈(61), 계산 모듈(62), 제1 확정 모듈(63) 및 제2 확정 모듈(64)을 구비한다.
취득 모듈(61)은 식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하도록 구성된다.
본 실시예에서, 서로 다른 유형의 이미지는 미리 설정된 색 공간의 각각의 채널에서의 히스토그램이 서로 다른 특징을 구비한다. 따라서 히스토그램의 특징에 대한 분석을 통하여 이미지의 유형을 식별할 수 있다.
여기서, 미리 설정된 색 공간은 RGB 색 공간, LAB 색 공간 등일 수 있다.
예를 들어, 식별 대기 이미지의 RGB 색 공간의 각각의 채널의 히스토그램을 취득한다. 도 2a 내지 도 2c에 도시된 식별 대기 이미지의 RGB 3개 채널의 히스토그램일 수 있고, 도 3a 내지 도 3c에 도시된 식별 대기 이미지의 RGB 3개 채널의 히스토그램일 수 있다.
여기서, 히스토그램의 횡축은 0 ~ 255의 그레이 스케일 값을 나타내고, 종축은 대응되는 그레이 스케일의 픽셀 수를 나타낸다.
계산 모듈(62)은 취득 모듈(61)이 취득한 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하도록 구성된다.
본 실시예에서, 취득한 히스토그램에 의해 이미지 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산할 수 있다.
예를 들어, 도 2a 내지 도 2c에 도시된 히스토그램 또는 도 3a 내지 도 3c에 도시된 히스토그램에 의해 RGB 3개 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산할 수 있다.
본 실시예에서, 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 방법은 하기와 같다.
각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산한다. 여기서 n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수이다. 바람직하게는 n의 값은 1 ~ 5이다.
예를 들어, 적색 채널의 제1 그레이 스케일 픽셀 수와 제0 그레이 스케일 픽셀 수의 비율 및 제1 그레이 스케일 픽셀 수와 제2 그레이 스케일 픽셀 수의 비율, 제2 그레이 스케일 픽셀 수와 제1의 그레이 스케일 픽셀 수의 비율 및 제2 그레이 스케일 픽셀 수와 제3 그레이 스케일 픽셀 수의 비율, 제3 그레이 스케일 픽셀 수와 제2 그레이 스케일 픽셀 수의 비율 및 제3 그레이 스케일 픽셀 수와 제4 그레이 스케일 픽셀 수의 비율 ...... 제254 그레이 스케일 픽셀과 제253 그레이 스케일 픽셀 수의 비율 및 제254 그레이 스케일 픽셀 수와 제255 그레이 스케일 픽셀 수의 비율을 각각 계산한다.
만약 도 3a에 도시된 적색 채널의 히스토그램에서 제89 그레이 스케일이 1624 개의 픽셀을 구비하고, 제90 그레이 스케일이 1609 개의 픽셀을 구비하고, 제91 그레이 스케일이 1554 개의 픽셀을 구비하면, 제90 그레이 스케일과 제89 그레이 스케일의 비율은 0.9907635이고, 제90 그레이 스케일과 제91 그레이 스케일의 비율은 1.03539253이다.
제1 확정 모듈(63)은 계산 모듈(62)이 계산한 비율이 미리 설정된 조건을 만족하면 식별 대기 이미지를 자연 이미지로 확정하도록 구성된다.
본 실시예에서, 미리 설정된 색 공간이 RGB이면, 미리 설정된 조건은 비율의 소수점 이하의 자리수가 5를 초과하는 것이다.
계산한 비율이 미리 설정된 조건을 만족하면, 즉 계산한 비율의 소수점 이하의 자리수가 5를 초과하면, 상기 식별 대기 이미지는 자연 이미지이다.
상기에 계속하여 설명하면, 제90 그레이 스케일과 제89 그레이 스케일의 비율이 0.9907635이고, 제90 그레이 스케일과 제91 그레이 스케일의 비율이 1.03539253이며, 양자의 소수점 자리수는 모두 5를 초과한다. 따라서 도 3a에 대응되는 이미지가 자연 이미지라고 잠정적으로 판단할 수 있다. 만약 도 3b 내지 도 3c에 도시된 히스토그램에서 인접한 그레이 스케일 픽셀 수의 비율의 소수점 자리수도 5를 초과하면 도 3a 내지 도 3c에 대응되는 이미지가 자연 이미지라고 확정할 수 있다.
제2 확정 모듈(64)은 계산 모듈(62)이 계산한 비율이 미리 설정된 조건을 만족하지 않으면 식별 대기 이미지를 합성 이미지로 확정하도록 구성된다.
본 실시예에서, 계산한 비율이 미리 설정된 조건을 만족하지 않으면, 즉 계산한 비율이 정수 또는 소수점 이하의 자리수가 5를 초과하지 않으면, 상기 식별 대기 이미지는 합성 이미지이다.
만약 도 2a에 도시된 적색 채널의 히스토그램에서 제1 그레이 스케일과 제0 그레이 스케일의 비율이 0.01이고, 제1 그레이 스케일과 제2 그레이 스케일의 비율이 100이면 계산한 비율이 미리 설정된 조건을 만족하지 않기 때문에 도 2a에 대응되는 이미지는 합성 이미지라고 잠정적으로 판단할 수 있다. 만약 도 2b 내지 도 2c에 도시된 히스토그램에서 인접한 그레이 스케일 픽셀 수의 비율도 미리 설정된 조건을 만족하지 않으면 도 2a 내지 도 2c에 대응되는 이미지를 합성 이미지로 확정할 수 있다.
도 6에 도시된 장치는 상기 도 1에 도시된 방법을 실현하기 위한 것이며, 관련 내용의 기재가 동일하므로 여기서 장황하게 설명하지 않는다.
상기 이미지 유형 식별 장치를 나타내는 실시예에 따르면, 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하고, 취득한 히스토그램에 의해 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산한 다음, 비율이 미리 설정된 조건을 만족하는지 여부에 의해 식별 대기 이미지의 유형을 확정할 수 있기 때문에 식별하는 전반 과정에서 대량의 계산을 진행할 필요가 없고, 휴대폰 등 모바일 단말의 이미지 유형의 식별에 적용될 수 있고 응용성이 향상된다.
도 7은 일 예시적인 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다. 도 7에 도시된 바와 같이, 당해 장치는 도 6에 도시된 실시예를 바탕으로, 통계 모듈(65) 및 제3 확정 모듈(66)을 더 구비한다.
통계 모듈(65)은 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하도록 구성된다.
제3 확정 모듈(66)은 통계 모듈(65)이 통계한 비율의 수가 미리 설정된 수를 초과하면 식별 대기 이미지를 합성 이미지로 확정하도록 구성된다.
본 실시예에서, 이미지 유형의 식별 정확도를 높이기 위해, 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하는 것 및 비율의 수가 미리 설정된 수를 초과하면 식별 대기 이미지를 합성 이미지로 확정하는 것을 포함할 수 있다. 여기서, 미리 설정된 수는 필요에 따라 예컨대 6개, 8개 등으로 융통성 있게 설정할 수 있다.
만약 도 2a 내지 도 2c에 도시된 3개 채널의 히스토그램에서 미리 설정된 조건을 만족하지 않는 비율의 수가 각각 508개이면, 도 2a 내지 도 2c에 대응되는 이미지가 합성 이미지라고 가일층 확정할 수 있다.
도 7에 도시된 장치는 상기 도 1에 도시된 방법을 실현하기 위한 것이며, 관련 내용의 기재가 동일하므로 여기서 장황하게 설명하지 않는다.
상기 이미지 유형 식별 장치를 나타내는 실시예에 따르면, 통계한 비율의 수가 미리 설정된 수를 초과하면 식별 대기 이미지를 합성 이미지로 확정함으로써 이미지 유형의 식별 정확도를 향상시킬 수 있다.
도 8은 일 예시적인 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다. 도 8에 도시된 바와 같이, 당해 장치는 상기 도 6에 도시된 실시예를 바탕으로, 필터링 모듈(60)을 더 구비한다.
필터링 모듈(60)은 취득 모듈(61)이 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하기 전에 식별 대기 이미지 중의 노이즈를 필터링하도록 구성된다.
여기서, 이미지 중의 노이즈는 주로 카메라의 센서가 수신 신호인 빛을 출력하는 과정에서 생성된 이미지 중의 거친 부분이거나 또는 이미지에서 나타나지 말아야하는 통상적으로 전자 간섭에 의해 생성된 외부의 픽셀이다.
본 실시예에서, 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하는 단계 이전에, 먼저 식별 대기 이미지 중의 노이즈를 필터링하여 취득한 히스토그램의 정확도를 더 높이고 이미지 유형의 식별 정확도를 높일 수 있다.
도 8에 도시된 장치는 상기 도 4에 도시된 방법을 실현하기 위한 것이며, 관련 내용의 기재가 동일하므로 여기서 장황하게 설명하지 않는다.
상기 이미지 유형 식별 장치를 나타내는 실시예에 따르면, 식별 대기 이미지 중의 노이즈를 필터링함으로써 취득한 히스토그램의 정확도가 향상되고 이미지 유형의 식별 정확도를 더 향상시킬 수 있다.
도 9는 일 예시적인 실시예에 따른 다른 이미지 유형 식별 장치를 나타내는 블록도이다. 도 9에서 도시된 바와 같이, 당해 장치는 상기 도 6에 도시된 실시예를 바탕으로, 특징 정보 취득 모듈(91), 판단 모듈(92) 및 제4 확정 모듈(93)을 더 구비한다.
특징 정보 취득 모듈(91)은 식별 대기 이미지의 특징 정보를 취득하도록 구성된다.
본 실시예에서, 합성 이미지의 특징 라이브러리를 미리 구축할 수 있다. 상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함한다. 따라서 식별 대기 이미지의 특징 정보를 취득하고 취득한 특징 정보와 특징 라이브러리를 비교함으로써 식별 대기 이미지가 합성 이미지인지 여부를 식별할 수 있다.
여기서, 특징 라이브러리는 합성 이미지의 RGB 3개 채널의 픽셀 수량의 특징 정보, 합성 이미지의 단색 이미지 특징 정보 등 중의 하나 이상을 포함하되 이에 한정되지 않는다.
본 실시예에서, 특징 라이브러리 중의 특징 정보와 비교하기 위해, 식별 대기 이미지의 RGB 3개 채널의 픽셀 수량의 특징 정보를 취득할 수 있고, 식별 대기 이미지의 적색 이미지 특징 정보를 취득할 수도 있다.
판단 모듈(92)은 특징 정보 취득 모듈(91)이 취득한 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하도록 구성된다. 특징 리이브러리는 합성 이미지의 특징 정보를 포함한다.
제4 확정 모듈(93)은 판단 모듈(92)이 매칭된다고 판단하면 식별 대기 이미지를 합성 이미지로 확정하도록 구성된다.
만약 도 2a 내지 도 2c에 도시된 것이 식별 대기 이미지의 RGB 3개 채널의 히스토그램이라고 가정하면, 도 2a 내지 도 2c에 도시된 바와 같이, 식별 대기 이미지의 RGB 3개 채널의 히스토그램은 완전히 동일하다. 따라서 식별 대기 이미지의 RGB 3개 채널의 픽셀의 수가 동일하다. 즉, 특징 라이브러리 중의 특징 정보와 매칭된다. 따라서 식별 대기 이미지를 합성 이미지로 확정할 수 있다.
본 실시예에서, 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되지 않으면 식별 대기 이미지가 합성 이미지가 아니라고 확정할 수 있다.
참고로, 상기 방법은 이미지 유형을 식별할 수 있을 뿐만 아니라, 이미 식별된 이미지 유형에 대해 정정할 수 있다. 예를 들어, 전에 현재 이미지가 합성 이미지라고 식별되었을 경우, 상기 이미지의 특징 정보를 취득하고 상기 특징 정보를 특징 라이브러리 중의 특징 정보와 비교하는 것을 통하여 상기 이미지가 합성 이미지인지 여부를 확정함으로써 식별 정확도를 대폭 향상시킬 수 있다.
도 9에 도시된 장치는 상기 도 5에 도시된 방법을 실현하기 위한 것이며, 관련 내용의 기재가 동일하므로 여기서 장황하게 설명하지 않는다.
상기 이미지 유형 식별 방법을 나타내는 실시예에 따르면, 취득한 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하는 것을 통하여 식별 대기 이미지가 합성 이미지인지 여부를 확정함으로써, 합성 이미지의 식별 방법을 더 제공하고, 이미지 유형의 식별 방식이 다양해지고, 또한 이미 식별한 이미지 유형에 대해 정정할 수 있어 식별 정확도를 대폭 향상시킬 수 있다.
상기 실시예의 장치는 그 중의 각각의 모듈 및 서브 모듈이 수행하는 조작의 구체적인 방식에 관해 대응되는 방법에 관한 실시예에서 이미 상세하게 설명하였기 때문에 여기서 자세히 설명하지 않는다.
도 10은 예시적인 일 실시예에 따른 이미지 유형의 식별에 적용되는 식별 장치를 나타내는 블록도이다. 예를 들어 장치(1000)는 휴대폰, 컴퓨터, 디지털 브로드캐스팅 단말기, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 설비, 헬스 기기, PDA, 비행 장치 등일 수 있다
도10을 참조하면 장치(1000)는 프로세싱 유닛(1002), 메모리(1004), 전원 유닛(1006), 멀티미디어 유닛(1008), 오디오 유닛(1010), 입출력(I/O) 인터페이스(1012), 센서 유닛(1014) 및 통신 유닛(1016) 중의 임의의 적어도 하나 이상을 포함할 수 있다.
프로세싱 유닛(1002)은 일반적으로 장치(1000)의 전체 조작, 예를 들어, 디스플레이, 전화 호출, 데이터 통신, 카메라 조작 및 기록 조작에 관련된 조작을 제어할 수 있다. 프로세싱 유닛(1002)은 임의의 적어도 하나 이상의 프로세서(1020)를 구비하여 명령어를 실행함으로써 상기 방법의 전부 또는 일부 단계를 완성할 수 있다. 또한, 프로세싱 유닛(1002)은 기타 유닛과의 인터랙션을 편리하게 하도록 임의의 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 유닛(1002)은 멀티미디어 유닛(1008)과의 인터랙션을 편리하게 할 수 있도록 멀티미디어 모듈을 포함할 수 있다.
메모리(1004)는 장치(1000)의 조작을 지원하기 위하여 각종 유형의 데이터를 저장하도록 설치된다. 이러한 데이터는 예를 들어 장치(1000)에서 임의의 애플리케이션이나 방법을 조작하기 위한 명령어, 연락처 데이터, 전화 번호부 데이터, 메시지, 이미지, 동영상 등을 포함할 수 있다. 메모리(1004)는 임의의 유형의 휘발성 또는 비휘발성 메모리, 예를 들어 SRAM(Static Random Access Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable Read Only Memory), PROM(Programmable ROM), ROM(Read Only Memory), 자기 메모리, 플래시 메모리, 자기 디스크 또는 콤팩트 디스크에 의해 또는 이들의 조합에 의해 구현될 수 있다.
전원 유닛(1006)은 장치(1000)의 각 유닛에 전력을 공급하기 위한 것이며, 전원 관리 시스템, 임의의 적어도 하나 이상의 전원 및 장치(1000)를 위하여 전력을 생성, 관리 및 분배하는데 관련된 기타 유닛을 포함할 수 있다.
멀티미디어 유닛(1008)은 장치(1000)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함할 수 있다. 일 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 또는 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자의 입력 신호를 수신하도록 터치 스크린으로 구현될 수 있다. 또한 터치 패널은 터치, 슬라이딩 및 터치 패널위에서의 제스처(gesture)를 감지하도록 임의의 적어도 하나 이상의 터치 센서를 포함할 수 있다. 상기 터치 센서는 터치 또는 슬라이딩 동작의 경계위치를 감지할 수 있을 뿐만 아니라, 터치 또는 슬라이딩 조작에 관련되는 지속시간 및 압력을 검출할 수 있다. 일 실시예에 있어서, 멀티미디어 유닛(1008)은 전면 카메라 및/또는 후면 카메라를 포함할 수 있다. 장치(1000)가 예를 들어 촬영 모드 또는 동영상 모드 등 조작 모드 상태에 있을 때, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 전면 카메라 및 후면 카메라 각각은 고정된 광학 렌즈 시스템 또는 가변 초점 거리 및 광학 줌 기능을 구비할 수 있다.
오디오 유닛(1010)은 오디오 신호를 출력 및/또는 입력하도록 설치될 수 있다. 예를 들어, 오디오 유닛(1010)은 마이크(MIC)를 포함할 수 있다. 장치(1000)가 예를 들어 호출 모드, 기록 모드 또는 음성 식별 모드 등 조작 모드 상태에 있을 때, 마이크는 외부의 오디오 신호를 수신하도록 설치될 수 있다. 수신된 오디오 신호는 메모리(1004)에 저장되거나 또는 통신 유닛(1016)을 통해 송신될 수 있다. 일 실시예에 있어서, 오디오 유닛(1010)은 오디오 신호를 출력하는 스피커를 더 포함할 수 있다.
I/O 인터페이스(1012)는 프로세싱 유닛(1002)과 주변 인터페이스 모듈 사이에 인터페이스를 제공하기 위한 것이다. 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 작동 버튼 및 잠금 버튼 등을 포함하되 이에 한정되지 않는다.
센서 유닛(1014)은 장치(1000)를 위해 각 방면의 상태를 평가하는 임의의 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(1014)은 장치(1000)의 온/오프 상태, 유닛, 예를 들어 장치(1000)의 디스플레이 및 작은 키패드의 상대적인 포지셔닝을 검출할 수 있다. 센서 유닛(814)은 장치(1000) 또는 장치(1000)의 유닛의 위치 변경, 사용자와 장치(1000) 사이의 접촉 여부, 장치(1000)의 방위 또는 가속/감속 및 장치(1000)의 온도 변화를 검출할 수 있다. 센서 유닛(1014)은 어떠한 물리적 접촉도 없는 상황에서 근처의 물체를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 유닛(1014)은 이미지 형성 응용에 이용하기 위한 광 센서 예를 들어 CMOS 또는 CCD 이미지 센서를 포함할 수 있다. 일 실시예에 있어서, 상기 센서 유닛(814)은 가속도 센서, 자이로 스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 유닛(1016)은 장치(1000)와 기타 기기 사이의 무선 또는 유선 통신을 편리하게 진행하게 하도록 설치될 수 있다. 장치(1000)는 WiFi, 2G, 3G 또는 이들의 조합과 같은 통신 표준을 기반으로 하는 무선 네트워크에 액세스할 수 있다. 일 예시적인 실시예에 있어서, 통신 유닛(1016)은 브로드캐스팅 채널을 통해 외부의 브로드캐스팅 관리 시스템에서의 브로드캐스팅 신호 또는 브로드캐스팅 관련 정보를 수신할 수 있다. 일 예시적인 실시예에 있어서, 상기 통신 유닛(1016)은 근거리 통신을 촉진하기 위한 근거리 무선 통신(NFC) 모듈을 더 포함할 수 있다. 예를 들어, NFC 모듈은 RFID 기술, IrDA 기술, UWB 기술, 블루투스(BT) 기술 및 기타 기술에 의해 구현될 수 있다.
일 예시적인 실시예에 있어서, 장치(1000)는 상기 임의의 어느 한 실시예가 제공한 방법을 실행하기 위하여 임의의 적어도 하나 이상의 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), DSPD(Digital Signal Processing Device), PLD(Programmable Logic Device), FPGA(Field-Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 또는 기타 전자 소자에 의해 구현될 수 있다.
일 예시적인 실시예에서 명령어를 포함한 비일시적인 컴퓨터 판독 가능한 기록매체, 예를 들어 명령어를 포함한 메모리(1004)를 더 제공한다. 상기 명령어는 장치(1000)의 프로세서(1020)에 의해 실행되어 상기 임의의 어느 한 실시예가 제공한 방법을 완성할 수 있다. 예를 들어, 상기 비일시적인 컴퓨터 판독 가능한 기록 매체는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크 및 광 데이터 메모리 등일 수 있다.
본 분야의 통상의 지식을 가진 자는 명세서에 대한 이해 및 명세서에 기재된 발명에 대한 실시를 통해 본 발명의 다른 실시방안을 용이하게 얻을 수 있다. 당해 출원의 취지는 본 발명에 대한 임의의 변형, 사용 또는 적응적인 변화를 포함하고, 이러한 변형, 사용 또는 적응적 변화는 본 발명의 일반적인 원리를 따르고, 당해 출원이 공개하지 않은 본 기술 분야의 공지기술 또는 통상의 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로서, 본 발명의 진정한 범위와 취지는 다음의 특허청구범위에 의해 결정된다.
본 발명은 상기에 서술되고 도면에 도시된 확정 구성에 한정되지 않고 그 범위를 이탈하지 않는 상황에서 다양한 수정 및 변경을 실시할 수 있음이 이해되어야 한다. 본 발명의 범위는 단지 첨부된 특허청구범위에 의해서만 한정된다.

Claims (15)

  1. 식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하는 단계와,
    상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 단계와,
    상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하는 단계와,
    상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 포함하되,
    상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 단계는,
    상기 각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산하는 단계를 포함하고,
    여기서, n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수인 것을 특징으로 하는 이미지 유형 식별 방법.
  2. 제 1 항에 있어서,
    상기 미리 설정된 색 공간은 RGB 색 공간을 포함하고,
    상기 미리 설정된 조건은 상기 비율의 소수점 이하의 자리수가 5를 초과하는 것을 포함하는 것을 특징으로 하는 이미지 유형 식별 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하는 단계와,
    상기 비율의 수가 미리 설정된 수를 초과하면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 유형 식별 방법.
  5. 제 1 항에 있어서,
    상기 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하는 단계 이전에, 상기 식별 대기 이미지 중의 노이즈를 필터링하는 단계를 더 포함하는 것을 특징으로 하는 이미지 유형 식별 방법.
  6. 제 1 항에 있어서,
    상기 식별 대기 이미지의 특징 정보를 취득하는 단계와,
    상기 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하는 단계와,
    매칭된다고 판단되면 상기 식별 대기 이미지를 합성 이미지로 확정하는 단계를 더 포함하고,
    상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함하는 것을 특징으로 하는 이미지 유형 식별 방법.
  7. 식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하도록 구성된 취득 모듈과,
    상기 취득 모듈이 취득한 상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하도록 구성된 계산 모듈,
    상기 계산 모듈이 계산한 상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하도록 구성된 제1 확정 모듈과,
    상기 계산 모듈이 계산한 상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제2 확정 모듈을 구비하고,
    상기 계산 모듈은,
    상기 각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산하도록 구성되고,
    여기서, n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수인 것을 특징으로 하는 이미지 유형 식별 장치.
  8. 제 7 항에 있어서,
    상기 미리 설정된 색 공간은 RGB 색 공간을 포함하고,
    상기 미리 설정된 조건은 상기 비율의 소수점 이하의 자리수가 5를 초과하는 것을 포함하는 것을 특징으로 하는 이미지 유형 식별 장치.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 미리 설정된 조건을 만족하지 않는 비율의 수를 통계하도록 구성된 통계 모듈과,
    상기 통계 모듈이 통계한 상기 비율의 수가 미리 설정된 수를 초과하면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제3 확정 모듈을 더 구비하는 것을 특징으로 하는 이미지 유형 식별 장치.
  11. 제 7 항에 있어서,
    상기 취득 모듈이 상기 식별 대기 이미지의 미리 설정된 색 공간의 각각의 채널의 히스토그램을 취득하기 전에 상기 식별 대기 이미지 중의 노이즈를 필터링하도록 구성된 필터링 모듈을 더 구비하는 것을 특징으로 하는 이미지 유형 식별 장치.
  12. 제 7 항에 있어서,
    상기 식별 대기 이미지의 특징 정보를 취득하도록 구성된 특징 정보 취득 모듈과,
    상기 특징 정보 취득 모듈이 취득한 상기 식별 대기 이미지의 특징 정보가 미리 구축한 특징 라이브러리 중의 특징 정보와 매칭되는지 여부를 판단하도록 구성된 판단 모듈과,
    상기 판단 모듈이 매칭된다고 판단하면 상기 식별 대기 이미지를 합성 이미지로 확정하도록 구성된 제4 확정 모듈을 더 구비하고,
    상기 특징 라이브러리는 합성 이미지에 속하는 특징 정보를 포함하는 것을 특징으로 하는 이미지 유형 식별 장치.
  13. 프로세서와,
    상기 프로세서에 의해 실행 가능한 명령어를 기억하는 메모리를 포함하고,
    상기 프로세서는,
    식별 대기 이미지의 미리 설정된 색 공간(color space)의 각각의 채널의 히스토그램(histogram)을 취득하고,
    상기 히스토그램에 의해 상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하고,
    상기 비율이 미리 설정된 조건을 만족하면 상기 식별 대기 이미지를 자연 이미지로 확정하며,
    상기 비율이 미리 설정된 조건을 만족하지 않으면 상기 식별 대기 이미지를 합성 이미지로 식별하도록 구성되고,
    상기 각각의 채널의 인접한 그레이 스케일 픽셀 수의 비율을 계산하는 것은,
    상기 각각의 채널마다 현재 채널의 제i 그레이 스케일 픽셀 수와 제i-n 그레이 스케일 픽셀 수의 비율 및 제i 그레이 스케일 픽셀 수와 제i+n 그레이 스케일 픽셀 수의 비율을 각각 계산하는 것을 포함하고,
    여기서, n ≤ i ≤ 255-n, 1 ≤ n ≤ 10이고, 또한 i 및 n는 모두 정수인 것을 특징으로 하는 이미지 유형 식별 장치.
  14. 프로세서에 의해 실행되는 것을 통하여 청구항 1, 청구항 2, 청구항 4 내지 6 중 어느 한 항에 기재된 상기 이미지 유형 식별 방법을 실현하는 컴퓨터 판독 가능한 기록매체에 기록된 프로그램.
  15. 청구항 14에 기재된 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020177033322A 2016-02-22 2016-09-28 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체 Active KR102004079B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610097153.1 2016-02-22
CN201610097153.1A CN105760884B (zh) 2016-02-22 2016-02-22 图片类型的识别方法及装置
PCT/CN2016/100456 WO2017143776A1 (zh) 2016-02-22 2016-09-28 图片类型的识别方法及装置

Publications (2)

Publication Number Publication Date
KR20170139089A KR20170139089A (ko) 2017-12-18
KR102004079B1 true KR102004079B1 (ko) 2019-07-25

Family

ID=56331005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033322A Active KR102004079B1 (ko) 2016-02-22 2016-09-28 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체

Country Status (7)

Country Link
US (1) US10181184B2 (ko)
EP (1) EP3208745B1 (ko)
JP (1) JP6328275B2 (ko)
KR (1) KR102004079B1 (ko)
CN (1) CN105760884B (ko)
RU (1) RU2669511C2 (ko)
WO (1) WO2017143776A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760884B (zh) * 2016-02-22 2019-09-10 北京小米移动软件有限公司 图片类型的识别方法及装置
CN106210446B (zh) * 2016-07-18 2019-08-30 北京小米移动软件有限公司 饱和度增强方法及装置
CN106339224B (zh) * 2016-08-24 2020-03-17 北京小米移动软件有限公司 可读性增强方法及装置
CN106331427B (zh) * 2016-08-24 2019-12-03 北京小米移动软件有限公司 饱和度增强方法及装置
US10277859B2 (en) * 2016-09-14 2019-04-30 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN109102467A (zh) * 2017-06-21 2018-12-28 北京小米移动软件有限公司 图片处理的方法及装置
CN108920700B (zh) * 2018-07-17 2021-04-27 中国联合网络通信集团有限公司 一种虚假图片识别方法及装置
CN114332479B (zh) * 2021-12-23 2024-12-13 浪潮(北京)电子信息产业有限公司 一种目标检测模型的训练方法及相关装置
US12026458B2 (en) 2022-11-11 2024-07-02 State Farm Mutual Automobile Insurance Company Systems and methods for generating document templates from a mixed set of document types
CN117351243B (zh) * 2023-12-05 2024-04-02 广东金志利科技股份有限公司 一种铸件冷铁种类数量识别方法及系统
CN117390600B (zh) * 2023-12-08 2024-02-13 中国信息通信研究院 用于深度合成信息的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020031268A1 (en) * 2001-09-28 2002-03-14 Xerox Corporation Picture/graphics classification system and method
US20150332444A1 (en) * 2012-10-25 2015-11-19 Mitsubishi Electric Corporation Image processing device and image processing method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6450177A (en) * 1987-08-20 1989-02-27 Hitachi Ltd Digital picture coding system
JP3664395B2 (ja) * 1997-01-24 2005-06-22 セイコーエプソン株式会社 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
US20040161152A1 (en) * 2001-06-15 2004-08-19 Matteo Marconi Automatic natural content detection in video information
KR100453038B1 (ko) * 2001-12-24 2004-10-15 삼성전자주식회사 컬러 영상의 채도 조절 장치 및 방법
US6996277B2 (en) * 2002-01-07 2006-02-07 Xerox Corporation Image type classification using color discreteness features
JP4244584B2 (ja) * 2002-08-01 2009-03-25 ソニー株式会社 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
ITMI20031449A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
US7263208B1 (en) * 2003-08-04 2007-08-28 United States Of America As Represented By The Secretary Of The Navy Automated threshold selection for a tractable alarm rate
US7333656B2 (en) * 2003-11-26 2008-02-19 Matsushita Electric Industrial Co., Ltd. Image processing method and image processing apparatus
JP4547921B2 (ja) * 2004-01-21 2010-09-22 セイコーエプソン株式会社 印刷装置、印刷方法、及び印刷システム
EP1788795A4 (en) * 2004-09-01 2010-08-04 Nec Corp IMAGE CORRECTION DEVICE AND IMAGE CORRECTION
US20060204086A1 (en) * 2005-03-10 2006-09-14 Ullas Gargi Compression of palettized images
CN101131365A (zh) * 2006-08-23 2008-02-27 宝山钢铁股份有限公司 烧结矿主要矿物相自动识别方法
RU2400815C2 (ru) * 2006-10-09 2010-09-27 Самсунг Электроникс Ко., Лтд. Способ повышения качества цифрового фотоизображения
US9020263B2 (en) * 2008-02-15 2015-04-28 Tivo Inc. Systems and methods for semantically classifying and extracting shots in video
TWI381321B (zh) * 2009-04-30 2013-01-01 Ind Tech Res Inst 重組多張影像與辨識方法以及影像擷取與辨識系統
CN102663451A (zh) * 2012-03-29 2012-09-12 天津科技大学 一种基于色彩空间特征的图形图像分类方法
US8903186B2 (en) * 2013-02-28 2014-12-02 Facebook, Inc. Methods and systems for differentiating synthetic and non-synthetic images
CN104200431A (zh) * 2014-08-21 2014-12-10 浙江宇视科技有限公司 图像灰度化的处理方法及处理装置
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
CN105118026A (zh) * 2015-07-28 2015-12-02 小米科技有限责任公司 色域模式切换方法及装置
CN105282531B (zh) * 2015-11-11 2017-08-25 深圳市华星光电技术有限公司 控制低灰阶白平衡的方法及装置
CN105760884B (zh) * 2016-02-22 2019-09-10 北京小米移动软件有限公司 图片类型的识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020031268A1 (en) * 2001-09-28 2002-03-14 Xerox Corporation Picture/graphics classification system and method
US20150332444A1 (en) * 2012-10-25 2015-11-19 Mitsubishi Electric Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
EP3208745A1 (en) 2017-08-23
CN105760884A (zh) 2016-07-13
JP2018509663A (ja) 2018-04-05
RU2669511C2 (ru) 2018-10-11
US20170243338A1 (en) 2017-08-24
RU2017105475A3 (ko) 2018-08-21
EP3208745B1 (en) 2020-08-19
CN105760884B (zh) 2019-09-10
US10181184B2 (en) 2019-01-15
KR20170139089A (ko) 2017-12-18
JP6328275B2 (ja) 2018-05-23
RU2017105475A (ru) 2018-08-21
WO2017143776A1 (zh) 2017-08-31

Similar Documents

Publication Publication Date Title
KR102004079B1 (ko) 이미지 유형 식별 방법, 장치, 프로그램 및 기록매체
CN105095881B (zh) 人脸识别方法、装置及终端
KR101813195B1 (ko) 연락처 정보 추천 방법, 장치, 프로그램 및 기록매체
EP3125135A1 (en) Picture processing method and device
EP3176709A1 (en) Video categorization method and apparatus, computer program and recording medium
CN106372204A (zh) 推送消息处理方法及装置
CN105427233A (zh) 去除水印的方法及装置
KR20170022967A (ko) 아이콘 배지 표시 방법, 장치, 프로그램 및 저장매체
CN113920465B (zh) 片尾识别方法、装置、电子设备及存储介质
US20220300141A1 (en) Detection method, device, and electronic equipment
US9924334B1 (en) Message pushing method, terminal equipment and computer-readable storage medium
CN105427161A (zh) 一种货币汇率转换的方法及装置
CN105631803A (zh) 滤镜处理的方法和装置
CN105208284A (zh) 拍摄提醒方法及装置
CN111753753A (zh) 图像识别方法及装置、电子设备和存储介质
CN113098524A (zh) 信息编码方法、装置、电子设备及存储介质
CN111125388A (zh) 多媒体资源的检测方法、装置及设备和存储介质
CN105095213A (zh) 信息关联方法及装置
CN104112460B (zh) 播放音频数据的方法和装置
US10068151B2 (en) Method, device and computer-readable medium for enhancing readability
CN105574854B (zh) 确定图像单一性的方法及装置
CN104317480B (zh) 字符按键显示方法、装置及终端
CN114363672A (zh) 相似视频的确定方法、装置、终端及存储介质
CN105391942A (zh) 自动拍照方法及装置
CN105763707A (zh) 一种联系人信息处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 7