KR100811834B1 - Image feature extraction method and content based image retrieval method - Google Patents
Image feature extraction method and content based image retrieval method Download PDFInfo
- Publication number
- KR100811834B1 KR100811834B1 KR1020060103804A KR20060103804A KR100811834B1 KR 100811834 B1 KR100811834 B1 KR 100811834B1 KR 1020060103804 A KR1020060103804 A KR 1020060103804A KR 20060103804 A KR20060103804 A KR 20060103804A KR 100811834 B1 KR100811834 B1 KR 100811834B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- values
- feature
- patterns
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
영상의 구도를 특징량으로 이용하는 내용 기반 영상 검색 방법이 개시된다. 이 검색 방법에 의하면, 영상을 미리 설정한 다양한 패턴 중의 어느 하나의 패턴에 따라 두 영역으로 분할한다. 그리고, 분할된 두 영역에 대하여 각각의 휘도치 평균값을 구하고, 각 휘도치 평균값 간의 차분을 구한다. 그런 후, 앞의 과정을 나머지 모든 패턴에 대해 반복적으로 수행하여, 구해진 모든 차분값들을 성분으로 하는 하나의 특징량 벡터를 구한다. 이후 원본 영상에서 추출한 특징량 벡터와 쿼리 영상에서 추출한 특징량 벡터와의 차분에 대한 절대값의 합을 계산하고, 그 절대값의 합과 설정된 기준치와의 크기를 비교하여, 그 결과에 따라 쿼리 영상에 대한 진위 여부를 판단한다. A content-based image retrieval method using a composition of an image as a feature amount is disclosed. According to this retrieval method, an image is divided into two regions according to any one of various preset patterns. The average values of the luminance values of the two divided regions are obtained, and the difference between the average values of the luminance values is obtained. Then, the above process is repeated for all the remaining patterns to obtain a feature vector that contains all the difference values. Then, the sum of the absolute values of the differences between the feature vector extracted from the original image and the feature vector extracted from the query image is calculated, the magnitude of the sum of the absolute values and the set reference value is compared, and the query image is calculated according to the result. Determine the authenticity of.
이상과 같은 영상 검색 방법에 의하면, 다양한 패턴의 영상 분할 방법을 사용함으로써 내용 기반 영상 검색에서의 강한 검색성을 유지하면서 원본과 복제물 간의 식별 능력을 높일 수 있다. According to the image retrieval method as described above, by using the image segmentation method of various patterns, it is possible to increase the ability to distinguish between the original and the replica while maintaining strong retrievability in the content-based image retrieval.
Description
도 1은 종래의 내용 기반 영상 검색의 방법을 도식적으로 보여주는 도면.
도 2는 본 발명의 실시예에 따른 영상 특징량 추출방법의 실행 과정을 보여주는 흐름도.
도 3은 본 발명의 실시예에 따른 영상 특징량 추출방법에 의해 추출한 원본 영상에 대한 특징량 벡터를 기저로 한 데이터베이스를 구축하는 과정을 보여주는 흐름도.
도 4는 본 발명의 실시예에 따른 영상 특징량 추출방법을 이용한 내용 기반 영상 검색 방법의 실행 과정을 보여주는 흐름도.
도 5는 본 발명의 실시예에 따른 영상 특징량 추출방법에 따라 임의의 영상을 두 영역으로 분할하고 각 영역에 대한 휘도치 평균값을 구하는 것을 도식적으로 보여주는 도면.
도 6은 본 발명의 실시예에 따른 영상 특징량 추출방법에 따라 임의의 영상을 다양한 패턴으로 분할한 모습을 보여주는 도면.
도 7은 도 6의 다양한 분할 패턴과 관련하여 수평 구도, 수직 구도 및 삼각 구도를 가지는 이미지의 예를 보여주는 도면.1 is a diagram illustrating a conventional method of content-based image retrieval.
2 is a flowchart illustrating an execution process of an image feature extraction method according to an embodiment of the present invention.
3 is a flowchart illustrating a process of constructing a database based on a feature vector for an original image extracted by an image feature extraction method according to an embodiment of the present invention.
4 is a flowchart illustrating an execution process of a content-based image retrieval method using an image feature extraction method according to an embodiment of the present invention.
5 is a diagram schematically illustrating obtaining an average value of luminance values for each region by dividing an arbitrary image into two regions according to an image feature extraction method according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a state in which an arbitrary image is divided into various patterns according to an image feature extraction method according to an embodiment of the present invention. FIG.
FIG. 7 illustrates an example of an image having a horizontal composition, a vertical composition, and a triangular composition with respect to the various division patterns of FIG. 6. FIG.
본 발명은 영상 특징량 추출방법과, 이를 이용한 내용 기반 영상 검색 방법에 관한 것으로서, 특히 하나의 영상을 다양한 기하학적 패턴으로 분할하여 검사하는 방법을 사용함으로써 영상에 대한 강한 검색성을 유지하면서 원본과 복제물 간의 식별 능력을 높일 수 있는 영상 특징량 추출방법 및 이를 이용한 내용 기반 영상 검색 방법에 관한 것이다.
최근 인터넷에서 음악, 정지 영상 및 동영상 등이 널리 사용됨에 따라 이들 멀티미디어 데이터를 대상으로 한 효율적인 검색 기술의 필요성이 대두하고 있다. 예를 들어, 과거의 텍스트 검색 기능만을 가지고 있던 인터넷 검색 사이트는 최근에는 이미지뿐만 아니라 동영상 검색 기능을 갖추고 있다. 또한, 방송국, 컨텐츠(contents) 제작소 등은 대량의 멀티미디어 데이터베이스에서 원하는 컨텐츠를 빠르고 정확하게 찾아내는 수단을 필요로 한다.
멀티미디어 데이터를 대상으로 한 검색 기술은 텍스트 기반(text-based) 검색과 내용 기반(content-based) 검색으로 나눌 수 있다. 텍스트 기반 검색은 타이틀, 제작자, 캐스팅 멤버, 장르, 감독 등의 검색어를 사용하는 검색 방법을 말하고, 내용 기반 검색은 검색어 대신 컨텐츠에서 추출한 특징량을 사용하는 검색 방법을 말한다. 텍스트 기반 검색은 빠르고 정확하지만, 데이터베이스에 존재하는 컨텐츠 및 쿼리(query)로 주어질 컨텐츠에 검색어들을 별도로 수작업으로 입력해야 한다는 단점이 있다. 따라서, 불특정 다수의 멀티미디어를 대상으로 했을 때, 내용 기반 검색이 더 유효한 검색 수단이라고 할 수 있다.
종래의 내용 기반 영상 검색의 방법으로 "ordinal measure법"이 있다. 이 측정법에 의한 영상 특징량 추출 방식은, 도 1에 도시된 바와 같이, 먼저 영상을 일정 크기의 다수의 블록으로 분할하고(도 1의 (a)), 각 블록에 대한 픽셀(pixel)의 휘도 평균값을 구한다(도 1의 (b)). 그런 후, 휘도 평균값의 해당 프레임(frame) 내에서의 순위(rank)를 구한다(도 1의 (c)). 그리고, 그 순위를 특징량으로 사용한다. 결과적으로, 밝기 정보 자체는 없어지고, 블록 간의 상대적 순서 정보만 남게 되는데, 계산량이 적고, 영상 검색에 강력하여 내용 기반 검색의 용도로 유효한 장점이 있다.
그런데, 이상과 같은 특징량 추출 방식의 성능은 블록의 면적과 밀접한 관계가 있어, 면적이 클수록 검색은 강력하지만 식별능력은 떨어지게 된다는 단점이 있다. 예를 들어, 2개의 블록으로 나누었을 때, 면적이 큰 만큼 검색은 가장 강력하지만 순위가 두 종류밖에 없어 식별 능력은 가장 나쁘게 된다.
한편, 내용 기반 영상 검색에 있어서 쿼리로 주어지는 영상은, 원본 영상에 대해, 축소, 확대, 절단, 색상 강조, 압축 등의 변형이 가해진 것이 될 수도 있다. 이와 같이 변형이 가해진 경우, 휘도 평균값은 원래의 값을 유지하지 못하지만, 상대적 밝기의 순서는 변하지 않는 것이 보통이다. 따라서, 위와 같은 특징량을 사용하면, 원본에 변형이 가해져도 강한 검색이 가능하다.
상기 방식의 식별 능력과 강한 검색성은 반비례의 관계에 있으며, 블록의 면적과 밀접한 관계가 있다. 전술한 바와 같이, 2개의 블록으로 나누었을 때, 면적이 큰 만큼 검색은 가장 강하지만, 순위가 두 종류밖에 없어서 식별 능력은 가장 나쁘게 된다. 반대로, 블록의 개수를 늘리면, 면적이 작아지는 만큼 검색의 강력성은 떨어지지만, 경우의 수가 많아지는 만큼 식별 능력은 높아진다.The present invention relates to an image feature extraction method and a content-based image retrieval method using the same. In particular, by using a method of dividing and inspecting a single image into various geometric patterns, originals and duplicates are maintained. The present invention relates to an image feature extraction method and a content-based image retrieval method using the same.
Recently, as music, still images and moving pictures are widely used on the Internet, there is a need for an efficient retrieval technology for these multimedia data. For example, Internet search sites that used only text search functions in the past have recently been equipped with video search functions as well as images. In addition, broadcast stations, content producers, and the like, need a means of quickly and accurately finding the desired content in large multimedia databases.
Search techniques for multimedia data can be divided into text-based search and content-based search. Text-based search refers to a search method using search terms such as title, creator, casting member, genre, and director, and content-based search refers to a search method using feature quantities extracted from contents instead of search terms. Text-based search is fast and accurate, but has the disadvantage of manually inputting search terms into content existing in a database and content to be given by a query. Therefore, content-based retrieval can be said to be a more effective retrieval means for unspecified multimedia.
A conventional method of content-based image retrieval is the "ordinal measure method." As shown in FIG. 1, an image feature amount extraction method using this measurement method first divides an image into a plurality of blocks having a predetermined size (FIG. 1A), and luminance of a pixel for each block. The average value is obtained (FIG. 1B). Thereafter, the rank of the luminance average value in the corresponding frame is obtained ((c) of FIG. 1). Then, the ranking is used as the feature amount. As a result, the brightness information itself is lost, and only the relative order information between blocks remains, which has a small amount of calculation and is powerful for image retrieval, which is effective for content-based retrieval.
However, the performance of the feature extraction method as described above is closely related to the area of the block, so that the larger the area, the stronger the search but the lower the discrimination ability. For example, when divided into two blocks, the search area is the strongest as the area is large, but the identification ability is worst because there are only two types of rankings.
Meanwhile, in the content-based image retrieval, the image given by the query may be a deformation, reduction, enlargement, truncation, color enhancement, compression, or the like of the original image. When the deformation is applied in this way, the luminance average value does not maintain the original value, but the order of relative brightness does not change. Therefore, using the above feature amounts, strong search is possible even if the original is deformed.
The identification ability and the strong searchability of the above scheme are inversely related and closely related to the area of the block. As described above, when divided into two blocks, the search is the strongest as the area is large, but the identification ability is worst because there are only two types of rankings. Conversely, increasing the number of blocks decreases the searching power as the area decreases, but the identifying ability increases as the number of cases increases.
본 발명은 이상에서와 같은 사항을 감안하여 창출된 것으로서, 다양한 패턴의 영상 분할 방법을 사용함으로써 내용 기반 영상 검색에서의 강한 검색성을 유지하면서 식별 능력을 높일 수 있는 영상 특징량 추출방법 및 그를 이용한 내용기반의 영상 검색방법을 제공함에 그 목적이 있다. The present invention has been made in view of the above-mentioned matters, and by using a video segmentation method of various patterns, an image feature extraction method for enhancing identification ability while maintaining strong retrievability in content-based image retrieval and using the same The purpose is to provide a content-based image retrieval method.
상기의 목적을 달성하기 위하여 본 발명의 특징에 따른 영상 특징량 추출방법은, 임의의 영상에 대하여 다양한 기하학적 패턴을 사용하여 특징량을 추출하는 방법으로서,
a) 입력 영상을 미리 설정한 다양한 패턴 중의 어느 하나의 패턴에 따라 두 영역으로 분할하는 단계;
b) 상기 분할된 두 영역에 대하여 각각의 휘도치 평균값을 구하는 단계;
c) 상기 구해진 각 휘도치 평균값 간의 차분을 구하는 단계;
d) 상기 단계 a)부터 단계 c)까지의 과정을 나머지 모든 패턴에 대해 반복적으로 수행하는 단계; 및
e) 상기 각각의 패턴에 대해 구해진 모든 휘도치 평균값 간의 차분을 성분으로 하는 하나의 특징량 벡터를 구하는 단계를 포함한다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 특징에 따른 영상 특징량 추출방법을 이용한 내용 기반 영상 검색 방법은, 쿼리 영상에서 추출한 특징량 벡터와, 데이터베이스에 저장되어 있는 특징량 벡터(원본 영상에서 추출한 특징량 벡터임)를 비교하여, 쿼리 영상에 대한 진위 여부를 검색해 내는 방법으로서,
a) 쿼리 영상에서 특징량 벡터를 추출하는 단계;
b) 상기 구해진 특징량 벡터와 데이터베이스에 저장되어 있는 한 특징량 벡터와의 차분에 대한 절대값의 합을 계산하는 단계;
c) 상기 구해진 차분에 대한 절대값의 합과 설정된 기준치와의 크기를 비교하여, 그 결과에 따라 쿼리 영상에 대한 진위 여부를 판단하는 단계; 및
d) 상기 단계 b)부터 단계 c)까지의 과정을 데이터베이스에 저장된 모든 특징량 벡터에 대해 반복적으로 수행하는 단계를 포함한다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
또한, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시예에 따른 영상 특징량 추출방법 및 이를 이용한 내용기반 영상 검색 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 영상 특징량 추출방법의 실행 과정을 보여주는 흐름도이고, 도 3은 원본 영상에서 특징량 데이터베이스를 구축하는 과정을 보여주는 흐름도이며, 도 4는 본 발명의 실시예에 따른 영상 특징량 추출방법에 의해 추출된 영상 특징량을 이용한 내용 기반 영상 검색 방법의 실행 과정을 보여주는 흐름도이다. 또한, 도 5는 본 발명의 실시예에 따른 영상 특징량 추출방법에 따라 임의의 영상을 두 영역으로 분할하고 각 영역에 대한 휘도치 평균값을 구하는 것을 도식적으로 보여주는 도면이고, 도 6은 영상 특징량 추출을 위해 임의의 영상 을 다양한 패턴으로 분할한 모습을 보여주는 도면이고, 도 7은 도 6의 다양한 분할 패턴과 관련하여 수평 구도, 수직 구도 및 삼각 구도를 가지는 이미지의 예를 보여주는 도면이다. 여기서, 도 2, 도 3 및 도 4와 같은 흐름도는 하나의 소프트웨어 프로그램을 가시화한 것으로, 발명자(혹은 프로그래머)에 의해 미리 프로그램으로 짜여져 컴퓨터 시스템에 저장된다.
도 2, 도 3 및 도 4를 참조하면, 본 발명의 실시예에 따른 영상 특징량 추출방법을 이용한 내용 기반 영상 검색 방법은, 임의의 영상에 대하여 다양한 기하학적 패턴을 사용하여 특징량을 추출하고 그를 바탕으로 쿼리 영상에 대한 진위 여부를 검색해 내는 방법으로서, 먼저 입력 영상을 미리 설정한 다양한 패턴 중의 어느 하나의 패턴에 따라 두 영역으로 분할한다(단계 S201). 즉, 도 5의 (a)와 같은 임의의 영상을 도 6의 (a)∼(p)와 같은 미리 설정한 다양한 패턴 중의 임의의 어느 하나의 패턴에 따라 도 5의 (b)와 같이 두 영역(S1,S2)으로 분할하는 것이다.
이렇게 하여 두 영역(S1,S2)으로의 분할이 완료되면, 그 분할된 두 영역(S1,S2)에 대하여 각각의 휘도치 평균값(M1,M2)(도 5의 (c))을 구한다(단계 S202). 여기서, 휘도치 평균값(M1,M2)은 다음과 같은 수식 관계에 의해 구해질 수 있다.
여기서, HW(H×W)는 영상 사이즈(세로×가로), I(h,w)는 (h,w)픽셀의 휘도치를 각각 의미한다.
이상에 의해 휘도치 평균값(M1,M2)이 구해지면, 그 구해진 각 휘도치 평균값 (M1,M2) 간의 차분(d)을 구한다(단계 S203). 이때 차분을 수식으로 표현하면 다음과 같다.
이상과 같이 하여 하나의 분할 패턴[예컨대, 도 6의 (a)]에 대하여 휘도치 평균 간의 차분을 구하는 것까지 완료되면, 위에서와 같은 동일한 과정(즉, 차분까지 구하는 과정)을 나머지 모든 패턴[도 6의 (b)∼(p)]에 대해 반복적으로 수행한다(단계 S204). 그런 후, 그 각각의 패턴에 대해 구해진 모든 휘도치 평균값 간의 차분을 성분으로 하는 하나의 벡터(F)를 구한다(단계 S205). 이 벡터(F)를 수식으로 표현하면 다음과 같다.
본 발명의 실시예에서는 위의 수학식 3을 입력 영상의 "특징량 벡터"로 정의한다.
위의 특징량 벡터 F는 도 6의 여러 패턴들을 기저(base)로 하여 실제 이미지와 기저와의 상관을 나타낸 값이라고 해석할 수 있으며, 기저 패턴과 유사한 구도를 가지는 이미지일수록 그 절대값은 커지게 된다. 예를 들어, 도 7의 (a)처럼 수평구도를 가지는 이미지의 경우, 상기 도 6의 (a)의 패턴을 사용했을 때 절대값은 큰 값을 가지나 도 6의 (b)의 패턴을 사용했을 때는 "0(zero)"에 가까운 값을 가지게 된다. 마찬가지로, 도 7의 (b)처럼 수직 구도를 가지는 이미지는 도 6의 (b)의 패턴을 사용했을 때, 그리고 도 7의 (c)처럼 삼각 구도를 가지는 이미지는 도 6의 (c)의 패턴을 사용했을 때 큰 절대값을 가지게 된다.
한편, 이상에 의해 입력 영상에 대한 특징량 벡터가 구해지면(계산되면)(단계 S301), 그 원본의 한 영상에 대하여 계산된 특징량을 데이터베이스에 등록하고(단계 S302), 원본의 모든 영상에 대하여 특징량 추출과 데이터베이스 등록을 반복한다(단계 S303). 이로써 원본 영상의 데이터베이스 구축이 완료된다.
이후 쿼리 영상이 주어지면, 위의 원본 영상에서 특징량 벡터를 구하는 과정과 동일한 과정에 의해 쿼리 영상에서 특징량 벡터를 추출(계산)하고(단계 S401), 데이터베이스에 존재하는 원본 영상의 특징량 벡터와 위에서 구해진 쿼리 영상의 특징량 벡터와의 차분에 대한 절대값의 합(D)을 계산한다(단계 S402). 이를 수식으로 나타내면 다음과 같다.
여기서, Fdb는 데이터베이스에 존재하는 특징량 벡터, Fquery는 쿼리의 특징량 벡터를 각각 나타낸다.
이렇게 하여 차분에 대한 절대값의 합(D)이 구해지면, 그 차분에 대한 절대값의 합(D)이 설정된 기준치(T)(발명자에 의해 미리 어떤 특정 수치의 값으로 정해짐)보다 큰지의 여부를 판별하여, 그 결과에 따라 해당 영상에 대한 진위 여부를 판단한다(단계 S403).
즉, D가 T보다 큰지(T＜D)를 판별하여, D가 T보다 크면 쿼리는 데이터베이스에 존재하는 영상과 일치하지 않는다고 판단한다. 즉, 데이터베이스에 존재하는 영상이 복제 영상이 아닌 진짜 영상으로 판단된다.
또한, 상기 판별(T＜D)에서 D가 T보다 작거나 같으면 쿼리는 데이터베이스에 존재하는 영상과 일치한다고 판단한다. 즉, 데이터베이스에 존재하는 영상이 복제 영상으로 판단된다.
이상에 의해 데이터베이스에 존재하는 하나의 특징량 벡터에 대한 검색이 완료되면, 상기 과정을 데이터베이스에 존재하는 나머지 모든 특징량 벡터들에 대해서도 반복 수행한다(단계 S404). 이렇게 함으로써 쿼리 영상과 일치하는 영상이 데이터베이스에 존재하는지, 존재하지 않는지를 판단한다. 이상에 의해 본 발명의 실시예에 따른 내용 기반 영상 검색 방법이 완료된다.
이상에서와 같이 본 발명의 실시예에 따른 내용 기반 영상 검색방법은, 평균값 차분을 특징량으로 사용하므로, 계산량이 적을 뿐만 아니라, 원본에 히스토그램(histogram) 등화(equalization), 감마 보정(gamma correction; 전송 시스템에 비직선 증폭 회로를 넣어 촬상관, 수상관, 필름 등의 계조(階調) 특성을 보정하는 것), 레벨 시프트(level shift) 등의 처리가 가해지더라도 변화량이 적어 강한 영상 검색을 수행할 수 있게 된다. 또한, 하나의 영상을 다양한 기하학적 패턴으로 분할하여 검색함으로써 강한 검색성을 유지하면서도 식별 능력을 높일 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만, 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. In order to achieve the above object, an image feature amount extraction method according to an aspect of the present invention is a method of extracting a feature amount using various geometric patterns for an arbitrary image.
a) dividing the input image into two regions according to any one of various preset patterns;
b) obtaining average values of respective luminance values of the divided two regions;
c) obtaining a difference between the obtained average values of each luminance value;
d) repeating the steps a) to c) for all remaining patterns; And
e) obtaining one feature variable vector whose component is the difference between all the average values of the luminance values obtained for the respective patterns.
In addition, in order to achieve the above object, the content-based image retrieval method using the image feature extraction method according to the features of the present invention, feature vector extracted from the query image and feature vector stored in the database (from the original image) It is a method of searching for the authenticity of the query image by comparing the extracted feature vector),
a) extracting the feature vector from the query image;
b) calculating a sum of absolute values of differences between the obtained feature vector and the feature vector stored in the database;
c) comparing the sum of the obtained absolute values for the difference with the set reference value and determining whether the query image is authentic or not according to the result; And
d) repeatedly performing steps b) to c) for all feature vector stored in the database.
DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
In addition, when a part is said to "include" a certain component, this means that it may further include other components, except to exclude other components unless otherwise stated.
Now, an image feature extraction method and a content-based image retrieval method using the same will be described in detail with reference to the accompanying drawings.
2 is a flowchart illustrating an execution process of an image feature variable extraction method according to an embodiment of the present invention, FIG. 3 is a flowchart illustrating a process of building a feature database from an original image, and FIG. 4 is an embodiment of the present invention. It is a flowchart illustrating a process of executing a content-based image retrieval method using the image feature quantities extracted by the image feature extraction method. FIG. 5 is a diagram schematically illustrating obtaining an average value of luminance values for each region by dividing an arbitrary image into two regions according to the image feature quantity extraction method according to an embodiment of the present invention, and FIG. 6. FIG. 7 is a diagram illustrating a state in which an arbitrary image is divided into various patterns for extraction, and FIG. 7 is a diagram illustrating an example of an image having a horizontal composition, a vertical composition, and a triangular composition with respect to various division patterns of FIG. 6. 2, 3, and 4 are visualizations of one software program, which are pre-programmed by the inventor (or programmer) and stored in a computer system.
2, 3, and 4, the content-based image retrieval method using the image feature extraction method according to an embodiment of the present invention extracts a feature using a variety of geometric patterns for an arbitrary image and extracts the feature. As a method of searching for the authenticity of the query image, first, the input image is divided into two regions according to any one of various preset patterns (step S201). That is, two regions as shown in FIG. 5B according to any one of various preset patterns as shown in FIGS. It is divided into (S 1 , S 2 ).
In this manner the two areas when the partitioning of the (S 1, S 2) is completed, the divided two areas (S 1, S 2) each of the luminance value an average value with respect to the (M 1, M 2) (in Fig. 5 (c )) Is obtained (step S202). Here, the average luminance values M 1 and M 2 may be obtained by the following mathematical relationship.
Here, HW (H × W) means image size (vertical × horizontal), and I (h, w) means luminance values of (h, w) pixels, respectively.
When the luminance value average values M 1 and M 2 are obtained by the above, the difference d between the obtained luminance value average values M 1 and M 2 is obtained (step S203). The difference is expressed as a formula as follows.
As described above, when the difference between the averages of the luminance values with respect to one division pattern (for example, FIG. 6A) is completed, the same process as described above (that is, the process of obtaining the difference) is performed. (B) to (p)] are repeatedly performed (step S204). Then, one vector F having a difference between all the average values of the luminance values obtained for the respective patterns is obtained (step S205). This vector (F) is expressed by the following equation.
In the embodiment of the present invention,
The feature vector F may be interpreted as a value representing the correlation between the actual image and the base using various patterns of FIG. 6, and the absolute value of the image having a similar composition to the base pattern increases. do. For example, in the case of an image having a horizontal composition as shown in FIG. 7A, when the pattern of FIG. 6A is used, the absolute value is large but the pattern of FIG. 6B is used. Has a value close to "zero". Similarly, an image having a vertical composition as shown in (b) of FIG. 7 uses the pattern of FIG. 6 (b), and an image having a triangular composition as shown in (c) of FIG. 7 shows a pattern of FIG. When you use, you have a large absolute value.
On the other hand, when the feature quantity vector for the input image is obtained (calculated) by the above (step S301), the calculated feature quantity for one image of the original is registered in the database (step S302), and all the images of the original image are registered. Feature amount extraction and database registration are repeated (step S303). This completes the database construction of the original image.
After the query image is given, the feature quantity vector is extracted (calculated) from the query image by the same process as that of obtaining the feature quantity vector from the original image (step S401), and the feature quantity vector of the original image existing in the database. And the sum (D) of absolute values for the differences with the feature vector of the query image obtained above is calculated (step S402). This is expressed as a formula as follows.
Here, F db represents a feature vector of the database and F query represents a feature vector of the query.
In this way, if the sum (D) of absolute values for the difference is found, the sum (D) of the absolute values for the difference is greater than the set reference value (T) (which is determined by the inventor in advance to a certain numerical value). It is determined whether the authenticity of the image is determined according to the result (step S403).
That is, it is determined whether D is greater than T (T < D), and if D is greater than T, it is determined that the query does not match the image existing in the database. That is, the image existing in the database is determined to be a real image, not a duplicate image.
Further, in the determination (T <D), if D is less than or equal to T, it is determined that the query matches the image existing in the database. That is, the image existing in the database is determined to be a duplicate image.
When the search for one feature vector in the database is completed by the above, the process is repeated for all the remaining feature vector in the database (step S404). In this way, it is determined whether an image matching the query image exists in the database or not. This completes the content-based image retrieval method according to the embodiment of the present invention.
As described above, the content-based image retrieval method according to an embodiment of the present invention uses a mean value difference as a feature amount, so that the calculation amount is small, and histogram equalization and gamma correction are performed on the original. A non-linear amplification circuit is inserted into the transmission system to correct gradation characteristics of an imaging tube, an image tube, a film, etc.), and even a level shift is performed. It becomes possible. In addition, by dividing and searching a single image into various geometric patterns, it is possible to enhance identification while maintaining strong searchability.
Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
이상의 설명에서와 같이, 본 발명의 실시예에 따른 영상 특징량 추출방법 및그를 이용한 내용 기반 영상 검색방법은 다양한 패턴의 영상 분할 방법을 사용함으로써 내용 기반 영상 검색에서의 강한 검색성을 유지하면서 원본과 복제 영상물 간의 식별 능력을 높일 수 있는 장점이 있다. As described above, the image feature extraction method and the content-based image retrieval method using the same according to an embodiment of the present invention by using the image segmentation method of various patterns while maintaining a strong searchability in the content-based image retrieval There is an advantage to increase the ability to distinguish between duplicate images.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060103804A KR100811834B1 (en) | 2006-10-25 | 2006-10-25 | Image feature extraction method and content based image retrieval method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060103804A KR100811834B1 (en) | 2006-10-25 | 2006-10-25 | Image feature extraction method and content based image retrieval method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100811834B1 true KR100811834B1 (en) | 2008-03-10 |
Family
ID=39398188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060103804A Active KR100811834B1 (en) | 2006-10-25 | 2006-10-25 | Image feature extraction method and content based image retrieval method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100811834B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130108052A (en) * | 2012-03-23 | 2013-10-02 | 후지제롯쿠스 가부시끼가이샤 | Image processing apparatus, image processing method, and computer-readable recording medium |
| CN108959586A (en) * | 2012-08-08 | 2018-12-07 | 谷歌有限责任公司 | Text vocabulary is identified in response to visual query |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040009255A (en) * | 2002-07-23 | 2004-01-31 | 주식회사 메디슨 | Apparatus and method for recognizing organ from ultrasound image signal |
-
2006
- 2006-10-25 KR KR1020060103804A patent/KR100811834B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040009255A (en) * | 2002-07-23 | 2004-01-31 | 주식회사 메디슨 | Apparatus and method for recognizing organ from ultrasound image signal |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130108052A (en) * | 2012-03-23 | 2013-10-02 | 후지제롯쿠스 가부시끼가이샤 | Image processing apparatus, image processing method, and computer-readable recording medium |
| KR101646042B1 (en) | 2012-03-23 | 2016-08-05 | 후지제롯쿠스 가부시끼가이샤 | Image processing apparatus, image processing method, and computer-readable recording medium |
| CN108959586A (en) * | 2012-08-08 | 2018-12-07 | 谷歌有限责任公司 | Text vocabulary is identified in response to visual query |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101038592B (en) | Method and apparatus for representing a group of images | |
| US9665789B2 (en) | Device and method for analyzing the correlation between an image and another image or between an image and a video | |
| US9940655B2 (en) | Image processing | |
| US6246790B1 (en) | Image indexing using color correlograms | |
| US7233945B2 (en) | Document processing apparatus | |
| CN101286230B (en) | Image processing apparatus and method thereof | |
| CN102460475A (en) | Histogram method and system for object recognition | |
| CN103699532A (en) | Image color retrieval method and system | |
| CN111553302B (en) | Key frame selection method, apparatus, device, and computer-readable storage medium | |
| CN113822817B (en) | Document image enhancement method and device and electronic equipment | |
| US10037605B2 (en) | Video object tagging using synthetic images and segmentation hierarchies | |
| Costa et al. | Image phylogeny forests reconstruction | |
| KR100811835B1 (en) | Video feature extraction method and content based video retrieval method | |
| KR100737974B1 (en) | Apparatus and method for image separation and image retrieval method using the same | |
| KR100811834B1 (en) | Image feature extraction method and content based image retrieval method | |
| CN102883091B (en) | Digital watermark embedding method and extracting method for image retrieval and copyright protection | |
| CN114565803B (en) | Method, device and mechanical equipment for extracting difficult samples | |
| KR101242659B1 (en) | Method for searching images | |
| KR100955180B1 (en) | Image quality index calculation method and system | |
| Sekhar et al. | An object-based splicing forgery detection using multiple noise features | |
| CN109685079B (en) | Method and device for generating characteristic image category information | |
| US8718381B2 (en) | Method for selecting an image for insertion into a document | |
| Lizarraga-Morales et al. | Improving a rough set theory-based segmentation approach using adaptable threshold selection and perceptual color spaces | |
| CN115393756A (en) | Visual image-based watermark identification method, device, equipment and medium | |
| KR100811774B1 (en) | Method and device for bio image retrieval using characteristic edge block of edge histogram descriptor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20061025 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20071127 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20080221 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20080303 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20080304 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PG1701 | Publication of correction | ||
| PR1001 | Payment of annual fee |
Payment date: 20110302 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20120302 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20130304 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130304 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140303 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140303 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20150302 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150302 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20160302 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160302 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20170302 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170302 Start annual number: 10 End annual number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180302 Year of fee payment: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180302 Start annual number: 11 End annual number: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200302 Start annual number: 13 End annual number: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210225 Start annual number: 14 End annual number: 14 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220228 Start annual number: 15 End annual number: 15 |