KR100739031B1 - Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data - Google Patents
Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data Download PDFInfo
- Publication number
- KR100739031B1 KR100739031B1 KR1020000015566A KR20000015566A KR100739031B1 KR 100739031 B1 KR100739031 B1 KR 100739031B1 KR 1020000015566 A KR1020000015566 A KR 1020000015566A KR 20000015566 A KR20000015566 A KR 20000015566A KR 100739031 B1 KR100739031 B1 KR 100739031B1
- Authority
- KR
- South Korea
- Prior art keywords
- mpeg
- multimedia data
- descriptor
- metadata
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 멀티미디어 검색시스템에서 MPEG-7 표준 기술자(Descriptor) 및 기술자구성안(Descriptor scheme)으로 구성된 메타데이터를 원래의 멀티미디어 데이터에 은닉하는 방법과, 이 은닉 방법을 이용하여 멀티미디어 데이터를 검색하는 메타데이터 추출 및 검색 방법에 관한 것이다.
이러한 본 발명의 멀티미디어 검색시스템에서 멀티미디어 검색용 메타데이터를 은닉하는 방법은, 영상/비디오, 오디오/음성 등의 멀티미디어 데이터를 MPEG-7 표준에 맞게 메타데이터를 추출하고 이것을 워터마킹 기법으로 원 데이터에 메타데이터를 은닉하는 단계와, 상기 워터 마크된 멀티미디어 데이터에서 상기 은닉된 메타데이터를 검출하는 단계, 상기 검출된 메타데이터의 MPEG-7 기술자 또는 기술자구성안을 이용하여 멀티미디어 검색을 수행하는 단계를 포함한다.
The present invention provides a method for concealing metadata composed of MPEG-7 standard descriptor and descriptor scheme in original multimedia data in a multimedia retrieval system, and metadata for retrieving multimedia data using this concealment method. It relates to extraction and retrieval methods.
In the multimedia retrieval system of the present invention, a method for concealing metadata for multimedia retrieval includes extracting metadata from video / video, audio / audio, etc. according to the MPEG-7 standard, and using the watermarking technique to extract the metadata. Concealing metadata, detecting the concealed metadata in the watermarked multimedia data, and performing a multimedia search using an MPEG-7 descriptor or descriptor of the detected metadata. .
Description
도 1은 본 발명에 따라서 MPEG-7 멀티미디어 검색 시스템과 연동하여 사용될 MPEG-7 메타데이터가 은닉된 멀티미디어 데이터를 생성하는 시스템의 블록 구성도,1 is a block diagram of a system for generating multimedia data concealing MPEG-7 metadata to be used in conjunction with an MPEG-7 multimedia retrieval system according to the present invention;
도 2는 도 1에 도시된 시스템에서 수행되는 멀티미디어 메타데이터의 은닉 방법을 설명하는 흐름도,2 is a flowchart illustrating a method of concealing multimedia metadata performed in the system shown in FIG. 1;
도 3은 본 발명에 따라 멀티미디어 검색시스템에서 은닉된 MPEG-7 메타데이터를 찾아 멀티미디어 데이터를 검색하는 방법을 설명하는 흐름도.3 is a flow chart illustrating a method for searching for multimedia data by searching for hidden MPEG-7 metadata in a multimedia retrieval system according to the present invention.
본 발명은 멀티미디어 검색 시스템에 관한 것으로서, 특히 멀티미디어 데이터의 특징 기술자의 국제표준인 MPEG-7에 근거한 메타데이터를 워터마킹 방식을 이용하여 원 멀티미디어 데이터에 은닉하고, 워터마크된 멀티미디어 데이터에서 메타데이터를 검출하고, 검출된 MPEG-7 표준기술자 및 기술자구성을 이용하여 멀티미디어 데이터를 검색하는 멀티미디어 메타데이터 은닉, 검출 및 검색 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia retrieval system. In particular, the metadata based on MPEG-7, which is an international standard of feature descriptors of multimedia data, is concealed in original multimedia data using a watermarking scheme, and metadata is extracted from watermarked multimedia data. A multimedia metadata concealment, detection and retrieval method for detecting and retrieving multimedia data using a detected MPEG-7 standard descriptor and descriptor configuration.
최근, 멀티미디어 환경의 발달로 각 분야에서 멀티미디어 데이터의 사용량이 증가되었다. 종래의 멀티미디어 데이터를 검색하는 방법으로는 텍스트 검색(text indexing)방법이 있다. 텍스트 검색 방법은 멀티미디어 데이터가 갖는 특징을 텍스트로 색인해 두고, 원하는 키워드를 입력하여 텍스트를 검색하는 방법이다. 이러한 텍스트 검색 방법은 비효율적으로 특징이 추출될 뿐만 아니라 텍스트가 지니는 한계에 의해 상당량의 잘못된 멀티미디어 검색 결과를 가져온다. Recently, with the development of the multimedia environment, the usage of multimedia data has increased in each field. A conventional method of searching for multimedia data is a text indexing method. The text search method is a method of indexing features of multimedia data into text and searching for text by inputting a desired keyword. This text retrieval method not only extracts features inefficiently, but also results in a large amount of false multimedia search results due to the limitations of text.
이와 같은 텍스트 검색 방법이 지니는 단점을 해결하고자 내용기반 검색(content based indexing) 방법이 제안되어 있다. 이 내용기반 검색 방법은 F.Idris와 S.Panchanathan가 "Review of Image and Video Indexing Techniques"라는 명칭으로, "Journal of visual communication and image representation, Vol.8, No.2, p146-166"에 1997년 6월에 발표한 논문에 자세하게 기술되어 있다.In order to solve the disadvantage of the text search method, a content based indexing method has been proposed. This method of content-based retrieval is described by F.Idris and S. Panchanathan as "Review of Image and Video Indexing Techniques", in "Journal of visual communication and image representation, Vol. 8, No. 2, p146-166" 1997. It is described in detail in a paper published in June.
이에 따라 1998년 초에 방대한 멀티미디어 데이터의 효율적인 저장 및 검색의 국제표준인 MPEG-7 이 구성되고 표준화가 이루어지게 되었다. MPEG-7에서의 표준화는 오디오, 음성, 영상, 비디오등의 멀티미디어 데이터의 특징들을 표현하는 기술자와 이런 기술자들의 조합으로 구성되는 기술구성 안으로 되어있다. MPEG-7 기술자는 데이터가 지니는 내용, 예를 들면, 공간적 관계, 색, 질감, 모양, 물체의 움직임, 소리, 음폭, 스팩트럼 등에서 특징을 추출한 것으로, 통상 특징벡터의 형 태로 이루어진다.In early 1998, MPEG-7, the international standard for efficient storage and retrieval of vast multimedia data, was formed and standardized. The standardization in MPEG-7 is a technical construct that consists of a combination of descriptors that represent the characteristics of multimedia data such as audio, voice, video and video. The MPEG-7 descriptor extracts features from the contents of data, such as spatial relations, colors, textures, shapes, object movements, sounds, sound widths, and spectrums, and is usually in the form of feature vectors.
대용량의 서버 및 방대한 멀티미디어 검색을 위한 인터넷환경에서는 멀티미디어 데이터에서 이러한 기술자를 표현하는 특징을 추출하는 시간이 많이 걸리는 단점이 있으며, 매번 질의 멀티미디어 데이터의 특징 기술자를 추출해야하는 번거로움이 있다.In the Internet environment for a large-capacity server and a massive multimedia search, it takes a long time to extract the feature representing the descriptor from the multimedia data, and there is a hassle to extract the feature descriptor of the query multimedia data every time.
그러므로, 본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 멀티미디어 데이터에 MPEG-7 메타데이터를 은닉하여 인터넷 및 대용량 멀티미디어 시스템과 연동시키고, 멀티미디어 검색시스템에서는 워터마크된 멀티미디어 데이터로부터 MPEG-7 메타데이터를 검출하고 검색하는 방법을 제공하는 데 그 목적이 있다.Therefore, the present invention has been made to solve the above-described problems of the prior art, and concealed MPEG-7 metadata in multimedia data to interoperate with the Internet and large-capacity multimedia systems. The objective is to provide a method for detecting and retrieving metadata.
상기한 목적을 달성하기 위한 본 발명은 멀티미디어 검색시스템에서 MPEG-7 메타데이터를 은닉하는 방법에 있어서, 원래의 멀티미디어 데이터로부터 MPEG-7 표준에 따라 기술자 및 기술자구성의 메타데이터를 추출하는 단계와, 상기 추출된 MPEG-7 표준의 기술자 및 기술자구성의 메타데이터를 워터마킹 방식을 이용하여 상기 원래의 멀티미디어 데이터에 은닉하는 단계와, 상기 MPEG-7 표준의 기술자 및 기술자구성이 워터마크된 멀티미디어 데이터를 사용하는 단계를 포함하고, 상기 MPEG-7 메타데이터 은닉 단계는 상기 MPEG-7 메타데이터를 수학식
또한 본 발명은 멀티미디어 검색시스템에서 MPEG-7 메타데이터를 은닉하는 방법에 있어서, 원래의 멀티미디어 데이터로부터 MPEG-7 표준에 따라 기술자 및 기술자구성의 메타데이터를 추출하는 단계와, 상기 추출된 MPEG-7 표준의 기술자 및 기술자구성의 메타데이터를 워터마킹 방식을 이용하여 상기 원래의 멀티미디어 데이터에 은닉하는 단계와, 상기 MPEG-7 표준의 기술자 및 기술자구성이 워터마크된 멀티미디어 데이터를 사용하는 단계를 포함하고, 상기 MPEG-7 메타데이터 은닉 단계는 상기 MPEG-7 메타데이터를 수학식
또한 본 발명은 MPEG-7 표준의 기술자 및 기술자구성이 워터마크된 멀티미디어 데이터를 이용하는 멀티미디어 검색시스템에서, 워터마크된 멀티미디어 데이터가 질의되면 상기 질의 멀티미디어 데이터에서 은닉된 MPEG-7 표준의 기술자 및 기술자구성을 워터마킹 방법을 이용하여 검출하는 방법에 있어서, 상기 MPEG-7 메타데이터를 수학식
또한 본 발명은 MPEG-7 표준의 기술자 및 기술자구성이 워터마크된 멀티미디어 데이터를 이용하는 멀티미디어 검색시스템에서, 워터마크된 멀티미디어 데이터가 질의되면 상기 질의 멀티미디어 데이터에서 은닉된 MPEG-7 표준의 기술자 및 기술자구성을 워터마킹 방법을 이용하여 검출하는 방법에 있어서, 상기 MPEG-7 메타데이터를 수학식
또한 본 발명은 전술한 메타데이터 검출 방법을 이용하는 멀티미디어 검색 방법에 있어서, 상기 원래의 멀티미디어 데이터에 은닉된 MPEG-7 표준의 기술자 및 기술자구성과 데이터 베이스에 저장된 MPEG-7 표준 기술자들을 비교하여 유사한 순으로 후보 멀티미디어 데이터를 출력하는 단계를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 전술한 메타데이터 검출 방법을 이용하는 멀티미디어 검색 방법에 있어서, 상기 질의 멀티미디어 데이터에서 검출된 MPEG-7 표준의 기술자 및 기술자구성과 상기 데이터 베이스에 저장된 워터마크된 멀티미디어 데이터의 MPEG-7 표준 기술자들을 비교하여 상기 질의 멀티미디어 데이터에서 검출된 기술자와 유사한 후보 멀티미디어 데이터를 상기 데이터베이스로부터 검색하는 단계를 포함하는 것을 또 다른 특징으로 한다. According to an aspect of the present invention, there is provided a method for concealing MPEG-7 metadata in a multimedia retrieval system, comprising: extracting metadata of descriptors and descriptor configurations from original multimedia data according to the MPEG-7 standard; Concealing the extracted metadata of the descriptor and descriptor of the MPEG-7 standard to the original multimedia data using a watermarking method, and storing the multimedia data of which the descriptor and descriptor of the MPEG-7 standard are watermarked. And using the MPEG-7 metadata concealment step to formulate the MPEG-7 metadata.
In addition, the present invention provides a method for concealing MPEG-7 metadata in a multimedia retrieval system, comprising: extracting metadata of descriptors and descriptor configurations from original multimedia data according to the MPEG-7 standard; Concealing metadata of standard descriptors and descriptor configurations to the original multimedia data using a watermarking scheme, and using multimedia data whose descriptors and descriptor configurations of the MPEG-7 standard are watermarked; The concealment of the MPEG-7 metadata may be performed by converting the MPEG-7 metadata.
In addition, the present invention provides a descriptor and descriptor configuration of the MPEG-7 standard concealed in the query multimedia data when the watermarked multimedia data is queried in the multimedia retrieval system using the multimedia data of the descriptor and descriptor configuration of the MPEG-7 standard In the method for detecting a watermark using a watermarking method, the MPEG-7 metadata
In addition, the present invention provides a descriptor and descriptor configuration of the MPEG-7 standard concealed in the query multimedia data when the watermarked multimedia data is queried in the multimedia retrieval system using the multimedia data of the descriptor and descriptor configuration of the MPEG-7 standard In the method for detecting a watermark using a watermarking method, the MPEG-7 metadata
In addition, the present invention is a multimedia retrieval method using the metadata detection method described above, by comparing the descriptors and descriptors of the MPEG-7 standard concealed in the original multimedia data and the MPEG-7 standard descriptors stored in the database in a similar order. In another aspect, the method includes outputting candidate multimedia data.
In addition, the present invention is a multimedia retrieval method using the above-described metadata detection method, the descriptor and descriptor configuration of the MPEG-7 standard detected in the query multimedia data and the MPEG-7 standard of watermarked multimedia data stored in the database And comparing the descriptors to retrieve candidate multimedia data similar to the descriptor detected in the query multimedia data from the database.
삭제delete
삭제delete
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 따라서 멀티미디어 데이터에 MPEG-7 메타데이터를 은닉하는 은닉 시스템의 블록 구성도로서, MPEG-7 메타데이터 추출 블록(10)과 워터 마킹 블록(20)을 포함한다. MPEG-7 메타데이터 추출 블록(10)은 특징 추출자를 이용하여 입력되는 모든 질의 멀티미디어 데이터에 대하여 특징을 추출하여 MPEG-7 표준 기술자 및 기술자구성의 메타데이터를 만든다. 워터 마킹 블록(20)은 MPEG-7 메타데이터 추출 블록(10)에 의해 만들어진 MPEG-7 메타데이터를 디지털 워터마킹 기법을 이용하여 원래의 멀티미디어 데이터에 은닉시킨다. 워터 마킹 블록(20)에 의해 은닉된 메터 데이터를 갖는 멀티미디어 데이터는 데이터베이스(30)에 저장된다. 데이터 베이스(30)에 저장된 워터마크된 질의 멀티미디어 데이터는 도 3을 참조하여 설명되는 MPEG-7 표준 멀티미디어 검색 시스템과 네트워크를 통하여 연동되는 인터넷 환경 또는 인트라넷 환경에서 질의 멀티미디어 데이터로서 사용될 수 있다.1 is a block diagram of a concealment system for concealing MPEG-7 metadata in multimedia data according to the present invention, which includes an MPEG-7
즉, 상술한 방법으로 MPEG-7 메타데이터가 은닉된 멀티미디어 데이터를 질의 멀티미디어 데이터로 하여 멀티미디어 검색 시스템의 데이터베이스에서 비슷한 멀티미디어 데이터를 검색하려면, 먼저 주어진 질의 멀티미디어 데이터에 은닉된 MPEG-7 메타데이터를 검출하여 데이터 베이스에 저장된 멀티미디어 데이터의 MPEG-7 기술자와 비교한다. 이때, 두 특징 벡터가 유사한 멀티미디어 데이터들이 검색되어 사용자에게 출력된다.That is, in order to retrieve similar multimedia data from the database of the multimedia retrieval system using the multimedia data concealed in the above-described method as the multimedia data, the MPEG-7 metadata concealed in the given query multimedia data is first detected. Compare with the MPEG-7 descriptor of the multimedia data stored in the database. At this time, multimedia data similar to the two feature vectors are retrieved and output to the user.
도 2는 도 1에 도시된 은닉 시스템에서 수행되는 멀티미디어 MPEG-7 메타데이터의 은닉 방법을 도시한 흐름도이다.FIG. 2 is a flowchart illustrating a method of concealing multimedia MPEG-7 metadata performed in the concealment system shown in FIG.
먼저, 단계 S11에서 멀티미디어 검색시스템과 관련한 데이터베이스나 인터넷에서 운용될 멀티미디어 데이터가 입력된다.First, in step S11, multimedia data to be operated in a database related to the multimedia retrieval system or the Internet is input.
그 다음 단계 S12에서, 은닉 시스템에서 입력된 멀티미디어 데이터에 대하여 MPEG-7 표준을 기반으로 하는 표준기술자 및 기술자구성의 메타데이터가 생성된다. 여기서, MPEG-7 메타데이터는 공간적 관계, 색, 질감, 모양, 물체의 움직임, 소리, 음폭, 스팩트럼 등의 특징을 표현하는 MPEG-7 표준 기술자 및 그것들의 구성(Descriptor scheme)로 이루어진다.Then, in step S12, metadata of a standard descriptor and descriptor configuration based on the MPEG-7 standard is generated for the multimedia data input from the concealment system. Here, MPEG-7 metadata is composed of MPEG-7 standard descriptors and their Descriptor schemes that express features such as spatial relations, colors, textures, shapes, object movements, sounds, sound widths, and spectra.
단계 S13에서, 은닉 시스템은 단계 S12에서 생성된 MPEG-7 메타데이터를 원래의 멀티미디어 데이터에 은닉시킨다. MPEG-7 데이터를 은닉시키는 방법은 디지털 워터마킹 방법을 이용한 것으로 하기 수학식 1과 같이 표현된다.In step S13, the concealment system hides the MPEG-7 metadata generated in step S12 into the original multimedia data. The method of concealing MPEG-7 data uses a digital watermarking method, which is represented by Equation 1 below.
여기서 f는 원래의 멀티미디어 데이터를, d는 MPEG-7 표준 기술자 및 기술자구성을 나타낸 것으로 스프래드 스펙트럼 또는 의사 랜덤화 과정을 거쳐 랜덤신호화된 형태이다. 또한 f'는 MPEG-7 메타데이터가 삽입되어 워터마크된 멀티미디어 데이터를 나타내며,
상술한 수학식 1에 의해 표현된 디지털 워터마킹 방법은 영상 데이터에 대해서는 공간영역에서 오디오에 대해서는 시간영역에서 워터마킹하는 것을 나타낸다. 또한 인간의 시각 또는 청각특성을 이용하여 주파수영역에서 인간의 인지특성을 지닌 부분에 MPEG-7 표준 기술자 및 기술자구성을 하기 수학식 2와 같이 워터마크로 삽입할 수 있다.The digital watermarking method represented by Equation 1 indicates watermarking in the spatial domain for image data and in the time domain for audio. In addition, by using human visual or auditory characteristics, the MPEG-7 standard descriptor and descriptor configuration may be inserted into a watermark as shown in Equation 2 below in a portion having human cognitive characteristics in the frequency domain.
상술한 수학식 2에서, F는 주파수영역에서 원래의 멀티미디어 데이터를, d는 랜덤화된 MPEG-7 표준 기술자 및 기술자구성을, F'는 주파수영역에서 워터마크된 멀티미디어 데이터를 표현한 것으로 MPEG-7 메타데이터가 삽입된 멀티미디어 데이터이다.In Equation 2, F denotes original multimedia data in the frequency domain, d denotes a randomized MPEG-7 standard descriptor and descriptor configuration, and F 'represents multimedia data that is watermarked in the frequency domain. Metadata is embedded multimedia data.
상술한 수학식 1과 2는 MPEG-7 표준 기술자 및 기술자구성을 워터마크하여 원래의 멀티미디어 데이터에 은닉하는 과정을 보여준 예이고 구현은 이것에 국한하지 아니하고 외부침입에 대비하는 MPEG-7 메타데이터에 에러정정코드 삽입 및 주파수 영역을 선택하여 MPEG-7 메타데이터를 삽입 등을 포함한다.Equations 1 and 2 are examples of watermarking MPEG-7 standard descriptors and descriptor configurations and hiding the original multimedia data, and the implementation is not limited to this, but the MPEG-7 metadata is prepared for external intrusion. Error correction code insertion and frequency domain selection to insert MPEG-7 metadata.
단계 S14에서, MPEG-7 메타데이터가 은닉된 멀티미디어 데이터를 데이터 베이스에 저장하거나 인터넷에서 운용한다.In step S14, the multimedia data concealed in the MPEG-7 metadata is stored in a database or operated on the Internet.
도 3은 본 발명에 따라 멀티미디어 검색시스템에서 워터마크된 멀티미디어 데이터를 질의로 하여 유사한 멀티미디어 데이터를 검색하는 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method of searching for similar multimedia data by using watermarked multimedia data as a query in a multimedia search system according to the present invention.
먼저, 단계 S21에서 검색하고자 하는 워터마크된 질의 멀티미디어 데이터가 입력된다.First, in step S21, watermarked query multimedia data to be searched is input.
단계 S22에서 질의 멀티미디어 데이터로부터 은닉된 MPEG-7 메타데이터를 검출하여 질의 멀티미디어 데이터의 MPEG-7 표준 기술자 및 기술자구성을 추출한다. MPEG-7 메타데이터를 추출하는 방법은 디지털 워터마킹 방법을 이용한 것으로 은닉 방법의 역순으로 하기 수학식 3과 같이 표현된다.In step S22, MPEG-7 metadata hidden from the query multimedia data is detected to extract an MPEG-7 standard descriptor and a descriptor configuration of the query multimedia data. The method of extracting MPEG-7 metadata is a digital watermarking method, which is expressed as in Equation 3 below in the reverse order of the concealment method.
상술한 수학식 3에서, '-'는 워터마크 추출 연산자를 나타낸다.In Equation 3, '-' represents a watermark extraction operator.
상술한 수학식 3에 의해 수행되는 디지털 워터마킹 방법은 영상 데이터에 대해서는 공간영역에서, 오디오에 대해서는 시간영역에서 워터마킹의 추출을 나타낸다. 또한 인간의 시각 또는 청각특성을 이용하여 주파수영역에서 MPEG-7 표준 기술자와 기술자구성을 은닉했으면 하기 수학식 4와 같이 워터마크를 추출할 수 있다.The digital watermarking method performed by Equation 3 indicates extraction of watermarking in the spatial domain for image data and in the time domain for audio. In addition, if the concealment of the MPEG-7 standard descriptor and descriptor configuration in the frequency domain using human visual or auditory characteristics can be extracted as shown in Equation 4 below.
상술한 수학식 3과 수학식 4는 MPEG-7 표준 기술자 및 기술자구성이 워터마크된 멀티미디어 데이터에 MPEG-7 표준 기술자 및 기술자구성을 검출하는 과정을 보여준 예이고 구현은 이것에 국한하지 아니하고 외부침입에 대비하는 에러정정코 드를 이용한 메타데이터 정정 및 주파수 영역을 선택하여 MPEG-7 메타데이터를 검출 등을 포함한다.Equations 3 and 4 above are examples of the process of detecting the MPEG-7 standard descriptor and the descriptor configuration in the watermarked multimedia data by the MPEG-7 standard descriptor and the descriptor configuration, and the implementation is not limited thereto. Metadata correction using an error correction code in preparation for and detection of MPEG-7 metadata by selecting a frequency domain.
그 후, 단계 S23에서 질의 멀티미디어 데이터의 은닉된 MPEG-7 메타데이터와 데이터 베이스에 저장된 MPEG-7 메타데이터를 상호 비교한다.Thereafter, in step S23, the hidden MPEG-7 metadata of the query multimedia data is compared with the MPEG-7 metadata stored in the database.
단계 S24에서는 두 특징 벡터가 유사한 멀티미디어 데이터를 사용자에게 출력한다. 즉, 원 데이터와 유사한 멀티미디어 데이터를 검색해 낼 수 있다. In step S24, two feature vectors output similar multimedia data to the user. That is, multimedia data similar to the original data can be retrieved.
본 발명은 멀티미디어 데이터의 검색을 위한 MPEG-7 메타데이터를 디지털 워터마킹 기법을 이용하여 원 데이터에 은닉하여 멀티미디어 데이터 베이스 및 인터넷의 컨텐츠를 운용하고, 그 은닉된 MPEG-7 메타데이터를 디지털 워터마킹 기법을 이용하여 검출하여 검출된 MPEG-7 메타데이터 이용하여 멀티미디어 데이터를 검색함으로써, 방대한 용량의 멀티미디어 검색의 처리속도 즉 MPEG-7 메타데이터의 추출속도를 줄일 수 있고, 보다 효율적인 검색을 할 수 있는 효과가 있다.The present invention operates the contents of the multimedia database and the Internet by concealing MPEG-7 metadata for retrieval of multimedia data to the original data using a digital watermarking technique, and digitally watermarking the hidden MPEG-7 metadata. By retrieving multimedia data using the detected MPEG-7 metadata, it is possible to reduce the processing speed of massive multimedia retrieval, that is, the extraction speed of MPEG-7 metadata, and to perform more efficient retrieval. It works.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000015566A KR100739031B1 (en) | 2000-03-27 | 2000-03-27 | Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000015566A KR100739031B1 (en) | 2000-03-27 | 2000-03-27 | Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010092899A KR20010092899A (en) | 2001-10-27 |
| KR100739031B1 true KR100739031B1 (en) | 2007-07-25 |
Family
ID=19658916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000015566A Expired - Fee Related KR100739031B1 (en) | 2000-03-27 | 2000-03-27 | Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100739031B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376155B2 (en) | 2001-01-30 | 2008-05-20 | Electronics And Telecommunications Research Institute | Method and apparatus for delivery of metadata synchronized to multimedia contents |
| KR100493674B1 (en) * | 2001-12-29 | 2005-06-03 | 엘지전자 주식회사 | Multimedia data searching and browsing system |
| KR100997599B1 (en) * | 2002-04-12 | 2010-11-30 | 미쓰비시덴키 가부시키가이샤 | Method for processing contents |
| KR101141897B1 (en) * | 2004-10-25 | 2012-05-03 | 성균관대학교산학협력단 | Encoding/Decoding Method for Data Hiding And Encoder/Decoder using the method |
| KR20070098469A (en) * | 2006-03-29 | 2007-10-05 | 한국전자통신연구원 | Apparatus and method for multimedia search using metadata |
| US7698262B2 (en) | 2006-03-29 | 2010-04-13 | Electronics And Telecommunications Research Institute | Apparatus and method for searching multimedia data based on metadata |
| KR100961444B1 (en) | 2007-04-23 | 2010-06-09 | 한국전자통신연구원 | Method and apparatus for retrieving multimedia content |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980071269A (en) * | 1997-02-12 | 1998-10-26 | 가네코 히사시 | Electronic identification system |
| KR19990033787A (en) * | 1997-10-27 | 1999-05-15 | 정선종 | Automatic object storage system and its operation method |
| JPH11250039A (en) * | 1998-03-03 | 1999-09-17 | Oki Electric Ind Co Ltd | Editing supporting method using database and recording medium storing program for the same |
| KR19990076305A (en) * | 1998-03-31 | 1999-10-15 | 전주범 | Event information transmission and processing method of satellite broadcasting system |
| KR20000047363A (en) * | 1998-12-30 | 2000-07-25 | 김영환 | Method and apparatus for searching multi-media data using color information |
-
2000
- 2000-03-27 KR KR1020000015566A patent/KR100739031B1/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980071269A (en) * | 1997-02-12 | 1998-10-26 | 가네코 히사시 | Electronic identification system |
| KR19990033787A (en) * | 1997-10-27 | 1999-05-15 | 정선종 | Automatic object storage system and its operation method |
| JPH11250039A (en) * | 1998-03-03 | 1999-09-17 | Oki Electric Ind Co Ltd | Editing supporting method using database and recording medium storing program for the same |
| KR19990076305A (en) * | 1998-03-31 | 1999-10-15 | 전주범 | Event information transmission and processing method of satellite broadcasting system |
| KR20000047363A (en) * | 1998-12-30 | 2000-07-25 | 김영환 | Method and apparatus for searching multi-media data using color information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010092899A (en) | 2001-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100353767C (en) | Watermark embedding and retrieval | |
| KR100834095B1 (en) | Non-blind Watermark Insertion / Extraction Device and Watermark Insertion / Extraction Method Using Data-Inherent Characteristics of Digital Media | |
| CN107633078B (en) | Audio-frequency fingerprint extracting method, audio-video detection method, device and terminal | |
| US20070150517A1 (en) | Apparatus and method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval | |
| EP1187132A2 (en) | Information providing apparatus and method, and recording medium | |
| US20080215889A1 (en) | Efficient Watermark Detection | |
| JP4164494B2 (en) | Digital data sequence identification | |
| WO2004010352A1 (en) | Determining type of signal encoder | |
| Boyer et al. | Audio descriptors and descriptor schemes in the context of MPEG-7 | |
| KR20060039436A (en) | Watermark embedding and detection | |
| KR100739031B1 (en) | Method of concealing and detecting MPE-7 standard metadata in multimedia retrieval system and retrieval method of multimedia data | |
| CN1272956C (en) | Enhanced watermark computing method | |
| KR100916310B1 (en) | Cross recommendation system and method between music and video based on audio signal processing | |
| JPH11110556A (en) | Method for discriminating similarity of image, similar image discriminating device, and record medium thereof | |
| Wellhausen et al. | Audio thumbnailing using MPEG-7 low-level audio descriptors | |
| KR20060101421A (en) | How to search video using summary video data | |
| KR100616229B1 (en) | Texture Image Retrieval Device and Method | |
| KR100347210B1 (en) | Method and apparatus for embedding watermarks in multi-channel digital audio data | |
| KR100383408B1 (en) | Apparatus for verifying the contents based watermarking of multimedia data and method thereof | |
| KR100653026B1 (en) | Apparatus and method for retrieving an arbitrary shaped texture | |
| KR100577558B1 (en) | Sync signal insertion/detection method and apparatus for synchronization between audio contents and text | |
| KR102150639B1 (en) | Device of audio data for verifying the integrity of digital data and Method of audio data for verifying the integrity of digital data | |
| JP2005148801A (en) | Related information providing method, related information providing apparatus, related information providing program, and recording medium for related information providing program | |
| WO2008066235A1 (en) | Apparatus and method for inserting/extracting nonblind watermark using features of digital media data | |
| Selvakumar et al. | Content recognition using audio finger printing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PG1701 | Publication of correction |
St.27 status event code: A-5-5-P10-P19-oth-PG1701 Patent document republication publication date: 20080422 Republication note text: Request for Correction Notice (Document Request) Gazette number: 1007390310000 Gazette reference publication date: 20070725 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20110704 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20120707 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20120707 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |