KR20020044339A - Multimedia Synthesis System And Method For Image - Google Patents
Multimedia Synthesis System And Method For Image Download PDFInfo
- Publication number
- KR20020044339A KR20020044339A KR1020000073381A KR20000073381A KR20020044339A KR 20020044339 A KR20020044339 A KR 20020044339A KR 1020000073381 A KR1020000073381 A KR 1020000073381A KR 20000073381 A KR20000073381 A KR 20000073381A KR 20020044339 A KR20020044339 A KR 20020044339A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- boundary
- subband
- wavelet transform
- boundary component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 웨이블렛 변환 기능을 이용하여 기본 영상에서 다수의 부대역을 검출하고, 해당 부대역에서 경계 성분을 검출하여 기본 영상에 다른 멀티미디어 데이터를 삽입할 영역을 찾아 영상 합성을 수행하도록 한 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것으로, 종래에는 편집자가 다른 멀티미디어 데이터를 삽입할 영역을 검출해야 하는 불편함이 있었을 뿐 아니라, 기본 영상의 경계 성분을 정확히 검출하지 못하거나, 연산이 복잡한 단점이 있었다.The present invention uses a wavelet transform function to detect a plurality of subbands in a base image, detects a boundary component in the corresponding subband, finds an area to insert other multimedia data into the base image, and performs image synthesis. The present invention relates to a multimedia synthesis system and method, and has conventionally not only the inconvenience of an editor having to detect a region into which other multimedia data is to be inserted, but also has a disadvantage of not accurately detecting a boundary component of a basic image or a complicated operation.
따라서, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있게 된다.Therefore, the present invention detects the boundary components in the vertical and horizontal directions from each subband separated through the multi-step wavelet transform on the base image, and detects a non-boundary region of the base image into which other multimedia data is to be inserted. It is possible to automatically perform image synthesis in which other multimedia data is inserted into the base image without searching for an area to insert multimedia data.
또한, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한 후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있도록 하여 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받게 된다.In addition, the present invention detects boundary components in the vertical and horizontal directions after performing a multi-step wavelet transform on the basic image, thereby extracting boundary information divided into checkerboard cells, thereby extracting boundary information in pixel units. The noise is less affected than the method.
Description
본 발명은 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것으로, 특히 웨이블렛 변환 기능을 이용하여 부대역을 검출하고, 해당 부대역에서 경계 성분을 검출하여 기본 영상에 다른 멀티미디어 데이터를 삽입할 영역을 찾아 영상 합성을 수행하도록 한 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것이다.The present invention relates to a multimedia synthesis system and method for an image. In particular, a subband is detected using a wavelet transform function, and a boundary component is detected from the subband to find an area to insert another multimedia data into a base image. A multimedia synthesizing system and method for an image to perform synthesizing.
일반적으로, 어떤 기본 영상의 일부분에 글자를 써 넣거나 다른 영상을 삽입하기 위해서는 영상 편집기를 이용해야 하는데, 어느 영역에 어느 정도의 크기로 삽입할 것인지는 개인의 주관적인 기준으로 판단하여 판입하게 된다.In general, in order to write a letter in a portion of a basic image or to insert another image, an image editor should be used. The size and size of the region to be inserted are determined based on an individual subjective criterion.
대부분의 경우에는 글자나 영상 삽입을 지원하는 영상 편집기를 이용하여, 기본 영상을 확인한 다음에 편집자가 원하는 영역에 원하는 크기로 다른 글자나 영상과 같은 멀티미디어 데이터를 삽입하고 있다.In most cases, a video editor that supports the insertion of text or images is used to check the basic video and then insert multimedia data such as other text or video in the desired area in the desired area.
이때, 기본 영상의 일부분에 다른 데이터를 삽입하려는 영역은 대개 중요하지 않은 배경을 선택하는 경우가 많은데, 이러한 배경은 영상의 경계 성분이 없는 평탄 영역이므로, 기본 영상에 다른 데이터를 삽입하기 위한 배경을 검출하기 위해서는 먼저 영상의 경계 성분을 검출하는 과정을 선행하게 된다.In this case, the area where the other data is to be inserted into a part of the basic image is often selected as an insignificant background. Since the background is a flat region without the boundary component of the image, the background for inserting other data into the basic image is often selected. In order to detect, the process of detecting boundary components of an image is first performed.
여기서, 경계 성분을 검출하는 방법으로는 첨부된 도면 도 1에 도시된 바와같이, 중심에 양(+)의 값을 갖고, 외측 경계는 음(-)의 값을 갖는 고주파 여과기를 이용하는 방법이 있는데, 이를 이용하여 저주파 성분을 제거하고 경계 성분을 검출할 수 있다.Here, as a method for detecting the boundary component, there is a method using a high frequency filter having a positive value at the center and a negative boundary at the center, as shown in FIG. 1. Using this, low frequency components can be removed and boundary components can be detected.
즉, 기본 영상의 모든 영역을 도 1의 고주파 여과기로 통과시키면, 해당 기본 영상을 이루는 이웃한 화소끼리의 차이가 클수록 출력 영상에서 큰 값을 갖게 되므로 경계 성분을 강조할 수 있으며, 이러한 과정을 반복적으로 수행하면 경계 부분이나 복잡한 영상이 강조되고, 배경과 같은 평탄 영역은 사라져 경계 성분을 검출할 수 있게 되는 것이다.That is, if all regions of the base image are passed through the high frequency filter of FIG. 1, the larger the difference between neighboring pixels forming the base image is, the larger the value is in the output image, so that the boundary component can be emphasized, and this process is repeated. In this case, the boundary portion or the complex image is emphasized, and the flat region such as the background disappears to detect the boundary component.
한편, 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성의 다른 방법으로는 첨부된 도면 도 2와 같이 분수령 알고리즘을 이용하여 관심있는 영역과 배경을 객체 단위로 분할하여 다른 데이터를 삽입하는 방법이 있는데, 이는 기본 영상을 입력받으면(스텝 S21), 입력받은 기본 영상에 대해 형태학적 연산자를 이용하여 공간 기울기를 계산한 후(스텝 S22), 계산 결과로 얻은 공간 기울기를 영상을 밝기가 균일한 영역으로 분할하기 위한 분수령 알고리즘의 입력 정보로 삽입하여 영상을 객체 단위 영역으로 분할한다(스텝 S23).On the other hand, as another method of image synthesis for inserting other multimedia data into the basic image, there is a method of inserting other data by dividing a region of interest and a background by an object unit using a watershed algorithm as shown in FIG. 2. When the basic image is received (step S21), the spatial slope is calculated using the morphological operator with respect to the input basic image (step S22), and the spatial slope obtained as a result of the calculation is divided into regions having uniform brightness. The video is inserted into the input water of the water dividing algorithm to be divided into object unit areas (step S23).
이후, 분할된 영역이 지나치지 않도록 하기 위해 과분할된 영역을 병합한 후(스텝 S24), 그 결과로 얻은 분할된 영역 정보를 이용하여 중요 영역과 비중요 영역을 구분함으로써, 비중요 영역에 다른 멀티미디어 데이터를 삽입할 수 있었다(스텝 S25).Then, the hyperdivided areas are merged so as not to pass the divided areas (step S24), and the important area and the non-important areas are distinguished by using the resultant divided area information, so that the multimedia different from the non-important areas is different. Data could be inserted (step S25).
전술한 바와 같이, 종래에는 기본 영상에 다른 멀티미디어 데이터를 삽입하여 영상을 합성하기 위해서 편집자가 멀티미디어 데이터를 삽입할 영역을 검출해야 했는데, 해당 멀티미디어 데이터를 삽입할 영역을 검출하기 위해 고주파 통과 여과기를 이용하여 경계 성분을 검출하는 방법은 연산이 간단하고 빠르지만 잡음에 민감하고, 마스크(mask) 계수 설정에 큰 영향을 받기 때문에 경계 성분을 효과적으로 검출하지 못했을 뿐 아니라, 기본 영상의 모든 화소를 대상으로 처리하기 때문에 영상에서 중요한 영역이 아님에도 불구하고 강조되는 오류가 발생할 수 있어 경계 성분을 정확히 검출하지 못하는 단점이 있었다.As described above, in order to synthesize the image by inserting other multimedia data into the base image, the editor had to detect a region into which the multimedia data is to be inserted. However, a high-frequency filter is used to detect the region into which the multimedia data is to be inserted. The method of detecting the boundary components is simple and fast, but it is sensitive to noise and greatly influenced by the mask coefficient setting. Therefore, the boundary components cannot be detected effectively. As a result, an error that is emphasized may occur even though it is not an important area in the image.
또한, 분수령 알고리즘을 이용하여 관심있는 영역과 배경을 분할하는 방법을 사용하는 경우에는 연산량이 매우 많고 영상에 따라 과분할이 발생하는 경우가 있으므로, 기본 영상에 다른 멀티미디어 데이터를 삽입하기 위해 영역을 구분하는데 효과적이지 못한 단점이 있었다.In addition, when using the method of dividing the region of interest and the background using the watershed algorithm, the amount of computation is very large and over-division may occur depending on the image. Therefore, the region is divided to insert other multimedia data in the basic image. There was a disadvantage that was not effective.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있도록 하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object thereof is to detect vertical and horizontal boundary components from respective subbands separated by multi-step wavelet transform on a basic image, and insert other multimedia data. By detecting the non-boundary region of the base image, the editor can automatically perform image synthesis in which other multimedia data is inserted into the base image without finding an area to insert the multimedia data.
본 발명의 다른 목적은, 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있도록 하여 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받도록 하는데 있다.Another object of the present invention is to detect boundary components in a vertical and horizontal direction after performing a multi-step wavelet transform on a basic image, thereby extracting boundary information divided into pixel cells to extract boundary information in pixel units. It is to be less affected by noise than the method.
도 1은 종래의 경계 성분 검출에 사용되는 고주파 여과기를 예시한 도면.1 illustrates a high frequency filter used for conventional boundary component detection.
도 2는 종래의 분수령 알고리즘을 이용하여 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성 절차를 도시한 순서도.FIG. 2 is a flowchart illustrating an image synthesis procedure of inserting other multimedia data into a basic image using a conventional watershed algorithm. FIG.
도 3은 본 발명에 따른 영상에 대한 멀티미디어 합성 시스템의 구성 블록도.3 is a block diagram of a multimedia synthesis system for an image according to the present invention;
도 4는 본 발명에서 웨이블렛 변환을 통해 얻어진 부대역을 나타낸 도면.4 is a diagram showing a subband obtained through the wavelet transform in the present invention.
도 5는 본 발명에 따른 영상에 대한 멀티미디어 합성 절차를 도시한 순서도.5 is a flowchart illustrating a multimedia synthesis procedure for an image according to the present invention.
도 6은 도 5에 있어, 부대역에서 경계 성분 검출시의 셀 분할 상태를 예시한 도면.FIG. 6 is a diagram illustrating a cell division state at the time of detection of boundary components in subbands. FIG.
도 7은 본 발명에 따라 케익에 생일 축하 메시지를 삽입하여 영상을 합성하는 과정을 예시한 도면.7 is a diagram illustrating a process of composing an image by inserting a happy birthday message on a cake according to the present invention.
도 8은 도 7에 있어, 각각의 부대역에서 경계 성분을 검출하여 하나의 이진 영상으로 통합하여 표시한 상태를 예시한 도면.FIG. 8 is a diagram illustrating a state in which boundary components are detected in each subband, integrated into one binary image, and displayed.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
31 : 웨이블렛 변환부 32 : 경계 성분 검출부31 wavelet converter 32 boundary component detector
33 : 비경계 영역 검출부 34 : 영상 합성부33: non-boundary area detection unit 34: image synthesis unit
상술한 바와 같은 목적을 달성하기 위한 본 발명의 특징은, 기본 영상을 입력받아 소정 크기와 해상도로 변환되기까지 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리하는 웨이블렛 변환부와; 상기 웨이블렛 변환부에 의해 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 이진 영상으로 통합하는 경계 성분 검출부와; 상기 경계 성분 검출부에 의해 통합된 경계 성분 이진 영상으로부터 경계 성분이 없는 최대 크기의 비경계 영역을 검출하는 비경계 영역 검출부와; 상기 비경계 영역 검출부에 의해 검출된 비경계 영역에 다른 멀티미디어 데이터를 삽입하여 기본 영상과 다른 멀티미디어 데이터에 대한 영상 합성을 수행하는 영상 합성부를 포함하는 영상에 대한 멀티미디어 합성 시스템을 제공하는데 있다.A feature of the present invention for achieving the above object is a wavelet transform unit for receiving a base image and performing a multi-stage wavelet transform until it is converted into a predetermined size and resolution to separate into a plurality of subband images; A boundary component detection unit for detecting vertical and horizontal boundary components in each subband separated by the wavelet transform unit and integrating them into a binary image; A non-boundary area detector for detecting a maximum non-boundary area without a boundary component from the boundary component binary image integrated by the boundary component detector; The present invention provides a multimedia synthesizing system including an image synthesizing unit which inserts other multimedia data into a non-boundary region detected by the non-boundary region detecting unit and performs image synthesizing on a basic image and other multimedia data.
여기서, 상기 웨이블렛 변환부는 편집자가 원하는 크기와 해상도를 갖는 출력 영상을 얻을 때까지 이전 단계의 웨이블렛 변환을 통해 얻은 'LL' 부대역을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 것을 특징으로 하며, 상기 경계 성분 검출부는 다단계의 웨이블렛 변환을 수행하여 최종 결과로 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역에서 경계 성분을 검출하여 이진 영상으로 통합하는 것을 특징으로 한다.Here, the wavelet transform unit performs a wavelet transform of the next step using the 'LL' subband obtained through the wavelet transform of the previous step until the editor obtains an output image having a desired size and resolution. The boundary component detection unit detects boundary components in the 'HL' subband and the 'LH' subband among subbands obtained as a result of multi-step wavelet transformation and integrates them into a binary image.
나아가, 상기 경계 성분 검출부는 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하는 것을 특징으로 한다.Further, the boundary component detector detects a boundary component in the vertical direction in the 'HL' subband and detects a boundary component in the horizontal direction in the 'LH' subband.
본 발명의 다른 특징은, 기본 영상을 웨이블렛 변환하여 일정 크기와 해상도를 갖는 다수의 부대역 영상으로 분리하는 과정과; 상기 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정과; 상기 경계 성분 이진 영상으로부터 다른 멀티미디어 데이터를 삽입할 비경계 영역을 검출하여 영상 합성을 수행하는 과정을 포함하는 영상에 대한 멀티미디어 합성 방법을 제공하는데 있다.Another feature of the present invention includes the steps of: wavelet transforming the base image to separate the plurality of subband images having a predetermined size and resolution; Detecting boundary components in vertical and horizontal directions in each of the separated subbands and integrating them into one binary image; The present invention provides a method for synthesizing a multimedia including detecting a non-boundary region into which other multimedia data is to be inserted from the boundary component binary image and performing image synthesis.
그리고, 상술한 영상에 대한 멀티미디어 합성 방법은, 상기 기본 영상을 웨이블렛 변환하여 얻은 출력 영상이 편집자가 원하는 크기와 해상도를 갖는 영상인지를 판별하여 다음 단계의 웨이블렛 변환을 수행해야 하는지를 확인하는 과정과; 다음 단계의 웨이블렛 변환을 수행해야 하는 경우 이전 단계의 웨이블렛 변환에서 얻은 'LL' 부대역 영상을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 과정을 더 포함하는 것을 특징으로 한다.The multimedia synthesizing method for the above-described image may include: determining whether an output image obtained by wavelet transforming the basic image is an image having a desired size and resolution by an editor and performing a wavelet transformation of a next step; When the wavelet transform of the next step is to be performed, the method may further include performing the wavelet transform of the next step by using the 'LL' subband image obtained from the wavelet transform of the previous step.
나아가, 상기 기본 영상을 웨이블렛 변환하여 다수의 부대역 영상으로 분리하는 과정은, 최종 단계의 웨이블렛 변환에서 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역을 분리하는 것을 특징으로 하며, 상기 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정은, 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 것을 특징으로 하되, 상기 경계 성분은 각각의 부대역을 바둑판 형상의 다수의 셀로 분할한 후, 한 셀에 포함된 계수들의 절대값 합이 소정 임계값 이상이 될 때 경계 성분으로 검출하는 것을 특징으로 한다.Further, the process of wavelet transforming the base image and separating the subband images into a plurality of subband images may include separating the 'HL' subband and the 'LH' subband from the subbands obtained by the final wavelet transform. The process of detecting components and integrating them into a binary image detects vertical boundary components in the 'HL' subband, and detects horizontal boundary components in the 'LH' subband and integrates them into one binary image. The boundary component is characterized by dividing each subband into a plurality of cells having a checkerboard shape, and detecting the boundary component as a boundary component when the sum of the absolute values of coefficients included in one cell is greater than or equal to a predetermined threshold value. do.
또한, 상기 비경계 영역은, 경계 성분 이진 영상에서 경계 성분이 없는 다수의 인접 셀로 구성될 수 있는 최대 크기의 영역을 비경계 영역으로 검출하는 것을 특징으로 한다.The non-boundary region may be configured to detect a region having a maximum size that may be composed of a plurality of adjacent cells having no boundary component in the boundary component binary image.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 따른 영상에 멀티미디어 삽입을 위한 영역 검출 방법은 기본 영상에 대해 다단계의 웨이블렛(Wavelet) 변환을 수행하여 부대역 영상으로 분리한 후, 분리된 부대역 영상으로부터 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입하게 되는데, 이를 설명하기 전에 기본 영상 및 웨이블렛 변환에 대해 간략히 설명하면 다음과 같다.According to the present invention, an area detection method for inserting multimedia into an image is performed by performing a multi-stage wavelet transform on a base image, separating the subband image, and detecting boundary components from the separated subband image to generate other multimedia data. Before the description, the basic image and wavelet transform will be briefly described as follows.
대부분의 영상 정보는 디지털화된 형태로 저장 및 전송되는데, 해당 영상의 크기가 클수록 저장 용량과 전송에 필요한 시간과 비용이 많아지게 되며, 참고로, 멀티미디어를 지원하는 이동 단말기를 이용하여 인터넷에 존재하는 영상을 검색하고, 획득하기 위해서는 멀티미디어 데이터의 압축 기술이 필수적인데, 이때의 영상 압축 방법으로 웨이블렛 변환을 사용하게 되는 것이다.Most video information is stored and transmitted in a digitized form. As the size of the video increases, the storage capacity and the time and cost required for transmission are increased. In order to retrieve and acquire an image, a compression technique of multimedia data is essential. In this case, wavelet transform is used as an image compression method.
이러한 웨이블렛 변환을 이용한 영상 압축 방법은 뛰어난 압축률과 고화질의 영상 압축을 제공하게 되며, 영상의 확대나 축소의 경우 영상에 손상을 주지 않으면서 다단계의 크기 및 해상도를 지원하는 특성을 갖는다.The image compression method using the wavelet transform provides excellent compression ratio and high quality image compression, and has a characteristic of supporting multi-sized sizes and resolutions without damaging the image in case of enlargement or reduction of the image.
그리고, 본 발명에서 웨이블렛 변환을 사용하는 이유는 웨이블렛 변환에서는 영상 신호의 공간적 정보와 주파수 정보를 동시에 갖고 있으므로 대역의 특성 정보를 효과적으로 사용할 수 있기 때문이며, 웨이블렛 변환된 고주파 대역은 경계 성분을 포함하고 있으므로 기본 영상의 배경에 존재하는 경계 성분의 방향을 추정하는데 사용할 수 있기 때문이다.The reason why the wavelet transform is used in the present invention is that since the wavelet transform simultaneously has the spatial information and the frequency information of the video signal, the characteristic information of the band can be effectively used, and the wavelet transformed high frequency band includes the boundary component. This is because it can be used to estimate the direction of the boundary component existing in the background of the base image.
한편, 본 발명에 따른 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상에 대한 멀티미디어 합성 시스템은 첨부한 도면 도 3에 도시한 바와 같이, 웨이블렛 변환부(31)와, 경계 성분 검출부(32)와, 비경계 영역 검출부(33) 및 영상 합성부(34)를 구비하여 이루어진다.On the other hand, as shown in Figure 3 of the accompanying drawings, the multimedia synthesis system for inserting other multimedia data into the base image according to the present invention, the wavelet transform unit 31, the boundary component detector 32, The boundary area detector 33 and the image synthesizer 34 are provided.
해당 웨이블렛 변환부(31)는 기본 영상을 입력받아 소정 크기와 해상도로 변환되기까지 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리하며, 해당 경계 성분 검출부(32)는 웨이블렛 변환을 통해 분리된 각각의 부대역에서 경계 성분을 검출하여 이진 영상으로 통합한다.The wavelet transform unit 31 receives the base image and performs a multi-step wavelet transform until the base image is converted into a predetermined size and resolution. The wavelet transform unit 31 separates the sub-band image by the wavelet transform. In each subband, the boundary components are detected and integrated into a binary image.
해당 비경계 영역 검출부(33)는 경계 성분 검출부(32)에 의해 통합된 경계 성분 이진 영상으로부터 경계 성분이 없는 최대 크기의 비경계 영역을 검출하며, 해당 영상 합성부(34)는 비경계 영역 검출부(33)에 의해 검출된 비경계 영역 즉, 기본 영상의 비경계 영역에 다른 멀티미디어 데이터를 삽입하여 영상 합성을 수행한다.The non-boundary area detector 33 detects a maximum non-boundary area without boundary components from the boundary component binary image integrated by the boundary component detector 32, and the image synthesizer 34 detects the non-boundary area detector. Image synthesis is performed by inserting other multimedia data into the non-boundary area detected by (33), that is, the non-boundary area of the base image.
이때, 무선 환경에서 영상을 전송하기 위해서는 기본 영상의 크기와 해상도를 낮출 필요가 있으므로 웨이블렛 변환부(31)에서는 다단계의 웨이블렛 변환을 수행하게 되는데, 해당 웨이블렛 변환부(31)에 의해 다단계의 웨이블렛 변환을 수행하게 되면, 첨부된 도면 도 4에 도시된 바와 같은 결과를 얻게 된다.In this case, in order to transmit an image in a wireless environment, since the size and resolution of the base image need to be lowered, the wavelet transform unit 31 performs a multi-step wavelet transform. The wavelet transform unit 31 performs a multi-step wavelet transform. When performed, the result as shown in FIG. 4 is obtained.
이를 보다 상세히 설명하면, 기본 영상과 동일한 크기를 갖는 출력 영상이 필요한 경우에는 1단계 웨이블렛 변환 결과로 얻은 부대역인 'HH1(횡축과 종축으로 모두 고주파 여과기를 통과한 결과로 얻은 부대역)', 'HL1(횡축으로는 고주파 여과기를, 종축으로는 저주파 여과기를 통과한 결과로 얻은 부대역)', 'LH1(횡축으로는 저주파 여과기를, 종축으로는 고주파 여과기를 통과한 결과로 얻은 부대역)', 'LL1(횡축과 종축으로 모두 저주파 여과기를 통과한 결과로 얻은 부대역으로 도시되어 있지 않음)'을 모두 필요로 하게 되고, 기본 영상보다 작은 크기와 해상도를 갖는 출력 영상이 필요한 경우에는 1단계 웨이블렛 변환에서 얻은 'LL1' 부대역을 이용하여 2단계 웨이블렛 변환을 수행하게 되며, 이보다 더 작은 크기와 해상도를 갖는 출력 영상이 필요한 경우에는 2단계 웨이블렛 변환에서 얻은 'LL2' 부대역을 이용하여 3단계 웨이블렛 변환을 수행하게 된다. 그리고, 이러한 웨이블렛 변환은 편집자가 원하는 크기와 해상도를 얻을 때까지 이전 단계에서 얻은 'LL' 부대역을 이용하여 반복 수행할 수 있으며, 이와 같이 편집자가 원하는 크기와 해상도를 지원하는다단계의 대역 처리가 가능해 짐에 따라 큰 대역에서 불필요한 많은 연산 과정을 없앨 수 있게 된다.In more detail, if an output image having the same size as the base image is needed, the subband obtained as a result of the first-stage wavelet transform is 'HH 1 (subband obtained as a result of passing a high frequency filter in both the horizontal and vertical axes),' HL 1 (subband obtained as a result of passing a high frequency filter on the horizontal axis and a low frequency filter on the vertical axis), and LH 1 (a bag obtained as a result of passing a low frequency filter on the horizontal axis and a high frequency filter on the vertical axis) Inverted), and LL 1 (not shown as subbands resulting from passing low frequency filters in both the horizontal and vertical axes), and require an output image with a smaller size and resolution than the base image. In this case, the second stage wavelet transformation is performed using the 'LL 1 ' subband obtained from the first stage wavelet transformation, and an output image having a smaller size and resolution is required. In this case, the third stage wavelet transformation is performed using the LL 2 subband obtained from the second stage wavelet transformation. The wavelet transform can be repeatedly performed using the 'LL' subband obtained in the previous step until the editor obtains the desired size and resolution. As it becomes possible, it can eliminate many unnecessary computations in large bands.
이때, 이전 단계에서 얻은 'LL' 부대역을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 이유는 'LL' 부대역이 기본 영상의 크기만 줄어들었을 뿐 대부분의 정보를 포함하고 있기 때문이다.In this case, the next wavelet transform using the 'LL' subband obtained in the previous step is performed because the 'LL' subband includes most of the information, only the size of the base image is reduced.
그리고, 해당 경계 성분 검출부(32)는 웨이블렛 변환부(31)에 의해 다단계의 웨이블렛 변환을 수행하여 최종 결과로 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역에서 경계 성분을 검출하여 이진 영상으로 통합하게 되는데, 이때, 'HL' 부대역에서는 수직 방향의 경계 성분을 검출하게 되고, 'LH' 부대역에서는 수평 방향의 경계 성분을 검출하게 되며, 'HH' 부대역을 이용하여 경계 성분을 검출하지 않는 이유는 대각 성분을 포함하므로 경계 성분의 검출에 적절하지 않기 때문이고, 'LL' 부대역의 경우에는 저주파 성분이므로 경계 성분이 나타나지 않기 때문이다.The boundary component detector 32 performs a multi-step wavelet transform by the wavelet transformer 31 to detect a boundary component in the 'HL' subband and the 'LH' subband from the subband obtained as the final result. In this case, the 'HL' subband detects a vertical boundary component, and the 'LH' subband detects a horizontal boundary component, and the 'HH' subband detects a boundary component. The reason for not detecting is because the diagonal component is not suitable for detection of the boundary component, and in the case of the 'LL' subband, the boundary component does not appear because it is a low frequency component.
이와 같이 구성된 시스템에서 웨이블렛 변환 기능을 이용하여 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상에 대한 멀티미디어 합성 동작을 첨부한 도면 도 5를 참조하여 설명하면 다음과 같다.In the system configured as described above, a multimedia synthesis operation for an image in which other multimedia data is inserted into a basic image using the wavelet transform function will be described with reference to FIG. 5.
먼저, 다른 멀티미디어 데이터를 삽입하고자 하는 배경이 되는 기본 영상이 입력받으면(스텝 S51), 웨이블렛 변환부(31)에서 입력받은 기본 영상에 대한 1단계 웨이블렛 변환을 수행하여 일정 크기와 해상도를 갖는 다수의 부대역(HH, HL, LH, LL) 영상으로 분리된 출력 영상을 얻게 된다(스텝 S52).First, when a basic video to be inserted into other multimedia data is received (step S51), the wavelet transform unit 31 performs a one-step wavelet transform on the basic video, and has a plurality of predetermined sizes and resolutions. An output image separated into subband (HH, HL, LH, LL) images is obtained (step S52).
이후, 해당 웨이블렛 변환부(31)는 현재의 웨이블렛 변환 결과로 얻은 출력영상이 편집자가 원하는 크기와 해상도를 갖는 영상인지를 판별하여 다음 단계의 웨이블렛 변환을 수행해야 하는지를 확인하게 된다(스텝 S53).Thereafter, the wavelet transform unit 31 determines whether the output image obtained as a result of the current wavelet transform is an image having a desired size and resolution for the editor to determine whether to perform the wavelet transform of the next step (step S53).
이때, 다음 단계의 웨이블렛 변환을 수행해야 하는 경우에는 이전 단계의 웨이블렛 변환에서 얻은 'LL' 부대역 영상을 이용하여 다음 단계의 웨이블렛 변환을 수행해서 다수의 부대역 영상으로 분리된 출력 영상을 얻게 되며(스텝 S54), 이러한 웨이블렛 변환은 편집자가 원하는 크기와 해상도를 갖는 영상과 동일한 출력 영상을 얻을 때까지 반복 수행하게 된다.In this case, when it is necessary to perform the wavelet transform of the next step, an output image separated into a plurality of subband images is obtained by performing the wavelet transform of the next step by using the 'LL' subband image obtained from the wavelet transform of the previous step. (Step S54), this wavelet transform is repeatedly performed until the editor obtains the same output image as the image having the desired size and resolution.
이러한 절차를 통해 편집자가 원하는 크기와 해상도를 갖는 영상을 얻게 되면, 다음 단계의 웨이블렛 변환을 수행할 필요가 없어지는데, 이와 같이 편집자가 원하는 크기와 해상도를 갖는 영상을 얻기까지의 다단계 웨이블렛 변환이 완료되면, 최종 단계의 웨이블렛 변환에서 얻은 다수의 부대역 영상 중에서 'HL' 부대역과 'LH' 부대역을 추출하게 된다(스텝 S55).This procedure eliminates the need to perform the next wavelet transform when the editor obtains the image with the desired size and resolution. Thus, the multi-step wavelet conversion until the editor obtains the image with the desired size and resolution is completed. In step S55, 'HL' subbands and 'LH' subbands are extracted from the plurality of subband images obtained by the final wavelet transform (step S55).
이에, 경계 성분 검출부(32)에서는 추출한 각각의 부대역에서 경계 성분을 검출하게 되는데, 이때, 웨이블렛 변환의 특성에 따라 'HL' 부대역에서는 수직 방향의 경계 성분을 검출하게 되고, 'LH' 부대역에서는 수평 방향의 경계 성분을 검출하게 된다(스텝 S56).Accordingly, the boundary component detector 32 detects a boundary component in each subband extracted. At this time, the boundary component in the vertical direction is detected in the 'HL' subband according to the characteristic of the wavelet transform. Inversely, the horizontal boundary component is detected (step S56).
그리고, 각각의 부대역에서 경계 성분을 검출할 때에는 첨부한 도면 도 6에 도시한 바와 같이, 해당 부대역을 바둑판 형상의 다수의 셀로 분할한 후, 아래 수학식 1과 같이 한 셀(CN)에 포함된 계수(Xij; i=0~2, j=0~2)들의 절대값 합이 소정임계값(τ) 이상이 될 때 중요 영역으로 판단하게 되며, 이를 경계 성분으로 검출하게 되는데, 이로써, 화소 단위로 경계 성분을 검출할 때에는 잡음에 민감하지만 셀 단위로 경계 성분을 검출함으로써 잡음의 영향을 덜 받게 된다.When detecting the boundary component in each subband, the subband is divided into a plurality of cells having a checkerboard shape, as shown in FIG. 6, followed by one cell C N as shown in Equation 1 below. When the sum of the absolute values of the coefficients (X ij ; i = 0 ~ 2, j = 0 ~ 2) included in the predetermined threshold value τ or more is determined as an important region, it is detected as a boundary component. As a result, when the boundary component is detected on a pixel-by-pixel basis, the noise component is sensitive to noise but is less affected by the noise by detecting the boundary component on a cell-by-cell basis.
즉, 각각의 부대역을 이루는 각 셀에 대한 계수의 절대값이 클수록 해당 셀 위치에서 경계 영역을 나타내고 있음을 의미한다.That is, the larger the absolute value of the coefficient for each cell constituting each subband, it indicates that the boundary region is represented at the corresponding cell position.
이후, 해당 경계 성분 검출부(32)가 'HL' 부대역과 'LH' 부대역에서 검출한 경계 성분을 하나의 이진 영상으로 통합하여 표시하여 비경계 영역 검출부(33)로 전달하게 되면(스텝 S57), 해당 비경계 영역 검출부(33)에서는 경계 성분 이진 영상으로부터 다른 멀티미디어 데이터를 삽입할 영역인 비경계 영역을 검출하게 되는데, 이는 중요 영역이 아닌 즉, 경계 성분이 없는 다수의 인접 셀로 구성될 수 있는 최대 크기의 영역을 선택하여 비경계 영역을 검출하게 되는 것이다(스텝 S58).Subsequently, when the boundary component detector 32 integrates and displays the boundary components detected in the 'HL' subband and the 'LH' subband into one binary image to be transmitted to the non-boundary area detector 33 (step S57). In addition, the non-boundary area detection unit 33 detects a non-boundary area, which is an area into which other multimedia data is to be inserted, from the boundary component binary image, which is not an important area, that is, may be composed of a plurality of adjacent cells having no boundary component. The non-boundary area is detected by selecting the area of maximum size (step S58).
그리고, 해당 경계 성분 검출부(32)는 자신이 검출한 비경계 영역을 영상 합성부(34)에 통보하게 되고, 이에, 해당 영상 합성부(34)는 기본 영상에서 검출한 비경계 영역에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 수행하게 된다(스텝 S59).Then, the boundary component detector 32 notifies the image synthesizer 34 of the non-boundary region detected by the boundary component detector 32. Accordingly, the image synthesizer 34 has different multimedia from the non-boundary region detected from the base image. Image synthesis in which data is to be inserted is performed (step S59).
예를 들어, 첨부한 도면 도 7은 케익에 생일 축하 메시지를 삽입하여 영상을 합성하는 과정을 예시한 도면으로, '케익'이라는 기본 영상에 'Happy Birthday !'라는 멀티미디어 데이터인 생일 축하 메시지를 삽입하여 영상 합성을 수행하는 경우 먼저, 웨이블렛 변환부(31)에서 기본 영상에 대해 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리한 후, 'HL' 부대역과 'LH' 부대역을 추출하게 되면, 경계 성분 검출부(32)는 도 8과 같이 각각의 부대역에서 경계 성분을 검출하여 하나의 이진 영상으로 통합하여 표시하게 되는데, 이때, 밝은 색으로 표현된 셀들은 경계 성분을 포함하는 중요 영역을 나타내고 있으며, 어둡게 표현된 셀들은 영상의 배경처럼 경계 성분이 없는 비경계 영역을 나타낸다.For example, FIG. 7 is a diagram illustrating a process of synthesizing an image by inserting a birthday message on a cake, and inserting a birthday message, which is multimedia data of 'Happy Birthday!', Into a basic image of 'cake'. In the case of performing image synthesis, first, the wavelet transform unit 31 performs wavelet transform of the base image to separate a plurality of subband images, and then extracts the 'HL' subband and the 'LH' subband. Then, the boundary component detector 32 detects the boundary components in each subband and displays them as one binary image as shown in FIG. 8. In this case, the cells expressed in bright colors are important regions including the boundary components. The darker cells represent non-boundary areas with no boundary components, such as the background of the image.
그리고, 이렇게하여 비경계 영역 검출부(33)가 기본 영상에서 비경계 영역을 검출하게 되면, 영상 합성부(34)에서 기본 영상의 비경계 영역에 생일 축하 메시지를 삽입함으로써, 편집자가 다른 멀티미디어 데이터를 삽입할 영역을 찾을 필요없이 자동으로 기본 영상의 중요 영역이 아닌 비경계 영역을 검출하여 기본 영상과 다른 멀티미디어 데이터를 하나의 영상으로 합성할 수 있게 된다.When the non-boundary area detection unit 33 detects the non-boundary area from the base image in this way, the image synthesizing unit 34 inserts a birthday message into the non-boundary area of the base image, thereby allowing the editor to insert other multimedia data. Without the need to find an area to be inserted, a non-critical area that is not an important area of the base image is automatically detected to synthesize the base image and other multimedia data into a single image.
또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있는데, 이는 멀티미디어를 지원하는 이동 단말기, PDA 등에서 멀티미디어 합성 저작도구로 이용할 수 있으며, 예를 들어, 만화에서 등장 인물의 대화 내용을 삽입하려할 때 적절한 위치와 크기를 자동으로 선택하여 합성할 수 있으며, TV에서와 같은 방송에서 한 채널의 배경 화면 속에 다른 채널의 방송 화면을 작은 크기로 삽입하여 보여주고자 할 때에도 적절한 위치와 크기를 찾아 합성할 수 있게 된다.In addition, the embodiment according to the present invention is not limited to the above, and various alternatives, modifications, and changes can be carried out within the scope obvious to those skilled in the art in connection with the present invention. It can be used as a multimedia composition authoring tool in supporting mobile terminals, PDAs, etc. For example, when inserting the dialogue contents of a character in a cartoon, it can automatically select and synthesize an appropriate position and size. In the case of broadcasting, when inserting and displaying the broadcast screen of another channel in a small size in the background screen of one channel, it is possible to find and synthesize an appropriate position and size.
이상과 같이, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있게 된다.As described above, the present invention detects the boundary components of the vertical and horizontal directions from each subband separated through the multi-step wavelet transform on the base image, and detects a non-boundary region of the base image into which other multimedia data is to be inserted. The editor can automatically perform image synthesis by inserting other multimedia data into the base image without searching for an area to insert multimedia data.
또한, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한 후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있게 되어, 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받게 된다.In addition, the present invention is capable of extracting boundary information divided into checkerboard-shaped cells by detecting boundary components in the vertical and horizontal directions after performing multi-step wavelet transform on the base image, thereby extracting boundary information in pixel units. You're less affected by noise than you do.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000073381A KR20020044339A (en) | 2000-12-05 | 2000-12-05 | Multimedia Synthesis System And Method For Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000073381A KR20020044339A (en) | 2000-12-05 | 2000-12-05 | Multimedia Synthesis System And Method For Image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20020044339A true KR20020044339A (en) | 2002-06-15 |
Family
ID=27679666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000073381A Withdrawn KR20020044339A (en) | 2000-12-05 | 2000-12-05 | Multimedia Synthesis System And Method For Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20020044339A (en) |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101235591B1 (en) * | 2006-05-16 | 2013-02-21 | 엘지전자 주식회사 | Mobile terminal and the method with image processing |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9521289B2 (en) | 2011-06-10 | 2016-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9706139B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9723227B2 (en) | 2011-06-10 | 2017-08-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US9807319B2 (en) | 2009-06-03 | 2017-10-31 | Flir Systems, Inc. | Wearable imaging devices, systems, and methods |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
-
2000
- 2000-12-05 KR KR1020000073381A patent/KR20020044339A/en not_active Withdrawn
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101235591B1 (en) * | 2006-05-16 | 2013-02-21 | 엘지전자 주식회사 | Mobile terminal and the method with image processing |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US10033944B2 (en) | 2009-03-02 | 2018-07-24 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9807319B2 (en) | 2009-06-03 | 2017-10-31 | Flir Systems, Inc. | Wearable imaging devices, systems, and methods |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9723228B2 (en) | 2011-06-10 | 2017-08-01 | Flir Systems, Inc. | Infrared camera system architectures |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US9521289B2 (en) | 2011-06-10 | 2016-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US9538038B2 (en) | 2011-06-10 | 2017-01-03 | Flir Systems, Inc. | Flexible memory systems and methods |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9723227B2 (en) | 2011-06-10 | 2017-08-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| US9716844B2 (en) | 2011-06-10 | 2017-07-25 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US9706139B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US10230910B2 (en) | 2011-06-10 | 2019-03-12 | Flir Systems, Inc. | Infrared camera system architectures |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US10250822B2 (en) | 2011-06-10 | 2019-04-02 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20020044339A (en) | Multimedia Synthesis System And Method For Image | |
| EP2012527B1 (en) | Visual processing device, visual processing method, program, display device, and integrated circuit | |
| US7386181B2 (en) | Image display apparatus | |
| US7606415B2 (en) | Image gradation correction based on switching resolution of correction coefficients | |
| US7538822B2 (en) | Apparatus and method for filtering digital image signal | |
| US6097847A (en) | Method of and apparatus for calculating sharpness of image and apparatus for sharpening image | |
| EP0794513A1 (en) | Method and enhancing image using quantized mean-separate histogram equalization and a circuit therefor | |
| US7142239B2 (en) | Apparatus and method for processing output from image sensor | |
| US6614485B2 (en) | Deinterlacing apparatus | |
| KR19990041784A (en) | Dynamic range expansion apparatus and method | |
| US8244056B2 (en) | Image contrast enhancement apparatus and method thereof | |
| US8184905B2 (en) | Apparatus for color interpolation using adjustable threshold | |
| US5883978A (en) | Image compressing method and image compressing apparatus | |
| US7031518B2 (en) | Segmentation method and system for Multiple Raster Content (MRC) representation of documents | |
| US7551795B2 (en) | Method and system for quantization artifact removal using super precision | |
| JP3445073B2 (en) | Pixel interpolation method and device using correlation of wide area vector | |
| US6753910B1 (en) | Image processing apparatus and image processing method | |
| KR20050085355A (en) | Method and apparatus for removing false edges from a segmented image | |
| US6771837B1 (en) | Method and apparatus for digital image rescaling with adaptive contrast enhancement | |
| US7013044B2 (en) | Image sensing system with histogram modification | |
| US20030059126A1 (en) | Apparatus and method for line interpolating of image signal | |
| US20020136464A1 (en) | Method and circuit arrangement for enhancing the contrast of an image | |
| US6466269B1 (en) | Video signal converter, conversion method of video signal, image display unit using them and television receiver | |
| EP1592235B1 (en) | Image processing device, image processing program and recording medium for said program | |
| US20020012452A1 (en) | Method, system and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20001205 |
|
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |