WO2009130942A1 - Image encoding device and image decoding device - Google Patents
Image encoding device and image decoding device Download PDFInfo
- Publication number
- WO2009130942A1 WO2009130942A1 PCT/JP2009/053344 JP2009053344W WO2009130942A1 WO 2009130942 A1 WO2009130942 A1 WO 2009130942A1 JP 2009053344 W JP2009053344 W JP 2009053344W WO 2009130942 A1 WO2009130942 A1 WO 2009130942A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- image
- unit
- parameter
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Definitions
- the present invention relates to an image encoding device and an image decoding device, and more particularly, to a technique related to acquisition and use of auxiliary information for improving the apparent image quality.
- MPEG Moving Picture Coding Expert Group
- JTCI / SC29 and JPEG Joint Photographic Expert Group
- DCT discrete cosine
- the difference in the image data is an image quality deterioration factor that appears in the form of block noise that appears like a line at the block boundary, or noise such as ringing or mosquito that appears at the edge boundary of the image.
- a technique for removing such coding noise is disclosed in Patent Document 1. This is to remove noise from the decoded image data.
- each filter by the low-pass filter processing unit 11, the delay unit 13, and the Laplacian filter processing unit 12, and the adaptive filter means at the subsequent stage.
- An image processing apparatus having a configuration provided. At this time, the input data input to the adaptive filter means is image data to which each filter is applied.
- the adaptive filter means classifies the level data stepwise by the level comparator 17 based on the level data of the high frequency component obtained by the Laplacian filter in the decoded image data.
- the addition parameter table 19 selects coefficients (K, M) for multiplying the data to which the low-pass filter is applied, the data to which the Laplacian filter is applied, and the data delayed by the delay unit 13. Multipliers 15, 16, and 18 are multiplied, and adder 20 adds the three data. JP-A-8-274996
- Patent Document 1 uses level data obtained by applying a Laplacian filter, and determines weighting parameter values (K, M) using a predetermined conversion rule. However, since the optimal value varies depending on the location of the application of this conversion rule, using a uniform value on the screen will delete necessary information or emphasize unnecessary information. Causes image quality degradation.
- the present invention has been made in view of the above-described problems, and its purpose is to determine parameter values such as the strength of filter processing applied to an image and the necessity of the filter using differences from the original image.
- An object of the present invention is to provide an image encoding device and an image decoding device that enable post processing for obtaining a higher quality image.
- the first technical means of the present invention encodes original image data and outputs the encoded data as encoded data, decodes the encoded data output from the encoding unit, Decoded image processing means for executing predetermined filter processing and delay processing in parallel, the decoded image is divided into a plurality of areas, and the filtered image data output from the decoded image processing means for each divided area, the delay
- An image quality adjustment unit that inputs processed image data and original image data, generates metadata for adjusting image quality, and outputs the metadata
- the image quality adjustment unit includes the filtered image data and A parameter generating unit that generates a parameter for mixing the delayed image data, and the parameter generating unit is an image obtained by mixing the filtered image data and the original image data using the parameters; And data based on the difference between the original image data is obtained by said generating a parameter.
- the decoded image processing means executes a low-pass filter process and a Laplacian filter process in parallel as the predetermined filter process, and the low-pass filter process is performed by the filter process and the delay process.
- the image data, the Laplacian processed image data, and the delayed image data are output, and the image quality adjustment unit mixes the low pass filter processed image data and the delayed image data for each divided region using the first parameter, and the mixed image data and the original image data are mixed.
- the first parameter is generated using the difference from the image data, and the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data are mixed using the first and second parameters, and the mixed image data
- the second parameter is generated using the difference between the original image data and the original image data It is obtained by the features and.
- the image quality adjustment unit when the image quality adjustment unit generates the first parameter for each divided region, the original image and the image data obtained by mixing the low-pass filtered image data and the delayed image data Using the difference with the data, an evaluation value indicating whether the edge region indicated by the Laplacian-processed image data is present at the boundary of the block divided by the encoding unit is generated, and the first value is obtained until the evaluation value is minimized. The process of generating the parameters is repeated.
- the image quality adjustment unit mixes the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data when generating the second parameter for each divided region. Using the difference between the processed image data and the original image data, an evaluation value indicating whether or not the edge region indicated by the Laplacian-processed image data exists inside the block divided by the encoding unit is generated. The process of generating the second parameter is repeated until it becomes the minimum.
- the metadata output from the image quality adjustment unit is data obtained by encoding a difference between decoded image data obtained by decoding encoded data and original image data. It is characterized by including.
- the seventh technical means inputs the encoded data and metadata output from the image encoding apparatus as any one of the first to fifth technical means, decodes the input encoded data, and outputs the decoded image data.
- An image decoding apparatus comprising: a decoding processing unit to obtain; an image quality improvement processing unit that performs image quality improvement processing using decoded image data from the decoding processing unit and input metadata; A metadata decoding unit that decodes the metadata, and a filter processing unit that performs a predetermined filtering process on a specific area of the decoded image data based on the area instruction data included in the decoded metadata; A delay processing unit that delays the decoded image data, and the filtered image data and the delayed image data output from the filter processing unit and the delay processing unit, respectively, It is obtained by comprising mixing using parameters included in the data.
- the filter processing means executes a low pass filter process and a Laplacian filter process in parallel as the predetermined filter process, and the low pass filter process and the delay process provide a low pass filter process.
- Filtered image data, Laplacian processed image data, and delayed image data are output, and the low-pass filtered image data and delayed image data are multiplied by a value based on the first parameter, and the Laplacian processed image data
- the mixing is performed by multiplying the values based on the second parameter and adding the multiplied results.
- the present invention it is possible to perform post processing for obtaining a higher quality image by determining parameter values such as strength and necessity of filter processing applied to an image using differences from the original image.
- An image encoding device and an image decoding device can be provided.
- the visual image quality can be improved while taking into account the difference between the original image and the decoded image.
- FIG. 2 is a block diagram illustrating a more detailed configuration of an image quality adjustment unit in FIG. 1.
- FIG. 4 is a block diagram illustrating a more detailed configuration of a high image quality processing unit in FIG. 3.
- It is a figure which shows the example of the coefficient used for the low-pass filter process applicable to this invention, and a Laplacian filter process.
- It is explanatory drawing of an example of the edge emphasis process in the image coding apparatus of this invention.
- It is a block diagram which shows the structural example of the conventional image processing apparatus.
- FIG. 1 is a block diagram showing a basic configuration of an image encoding apparatus according to the present invention.
- the apparatus includes an encoding unit 101, a decoding unit 102, an MC unit (motion compensation unit) 103, a delay unit (first delay unit) 104, an LPF unit 105, a delay unit (second delay unit) 106, and a Laplacian filter unit 107.
- the difference between the input original image and the decoded image one frame before is taken by the image subtracting unit 110.
- the encoding unit 101 divides the difference image obtained by the image subtracting unit 110 into a plurality of blocks, and performs orthogonal transformation such as DCT. Then, the coefficient obtained by the conversion is quantized, and the quantized coefficient value is converted into a variable-length code word in which a non-zero coefficient value and the number of zeros are paired.
- the decoding unit 102 performs decoding processing in the reverse procedure to that of the encoding unit 101.
- the image adding unit 111 adds the image compensated for motion by the MC unit 103 to the image decoded by the decoding unit 102.
- the image generated by the image adding unit 111 is delayed by one frame by the delay unit (first delay unit) 104.
- the ME unit 109 performs motion estimation for each block from the input image and the image decoded immediately before, and generates motion vector information.
- the MC unit 103 performs motion compensation using the image decoded immediately before and the motion vector information generated by the ME unit 109.
- the codeword generated by the encoding unit 101 and motion vector information are output as encoded data together with control information such as a mode.
- the operation of the above part is, for example, MPEG-2, MPEG-4, H.264. It is also used in international standard systems such as H.264 and VC-1, and these systems can also be applied.
- the decoded image generated by the image adding unit 111 is also input to the LPF unit 105, the delay unit (second delay unit) 106, and the Laplacian filter unit 107.
- the LPF unit 105 filters the input decoded image using a low-pass filter.
- the image data generated as a result is an image obtained by removing high frequency components contained in the original image.
- By selectively replacing the output image data (original image) of the delay unit (second delay unit) 106 with this image it is possible to remove the high-frequency component of that portion.
- a filter coefficient used at the time of this processing for example, the one shown in FIG. 5A can be considered, but is not limited to this.
- the Laplacian filter unit 107 filters the input decoded image using a Laplacian filter.
- the image data generated as a result represents the distribution of high frequency components included in the image.
- the filter coefficient used in this process is shown in FIG. 5B, but is not limited thereto.
- the second delay unit 106 delays the output timing of the input decoded image so as to match the output of the LPF unit 105 and the output of the Laplacian filter unit 107.
- the decoded image processing means of the present invention that decodes the encoded data output from the encoding unit 101 and executes predetermined filter processing and delay processing includes the decoding unit 102, the image addition unit 111, and the LPF unit 105.
- the delay unit 106 and the Laplacian filter unit 107 are realized.
- the image quality adjustment unit 108 combines the outputs from the LPF unit 105, the second delay unit 106, and the Laplacian filter unit 107 by a method described later, compares this with the original image, and outputs optimum combining parameters as metadata. To do. With the configuration described above, it is possible to generate, as metadata, parameters for performing adaptive filter processing in consideration of the difference between the original image and the decoded image.
- ⁇ Encode each block into a variable-length code Specifically, as the encoding method, an encoding method standardized by MPEG or the like can be applied.
- the image quality adjustment unit 108 includes three multiplication units 201a to 201c, a block distortion detection unit 202, a first parameter generation unit 203, an edge detection unit 204, a second parameter generation unit 205, a metadata generation unit 206, and an image subtraction unit. 207 and 208, and image addition units 209 and 210.
- the image quality adjustment process is performed in the following three steps.
- ⁇ Step 0> Determination of Target Area
- the input image data is divided into a plurality of areas (for example, M ⁇ N pixel blocks), and each area is set as an image quality adjustment process candidate area.
- the following ⁇ Step 1> to ⁇ Step 3> are applied to each candidate region.
- the image quality adjustment unit 108 receives the LPF image from the LPF unit 105 in FIG. 1, the delay image from the delay unit 106, and the Laplacian filter image from the Laplacian filter unit 107. .
- An original image to be input to the image encoding device is also input.
- the input LPF image and delayed image are mixed at a ratio indicated by the parameter K using the multipliers 201a and 201b and the image adder 209. This is given by the following equation where l (n) is the LPF image and d (n) is the delayed image (n is the pixel number). (1-K) ⁇ l (n) + K ⁇ d (n)
- the block distortion detection unit 202 generates an evaluation value indicating whether an edge region exists at a block boundary.
- FIG. 7 is a diagram illustrating this situation. The unit of detection is performed in units of 2 ⁇ 2 blocks, and the evaluation value is obtained by using the total value of the pixel values of the difference image at the block boundary within the image quality adjustment processing candidate area.
- the first parameter generation unit 203 determines the next new parameter K based on the input evaluation value, and outputs the parameter to each of the multiplication units 201a and 201b. These processes are repeatedly performed until K having the smallest evaluation value is found.
- K for example, the range of K and the number of search steps are determined, and in addition to a method of squeezing, K is set to be the minimum by taking a rough initial search step in order to speed up the search time.
- a method such as a two-step search in which a decision is made and then a search is performed in the vicinity thereof can be considered.
- ⁇ Step 2> Determination of M
- the input low-pass filter image, Laplacian image, and delayed image are mixed at a ratio indicated by the parameter K and the parameter M that have already been determined using the multiplication units 201a to 201c and the image addition unit 210. Is done. This is given by the following equation, where L (n) is a Laplacian image (n is a pixel number). (1-K) ⁇ l (n) + K ⁇ d (n) + M ⁇ L (n)
- FIG. 6 is a diagram for explaining this situation. Detection is performed in units of blocks, and an evaluation value is obtained by calculating the sum of the pixel values of the difference images inside the block inside the image quality adjustment processing candidate area.
- the second parameter generation unit 205 determines the parameter M that minimizes the evaluation value, and outputs the parameter to each multiplication unit. Since the step of determining the parameter M can be performed in exactly the same manner as the step of determining the parameter K, description thereof is omitted.
- the parameters M and K and the processing content are determined for each evaluation unit.
- the initial value of the evaluation value generated by the block distortion detection unit 202 and the initial value of the evaluation value generated by the edge detection unit 204 are obtained. If any of the initial values of the evaluation values is a value indicating the presence of distortion, the metadata generation unit 206 combines these to generate metadata.
- FIG. 8 shows a configuration example of metadata.
- FIG. 8A shows a format in which a set of data is simply combined.
- FIG. 8B shows an example described in XML (eXtensible Markup Language).
- the metadata about the block without any distortion is not generated.
- the area instruction information in FIG. 8 represents information related to the corresponding block such as coordinate values and block numbers.
- the video processing name describes the processing name to be applied to the area.
- the processing name such as “LPF” or “Laplacian” may be written as it is, or an index representing the processing name may be used.
- the parameters are M and K values. Since what parameters are required depends on the process, the size of this area varies depending on the process name.
- FIG. 3 is a block diagram showing the configuration of the image decoding apparatus according to the present invention.
- the image decoding apparatus includes a decoding unit 301, an image quality improvement processing unit 302, an MC unit 303, a delay unit 304, and an image addition unit 305.
- a decoding unit 301 includes a decoding unit 301, an image quality improvement processing unit 302, an MC unit 303, a delay unit 304, and an image addition unit 305.
- the operation of the decoding process will be described with reference to FIG.
- Detailed operations of the MC unit 303 and the delay unit 304 are the same as those of the MC unit 103 and the delay unit 104 described with reference to FIG.
- the decoding unit 301 decodes the variable length code included in the input encoded data, and reproduces the encoded index. Next, inverse quantization is performed to obtain transform coefficients. Finally, inverse DCT is performed to output an image. This is combined with a reference frame subjected to motion compensation, which is the output of the MC unit 303, by an image adding unit 305 to obtain a decoded image. The obtained decoded image is delayed by one frame by the delay unit 304 and then input to the MC unit 303.
- the decoding processing unit of the present invention that obtains decoded image data by decoding the encoded data output from the encoding device is realized by the decoding unit 301, the MC unit 303, the delay unit 304, and the image addition unit 305. ing.
- the above operation is the same as that of a decoding device adopted in an international standard system such as MPEG, and therefore, MPEG-2, MPEG-4, H.264, etc. International standard systems such as H.264 and VC-1 may be used.
- the high image quality processing unit 302 performs post-processing of the input decoded image using the input metadata, and outputs this as a final decoded image.
- the high image quality processing unit 302 includes a region selection LPF unit 401, a delay unit 402, a region selection Laplacian filter unit 403, a metadata decoding unit 404, and multiplication units 405a to 405c.
- the delay unit 402 performs the same operation as the delay unit 106 described with reference to FIG. 1, and the multiplication units 405a to 405c are the same as the multiplication units 201a to 201c described with reference to FIG. Since the operation has already been described, a detailed description of the operation is omitted.
- the metadata decoding unit 404 decodes the input metadata to obtain a set of area instruction information, video processing name, and parameters.
- the region selection LPF unit 401 performs the same processing as the LPF unit 105 of the image encoding device described with reference to FIG. 1 on the region specified by the region instruction information among the regions on the input decoded image. Do.
- the region selection Laplacian filter unit 403 is the same as the Laplacian filter unit 107 of the image encoding device described with reference to FIG. 1 for the region specified by the region instruction information among the regions on the input decoded image. Perform processing.
- the region selection LPF unit 401 and the region selection Laplacian filter unit 403 correspond to the filter processing means of the present invention that executes a predetermined filter process on a specific region of the decoded image data, and the delay unit 402 converts the decoded image data into This corresponds to the delay processing means of the present invention for delaying.
- the area instruction information has been described as information for designating a block, but an area having an arbitrary shape may be used.
- shape coding information is used as information for designating a region.
- binary image encoding methods such as MH, MR, and MMR used in facsimiles and the like can be considered.
- a method using area coding standardized by MPEG-4 is also conceivable.
- a method of encoding the boundary of the region as a set of a plurality of vectors is also conceivable.
- a method using a hierarchical coding technique can be considered.
- MPEG-2 ⁇ ⁇ ⁇ ⁇ SNR Scalability, MPEG-4 SNR Scalability, SVC (Scalable Video Coding) can be used for the above-mentioned international standards.
- the metadata may store the decoding standard name as the video processing name and the difference information encoded as the parameter.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像符号化装置および画像復号装置に関し、特に見た目の画質を向上させるための補助情報の獲得、利用に係る技術に関する。 The present invention relates to an image encoding device and an image decoding device, and more particularly, to a technique related to acquisition and use of auxiliary information for improving the apparent image quality.
動画像データおよび静止画像データを帯域圧縮技術により符号化及び復号化する方式として、ISO-IEC/JTCI/SC29にて標準化されたMPEG(Moving Picture Coding Expert Group)方式およびJPEG(Joint Photographic Expert Group)方式がそれぞれ知られている。これらの方式では、画面内を複数画素から構成されるブロックに分割し、このブロック内データに対して、直交変換方式の1つである離散コサイン(DCT)変換、量子化、ハフマン符号化を施すことで、データ量の削減を実現している。 MPEG (Moving Picture Coding Expert Group) standardized by ISO-IEC / JTCI / SC29 and JPEG (Joint Photographic Expert Group) are methods for encoding and decoding moving image data and still image data using band compression technology. Each method is known. In these methods, the screen is divided into blocks composed of a plurality of pixels, and discrete cosine (DCT) transform, quantization, and Huffman coding, which are one of orthogonal transform methods, are performed on the data in the block. As a result, a reduction in the amount of data has been realized.
これらの方式は非可逆圧縮方式であるため、通常、圧縮データから圧縮前の画像データは再現できない。この時、圧縮前の元の画像データと、圧縮伸張後の復号画像データの相違の度合いは圧縮率に比例して大きくなる。 Since these methods are irreversible compression methods, the image data before compression cannot normally be reproduced from the compressed data. At this time, the degree of difference between the original image data before compression and the decoded image data after compression / expansion increases in proportion to the compression rate.
ところで、上記画像データの相違は、ブロック境界部分に線のように現れるブロックノイズや、画像のエッジの境界に現れるリンギングやモスキートなどのノイズという形で現れる画質劣化要因である。
このような符号化ノイズの除去を目的とした技術が、特許文献1に開示されている。これは、復号した画像データに対してノイズ除去を行なうもので、図9に示すようにローパスフィルタ処理部11、遅延器13、ラプラシアンフィルタ処理部12による各フィルタと、その後段に適応フィルタ手段を備える構成の画像処理装置である。この時、適応フィルタ手段に入力される入力データは、各フィルタを適用した画像データである。
By the way, the difference in the image data is an image quality deterioration factor that appears in the form of block noise that appears like a line at the block boundary, or noise such as ringing or mosquito that appears at the edge boundary of the image.
A technique for removing such coding noise is disclosed in
適応フィルタ手段は、復号画像データにラプラシアンフィルタにより得られた高周波数成分のレベルデータを元に、レベル比較器17でそのレベルデータを段階的に区分けする。次に、加算パラメータテーブル19にて、ローパスフィルタを適用したデータと、ラプラシアンフィルタを適用したデータと、遅延器13にて遅延させたデータに対して、乗算させる係数(K,M)をそれぞれ選択し乗算器15,16,18で掛け合わせ、加算器20にて3つのデータを加算させる。
特許文献1の手法は、ラプラシアンフィルタを適用して得られたレベルデータを用い、所定の変換ルールを用いて重み付け処理のパラメータ値(K,M)を決定している。しかし、この変換ルールの適用は、場所によって最適な値が異なるため、画面で一律の値を用いると、かえって必要な情報を削除したり、不要な情報を強調してしまうことで、処理後の画質低下を引き起こす。
The method of
本発明は、上記の問題点に鑑みて成されたものであり、その目的は、画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする画像符号化装置および画像復号装置を提供することにある。 The present invention has been made in view of the above-described problems, and its purpose is to determine parameter values such as the strength of filter processing applied to an image and the necessity of the filter using differences from the original image. An object of the present invention is to provide an image encoding device and an image decoding device that enable post processing for obtaining a higher quality image.
上記課題を解決するために、本発明の第1の技術手段は、原画像データを符号化して符号化データとして出力する符号化部と、符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、復号された画像を複数の領域に分割し、その分割領域毎に復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、画質調整部は、フィルタ処理画像データと遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、パラメータ生成部は、フィルタ処理画像データおよび原画像データをパラメータを用いて混合した画像データと、原画像データとの差分に基づいて、パラメータを生成することを特徴としたものである。 In order to solve the above problems, the first technical means of the present invention encodes original image data and outputs the encoded data as encoded data, decodes the encoded data output from the encoding unit, Decoded image processing means for executing predetermined filter processing and delay processing in parallel, the decoded image is divided into a plurality of areas, and the filtered image data output from the decoded image processing means for each divided area, the delay An image quality adjustment unit that inputs processed image data and original image data, generates metadata for adjusting image quality, and outputs the metadata, and the image quality adjustment unit includes the filtered image data and A parameter generating unit that generates a parameter for mixing the delayed image data, and the parameter generating unit is an image obtained by mixing the filtered image data and the original image data using the parameters; And data based on the difference between the original image data is obtained by said generating a parameter.
第2の技術手段は、第1の技術手段において、復号画像処理手段は、所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理を並行して実行し、フィルタ処理及び遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および遅延画像データ出力し、画質調整部は、分割領域毎にローパスフィルタ処理画像データおよび遅延画像データを第1のパラメータを用いて混合し、混合した画像データと原画像データとの差分を用いて第1のパラメータを生成し、かつ、ローパスフィルタ処理画像データ、ラプラシアン処理画像データおよび遅延画像データを第1および第2のパラメータを用いて混合し、混合した画像データと原画像データとの差分を用いて、第2のパラメータを生成することを特徴としたものである。 According to a second technical means, in the first technical means, the decoded image processing means executes a low-pass filter process and a Laplacian filter process in parallel as the predetermined filter process, and the low-pass filter process is performed by the filter process and the delay process. The image data, the Laplacian processed image data, and the delayed image data are output, and the image quality adjustment unit mixes the low pass filter processed image data and the delayed image data for each divided region using the first parameter, and the mixed image data and the original image data are mixed. The first parameter is generated using the difference from the image data, and the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data are mixed using the first and second parameters, and the mixed image data The second parameter is generated using the difference between the original image data and the original image data It is obtained by the features and.
第3の技術手段は、第2の技術手段において、画質調整部は、分割領域毎に第1のパラメータを生成する際に、ローパスフィルタ処理画像データおよび遅延画像データを混合した画像データと原画像データとの差分を用いて、ラプラシアン処理画像データで示されるエッジ領域が符号化部で分割されたブロックの境界に存在するかどうかを示す評価値を生成し、評価値が最小となるまで第1のパラメータを生成する処理を繰り返すことを特徴としたものである。 According to a third technical means, in the second technical means, when the image quality adjustment unit generates the first parameter for each divided region, the original image and the image data obtained by mixing the low-pass filtered image data and the delayed image data Using the difference with the data, an evaluation value indicating whether the edge region indicated by the Laplacian-processed image data is present at the boundary of the block divided by the encoding unit is generated, and the first value is obtained until the evaluation value is minimized. The process of generating the parameters is repeated.
第4の技術手段は、第2の技術手段において、画質調整部は、分割領域毎に第2のパラメータを生成する際に、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、及び遅延画像データを混合した画像データと原画像データとの差分を用いて、ラプラシアン処理画像データで示されるエッジ領域が符号化部で分割されたブロックの内部に存在するかどうかを示す評価値を生成し、評価値が最小となるまで第2のパラメータを生成する処理を繰り返すことを特徴としたものである。 According to a fourth technical means, in the second technical means, the image quality adjustment unit mixes the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data when generating the second parameter for each divided region. Using the difference between the processed image data and the original image data, an evaluation value indicating whether or not the edge region indicated by the Laplacian-processed image data exists inside the block divided by the encoding unit is generated. The process of generating the second parameter is repeated until it becomes the minimum.
第5の技術手段は、第3または4の技術手段において、画質調整部から出力されるメタデータは、ブロックの境界に存在するかどうかを示す評価値およびエッジ領域が存在するかどうかを示す評価値を元に、第1および第2パラメータ、第1パラメータおよび第2パラメータから決定されるローパスフィルタ処理およびラプラシアンフィルタ処理の処理内容を示すデータ、およびフィルタ処理を行うための領域指示データを結合して生成されたものであることを特徴としたものである。 According to a fifth technical means, in the third or fourth technical means, an evaluation value indicating whether or not the metadata output from the image quality adjustment unit exists at a block boundary and an evaluation indicating whether or not an edge region exists. Based on the values, the first and second parameters, the data indicating the processing contents of the low-pass filter processing and the Laplacian filter processing determined from the first parameter and the second parameter, and the region designation data for performing the filter processing are combined. It is characterized by being generated.
第6の技術手段は、第1~4のいずれかの技術手段において、画質調整部から出力されるメタデータは、符号化データを復号した復号画像データと原画像データの差分を符号化したデータを含むことを特徴としたものである。 According to a sixth technical means, in any one of the first to fourth technical means, the metadata output from the image quality adjustment unit is data obtained by encoding a difference between decoded image data obtained by decoding encoded data and original image data. It is characterized by including.
第7の技術手段は、第1~5のいずれかの技術手段である画像符号化装置から出力された符号化データおよびメタデータを入力し、入力した符号化データを復号して復号画像データを得る復号処理部と、復号処理部からの復号画像データと入力したメタデータとを用いて高画質化処理を行う高画質化処理部と、を備えた画像復号装置であって、高画質化処理部は、メタデータを復号するメタデータ復号部と、復号されたメタデータに含まれる領域指示データに基づいて、復号画像データの特定の領域に対して所定のフィルタ処理を実行するフィルタ処理手段と、復号画像データを遅延させる遅延処理手段と、フィルタ処理手段および遅延処理手段からそれぞれ出力されたフィルタ処理画像データおよび遅延画像データを、復号されたメタデータに含まれるパラメータを用いて混合することを特徴としたものである。 The seventh technical means inputs the encoded data and metadata output from the image encoding apparatus as any one of the first to fifth technical means, decodes the input encoded data, and outputs the decoded image data. An image decoding apparatus comprising: a decoding processing unit to obtain; an image quality improvement processing unit that performs image quality improvement processing using decoded image data from the decoding processing unit and input metadata; A metadata decoding unit that decodes the metadata, and a filter processing unit that performs a predetermined filtering process on a specific area of the decoded image data based on the area instruction data included in the decoded metadata; A delay processing unit that delays the decoded image data, and the filtered image data and the delayed image data output from the filter processing unit and the delay processing unit, respectively, It is obtained by comprising mixing using parameters included in the data.
第8の技術手段は、第7の技術手段において、フィルタ処理手段は、所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理の処理を並行して実行し、ローパスフィルタ処理及び遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および遅延画像データを出力し、ローパスフィルタ処理画像データおよび遅延画像データに対して、第1のパラメータに基づく値を乗算するともに、ラプラシアン処理画像データに対して第2のパラメータに基づく値を乗算し、各乗算した結果を加算することで、混合を行うことを特徴としたものである。 According to an eighth technical means, in the seventh technical means, the filter processing means executes a low pass filter process and a Laplacian filter process in parallel as the predetermined filter process, and the low pass filter process and the delay process provide a low pass filter process. Filtered image data, Laplacian processed image data, and delayed image data are output, and the low-pass filtered image data and delayed image data are multiplied by a value based on the first parameter, and the Laplacian processed image data The mixing is performed by multiplying the values based on the second parameter and adding the multiplied results.
本発明によれば、画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする画像符号化装置および画像復号装置を提供することができる。特に原画像と復号画像の差分を考慮しつつ、見た目の画質を向上させることができる。 According to the present invention, it is possible to perform post processing for obtaining a higher quality image by determining parameter values such as strength and necessity of filter processing applied to an image using differences from the original image. An image encoding device and an image decoding device can be provided. In particular, the visual image quality can be improved while taking into account the difference between the original image and the decoded image.
11…ローパスフィルタ処理部、12…ラプラシアンフィルタ処理部、13…遅延器、15,16,18…乗算器、17…レベル比較器、19…加算パラメータテーブル、20…加算器、101…符号化部、102…復号部、103…MC部、104…遅延部、105…LPF部、106…遅延部、107…ラプラシアンフィルタ部、108…画質調整部、109…ME部、110…画像減算部、111…画像加算部、201a,201b,201c…乗算部、202…ブロック歪検出部、203…第1のパラメータ生成部、204…エッジ検出部、205…第2のパラメータ生成部、206…メタデータ生成部、207,208…画像減算部、209,210…画像加算部、301…復号部、302…高画質化処理部、303…MC部、304…遅延部、305…画像加算部、401…領域選択LPF部、402…遅延部、403…領域選択ラプラシアンフィルタ部、404…メタデータ復号部、405a~405c…乗算部、406…画像加算部。
DESCRIPTION OF
本発明の実施形態について、図面に基づいて説明する。
(基本処理:メタデータ生成)
図1は、本発明の画像符号化装置の基本構成を示すブロック図である。当該装置は、符号化部101、復号部102、MC部(動き補償部)103、遅延部(第1遅延部)104、LPF部105、遅延部(第2遅延部)106、ラプラシアンフィルタ部107、画質調整部108、ME部109、画像減算部110、画像加算部111を有している。
Embodiments of the present invention will be described with reference to the drawings.
(Basic processing: metadata generation)
FIG. 1 is a block diagram showing a basic configuration of an image encoding apparatus according to the present invention. The apparatus includes an
入力された原画像は、画像減算部110で1フレーム前の復号画像との差分が取られる。符号化部101は、画像減算部110で得られた差分画像を複数のブロックに分割し、DCTなどの直交変換を施す。そして、変換して得られた係数を量子化し、量子化した係数値を非ゼロの係数値とゼロの個数を組にした可変長の符号語に変換する。
The difference between the input original image and the decoded image one frame before is taken by the
復号部102は、符号化部101とは逆の手順で復号処理を行なう。
画像加算部111は、復号部102で復号した画像に、MC部103にて動き補償した画像を加算する。画像加算部111で生成された画像は、遅延部(第1遅延部)104にて1フレーム分遅延処理される。
ME部109は、入力された画像と直前に復号した画像とから、ブロック単位に動き推定を行ない、動きベクトル情報を生成する。MC部103は、直前に復号した画像と、ME部109で生成された動きベクトル情報とを用いて動き補償を行う。
符号化部101で生成された符号語と、動きベクトル情報は、モードなどの制御情報などとともに符号化データとして出力される。
The
The
The
The codeword generated by the
以上の部分の動作は、例えば、MPEG-2、MPEG-4、H.264、VC-1などの国際標準方式でも用いられており、これらの方式を適用することも可能である。 The operation of the above part is, for example, MPEG-2, MPEG-4, H.264. It is also used in international standard systems such as H.264 and VC-1, and these systems can also be applied.
画像加算部111で生成された復号画像は、LPF部105、遅延部(第2遅延部)106、ラプラシアンフィルタ部107にも入力される。
LPF部105は、入力された復号画像をローパスフィルタによりフィルタ処理する。この結果生成される画像データは、元の画像に含まれる高周波成分を除去した画像である。この画像で、遅延部(第2遅延部)106の出力画像データ(元の画像)を選択的に置換することで、その部分の高周波成分を除去することが可能となる。この処理時に用いられるフィルタ係数としては、例えば図5(A)に示すものが考えられるが、これに限定されるものではない。
The decoded image generated by the
The
ラプラシアンフィルタ部107は、入力された復号画像をラプラシアンフィルタによりフィルタ処理する。この結果生成される画像データは、画像に含まれる高周波成分の分布を表している。これを利用することで、画像のエッジを抽出することが可能となると同時に、この画像の画素値と第2遅延部106の出力画像の画素値とを足し合わせることで、エッジ強調が可能となる。この処理に用いられるフィルタ係数は、例えば図5(B)に示すものが考えられるが、これに限定されるものではない。
The
第2遅延部106は、入力された復号画像の出力タイミングをLPF部105の出力とラプラシアンフィルタ部107の出力に合うよう、遅延させる。
このように、符号化部101から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を実行する本発明の復号画像処理手段は、復号部102、画像加算部111、LPF部105、遅延部106,およびラプラシアンフィルタ部107により実現されている。
The
As described above, the decoded image processing means of the present invention that decodes the encoded data output from the
画質調整部108は、これらLPF部105、第2遅延部106、ラプラシアンフィルタ部107からの出力を後述する方法で合成し、これと原画像を比較し、最適な合成のパラメータをメタデータとして出力する。
以上のように構成することで、原画像と復号画像の差分を考慮し、適応的にフィルタ処理を行なうためのパラメータをメタデータとして生成することが可能となる。
The image
With the configuration described above, it is possible to generate, as metadata, parameters for performing adaptive filter processing in consideration of the difference between the original image and the decoded image.
これを可変長の符号にそれぞれのブロックを符号化する。具体的には、符号化方式としては、MPEGなどで規格化された符号化方式を適用することができる。 ∙ Encode each block into a variable-length code. Specifically, as the encoding method, an encoding method standardized by MPEG or the like can be applied.
(基本処理:画質調整部108の詳細説明)
次に、図2を用いて、画質調整部108のより詳細な動作について説明する。
画質調整部108は、3つの乗算部201a~201c、ブロック歪検出部202、第1のパラメータ生成部203、エッジ検出部204、第2のパラメータ生成部205、メタデータ生成部206、画像減算部207,208、画像加算部209,210から構成される。
(Basic processing: Detailed description of the image quality adjustment unit 108)
Next, a more detailed operation of the image
The image
画質調整処理は、次に示す3つのステップで行なわれる。
<ステップ0>:対象領域の決定
入力された画像データを複数の領域(例えばM×N画素のブロック)に分割し、それぞれの領域を画質調整処理候補領域とする。以下の<ステップ1>から<ステップ3>は各候補領域に対して適応される。
<ステップ1>:Kの決定
画質調整部108には、図1のLPF部105からLPF画像が入力され、遅延部106から遅延画像が入力され、ラプラシアンフィルタ部107からラプラシアンフィルタ画像が入力される。また画像符号化装置に入力する原画像も入力される。
入力されたLPF画像および遅延画像は、乗算部201a,201bおよび画像加算部209を用いてパラメータKで示される比で混合される。これは、LPF画像をl(n)、遅延画像をd(n)とすると、次式で与えられる(nは画素の番号)。
(1-K)×l(n)+K×d(n)
The image quality adjustment process is performed in the following three steps.
<
<
The input LPF image and delayed image are mixed at a ratio indicated by the parameter K using the
(1-K) × l (n) + K × d (n)
次に、この結果と原画像との差分画像が画像減算部207にて生成される。
ブロック歪検出部202は、エッジ領域がブロック境界に存在するかどうかを示す評価値を生成する。図7はこの様子を説明した図である。検出の単位は2×2ブロック単位に行ない、前記画質調整処理候補領域内部におけるブロックの境界部の前記差分画像の画素値の合計値を用いるなどにより評価値が得られる。
Next, a difference image between this result and the original image is generated by the
The block
第1のパラメータ生成部203は、入力された評価値に基づいて次の新たなパラメータKを決定し、それぞれの乗算部201a,201bにパラメータを出力する。
これらの処理は、評価値が最小となるKが見つかるまで繰り返し実施される。Kの与え方としては、例えばKの値域と探索のステップ数を決めておき、しらみつぶしするなどの方法のほか、探索時間を早めるため、最初探索ステップを粗めに取って最小となるKを決定し、次いでその近辺で探索を行う2ステップサーチなどの手法が考えられる。
The first
These processes are repeatedly performed until K having the smallest evaluation value is found. As a method of giving K, for example, the range of K and the number of search steps are determined, and in addition to a method of squeezing, K is set to be the minimum by taking a rough initial search step in order to speed up the search time. A method such as a two-step search in which a decision is made and then a search is performed in the vicinity thereof can be considered.
<ステップ2>:Mの決定
入力されたローパスフィルタ画像、ラプラシアン画像および遅延画像は、乗算部201a~201cおよび画像加算部210を用いて既に決定されたパラメータKとパラメータMで示される比で混合される。これは、ラプラシアン画像をL(n)とすると、次式で与えられる(nは画素の番号)。
(1-K)×l(n)+K×d(n)+M×L(n)
<Step 2>: Determination of M The input low-pass filter image, Laplacian image, and delayed image are mixed at a ratio indicated by the parameter K and the parameter M that have already been determined using the multiplication units 201a to 201c and the
(1-K) × l (n) + K × d (n) + M × L (n)
次に、この結果と原画像との差分画像が画像減算部208にて生成される。
エッジ検出部204は、ラプラシアン画像で示されるエッジ領域が、ブロック内部に存在するかどうかを示す評価値を生成する。図6はこの様子を説明した図である。検出はブロック単位で行い、前記画質調整処理候補領域内部におけるブロック内部の差分画像の画素値の総和を算出することで評価値を得る。
Next, a difference image between this result and the original image is generated by the
The
第2のパラメータ生成部205は、評価値が最小となるパラメータMを決定し、それぞれの乗算部にパラメータを出力する。パラメータMの決定のステップは、パラメータKの決定ステップと全く同様に実施できるため、説明は省略する。
The second
<ステップ3>:メタデータの生成
以上のステップにより、上記の評価単位毎にパラメータM、K、および処理内容(LPF或いはラプラシアン)が決定される。同時に、前記ブロック歪検出部202が生成した評価値の初期値および、エッジ検出部204が生成した評価値の初期値がそれぞれ得られる。前記評価値の初期値のいずれかが歪の存在を示す値である場合、メタデータ生成部206は、これらを結合させ、メタデータを生成する。図8は、メタデータの構成例を示したものである。図8(A)は、一組のデータを単純に結合した形式を表している。一方、図8(B)は、XML(eXtensible Markup Language)にて記載した例を表す。一方、いずれの歪も存在しないブロックについての前記メタデータは生成されない。
<Step 3>: Generation of Metadata Through the above steps, the parameters M and K and the processing content (LPF or Laplacian) are determined for each evaluation unit. At the same time, the initial value of the evaluation value generated by the block
図8における領域指示情報は、例えば座標値やブロック番号など対応するブロックに関する情報を表す。映像処理名は、その領域に施す処理名を記す。例えば、「LPF」、「Laplacian」などと処理名をそのまま記しても良いし、処理名を表すインデックスなどの形式でも良い。パラメータは、これまで説明してきた例でいうと、M、Kの値である。どのようなパラメータが必要なのかは、処理に依存するため、この領域の大きさは、処理名に依存して変化する。各探索単位に対して生成された各メタデータを結合させることで、その画像に対するメタデータとなる。 The area instruction information in FIG. 8 represents information related to the corresponding block such as coordinate values and block numbers. The video processing name describes the processing name to be applied to the area. For example, the processing name such as “LPF” or “Laplacian” may be written as it is, or an index representing the processing name may be used. In the example described so far, the parameters are M and K values. Since what parameters are required depends on the process, the size of this area varies depending on the process name. By combining the metadata generated for each search unit, it becomes metadata for the image.
以上のように構成することで、原画像と復号画像の差分を考慮した、適応フィルタ処理を行なうためのパラメータを決定することが可能となる。 By configuring as described above, it is possible to determine parameters for performing adaptive filter processing in consideration of the difference between the original image and the decoded image.
(基本処理:高画質化処理)
図3は本発明に関わる画像復号装置の構成を表すブロック図である。
画像復号装置は、復号部301、高画質化処理部302、MC部303、遅延部304、画像加算部305を有している。
次に図3を用いて復号処理の動作について説明する。なお、MC部303、遅延部304の詳細動作は、図1を参照して説明したMC部103、遅延部104と同様であるため、詳細な繰り返しの説明は省略する。
(Basic processing: High image quality processing)
FIG. 3 is a block diagram showing the configuration of the image decoding apparatus according to the present invention.
The image decoding apparatus includes a
Next, the operation of the decoding process will be described with reference to FIG. Detailed operations of the
復号部301は、入力された符号化データに含まれる可変長符号の復号を行い、符号化インデックスを再生する。次に逆量子化を行って変換係数を得る。最後に、逆DCTを行い、画像を出力する。これと、MC部303の出力である、動き補償を行なった参照フレームとを画像加算部305で結合し、復号画像を得る。得られた復号画像は、遅延部304にて1フレーム分遅延され、その後MC部303に入力される。
ここでは、符号化装置から出力された符号化データを復号して復号画像データを得る本発明の復号処理部は、復号部301、MC部303、遅延部304、および画像加算部305によって実現されている。
The
Here, the decoding processing unit of the present invention that obtains decoded image data by decoding the encoded data output from the encoding device is realized by the
以上の動作は、MPEGなどの国際標準方式で採用されている復号装置と同様であり、ゆえに、MPEG-2、MPEG-4、H.264、VC-1などの国際標準方式を用いても良い。 The above operation is the same as that of a decoding device adopted in an international standard system such as MPEG, and therefore, MPEG-2, MPEG-4, H.264, etc. International standard systems such as H.264 and VC-1 may be used.
高画質化処理部302は、入力されたメタデータを用いて、入力された復号画像の後処理を行い、これを最終的な復号画像として出力する。
The high image
次に、図4を用いて高画質化処理部302のより詳細な動作について説明する。高画質化処理部302は、領域選択LPF部401、遅延部402、領域選択ラプラシアンフィルタ部403、メタデータ復号部404、乗算部405a~405cを有している。以上のうち、遅延部402は、図1を参照して説明した遅延部106と同様の動作を行い、乗算部405a~405cは、図2を参照して説明した乗算部201a~201cと同様の動作を行い、既に説明しているため、詳細の動作説明は省略する。
Next, a more detailed operation of the image quality
メタデータ復号部404は、入力されたメタデータを復号し、領域指示情報、映像処理名、パラメータの組を得る。
領域選択LPF部401は、入力された復号画像上の領域のうち、領域指示情報で指定された領域に対し、図1を参照して説明した画像符号化装置のLPF部105と同様の処理を行なう。
領域選択ラプラシアンフィルタ部403は、入力された復号画像上の領域のうち、領域指示情報で指定された領域に対し、図1を参照して説明した画像符号化装置のラプラシアンフィルタ部107と同様の処理を行なう。領域選択LPF部401および領域選択ラプラシアンフィルタ部403は、復号画像データの特定の領域に対して所定のフィルタ処理を実行する本発明のフィルタ処理手段に該当し、遅延部402は、復号画像データを遅延させる本発明の遅延処理手段に該当する。
The metadata decoding unit 404 decodes the input metadata to obtain a set of area instruction information, video processing name, and parameters.
The region
The region selection
以上の動作は、メタデータに格納される領域指示情報、映像処理名、パラメータの組の数だけ繰り返される。
これらの処理画像と、遅延部402で遅延させた画像それぞれを上記のパラメータK,Mを用いて乗算部405a~405cで画素単位に乗算し、画像加算部406で画素単位に加算処理を行なう。
The above operation is repeated for the number of sets of area instruction information, video processing name, and parameters stored in the metadata.
These processed images and the images delayed by the
以上のように構成することで、エッジのボケや、ブロック歪を軽減した画質向上処理を施すことができ、さらに、LPFやラプラシアンなどのフィルタ処理を画面全体ではなく、必要な領域に限定させることができるため、処理量を削減させることができ、ひいてはCPUの消費電力を低減することができる。 By configuring as described above, it is possible to perform image quality improvement processing with reduced edge blur and block distortion, and to limit filter processing such as LPF and Laplacian not to the entire screen but to a necessary area. Therefore, the amount of processing can be reduced, and thus the power consumption of the CPU can be reduced.
(領域指定処理)
上記の領域指示情報は、ブロックを指定する情報として説明を行なったが、任意形状の領域を用いても良い。この場合、領域を指定する情報として、形状符号化情報が用いられる。形状符号化方式として、ファクシミリなどで使われたMH、MR、MMRなど2値画像の符号化方式が考えられる。また、MPEG-4で規格化されている領域符号化を用いる方法も考えられる。さらには、領域の境界を複数のベクトルの集まりとみなし、これを符号化する方法も考えられる。
以上のように構成することで、画質向上を行なう領域をより柔軟に指定でき、効果的な画質向上が可能となる。
(Area specification processing)
The area instruction information has been described as information for designating a block, but an area having an arbitrary shape may be used. In this case, shape coding information is used as information for designating a region. As a shape encoding method, binary image encoding methods such as MH, MR, and MMR used in facsimiles and the like can be considered. A method using area coding standardized by MPEG-4 is also conceivable. Furthermore, a method of encoding the boundary of the region as a set of a plurality of vectors is also conceivable.
By configuring as described above, it is possible to more flexibly specify a region where image quality is improved, and it is possible to effectively improve image quality.
(差分データの使用)
これまでの説明では、ローパスフィルタを用いてブロック歪の除去する方法や、エッジを強調する方法を組み合わせて画質向上を行なう例を示したが、圧縮率を高めることで復号画像の歪が大きく、これらの手法で画質の補正ができない場合、復号画像と原画像の差分を符号化し、これをメタデータとしても良い。
(Use of differential data)
In the description so far, an example of performing image quality improvement by combining a method of removing block distortion using a low-pass filter and a method of enhancing an edge has been shown, but by increasing the compression rate, distortion of the decoded image is large, If the image quality cannot be corrected by these methods, the difference between the decoded image and the original image may be encoded and used as metadata.
この場合、符号化の方法として、階層化符号化技術を用いる手法が考えられる。例えば、前述の国際標準であればMPEG-2 SNR Scalability、MPEG-4 SNR Scalability、SVC(Scalable Video Coding)などを利用することができる。この場合、メタデータには、映像処理名に復号の規格名を、パラメータに符号化した差分情報を格納すればよい。 In this case, as a coding method, a method using a hierarchical coding technique can be considered. For example, MPEG-2 で あ れ ば SNR Scalability, MPEG-4 SNR Scalability, SVC (Scalable Video Coding) can be used for the above-mentioned international standards. In this case, the metadata may store the decoding standard name as the video processing name and the difference information encoded as the parameter.
以上のように構成することで、平滑化やエッジ強調などの画像処理で実現できない画質向上化が実現でき、これを目立つ部分などに適宜利用することで、効率的に画質向上させることが可能となる。 By configuring as described above, image quality improvement that cannot be realized by image processing such as smoothing and edge enhancement can be realized, and it is possible to efficiently improve image quality by appropriately using this for conspicuous parts. Become.
Claims (8)
該符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、
前記復号された画像を複数の領域に分割し、その分割領域毎に該復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および前記原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、
前記画質調整部は、前記フィルタ処理画像データと前記遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、
該パラメータ生成部は、前記フィルタ処理画像データおよび前記原画像データを前記パラメータを用いて混合した画像データと、前記原画像データとの差分に基づいて、前記パラメータを生成することを特徴とする画像符号化装置。 An encoding unit that encodes original image data and outputs the encoded image data;
Decoded image processing means for decoding the encoded data output from the encoding unit and executing predetermined filter processing and delay processing in parallel;
The decoded image is divided into a plurality of regions, and the filtered image data, the delayed image data, and the original image data output from the decoded image processing unit are input for each divided region, and the image quality is adjusted. An image quality adjustment unit that generates and outputs the metadata of
The image quality adjustment unit includes a parameter generation unit that generates a parameter for mixing the filtered image data and the delayed image data;
The parameter generation unit generates the parameter based on a difference between the original image data and image data obtained by mixing the filtered image data and the original image data using the parameters. Encoding device.
前記復号画像処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理を並行して実行し、前記フィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データ出力し、
前記画質調整部は、前記分割領域毎に前記ローパスフィルタ処理画像データおよび前記遅延画像データを第1のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて前記第1のパラメータを生成し、かつ、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データおよび前記遅延画像データを第1および第2のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて、前記第2のパラメータを生成することを特徴とする画像符号化装置。 The image encoding device according to claim 1,
The decoded image processing means executes a low-pass filter process and a Laplacian filter process in parallel as the predetermined filter process, and the filter process and the delay process result in low-pass filter processed image data, Laplacian-processed image data, and Output delayed image data,
The image quality adjustment unit mixes the low-pass filter processed image data and the delayed image data for each of the divided regions using a first parameter, and uses the difference between the mixed image data and the original image data. The first parameter is generated, and the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data are mixed using the first and second parameters, and the mixed image data and the original image are mixed. An image encoding apparatus that generates the second parameter using a difference with data.
前記画質調整部は、前記分割領域毎に前記第1のパラメータを生成する際に、前記ローパスフィルタ処理画像データおよび前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの境界に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第1のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。 The image encoding device according to claim 2,
The image quality adjustment unit uses the difference between the original image data and the image data obtained by mixing the low-pass filter processed image data and the delayed image data when generating the first parameter for each divided region, An evaluation value indicating whether an edge region indicated by the Laplacian-processed image data is present at a boundary between blocks divided by the encoding unit is generated, and the first parameter is generated until the evaluation value is minimized. An image encoding apparatus characterized by repeating the processing.
前記画質調整部は、前記分割領域毎に前記第2のパラメータを生成する際に、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データ、及び前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの内部に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第2のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。 The image encoding device according to claim 2,
When the image quality adjusting unit generates the second parameter for each of the divided areas, the original image data and the image data obtained by mixing the low-pass filter processed image data, the Laplacian processed image data, and the delayed image data Is used to generate an evaluation value indicating whether the edge region indicated by the Laplacian-processed image data exists inside the block divided by the encoding unit, and until the evaluation value is minimized An image coding apparatus characterized by repeating the process of generating the second parameter.
該高画質化処理部は、前記メタデータを復号するメタデータ復号部と、
該復号されたメタデータに含まれる領域指示データに基づいて、前記復号画像データの特定の領域に対して所定のフィルタ処理を実行するフィルタ処理手段と、
前記復号画像データを遅延させる遅延処理手段と、
前記フィルタ処理手段および前記遅延処理手段からそれぞれ出力されたフィルタ処理画像データおよび遅延画像データを、前記復号されたメタデータに含まれる前記パラメータを用いて混合することを特徴とする画像復号装置。 A decoding processing unit that receives the encoded data and metadata output from the image encoding device according to any one of claims 1 to 5 and decodes the input encoded data to obtain decoded image data; An image quality improvement processing unit that performs image quality improvement processing using the decoded image data from the decoding processing unit and the input metadata,
The high image quality processing unit includes a metadata decoding unit that decodes the metadata;
Filter processing means for executing a predetermined filter process on a specific area of the decoded image data based on the area instruction data included in the decoded metadata;
Delay processing means for delaying the decoded image data;
An image decoding apparatus, wherein the filtered image data and the delayed image data respectively output from the filter processing means and the delay processing means are mixed using the parameters included in the decoded metadata.
前記フィルタ処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理の処理を並行して実行し、前記ローパスフィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データを出力し、
前記ローパスフィルタ処理画像データおよび前記遅延画像データに対して、第1のパラメータに基づく値を乗算するともに、前記ラプラシアン処理画像データに対して第2のパラメータに基づく値を乗算し、各前記乗算した結果を加算することで、前記混合を行うことを特徴とする画像復号装置。 The image decoding device according to claim 7,
The filter processing means executes the low pass filter process and the Laplacian filter process in parallel as the predetermined filter process, and the low pass filter process image data, the Laplacian process image data, And outputting the delayed image data,
The low pass filter processed image data and the delayed image data are multiplied by a value based on a first parameter, and the Laplacian processed image data is multiplied by a value based on a second parameter, and each of the multiplications An image decoding apparatus that performs the mixing by adding the results.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010509106A JPWO2009130942A1 (en) | 2008-04-21 | 2009-02-25 | Image encoding apparatus and image decoding apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-110205 | 2008-04-21 | ||
| JP2008110205 | 2008-04-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2009130942A1 true WO2009130942A1 (en) | 2009-10-29 |
Family
ID=41216683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2009/053344 Ceased WO2009130942A1 (en) | 2008-04-21 | 2009-02-25 | Image encoding device and image decoding device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2009130942A1 (en) |
| WO (1) | WO2009130942A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5340415B2 (en) * | 2009-12-07 | 2013-11-13 | 三菱電機株式会社 | Image encoding device, image decoding device, image encoding method, and image decoding method |
| WO2023013736A1 (en) * | 2021-08-06 | 2023-02-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device, decoding device, encoding method, and decoding method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06225282A (en) * | 1993-01-25 | 1994-08-12 | Matsushita Electric Ind Co Ltd | Video signal compression device and video signal decompression device |
| JPH08274996A (en) * | 1995-04-03 | 1996-10-18 | Matsushita Electric Ind Co Ltd | Image processing device |
| JP2005191865A (en) * | 2003-12-25 | 2005-07-14 | Seiko Epson Corp | Image processing apparatus, image processing program, and image processing method |
| WO2007111292A1 (en) * | 2006-03-27 | 2007-10-04 | Matsushita Electric Industrial Co., Ltd. | Picture coding apparatus and picture decoding apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02162984A (en) * | 1988-12-16 | 1990-06-22 | Matsushita Electric Ind Co Ltd | Picture encoder and decoder |
| JP2006211152A (en) * | 2005-01-26 | 2006-08-10 | Hokkaido Univ | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program |
-
2009
- 2009-02-25 JP JP2010509106A patent/JPWO2009130942A1/en active Pending
- 2009-02-25 WO PCT/JP2009/053344 patent/WO2009130942A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06225282A (en) * | 1993-01-25 | 1994-08-12 | Matsushita Electric Ind Co Ltd | Video signal compression device and video signal decompression device |
| JPH08274996A (en) * | 1995-04-03 | 1996-10-18 | Matsushita Electric Ind Co Ltd | Image processing device |
| JP2005191865A (en) * | 2003-12-25 | 2005-07-14 | Seiko Epson Corp | Image processing apparatus, image processing program, and image processing method |
| WO2007111292A1 (en) * | 2006-03-27 | 2007-10-04 | Matsushita Electric Industrial Co., Ltd. | Picture coding apparatus and picture decoding apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5340415B2 (en) * | 2009-12-07 | 2013-11-13 | 三菱電機株式会社 | Image encoding device, image decoding device, image encoding method, and image decoding method |
| WO2023013736A1 (en) * | 2021-08-06 | 2023-02-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device, decoding device, encoding method, and decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2009130942A1 (en) | 2011-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6351040B2 (en) | Method, program and computer system for signal processing and inheritance in layered signal quality hierarchy | |
| JP4847890B2 (en) | Encoding method converter | |
| RU2510592C2 (en) | Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method | |
| CN103098471B (en) | Equipment and method for multilayer picture optical coding/decoding | |
| US8401073B2 (en) | Inverse quantization circuit, inverse quantization method and image reproducing apparatus | |
| JP2022036084A (en) | Coding device, decoding device, coding method, and decoding method | |
| US20100067574A1 (en) | Video decoding method and video encoding method | |
| WO2007111292A1 (en) | Picture coding apparatus and picture decoding apparatus | |
| GB2287153A (en) | Noise reduction apparatus | |
| JP2004215257A (en) | Improved DCT-based moving picture coding method and apparatus | |
| CN101594536A (en) | Encoding/decoding device, encoding/decoding method, and storage medium | |
| JP2004518337A (en) | Apparatus and method for providing a useful metric based on coded information for video enhancement | |
| CN1947146B (en) | Methods for Downsampling Data Values | |
| WO2009130942A1 (en) | Image encoding device and image decoding device | |
| JP3508281B2 (en) | Image processing device | |
| CN101095137A (en) | 8x8 transform and quantization | |
| JP2868342B2 (en) | Intra-loop filter control method for inter-frame predictive coding device | |
| Wang et al. | Efficient Local-Global Collaboration Transcoding for JPEG AI | |
| JP4734301B2 (en) | Quantization error reduction device | |
| JP4008846B2 (en) | Image encoding apparatus, image encoding method, image encoding program, and recording medium recording the program | |
| JP2006081066A (en) | Image generating apparatus and image generating program | |
| JPH07203442A (en) | Digital transmitter | |
| JP2001177848A (en) | Image data encoding method, device thereof, image data decoding method, device thereof and image compression / decompression method | |
| Choi et al. | Macroblock-level adaptive dynamic resolution conversion technique | |
| JP2021190718A (en) | Image encoding device, image decoding device, and program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| DPE2 | Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101) | ||
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09735211 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2010509106 Country of ref document: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 09735211 Country of ref document: EP Kind code of ref document: A1 |