[go: up one dir, main page]

WO2015083796A1 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
WO2015083796A1
WO2015083796A1 PCT/JP2014/082132 JP2014082132W WO2015083796A1 WO 2015083796 A1 WO2015083796 A1 WO 2015083796A1 JP 2014082132 W JP2014082132 W JP 2014082132W WO 2015083796 A1 WO2015083796 A1 WO 2015083796A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
sao
feature amount
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/082132
Other languages
English (en)
French (fr)
Inventor
貴之 井對
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015551562A priority Critical patent/JP5951144B2/ja
Publication of WO2015083796A1 publication Critical patent/WO2015083796A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Definitions

  • the present invention relates to an image encoding apparatus that compresses and encodes an input image.
  • H.265 / HEVC High Efficiency Video Coding: hereinafter referred to as “H.265 standard”
  • H.264 standard is a video encoding international standard H.264 described in Non-Patent Document 2 below.
  • H.264 / AVC Advanced Video Coding: hereinafter referred to as “H.264 standard”
  • the SAO (Sample Adaptive Offset) process described in Non-Patent Document 3 below is described in H.264.
  • This is a coding tool newly introduced in the H.265 standard, which corrects coding distortion by adaptively performing offset processing on a decoded image, thereby improving predictive coding efficiency.
  • the image coding apparatus it is necessary for the image coding apparatus to determine the SAO parameters used when performing the offset processing adaptively.
  • the SAO process is the same as the H.264 standard. Since it is not an essential tool in the H.265 standard, there is an option not to mount a configuration unit that performs SAO processing as an image encoding device.
  • Non-Patent Document 4 discloses a technique for determining an optimum SAO parameter by calculating an evaluation cost based on Rate-Distortion optimization for each SAO parameter.
  • Non-Patent Document 4 a method for calculating an evaluation cost and determining an optimum SAO parameter
  • many hardware resources are required. For this reason, when there are few hardware resources which can be used, it is H.264.
  • SAO processing which is not an essential tool, will not be implemented in the image encoding apparatus.
  • SAO processing is not implemented in this manner, There is a problem that the original compression performance in the H.265 standard cannot be exhibited.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to obtain an image encoding device capable of implementing SAO processing without causing a significant increase in circuit scale.
  • An image encoding apparatus compresses a difference image between an input image and a predicted image, outputs a compressed data of the difference image, and outputs a difference image from the compressed data output from the data compression unit.
  • a directional intra prediction mode used to generate a predicted image is selected from among a plurality of directional intra prediction modes belonging to a directional intra prediction and a SAO processing unit that performs SAO processing for correcting coding distortion of An intra prediction mode selection unit is provided, and the SAO parameter determination unit sets the edge offset for SAO processing. From a plurality of classes, to select a class corresponding to the directional intra-prediction mode selected by the intra prediction mode selection unit, in which the class so as to determine the SAO parameters used by the SAO processing
  • the SAO parameter determination unit selects a class corresponding to the directional intra prediction mode selected by the intra prediction mode selection unit from the plurality of classes in the edge offset of the SAO processing, and selects the class. Since the SAO parameter used by the SAO processing unit is determined, the SAO processing can be implemented without causing a significant increase in circuit scale.
  • FIG. 1 is a block diagram showing an image coding apparatus according to Embodiment 1 of the present invention.
  • an input image memory 1 is a storage medium for storing an input image IP1 given from the outside.
  • the input image feature amount extraction unit 2 extracts the image feature amount FV1 of the input image IP1 stored in the input image memory 1, and performs a process of outputting the image feature amount FV1 to the SAO parameter determination unit 14.
  • the unit for extracting the image feature amount FV1 is, for example, a picture, a coding unit block, a part of the picture (a picture center part, a slice center part, etc.).
  • the input image filter unit 3 performs a filter process on the input image IP1 stored in the input image memory 1, and outputs the input image IPF1 after the filter process to the SAO parameter determination unit 14.
  • the filter coefficients used by the input image filter unit 3 in the filter processing are designed in advance. For example, the local decoded image ADFLDP1 after the deblocking filter processing by the deblocking filter unit 11 is performed on an image group assumed as the input image. Is designed to approach the input image IP1.
  • a plurality of filter coefficients may be prepared according to values of encoding parameters such as picture type and quantization parameter, and the filter coefficients may be used properly.
  • the intra prediction unit 4 uses a plurality of directional intra predictions belonging to the directional intra prediction based on the input image IP1 stored in the input image memory 1 and the local decoded image BDLDDP1 output from the adder 10 before deblocking.
  • the optimum directional intra prediction mode ANG1 used for generating the intra predicted image INTRAPP1 is selected from the modes, and the optimum directional intra prediction mode ANG1 is output to the SAO parameter determining unit 14.
  • the intra prediction unit 4 encodes the intra information MODE1 indicating the selected directional intra prediction mode ANG1.
  • the optimal intra prediction mode used for generating the intra predicted image INTRAPP1 is a prediction mode other than the directional intra prediction mode
  • the mode other than the directional intra prediction mode used for generating the intra predicted image INTRAPP1 is used.
  • Intra information MODE 1 indicating the intra prediction mode is output to the encoding unit 15.
  • the optimum directional intra prediction mode ANG1 is not output to the SAO parameter determination unit 14.
  • the intra prediction unit 4 refers to the local decoded image BDFLDP1 before deblocking and refers to the optimal directional intra prediction mode ANG1.
  • the intra prediction image INTRAP1 is generated by performing the intra prediction process on the input image IP1, and the intra prediction image INTRAP1 is output to the changeover switch 6.
  • the optimal intra prediction mode used for generation of the intra prediction image INTRAPP1 is a prediction mode other than the directional intra prediction mode
  • a mode other than the directional intra prediction mode is used.
  • intra prediction processing for the input image IP1 is performed to generate the intra prediction image INTRAPP1, and processing for outputting the intra prediction image INTRAPP1 to the changeover switch 6 is performed.
  • the intra prediction unit 4 constitutes an intra prediction mode selection unit.
  • the motion compensation prediction unit 5 calculates a motion vector MV1 by performing a motion search by comparing the input image IP1 stored in the input image memory 1 with the local decoded image LDP1 stored in the local decoded image memory 13, and By performing the inter prediction process (motion compensation prediction process) on the input image IP1 using the motion vector MV1, the inter prediction image INTERPP1 is generated, and the process of outputting the inter prediction image INTERPP1 to the changeover switch 6 is performed.
  • the motion compensation prediction unit 5 calculates a difference image between the local decoded image indicated by the motion vector MV1 and the input image IP1 among the local decoded images LDP1 stored in the local decoded image memory 13, and orthogonalizes the difference image. Then, the orthogonal transform coefficient COEF2 of the difference image is output to the SAO parameter determination unit 14 and the motion vector MV1 is output to the encoding unit 15.
  • the motion compensation prediction unit 5 constitutes an orthogonal transform unit.
  • the changeover switch 6 selects the intra prediction image INTRAPP1 generated by the intra prediction unit 4 or the inter prediction image INTERPP1 generated by the motion compensation prediction unit 5 under the instruction of the encoding control unit (not shown), and the selected prediction Processing for outputting the image as PP1 to the subtractor 7 is performed.
  • the subtractor 7 obtains a difference image DP1 between the input image IP1 stored in the input image memory 1 and the predicted image PP1 output from the changeover switch 6, and outputs the difference image DP1 to the transform / quantization unit 8. carry out.
  • the transform / quantization unit 8 performs a transform process on the difference image DP1 output from the subtractor 7 (for example, an orthogonal transform process such as a KL transform in which a base design is made in advance for a specific learning sequence)
  • the quantization coefficient QP1 given from the encoding control unit (not shown) is used to quantize the transform coefficient of the difference image DP1, thereby compressing the orthogonal transform coefficient COEF1, which is the quantized transform coefficient, into the difference image.
  • a process of outputting to the inverse transform / inverse quantization unit 9 and the encoding unit 15 as data is performed.
  • the subtractor 7 and the transform / quantization unit 8 constitute a data compression unit.
  • the inverse transform / inverse quantization unit 9 performs transform / quantization using the quantization parameter QP1 output from the transform / quantization unit 8 (or the quantization parameter QP1 output from the encoding control unit (not shown)).
  • the inverse transform process is performed by inversely quantizing the orthogonal transform coefficient COEF1 output from the unit 8 and performing an inverse transform process (for example, an inverse transform process such as inverse KL transform) on the orthogonal transform coefficient COEF1 after the inverse quantization.
  • an inverse transform process for example, an inverse transform process such as inverse KL transform
  • the adder 10 adds the prediction image PP1 output from the changeover switch 6 and the difference image DP2 output from the inverse transform / inverse quantization unit 9 to generate a local decoded image BDFLDP1 before deblocking, and the local decoding
  • a local decoded image generation unit is configured by the inverse transform / inverse quantization unit 9 and the adder 10.
  • the deblocking filter unit 11 uses the quantization parameter QP1 output from the transform / quantization unit 8 (or the quantization parameter QP1 output from the encoding control unit (not shown)) and is output from the adder 10.
  • a deblocking filter process is performed on the local decoded image BDBLDP1, and a process of outputting the local decoded image ADFLDP1 after the deblocking filter process to the SAO processing unit 12 is performed.
  • the SAO processing unit 12 uses the SAO parameter SAOPARAM1 output from the SAO parameter determination unit 14 to perform SAO processing for correcting the coding distortion of the locally decoded image ADFLDP1 after the deblocking filter processing output from the deblocking filter unit 11.
  • the local decoded image LDP1 after the SAO processing is stored in the local decoded image memory 13.
  • the local decoded image memory 13 is a storage medium for storing the local decoded image LDP1 output from the SAO processing unit 12.
  • the SAO parameter determination unit 14 determines the offset values of the categories (1) to (4) in the edge offset EO (Edge Offset) of SAO processing as the SAO parameter SAOPARAM1, and determines the EO class in the edge offset EO of SAO processing. Implement the process. That is, the SAO parameter determination unit 14 obtains a difference image between the input image IP1 stored in the input image memory 1 and the input image IPF1 after the filtering process by the input image filter unit 3, and each pixel constituting the difference image The average value of the positive pixel values is calculated, the average value of the negative pixel values is calculated, and the average value of the positive pixel values is converted into the category (1) (2) in the edge offset EO. ) Offset value and the average value of the negative pixel values is determined as the offset value of category (3) (4) in edge offset EO.
  • the SAO parameter determination unit 14 has a strong edge in the direction orthogonal to the optimal directional intra prediction mode ANG1 selected by the intra prediction unit 4, and therefore, the SAO parameter determination unit 14 A process of selecting an EO class close to a direction orthogonal to the optimum directional intra prediction mode ANG1 from four classes in the edge offset EO of the process (see Non-Patent Document 3) is performed.
  • the inter prediction image INTERPP1 is selected by the changeover switch 6, either the high frequency component in the vertical direction or the high frequency component in the horizontal direction is selected based on the orthogonal transform coefficient COEF2 output from the motion compensation prediction unit 5. It is determined whether the component is large.
  • the vertical EO class is selected from the four classes in the edge offset EO of the SAO processing, and the high-frequency component in the horizontal direction is selected. If is larger, the process of selecting the horizontal EO class is performed.
  • the SAO parameter determination unit 14 determines the offset values of the categories (1) to (4), and when the EO class is selected, the SAO processing unit sets the offset values of the categories (1) to (4) and the EO class as SAO parameters SAOPARAM1. 12 and the output to the encoding unit 15 are performed.
  • the encoding unit 15 includes the quantization parameter QP1 and the orthogonal transform coefficient COEF1 output from the transform / quantization unit 8, the intra information MODE1 output from the intra prediction unit 4, or the motion vector MV1 output from the motion compensated prediction unit 5.
  • the SAO parameter SAOPARA1 output from the SAO parameter determination unit 14 is variable-length encoded, and the quantization parameter QP1, the orthogonal transform coefficient COEF1, the intra information MODE1 or the motion vector MV1, and the code of the SAO parameter SAOPARA1 A process of generating the bit stream CD1 in which the digitized data is multiplexed is performed.
  • an input image memory 1 an input image feature amount extraction unit 2, an input image filter unit 3, an intra prediction unit 4, a motion compensation prediction unit 5, a changeover switch 6, a subtraction, which are components of the image coding apparatus.
  • dedicated hardware for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer
  • the image encoding device is configured by a computer. May be.
  • FIG. 6 is a hardware configuration diagram when the image encoding apparatus is configured by a computer.
  • the input image memory 1 and the local decoded image memory 13 are configured on the memory 51 of the computer, and the input image feature amount extraction unit 2, the input image filter, and the like.
  • Unit 3 intra prediction unit 4, motion compensation prediction unit 5, changeover switch 6, subtractor 7, transform / quantization unit 8, inverse transform / inverse quantization unit 9, adder 10, deblocking filter unit 11, SAO processing
  • the program describing the processing contents of the unit 12, the SAO parameter determination unit 14 and the encoding unit 15 is stored in the memory 51 of the computer, and the processor 52 such as the CPU of the computer executes the program stored in the memory 51. You just have to do it.
  • the input image memory 1 stores an input image IP1 given from the outside.
  • the input image feature amount extraction unit 2 reads the input image IP1 from the input image memory 1, extracts the image feature amount FV1 of the input image IP1, and outputs the image feature amount FV1 to the SAO parameter determination unit 14.
  • the unit for extracting the image feature amount FV1 is, for example, a picture, a coding unit block, a part of the picture (a picture center part, a slice center part, etc.).
  • the input image filter unit 3 reads the input image IP1 from the input image memory 1, performs a filtering process on the input image IP1, and outputs the input image IPF1 after the filtering process to the SAO parameter determination unit 14.
  • the filter coefficients used by the input image filter unit 3 in the filter processing are designed in advance. For example, the local decoded image ADFLDP1 after the deblocking filter processing by the deblocking filter unit 11 is performed on an image group assumed as the input image. Is designed to approach the input image IP1. Note that a plurality of filter coefficients may be prepared according to encoding parameter values such as a picture type and a quantization parameter, and the filter coefficients may be used properly.
  • the intra prediction unit 4 generates the intra predicted image INTRAPP1 by performing the intra prediction process on the input image IP1, but in the first embodiment, the intra prediction unit 4
  • the directional intra prediction mode of the H.265 standard may be used.
  • the directional intra prediction mode of the H.265 standard is disclosed in Non-Patent Document 1, and there is a 33-direction prediction mode.
  • a directional prediction image is generated by generating 1/32 precision pixels from the surrounding pixels of the encoded block in the input image.
  • the 1/32 precision pixel generation method is generated by linear interpolation of two pixels in the surrounding pixels of the coding block as described in Equation (8-60) on page 125 of Non-Patent Document 1.
  • FIG. 2 is a flowchart showing the processing contents of the intra prediction unit 4 of the image coding apparatus according to Embodiment 1 of the present invention.
  • the intra prediction unit 4 reads the input image IP1 from the input image memory 1, and belongs to the directional intra prediction based on the input image IP1 and the local decoded image BDLDDP1 before deblocking output from the adder 10.
  • An optimal directional intra prediction mode ANG1 used to generate the intra predicted image INTRAPP1 is selected from the directional intra prediction modes of the direction (step ST1 in FIG. 2). Since the process itself for selecting the optimum directional intra prediction mode ANG1 used for generating the intra predicted image INTRAPP1 from among the 33 directional intra prediction modes is a known technique, detailed description thereof is omitted here.
  • the intra prediction unit 4 outputs the optimal directional intra prediction mode ANG1 to the SAO parameter determination unit 14 when selecting the optimal directional intra prediction mode ANG1 used for generating the intra predicted image INTRAPP1. Further, the intra prediction unit 4 outputs the intra information MODE1 indicating the optimal directional intra prediction mode ANG1 used for generating the intra predicted image INTRAPP1 to the encoding unit 15, but the optimal intra used for generating the intra predicted image INTRAPP1.
  • the prediction mode may be a prediction mode other than the directional intra prediction mode. In this case, intra information MODE 1 indicating a prediction mode other than the directional intra prediction mode is output to the encoding unit 15. In this case, the optimum directional intra prediction mode ANG1 is not output to the SAO parameter determination unit 14.
  • the intra prediction unit 4 refers to the local decoded image BDFLDP1 before deblocking and refers to the optimal directional intra prediction mode.
  • ANG1 performs intra prediction processing on the input image IP1 to generate an intra predicted image INTRAPP1, and outputs the intra predicted image INTRAPP1 to the changeover switch 6 (step ST2).
  • the optimal intra prediction mode used for generation of the intra prediction image INTRAPP1 is a prediction mode other than the directional intra prediction mode
  • a mode other than the directional intra prediction mode is used.
  • the intra prediction image INTRAPP1 is generated by performing the intra prediction process on the input image IP1, and the intra predicted image INTRAPP1 is output to the changeover switch 6.
  • intra prediction processing is performed on the input image IP1 in the optimal directional intra prediction mode ANG1.
  • the motion compensation prediction unit 5 reads the input image IP1 from the input image memory 1, compares the input image IP1 with the local decoded image LDP1 stored in the local decoded image memory 13, and performs a motion search to perform a motion vector. MV1 is calculated. After calculating the motion vector MV1, the motion compensated prediction unit 5 generates an inter predicted image INTERPP1 by performing inter prediction processing on the input image IP1 using the motion vector MV1, and switches the inter predicted image INTERPP1 to the changeover switch. 6 is output. Since the calculation process of the motion vector MV1 and the generation process of the inter prediction image are known techniques, a detailed description thereof is omitted here.
  • the motion compensation prediction unit 5 calculates a difference image between the local decoded image indicated by the motion vector MV1 and the input image IP1 among the local decoded images LDP1 stored in the local decoded image memory 13.
  • the motion compensation prediction unit 5 orthogonally transforms the difference image and supplies the orthogonal transform coefficient COEF2 of the difference image to the SAO parameter determination unit 14.
  • the motion vector MV1 is output to the encoding unit 15.
  • the changeover switch 6 selects the intra prediction image INTRAP1 generated by the intra prediction unit 4 or the inter prediction image INTERPP1 generated by the motion compensation prediction unit 5 under the instruction of the encoding control unit (not shown), and selects the selected The predicted image is output to the subtracter 7 as PP1.
  • the subtracter 7 reads the input image IP1 from the input image memory 1, obtains a difference image DP1 between the input image IP1 and the predicted image PP1 output from the changeover switch 6, and converts / differs the difference image DP1. Output to.
  • the transform / quantization unit 8 When the transform / quantization unit 8 receives the difference image DP1 from the subtractor 7, the transform / quantization unit 8 transforms the difference image DP1 (for example, an orthogonal transform process such as a KL transform in which a base design is made in advance for a specific learning sequence). ). In addition, the transform / quantization unit 8 uses the quantization parameter QP1 given from the encoding control unit (not shown) to quantize the transform coefficient of the difference image DP1, thereby obtaining the transformed transform coefficient. A certain orthogonal transform coefficient COEF1 (compressed data of the difference image) is output to the inverse transform / inverse quantization unit 9 and the encoding unit 15. The quantization parameter QP1 is output to the inverse transform / inverse quantization unit 9, the deblocking filter unit 11, and the encoding unit 15.
  • the transform / quantization unit 8 uses the quantization parameter QP1 given from the encoding control unit (not shown) to quantize the transform coefficient of the difference image DP
  • the inverse transform / inverse quantization unit 9 When receiving the quantization parameter QP1 and the orthogonal transform coefficient COEF1 from the transform / quantization unit 8, the inverse transform / inverse quantization unit 9 inversely quantizes the orthogonal transform coefficient COEF1 using the quantization parameter QP1 and performs inverse quantization.
  • an inverse transform process for example, an inverse transform process such as inverse KL transform
  • the difference image DP2 that is the inverse transform process result is output to the adder 10.
  • the adder 10 adds the prediction image PP1 output from the changeover switch 6 and the difference image DP2 output from the inverse transform / inverse quantization unit 9 to generate a local decoded image BDFLDP1 before deblocking.
  • the locally decoded image BDFLDP1 is output to the deblocking filter unit 11.
  • the deblocking filter unit 11 uses the quantization parameter QP1 output from the transform / quantization unit 8 to perform a deblocking filter process on the local decoded image BDBLDP1. Then, the local decoded image ADFLDP1 after the deblocking filter processing is output to the SAO processing unit 12. Since the deblocking filter process is a known technique, a detailed description thereof is omitted here.
  • the SAO processing unit 12 When the SAO processing unit 12 receives the local decoded image ADFLDP1 after the deblocking filter processing from the deblocking filter unit 11, the SAO processing unit 12 uses the SAO parameter SAOPARAM1 output from the SAO parameter determination unit 14 to be described later.
  • the SAO process for correcting the coding distortion of the local decoded image ADFLDP1 is performed, and the local decoded image LDP1 after the SAO process is stored in the local decoded image memory 13. Details of the SAO processing are described in Non-Patent Document 3.
  • the SAO parameter determination unit 14 determines, as the SAO parameter SAOPARAM1, the offset values of the categories (1) to (4) in the edge offset EO of SAO processing and the processing of determining the EO class in the edge offset EO of SAO processing. To do.
  • FIG. 3 is a flowchart showing the processing contents of the SAO parameter determination unit 14 of the image coding apparatus according to Embodiment 1 of the present invention. Hereinafter, the processing content of the SAO parameter determination unit 14 will be specifically described with reference to FIG.
  • FIG. 4 on page 1757 of Non-Patent Document 3 discloses an example in which the edge offset EO is more advantageous for correcting the coding distortion of the locally decoded image ADFLDP1 than the band offset BO.
  • FIG. 6 on page 1758 discloses an example in which the band offset BO is more advantageous for correcting the coding distortion of the locally decoded image ADFLDP1 than the edge offset EO.
  • edge offset EO edge offset EO
  • band offset BO Band Offset
  • the image encoding apparatus needs to adaptively use the four classes appropriately.
  • the edge offset EO has four categories (1) to (4), and the image encoding apparatus needs to determine offset values (absolute values) of the four categories (1) to (4). .
  • the band offset BO it is necessary to classify pixel values into a plurality of band positions and determine the band position to which the offset is applied (see FIG. 5 on page 1758 of Non-Patent Document 3).
  • the SAO parameter determination unit 14 receives the image feature amount FV1 of the input image IP1 output from the input image feature amount extraction unit 2.
  • the input image feature amount extraction unit 2 uses the pixel variance value, the pixel deviation value of the input image IP1 as the image feature amount FV1 of the input image IP1. Assume that the sum or maximum value of absolute differences from adjacent pixels, Laplacian, and the like are calculated.
  • the edge offset EO is more suitable. It is determined from the band offset BO that it is advantageous for correcting the coding distortion of the locally decoded image ADFLDP1. On the other hand, if it indicates that the fluctuation of the pixel value is smaller than the predetermined fluctuation amount, it is determined that the band offset BO is more advantageous for correcting the coding distortion of the locally decoded image ADFLDP1 than the edge offset EO (step) ST11).
  • the SAO parameter determination unit 14 determines that the edge offset EO is more advantageous (in the case of Yes in step ST11)
  • the prediction image PP1 selected by the changeover switch 6 is generated by the intra prediction unit 4.
  • the optimum directional intra is selected from four classes in the edge offset EO.
  • An EO class close to the direction orthogonal to the prediction mode ANG1 is selected (step ST12).
  • the vertical direction is determined based on the orthogonal transform coefficient COEF2 output from the motion compensation prediction unit 5. It is determined which one of the high-frequency component and the horizontal high-frequency component is larger. If the high frequency component in the vertical direction is larger, the SAO parameter determination unit 14 selects the EO class in the vertical direction from the four classes in the edge offset EO, and if the high frequency component in the horizontal direction is larger, A horizontal EO class is selected (step ST12).
  • the SAO parameter determination unit 14 reads the input image IP1 from the input image memory 1, and inputs the input image IPF1 after the filter processing by the input image filter unit 3. Then, the SAO parameter determination unit 14 obtains a difference image between the input image IP1 and the input image IPF1 after the filtering process, and among the pixel values of each pixel constituting the difference image, an average of positive pixel values. A value and an average value of negative pixel values are calculated.
  • the SAO parameter determination unit 14 determines an average value of positive pixel values as an offset value of categories (1) and (2) in the edge offset EO, and determines an average value of negative pixel values as a category (3 in the edge offset EO). )
  • the offset value of (4) is determined (step ST13).
  • the SAO parameter determination unit 14 selects an EO class close to the direction orthogonal to the optimal directional intra prediction mode ANG1 from the four classes, and determines the offset values of the categories (1) to (4).
  • the selected EO class and the offset values of categories (1) to (4) are output as SAO parameters SAOPARAM1 to the SAO processing unit 12 and the encoding unit 15 (step ST14).
  • the SAO processing unit 12 performs SAO processing for correcting the coding distortion of the local decoded image ADFLDP1 after the deblocking filter processing, using the selected EO class and the offset values of the categories (1) to (4). carry out.
  • the SAO parameter determination unit 14 determines that the band offset BO is more advantageous (No in step ST11)
  • the SAO parameter SAOPARAM1 indicating that the SAO processing is not performed is sent to the SAO processing unit 12 and the encoding unit 15. Output (step ST15).
  • the SAO processing unit 12 does not perform SAO processing. Note that, with the edge offset EO, the same effect as applying a low-pass filter to the locally decoded image ADFLDP1 after the deblocking filter processing is obtained, so that ringing noise and the like are reduced. Therefore, it is possible to obtain compression performance for many input images without limiting the SAO processing to the edge offset EO and applying the band offset BO.
  • the encoding unit 15 includes the quantization parameter QP1 and the orthogonal transform coefficient COEF1 output from the transform / quantization unit 8, the intra information MODE1 output from the intra prediction unit 4, or the motion vector output from the motion compensated prediction unit 5.
  • MV1 and the SAO parameter SAOPARAM1 output from the SAO parameter determination unit 14 are subjected to variable length coding, and the quantization parameter QP1, the orthogonal transform coefficient COEF1, the intra information MODE1 or the motion vector MV1, and the SAO parameter SAOPARAM1.
  • a bit stream CD1 in which encoded data is multiplexed is generated.
  • the SAO parameter determination unit 14 selects the optimum directional intra prediction mode selected by the intra prediction unit 4 from the four classes in the edge offset EO.
  • An EO class close to a direction orthogonal to ANG1 is selected and the EO class is determined as an SAO parameter, or an EO class corresponding to the orthogonal transform coefficient COEF2 output from the motion compensation prediction unit 5 is determined as an SAO parameter.
  • the SAO process can be implemented without causing a significant increase in circuit scale.
  • the SAO parameter determination unit 14 determines the category (1) in the edge offset EO of the SAO process according to the difference between the input image IP1 and the input image IPF1 after the filtering process by the input image filter unit 3. Since the offset values (4) to (4) are determined as SAO parameters, the SAO process can be implemented without causing a significant increase in circuit scale.
  • H.H. H.264 standard and H.264 standard In an image encoding device that complies with a video encoding standard such as the H.265 standard, the intra prediction unit 4 and the motion compensation prediction unit 5 are essential functional units, and the input image feature amount extraction unit 2 and the input image filter unit 3. Is a functional unit provided in many image encoding devices.
  • the parameters calculated by these function units are used for determining the SAO parameter set, and the function of the SAO processing unit 12 is limited to the edge offset EO, thereby suppressing an increase in circuit scale. As a result, the SAO parameter can be determined.
  • FIG. 4 is a block diagram showing an image coding apparatus according to Embodiment 2 of the present invention.
  • the post-deblocking image filter unit 21 performs a filtering process on the local decoded image ADFLDP1 after the deblocking filter process by the deblocking filter unit 11, and the post-deblocking image ADBLDPF1, which is an image after the filter process, is sent to the SAO parameter determination unit 23. Perform the output process.
  • Filter coefficients used by the post-deblocking image filter unit 21 in the filter processing are designed in advance. For example, local decoding after deblocking filter processing by the deblocking filter unit 11 is performed on an image group assumed as an input image. A Wiener filter that brings the image ADFLDP1 closer to the input image IP1 is designed.
  • a plurality of filter coefficients may be prepared according to values of encoding parameters such as picture type and quantization parameter, and the filter coefficients may be used properly.
  • the post-blocking image feature amount extraction unit 22 extracts the image feature amount FV11 of the local decoded image ADFLDP1 after the deblocking filter processing by the deblocking filter unit 11, and outputs the image feature amount FV11 to the SAO parameter determination unit 23 To implement.
  • the SAO parameter determination unit 23 determines, as the SAO parameter SAOPARAM1, the offset values of the categories (1) to (4) in the edge offset EO of the SAO process and the process of determining the EO class in the edge offset EO of the SAO process. .
  • the band position in the band offset BO of the SAO process is determined, and the process of determining the offset value of the band offset BO is performed. That is, the SAO parameter determination unit 23 performs the input image IP1 stored in the input image memory 1 and the post-deblocking image ADBLDPF1 after the deblocking filter processing by the post-deblocking image filter unit 21 (or the filter processing by the input image filter unit 3).
  • a difference image with the subsequent input image IPF1) is obtained, and among the pixel values of each pixel constituting the difference image, an average value of positive pixel values is calculated, and an average value of negative pixel values is calculated. And the average value of the positive pixel values is determined as the offset value of the category (1) (2) in the edge offset EO, and the average value of the negative pixel values is determined in the category (3) (4) in the edge offset EO. ) To determine the offset value.
  • the SAO parameter determination unit 23 has a strong edge in the direction orthogonal to the optimal directional intra prediction mode ANG1 selected by the intra prediction unit 4, and therefore, the SAO parameter determination unit 23 A process of selecting an EO class close to the direction orthogonal to the optimum directional intra prediction mode ANG1 from the four classes in the process edge offset EO is performed.
  • the inter prediction image INTERPP1 is selected by the changeover switch 6, either the high frequency component in the vertical direction or the high frequency component in the horizontal direction is selected based on the orthogonal transform coefficient COEF2 output from the motion compensation prediction unit 5. It is determined whether the component is large.
  • the vertical EO class is selected from the four classes in the edge offset EO of the SAO processing, and the high-frequency component in the horizontal direction is selected. If is larger, the process of selecting the horizontal EO class is performed.
  • the SAO parameter determination unit 23 performs a process of selecting a band position corresponding to the image feature quantity FV11 extracted by the post-deblocking image feature quantity extraction unit 22 from a plurality of band positions in the band offset BO of the SAO process. . Also, the SAO parameter determination unit 23 performs local decoding after the image feature amount FV1 of the input image IP1 extracted by the input image feature amount extraction unit 2 and the deblocking filter processing extracted by the post-deblocking image feature amount extraction unit 22. Processing for determining the offset value of the band offset BO according to the difference from the image feature amount FV11 of the image ADFLDP1 is performed.
  • the SAO parameter determination unit 23 uses the selected EO class and the offset values of the categories (1) to (4) or the selected band position and the offset value of the band offset BO as the SAO parameter SAOPARAM1, and the SAO processing unit 12 and the encoding unit. The process which outputs to 15 is implemented.
  • an input image memory 1 an input image feature amount extraction unit 2, an input image filter unit 3, an intra prediction unit 4, a motion compensation prediction unit 5, a changeover switch 6, a subtraction, which are components of the image encoding device.
  • transform / quantization unit 8 inverse transform / inverse quantization unit 9, adder 10, deblocking filter unit 11, SAO processing unit 12, local decoded image memory 13, encoding unit 15, post-deblocking image filter
  • SAO processing unit 12 for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer.
  • the image coding apparatus may be configured by a computer.
  • the input image memory 1 and the local decoded image memory 13 are configured on the memory 51 of the computer, and the input image feature amount extraction unit 2, the input image filter, and the like.
  • Unit 3 intra prediction unit 4, motion compensation prediction unit 5, changeover switch 6, subtractor 7, transform / quantization unit 8, inverse transform / inverse quantization unit 9, adder 10, deblocking filter unit 11, SAO processing
  • the program describing the processing contents of the unit 12, the encoding unit 15, the post-deblocking image filter unit 21, the post-deblocking image feature amount extraction unit 22, and the SAO parameter determination unit 23 is stored in the memory 51 of the computer.
  • a processor 52 such as a CPU of a computer may execute a program stored in the memory 51.
  • the post-deblocking image filter unit 21, the post-deblocking image feature amount extraction unit 22, and the SAO parameter determination unit 23 are the same as those in the first embodiment, here, the post-deblocking image filter unit 21, the deblocking Only the processing contents of the post-image feature quantity extraction unit 22 and the SAO parameter determination unit 23 will be described.
  • the deblocking image filter unit 21 When the post-deblocking image filter unit 21 receives the local decoded image ADFLDP1 after the deblocking filter process from the deblocking filter unit 11, the deblocking image filter unit 21 performs the deblocking filter process on the local decoded image ADFLDP1, and the image after the deblocking filter process
  • the deblocked image ADBLDPF1 is output to the SAO parameter determination unit 23.
  • the filter coefficient used by the post-deblocking image filter unit 21 in the deblocking filter process is designed in advance. For example, after the deblocking filter process by the deblocking filter unit 11 is performed on an image group assumed as an input image. A Wiener filter is designed to bring the local decoded image ADFLDP1 closer to the input image IP1. Note that a plurality of filter coefficients may be prepared according to encoding parameter values such as a picture type and a quantization parameter, and the filter coefficients may be used properly.
  • the post-deblocking image feature amount extraction unit 22 Upon receiving the deblocking filtered local decoded image ADFLDP1 from the deblocking filter unit 11, the post-deblocking image feature amount extraction unit 22 extracts the image feature amount FV11 of the local decoded image ADFLDP1, and the image feature amount FV11. Is output to the SAO parameter determination unit 23.
  • the post-blocking image feature amount extraction unit 22 uses the deblocking filter as the image feature amount FV11 of the locally decoded image ADFLDP1 after the deblocking filter processing. Calculates the pixel variance value, pixel deviation value, sum or maximum value of absolute difference from adjacent pixels, Laplacian, pixel average value of local decoded image ADFLDP1 after deblocking filter processing, etc. And
  • the SAO parameter determination unit 23 determines the EO class in the edge offset EO, the offset values of the categories (1) to (4) in the edge offset EO, the band position in the band offset BO, and the offset value of the band offset BO as the SAO parameter SAOPARAM1. Perform the process.
  • FIG. 5 is a flowchart showing the processing contents of the SAO parameter determination unit 23 of the image coding apparatus according to Embodiment 2 of the present invention. Hereinafter, the processing content of the SAO parameter determination unit 23 will be described in detail with reference to FIG.
  • the SAO parameter determination unit 23 receives the image feature amount FV11 of the local decoded image ADFLDP1 after the deblocking filter process output from the post-deblocking image feature amount extraction unit 22.
  • the SAO parameter determination unit 23 indicates that the image feature amount FV11 indicates that the variation of the pixel value is larger than the predetermined variation amount. Therefore, it is determined that the edge offset EO is more advantageous for correcting the coding distortion of the locally decoded image ADFLDP1 than the band offset BO.
  • the band offset BO is more advantageous for correcting the coding distortion of the locally decoded image ADFLDP1 than the edge offset EO (step) ST21).
  • the image feature amount FV11 of the locally decoded image ADFLDP1 after the deblocking filter processing it is determined whether or not the variation of the pixel value is larger than a predetermined variation amount, but as in the first embodiment.
  • the image feature amount FV1 of the input image IP1 output from the input image feature amount extraction unit 2 it may be determined whether or not the variation of the pixel value is larger than a predetermined variation amount.
  • the predicted image PP1 selected by the selector switch 6 is the same as the SAO parameter determination unit 14 in FIG. Is the intra-predicted image INTRAP1 generated by the intra-prediction unit 4, since there is a strong edge in the direction orthogonal to the optimal directional intra-prediction mode ANG1 selected by the intra-prediction unit 4, 4 in the edge offset EO
  • the EO class close to the direction orthogonal to the optimum directional intra prediction mode ANG1 is selected from the classes (step ST22).
  • the vertical direction is determined based on the orthogonal transform coefficient COEF2 output from the motion compensation prediction unit 5. It is determined which one of the high-frequency component and the horizontal high-frequency component is larger. If the high frequency component in the vertical direction is larger, the SAO parameter determination unit 23 selects the EO class in the vertical direction from the four classes in the edge offset EO, and if the high frequency component in the horizontal direction is larger, A horizontal EO class is selected (step ST22).
  • the SAO parameter determination unit 23 receives the local decoded image ADFLDP1 after the deblocking filter processing by the deblocking filter unit 11 and the deblocking image ADBLDPF1 after the filter processing by the post-deblocking image filter unit 21. Then, the SAO parameter determining unit 23 obtains a difference image between the local decoded image ADFLDP1 after the deblocking filter processing and the post-blocking image ADBLDPF1 after the filter processing, and the pixel value of each pixel constituting the difference image Among these, an average value of positive pixel values and an average value of negative pixel values are calculated.
  • the SAO parameter determination unit 23 determines an average value of positive pixel values as an offset value of categories (1) and (2) in the edge offset EO, and determines an average value of negative pixel values as a category (3 in the edge offset EO). ) The offset value of (4) is determined (step ST23).
  • the SAO parameter determination unit 23 selects an EO class close to the direction orthogonal to the optimal directional intra prediction mode ANG1 from the four classes, and determines the offset values of the categories (1) to (4).
  • the selected EO class and the offset values of categories (1) to (4) are output as SAO parameters SAOPARAM1 to the SAO processing unit 12 and the encoding unit 15 (step ST24).
  • the SAO processing unit 12 performs SAO processing for correcting the coding distortion of the local decoded image ADFLDP1 after the deblocking filter processing, using the selected EO class and the offset values of the categories (1) to (4). carry out.
  • the local decoded image after the deblocking filter process output from the post-deblocking image feature amount extraction unit 22 Based on the image feature amount FV11 of ADFLDP1, it is determined whether or not to apply the band offset BO (step ST25). For example, from the pixel value histogram that is the image feature amount FV11 of the local decoded image ADFLDP1 after the deblocking filter processing, the degree of variation in the pixel values in the local decoded image ADFLDP1 after the deblocking filter processing is determined, If it is smaller than the set threshold value, the band offset BO is applied.
  • the SAO parameter determining unit 23 selects the image of the locally decoded image ADFLDP1 after the deblocking filter process from the plurality of band positions in the band offset BO of the SAO process.
  • a band position corresponding to the feature amount FV11 is selected (step ST26).
  • the band in the band offset BO has a width of 0 to 255 and the band is divided into 32 by 8 bits. That is, each band position in the band offset BO is 0 to 7, 8 to 15, 16 to 23, 24 to 31,..., 248 to 255.
  • the image feature amount FV11 is a pixel average value and the pixel average value is, for example, “25”, four consecutive band positions (“8” to “15”) substantially including “25” at the center. , 16 to 23, 24 to 31, 25 to 39 band positions).
  • the pixel average value is “241”
  • four consecutive band positions (224 to 231, 232 to 239, 240 to 247, 248 to 255) including “241” at the substantially center.
  • Select Bit position
  • the image feature amount FV11 is a pixel average value is shown, but the image feature amount FV11 is not limited to the pixel average value.
  • the band position is determined according to the pixel value histogram that is the image feature amount FV11. You may make it select.
  • the SAO parameter determination unit 23 performs the image feature amount FV1 of the input image IP1 extracted by the input image feature amount extraction unit 2 and the deblocking filter processing extracted by the post-deblocking image feature amount extraction unit 22.
  • the offset value of the band offset BO is determined according to the difference from the image feature amount FV11 of the locally decoded image ADFLDP1 (step ST27).
  • the image feature quantity FV1 of the input image IP1 is the pixel average value of the input image IP1
  • the image feature quantity FV11 of the local decoded image ADFLDP1 after the deblocking filter process is the pixel average value of the local decoded image ADFLDP1 after the deblocking filter process.
  • the difference d between the pixel average values for each input image is calculated.
  • the pixel average value for each band is obtained, and the pixel average value of the input image IP1 and the local decoding after the deblocking filter processing are performed for each band.
  • the SAO parameter determination unit 23 selects a band position corresponding to the image feature amount FV11 of the locally decoded image ADFLDP1 after the deblocking filter process from the plurality of band positions in the band offset BO, and also sets the offset value of the band offset BO. Is determined, and the selected band position and the offset value of the band offset BO are output as SAO parameters SAOPARAM1 to the SAO processing unit 12 and the encoding unit 15 (step ST28). As a result, the SAO processing unit 12 performs SAO processing for correcting the coding distortion of the locally decoded image ADFLDP1 after the deblocking filter processing, using the selected band position and the offset value of the band offset BO.
  • the SAO parameter determination unit 23 When the band offset BO is not applied (No in step ST25), the SAO parameter determination unit 23 outputs the SAO parameter SAOPARAM1 indicating that the SAO processing is not performed to the SAO processing unit 12 and the encoding unit 15 (step ST29). In this case, the SAO processing unit 12 does not perform SAO processing.
  • the intra prediction unit 4 and the motion compensation prediction unit 5 are indispensable functional units, such as an input image feature amount extraction unit 2 and a post-deblocking image filter.
  • the unit 21 and the post-deblocking image feature amount extraction unit 22 are functional units provided in many image encoding devices.
  • the parameters calculated by these functional units are used for determining the SAO parameter set, it is possible to determine the SAO parameters while suppressing an increase in circuit scale.
  • the intra prediction unit 4 determines the directionality based on the input image IP1 stored in the input image memory 1 and the local decoded image BDFLD1 before deblocking output from the adder 10.
  • the selection of the optimal directional intra prediction mode ANG1 used to generate the intra predicted image INTRAP1 from the 33 directional intra prediction modes belonging to the intra prediction has been shown, the 33 directional intra prediction modes belonging to the directional intra prediction are shown.
  • intra directional intra prediction modes that do not require linear interpolation (directional intra prediction modes in 45, 90, 135, 180, and 225 degrees directions) are used.
  • Select the optimal directional intra prediction mode ANG1 used to generate the predicted image INTRAPP1 It may be.
  • the selection target of the optimal directional intra prediction mode ANG1 is changed from the directional intra prediction mode of 33 directions to the directional intra prediction mode of 5 directions (45 degree direction, 90 degree direction, 135 degree direction, 180 degree direction, 225 degree direction).
  • Directional intra prediction mode) the circuit scale can be further reduced.
  • IntraPredAngle in Table 8-4 described on page 123 of Non-Patent Document 1 becomes
  • 32.
  • the image encoding apparatus is suitable for an apparatus that needs to implement SAO processing without causing a significant increase in circuit scale when compressing and encoding an input image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　ＳＡＯパラメータ決定部１４が、エッジオフセットＥＯにおける４個のクラスの中から、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラス、または、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に対応するＥＯクラスをＳＡＯパラメータとして選択し、また、入力画像ＩＰ１とフィルタ処理後の入力画像ＩＰＦ１との差分にしたがってＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータとして決定する。

Description

画像符号化装置
　この発明は、入力画像を圧縮符号化する画像符号化装置に関するものである。
　以下の非特許文献１に記載されている映像符号化国際標準Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ：以下、「Ｈ．２６５規格」と称する）は、以下の非特許文献２に記載されている映像符号化国際標準Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ：以下、「Ｈ．２６４規格」と称する）と比べて、約２倍の圧縮性能を有すると言われている。
　以下の非特許文献３に記載されているＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）処理は、Ｈ．２６５規格で新規に導入された符号化ツールであり、復号画像に対して、適応的にオフセット処理を施すことで符号化歪みを補正し、予測符号化効率を高めるものである。
　ＳＡＯ処理において、適応的にオフセット処理を実施する際に用いるＳＡＯパラメータについては、画像符号化装置が決定する必要がある。
　なお、ＳＡＯ処理は、Ｈ．２６５規格において、必須のツールではないため、画像符号化装置として、ＳＡＯ処理を実施する構成部を実装しないという選択肢もある。
　以下の非特許文献４には、各々のＳＡＯパラメータに対して、Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ最適化に基づく評価コストを算出することで、最適なＳＡＯパラメータを決定する技術が開示されている。
"High efficiency video coding"、ITU-T Recommendation H.265、International Telecommunication Union、April 2013 "Advanced video coding for generic audiovisual services"、ITU-T Recommendation H.264、International Telecommunication Union、April 2013 Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, Chia-Yang Tsai, Chih-Wei Hsu, Shawmin Lei, Jeong-Hoon Park, Woojin Han著、"Sample Adaptive Offset in the HEVC Standard"、 IEEE Trans. Circuits Syst. Video Techn. 22(12): 1755-1764、 December 2012 "High Efficiency Video Coding (HEVC) Test Model 11 (HM11) Encoder Description"、JCTVC-M1002、Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11、13th Meeting：Incheon,、KR、18-26　April 2013
　従来の画像符号化装置は以上のように構成されているので、Ｈ．２６５規格に準拠する場合、Ｈ．２６４に準拠する場合と比べて、高い圧縮性能が得られるが、符号化パラメータが多様化しているため、回路規模が増加してしまう課題があった。
　また、非特許文献４に開示されている方法（評価コストを算出して最適なＳＡＯパラメータを決定する方法）を適用する場合、多くのハードウェアリソースが要求される。このため、使用可能なハードウェアリソースが少ない場合には、Ｈ．２６５規格において、必須のツールではないＳＡＯ処理が画像符号化装置に実装されないことが予想される。このようにＳＡＯ処理が実装されない場合、Ｈ．２６５規格における本来の圧縮性能を発揮することができなくなる課題があった。
　この発明は上記のような課題を解決するためになされたもので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる画像符号化装置を得ることを目的とする。
　この発明に係る画像符号化装置は、入力画像と予測画像の差分画像を圧縮して、その差分画像の圧縮データを出力するデータ圧縮部と、データ圧縮部より出力された圧縮データから差分画像を復元し、その差分画像と予測画像の加算画像である局部復号画像を生成する局部復号画像生成部と、ＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）パラメータを用いて、局部復号画像生成部により生成された局部復号画像の符号化歪みを補正するＳＡＯ処理を実施するＳＡＯ処理部と、方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、その予測画像の生成に用いられる方向性イントラ予測モードを選択するイントラ予測モード選択部とを設け、ＳＡＯパラメータ決定部が、ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスをＳＡＯ処理部が用いるＳＡＯパラメータに決定するようにしたものである。
　この発明によれば、ＳＡＯパラメータ決定部が、ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスをＳＡＯ処理部が用いるＳＡＯパラメータに決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。 この発明の実施の形態１による画像符号化装置のＳＡＯパラメータ決定部１４の処理内容を示すフローチャートである。 この発明の実施の形態２による画像符号化装置を示す構成図である。 この発明の実施の形態２による画像符号化装置のＳＡＯパラメータ決定部２３の処理内容を示すフローチャートである。 画像符号化装置がコンピュータで構成される場合のハードウェア構成図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、入力画像メモリ１は外部から与えられた入力画像ＩＰ１を格納する記憶媒体である。
　入力画像特徴量抽出部２は入力画像メモリ１により格納された入力画像ＩＰ１の画像特徴量ＦＶ１を抽出し、その画像特徴量ＦＶ１をＳＡＯパラメータ決定部１４に出力する処理を実施する。画像特徴量ＦＶ１を抽出する単位は、例えば、ピクチャ、符号化単位ブロック、ピクチャ内の一部（ピクチャ中心部、スライス中心部等）等である。
　入力画像フィルタ部３は入力画像メモリ１により格納された入力画像ＩＰ１に対するフィルタ処理を実施し、フィルタ処理後の入力画像ＩＰＦ１をＳＡＯパラメータ決定部１４に出力する。
　入力画像フィルタ部３がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。
　イントラ予測部４は入力画像メモリ１により格納された入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択し、その最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力する処理を実施する。
　また、イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードであれば、その選択した方向性イントラ予測モードＡＮＧ１を示すイントラ情報ＭＯＤＥ１を符号化部１５に出力するが、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に使用する方向性イントラ予測モード以外のイントラ予測モードを示すイントラ情報ＭＯＤＥ１を符号化部１５に出力する。この場合、最適な方向性イントラ予測モードＡＮＧ１はＳＡＯパラメータ決定部１４に出力されない。
　イントラ予測部４はイントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する処理を実施する。
　一方、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、方向性イントラ予測モード以外の予測モードで、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する処理を実施する。なお、イントラ予測部４はイントラ予測モード選択部を構成している。
　動き補償予測部５は入力画像メモリ１により格納された入力画像ＩＰ１と局部復号画像メモリ１３により格納された局部復号画像ＬＤＰ１を比較することで動き探索を実施して動きベクトルＭＶ１を算出し、その動きベクトルＭＶ１を用いて、入力画像ＩＰ１に対するインター予測処理（動き補償予測処理）を実施することでインター予測画像ＩＮＴＥＲＰＰ１を生成し、そのインター予測画像ＩＮＴＥＲＰＰ１を切替スイッチ６に出力する処理を実施する。
　また、動き補償予測部５は局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１のうち、その動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出し、その差分画像を直交変換して、その差分画像の直交変換係数ＣＯＥＦ２をＳＡＯパラメータ決定部１４に出力するとともに、その動きベクトルＭＶ１を符号化部１５に出力する処理を実施する。なお、動き補償予測部５は直交変換部を構成している。
　切替スイッチ６は図示せぬ符号化制御部の指示の下、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１又は動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１を選択し、その選択した予測画像をＰＰ１として減算器７に出力する処理を実施する。
　減算器７は入力画像メモリ１により格納された入力画像ＩＰ１と切替スイッチ６から出力された予測画像ＰＰ１との差分画像ＤＰ１を求め、その差分画像ＤＰ１を変換・量子化部８に出力する処理を実施する。
　変換・量子化部８は減算器７から出力された差分画像ＤＰ１の変換処理（例えば、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、図示せぬ符号化制御部から与えられた量子化パラメータＱＰ１を用いて、その差分画像ＤＰ１の変換係数を量子化することで、量子化後の変換係数である直交変換係数ＣＯＥＦ１を差分画像の圧縮データとして、逆変換・逆量子化部９及び符号化部１５に出力する処理を実施する。
　なお、減算器７及び変換・量子化部８からデータ圧縮部が構成されている。
　逆変換・逆量子化部９は変換・量子化部８から出力された量子化パラメータＱＰ１（または、図示せぬ符号化制御部から出力された量子化パラメータＱＰ１）を用いて、変換・量子化部８から出力された直交変換係数ＣＯＥＦ１を逆量子化し、逆量子化後の直交変換係数ＣＯＥＦ１の逆変換処理（例えば、逆ＫＬ変換等の逆変換処理）を実施することで、その逆変換処理結果である差分画像ＤＰ２を加算器１０に出力する処理を実施する。
　加算器１０は切替スイッチ６から出力された予測画像ＰＰ１と逆変換・逆量子化部９から出力された差分画像ＤＰ２を加算することでデブロッキング前の局部復号画像ＢＤＦＬＤＰ１を生成し、その局部復号画像ＢＤＦＬＤＰ１をイントラ予測部４及びデブロッキングフィルタ部１１に出力する処理を実施する。
　なお、逆変換・逆量子化部９及び加算器１０から局部復号画像生成部が構成されている。
　デブロッキングフィルタ部１１は変換・量子化部８から出力された量子化パラメータＱＰ１（または、図示せぬ符号化制御部から出力された量子化パラメータＱＰ１）を用いて、加算器１０から出力された局部復号画像ＢＤＢＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１をＳＡＯ処理部１２に出力する処理を実施する。
　ＳＡＯ処理部１２はＳＡＯパラメータ決定部１４から出力されるＳＡＯパラメータＳＡＯＰＡＲＡＭ１を用いて、デブロッキングフィルタ部１１から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施し、ＳＡＯ処理後の局部復号画像ＬＤＰ１を局部復号画像メモリ１３に格納する。
　局部復号画像メモリ１３はＳＡＯ処理部１２から出力された局部復号画像ＬＤＰ１を格納する記憶媒体である。
　ＳＡＯパラメータ決定部１４はＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯ（Ｅｄｇｅ　Ｏｆｆｓｅｔ）におけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。
　即ち、ＳＡＯパラメータ決定部１４は入力画像メモリ１により格納された入力画像ＩＰ１と入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値を算出するとともに、負値の画素値の平均値を算出し、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する処理を実施する。
　また、ＳＡＯパラメータ決定部１４は切替スイッチ６によりイントラ予測画像ＩＮＴＲＡＰＰ１が選択される場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラス（非特許文献３を参照）の中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する処理を実施する。
　一方、切替スイッチ６によりインター予測画像ＩＮＴＥＲＰＰ１が選択される場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定し、垂直方向の高周波成分の方が大きければ、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する処理を実施する。
　ＳＡＯパラメータ決定部１４はカテゴリ（１）～（４）のオフセット値を決定するとともに、ＥＯクラスを選択すると、カテゴリ（１）～（４）のオフセット値とＥＯクラスをＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する処理を実施する。
　符号化部１５は変換・量子化部８から出力された量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１と、イントラ予測部４から出力されたイントラ情報ＭＯＤＥ１又は動き補償予測部５から出力された動きベクトルＭＶ１と、ＳＡＯパラメータ決定部１４から出力されたＳＡＯパラメータＳＡＯＰＡＲＡ１とを可変長符号化して、その量子化パラメータＱＰ１と、直交変換係数ＣＯＥＦ１と、イントラ情報ＭＯＤＥ１又は動きベクトルＭＶ１と、ＳＡＯパラメータＳＡＯＰＡＲＡ１との符号化データが多重化されているビットストリームＣＤ１を生成する処理を実施する。
　図１の例では、画像符号化装置の構成要素である入力画像メモリ１、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、局部復号画像メモリ１３、ＳＡＯパラメータ決定部１４及び符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
　図６は画像符号化装置がコンピュータで構成される場合のハードウェア構成図である。
　画像符号化装置をコンピュータで構成する場合、図６に示すように、入力画像メモリ１及び局部復号画像メモリ１３をコンピュータのメモリ５１上に構成するとともに、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、ＳＡＯパラメータ決定部１４及び符号化部１５の処理内容を記述しているプログラムをコンピュータのメモリ５１に格納し、当該コンピュータのＣＰＵなどのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。
　次に動作について説明する。
　入力画像メモリ１には、外部から与えられた入力画像ＩＰ１が格納される。
　入力画像特徴量抽出部２は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１の画像特徴量ＦＶ１を抽出して、その画像特徴量ＦＶ１をＳＡＯパラメータ決定部１４に出力する。
　画像特徴量ＦＶ１を抽出する単位は、例えば、ピクチャ、符号化単位ブロック、ピクチャ内の一部（ピクチャ中心部、スライス中心部等）等である。
　入力画像フィルタ部３は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１に対するフィルタ処理を実施して、フィルタ処理後の入力画像ＩＰＦ１をＳＡＯパラメータ決定部１４に出力する。
　入力画像フィルタ部３がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。
　なお、フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。
　イントラ予測部４は、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成するが、この実施の形態１では、Ｈ．２６５規格の方向性イントラ予測モードを用いる場合がある。
　Ｈ．２６５規格の方向性イントラ予測モードは、非特許文献１に開示されており、３３方向の予測モードがある。
　方向性イントラ予測モードでは、入力画像内の符号化ブロックの周囲画素から１／３２精度画素を生成することで、方向性予測画像を生成する。
　１／３２精度画素の生成方法については、非特許文献１の１２５頁の式（８－６０）に記載されているように、符号化ブロックの周囲画素の中の２画素の線形補間によって生成される。ただし、式（８－６１）が適用される場合には、周囲画素の中の１画素がそのまま予測画素になり、線形補間の必要はない。
　最適な方向性イントラ予測モードとしては、変換・量子化部８から出力される直交変換係数ＣＯＥＦ１の高周波成分が小さくなるように、エッジに沿う方向性イントラ予測モードが選ばれる傾向にある。
　図２はこの発明の実施の形態１による画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
　以下、図２を参照しながら、イントラ予測部４の処理内容を具体的に説明する。
　イントラ予測部４は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する３３方向の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択する（図２のステップＳＴ１）。
　３３方向の方向性イントラ予測モードの中からイントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択する処理自体は公知の技術であるため、ここでは詳細な説明を省略する。
　イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択すると、最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力する。
　また、イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を示すイントラ情報ＭＯＤＥ１を符号化部１５に出力するが、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合もある。
　この場合、方向性イントラ予測モード以外の予測モードを示すイントラ情報ＭＯＤＥ１を符号化部１５に出力する。また、この場合、最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力しない。
　イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する（ステップＳＴ２）。
　一方、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、方向性イントラ予測モード以外の予測モードで、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する。
　この実施の形態１では、説明の便宜上、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施しているものとする。
　動き補償予測部５は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１を比較することで動き探索を実施して動きベクトルＭＶ１を算出する。
　動き補償予測部５は、動きベクトルＭＶ１を算出すると、その動きベクトルＭＶ１を用いて、入力画像ＩＰ１に対するインター予測処理を実施することでインター予測画像ＩＮＴＥＲＰＰ１を生成し、そのインター予測画像ＩＮＴＥＲＰＰ１を切替スイッチ６に出力する。
　動きベクトルＭＶ１の算出処理やインター予測画像の生成処理は公知の技術であるため、ここでは詳細な説明を省略する。
　また、動き補償予測部５は、局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１のうち、その動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出する。
　動き補償予測部５は、動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出すると、その差分画像を直交変換して、その差分画像の直交変換係数ＣＯＥＦ２をＳＡＯパラメータ決定部１４に出力するとともに、その動きベクトルＭＶ１を符号化部１５に出力する。
　切替スイッチ６は、図示せぬ符号化制御部の指示の下、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１又は動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１を選択し、その選択した予測画像をＰＰ１として減算器７に出力する。
　減算器７は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と切替スイッチ６から出力された予測画像ＰＰ１との差分画像ＤＰ１を求め、その差分画像ＤＰ１を変換・量子化部８に出力する。
　変換・量子化部８は、減算器７から差分画像ＤＰ１を受けると、その差分画像ＤＰ１の変換処理（例えば、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施する。
　また、変換・量子化部８は、図示せぬ符号化制御部から与えられた量子化パラメータＱＰ１を用いて、その差分画像ＤＰ１の変換係数を量子化することで、量子化後の変換係数である直交変換係数ＣＯＥＦ１（差分画像の圧縮データ）を逆変換・逆量子化部９及び符号化部１５に出力する。また、量子化パラメータＱＰ１を逆変換・逆量子化部９、デブロッキングフィルタ部１１及び符号化部１５に出力する。
　逆変換・逆量子化部９は、変換・量子化部８から量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１を受けると、その量子化パラメータＱＰ１を用いて、その直交変換係数ＣＯＥＦ１を逆量子化し、逆量子化後の直交変換係数ＣＯＥＦ１の逆変換処理（例えば、逆ＫＬ変換等の逆変換処理）を実施することで、その逆変換処理結果である差分画像ＤＰ２を加算器１０に出力する。
　加算器１０は、切替スイッチ６から出力された予測画像ＰＰ１と逆変換・逆量子化部９から出力された差分画像ＤＰ２を加算することで、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を生成し、その局部復号画像ＢＤＦＬＤＰ１をデブロッキングフィルタ部１１に出力する。
　デブロッキングフィルタ部１１は、加算器１０から局部復号画像ＢＤＢＬＤＰ１を受けると、変換・量子化部８から出力された量子化パラメータＱＰ１を用いて、その局部復号画像ＢＤＢＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１をＳＡＯ処理部１２に出力する。
　デブロッキングフィルタ処理は公知の技術であるため、ここでは詳細な説明を省略する。
　ＳＡＯ処理部１２は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、後述するＳＡＯパラメータ決定部１４から出力されるＳＡＯパラメータＳＡＯＰＡＲＡＭ１を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施し、ＳＡＯ処理後の局部復号画像ＬＤＰ１を局部復号画像メモリ１３に格納する。ＳＡＯ処理の詳細は、非特許文献３に記載されている。
　ＳＡＯパラメータ決定部１４は、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。
　図３はこの発明の実施の形態１による画像符号化装置のＳＡＯパラメータ決定部１４の処理内容を示すフローチャートである。
　以下、図３を参照しながら、ＳＡＯパラメータ決定部１４の処理内容を具体的に説明する。
　ＳＡＯ処理には、２種類のオフセット（エッジオフセットＥＯ、バンドオフセットＢＯ（Ｂａｎｄ　Ｏｆｆｓｅｔ））があり、画像符号化装置は、エッジオフセットＥＯ又はバンドオフセットＢＯを適応的に使い分ける必要がある。
　非特許文献３の１７５７頁のＦｉｇ.４には、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利な例が開示されており、非特許文献３の１７５８頁のＦｉｇ.６には、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利な例が開示されている。
　エッジオフセットＥＯには、４個のクラスがあり（非特許文献３の１７５７頁のＦｉｇ．２を参照）、画像符号化装置は、４個のクラスを適応的に使い分ける必要がある。
　また、エッジオフセットＥＯには、４つのカテゴリ（１）～（４）があり、画像符号化装置は、４つのカテゴリ（１）～（４）のオフセット値（絶対値）を決定する必要がある。
　バンドオフセットＢＯの場合、画素値を複数のバンド位置に分類して、オフセットを適用するバンド位置を決定する必要がある（非特許文献３の１７５８頁のＦｉｇ．５を参照）。
　まず、ＳＡＯパラメータ決定部１４は、入力画像特徴量抽出部２から出力された入力画像ＩＰ１の画像特徴量ＦＶ１を入力する。
　エッジオフセットＥＯの場合、画素値の変動が大きい場合に有効であるため、入力画像特徴量抽出部２では、入力画像ＩＰ１の画像特徴量ＦＶ１として、入力画像ＩＰ１の画素分散値、画素偏差値、隣接画素との差分絶対値の総和又は最大値、ラプラシアンなどを算出しているものとする。
　ＳＡＯパラメータ決定部１４は、入力画像ＩＰ１の画像特徴量ＦＶ１を入力すると、その画像特徴量ＦＶ１が、画素値の変動が所定の変動量より大きい旨を示していれば、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する。一方、画素値の変動が所定の変動量より小さい旨を示していれば、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する（ステップＳＴ１１）。
　ＳＡＯパラメータ決定部１４は、エッジオフセットＥＯの方が有利であると判定すると（ステップＳＴ１１でＹｅｓの場合）、切替スイッチ６により選択される予測画像ＰＰ１が、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１である場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、エッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する（ステップＳＴ１２）。
　一方、切替スイッチ６により選択される予測画像ＰＰ１が、動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１である場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定する。
　ＳＡＯパラメータ決定部１４は、垂直方向の高周波成分の方が大きければ、エッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する（ステップＳＴ１２）。
　次に、ＳＡＯパラメータ決定部１４は、入力画像メモリ１から入力画像ＩＰ１を読み出し、入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１を入力する。
　そして、ＳＡＯパラメータ決定部１４は、入力画像ＩＰ１とフィルタ処理後の入力画像ＩＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値と、負値の画素値の平均値とを算出する。
　ＳＡＯパラメータ決定部１４は、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する（ステップＳＴ１３）。
　ＳＡＯパラメータ決定部１４は、４個のクラスの中から最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択するとともに、カテゴリ（１）～（４）のオフセット値を決定すると、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ１４）。
　これにより、ＳＡＯ処理部１２では、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。
　ＳＡＯパラメータ決定部１４は、バンドオフセットＢＯの方が有利であると判定すると（ステップＳＴ１１でＮｏの場合）、ＳＡＯ処理を実施しない旨を示すＳＡＯパラメータＳＡＯＰＡＲＡＭ１をＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ１５）。この場合、ＳＡＯ処理部１２では、ＳＡＯ処理を実施しない。
　なお、エッジオフセットＥＯでは、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１に対して、ローパスフィルタをかけるのと同様の効果が得られるため、リンギングノイズ等が軽減される。このため、ＳＡＯ処理をエッジオフセットＥＯに限定して、バンドオフセットＢＯを適用しなくても、多くの入力画像に対して圧縮性能を得ることが可能である。
　符号化部１５は、変換・量子化部８から出力された量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１と、イントラ予測部４から出力されたイントラ情報ＭＯＤＥ１又は動き補償予測部５から出力された動きベクトルＭＶ１と、ＳＡＯパラメータ決定部１４から出力されたＳＡＯパラメータＳＡＯＰＡＲＡＭ１とを可変長符号化して、その量子化パラメータＱＰ１と、直交変換係数ＣＯＥＦ１と、イントラ情報ＭＯＤＥ１又は動きベクトルＭＶ１と、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１との符号化データが多重化されているビットストリームＣＤ１を生成する。
　以上で明らかなように、この実施の形態１によれば、ＳＡＯパラメータ決定部１４が、エッジオフセットＥＯにおける４個のクラスの中から、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択して、そのＥＯクラスをＳＡＯパラメータとして決定し、または、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に対応するＥＯクラスをＳＡＯパラメータとして決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果を奏する。
　また、この実施の形態１によれば、ＳＡＯパラメータ決定部１４が、入力画像ＩＰ１と入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１との差分にしたがってＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータとして決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果を奏する。
　即ち、Ｈ．２６４規格やＨ．２６５規格などの映像符号化標準に準拠している画像符号化装置では、イントラ予測部４や動き補償予測部５は必須の機能部であり、入力画像特徴量抽出部２や入力画像フィルタ部３は、多くの画像符号化装置に備わっている機能部である。
　この実施の形態１では、それらの機能部で算出されたパラメータをＳＡＯパラメータセットの決定に利用するとともに、ＳＡＯ処理部１２の機能をエッジオフセットＥＯに限定しているので、回路規模の増加を抑えてＳＡＯパラメータの決定を行うことができる効果を奏する。
実施の形態２．
　図４はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図４において、図１と同一符号は同一または相当部分を示すので説明を省略する。
　デブロッキング後画像フィルタ部２１はデブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１に対するフィルタ処理を実施し、フィルタ処理後の画像であるデブロッキング後画像ＡＤＢＬＤＰＦ１をＳＡＯパラメータ決定部２３に出力する処理を実施する。
　デブロッキング後画像フィルタ部２１がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。
　デブロッキング後画像特徴量抽出部２２はデブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を抽出し、その画像特徴量ＦＶ１１をＳＡＯパラメータ決定部２３に出力する処理を実施する。
　ＳＡＯパラメータ決定部２３はＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。また、ＳＡＯ処理のバンドオフセットＢＯにおけるバンド位置を決定するとともに、バンドオフセットＢＯのオフセット値を決定する処理を実施する。
　即ち、ＳＡＯパラメータ決定部２３は入力画像メモリ１により格納された入力画像ＩＰ１とデブロッキング後画像フィルタ部２１によるデブロッキングフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１（または、入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１）との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値を算出するとともに、負値の画素値の平均値を算出し、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する処理を実施する。
　また、ＳＡＯパラメータ決定部２３は切替スイッチ６によりイントラ予測画像ＩＮＴＲＡＰＰ１が選択される場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する処理を実施する。
　一方、切替スイッチ６によりインター予測画像ＩＮＴＥＲＰＰ１が選択される場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定し、垂直方向の高周波成分の方が大きければ、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する処理を実施する。
　ＳＡＯパラメータ決定部２３はＳＡＯ処理のバンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキング後画像特徴量抽出部２２により抽出された画像特徴量ＦＶ１１に対応するバンド位置を選択する処理を実施する。
　また、ＳＡＯパラメータ決定部２３は入力画像特徴量抽出部２により抽出された入力画像ＩＰ１の画像特徴量ＦＶ１と、デブロッキング後画像特徴量抽出部２２により抽出されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１との差分にしたがってバンドオフセットＢＯのオフセット値を決定する処理を実施する。
　ＳＡＯパラメータ決定部２３は選択したＥＯクラス及びカテゴリ（１）～（４）のオフセット値、または、選択したバンド位置及びバンドオフセットＢＯのオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理部１２及び符号化部１５に出力する処理を実施する。
　図４の例では、画像符号化装置の構成要素である入力画像メモリ１、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、局部復号画像メモリ１３、符号化部１５、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
　画像符号化装置をコンピュータで構成する場合、図６に示すように、入力画像メモリ１及び局部復号画像メモリ１３をコンピュータのメモリ５１上に構成するとともに、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、符号化部１５、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３の処理内容を記述しているプログラムをコンピュータのメモリ５１に格納し、当該コンピュータのＣＰＵなどのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。
　次に動作について説明する。
　デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３以外は、上記実施の形態１と同様であるため、ここでは、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３の処理内容だけを説明する。
　デブロッキング後画像フィルタ部２１は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、その局部復号画像ＡＤＦＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の画像であるデブロッキング後画像ＡＤＢＬＤＰＦ１をＳＡＯパラメータ決定部２３に出力する。
　デブロッキング後画像フィルタ部２１がデブロッキングフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。
　なお、フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。
　デブロッキング後画像特徴量抽出部２２は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、その局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を抽出し、その画像特徴量ＦＶ１１をＳＡＯパラメータ決定部２３に出力する。
　エッジオフセットＥＯの場合、画素値の変動が大きい場合に有効であるため、デブロッキング後画像特徴量抽出部２２では、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１として、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素分散値、画素偏差値、隣接画素との差分絶対値の総和又は最大値、ラプラシアン、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値などを算出するものとする。
　ＳＡＯパラメータ決定部２３は、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、エッジオフセットＥＯにおけるＥＯクラス、エッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値、バンドオフセットＢＯにおけるバンド位置及びバンドオフセットＢＯのオフセット値を決定する処理を実施する。
　図５はこの発明の実施の形態２による画像符号化装置のＳＡＯパラメータ決定部２３の処理内容を示すフローチャートである。
　以下、図５を参照しながら、ＳＡＯパラメータ決定部２３の処理内容を具体的に説明する。
　まず、ＳＡＯパラメータ決定部２３は、デブロッキング後画像特徴量抽出部２２から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を入力する。
　ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を入力すると、その画像特徴量ＦＶ１１が、画素値の変動が所定の変動量より大きい旨を示していれば、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する。一方、画素値の変動が所定の変動量より小さい旨を示していれば、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する（ステップＳＴ２１）。
　ここでは、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に基づいて、画素値の変動が所定の変動量より大きいか否かを判断しているが、上記実施の形態１と同様に、入力画像特徴量抽出部２から出力された入力画像ＩＰ１の画像特徴量ＦＶ１に基づいて、画素値の変動が所定の変動量より大きいか否かを判断するようにしてもよい。
　ＳＡＯパラメータ決定部２３は、エッジオフセットＥＯの方が有利であると判定すると（ステップＳＴ２１でＹｅｓの場合）、図１のＳＡＯパラメータ決定部１４と同様に、切替スイッチ６により選択される予測画像ＰＰ１が、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１である場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、エッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する（ステップＳＴ２２）。
　一方、切替スイッチ６により選択される予測画像ＰＰ１が、動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１である場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定する。
　ＳＡＯパラメータ決定部２３は、垂直方向の高周波成分の方が大きければ、エッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する（ステップＳＴ２２）。
　次に、ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１と、デブロッキング後画像フィルタ部２１によるフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１とを入力する。
　そして、ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１とフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値と、負値の画素値の平均値とを算出する。
　ＳＡＯパラメータ決定部２３は、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する（ステップＳＴ２３）。
　ＳＡＯパラメータ決定部２３は、４個のクラスの中から最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択するとともに、カテゴリ（１）～（４）のオフセット値を決定すると、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２４）。
　これにより、ＳＡＯ処理部１２では、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。
　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯの方が有利であると判定すると（ステップＳＴ２１でＮｏの場合）、デブロッキング後画像特徴量抽出部２２から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に基づいて、バンドオフセットＢＯを適用するか否かを判定する（ステップＳＴ２５）。
　例えば、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１である画素値ヒストグラムから、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１における画素値のばらつき具合を判定し、画素値のばらつきが予め設定されている閾値より小さければ、バンドオフセットＢＯを適用するものとする。
　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯを適用する場合（ステップＳＴ２５でＹｅｓの場合）、ＳＡＯ処理のバンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に対応するバンド位置を選択する（ステップＳＴ２６）。
　以下、バンド位置の選択処理の一例を説明する。
　ただし、ここでは、説明の簡単化のため、バンドオフセットＢＯにおけるバンドが０～２５５の幅を有し、そのバンドが８ビット単位に３２分割されている場合を想定する。
　即ち、バンドオフセットＢＯにおける各バンド位置は、０～７，８～１５，１６～２３，２４～３１，・・・，２４８～２５５である。
　このとき、画像特徴量ＦＶ１１が画素平均値であり、その画素平均値が例えば“２５”であれば、“２５”を略中心に含んでいる連続している４個のバンド位置（８～１５，１６～２３，２４～３１，２５～３９のバンド位置）を選択する。
　また、画素平均値が例えば“２４１”であれば、“２４１”を略中心に含んでいる連続している４個のバンド位置（２２４～２３１，２３２～２３９，２４０～２４７，２４８～２５５のバンド位置）を選択する。
　ここでは、画像特徴量ＦＶ１１が画素平均値である例を示しているが、画像特徴量ＦＶ１１が画素平均値に限るものではなく、例えば、画像特徴量ＦＶ１１である画素値ヒストグラムにしたがってバンド位置を選択するようにしてもよい。
　次に、ＳＡＯパラメータ決定部２３は、入力画像特徴量抽出部２により抽出された入力画像ＩＰ１の画像特徴量ＦＶ１と、デブロッキング後画像特徴量抽出部２２により抽出されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１との差分にしたがってバンドオフセットＢＯのオフセット値を決定する（ステップＳＴ２７）。
　例えば、入力画像ＩＰ１の画像特徴量ＦＶ１が入力画像ＩＰ１の画素平均値、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１がデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値である場合、入力画像ＩＰ１の画素平均値とデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値との差分ｄを算出する。
　そして、差分ｄに対して予め設定された定数αを乗算することで、バンドオフセットＢＯのオフセット値（＝ｄ×α）を算出する。
　ここでは、入力画像単位の画素平均値間の差分ｄを算出しているが、バンド毎の画素平均値を求めて、バンド毎に入力画像ＩＰ１の画素平均値とデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値との差分ｄを算出することで、バンド毎にバンドオフセットＢＯのオフセット値（＝ｄ×α）を算出するようにしてもよい。
　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に対応するバンド位置を選択するとともに、バンドオフセットＢＯのオフセット値を決定すると、その選択したバンド位置とバンドオフセットＢＯのオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２８）。
　これにより、ＳＡＯ処理部１２では、その選択したバンド位置とバンドオフセットＢＯのオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。
　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯを適用しない場合（ステップＳＴ２５でＮｏの場合）、ＳＡＯ処理を実施しない旨を示すＳＡＯパラメータＳＡＯＰＡＲＡＭ１をＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２９）。この場合、ＳＡＯ処理部１２では、ＳＡＯ処理を実施しない。
　Ｈ．２６４規格やＨ．２６５規格などの映像符号化標準に準拠している画像符号化装置では、イントラ予測部４や動き補償予測部５は必須の機能部であり、入力画像特徴量抽出部２、デブロッキング後画像フィルタ部２１やデブロッキング後画像特徴量抽出部２２は、多くの画像符号化装置に備わっている機能部である。
　この実施の形態２では、それらの機能部で算出されたパラメータをＳＡＯパラメータセットの決定に利用しているので、回路規模の増加を抑えてＳＡＯパラメータの決定を行うことができる効果を奏する。
実施の形態３．
　上記実施の形態１，２では、イントラ予測部４が、入力画像メモリ１により格納された入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する３３方向の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択するものを示したが、方向性イントラ予測に属する３３方向の方向性イントラ予測モードのうち、線形補間が不要な方向性イントラ予測モード（４５度方向、９０度方向、１３５度方向、１８０度方向、２２５度方向の方向性イントラ予測モード）の中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択するようにしてもよい。
　最適な方向性イントラ予測モードＡＮＧ１の選択対象を３３方向の方向性イントラ予測モードから、５方向の方向性イントラ予測モード（４５度方向、９０度方向、１３５度方向、１８０度方向、２２５度方向の方向性イントラ予測モード）に制限することで、更に回路規模を削減することができる。
　即ち、最適な方向性イントラ予測モードＡＮＧ１の選択対象を制限することで、例えば、非特許文献１の１２３頁に記載されているＴａｂｌｅ８－４におけるＩｎｔｒａＰｒｅｄＡｎｇｌｅが、｜ＩｎｔｒａＰｒｅｄＡｎｇｌｅ｜＝３２になるため、非特許文献１の１２５頁に記載されている式（８－５０）、（８－５１）、（８－５８）及び（８－５９）の乗算が不要になり、さらに、式（８－５１）及び（８－５９）において、ｉＦａｃｔ＝０になるため、１２５頁に記載されている式（８－５２）及び（８－６０）の実装が不要になる。従って、回路規模を削減することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る画像符号化装置は、入力画像を圧縮符号化するに際して、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装する必要があるものに適している。
　１　入力画像メモリ、２　入力画像特徴量抽出部、３　入力画像フィルタ部、４　イントラ予測部（イントラ予測モード選択部）、５　動き補償予測部（直交変換部）、６　切替スイッチ、７　減算器（データ圧縮部）、８　変換・量子化部（データ圧縮部）、９　逆変換・逆量子化部（局部復号画像生成部）、１０　加算器（局部復号画像生成部）、１１　デブロッキングフィルタ部、１２　ＳＡＯ処理部、１３　局部復号画像メモリ、１４　ＳＡＯパラメータ決定部、１５　符号化部、２１　デブロッキング後画像フィルタ部、２２　デブロッキング後画像特徴量抽出部、２３　ＳＡＯパラメータ決定部、５１　メモリ、５２　プロセッサ。

Claims (9)

  1. 　入力画像と予測画像の差分画像を圧縮して、前記差分画像の圧縮データを出力するデー
    タ圧縮部と、
    　前記データ圧縮部より出力された圧縮データから前記差分画像を復元し、前記差分画像と前記予測画像の加算画像である局部復号画像を生成する局部復号画像生成部と、
    　ＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）パラメータを用いて、前記局部復号画像生成部により生成された局部復号画像の符号化歪みを補正するＳＡＯ処理を実施するＳＡＯ処理部と、
    　方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、前記予測画像の生成に用いられる方向性イントラ予測モードを選択するイントラ予測モード選択部と、
    　前記ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、前記イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスを前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定するＳＡＯパラメータ決定部と
    　を備えた画像符号化装置。
  2. 　前記イントラ予測モード選択部は、前記方向性イントラ予測に属する複数の方向性イントラ予測モードのうち、線形補間が不要な方向性イントラ予測モードの中から、前記予測画像の生成に用いられる方向性イントラ予測モードを選択することを特徴とする請求項１記載の画像符号化装置。
  3. 　前記入力画像に対するフィルタ処理を実施する入力画像フィルタ部を備え、
    　前記ＳＡＯパラメータ決定部は、前記入力画像と前記入力画像フィルタ部によるフィルタ処理後の入力画像との差分にしたがって前記ＳＡＯ処理のエッジオフセットにおける複数のカテゴリのオフセット値を決定し、前記複数のカテゴリのオフセット値を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
  4. 　前記予測画像を生成する際に探索する動きベクトルが指し示す局部復号画像と前記入力画像の差分画像を直交変換して、前記差分画像の直交変換係数を出力する直交変換部を備え、
    　前記ＳＡＯパラメータ決定部は、前記ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、前記直交変換部から出力された直交変換係数に対応するクラスを選択し、当該クラスを前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
  5. 　前記入力画像の特徴量を抽出する入力画像特徴量抽出部を備え、
    　前記ＳＡＯパラメータ決定部は、前記入力画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるエッジオフセットとバンドオフセットのうち、どちらのオフセットが前記局部復号画像の符号化歪みの補正に有利であるかを判定し、前記バンドオフセットより前記エッジオフセットの方が有利である場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項１記載の画像符号化装置。
  6. 　前記局部復号画像生成部により生成された局部復号画像に対するデブロッキングフィルタ処理を実施するデブロッキングフィルタ部と、
    　前記デブロッキングフィルタ部によるデブロッキングフィルタ処理後の局部復号画像の特徴量を抽出するデブロッキング後画像特徴量抽出部とを備え、
    　前記ＳＡＯパラメータ決定部は、前記ＳＡＯ処理のバンドオフセットにおける複数のバンド位置の中から、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に対応するバンド位置を選択し、当該バンド位置を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
  7. 　前記ＳＡＯパラメータ決定部は、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるバンドオフセットを適用するか否かを判定し、前記バンドオフセットを適用する場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項６記載の画像符号化装置。
  8. 　前記入力画像の特徴量を抽出する入力画像特徴量抽出部と、
    　前記局部復号画像生成部により生成された局部復号画像に対するデブロッキングフィルタ処理を実施するデブロッキングフィルタ部と、
    　前記デブロッキングフィルタ部によるデブロッキングフィルタ処理後の局部復号画像の特徴量を抽出するデブロッキング後画像特徴量抽出部とを備え、
    　前記ＳＡＯパラメータ決定部は、前記入力画像特徴量抽出部により抽出された特徴量と前記デブロッキング後画像特徴量抽出部により抽出された特徴量の差分にしたがって前記ＳＡＯ処理のバンドオフセットのオフセット値を決定し、前記バンドオフセットのオフセット値を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
  9. 　前記ＳＡＯパラメータ決定部は、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるバンドオフセットを適用するか否かを判定し、前記バンドオフセットを適用する場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項８記載の画像符号化装置。
PCT/JP2014/082132 2013-12-04 2014-12-04 画像符号化装置 Ceased WO2015083796A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015551562A JP5951144B2 (ja) 2013-12-04 2014-12-04 画像符号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-251017 2013-12-04
JP2013251017 2013-12-04

Publications (1)

Publication Number Publication Date
WO2015083796A1 true WO2015083796A1 (ja) 2015-06-11

Family

ID=53273544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082132 Ceased WO2015083796A1 (ja) 2013-12-04 2014-12-04 画像符号化装置

Country Status (2)

Country Link
JP (1) JP5951144B2 (ja)
WO (1) WO2015083796A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
US10419775B2 (en) 2015-10-30 2019-09-17 Canon Kabushiki Kaisha Moving image encoding apparatus, image capturing apparatus, moving image encoding method, and non-transitory computer readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250165696A (ko) 2017-03-22 2025-11-26 한양대학교 산학협력단 적응적인 화소 분류 기준에 따른 인루프 필터링 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287315A (ja) * 2005-03-31 2006-10-19 Sanyo Electric Co Ltd 画像符号化方法および装置、画像復号方法
WO2012029181A1 (ja) * 2010-09-03 2012-03-08 株式会社 東芝 動画像符号化方法及び復号化方法、符号化装置及び復号化装置
WO2013046990A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
WO2013073184A1 (ja) * 2011-11-15 2013-05-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
WO2013154026A1 (ja) * 2012-04-13 2013-10-17 ソニー株式会社 画像処理装置および方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287315A (ja) * 2005-03-31 2006-10-19 Sanyo Electric Co Ltd 画像符号化方法および装置、画像復号方法
WO2012029181A1 (ja) * 2010-09-03 2012-03-08 株式会社 東芝 動画像符号化方法及び復号化方法、符号化装置及び復号化装置
WO2013046990A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
WO2013073184A1 (ja) * 2011-11-15 2013-05-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
WO2013154026A1 (ja) * 2012-04-13 2013-10-17 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAEHWAN JOO ET AL.: "Fast sample adaptive offset encoding algorithm for HEVC based on intra prediction mode", 2013 IEEE THIRD INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS, 9 September 2013 (2013-09-09), BERLIN, pages 50 - 53, XP032549033, DOI: doi:10.1109/ICCE-Berlin.2013.6698011 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
US10477207B2 (en) 2014-04-23 2019-11-12 Sony Corporation Image processing apparatus and image processing method
US10419775B2 (en) 2015-10-30 2019-09-17 Canon Kabushiki Kaisha Moving image encoding apparatus, image capturing apparatus, moving image encoding method, and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
JP5951144B2 (ja) 2016-07-13
JPWO2015083796A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP7129958B2 (ja) 動画像符号化データ
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
JP6164660B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
EP1675403B1 (en) Moving-picture compression encoding method, apparatus and program
US20070206679A1 (en) Motion Image Encoding Method and Motion Image Decoding Method
EP3751856B1 (en) Methods for motion compensated prediction
CN104067623A (zh) 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
JPWO2012008054A1 (ja) 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
TWI853402B (zh) 視訊編解碼方法及相關裝置
KR20170072637A (ko) 영상 부호화/복호화 방법 및 그 장치
JP6459761B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2004080786A (ja) 離散コサイン変換係数を参照する動き推定方法及び装置
JP5951144B2 (ja) 画像符号化装置
EP3850842A1 (en) Methods and apparatuses of quantization scaling of transform coefficients in video coding system
WO2011125314A1 (ja) 動画像符号化装置および動画像復号装置
JP2011223319A (ja) 動画像符号化装置および動画像復号装置
US11778228B2 (en) Moving image encoding device, moving image encoding method, moving image decoding device, and moving image decoding method
JP5868157B2 (ja) 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
JP2017073602A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6402520B2 (ja) 符号化装置、方法、プログラム及び機器
JP2021190718A (ja) 画像符号化装置、画像復号装置及びこれらのプログラム
JP6485045B2 (ja) インデックス演算装置、プログラム及び方法
WO2017104010A1 (ja) 動画像符号化装置および動画像符号化方法
CN105049846A (zh) 图像和视频编解码的方法和设备
JP2010041161A (ja) 画像復号化装置、画像復号化方法、画像符号化装置、画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14867956

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015551562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14867956

Country of ref document: EP

Kind code of ref document: A1