[go: up one dir, main page]

WO2010123057A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2010123057A1
WO2010123057A1 PCT/JP2010/057128 JP2010057128W WO2010123057A1 WO 2010123057 A1 WO2010123057 A1 WO 2010123057A1 JP 2010057128 W JP2010057128 W JP 2010057128W WO 2010123057 A1 WO2010123057 A1 WO 2010123057A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
adjacent pixel
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/057128
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2010800174643A priority Critical patent/CN102396231A/zh
Priority to US13/264,242 priority patent/US20120121019A1/en
Publication of WO2010123057A1 publication Critical patent/WO2010123057A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of performing secondary prediction even when adjacent pixels adjacent to a reference block exist outside the image frame.
  • MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image encoding system, and is a standard that covers both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images.
  • MPEG2 is currently widely used in a wide range of applications for professional and consumer applications.
  • a code amount (bit rate) of 4 to 8 Mbps is assigned to an interlaced scanned image having a standard resolution of 720 ⁇ 480 pixels.
  • a high resolution interlaced scanned image having 1920 ⁇ 1088 pixels is assigned a code amount (bit rate) of 18 to 22 Mbps.
  • bit rate code amount
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but it did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. With the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
  • H. The standardization of 26L (ITU-T Q6 / 16 ⁇ VCEG) is in progress.
  • H. 26L is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding.
  • this H. Based on 26L, H. Standardization to achieve higher coding efficiency by incorporating functions that are not supported by 26L is performed as JointJModel of Enhanced-Compression Video Coding.
  • H. H.264 and MPEG-4 Part 10 Advanced Video Coding, hereinafter referred to as H.264 / AVC).
  • Non-Patent Document 1 proposes a secondary prediction method that further improves coding efficiency in inter prediction. This secondary prediction method will be described with reference to FIG.
  • a target frame and a reference frame are shown, and a target block A is shown in the target frame.
  • difference information (remaining information) between the target block A and the block B associated with the target block A by the motion vector mv Difference) is calculated.
  • the address of each pixel in the adjacent pixel group A ′ is obtained from the upper left address (x, y) of the target block A. Further, the address of each pixel of the adjacent pixel group B ′ is obtained from the upper left address (x + mv_x, y + mv_y) of the block B associated with the target block A by the motion vector mv (mv_x, mv_y). Using these addresses, difference information of the adjacent pixel group B ′ is calculated.
  • the difference between the calculated difference information regarding the target block and the difference information regarding adjacent pixels is H.264.
  • Intra prediction in the H.264 / AVC format is performed, whereby secondary difference information is generated.
  • the generated secondary difference information is orthogonally transformed and quantized, encoded with the compressed image, and sent to the decoding side.
  • the target block A always exists in the image frame of the target frame, but whether or not the reference block B exists in the image frame of the reference frame depends on the address of the target block A and the value of the motion vector. Determined.
  • motion vectors mv1 and mv2 are detected for the target block A in the reference frame.
  • a part of the reference block B1 associated with the target block A by the motion vector mv1 protrudes outside at the lower part of the image frame.
  • the adjacent pixel group B1 ′ adjacent to the reference block B1 also has its one. The part protrudes outside the lower part of the image frame.
  • the reference block B2 associated with the target block A by the motion vector mv2 exists in the image frame, but a part of the adjacent pixel group B2 ′ adjacent to the reference block B2 is outside in the right part of the image frame. It sticks out.
  • H.264 / AVC intra prediction is diverted to perform secondary prediction.
  • H. In the intra prediction of the H.264 / AVC system, it is not necessary to determine whether or not the adjacent pixel can be used. The intra prediction of 264 / AVC method could not be diverted.
  • the present invention has been made in view of such a situation, and makes it possible to perform secondary prediction even when adjacent pixels adjacent to a reference block exist outside the image frame.
  • the image processing apparatus uses the relative address of the target adjacent pixel adjacent to the target block in the target frame, so that the reference adjacent pixel adjacent to the reference block in the reference frame is the image frame of the reference frame.
  • a determination unit that determines whether the reference adjacent pixel does not exist in the image frame, and an end point processing unit that performs an end point process on the reference adjacent pixel when the determination unit determines that the reference adjacent pixel does not exist within the image frame;
  • Secondary difference information by performing prediction between difference information between the target block and the reference block and difference information between the target adjacent pixel and the reference adjacent pixel that has been subjected to end point processing by the end point processing means.
  • Secondary prediction means for generating the second difference information, and encoding means for encoding the secondary difference information generated by the secondary prediction means.
  • the address of the target block (x, y), the motion vector information (dx, dy) by which the target block refers to the reference block, the relative address ( ⁇ x, ⁇ y) of the target adjacent pixel, and the relative of the reference adjacent pixel A calculating unit that calculates an address (x + dx + ⁇ x, y + dy + ⁇ y); and the determination unit includes a relative address (x + dx + ⁇ x, y) of the reference adjacent pixel calculated by the calculating unit. It is possible to determine whether (+ dy + ⁇ y) exists in the image frame.
  • the end point processing means when the pixel value is represented by n bits, x + dx + ⁇ x ⁇ 0 or y + dy + ⁇ y ⁇ 0
  • the end point processing with the pixel value of 2 n-1 can be performed on the reference adjacent pixel that holds.
  • the end point processing means uses WIDTH as the number of pixels in the horizontal direction of the image frame, x + dx + ⁇ x> WIDTH-1 When the above holds, the end point processing using the pixel value indicated by the address (WIDTH ⁇ 1, y + dy + ⁇ y) as the pixel value of the reference adjacent pixel can be performed.
  • the end point processing means has HEIGHT as the number of pixels in the vertical direction of the image frame, y + dy + ⁇ y> HEIGHT-1
  • HEIGHT the number of pixels in the vertical direction of the image frame
  • the end point processing means WIDTH is the number of pixels in the horizontal direction of the image frame
  • HEIGHT is the number of pixels in the vertical direction of the image frame
  • the end point processing means can perform the end point processing for generating a pixel value by mirror image processing with the boundary of the image frame symmetrical with respect to the reference adjacent pixel that does not exist in the image frame.
  • the secondary prediction unit performs prediction using difference information between the target adjacent pixel and the reference adjacent pixel subjected to end point processing by the end point processing unit, and generates an intra prediction image for the target block.
  • Means, and secondary difference generation means for generating the secondary difference information by subtracting the difference information between the target block and the reference block and the intra prediction image generated by the intra prediction means. be able to.
  • the secondary prediction unit when the determination unit determines that the reference adjacent pixel is present in the image frame, difference information between the target block and the reference block, the target adjacent pixel and the reference adjacent pixel And the difference information can be predicted.
  • the image processing apparatus uses the relative address of the target adjacent pixel adjacent to the target block in the target frame, so that the reference adjacent pixel adjacent to the reference block in the reference frame is It is determined whether or not the reference adjacent pixel exists in the image frame of the reference frame, and if it is determined that the reference adjacent pixel does not exist in the image frame, end point processing is performed on the reference adjacent pixel, and the target block and the reference
  • the secondary difference information is generated by performing prediction between the difference information between the block and the difference information between the target adjacent pixel and the reference adjacent pixel on which the end point processing has been performed, and the generated secondary difference Encoding the difference information.
  • the image processing apparatus uses the decoding means for decoding the image of the target block in the encoded target frame and the relative address of the target adjacent pixel adjacent to the target block, A determination unit that determines whether or not a reference adjacent pixel adjacent to the reference block exists in the image frame of the reference frame, and the determination unit determines that the reference adjacent pixel does not exist in the image frame; By performing quadratic prediction using end point processing means for performing end point processing on the reference adjacent pixel, and difference information between the target adjacent pixel and the reference adjacent pixel subjected to end point processing by the end point processing means, Secondary prediction means for generating a prediction image, the image of the target block, the prediction image generated by the secondary prediction means, and the image of the reference block Adding to, and a computing means for generating a decoded image of the current block.
  • the address of the target block (x, y), the motion vector information (dx, dy) by which the target block refers to the reference block, the relative address ( ⁇ x, ⁇ y) of the target adjacent pixel, and the relative of the reference adjacent pixel A calculating unit that calculates an address (x + dx + ⁇ x, y + dy + ⁇ y); and the determination unit includes a relative address (x + dx + ⁇ x, y) of the reference adjacent pixel calculated by the calculating unit. It is possible to determine whether (+ dy + ⁇ y) exists in the image frame.
  • the end point processing means when the pixel value is represented by n bits, x + dx + ⁇ x ⁇ 0 or y + dy + ⁇ y ⁇ 0
  • the end point processing with the pixel value of 2 n-1 can be performed on the reference adjacent pixel that holds.
  • the end point processing means uses WIDTH as the number of pixels in the horizontal direction of the image frame, x + dx + ⁇ x> WIDTH-1 When the above holds, the end point processing using the pixel value indicated by the address (WIDTH ⁇ 1, y + dy + ⁇ y) as the pixel value of the reference adjacent pixel can be performed.
  • the end point processing means has HEIGHT as the number of pixels in the vertical direction of the image frame, y + dy + ⁇ y> HEIGHT-1
  • HEIGHT the number of pixels in the vertical direction of the image frame
  • the end point processing means WIDTH is the number of pixels in the horizontal direction of the image frame
  • HEIGHT is the number of pixels in the vertical direction of the image frame
  • the end point processing means can perform the end point processing for generating a pixel value by mirror image processing with the boundary of the image frame symmetrical with respect to the reference adjacent pixel that does not exist in the image frame.
  • the secondary prediction unit generates a predicted image by performing secondary prediction using difference information between the target adjacent pixel and the reference adjacent pixel subjected to the end point processing by the end point processing unit. Can be provided.
  • the secondary prediction unit can perform prediction using difference information between the target adjacent pixel and the reference adjacent pixel when the determination unit determines that the reference adjacent pixel exists in the image frame. .
  • the image processing device decodes the image of the target block in the encoded target frame, and uses the relative address of the target adjacent pixel adjacent to the target block, It is determined whether a reference adjacent pixel adjacent to a reference block in a reference frame exists within the image frame of the reference frame, and when it is determined that the reference adjacent pixel does not exist within the image frame, End point processing is performed, and a prediction image is generated by performing secondary prediction using difference information between the target adjacent pixel and the reference adjacent pixel subjected to end point processing by the end point processing unit, and the target block Adding the generated image, the generated predicted image, and the reference block image to generate a decoded image of the target block.
  • the reference adjacent pixel adjacent to the reference block in the reference frame is present in the image frame of the reference frame using the relative address of the target adjacent pixel adjacent to the target block in the target frame. It is determined whether to do it. When it is determined that the reference adjacent pixel does not exist in the image frame, end point processing is performed on the reference adjacent pixel, difference information between the target block and the reference block, and the target adjacent pixel Secondary difference information is generated by performing prediction between the difference information from the reference adjacent pixel on which the end point processing has been performed, and the generated secondary difference information is encoded.
  • the image of the target block in the encoded target frame is decoded and adjacent to the reference block in the reference frame using the relative address of the target adjacent pixel adjacent to the target block. It is determined whether the reference adjacent pixel is present in the image frame of the reference frame. When it is determined that the reference adjacent pixel does not exist in the image frame, end point processing is performed on the reference adjacent pixel, and the target adjacent pixel and the reference adjacent pixel on which the end point processing is performed A prediction image is generated by performing secondary prediction using the difference information, and the image of the target block, the generated prediction image, and the image of the reference block are added to obtain a decoded image of the target block. Generated.
  • each of the above-described image processing apparatuses may be an independent apparatus, or may be an internal block constituting one image encoding apparatus or image decoding apparatus.
  • an image can be encoded. Further, according to the first aspect of the present invention, it is possible to perform secondary prediction even when adjacent pixels adjacent to the reference block exist outside the image frame.
  • an image can be decoded. Further, according to the second aspect of the present invention, it is possible to perform secondary prediction even when adjacent pixels adjacent to the reference block exist outside the image frame.
  • FIG. 32 is a block diagram illustrating a configuration example of a secondary prediction unit in FIG. 31. It is a flowchart explaining the decoding process of the image decoding apparatus of FIG. It is a flowchart explaining the prediction process of step S138 of FIG. It is a flowchart explaining the 2nd order inter prediction process of FIG.34 S179. It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 3 shows a configuration of an embodiment of an image encoding apparatus as an image processing apparatus to which the present invention is applied.
  • This image encoding device 51 is, for example, H.264. 264 and MPEG-4 Part10 (Advanced Video Coding) (hereinafter referred to as H.264 / AVC) format is used for compression coding.
  • H.264 / AVC Advanced Video Coding
  • the image encoding device 51 includes an A / D conversion unit 61, a screen rearrangement buffer 62, a calculation unit 63, an orthogonal transformation unit 64, a quantization unit 65, a lossless encoding unit 66, a storage buffer 67, Inverse quantization unit 68, inverse orthogonal transform unit 69, operation unit 70, deblock filter 71, frame memory 72, switch 73, intra prediction unit 74, motion prediction / compensation unit 75, secondary prediction unit 76, reference adjacency determination unit 77, a predicted image selection unit 78, and a rate control unit 79.
  • the A / D converter 61 A / D converts the input image, outputs it to the screen rearrangement buffer 62, and stores it.
  • the screen rearrangement buffer 62 rearranges the stored frames in the display order in the order of frames for encoding in accordance with GOP (Group of Picture).
  • the calculation unit 63 subtracts the prediction image from the intra prediction unit 74 or the prediction image from the motion prediction / compensation unit 75 selected by the prediction image selection unit 78 from the image read from the screen rearrangement buffer 62, The difference information is output to the orthogonal transform unit 64.
  • the orthogonal transform unit 64 subjects the difference information from the calculation unit 63 to orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform, and outputs the transform coefficient.
  • the quantization unit 65 quantizes the transform coefficient output from the orthogonal transform unit 64.
  • the quantized transform coefficient that is the output of the quantization unit 65 is input to the lossless encoding unit 66, where lossless encoding such as variable length encoding and arithmetic encoding is performed and compressed.
  • the lossless encoding unit 66 acquires information indicating intra prediction from the intra prediction unit 74 and acquires information indicating inter prediction mode from the motion prediction / compensation unit 75. Note that the information indicating intra prediction and the information indicating inter prediction are also referred to as intra prediction mode information and inter prediction mode information, respectively.
  • the lossless encoding unit 66 encodes the quantized transform coefficient, encodes information indicating intra prediction, information indicating inter prediction mode, and the like, and uses it as a part of header information in the compressed image.
  • the lossless encoding unit 66 supplies the encoded data to the accumulation buffer 67 for accumulation.
  • lossless encoding processing such as variable length encoding or arithmetic encoding is performed.
  • variable length coding include H.264.
  • CAVLC Context-Adaptive Variable Length Coding
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the accumulation buffer 67 converts the data supplied from the lossless encoding unit 66 to H.264. As a compressed image encoded by the H.264 / AVC format, for example, it is output to a recording device or a transmission path (not shown) in the subsequent stage.
  • the quantized transform coefficient output from the quantization unit 65 is also input to the inverse quantization unit 68, and after inverse quantization, the inverse orthogonal transform unit 69 further performs inverse orthogonal transform.
  • the output subjected to the inverse orthogonal transform is added to the predicted image supplied from the predicted image selection unit 78 by the calculation unit 70, and becomes a locally decoded image.
  • the deblocking filter 71 removes block distortion from the decoded image, and then supplies the deblocking filter 71 to the frame memory 72 for accumulation.
  • the image before the deblocking filter processing by the deblocking filter 71 is also supplied to the frame memory 72 and accumulated.
  • the switch 73 outputs the reference image stored in the frame memory 72 to the motion prediction / compensation unit 75 or the intra prediction unit 74.
  • an I picture, a B picture, and a P picture from the screen rearrangement buffer 62 are supplied to the intra prediction unit 74 as images to be intra predicted (also referred to as intra processing). Further, the B picture and the P picture read from the screen rearrangement buffer 62 are supplied to the motion prediction / compensation unit 75 as an image to be inter-predicted (also referred to as inter-processing).
  • the intra prediction unit 74 performs intra prediction processing of all candidate intra prediction modes based on the image to be intra predicted read from the screen rearrangement buffer 62 and the reference image supplied from the frame memory 72, and performs prediction. Generate an image.
  • the intra prediction unit 74 calculates cost function values for all candidate intra prediction modes, and selects an intra prediction mode in which the calculated cost function value gives the minimum value as the optimal intra prediction mode.
  • the intra prediction unit 74 supplies the predicted image generated in the optimal intra prediction mode and its cost function value to the predicted image selection unit 78.
  • the intra prediction unit 74 supplies information indicating the optimal intra prediction mode to the lossless encoding unit 66.
  • the lossless encoding unit 66 encodes this information and uses it as a part of header information in the compressed image.
  • the motion prediction / compensation unit 75 performs motion prediction / compensation processing for all candidate inter prediction modes.
  • the inter prediction image read from the screen rearrangement buffer 62 and the reference image from the frame memory 72 are supplied to the motion prediction / compensation unit 75 via the switch 73.
  • the motion prediction / compensation unit 75 detects motion vectors of all candidate inter prediction modes based on the inter-processed image and the reference image, performs compensation processing on the reference image based on the motion vector, and converts the predicted image into a predicted image. Generate.
  • the motion prediction / compensation unit 75 performs secondary prediction on the detected motion vector information, information on the image to be inter-processed (address, etc.), and the primary residual that is the difference between the image to be inter-processed and the generated predicted image. To the unit 76.
  • the secondary prediction unit 76 obtains the address of the reference adjacent pixel adjacent to the reference block associated with the target block based on the motion vector information, and supplies it to the reference adjacent determination unit 77. In response to the determination result from the reference adjacency determination unit 77 input corresponding thereto, the secondary prediction unit 76 performs end point processing, reads out the corresponding pixel from the frame memory 72, and performs secondary prediction processing. .
  • the end point processing is processing for determining a pixel value to be used for a reference adjacent pixel which is determined to be outside the image frame of the reference frame, using another pixel value existing in the image frame.
  • the secondary prediction process is a process for generating secondary difference information (secondary residual) by performing prediction between the primary residual and the difference between the target adjacent pixel and the reference adjacent pixel.
  • the secondary prediction unit 76 uses the secondary residual generated by the secondary prediction process and the information of the intra prediction mode used in the secondary prediction process as information of the intra prediction mode in the secondary prediction. Output to 75.
  • the reference adjacency determination unit 77 determines whether or not the reference adjacent pixel exists within the image frame of the reference frame using the address of the reference adjacent pixel from the motion prediction / compensation unit 75, and the determination result is This is supplied to the secondary prediction unit 76.
  • the motion prediction / compensation unit 75 compares the secondary residuals from the secondary prediction unit 76 to determine an optimal intra prediction mode in the secondary prediction. Also, the motion prediction / compensation unit 75 compares the secondary residual with the primary residual to determine whether or not to perform the secondary prediction processing (that is, encode the secondary residual or Whether to encode the residual). Note that these processes are performed for all candidate inter prediction modes.
  • the motion prediction / compensation unit 75 calculates cost function values for all candidate inter prediction modes. At this time, a cost function value is calculated using a residual determined for each inter prediction mode among the primary residual and the secondary residual. The motion prediction / compensation unit 75 determines a prediction mode that gives the minimum value among the calculated cost function values as the optimal inter prediction mode.
  • the motion prediction / compensation unit 75 supplies the predicted image generated in the optimal inter prediction mode (or the difference between the interpolated image and the secondary residual) and its cost function value to the predicted image selection unit 78.
  • the motion prediction / compensation unit 75 outputs information indicating the optimal inter prediction mode to the lossless encoding unit 66.
  • the lossless encoding unit 66 performs lossless encoding processing such as variable length encoding and arithmetic encoding on the information from the motion prediction / compensation unit 75 and inserts the information into the header portion of the compressed image.
  • the predicted image selection unit 78 determines the optimal prediction mode from the optimal intra prediction mode and the optimal inter prediction mode based on each cost function value output from the intra prediction unit 74 or the motion prediction / compensation unit 75. Then, the predicted image selection unit 78 selects a predicted image in the determined optimal prediction mode and supplies the selected predicted image to the calculation units 63 and 70. At this time, the predicted image selection unit 78 supplies the selection information of the predicted image to the intra prediction unit 74 or the motion prediction / compensation unit 75.
  • the rate control unit 79 controls the rate of the quantization operation of the quantization unit 65 based on the compressed image stored in the storage buffer 67 so that overflow or underflow does not occur.
  • FIG. 3 is a diagram illustrating an example of a block size for motion prediction / compensation in the H.264 / AVC format.
  • macroblocks composed of 16 ⁇ 16 pixels divided into 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixel partitions are sequentially shown from the left. ing. Further, in the lower part of FIG. 4, an 8 ⁇ 8 pixel partition divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel subpartitions is sequentially shown from the left. Yes.
  • one macroblock is divided into any partition of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, or 8 ⁇ 8 pixels, and independent motion vector information is obtained. It is possible to have.
  • an 8 ⁇ 8 pixel partition is divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, or 4 ⁇ 4 pixel subpartitions and has independent motion vector information. Is possible.
  • FIG. It is a figure explaining the prediction and compensation process of the 1/4 pixel precision in a H.264 / AVC system.
  • FIR Finite Impulse Response Filter
  • the position A is the position of the integer precision pixel
  • the positions b, c, and d are the positions of the 1/2 pixel precision
  • the positions e1, e2, and e3 are the positions of the 1/4 pixel precision.
  • max_pix When the input image has 8-bit precision, the value of max_pix is 255.
  • the pixel values at the positions b and d are generated by the following equation (2) using a 6-tap FIR filter.
  • the pixel value at the position c is generated as in the following Expression (3) by applying a 6-tap FIR filter in the horizontal direction and the vertical direction.
  • the clip process is executed only once at the end after performing both the horizontal and vertical product-sum processes.
  • the positions e1 to e3 are generated by linear interpolation as in the following equation (4).
  • FIG. 6 shows H. 6 is a diagram for describing prediction / compensation processing of a multi-reference frame in the H.264 / AVC format.
  • a target frame Fn to be encoded from now and encoded frames Fn-5,..., Fn-1 are shown.
  • the frame Fn-1 is a frame immediately before the target frame Fn on the time axis
  • the frame Fn-2 is a frame two before the target frame Fn
  • the frame Fn-3 is the frame of the target frame Fn. This is the previous three frames.
  • the frame Fn-4 is a frame four times before the target frame Fn
  • the frame Fn-5 is a frame five times before the target frame Fn.
  • a smaller reference picture number (ref_id) is added to a frame closer to the time axis than the target frame Fn. That is, frame Fn-1 has the smallest reference picture number, and thereafter, the reference picture numbers are smallest in the order of Fn-2,..., Fn-5.
  • a block A1 and a block A2 are shown in the target frame Fn.
  • the block A1 is considered to be correlated with the block A1 'of the previous frame Fn-2, and the motion vector V1 is searched.
  • the block A2 is considered to be correlated with the block A1 'of the previous frame Fn-4, and the motion vector V2 is searched.
  • the block indicates any of the 16 ⁇ 16 pixel, 16 ⁇ 8 pixel, 8 ⁇ 16 pixel, and 8 ⁇ 8 pixel partitions described above with reference to FIG.
  • the reference frames within the 8x8 sub-block must be the same.
  • FIG. It is a figure explaining the production
  • a target block E to be encoded (for example, 16 ⁇ 16 pixels) and blocks A to D that have already been encoded and are adjacent to the target block E are shown.
  • the block D is adjacent to the upper left of the target block E
  • the block B is adjacent to the upper side of the target block E
  • the block C is adjacent to the upper right of the target block E
  • the block A is , Adjacent to the left of the target block E.
  • the blocks A to D are not divided represent blocks having any one of the 16 ⁇ 16 pixels to 4 ⁇ 4 pixels described above with reference to FIG.
  • the predicted motion vector information for the current block E pmv E is block A, B, by using the motion vector information on C, is generated as in the following equation by median prediction (5).
  • the motion vector information related to the block C may be unavailable (unavailable) because it is at the edge of the image frame or is not yet encoded. In this case, the motion vector information regarding the block C is substituted with the motion vector information regarding the block D.
  • the data mvd E added to the header portion of the compressed image as motion vector information for the target block E is generated as in the following equation (6) using pmv E.
  • mvd E mv E -pmv E (6)
  • processing is performed independently for each of the horizontal and vertical components of the motion vector information.
  • FIG. 8 is a block diagram illustrating a detailed configuration example of the secondary prediction unit.
  • the secondary prediction unit 76 includes a reference block address calculation unit 81, a reference adjacent address calculation unit 82, a reference adjacent pixel determination unit 83, a target adjacent pixel readout unit 84, an adjacent pixel difference calculation unit 85, an intra
  • the prediction unit 86 and the target block difference buffer 87 are configured.
  • the motion vector prediction / compensation unit 75 supplies the motion vector (dx, dy) for the target block to the reference block address calculation unit 81.
  • the motion vector prediction / compensation unit 75 supplies the target block address (x, y) to the reference block address calculation unit 81 and the target adjacent pixel readout unit 84.
  • the motion vector prediction / compensation unit 75 supplies the primary residual that is the difference between the target block and the reference block (predicted image) to the target block difference buffer 87.
  • the reference block address calculation unit 81 calculates the reference block address (x + dx, y + dy) from the target block address (x, y) from the motion vector prediction / compensation unit 75 and the motion vector (dx, dy) for the target block. ).
  • the reference block address calculation unit 81 supplies the determined reference block address (x + dx, y + dy) to the reference adjacent address calculation unit 82.
  • the reference adjacent address calculation unit 82 calculates a reference adjacent address that is a relative address of the reference adjacent pixel based on the reference block address (x + dx, y + dy) and the relative address of the target adjacent pixel adjacent to the target block. .
  • the reference adjacent address calculation unit 82 supplies the calculated reference adjacent address (x + dx + ⁇ x, y + dy + ⁇ y) to the reference adjacent determination unit 77.
  • the reference adjacent pixel determination unit 83 receives a determination result from the reference adjacent determination unit 77 as to whether or not the reference adjacent pixel exists within the image frame of the reference frame. When the reference adjacent pixel exists in the image frame of the reference frame, the reference adjacent pixel determination unit 83 determines from the frame memory 72 that the H.P.
  • the adjacent pixels defined in the H.264 / AVC format are read out and stored in a built-in buffer (not shown).
  • the reference adjacent pixel determination unit 83 performs end point processing on the non-existing adjacent pixel, determines the pixel value of the reference adjacent pixel, The data is read from the memory 72 and stored in a built-in buffer (not shown).
  • the end point processing is, for example, processing in which another pixel value existing in the image frame of the reference frame is used as a pixel value of an adjacent pixel not existing in the image frame, which will be described in detail later with reference to FIG. Is done.
  • the target adjacent pixel reading unit 84 reads the pixel value of the target block from the frame memory 72 using the target block address (x, y) from the motion prediction / compensation unit 75 and stores it in a built-in buffer (not shown). To do.
  • the adjacent pixel difference calculation unit 85 reads the target adjacent pixel [A ′] from the built-in buffer of the target adjacent pixel reading unit 84, and the reference adjacent corresponding to the target adjacent pixel from the built-in buffer of the reference adjacent pixel determination unit 85. Read out pixel [B '].
  • the adjacent pixel difference calculation unit 85 calculates a difference between the target adjacent pixel [A ′] read from each built-in buffer and the reference adjacent pixel [B ′], and obtains a residual [A′ ⁇ B ′] with respect to the adjacent pixel. Are stored in a built-in buffer (not shown).
  • the intra prediction unit 86 reads the residual [A′ ⁇ B ′] for the adjacent pixel from the internal buffer of the adjacent pixel difference calculation unit 85, and calculates the primary residual [AB] for the target block from the target block difference buffer 87. read out.
  • the intra prediction unit 86 performs intra prediction on the target block in each intra prediction mode [mode] using the residual [A′ ⁇ B ′] with respect to adjacent pixels, and generates an intra predicted image Ipred (A′ ⁇ B ′) [ mode] is generated.
  • the intra prediction unit 86 generates a secondary residual that is a difference between the primary residual for the target block and the intra-predicted image predicted for the target block, and the generated secondary residual, Information on the intra prediction mode is supplied to the motion prediction / compensation unit 75.
  • circuit that performs intra prediction as the secondary prediction in the intra prediction unit 86 in the example of FIG. 8 can share the circuit with the intra prediction unit 74.
  • a target frame and a reference frame are shown, and the target block A and a target adjacent pixel A ′ adjacent to the target block A are shown in the target frame.
  • a motion vector mv (dx, dy) obtained for the target frame A is shown in the reference frame.
  • the reference frame shows a reference block B associated with the target block A by the motion vector mv (dx, dy) and a reference adjacent pixel B ′ adjacent to the reference block B.
  • the target adjacent pixel A ′ and the reference adjacent pixel B ′ are hatched to distinguish them from the pixels of the target block A and the reference block B.
  • the secondary prediction unit 76 the secondary prediction process described above with reference to FIG. 1 is performed. At that time, it is determined whether or not the reference adjacent pixel B ′ for the reference block B exists in the image frame by the reference adjacent determination unit 77, and is set as follows by the secondary prediction unit 76.
  • the address of the target adjacent pixel A ′ is defined as (x + ⁇ x, y + ⁇ y), and the address of the target adjacent pixel B ′ is (x + dx + ⁇ x) , y + dy + ⁇ y).
  • ( ⁇ x, ⁇ y) ((-1, -1), (0, -1), (1, -1), (2, -1), (3, -1), (4, -1), (5, -1), (6, -1), (7, -1), (-1,0), (-1,1), (-1,2), (-1,3) ⁇ ... (7)
  • the setting of the reference adjacent pixel B ′ for the reference block B will be described with reference to FIGS. 10 and 11 using these addresses.
  • the definition of the target adjacent pixel A ′ for the target block A is as follows. It conforms to the definition of H.264 / AVC format. That is, the details will be described later with reference to FIGS. 13 and 14.
  • the secondary prediction unit 76 sets the pixel value to 2 n ⁇ 1 .
  • the pixel value is represented by n bits. In the case of 8 bits, the pixel value is 128. x + dx + ⁇ x ⁇ 0 or y + dy + ⁇ y> 0 ... (8)
  • the image frame sizes of the target frame and the reference frame are WIDTH ⁇ HEIGHT.
  • the image frame size is WIDTH ⁇ HEIGHT, as shown in FIG. 11A, that is, when the following equation (9) holds, the secondary prediction unit 76 uses the address (WIDTH ⁇ 1, y +).
  • the pixel indicated by dy + ⁇ y) is set as the reference adjacent pixel. x + dx + ⁇ x> WIDTH-1 (9)
  • the secondary prediction unit 76 when the image frame size is WIDTH ⁇ HEIGHT, as shown in FIG. 11B, that is, when the following equation (10) is satisfied, the secondary prediction unit 76 generates the address (x + dx + The pixel indicated by ⁇ x, HEIGHT-1) is set as the reference adjacent pixel. y + dy + ⁇ y> HEIGHT-1 (10)
  • the secondary prediction unit 76 is indicated by the address (WIDTH-1, HEIGHT-1).
  • a pixel is set as a reference adjacent pixel.
  • the process of setting the reference adjacent pixel of the secondary prediction unit 76 is one of the end point processes for the reference adjacent pixel that protrudes from the image frame, as indicated by arrows A in FIG. 11 and B in FIG. This is nothing but the processing using the same value as the reference adjacent pixel existing in the image frame.
  • This process is called a hold process. Instead of the hold process, a mirror process which is another one of the end point processes may be applied.
  • FIG. 12A the range of E shown in FIG. 11B is enlarged and shown as an example of hold processing, and in the example of FIG. 12B, as an example of mirror processing. Has been.
  • the reference adjacent pixel on the left side in the figure from the image frame boundary exists in the image frame, and has pixel values of a0, a1, and a2, for example, in order from the image frame boundary side.
  • the reference adjacent pixel on the right side in the figure from the image frame boundary exists outside the image frame.
  • the pixel value a0 of the reference adjacent pixel in the image frame closest to the image frame boundary is used as the pixel value of the reference adjacent pixel outside the image frame. Is generated.
  • the process is performed on the assumption that there is a virtual pixel value as a mirror image centering on the image frame boundary.
  • the pixel value of the reference adjacent pixel closest to the image frame boundary side outside the image frame is virtually calculated by using the pixel value a0 of the reference adjacent pixel in the image frame closest to the image frame boundary. Is generated.
  • the pixel value of the reference adjacent pixel that is second closest from the image frame boundary side outside the image frame is virtually generated by using the pixel value a1 of the reference adjacent pixel in the image frame that is second closest to the image frame boundary.
  • the pixel value of the reference adjacent pixel that is third closest from the image frame boundary side outside the image frame is virtually generated using the pixel value a2 of the reference adjacent pixel in the image frame that is third closest to the image frame boundary.
  • ( ⁇ x, ⁇ y) ((-1, -1), (0, -1), (1, -1), (2, -1), (3, -1), (4, -1), (5, -1), (6, -1), (7, -1), (8, -1), (9, -1), (10, -1), (11, -1), (12, -1), (13, -1), (14, -1), (15, -1), (-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (-1,7), (-1,8), (-1,9), (-1,10), (-1,11), (-1,12), (-1,13), (-1,14), (-1,15) ⁇ (12)
  • the image encoding device 51 it is determined whether or not the reference adjacent pixel exists outside the image frame, and when the reference adjacent pixel exists outside the image frame, the hold or mirror is applied to the pixel. The end point processing was performed.
  • the secondary prediction process can be performed, and as a result, the encoding efficiency can be improved.
  • step S11 the A / D converter 61 performs A / D conversion on the input image.
  • step S12 the screen rearrangement buffer 62 stores the image supplied from the A / D conversion unit 61, and rearranges the picture from the display order to the encoding order.
  • step S13 the calculation unit 63 calculates the difference between the image rearranged in step S12 and the predicted image.
  • the predicted image is supplied from the motion prediction / compensation unit 75 in the case of inter prediction and from the intra prediction unit 74 in the case of intra prediction to the calculation unit 63 via the predicted image selection unit 78.
  • ⁇ Difference data has a smaller data volume than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S14 the orthogonal transformation unit 64 orthogonally transforms the difference information supplied from the calculation unit 63. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S15 the quantization unit 65 quantizes the transform coefficient. At the time of this quantization, the rate is controlled as described in the process of step S25 described later.
  • step S ⁇ b> 16 the inverse quantization unit 68 inversely quantizes the transform coefficient quantized by the quantization unit 65 with characteristics corresponding to the characteristics of the quantization unit 65.
  • step S ⁇ b> 17 the inverse orthogonal transform unit 69 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 68 with characteristics corresponding to the characteristics of the orthogonal transform unit 64.
  • step S ⁇ b> 18 the calculation unit 70 adds the predicted image input via the predicted image selection unit 78 to the locally decoded difference information, and outputs the locally decoded image (input to the calculation unit 63. Corresponding image).
  • step S ⁇ b> 19 the deblock filter 71 filters the image output from the calculation unit 70. Thereby, block distortion is removed.
  • step S20 the frame memory 72 stores the filtered image. Note that an image that has not been filtered by the deblocking filter 71 is also supplied to the frame memory 72 from the computing unit 70 and stored therein.
  • step S21 the intra prediction unit 74 and the motion prediction / compensation unit 75 each perform image prediction processing. That is, in step S21, the intra prediction unit 74 performs an intra prediction process in the intra prediction mode.
  • the motion prediction / compensation unit 75 performs inter prediction mode motion prediction / compensation processing.
  • the secondary prediction unit 76 determines the reference adjacent according to the determination result. After the end point processing is performed on the pixel, secondary prediction is performed to generate a secondary residual. Then, the motion prediction / compensation unit 75 determines a residual with good coding efficiency, out of the primary residual and the secondary residual.
  • step S21 The details of the prediction process in step S21 will be described later with reference to FIG. 14.
  • prediction processes in all the candidate intra prediction modes are performed, and in all the intra prediction modes that are candidates.
  • Cost function values are respectively calculated.
  • the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction in the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 78.
  • prediction processing is performed in all candidate inter prediction modes, and the cost function values in all candidate inter prediction modes are calculated using the determined residuals.
  • the optimal inter prediction mode is determined from the inter prediction modes, and the predicted image generated in the optimal inter prediction mode and its cost function value are supplied to the predicted image selection unit 78.
  • the difference between the inter-image and the second-order residual is supplied to the predicted image selection unit 78 as a predicted image.
  • step S ⁇ b> 22 the predicted image selection unit 78 optimizes one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 74 and the motion prediction / compensation unit 75. Determine the prediction mode. Then, the predicted image selection unit 78 selects the predicted image in the determined optimal prediction mode and supplies it to the calculation units 63 and 70. As described above, this predicted image (if the second-order prediction is performed, the difference between the interpolated image and the second-order residual) is used for the calculations in steps S13 and S18.
  • the prediction image selection information is supplied to the intra prediction unit 74 or the motion prediction / compensation unit 75.
  • the intra prediction unit 74 supplies information indicating the optimal intra prediction mode (that is, intra prediction mode information) to the lossless encoding unit 66.
  • the motion prediction / compensation unit 75 sends information indicating the optimal inter prediction mode and, if necessary, information corresponding to the optimal inter prediction mode to the lossless encoding unit 66. Output.
  • Information according to the optimal inter prediction mode includes a secondary prediction flag indicating that secondary prediction is performed, information indicating an intra prediction mode in secondary prediction, reference frame information, and the like.
  • the lossless encoding unit 66 encodes the quantized transform coefficient output from the quantization unit 65. That is, the difference image (secondary difference image in the case of secondary prediction) is subjected to lossless encoding such as variable length encoding and arithmetic encoding, and is compressed.
  • the intra prediction mode information from the intra prediction unit 74 or the information corresponding to the optimal inter prediction mode from the motion prediction / compensation unit 75, which is input to the lossless encoding unit 66 in step S22 described above, is also encoded. And added to the header information.
  • step S24 the accumulation buffer 67 accumulates the difference image as a compressed image.
  • the compressed image stored in the storage buffer 67 is appropriately read and transmitted to the decoding side via the transmission path.
  • step S25 the rate control unit 79 controls the quantization operation rate of the quantization unit 65 based on the compressed image stored in the storage buffer 67 so that overflow or underflow does not occur.
  • the decoded image to be referred to is read from the frame memory 72, and the intra prediction unit 74 via the switch 73. To be supplied. Based on these images, in step S31, the intra prediction unit 74 performs intra prediction on the pixels of the block to be processed in all candidate intra prediction modes. Note that pixels that have not been deblocked filtered by the deblocking filter 71 are used as decoded pixels that are referred to.
  • intra prediction is performed in all candidate intra prediction modes, and for all candidate intra prediction modes.
  • a cost function value is calculated.
  • the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction in the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 78.
  • the processing target image supplied from the screen rearrangement buffer 62 is an image to be inter-processed
  • the referenced image is read from the frame memory 72 and supplied to the motion prediction / compensation unit 75 via the switch 73.
  • the motion prediction / compensation unit 75 performs an inter motion prediction process. That is, the motion prediction / compensation unit 75 refers to the image supplied from the frame memory 72 and performs motion prediction processing in all candidate inter prediction modes.
  • the reference adjacency determining unit 77 uses the address of the reference adjacent pixel from the motion prediction / compensation unit 75 to determine whether or not the reference adjacent pixel exists in the image frame of the reference frame.
  • the secondary prediction unit 76 performs end point processing according to the determination result from the reference adjacency determination unit 77, and outputs a secondary residual as a result of performing the secondary prediction processing to the motion prediction / compensation unit 75.
  • the motion prediction / compensation unit 75 determines a residual with good coding efficiency out of the primary residual and the secondary residual and uses it for the subsequent processing.
  • step S32 Details of the inter motion prediction process in step S32 will be described later with reference to FIG.
  • motion prediction processing is performed in all candidate inter prediction modes, and a cost function value is calculated for all candidate inter prediction modes using a primary difference or a secondary difference. .
  • step S33 the motion prediction / compensation unit 75 compares the cost function value for the inter prediction mode calculated in step S32.
  • the motion prediction / compensation unit 75 determines the prediction mode giving the minimum value as the optimal inter prediction mode, and supplies the prediction image generated in the optimal inter prediction mode and its cost function value to the prediction image selection unit 78.
  • the intra prediction mode for the luminance signal will be described.
  • three methods are defined: an intra 4 ⁇ 4 prediction mode, an intra 8 ⁇ 8 prediction mode, and an intra 16 ⁇ 16 prediction mode.
  • This is a mode for determining a block unit, and is set for each macroblock.
  • an intra prediction mode independent of the luminance signal can be set for each macroblock.
  • one prediction mode can be set from nine types of prediction modes for each target block of 4 ⁇ 4 pixels.
  • one prediction mode can be set from nine types of prediction modes for each target block of 8 ⁇ 8 pixels.
  • one prediction mode can be set from four types of prediction modes for a target macroblock of 16 ⁇ 16 pixels.
  • the intra 4 ⁇ 4 prediction mode, the intra 8 ⁇ 8 prediction mode, and the intra 16 ⁇ 16 prediction mode will be referred to as 4 ⁇ 4 pixel intra prediction mode, 8 ⁇ 8 pixel intra prediction mode, and 16 ⁇ , respectively. This is also referred to as a 16-pixel intra prediction mode as appropriate.
  • the numbers -1 to 25 attached to each block indicate the bit stream order (processing order on the decoding side) of each block.
  • the macroblock is divided into 4 ⁇ 4 pixels, and DCT of 4 ⁇ 4 pixels is performed. Only in the case of the intra 16 ⁇ 16 prediction mode, as shown in the block of ⁇ 1, the DC components of each block are collected to generate a 4 ⁇ 4 matrix, and further, orthogonal transformation is performed on this. Is done.
  • the color difference signal after the macroblock is divided into 4 ⁇ 4 pixels and the DCT of 4 ⁇ 4 pixels is performed, the DC components of each block are collected as shown in the blocks 16 and 17. A 2 ⁇ 2 matrix is generated, and is further subjected to orthogonal transformation.
  • 16 and 17 are diagrams showing nine types of luminance signal 4 ⁇ 4 pixel intra prediction modes (Intra — 4 ⁇ 4_pred_mode). Eight types of modes other than mode 2 indicating average value (DC) prediction correspond to directions indicated by numbers 0, 1, 3 to 8 in FIG.
  • pixels a to p represent pixels of a target block to be intra-processed
  • pixel values A to M represent pixel values of pixels belonging to adjacent blocks. That is, the pixels a to p are images to be processed that are read from the screen rearrangement buffer 62, and the pixel values A to M are pixel values of a decoded image that is read from the frame memory 72 and referred to. It is.
  • the prediction pixel values of the pixels a to p are generated as follows using the pixel values A to M of the pixels belonging to the adjacent blocks.
  • the pixel value “available” indicates that the pixel value can be used without any reason such as being at the end of the image frame or not yet encoded.
  • the pixel value “unavailable” indicates that the pixel value is not usable because it is at the end of the image frame or has not been encoded yet.
  • Mode 0 is the Vertical Prediction mode, and is applied only when the pixel values A to D are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (14).
  • Mode 1 is a horizontal prediction mode and is applied only when the pixel values I to L are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (15).
  • Predicted pixel value of pixels a, b, c, d I
  • Predicted pixel value of pixels e, f, g, h J
  • Predicted pixel value of pixels i, j, k, l K
  • Predicted pixel value of pixels m, n, o, p L
  • Mode 2 is a DC Prediction mode.
  • the predicted pixel value is generated as shown in Expression (16). (A + B + C + D + I + J + K + L + 4) >> 3 (16)
  • Mode 3 is a Diagonal_Down_Left Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (19).
  • Mode 4 is a Diagonal_Down_Right Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (20).
  • Mode 5 is a Diagonal_Vertical_Right Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”. In this case, the predicted pixel values of the pixels a to p are generated as in the following Expression (21).
  • Mode 6 is a Horizontal_Down Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (22).
  • Mode 7 is a Vertical_Left Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (23).
  • Mode 8 is a Horizontal_Up Prediction mode, and is applied only when the pixel values A, B, C, D, I, J, K, L, and M are “available”.
  • the predicted pixel values of the pixels a to p are generated as in the following Expression (24).
  • a 4 ⁇ 4 pixel intra prediction mode (Intra — 4 ⁇ 4_pred_mode) encoding method for luminance signals will be described with reference to FIG.
  • a target block C that is 4 ⁇ 4 pixels and is an encoding target is illustrated, and a block A and a block B that are 4 ⁇ 4 pixels adjacent to the target block C are illustrated.
  • Intra_4x4_pred_mode in the target block C and Intra_4x4_pred_mode in the block A and the block B are highly correlated.
  • Intra_4x4_pred_mode in the block A and the block B are respectively Intra_4x4_pred_modeA and Intra_4x4_pred_modeB, and MostProbableMode is defined as the following equation (25).
  • MostProbableMode Min (Intra_4x4_pred_modeA, Intra_4x4_pred_modeB) ... (25)
  • MostProbableMode the one to which a smaller mode_number is assigned is referred to as MostProbableMode.
  • prev_intra4x4_pred_mode_flag [luma4x4BlkIdx]
  • rem_intra4x4_pred_mode [luma4x4BlkIdx]
  • Intra_4x4_pred_mode and Intra4x4PredMode [luma4x4BlkIdx] for the target block C can be obtained.
  • FIGS. 21 and 22 are diagrams illustrating nine types of luminance signal 8 ⁇ 8 pixel intra prediction modes (Intra_8 ⁇ 8_pred_mode).
  • the pixel value in the target 8 ⁇ 8 block is p [x, y] (0 ⁇ x ⁇ 7; 0 ⁇ y ⁇ 7), and the pixel value of the adjacent block is p [-1, -1],. [-1,15], p [-1,0], ..., [p-1,7].
  • a low-pass filtering process is performed on adjacent pixels prior to generating a prediction value.
  • the pixel values before the low-pass filtering process are p [-1, -1], ..., p [-1,15], p [-1,0], ... p [-1,7], and after the process Are represented as p ′ [ ⁇ 1, ⁇ 1],..., P ′ [ ⁇ 1,15], p ′ [ ⁇ 1,0],... P ′ [ ⁇ 1,7].
  • p ′ [0, -1] is calculated as in the following equation (27) when p [-1, -1] is “available”, and when “not available”: Is calculated as in the following equation (28).
  • p '[0, -1] (p [-1, -1] + 2 * p [0, -1] + p [1, -1] + 2) >> 2 ...
  • p '[0, -1] (3 * p [0, -1] + p [1, -1] + 2) >> 2 ... (28)
  • p '[x, -1] (p [x-1, -1] + 2 * p [x, -1] + p [x + 1, -1] + 2) >> 2 ... (29)
  • p '[x, -1] (p [x-1, -1] + 2 * p [x, -1] + p [x + 1, -1] + 2) >> 2
  • p '[15, -1] (p [14, -1] + 3 * p [15, -1] + 2) >> 2 ... (30)
  • p '[-1, -1] is calculated as follows when p [-1, -1] is "available”. That is, p ′ [ ⁇ 1, ⁇ 1] is calculated as in Expression (31) when both p [0, ⁇ 1] and p [ ⁇ 1,0] are available, and p [ -1,0] is “unavailable”, it is calculated as shown in equation (32). Further, p ′ [ ⁇ 1, ⁇ 1] is calculated as in Expression (33) when p [0, ⁇ 1] is “unavailable”.
  • p '[-1, -1] (p [0, -1] + 2 * p [-1, -1] + p [-1,0] + 2) >> 2 ...
  • p '[-1,0] (p [-1, -1] + 2 * p [-1,0] + p [-1,1] + 2) >> 2 ... (34)
  • p '[-1,0] (3 * p [-1,0] + p [-1,1] + 2) >> 2 ... (35)
  • p [-1, y] (p [-1, y-1] + 2 * p [-1, y] + p [-1, y + 1] + 2) >> 2 ... (36)
  • p '[-1,7] (p [-1,6] + 3 * p [-1,7] + 2) >> 2 ... (37)
  • the prediction value in each intra prediction mode shown in FIG. 21 and FIG. 22 is generated as follows using p ′ calculated in this way.
  • pred8x8 L [x, y] (p '[14, -1] + 3 * p [15, -1] + 2) >> 2 ...
  • red8x8 L [x, y] (p '[x + y, -1] + 2 * p' [x + y + 1, -1] + p '[x + y + 2, -1] + 2) >> 2 ... (45)
  • zVR is defined as the following equation (54).
  • zHD 2 * y-x ... (54)
  • pred8x8 L [x, y] (p '[x + (y >> 1),-1] + p' [x + (y >> 1) + 1, -1] + 1) >> 1 ...
  • FIG. 23 and FIG. 24 are diagrams illustrating four types of luminance signal 16 ⁇ 16 pixel intra prediction modes (Intra — 16 ⁇ 16_pred_mode).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (66).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (67).
  • the predicted pixel value Pred (x, y) of each pixel is generated as in the following equation (68).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (71).
  • FIG. 26 is a diagram illustrating four types of color difference signal intra prediction modes (Intra_chroma_pred_mode).
  • the color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the intra prediction mode for the color difference signal is in accordance with the 16 ⁇ 16 pixel intra prediction mode of the luminance signal described above.
  • the 16 ⁇ 16 pixel intra prediction mode of the luminance signal is intended for a block of 16 ⁇ 16 pixels
  • the intra prediction mode for the color difference signal is intended for a block of 8 ⁇ 8 pixels.
  • the mode numbers do not correspond to each other.
  • the predicted pixel value Pred (x, y) of each pixel is generated as in the following equation (72).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following equation (75).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following Expression (76).
  • the predicted pixel value Pred (x, y) of each pixel of the target macroblock A is generated as in the following equation (77).
  • the luminance signal intra prediction modes include nine types of 4 ⁇ 4 pixel and 8 ⁇ 8 pixel block units, and four types of 16 ⁇ 16 pixel macroblock unit prediction modes. This block unit mode is set for each macroblock unit.
  • the color difference signal intra prediction modes include four types of prediction modes in units of 8 ⁇ 8 pixel blocks. This color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the 4 ⁇ 4 pixel intra prediction mode (intra 4 ⁇ 4 prediction mode) and the 8 ⁇ 8 pixel intra prediction mode (intra 8 ⁇ 8 prediction mode) of the luminance signal are 4 ⁇ 4 pixels and 8 ⁇ 8 pixels.
  • One intra prediction mode is set for each block of luminance signals.
  • 16 ⁇ 16 pixel intra prediction mode for luminance signals (intra 16 ⁇ 16 prediction mode) and the intra prediction mode for color difference signals one prediction mode is set for one macroblock.
  • Prediction mode 2 is average value prediction.
  • step S41 the intra prediction unit 74 performs intra prediction for each of the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes.
  • the intra prediction unit 74 refers to a decoded image read from the frame memory 72 and supplied via the switch 73, and performs intra prediction on the pixel of the processing target block. By performing this intra prediction process in each intra prediction mode, a prediction image in each intra prediction mode is generated. Note that pixels that have not been deblocked filtered by the deblocking filter 71 are used as decoded pixels that are referred to.
  • the intra prediction unit 74 calculates a cost function value for each intra prediction mode of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels.
  • the cost function value is obtained based on a method of either High Complexity mode or Low Complexity mode.
  • These modes are H.264. It is defined by JM (Joint Model) which is reference software in the H.264 / AVC format.
  • the encoding process is temporarily performed for all candidate prediction modes as the process in step S41. Then, the cost function value represented by the following equation (78) is calculated for each prediction mode, and the prediction mode that gives the minimum value is selected as the optimum prediction mode.
  • Cost (Mode) D + ⁇ ⁇ R (78)
  • D is a difference (distortion) between the original image and the decoded image
  • R is a generated code amount including up to the orthogonal transform coefficient
  • ⁇ is a Lagrange multiplier given as a function of the quantization parameter QP.
  • step S41 generation of predicted images and header bits such as motion vector information, prediction mode information, and flag information are calculated for all candidate prediction modes. The Then, the cost function value represented by the following equation (79) is calculated for each prediction mode, and the prediction mode that gives the minimum value is selected as the optimal prediction mode.
  • Cost (Mode) D + QPtoQuant (QP) ⁇ Header_Bit (79)
  • D is a difference (distortion) between the original image and the decoded image
  • Header_Bit is a header bit for the prediction mode
  • QPtoQuant is a function given as a function of the quantization parameter QP.
  • the intra prediction unit 74 determines an optimum mode for each of the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes. That is, as described above, in the case of the intra 4 ⁇ 4 prediction mode and the intra 8 ⁇ 8 prediction mode, there are nine types of prediction modes, and in the case of the intra 16 ⁇ 16 prediction mode, there are types of prediction modes. There are four types. Therefore, the intra prediction unit 74 selects the optimal intra 4 ⁇ 4 prediction mode, the optimal intra 8 ⁇ 8 prediction mode, and the optimal intra 16 ⁇ 16 prediction mode from among the cost function values calculated in step S42. decide.
  • the intra prediction unit 74 calculates the cost calculated in step S42 from among the optimum modes determined for the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes in step S44.
  • the optimal intra prediction mode is selected based on the function value. That is, the mode having the minimum cost function value is selected as the optimal intra prediction mode from among the optimal modes determined for 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels.
  • the intra prediction unit 74 supplies the predicted image generated in the optimal intra prediction mode and its cost function value to the predicted image selection unit 78.
  • step S51 the motion prediction / compensation unit 75 determines a motion vector and a reference image for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels described above with reference to FIG. . That is, a motion vector and a reference image are determined for each block to be processed in each inter prediction mode.
  • step S52 the motion prediction / compensation unit 75 performs motion prediction on the reference image based on the motion vector determined in step S51 for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. Perform compensation processing. With this motion prediction and compensation processing, a prediction image in each inter prediction mode is generated for the target block based on the pixel value of the reference block, and a primary residual that is a difference between the target block and the prediction image is a secondary prediction unit. 76 is output. The motion prediction / compensation unit 75 also outputs the detected motion vector information and the address of the image to be inter-processed to the secondary prediction unit 76.
  • step S53 the secondary prediction unit 76 and the reference adjacency determination unit 77 perform reference adjacent pixel determination processing. Details of the reference adjacent pixel determination processing will be described later with reference to FIG.
  • step S53 it is determined whether or not the reference adjacent pixel adjacent to the reference block exists in the image frame of the reference frame, and the end point processing is performed according to the determination result, so that the reference adjacent pixel Are determined.
  • step S54 the secondary prediction unit 76 and the motion prediction / compensation unit 75 perform secondary prediction processing using the determined reference neighboring pixels. Details of the secondary prediction process will be described later with reference to FIG.
  • a secondary residual is generated by performing prediction between the primary residual that is the difference between the image of the target block and the predicted image and the difference between the target adjacent pixel and the reference adjacent pixel. Then, by comparing the primary residual and the secondary residual, it is determined whether or not to perform the secondary prediction process.
  • the secondary residual is used for calculating the cost function value in step S56 described later instead of the primary residual.
  • a secondary prediction flag indicating that the secondary prediction is performed and information indicating the intra prediction mode in the secondary prediction are also output to the motion prediction / compensation unit 75.
  • step S55 the motion prediction / compensation unit 75 generates motion vector information mvd E for the motion vectors determined for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. At this time, the motion vector generation method described above with reference to FIG. 7 is used.
  • the generated motion vector information is also used when calculating the cost function value in the next step S56, and finally when the corresponding predicted image is selected by the predicted image selection unit 78, the prediction mode information and reference It is output to the lossless encoding unit 66 together with the frame information.
  • step S56 the mode determination unit 86 calculates the cost function value represented by the equation (78) or the equation (79) described above for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. calculate.
  • the cost function value calculated here is used when determining the optimal inter prediction mode in step S33 of FIG. 14 described above.
  • the target block address (x, y) from the motion prediction / compensation unit 75 is supplied to the reference block address calculation unit 81 and the target adjacent pixel readout unit 84.
  • the reference block address calculation unit 81 acquires the target block address (x, y).
  • the motion vector information (dx, dy) obtained for the target block in step S51 of FIG. 28 is input to the reference block address calculation unit 81.
  • the reference block address calculation unit 81 calculates the reference block address (x + dx, y + dy) from the target block address (x, y) and the motion vector information (dx, dy), and uses it. , And supplied to the reference adjacent address calculation unit 82.
  • step S63 the reference adjacent address calculation unit 82 calculates a reference adjacent address (x + dx + ⁇ x, y + dy + ⁇ y) that is an address of the reference adjacent pixel with respect to the reference block, and sends it to the reference adjacent determination unit 77. Supply.
  • step S64 based on the reference adjacent address (x + dx + ⁇ x, y + dy + ⁇ y), the reference adjacent determination unit 77 determines whether or not the reference adjacent pixel exists in the image frame, and the determination The result is supplied to the reference adjacent pixel determining unit 83.
  • the reference adjacent pixel determination unit 83 performs the end point processing described above with reference to FIG. Thus, the pixel value of the reference adjacent pixel is determined.
  • the reference adjacent pixel determining unit 83 reads the determined pixel value from the frame memory 72 and accumulates it in a built-in buffer (not shown) as the pixel value of the reference adjacent pixel.
  • step S64 determines whether the reference adjacent pixel exists within the image frame.
  • step S66 determines an adjacent pixel according to a normal definition and reads it from the frame memory 72. That is, the reference adjacent pixel determining unit 83 determines whether the H.264 The pixel value of the reference adjacent pixel defined in the H.264 / AVC format is read from the frame memory 72 and stored in a built-in buffer (not shown).
  • step S54 in FIG. 28 will be described with reference to the flowchart in FIG. Note that the example of FIG. 30 is described by taking 4 ⁇ 4 pixel intra prediction as an example.
  • the pixel value of the reference adjacent pixel is accumulated in the built-in buffer of the reference adjacent pixel determining unit 82. Further, the target adjacent pixel reading unit 84 reads the pixel value of the target block from the frame memory 72 using the target block address (x, y) from the motion prediction / compensation unit 75, and stores the pixel value in an internal buffer (not shown) Has accumulated.
  • the adjacent pixel difference calculation unit 85 reads the target adjacent pixel [A ′] from the built-in buffer of the target adjacent pixel reading unit 84, and the reference adjacent corresponding to the target adjacent pixel from the built-in buffer of the reference adjacent pixel determination unit 85. Read out pixel [B ']. In step S71, the adjacent pixel difference calculation unit 85 calculates the difference between the target adjacent pixel [A ′] read from each built-in buffer and the reference adjacent pixel [B ′], and the residual [A′ ⁇ B '] is stored in a built-in buffer (not shown).
  • step S72 the intra prediction unit 86 selects one intra prediction mode among the nine types of intra prediction modes described above with reference to FIGS.
  • step S73 the intra prediction unit 86 performs an intra prediction process using a difference (residual) in the selected intra prediction mode.
  • the intra prediction unit 86 reads the residual [A′ ⁇ B ′] for the adjacent pixel from the built-in buffer of the adjacent pixel difference calculation unit 85. Then, the intra prediction unit 86 performs intra prediction on the target block in the selected intra prediction mode [mode] using the residual [A′ ⁇ B ′] with respect to the read adjacent pixels, and performs the intra prediction image Ipred (A ′ -B ') Generate [mode].
  • the intra prediction unit 86 generates a secondary residual. That is, when generating the intra prediction image Ipred (A′ ⁇ B ′) [mode] based on the difference, the secondary residual generation unit 82 reads the corresponding primary residual (AB) from the target block difference buffer 87. . The secondary residual generator 82 generates a secondary residual that is a difference between the primary residual and the intra-predicted image Ipred (A′ ⁇ B ′) [mode], and the generated secondary residual is Output to the motion prediction / compensation unit 75. At this time, information on the intra prediction mode in the corresponding secondary prediction is also output to the motion prediction / compensation unit 75.
  • step S75 the adjacent pixel prediction unit 83 determines whether the processing for all intra prediction modes has been completed. If it is determined that the processing has not ended, the neighboring pixel prediction unit 83 returns to step S72 and repeats the subsequent processing. That is, in step S72, another intra prediction mode is selected, and the subsequent processing is repeated.
  • step S75 If it is determined in step S75 that the processing for all intra prediction modes has been completed, the processing proceeds to step S76.
  • step S76 the motion prediction / compensation unit 75 compares the secondary residuals of the respective intra prediction modes from the secondary prediction unit 76, and the secondary residual intra that is considered to have the best coding efficiency among them.
  • the prediction mode is determined as the intra prediction mode of the target block. That is, the intra prediction mode having the smallest secondary residual value is determined as the intra prediction mode of the target block.
  • the motion prediction / compensation unit 75 further compares the secondary residual in the determined intra prediction mode with the primary residual, and determines whether or not to use secondary prediction. That is, when it is determined that the secondary residual is more efficient in encoding, it is determined to use secondary prediction, and the difference between the interpolated image and the secondary residual becomes a candidate for inter prediction as a predicted image. . If it is determined that the primary residual has better encoding efficiency, it is determined that secondary prediction is not used, and the prediction image obtained in step S52 of FIG. 28 is a candidate for inter prediction.
  • the secondary residual is encoded and sent to the decoding side only when the secondary residual gives higher encoding efficiency than the primary residual.
  • step S77 the values of the residuals themselves are compared, and a smaller value may be determined as having good coding efficiency, or the cost function represented by the above-described equation (78) or equation (79). You may make it determine a thing with favorable encoding efficiency by calculating a value.
  • the end point processing is performed to determine the pixel value of the reference adjacent pixel. Next predictions can be made. Thereby, encoding efficiency can be improved.
  • the encoded compressed image is transmitted via a predetermined transmission path and decoded by an image decoding device.
  • FIG. 31 shows the configuration of an embodiment of an image decoding apparatus as an image processing apparatus to which the present invention is applied.
  • the image decoding apparatus 101 includes a storage buffer 111, a lossless decoding unit 112, an inverse quantization unit 113, an inverse orthogonal transform unit 114, a calculation unit 115, a deblock filter 116, a screen rearrangement buffer 117, a D / A conversion unit 118, a frame
  • the memory 119, the switch 120, the intra prediction unit 121, the motion prediction / compensation unit 122, the secondary prediction unit 123, the reference adjacency determination unit 124, and the switch 125 are configured.
  • the accumulation buffer 111 accumulates the transmitted compressed image.
  • the lossless decoding unit 112 decodes the information supplied from the accumulation buffer 111 and encoded by the lossless encoding unit 66 in FIG. 3 by a method corresponding to the encoding method of the lossless encoding unit 66.
  • the inverse quantization unit 113 inversely quantizes the image decoded by the lossless decoding unit 112 by a method corresponding to the quantization method of the quantization unit 65 in FIG.
  • the inverse orthogonal transform unit 114 performs inverse orthogonal transform on the output of the inverse quantization unit 113 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 64 in FIG.
  • the output subjected to inverse orthogonal transform is added to the prediction image supplied from the switch 125 by the arithmetic unit 115 and decoded.
  • the deblocking filter 116 removes block distortion of the decoded image, and then supplies the frame to the frame memory 119 for storage and outputs it to the screen rearrangement buffer 117.
  • the screen rearrangement buffer 117 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 62 in FIG. 3 is rearranged in the original display order.
  • the D / A conversion unit 118 performs D / A conversion on the image supplied from the screen rearrangement buffer 117, and outputs and displays the image on a display (not shown).
  • the switch 120 reads the inter-processed image and the referenced image from the frame memory 119 and outputs them to the motion prediction / compensation unit 122, and also reads an image used for intra prediction from the frame memory 119, and sends it to the intra prediction unit 121. Supply.
  • the information indicating the intra prediction mode obtained by decoding the header information is supplied from the lossless decoding unit 112 to the intra prediction unit 121.
  • the intra prediction unit 121 generates a prediction image based on this information, and outputs the generated prediction image to the switch 125.
  • the motion prediction / compensation unit 122 is supplied with prediction mode information, motion vector information, reference frame information, and the like from the lossless decoding unit 112.
  • the motion prediction / compensation unit 122 has a secondary prediction flag indicating that the secondary prediction is performed, and an intra prediction mode in the secondary prediction.
  • Information is also supplied from the lossless decoding unit 122.
  • the motion prediction / compensation unit 122 refers to the secondary prediction flag from the lossless decoding unit 112 and determines whether the secondary prediction process is applied. When the motion prediction / compensation unit 122 determines that the secondary prediction process is applied, the motion prediction / compensation unit 122 outputs the result to the secondary prediction unit 123 and causes the secondary prediction unit 123 to perform secondary prediction.
  • the motion prediction / compensation unit 122 performs motion prediction and compensation processing on the image based on the motion vector information and the reference frame information, and generates a predicted image. That is, the predicted image of the target block is generated using the pixel value of the reference block associated with the target block by a motion vector in the reference frame. Then, the motion prediction / compensation unit 122 adds the generated prediction image and the prediction difference value from the secondary prediction unit 123, and outputs the result to the switch 125 as a prediction image.
  • the secondary prediction unit 123 performs secondary prediction using the difference between the target adjacent pixel and the reference adjacent pixel read from the frame memory 119. That is, the secondary prediction unit 123 performs intra prediction on the target block in the intra prediction mode in the secondary prediction from the lossless decoding unit 112, generates an intra prediction image, and uses the motion prediction / compensation unit 122 as a prediction difference value. Output to.
  • the motion prediction / compensation unit 122 performs motion prediction and compensation processing on the image based on the motion vector information and the reference frame information, and generates a predicted image.
  • the motion prediction / compensation unit 122 outputs the prediction image generated in the inter prediction mode to the switch 125.
  • the switch 125 selects the prediction image (or the prediction image and the prediction difference value) generated by the motion prediction / compensation unit 122 or the intra prediction unit 121, and supplies the selected prediction image to the calculation unit 115.
  • FIG. 32 is a block diagram illustrating a detailed configuration example of the secondary prediction unit.
  • the secondary prediction unit 123 includes a reference block address calculation unit 131, a reference adjacent address calculation unit 132, a reference adjacent pixel determination unit 133, a target adjacent pixel read unit 134, an adjacent pixel difference calculation unit 135, and
  • the intra prediction unit 136 is configured.
  • the reference block address calculating unit 131, the reference adjacent address calculating unit 132, the reference adjacent pixel determining unit 133, the target adjacent pixel reading unit 134, and the adjacent pixel difference calculating unit 135 in FIG. 32 are basically the same as those in FIG.
  • the same processing as that performed by the block address calculating unit 81, the reference adjacent address calculating unit 82, the reference adjacent pixel determining unit 83, the target adjacent pixel reading unit 84, and the adjacent pixel difference calculating unit 85 is performed.
  • the motion vector prediction / compensation unit 122 supplies the motion vector (dx, dy) for the target block to the reference block address calculation unit 131.
  • the motion vector prediction / compensation unit 122 supplies the target block address (x, y) to the reference block address calculation unit 131 and the target adjacent pixel readout unit 134.
  • the reference block address calculation unit 131 calculates the reference block address (x + dx, y + dy) from the target block address (x, y) from the motion vector prediction / compensation unit 122 and the motion vector (dx, dy) for the target block. ).
  • the reference block address calculation unit 131 supplies the determined reference block address (x + dx, y + dy) to the reference adjacent address calculation unit 132.
  • the reference adjacent address calculation unit 132 calculates a reference adjacent address that is a relative address of the reference adjacent pixel based on the reference block address (x + dx, y + dy) and the relative address of the target adjacent pixel adjacent to the target block. .
  • the reference adjacent address calculation unit 132 supplies the calculated reference adjacent address (x + dx + ⁇ x, y + dy + ⁇ y) to the reference adjacent determination unit 124.
  • the reference adjacent pixel determination unit 133 receives a determination result from the reference adjacent determination unit 124 as to whether or not the reference adjacent pixel exists within the image frame of the reference frame.
  • the reference adjacent pixel determination unit 133 determines from the frame memory 119 the H.264 reference
  • the adjacent pixels defined in the H.264 / AVC format are read out and stored in a built-in buffer (not shown).
  • the reference adjacent pixel determination unit 133 performs the end point processing described above with reference to FIG. Determine the value. Then, the reference adjacent pixel determination unit 133 reads the determined pixel value from the frame memory 119 and accumulates it in a built-in buffer (not shown).
  • the target adjacent pixel reading unit 134 reads the pixel value of the target block from the frame memory 119 using the target block address (x, y) from the motion prediction / compensation unit 122, and stores it in a built-in buffer (not shown). To do.
  • the adjacent pixel difference calculation unit 135 reads the target adjacent pixel [A ′] from the built-in buffer of the target adjacent pixel reading unit 134, and the reference adjacent corresponding to the target adjacent pixel from the built-in buffer of the reference adjacent pixel determination unit 135. Read out pixel [B '].
  • the adjacent pixel difference calculation unit 135 calculates the difference between the target adjacent pixel [A ′] and the reference adjacent pixel [B ′] read from each built-in buffer, and sets the adjacent pixel difference value [A′ ⁇ B ′] as It accumulates in a built-in buffer (not shown).
  • the intra prediction unit 136 reads the residual [A′ ⁇ B ′] for the adjacent pixel from the built-in buffer of the adjacent pixel difference calculation unit 135.
  • the intra prediction unit 136 performs intra prediction on the target block in the intra prediction mode [mode] from the lossless decoding unit 112 using the adjacent pixel difference value [A′ ⁇ B ′], and performs the intra prediction image Ipred (A′ ⁇ B ') [mode] is generated.
  • the intra prediction unit 136 outputs the generated intra prediction image to the motion prediction / compensation unit 122 as a difference prediction value.
  • circuit that performs intra prediction as the secondary prediction in the intra prediction unit 136 in the example of FIG. 32 can share the circuit with the intra prediction unit 122.
  • the motion prediction / compensation unit 122 determines whether or not the secondary prediction is performed on the target block by the secondary prediction flag decoded by the lossless decoding unit 112.
  • the image decoding apparatus 101 performs an inter prediction process based on the secondary prediction.
  • the image decoding apparatus 101 Inter prediction processing is performed.
  • the secondary prediction in the image encoding device 51 is a process of generating the secondary residual Res_2nd as shown in the following equation (80) as described above.
  • Res_2nd (A-B)-Ipred (A'-B ') [mode] (80)
  • Ipred () [mode] indicates a prediction image generated using the intra prediction mode mode with the pixel value of () as an input.
  • the secondary residual Res_2nd is a value obtained as a result of inverse quantization and inverse orthogonal transform, in other words, a value input from the inverse orthogonal transform unit 114 to the calculation unit 115. is there.
  • the prediction difference value Ipred (B ⁇ B ′) [mode] is generated by the secondary prediction unit 123, and the pixel value [B] of the reference block is calculated by the motion prediction / compensation unit 122. They are generated and output to the calculation unit 115.
  • the pixel value [A] of the target block is obtained as the output of the calculation unit 115.
  • step S131 the storage buffer 111 stores the transmitted image.
  • step S132 the lossless decoding unit 112 decodes the compressed image supplied from the accumulation buffer 111. That is, the I picture, P picture, and B picture encoded by the lossless encoding unit 66 in FIG. 3 are decoded.
  • motion vector information reference frame information
  • prediction mode information prediction mode information
  • secondary prediction flag information indicating the intra prediction mode in the secondary prediction, and the like are also decoded.
  • the prediction mode information is intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 121.
  • the prediction mode information is inter prediction mode information
  • motion vector information and reference frame information corresponding to the prediction mode information are supplied to the motion prediction / compensation unit 122.
  • the secondary prediction flag is supplied to the motion prediction / compensation unit 122, and information indicating the intra prediction mode in the secondary prediction is the secondary prediction. Supplied to the unit 123.
  • step S133 the inverse quantization unit 113 inversely quantizes the transform coefficient decoded by the lossless decoding unit 112 with characteristics corresponding to the characteristics of the quantization unit 65 in FIG.
  • step S134 the inverse orthogonal transform unit 114 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 113 with characteristics corresponding to the characteristics of the orthogonal transform unit 64 in FIG. As a result, the difference information corresponding to the input of the orthogonal transform unit 64 of FIG. 3 (the output of the calculation unit 63) is decoded.
  • step S135 the calculation unit 115 adds the prediction image selected in the process of step S141 described later and input via the switch 125 to the difference information. As a result, the original image is decoded.
  • step S136 the deblocking filter 116 filters the image output from the calculation unit 115. Thereby, block distortion is removed.
  • step S137 the frame memory 119 stores the filtered image.
  • step S138 the intra prediction unit 121 or the motion prediction / compensation unit 122 performs image prediction processing corresponding to the prediction mode information supplied from the lossless decoding unit 112, respectively.
  • the intra prediction unit 121 performs an intra prediction process in the intra prediction mode.
  • the motion prediction / compensation unit 122 performs a motion prediction / compensation process in the inter prediction mode.
  • the motion prediction / compensation unit 122 performs inter prediction processing based on the secondary prediction or normal inter prediction processing with reference to the secondary prediction flag.
  • step S138 the prediction image generated by the intra prediction unit 121 or the prediction image (or the prediction image and the prediction difference value) generated by the motion prediction / compensation unit 122 is supplied to the switch 125.
  • step S139 the switch 125 selects a predicted image. That is, a prediction image generated by the intra prediction unit 121 or a prediction image generated by the motion prediction / compensation unit 122 is supplied. Therefore, the supplied predicted image is selected and supplied to the calculation unit 115, and is added to the output of the inverse orthogonal transform unit 114 in step S134 as described above.
  • step S140 the screen rearrangement buffer 117 performs rearrangement. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 62 of the image encoding device 51 is rearranged to the original display order.
  • step S141 the D / A conversion unit 118 D / A converts the image from the screen rearrangement buffer 117. This image is output to a display (not shown), and the image is displayed.
  • step S171 the intra prediction unit 121 determines whether the target block is intra-coded.
  • the intra prediction unit 121 determines in step 171 that the target block is intra-coded, and the process proceeds to step S172. .
  • the intra prediction unit 121 acquires the intra prediction mode information in step S172, and performs intra prediction in step S173.
  • the intra prediction unit 121 performs intra prediction according to the intra prediction mode information acquired in step S172, and generates a predicted image.
  • the generated prediction image is output to the switch 125.
  • step S171 determines whether the intra encoding has been performed. If it is determined in step S171 that the intra encoding has not been performed, the process proceeds to step S174.
  • step S174 the motion prediction / compensation unit 122 acquires the prediction mode information from the lossless decoding unit 112 and the like.
  • the inter prediction mode information, the reference frame information, the motion vector information, and the secondary prediction flag are supplied from the lossless decoding unit 112 to the motion prediction / compensation unit 122.
  • the motion prediction / compensation unit 122 acquires inter prediction mode information, reference frame information, and motion vector information.
  • the motion prediction / compensation unit 122 acquires a secondary prediction flag in step S175, and determines in step S176 whether secondary prediction processing is applied to the target block. If it is determined in step S176 that the secondary prediction process has not been applied to the target block, the process proceeds to step S177.
  • step S177 the motion prediction / compensation unit 122 performs normal inter prediction. That is, when the processing target image is an image subjected to inter prediction processing, a necessary image is read from the frame memory 169 and supplied to the motion prediction / compensation unit 122 via the switch 170. In step S177, the motion prediction / compensation unit 122 performs motion prediction in the inter prediction mode based on the motion vector acquired in step S174, and generates a predicted image. The generated prediction image is output to the switch 125.
  • step S176 If it is determined in step S176 that the secondary prediction process is applied to the target block, the process proceeds to step S178.
  • the lossless decoding unit 112 also decodes information indicating the intra prediction mode related to the secondary prediction, and supplies the decoded information to the secondary prediction unit 123.
  • step S178 the secondary prediction unit 123 acquires information indicating the intra prediction mode in the secondary prediction supplied from the lossless decoding unit 112.
  • step S179 the inter prediction based on the secondary prediction is performed.
  • secondary inter prediction processing is performed. This secondary inter prediction process will be described later with reference to FIG.
  • inter prediction is performed to generate a prediction image
  • secondary prediction is performed to generate prediction difference values, which are added and output to the switch 125.
  • step S191 the motion prediction / compensation unit 122 performs motion prediction in the inter prediction mode based on the motion vector acquired in step S174 in FIG. 34, and generates an inter prediction image. That is, by the process of step S191, a predicted image of the target block is generated using the pixel value of the reference block associated with the target block by the motion vector in the reference frame.
  • the motion prediction / compensation unit 122 supplies the target block address (x, y) and the motion vector (dx, dy) to the reference block address calculation unit 131, and the target block address (x, y) This is supplied to the pixel readout unit 134.
  • step S192 the secondary prediction unit 123 and the reference adjacent determination unit 124 perform a reference adjacent pixel determination process.
  • the details of the reference adjacent pixel determination process are the same as those described above with reference to FIG. 29 and are repeated, so that the description thereof is omitted.
  • step S192 it is determined whether or not the reference adjacent pixel adjacent to the reference block is present in the image frame of the reference frame, and the end point processing is performed according to the determination result, so that the reference adjacent pixel Are determined.
  • the determined pixel value of the reference adjacent pixel is accumulated in the built-in buffer of the reference adjacent pixel determination unit 133.
  • the target adjacent pixel reading unit 134 reads the pixel value of the target block from the frame memory 119 using the target block address (x, y) from the motion prediction / compensation unit 122, and stores the pixel value in an internal buffer (not shown). Has accumulated.
  • the adjacent pixel difference calculation unit 135 reads the target adjacent pixel [A ′] from the built-in buffer of the target adjacent pixel reading unit 134, and the reference adjacent corresponding to the target adjacent pixel from the built-in buffer of the reference adjacent pixel determination unit 133 Read out pixel [B ']. In step S193, the adjacent pixel difference calculation unit 135 determines an adjacent pixel difference value [A′ ⁇ B ′] that is a difference between the target adjacent pixel [A ′] read from each built-in buffer and the reference adjacent pixel [B ′]. Is calculated and stored in a built-in buffer (not shown).
  • step S194 the intra prediction unit 136 performs an intra prediction process using a difference in the intra prediction mode in the secondary prediction acquired in step S178 of FIG. 34, and performs a prediction difference value Ipred (A′ ⁇ B ′) [mode ] Is generated.
  • the intra prediction unit 136 reads the adjacent pixel difference value [A′ ⁇ B ′] from the built-in buffer of the adjacent pixel difference calculation unit 135. Then, the intra prediction unit 136 performs intra prediction on the target block in the acquired intra prediction mode [mode] using the read adjacent pixel difference value [A′ ⁇ B ′], and performs the prediction difference value Ipred (A′ ⁇ B ') [mode] is generated. The generated prediction difference value is output to the motion prediction / compensation unit 122.
  • step S195 the motion prediction / compensation unit 122 adds the inter prediction image generated in step S191 and the prediction difference value from the intra prediction unit 136, and outputs the result to the switch 125 as a prediction image.
  • the inter prediction image and the prediction difference value are output to the calculation unit 115 as a prediction image by the switch 125 in step S139 in FIG. Then, the inter prediction image and the prediction difference value are added to the difference information from the inverse orthogonal transform unit 114 by the calculation unit 115 in step S135 of FIG. 33, thereby decoding the image of the target block.
  • the reference adjacent pixel is outside the image frame. Therefore, the reference adjacent pixel is outside the image frame. Even in this case, second-order prediction can be performed.
  • the present invention is not limited to this, and can be applied to any encoding device and decoding device that perform block-based motion prediction / compensation.
  • the present invention can also be applied to the intra 8 ⁇ 8 prediction mode, the intra 16 ⁇ 16 prediction mode, and the intra prediction mode for color difference signals.
  • H.264 / AVC format is used, but other encoding / decoding methods can also be used.
  • the present invention is, for example, MPEG, H.264, When receiving image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x, via network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • image information bitstream
  • orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x
  • network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • the present invention can be applied to an image encoding device and an image decoding device used in the above. Further, the present invention can be applied to an image encoding device and an image decoding device used when processing on a storage medium such as an optical, magnetic disk, and flash memory. Furthermore, the present invention can also be applied to motion prediction / compensation devices included in such image encoding devices and image decoding devices.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 36 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 307 includes a display, a speaker, and the like.
  • the storage unit 308 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 309 includes a network interface and the like.
  • the drive 310 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads the program stored in the storage unit 308 to the RAM 303 via the input / output interface 305 and the bus 304 and executes the program, thereby performing the series of processes described above. Is done.
  • the program executed by the computer (CPU 301) can be provided by being recorded on the removable medium 311 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by attaching the removable medium 311 to the drive 310.
  • the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308.
  • the program can be installed in advance in the ROM 302 or the storage unit 308.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明は、参照ブロックに隣接する隣接画素が画枠外に存在する場合にも２次予測を行うことができるようにする画像処理装置および方法に関する。　参照隣接画素決定部８３には、参照隣接判定部７７から、参照隣接画素が参照フレームの画枠内に存在するか否かの判定結果が入力される。参照隣接画素決定部８３は、参照隣接画素が参照フレームの画枠内に存在する場合、隣接画素の画素値をH.264/AVC方式の定義に基づき決定する。一方、参照隣接画素決定部８３は、参照隣接画素が参照フレームの画枠内に存在しない場合、存在しない隣接画素について端点処理を行って、参照隣接画素の画素値を決定する。本発明は、例えば、H.264/AVC方式で符号化する画像符号化装置に適用することができる。

Description

画像処理装置および方法
　本発明は画像処理装置および方法に関し、特に、参照ブロックに隣接する隣接画素が画枠外に存在する場合にも２次予測を行うことができるようにした画像処理装置および方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
　特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
　さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
　さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了している。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
　しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したいといった、更なる高圧縮率符号化に対するニーズが高まっている。あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
　例えば、非特許文献１においては、インター予測において、更なる符号化効率を向上させる２次予測方式が提案されている。この２次予測方式について図１を参照して説明する。
　図１の例においては、対象フレームと参照フレームが示されており、対象フレームには、対象ブロックＡが示されている。
　参照フレームと対象フレームにおいて対象ブロックＡに対して動きベクトルmv(mv_x,mv_y)が求められた場合に、対象ブロックＡと、対象ブロックＡに動きベクトルmvで対応付けられるブロックＢの差分情報（残差）が算出される。
　２次予測方式においては、対象ブロックＡに関する差分情報だけでなく、対象ブロックＡに隣接する隣接画素群Ａ´と、隣接画素群Ａ´に動きベクトルmvで対応付けられる隣接画素群Ｂ´との差分情報も算出される。
　すなわち、対象ブロックＡの左上のアドレス(x,y)から、隣接画素群Ａ´の各画素のアドレスが求められる。また、対象ブロックＡに動きベクトルmv(mv_x,mv_y)で対応付けられるブロックＢの左上のアドレス(x+mv_x,y+mv_y)から、隣接画素群Ｂ´の各画素のアドレスが求められる。これらのアドレスが用いられて、隣接画素群Ｂ´の差分情報が算出される。
　２次予測方式においては、このように算出された対象ブロックに関する差分情報と、隣接画素に関する差分情報との間で、H．264/AVC方式におけるイントラ予測が行われ、これにより、２次差分情報が生成される。生成された２次差分情報が直交変換、量子化され、圧縮画像とともに符号化されて、復号側に送られる。
"Second Order Prediction (SOP) in P Slice", Sijia Chen , JinpengWang , Shangwen Li and, Lu Yu ,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 16-18 July 2008
　ここで、対象ブロックＡは、対象フレームの画枠の中に必ず存在するが、参照ブロックＢが参照フレームの画枠内に存在するか否かは、対象ブロックＡのアドレスと動きベクトルの値によって決まる。
　例えば、図２の例においては、参照フレームにおいて、対象ブロックＡについて動きベクトルmv1とmv2が検出されている。動きベクトルmv1により対象ブロックＡに対応付けられる参照ブロックＢ１は、その一部が画枠の下部において外にはみ出しており、それに対応して、参照ブロックＢ１に隣接する隣接画素群Ｂ１´もその一部が画枠の下部において外にはみ出している。
　また、動きベクトルmv2により対象ブロックＡに対応付けられる参照ブロックＢ２は、画枠内に存在するが、参照ブロックＢ２に隣接する隣接画素群Ｂ２´は、その一部が画枠の右部において外にはみ出している。
　すなわち、参照ブロックが画枠内に存在するか否かだけでなく、参照ブロックに隣接する隣接画素群が画枠内に存在するかも、対象ブロックＡのアドレスと動きベクトルの値によって決定される。そして、このように画枠内に存在しない画素は、参照画素として、利用可能“available”ではないとされる。
　このように、非特許文献１に記載の２次予測方法を適用する場合、参照ブロックに隣接する隣接画素が利用可能ではないことがあり、この場合、２次予測を行うことが困難であった。
　すなわち、非特許文献１に記載の２次予測方法では、H．264/AVC方式のイントラ予測を転用して、２次予測を行っている。H．264/AVC方式のイントラ予測では、隣接画素の利用可能の判定を行う必要がないため、２次予測における隣接画素の利用可能の判定については、H．264/AVC方式のイントラ予測を転用することができなかった。
　したがって、２次予測においては、隣接画素の利用可能の判定に関してのみ、その回路を追加する必要があった。
　本発明は、このような状況に鑑みてなされたものであり、参照ブロックに隣接する隣接画素が画枠外に存在する場合にも２次予測を行うことができるようにするものである。
　本発明の第１の側面の画像処理装置は、対象フレームにおける対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定する判定手段と、前記判定手段により前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行う端点処理手段と、前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報との間で予測を行うことで２次差分情報を生成する２次予測手段と、前記２次予測手段により生成された前記２次差分情報を符号化する符号化手段とを備える。
　前記対象ブロックのアドレス(x,y)、前記対象ブロックが前記参照ブロックを参照する動きベクトル情報(dx,dy)、前記対象隣接画素の相対アドレス(δx,δy)として、前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)を算出する算出手段をさらに備え、前記判定手段は、前記算出手段により算出された前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)が前記画枠内に存在するかを判定することができる。
　前記端点処理手段は、画素値がｎビットで表される場合、
　x+dx+δx < 0 、または、y+dy+δy < 0 
　が成り立つ前記参照隣接画素に対して、その画素値を２n-1とする前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとして、
　x+dx+δx > WIDTH - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, y+dy+δy)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の垂直方向の画素数をHEIGHTとして、
　y+dy+δy > HEIGHT - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(x+dx+δx, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとし、前記画枠の垂直方向の画素数をHEIGHTとして、
　x+dx+δx > WIDTH - 1 、かつ、y+dy+δy > HEIGHT - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠内に存在しない前記参照隣接画素に対して、前記画枠の境界を対称にして鏡像処理により画素値を生成する前記端点処理を行うことができる。
　前記２次予測手段は、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて予測を行い、前記対象ブロックに対するイントラ予測画像を生成するイントラ予測手段と、前記対象ブロックと前記参照ブロックとの差分情報と、前記イントラ予測手段により生成された前記イントラ予測画像とを差分して、前記２次差分情報を生成する２次差分生成手段とを備えることができる。
　前記２次予測手段は、前記判定手段により前記参照隣接画素が前記画枠内に存在すると判定された場合、前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記参照隣接画素との差分情報との間で予測を行うことができる。
　本発明の第１の側面の画像処理方法は、画像処理装置が、対象フレームにおける対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定し、前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行い、前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記端点処理が行われた前記参照隣接画素との差分情報との間で予測を行うことで２次差分情報を生成し、生成された前記２次差分情報を符号化するステップを含む。
　本発明の第２の側面の画像処理装置は、符号化された対象フレームにおける対象ブロックの画像を復号する復号手段と、前記対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定する判定手段と、前記判定手段により前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行う端点処理手段と、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成する２次予測手段と、前記対象ブロックの画像、前記２次予測手段により生成された前記予測画像、および前記参照ブロックの画像を加算して、前記対象ブロックの復号画像を生成する演算手段とを備える。
　前記対象ブロックのアドレス(x,y)、前記対象ブロックが前記参照ブロックを参照する動きベクトル情報(dx,dy)、前記対象隣接画素の相対アドレス(δx,δy)として、前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)を算出する算出手段をさらに備え、前記判定手段は、前記算出手段により算出された前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)が前記画枠内に存在するかを判定することができる。
　前記端点処理手段は、画素値がｎビットで表される場合、
　x+dx+δx < 0 、または、y+dy+δy < 0 
　が成り立つ前記参照隣接画素に対して、その画素値を２n-1とする前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとして、
　x+dx+δx > WIDTH - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, y+dy+δy)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の垂直方向の画素数をHEIGHTとして、
　y+dy+δy > HEIGHT - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(x+dx+δx, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとし、前記画枠の垂直方向の画素数をHEIGHTとして、
　x+dx+δx > WIDTH - 1 、かつ、y+dy+δy > HEIGHT - 1 
　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行うことができる。
　前記端点処理手段は、前記画枠内に存在しない前記参照隣接画素に対して、前記画枠の境界を対称にして鏡像処理により画素値を生成する前記端点処理を行うことができる。
　前記２次予測手段は、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成する予測画像生成手段を備えることができる。
　前記２次予測手段は、前記判定手段により前記参照隣接画素が前記画枠内に存在すると判定された場合、前記対象隣接画素と前記参照隣接画素との差分情報を用いて予測を行うことができる。
　本発明の第２の側面の画像処理方法は、画像処理装置が、符号化された対象フレームにおける対象ブロックの画像を復号し、前記対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定し、前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行い、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成し、前記対象ブロックの画像、生成された前記予測画像、および前記参照ブロックの画像を加算して、前記対象ブロックの復号画像を生成するステップを含む。
　本発明の第１の側面においては、対象フレームにおける対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかが判定される。そして、前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理が行われ、前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記端点処理が行われた前記参照隣接画素との差分情報との間で予測を行うことで２次差分情報が生成され、生成された前記２次差分情報が符号化される。
　本発明の第２の側面においては、符号化された対象フレームにおける対象ブロックの画像が復号され、前記対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかが判定される。そして、前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理が行われ、前記対象隣接画素と前記端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像が生成され、前記対象ブロックの画像、生成された前記予測画像、および前記参照ブロックの画像が加算されて、前記対象ブロックの復号画像が生成される。
　なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
　本発明の第１の側面によれば、画像を符号化することができる。また、本発明の第１の側面によれば、参照ブロックに隣接する隣接画素が画枠外に存在する場合でも、２次予測を行うことができる。
　本発明の第２の側面によれば、画像を復号することができる。また、本発明の第２の側面によれば、参照ブロックに隣接する隣接画素が画枠外に存在する場合でも、２次予測を行うことができる。
インター予測における２次予測方式を説明する図である。 参照ブロックに隣接する隣接画素群について説明する図である。 本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 １／４画素精度の動き予測・補償処理を説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 動きベクトル情報の生成方法の例を説明する図である。 図３の２次予測部の構成例を示すブロック図である。 ２次予測部および参照隣接判定部の動作を説明する図である。 参照隣接画素の設定を説明する図である。 参照隣接画素の設定を説明する図である。 端点処理の例を説明する図である。 図３の画像符号化装置の符号化処理を説明するフローチャートである。 図１３のステップＳ２１の予測処理を説明するフローチャートである。 １６×１６画素のイントラ予測モードの場合の処理順序を説明する図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 ４×４画素のイントラ予測の方向を説明する図である。 ４×４画素のイントラ予測を説明する図である。 輝度信号の４×４画素のイントラ予測モードの符号化を説明する図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 １６×１６画素のイントラ予測を説明する図である。 色差信号のイントラ予測モードの種類を示す図である。 図１４のステップＳ３１のイントラ予測処理を説明するフローチャートである。 図１４のステップＳ３２のインター動き予測処理を説明するフローチャートである。 図２８のステップＳ５３の参照隣接画素決定処理を説明するフローチャートである。 図２８のステップＳ５４の２次予測処理を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図３１の２次予測部の構成例を示すブロック図である。 図３１の画像復号装置の復号処理を説明するフローチャートである。 図３３のステップＳ１３８の予測処理を説明するフローチャートである。 図３４のステップＳ１７９の２次インター予測処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、図を参照して本発明の実施の形態について説明する。
［画像符号化装置の構成例］
　図３は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式で画像を圧縮符号化する。
　図３の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、２次予測部７６、参照隣接判定部７７、予測画像選択部７８、およびレート制御部７９により構成されている。
　Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
　演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７８により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７５からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
　量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
　可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。
　可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。
　例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７８から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
　スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７５またはイントラ予測部７４に出力する。
　この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７５に供給される。
　イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
　その際、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。
　イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７８に供給する。イントラ予測部７４は、予測画像選択部７８により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
　動き予測・補償部７５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。すなわち、動き予測・補償部７５には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７５は、インター処理する画像と参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出し、動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
　動き予測・補償部７５は、検出された動きベクトル情報、インター処理する画像の情報（アドレスなど）、およびインター処理する画像と生成された予測画像の差分である１次残差を、２次予測部７６に供給する。
　２次予測部７６は、動きベクトル情報により対象ブロックに対応付けられる参照ブロックに隣接する参照隣接画素のアドレスを求め、参照隣接判定部７７に供給する。これに対応して入力される参照隣接判定部７７からの判定結果に応じて、２次予測部７６は、端点処理を行い、対応する画素を、フレームメモリ７２から読み出し、２次予測処理を行う。ここで、端点処理とは、参照フレームの画枠外にあるとされた参照隣接画素に用いる画素値を、画枠内に存在する他の画素値を用いて決定する処理である。また、２次予測処理とは、１次残差、および対象隣接画素と参照隣接画素の差分の間で予測を行い、２次差分情報（２次残差）を生成する処理である。
　２次予測部７６は、２次予測処理により生成した２次残差と、２次予測処理で用いたイントラ予測モードの情報を、２次予測におけるイントラ予測モードの情報として、動き予測・補償部７５に出力する。
　参照隣接判定部７７は、動き予測・補償部７５からの参照隣接画素のアドレスを用いて、参照隣接画素が、参照フレームの画枠内に存在するか否かを判定し、その判定結果を、２次予測部７６に供給する。
　動き予測・補償部７５は、２次予測部７６からの２次残差を比較することで、２次予測における最適なイントラ予測モードを決定する。また、動き予測・補償部７５は、２次残差と１次残差を比較することで、２次予測処理を行うか否か（すなわち、２次残差を符号化するか、または１次残差を符号化するか）を決定する。なお、これらの処理は、候補となる全てのインター予測モードに対して行われる。
　そして、動き予測・補償部７５は、候補となる全てのインター予測モードに対してコスト関数値を算出する。このとき、１次残差および２次残差のうち、インター予測モード毎に決定された残差が用いられて、コスト関数値が算出される。動き予測・補償部７５は、算出したコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定する。
　動き予測・補償部７５は、最適インター予測モードで生成された予測画像（またはインターする画像と２次残差の差分）、およびそのコスト関数値を、予測画像選択部７８に供給する。動き予測・補償部７５は、予測画像選択部７８により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報を可逆符号化部６６に出力する。
　このとき、動きベクトル情報、参照フレーム情報、２次予測を行うことを示す２次予測フラグ、および２次予測におけるイントラ予測モードの情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
　予測画像選択部７８は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７８は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７８は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７５に供給する。
　レート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［H．264/AVC方式の説明］
　図４は、H．264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。H．264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。
　図４の上段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションに分割された１６×１６画素で構成されるマクロブロックが順に示されている。また、図４の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のサブパーティションに分割された８×８画素のパーティションが順に示されている。
　すなわち、H．264/AVC方式においては、１つのマクロブロックを、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８画素のパーティションに関しては、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
　図５は、H．264/AVC方式における１／４画素精度の予測・補償処理を説明する図である。H．264/AVC方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
　図５の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ１，ｅ２，ｅ３は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
 　なお、入力画像が８ビット精度である場合、max_pixの値は255となる。
　位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（２）のように生成される。
　
Figure JPOXMLDOC01-appb-M000002
　位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（３）のように生成される。

Figure JPOXMLDOC01-appb-M000003
 　なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。
　位置ｅ１乃至ｅ３は、次の式（４）のように線形内挿により生成される。

Figure JPOXMLDOC01-appb-M000004
　図６は、H．264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H．264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。
　図６の例においては、いまから符号化される対象フレームＦnと、符号化済みのフレームＦn-5,…,Ｆn-1が示されている。フレームＦn-1は、時間軸上、対象フレームＦnの１つ前のフレームであり、フレームＦn-2は、対象フレームＦnの２つ前のフレームであり、フレームＦn-3は、対象フレームＦnの３つ前のフレームである。また、フレームＦn-4は、対象フレームＦnの４つ前のフレームであり、フレームＦn-5は、対象フレームＦnの５つ前のフレームである。一般的には、対象フレームＦnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号（ref_id）が付加される。すなわち、フレームＦn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Ｆn-5の順に参照ピクチャ番号が小さい。
　対象フレームＦnには、ブロックＡ1とブロックＡ2が示されており、ブロックＡ1は、２つ前のフレームＦn-2のブロックＡ1’と相関があるとされて、動きベクトルＶ1が探索されている。また、ブロックＡ2は、４つ前のフレームＦn-4のブロックＡ1’と相関があるとされて、動きベクトルＶ2が探索されている。
　以上のように、H．264/AVC方式においては、複数の参照フレームをメモリに格納しておき、１枚のフレーム（ピクチャ）において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックＡ1がフレームＦn-2を参照し、ブロックＡ2がフレームＦn-4を参照しているというように、１枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報（参照ピクチャ番号（ref_id））を持つことができる。
　ここで、ブロックとは、図４を参照して上述した１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションのいずれかを示す。８×８サブブロック内における参照フレームは同一でなければならない。
　H．264/AVC方式においては、図４乃至図６を参照して上述した動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成され、これをこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H．264/AVC方式においては、図７に示す方法により、動きベクトルの符号化情報の低減が実現されている。
　図７は、H．264/AVC方式による動きベクトル情報の生成方法について説明する図である。
　図７の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。
　すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図３で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。
　例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mvXで表す。まず、対象ブロックＥに対する予測動きベクトル情報pmvEは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（５）のように生成される。
　pmvE = med(mvA,mvB,mvC)　　　　　　　　　　　　　　　・・・（５）
　ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合がある。この場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。
　対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvdEは、pmvEを用いて、次の式（６）のように生成される。

　mvdE = mvE - pmvE　　　　　　　　　　　　　　　　　　・・・（６）
　なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。
　このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分であるデータmvdEを、圧縮画像のヘッダ部に付加することにより、動きベクトル情報を低減することができる。
［２次予測部の構成例］
　図８は、２次予測部の詳細な構成例を示すブロック図である。
　図８の例においては、２次予測部７６は、参照ブロックアドレス算出部８１、参照隣接アドレス算出部８２、参照隣接画素決定部８３、対象隣接画素読み出し部８４、隣接画素差分算出部８５、イントラ予測部８６、および対象ブロック差分バッファ８７により構成される。
　動きベクトル予測・補償部７５は、対象ブロックに対する動きベクトル(dx,dy)を、参照ブロックアドレス算出部８１に供給する。動きベクトル予測・補償部７５は、対象ブロックアドレス(x,y)を、参照ブロックアドレス算出部８１および対象隣接画素読み出し部８４に供給する。動きベクトル予測・補償部７５は、対象ブロックと参照ブロック（予測画像）の差分である１次残差を、対象ブロック差分バッファ８７に供給する。
　参照ブロックアドレス算出部８１は、動きベクトル予測・補償部７５からの対象ブロックアドレス(x,y)と、対象ブロックに対する動きベクトル(dx,dy)から、参照ブロックアドレス(x+dx,y+dy)を決定する。参照ブロックアドレス算出部８１は、決定した参照ブロックアドレス(x+dx,y+dy)を、参照隣接アドレス算出部８２に供給する。
　参照隣接アドレス算出部８２は、参照ブロックアドレス(x+dx,y+dy)と対象ブロックに隣接する対象隣接画素の相対アドレスを基に、参照隣接画素の相対アドレスである参照隣接アドレスを算出する。参照隣接アドレス算出部８２は、算出した参照隣接アドレス(x+dx+δx,y+dy+δy)を、参照隣接判定部７７に供給する。
　参照隣接画素決定部８３には、参照隣接判定部７７から、参照隣接画素が参照フレームの画枠内に存在するか否かの判定結果が入力される。参照隣接画素決定部８３は、参照隣接画素が参照フレームの画枠内に存在する場合、フレームメモリ７２より、H．264/AVC方式で定義されている隣接画素を読み出し、それを図示せぬ内蔵バッファに蓄積する。
　一方、参照隣接画素決定部８３は、参照隣接画素が参照フレームの画枠内に存在しない場合、存在しない隣接画素について端点処理を行って、参照隣接画素の画素値を決定し、それを、フレームメモリ７２から読み出して、図示せぬ内蔵バッファに蓄積する。ここで、端点処理とは、例えば、参照フレームの画枠内に存在する他の画素値を、画枠内に存在しない隣接画素の画素値とする処理であり、図１２を参照して詳しく後述される。
　対象隣接画素読み出し部８４は、動き予測・補償部７５からの対象ブロックアドレス(x,y)を用いて、フレームメモリ７２から、対象ブロックの画素値を読み出し、それを図示せぬ内蔵バッファに蓄積する。
　隣接画素差分算出部８５は、対象隣接画素読み出し部８４の内蔵バッファから、対象隣接画素[A']を読み出し、また、参照隣接画素決定部８５の内蔵バッファから、対象隣接画素に対応する参照隣接画素[B']を読み出す。隣接画素差分算出部８５は、各内蔵バッファから読み出された対象隣接画素[A']と参照隣接画素[B']の差分を算出し、隣接画素に対する残差[A'-B']として、図示せぬ内蔵バッファに蓄積する。
　イントラ予測部８６は、隣接画素差分算出部８５の内蔵バッファから、隣接画素に対する残差[A'-B']を読み出し、対象ブロック差分バッファ８７から、対象ブロックに対する１次残差[A-B]を読み出す。イントラ予測部８６は、隣接画素に対する残差[A'-B']を用いて、各イントラ予測モード[mode]で対象ブロックについてイントラ予測を行い、イントラ予測画像Ipred(A'-B')[mode]を生成する。
　そして、イントラ予測部８６は、対象ブロックに対する１次残差と、対象ブロックについて予測されたイントラ予測画像との差分である２次残差を生成し、生成した２次残差と、そのときのイントラ予測モードの情報を、動き予測・補償部７５に供給する。
　なお、図８の例のイントラ予測部８６における２次予測としてイントラ予測を行う回路は、イントラ予測部７４との回路を共用することが可能である。
［２次予測部および参照隣接判定部の動作の説明］
　次に、図９を参照して、２次予測部７６および参照隣接判定部７７の動作について説明する。なお、以下、対象ブロックのブロックサイズが４×４画素である場合を例に説明する。
　図９の例においては、対象フレームと参照フレームが示されており、対象フレームには、対象ブロックＡと、対象ブロックＡに隣接する対象隣接画素Ａ´が示されている。また、対象フレームと参照フレームの間には、参照フレームにおいて、対象フレームＡについて求められた動きベクトルmv(dx,dy)が示されている。
　さらに、参照フレームには、その動きベクトルmv(dx,dy)により対象ブロックＡに対応付けられている参照ブロックＢと、参照ブロックＢに隣接する参照隣接画素Ｂ´が示されている。なお、図において、対象隣接画素Ａ´および参照隣接画素Ｂ´は、対象ブロックＡおよび参照ブロックＢの画素と区別するため、ハッチがなされている。
　まず、２次予測部７６においては、図１を参照して上述した２次予測処理が行われる。その際、参照ブロックＢに対する参照隣接画素Ｂ´は、参照隣接判定部７７により画枠内に存在するか否かが判定され、２次予測部７６により以下のように設定される。
　すなわち、図９に示されるように、対象ブロックＡにおいて左上に位置する画素のアドレス（座標）を(x,y)と定義した場合、動きベクトルmv(dx,dy)により、参照ブロックＢにおいて左上に位置する画素のアドレスは(x+dx,y+dy)と定義される。
　このとき、次の式（７）を用いて、対象隣接画素Ａ´のアドレスは、(x+δx,y+δy)と定義され、対象隣接画素Ｂ´のアドレスは、(x+dx+δx,y+dy+δy)と定義される。

　(δx,δy) = {(-1,-1),(0,-1),(1,-1),(2,-1),(3,-1),(4,-1),(5,-1),
               (6,-1),(7,-1),(-1,0),(-1,1),(-1,2),(-1,3)}
                                               　　     ・・・（７）
　これらのアドレスを用いて、次に、図１０および図１１を参照して、参照ブロックＢに対する参照隣接画素Ｂ´の設定について説明する。なお、対象ブロックＡに対する対象隣接画素Ａ´の定義は、H．264/AVC方式の定義に準ずる。すなわち、その詳細は、図１３および図１４を参照して後述される。
　まず、図１０のＡの例においては、参照フレームの画枠の左側に、参照ブロックＢに隣接する参照隣接画素Ｂ´の一部がはみ出している例が示されている。図１０のＢの例においては、参照フレームの画枠の上側に、参照ブロックＢに隣接する参照隣接画素Ｂ´の一部がはみ出している例が示されている。
　これらの場合、すなわち、次の式（８）が成り立つ参照隣接画素Ｂ´に対しては、２次予測部７６は、その画素値を２n-1と設定する。ここで、画素値はｎビットで表されるものとし、８ビットの場合、その画素値は、128となる。

　x+dx+δx < 0　または　y+dy+δy > 0
                                               　　     ・・・（８）
　次に、図１１のＡの例においては、参照フレームの画枠の下側に、参照ブロックＢの一部とともに参照隣接画素Ｂ´の一部がはみ出している例が示されている。図１１のＢの例においては、参照フレームの画枠の右側に、参照ブロックＢに隣接する参照隣接画素Ｂ´の一部がはみ出している例が示されている。
　ここで、対象フレームおよび参照フレームの画枠サイズが、WIDTH×HEIGHTであるとする。画枠サイズがWIDTH×HEIGHTである場合において、図１１のＡに示されるようなとき、すなわち、次の式（９）が成り立つときには、２次予測部７６は、アドレス(WIDTH - 1, y+dy+δy)により指し示される画素を参照隣接画素として設定する。

　x+dx+δx > WIDTH - 1　　　　　　　       　　  　     ・・・（９）
　また、画枠サイズがWIDTH×HEIGHTである場合において、図１１のＢに示されるようなとき、すなわち、次の式（１０）が成り立つときには、２次予測部７６は、アドレス（x+dx+δx,HEIGHT - 1）により指し示される画素を参照隣接画素として設定する。

　y+dy+δy > HEIGHT - 1　　　　       　　  　     ・・・（１０）
　さらに、画枠サイズがWIDTH×HEIGHTである場合において、式（９）および式（１０）の両方が成り立つときには、２次予測部７６は、アドレス（WIDTH - 1,HEIGHT - 1）により指し示される画素を参照隣接画素として設定する。
　すなわち、２次予測部７６の参照隣接画素を設定する処理は、図１１のＡおよび図１１のＢの矢印に示されるように、画枠からはみ出した参照隣接画素に関しては、端点処理の１つである、画枠に存在する参照隣接画素と同一の値を用いる処理に他ならない。この処理は、ホールド処理と呼ばれる。なお、このホールド処理の代わりに、端点処理の他の１つであるミラー処理を適用してもよい。
　次に、図１２を参照して、端点処理であるホールド処理およびミラー処理について説明する。なお、図１２のＡの例においては、ホールド処理の例として、また、図１２のＢの例においては、ミラー処理の例として、図１１のＢに示されるＥの範囲が拡大してそれぞれ示されている。
　画枠境界より図中左側の参照隣接画素は、画枠内に存在し、例えば、画枠境界側から順に、a0,a1,a2の画素値を有している。しかしながら、画枠境界より図中右側の参照隣接画素は、画枠外に存在する。
　このため、図１２のＡに示されるホールド処理においては、画枠外の参照隣接画素の画素値は、画枠境界に１番近い画枠内の参照隣接画素の画素値a0が用いられて仮想的に生成される。
　また、図１２のＢに示されるミラー処理においては、画枠境界を中心として鏡像としての仮想画素値が存在するものとして処理が行われる。
　すなわち、ミラー処理においては、画枠外の画枠境界側から１番近い参照隣接画素の画素値は、画枠境界に１番近い画枠内の参照隣接画素の画素値a0が用いられて仮想的に生成される。画枠外の画枠境界側から２番目に近い参照隣接画素の画素値は、画枠境界に２番目に近い画枠内の参照隣接画素の画素値a1が用いられて仮想的に生成される。画枠外の画枠境界側から３番目に近い参照隣接画素の画素値は、画枠境界に３番目に近い画枠内の参照隣接画素の画素値a2が用いられて仮想的に生成される。
　なお、上記説明においては、イントラ４×４予測を例に説明したが、イントラ８×８予測の場合には、上述した式（７）の代わりに、次の式（１１）のように定義することで、同様の処理を行うことができる。

　　(δx,δy) = {(-1,-1),(0,-1),(1,-1),(2,-1),(3,-1),(4,-1),(5,-1),
               (6,-1),(7,-1),(8,-1),(9,-1),(10,-1),(11,-1),(12,-1),
　　　　　　　 (13,-1),(14,-1),(15,-1),(-1,0),(-1,1),(-1,2),(-1,3),
               (-1,4),(-1,5),(-1,6),(-1,7)}
                                               　　・・・（１１）
　イントラ１６×１６予測の場合には、後述する図２４に示されるように、隣接画素のうち、ブロックに対して右上に位置する隣接画素の画素値はイントラ予測に用いられない。したがって、上述した式（７）の代わりに、次の式（１２）のように定義することで、同様の処理を行うことができる。

　　(δx,δy) = {(-1,-1),(0,-1),(1,-1),(2,-1),(3,-1),(4,-1),(5,-1),
               (6,-1),(7,-1),(8,-1),(9,-1),(10,-1),(11,-1),(12,-1),
　　　　　　　 (13,-1),(14,-1),(15,-1),(-1,0),(-1,1),(-1,2),(-1,3),
               (-1,4),(-1,5),(-1,6),(-1,7),(-1,8),(-1,9),(-1,10),
               (-1,11),(-1,12),(-1,13),(-1,14),(-1,15)}
                                               　　・・・（１２）
　色差信号に関しても、イントラ１６×１６予測の場合と同様に、隣接画素のうち、ブロックに対して右上に位置する隣接画素の画素値はイントラ予測に用いられない。したがって、上述した式（７）の代わりに、次の式（１３）のように定義することで、同様の処理を行うことができる。
　
　　　(δx,δy) = {(-1,-1),(0,-1),(1,-1),(2,-1),(3,-1),(4,-1),(5,-1),
                 (6,-1),(7,-1),(-1,0),(-1,1),(-1,2),(-1,3),
                 (-1,4),(-1,5),(-1,6),(-1,7)}
                                               　　・・・（１３）
　以上のように、画像符号化装置５１においては、参照隣接画素が画枠外に存在するか否かを判定し、参照隣接画素が画枠外に存在する場合に、その画素に対して、ホールドまたはミラーの端点処理を行うようにした。
　これにより、参照隣接画素が画枠外に存在する場合でも２次予測処理を行うことができ、その結果、符号化効率を向上させることができる。
［画像符号化装置の符号化処理の説明］
　次に、図１３のフローチャートを参照して、図３の画像符号化装置５１の符号化処理について説明する。
　ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７５から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７８を介して演算部６３に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
　ステップＳ１８において、演算部７０は、予測画像選択部７８を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
　ステップＳ２１において、イントラ予測部７４および動き予測・補償部７５は、それぞれ画像の予測処理を行う。すなわち、ステップＳ２１において、イントラ予測部７４は、イントラ予測モードのイントラ予測処理を行う。動き予測・補償部７５は、インター予測モードの動き予測・補償処理を行う。
　このとき、参照隣接判定部７７により参照ブロックに隣接する隣接画素が、参照フレームの画枠内に存在するか否かが判定され、２次予測部７６により、その判定結果に応じて、参照隣接画素に端点処理が施された後に、２次予測が行われて、２次残差が生成される。そして、動き予測・補償部７５において、１次残差と２次残差のうち、符号化効率がよい残差が決定される。
　なお、２次予測が行われた場合には、２次予測を行うことを示す２次予測フラグや２次予測におけるイントラ予測モードを示す情報を復号側に送る必要がある。これらの情報は、後述するステップＳ２２において最適インター予測モードの予測画像が選択された場合に、最適インター予測モード情報などとともに、可逆符号化部６６に供給される。
　ステップＳ２１における予測処理の詳細は、図１４を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでの予測処理がそれぞれ行われ、候補となる全てのイントラ予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
　また、この処理により、候補となる全てのインター予測モードでの予測処理がそれぞれ行われ、決定された残差が用いられて、候補となる全てのインター予測モードでのコスト関数値がそれぞれ算出される。算出されたコスト関数値に基づいて、インター予測モードの中から、最適インター予測モードが決定され、最適インター予測モードで生成された予測画像とそのコスト関数値が、予測画像選択部７８に供給される。なお、最適インター予測モードについて、２次予測が行われた場合には、予測画像として、インターする画像と２次残差の差分が予測画像選択部７８に供給される。
　ステップＳ２２において、予測画像選択部７８は、イントラ予測部７４および動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７８は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像（２次予測が行われた場合、インターする画像と２次残差との差分）が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部７５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、２次予測を行うことを示す２次予測フラグ、２次予測におけるイントラ予測モードを示す情報、および参照フレーム情報などがあげられる。
　ステップＳ２３において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像（２次予測の場合、２次差分画像）が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２２において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、動き予測・補償部７５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。
　ステップＳ２４において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ２５においてレート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［予測処理の説明］
　次に、図１４のフローチャートを参照して、図１３のステップＳ２１における予測処理を説明する。
　画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。これらの画像に基づいて、ステップＳ３１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
　ステップＳ３１におけるイントラ予測処理の詳細は、図２７を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
　画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７５に供給される。これらの画像に基づいて、ステップＳ３２において、動き予測・補償部７５はインター動き予測処理を行う。すなわち、動き予測・補償部７５は、フレームメモリ７２から供給される画像を参照して、候補となる全てのインター予測モードの動き予測処理を行う。
　なお、このとき、参照隣接判定部７７は、動き予測・補償部７５からの参照隣接画素のアドレスを用いて、参照隣接画素が、参照フレームの画枠内に存在するか否かを判定する。２次予測部７６は、参照隣接判定部７７からの判定結果に応じて、端点処理を行い、２次予測処理を行った結果の２次残差を、動き予測・補償部７５に出力する。これに対応して、動き予測・補償部７５は、１次残差と２次残差のうち符号化効率がよい残差を決定し、これ以降の処理に用いる。
　ステップＳ３２におけるインター動き予測処理の詳細は、図２８を参照して後述する。この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、１次差分または２次差分が用いられて、候補となる全てのインター予測モードに対してコスト関数値が算出される。
　ステップＳ３３において、動き予測・補償部７５は、ステップＳ３２において算出されたインター予測モードに対してのコスト関数値を比較する。動き予測・補償部７５は、最小値を与える予測モードを、最適インター予測モードとして決定し、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７８に供給する。
［Ｈ．２６４／ＡＶＣ方式におけるイントラ予測処理の説明］
　次に、Ｈ．２６４／ＡＶＣ方式で定められているイントラ予測の各モードについて説明する。
　まず、輝度信号に対するイントラ予測モードについて説明する。輝度信号のイントラ予測モードには、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードの３通りの方式が定められている。これは、ブロック単位を定めるモードであり、マクロブロック毎に設定される。また、色差信号に対しては、マクロブロック毎に輝度信号とは独立したイントラ予測モードを設定することが可能である。
　さらに、イントラ４×４予測モードの場合、４×４画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。イントラ８×８予測モードの場合、８×８画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。また、イントラ１６×１６予測モードの場合、１６×１６画素の対象マクロブロックに対して、４種類の予測モードから１つの予測モードを設定することができる。
　なお、以下、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードは、それぞれ、４×４画素のイントラ予測モード、８×８画素のイントラ予測モード、および１６×１６画素のイントラ予測モードとも適宜称する。
　図１５の例において、各ブロックに付されている数字－１乃至２５は、その各ブロックのビットストリーム順（復号側における処理順）を表している。なお、輝度信号については、マクロブロックが４×４画素に分割されて、４×４画素のＤＣＴが行われる。そして、イントラ１６×１６予測モードの場合のみ、－１のブロックに示されるように、各ブロックの直流成分を集めて、４×４行列が生成され、これに対して、さらに、直交変換が施される。
　一方、色差信号については、マクロブロックが４×４画素に分割され、４×４画素のＤＣＴが行われた後に、１６および１７の各ブロックに示されるように、各ブロックの直流成分を集めて、２×２行列が生成され、これに対して、さらに、直交変換が施される。
　なお、このことは、イントラ８×８予測モードに関しては、ハイプロファイルまたはそれ以上のプロファイルで、対象マクロブロックに、８×８直交変換が施される場合についてのみ適用可能である。
　図１６および図１７は、９種類の輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（ＤＣ）予測を示すモード２以外の８種類の各モードは、それぞれ、図１８の番号０，１，３乃至８で示される方向に対応している。
　９種類のIntra_4x4_pred_modeについて、図１９を参照して説明する。図１９の例において、画素ａ乃至ｐは、イントラ処理される対象ブロックの画素を表し、画素値Ａ乃至Ｍは、隣接ブロックに属する画素の画素値を表している。すなわち、画素ａ乃至ｐは、画面並べ替えバッファ６２から読み出された処理対象の画像であり、画素値Ａ乃至Ｍは、フレームメモリ７２から読み出され、参照される復号済みの画像の画素値である。
　図１６および図１７に示す各イントラ予測モードの場合、画素ａ乃至ｐの予測画素値は、隣接ブロックに属する画素の画素値Ａ乃至Ｍを用いて、以下のように生成される。なお、画素値が“available”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由がなく、利用可能であることを表す。これに対して、画素値が“unavailable”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により利用可能ではないことを表す。
　モード０はVertical Prediction modeであり、画素値Ａ乃至Ｄが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１４）のように生成される。

　画素ａ, ｅ, ｉ, ｍの予測画素値　＝　Ａ
　画素ｂ, ｆ, ｊ, ｎの予測画素値　＝　Ｂ
　画素ｃ, ｇ, ｋ, ｏの予測画素値　＝　Ｃ
　画素ｄ, ｈ, ｌ, ｐの予測画素値　＝　Ｄ　　　　　　・・・（１４）
　モード１はHorizontal Prediction modeであり、画素値Ｉ乃至Ｌが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１５）のように生成される。

　画素ａ, ｂ, ｃ, ｄの予測画素値　＝　Ｉ
　画素ｅ, ｆ, ｇ, ｈの予測画素値　＝　Ｊ
　画素ｉ, ｊ, ｋ, ｌの予測画素値　＝　Ｋ
　画素ｍ, ｎ, ｏ, ｐの予測画素値　＝　Ｌ　　　　　　・・・（１５）
　モード２はDC Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て “available” である時、予測画素値は式（１６）のように生成される。

　（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）　＞＞　３　・・・（１６）
　また、画素値Ａ,Ｂ,Ｃ,Ｄが全て “unavailable” である時、予測画素値は式（１７）のように生成される。

　（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）　＞＞　２　　　　　　　　　・・・（１７）
　また、画素値Ｉ,Ｊ,Ｋ,Ｌが全て “unavailable” である時、予測画素値は式（１８）のように生成される。

　（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）　＞＞　２　　　　　　　　　・・・（１８）
　なお、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て“unavailable” である時、１２８を予測画素値として用いる。
　モード３はDiagonal_Down_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１９）のように生成される。

　画素ａの予測画素値　　　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｂ，ｅの予測画素値　　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　画素ｃ，ｆ，ｉの予測画素値　　　＝　（Ｃ＋２Ｄ＋Ｅ＋２）　＞＞　２
　画素ｄ，ｇ，ｊ，ｍの予測画素値　＝　（Ｄ＋２Ｅ＋Ｆ＋２）　＞＞　２
　画素ｈ，ｋ，ｎの予測画素値　　　＝　（Ｅ＋２Ｆ＋Ｇ＋２）　＞＞　２
　画素ｌ，ｏの予測画素値　　　　　＝　（Ｆ＋２Ｇ＋Ｈ＋２）　＞＞　２
　画素ｐの予測画素値　　　　　　　＝　（Ｇ＋３Ｈ＋２）　　　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１９）
　モード４はDiagonal_Down_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２０）のように生成される。

　画素ｍの予測画素値　　　　　　　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
　画素ｉ，ｎの予測画素値　　　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　画素ｅ，ｊ，ｏの予測画素値　　　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
　画素ａ，ｆ，ｋ，ｐの予測画素値　＝　（Ａ＋２Ｍ＋Ｉ＋２）　＞＞　２
　画素ｂ，ｇ，ｌの予測画素値　　　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
　画素ｃ，ｈの予測画素値　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｄの予測画素値　　　　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２０）
　モード５はDiagonal_Vertical_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２１）のように生成される。

　画素ａ，ｊの予測画素値　　　　　＝　（Ｍ＋Ａ＋１）　　　　＞＞　１
　画素ｂ，ｋの予測画素値　　　　　＝　（Ａ＋Ｂ＋１）　　　　＞＞　１
　画素ｃ，ｌの予測画素値　　　　　＝　（Ｂ＋Ｃ＋１）　　　　＞＞　１
　画素ｄの予測画素値　　　　　　　＝　（Ｃ＋Ｄ＋１）　　　　＞＞　１
　画素ｅ，ｎの予測画素値　　　　　＝　（Ｉ＋２Ｍ＋Ａ＋２）　＞＞　２
　画素ｆ，ｏの予測画素値　　　　　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
　画素ｇ，ｐの予測画素値　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｈの予測画素値　　　　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　画素ｉの予測画素値　　　　　　　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
　画素ｍの予測画素値　　　　　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２１）
　モード６はHorizontal_Down Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２２）のように生成される。

　画素ａ，ｇの予測画素値　　　　　＝　（Ｍ＋Ｉ＋１）　　　　＞＞　１
　画素ｂ，ｈの予測画素値　　　　　＝　（Ｉ＋２Ｍ＋Ａ＋２）　＞＞　２
　画素ｃの予測画素値　　　　　　　＝　（Ｍ＋２Ａ＋Ｂ＋２）　＞＞　２
　画素ｄの予測画素値　　　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｅ，ｋの予測画素値　　　　　＝　（Ｉ＋Ｊ＋１）　　　　＞＞　１
　画素ｆ，ｌの予測画素値　　　　　＝　（Ｍ＋２Ｉ＋Ｊ＋２）　＞＞　２
　画素ｉ，ｏの予測画素値　　　　　＝　（Ｊ＋Ｋ＋１）　　　　＞＞　１
　画素ｊ，ｐの予測画素値　　　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　画素ｍの予測画素値　　　　　　　＝　（Ｋ＋Ｌ＋１）　　　　＞＞　１
　画素ｎの予測画素値　　　　　　　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２２）
　モード７は、Vertical_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２３）のように生成される。

　画素ａの予測画素値　　　　　　　＝　（Ａ＋Ｂ＋１）　　　　＞＞　１
　画素ｂ，ｉの予測画素値　　　　　＝　（Ｂ＋Ｃ＋１）　　　　＞＞　１
　画素ｃ，ｊの予測画素値　　　　　＝　（Ｃ＋Ｄ＋１）　　　　＞＞　１
　画素ｄ，ｋの予測画素値　　　　　＝　（Ｄ＋Ｅ＋１）　　　　＞＞　１
　画素ｌの予測画素値　　　　　　　＝　（Ｅ＋Ｆ＋１）　　　　＞＞　１
　画素ｅの予測画素値　　　　　　　＝　（Ａ＋２Ｂ＋Ｃ＋２）　＞＞　２
　画素ｆ，ｍの予測画素値　　　　　＝　（Ｂ＋２Ｃ＋Ｄ＋２）　＞＞　２
　画素ｇ，ｎの予測画素値　　　　　＝　（Ｃ＋２Ｄ＋Ｅ＋２）　＞＞　２
　画素ｈ，ｏの予測画素値　　　　　＝　（Ｄ＋２Ｅ＋Ｆ＋２）　＞＞　２
　画素ｐの予測画素値　　　　　　　＝　（Ｅ＋２Ｆ＋Ｇ＋２）　＞＞　２
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２３）
　モード８は、Horizontal_Up Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２４）のように生成される。

　画素ａの予測画素値　　　　　　　＝　（Ｉ＋Ｊ＋１）　　　　＞＞　１
　画素ｂの予測画素値　　　　　　　＝　（Ｉ＋２Ｊ＋Ｋ＋２）　＞＞　２
　画素ｃ，ｅの予測画素値　　　　　＝　（Ｊ＋Ｋ＋１）　　　　＞＞　１
　画素ｄ，ｆの予測画素値　　　　　＝　（Ｊ＋２Ｋ＋Ｌ＋２）　＞＞　２
　画素ｇ，ｉの予測画素値　　　　　＝　（Ｋ＋Ｌ＋１）　　　　＞＞　１
　画素ｈ，ｊの予測画素値　　　　　＝　（Ｋ＋３Ｌ＋２）　　　＞＞　２
　画素ｋ，ｌ，ｍ，ｎ，ｏ，ｐの予測画素値　＝　Ｌ
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２４）
　次に、図２０を参照して、輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)の符号化方式について説明する。図２０の例において、４×４画素からなり、符号化対象となる対象ブロックＣが示されており、対象ブロックＣに隣接する４×４画素からなるブロックＡおよびブロックＢが示されている。
　この場合、対象ブロックＣにおけるIntra_4x4_pred_modeと、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeとは高い相関があると考えられる。この相関性を用いて、次のように符号化処理を行うことにより、より高い符号化効率を実現することができる。
　すなわち、図２０の例において、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeを、それぞれ、Intra_4x4_pred_modeAおよびIntra_4x4_pred_modeBとして、MostProbableModeを次の式（２５）と定義する。

　MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２５）
　すなわち、ブロックＡおよびブロックＢのうち、より小さなmode_numberを割り当てられている方をMostProbableModeとする。
　ビットストリーム中には、対象ブロックＣに対するパラメータとして、prev_intra4x4_pred_mode_flag[luma4x4BlkIdx] および rem_intra4x4_pred_mode[luma4x4BlkIdx] という２つの値が定義されており、次の式（２６）に示される擬似コードに基づく処理により、復号処理が行われ、対象ブロックＣに対するIntra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることができる。
　if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
　　　　　　　Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
　else
　　if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
　　　Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
    else
　　　Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２６）
　次に、８×８画素のイントラ予測モードについて説明する。図２１および図２２は、９種類の輝度信号の８×８画素のイントラ予測モード(Intra_8x8_pred_mode)を示す図である。
　対象の８×８ブロックにおける画素値を、p[x,y](0≦x≦7;0≦y≦7)とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…,[p-1,7]のように表すものとする。
　８×８画素のイントラ予測モードについては、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理が施される。ここで、ローパスフィルタリング処理前の画素値を、p[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp'[-1,-1],…,p'[-1,15],p'[-1,0],…p'[-1,7]と表すとする。
　まず、p'[0,-1]は、p[-1,-1] が “available” である場合には、次の式（２７）のように算出され、“not available” である場合には、次の式（２８）のように算出される。

　p'[0,-1] = (p[-1,-1] + 2*p[0,-1] + p[1,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２７）
　p'[0,-1] = (3*p[0,-1] + p[1,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２８）
　p'[x,-1] (x=0,…,7)は、次の式（２９）のように算出される。

　p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２９）
　p'[x,-1] (x=8,…,15)は、p[x,-1] (x=8,…,15) が “available” である場合には、次の式（３０）のように算出される。

　p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
　p'[15,-1] = (p[14,-1] + 3*p[15,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３０）
　p'[-1,-1]は、p[-1,-1]が “available” である場合には、以下のように算出される。すなわち、p'[-1,-1]は、p[0,-1]及びp[-1,0]の双方がavailableである場合には、式（３１）のように算出され、p[-1,0] が “unavailable” である場合には、式（３２）のように算出される。また、p'[-1,-1]は、p[0,-1] が “unavailable” である場合には、式（３３）のように算出される。

　p'[-1,-1] = (p[0,-1] + 2*p[-1,-1] + p[-1,0] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３１）
　p'[-1,-1] = (3*p[-1,-1] + p[0,-1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３２）
　p'[-1,-1] = (3*p[-1,-1] + p[-1,0] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３３）
　p'[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が “available” の時、以下のように算出される。すなわち、まず、p'[-1,0]は、p[-1,-1]が “available” である場合には、次の式（３４）のように算出され、“unavailable” である場合には、式（３５）のように算出される。

　p'[-1,0] = (p[-1,-1] + 2*p[-1,0] + p[-1,1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３４）
　p'[-1,0] = (3*p[-1,0] + p[-1,1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３５）
　また、p'[-1,y] (y=1,…,6)は、次の式（３６）のように算出され、p'[-1,7]は、式（３７）のように算出される。

　p[-1,y] = (p[-1,y-1] + 2*p[-1,y] + p[-1,y+1] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３６）
　p'[-1,7] = (p[-1,6] + 3*p[-1,7] + 2) >>2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３７）
　このように算出されたp'を用いて、図２１および図２２に示される各イントラ予測モードにおける予測値は以下のように生成される。
　モード０はVertical Prediction modeであり、p[x,-1] (x=0, … ,7) が “available” である時のみ適用される。予測値pred8x8L[x,y]は、次の式（３８）のように生成される。

　pred8x8L[x,y] = p'[x,-1] x,y=0,...,7
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３８）
　モード１はHorizontal Prediction modeであり、p[-1,y] (y=0, … ,7) が “available” である時のみ適用される。予測値pred8x8L[x,y]は、次の式（３９）のように生成される。

　pred8x8L[x,y] = p'[-1,y] x,y=0,...,7
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３９）
　モード２はDC Prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “available” である場合には、予測値pred8x8L[x,y]は、次の式（４０）のように生成される。

Figure JPOXMLDOC01-appb-M000005
　p[x,-1] (x=0, … ,7) は “available” であるが、 p[-1,y] (y=0, … ,7) が “unavailable” である場合には、予測値pred8x8L[x,y]は、次の式（４１）のように生成される。

Figure JPOXMLDOC01-appb-M000006
　p[x,-1] (x=0, … ,7) は “unavailable” であるが、 p[-1,y] (y=0, … ,7) が “available” である場合には、予測値pred8x8L[x,y]は、次の式（４２）のように生成される。

Figure JPOXMLDOC01-appb-M000007
　p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “unavailable” である場合には、予測値pred8x8L[x,y]は、次の式（４３）のように生成される。

　pred8x8L[x,y] = 128
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４３）
　　ただし、式（４３）は、8ビット入力の場合を表している。
　モード３はDiagonal_Down_Left_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、x=7かつy=7である予測画素値は、次の式（４４）のように生成され、その他の予測画素値は、次の式（４５）のように生成される。

　pred8x8L[x,y] = (p'[14,-1] + 3*p[15,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４４）
　red8x8L[x,y] = (p'[x+y,-1] + 2*p'[x+y+1,-1] + p'[x+y+2,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４５）
　モード４はDiagonal_Down_Right_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が “available”の時のみ適用され、x > y である予測画素値は、次の式（４６）のように生成され、x < y である予測画素値は、次の式（４７）のように生成される。また、x = y である予測画素値は、次の式（４８）のように生成される。

pred8x8L[x,y] = (p'[x-y-2,-1] + 2*p'[x-y-1,-1] + p'[x-y,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４６）
pred8x8L[x,y] = (p'[-1,y-x-2] + 2*p'[-1,y-x-1] + p'[-1,y-x] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４７）
　pred8x8L[x,y] = (p'[0,-1] + 2*p'[-1,-1] + p'[-1,0] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４８）
　モード５はVertical_Right_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Vertical_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを、次の式（４９）のように定義する。

　zVR = 2*x - y
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４９）
　この時、zVRが、0,2,4,6,8,10,12,14の場合には、画素予測値は、次の式（５０）のように生成され、zVRが1,3,5,7,9,11,13の場合には、画素予測値は、次の式（５１）のように生成される。

　pred8x8L[x,y] = (p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５０）
　pred8x8L[x,y]
　　　　　= (p'[x-(y>>1)-2,-1] + 2*p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５１）
　また、zVRが-1の場合には、画素予測値は、次の式（５２）のように生成され、これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合には、画素予測値は、次の式（５３）のように生成される。

　pred8x8L[x,y] = (p'[-1,0] + 2*p'[-1,-1] + p'[0,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５２）
　pred8x8L[x,y] = (p'[-1,y-2*x-1] + 2*p'[-1,y-2*x-2] + p'[-1,y-2*x-3] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５３）
　モード６はHorizontal_Down_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Horizontal_Down_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを次の式（５４）のように定義するものとする。

　zHD = 2*y - x
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５４）
　この時、zHDが0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（５５）のように生成され、zHDが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（５６）のように生成される。

　pred8x8L[x,y] = (p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1) + 1] >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５５）
　pred8x8L[x,y]
　　　　　= (p'[-1,y-(x>>1)-2] + 2*p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1)] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５６）
　また、zHDが-1の場合には、予測画素値は、次の式（５７）のように生成され、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合には、予測画素値は、次の式（５８）のように生成される。

　pred8x8L[x,y] = (p'[-1,0] + 2*p[-1,-1] + p'[0,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５７）
　pred8x8L[x,y] = (p'[x-2*y-1,-1] + 2*p'[x-2*y-2,-1] + p'[x-2*y-3,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５８）
　モード７はVertical_Left_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Vertical_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、y=0,2,4,6の場合、予測画素値は、次の式（５９）のように生成され、それ以外の場合、すなわち、y=1,3,5,7の場合、予測画素値は、次の式（６
０）のように生成される。

　pred8x8L[x,y] = (p'[x+(y>>1),-1] + p'[x+(y>>1)+1,-1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５９）
　pred8x8L[x,y]
　　　　　= (p'[x+(y>>1),-1] + 2*p'[x+(y>>1)+1,-1] + p'[x+(y>>1)+2,-1] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６０）
　モード８はHorizontal_Up_prediction modeであり、予測値pred8x8L[x,y]は以下の通り生成される。すなわち、Horizontal_Up_prediction modeは、p[-1,y], y=0,…,7 が “available” の時のみ適用される。以下では、zHUを次の式（６１）のように定義する。

　zHU = x + 2*y
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６１）
　zHUの値が0,2,4,6,8,10,12の場合、予測画素値は、次の式（６２）のように生成され、zHUの値が1,3,5,7,9,11の場合、予測画素値は、次の式（６３）のように生成される。

　pred8x8L[x,y] = (p'[-1,y+(x>>1)] + p'[-1,y+(x>>1)+1] + 1) >> 1
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６２）
　pred8x8L[x,y] = (p'[-1,y+(x>>1)]
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６３）
　また、zHUの値が13の場合、予測画素値は、次の式（６４）のように生成され、それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、次の式（６５）のように生成される。

　pred8x8L[x,y] = (p'[-1,6] + 3*p'[-1,7] + 2) >> 2
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６４）
　pred8x8L[x,y] = p'[-1,7]
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６５）
　次に、１６×１６画素のイントラ予測モードについて説明する。図２３および図２４は、４種類の輝度信号の１６×１６画素のイントラ予測モード(Intra_16x16_pred_mode)を示す図である。
　４種類のイントラ予測モードについて、図２５を参照して説明する。図２５の例において、イントラ処理される対象マクロブロックＡが示されており、P(x,y);x,y=-1,0,…,15は、対象マクロブロックＡに隣接する画素の画素値を表している。
　モード０は、Vertical Prediction modeであり、P(x,-1); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６６）のように生成される。

　Pred(x,y) = P(x,-1);x,y=0,…,15
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６６）
　モード１はHorizontal Prediction modeであり、P(-1,y); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６７）のように生成される。

　Pred(x,y) = P(-1,y);x,y=0,…,15
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６７）
　モード２はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６８）のように生成される。

Figure JPOXMLDOC01-appb-M000008
　また、P(x,-1); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６９）のように生成される。

Figure JPOXMLDOC01-appb-M000009
　P(-1,y); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７０）のように生成される。

Figure JPOXMLDOC01-appb-M000010
　P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “unavailable” である場合には、予測画素値として１２８を用いる。
　モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y); x,y=-1,0,…,15が全て “available” の場合のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７１）のように生成される。

Figure JPOXMLDOC01-appb-M000011
　次に、色差信号に対するイントラ予測モードについて説明する。図２６は、４種類の色差信号のイントラ予測モード(Intra_chroma_pred_mode)を示す図である。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。色差信号に対するイントラ予測モードは、上述した輝度信号の１６×１６画素のイントラ予測モードに順ずる。
　ただし、輝度信号の１６×１６画素のイントラ予測モードが、１６×１６画素のブロックを対象としているのに対し、色差信号に対するイントラ予測モードは、８×８画素のブロックを対象としている。さらに、上述した図２３と図２６に示されるように、両者においてモード番号は対応していない。
　ここで、図２５を参照して上述した輝度信号の１６×１６画素のイントラ予測モードの対象マクロブロックＡの画素値および隣接する画素値の定義に準じる。例えば、イントラ処理される対象マクロブロックＡ（色差信号の場合は、８×８画素）に隣接する画素の画素値をP(x,y);x,y=-1,0,…,7とする。
　モード０はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,7が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７２）のように生成される。

Figure JPOXMLDOC01-appb-M000012
　また、P(-1,y) ; x,y=-1,0,…,7が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７３）のように生成される。

Figure JPOXMLDOC01-appb-M000013
　また、P(x,-1) ; x,y=-1,0,…,7が “unavailable”である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７４）のように生成される。

Figure JPOXMLDOC01-appb-M000014
　モード１はHorizontal Prediction modeであり、P(-1,y) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７５）のように生成される。

　Pred(x,y) = P(-1,y);x,y=0,…,7
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７５）
　モード２はVertical Prediction modeであり、P(x,-1) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７６）のように生成される。

　Pred(x,y) = P(x,-1);x,y=0,…,7
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７６）
　モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y) ; x,y=-1,0,…,7 が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（７７）のように生成される。

Figure JPOXMLDOC01-appb-M000015
　以上のように、輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがある。このブロック単位のモードは、マクロブロック単位毎に設定される。色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。この色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。
　また、輝度信号の４×４画素のイントラ予測モード（イントラ４×４予測モード）および８×８画素のイントラ予測モード（イントラ８×８予測モード）については、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが設定される。輝度信号の１６×１６画素のイントラ予測モード（イントラ１６×１６予測モード）と色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが設定される。
　なお、予測モードの種類は、上述した図１８の番号０，１，３乃至８で示される方向に対応している。予測モード２は平均値予測である。
［イントラ予測処理の説明］
　次に、図２７のフローチャートを参照して、これらの予測モードに対して行われる処理である、図１４のステップＳ３１におけるイントラ予測処理を説明する。なお、図２７の例においては、輝度信号の場合を例として説明する。
　イントラ予測部７４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。
　具体的には、イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
　イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値の求め方としては、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。これらのモードは、H．264/AVC方式における参照ソフトウエアであるＪＭ(Joint Model)で定められている。
　すなわち、High Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、仮に符号化処理までが行われる。そして、次の式（７８）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。
　Cost(Mode) = D + λ・R　　　　　　　　　　　　　　・・・（７８）

　Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
　一方、Low Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報、フラグ情報などのヘッダビットまでが算出される。そして、次の式（７９）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。
　Cost(Mode) = D + QPtoQuant(QP)・Header_Bit　　　　・・・（７９）
　Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
　Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するのみで、符号化処理および復号処理を行う必要がないため、演算量が少なくて済む。
　イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。
　イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７８に供給する。
［インター動き予測処理の説明］
　次に、図２８のフローチャートを参照して、図１４のステップＳ３２のインター動き予測処理について説明する。
　動き予測・補償部７５は、ステップＳ５１において、図４を参照して上述した１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。
　動き予測・補償部７５は、ステップＳ５２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ５１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、対象ブロックについて、参照ブロックの画素値により、各インター予測モードでの予測画像が生成され、対象ブロックとその予測画像の差分である１次残差が２次予測部７６に出力される。また、動き予測・補償部７５からは、検出された動きベクトル情報、およびインター処理する画像のアドレスも２次予測部７６に出力される。
　２次予測部７６および参照隣接判定部７７は、ステップＳ５３において、参照隣接画素決定処理を行う。この参照隣接画素決定処理の詳細は、図２９を参照して後述される。
　ステップＳ５３の処理により、参照ブロックに隣接する参照隣接画素が、参照フレームの画枠内に存在するか否かが判定され、その判定結果に応じて端点処理が施されることで、参照隣接画素の画素値が決定される。
　２次予測部７６および動き予測・補償部７５は、ステップＳ５４において、決定された参照隣接画素を用いて、２次予測処理を行う。この２次予測処理の詳細は、図３０を参照して後述される。
　ステップＳ５４の処理により、対象ブロックの画像と予測画像の差分である１次残差と対象隣接画素と参照隣接画素の差分の間で予測が行われることで、２次残差が生成される。そして、１次残差と２次残差を比較することで、２次予測処理を行うか否かが決定される。
　２次予測を行うと決定された場合、１次残差の代わりに２次残差が後述するステップＳ５６のコスト関数値の算出に用いられる。この場合、２次予測を行うことを示す２次予測フラグと２次予測におけるイントラ予測モードを示す情報も動き予測・補償部７５に出力される。
　動き予測・補償部７５は、ステップＳ５５において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、動きベクトル情報mvdEを生成する。このとき、図７を参照して上述した動きベクトルの生成方法が用いられる。
　生成された動きベクトル情報は、次のステップＳ５６におけるコスト関数値算出の際にも用いられ、最終的に予測画像選択部７８により対応する予測画像が選択された場合には、予測モード情報および参照フレーム情報とともに、可逆符号化部６６へ出力される。
　モード判定部８６は、ステップＳ５６において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（７８）または式（７９）で示されるコスト関数値を算出する。ここで算出されたコスト関数値は、上述した図１４のステップＳ３３で最適インター予測モードを決定する際に用いられる。
［参照隣接画素決定処理の説明］
　次に、図２９のフローチャートを参照して、図２８のステップＳ５３の参照隣接画素決定処理について説明する。
　動き予測・補償部７５からの対象ブロックアドレス(x,y)は、参照ブロックアドレス算出部８１および対象隣接画素読み出し部８４に供給される。ステップＳ６１において、参照ブロックアドレス算出部８１は、対象ブロックアドレス(x,y)を取得する。
　また、図２８のステップＳ５１において対象ブロックについて求められた動きベクトル情報(dx,dy)は、参照ブロックアドレス算出部８１に入力される。ステップＳ６２において、参照ブロックアドレス算出部８１は、対象ブロックアドレス(x,y)と、動きベクトル情報(dx,dy)から、参照ブロックアドレス(x+dx,y+dy)を算出し、それを、参照隣接アドレス算出部８２に供給する。
　ステップＳ６３において、参照隣接アドレス算出部８２は、参照ブロックに対する参照隣接画素のアドレスである参照隣接アドレス(x+dx+δx,y+dy+δy)を算出し、それを参照隣接判定部７７に供給する。
　ステップＳ６４において、参照隣接アドレス(x+dx+δx,y+dy+δy)に基づいて、参照隣接判定部７７は、参照隣接画素は画枠内に存在するか否かを判定し、その判定結果を、参照隣接画素決定部８３に供給する。ステップＳ６４において、参照隣接画素は画枠内に存在しないと判定された場合、参照隣接画素決定部８３は、ステップ６５において、存在しない隣接画素について、図１２を参照して上述した端点処理を行って、参照隣接画素の画素値を決定する。そして、参照隣接画素決定部８３は、決定した画素値をフレームメモリ７２から読み出して、それを参照隣接画素の画素値として、図示せぬ内蔵バッファに蓄積する。
　一方、ステップＳ６４において、参照隣接画素は画枠内に存在すると判定された場合、処理は、ステップＳ６６に進む。参照隣接画素決定部８３は、ステップＳ６６において、通常の定義により隣接画素を決定し、フレームメモリ７２より読み出す。すなわち、参照隣接画素決定部８３は、H．264/AVC方式で定義されている参照隣接画素の画素値をフレームメモリ７２より読み出し、それを図示せぬ内蔵バッファに蓄積する。
　次に、図３０のフローチャートを参照して、図２８のステップＳ５４における２次予測処理について説明する。なお、図３０の例においては、４×４画素のイントラ予測を例に説明される。
　参照隣接画素決定部８２の内蔵バッファには、参照隣接画素の画素値が蓄積されている。また、対象隣接画素読み出し部８４は、動き予測・補償部７５からの対象ブロックアドレス(x,y)を用いて、フレームメモリ７２から、対象ブロックの画素値を読み出し、それを図示せぬ内蔵バッファに蓄積している。
　隣接画素差分算出部８５は、対象隣接画素読み出し部８４の内蔵バッファから、対象隣接画素[A']を読み出し、また、参照隣接画素決定部８５の内蔵バッファから、対象隣接画素に対応する参照隣接画素[B']を読み出す。隣接画素差分算出部８５は、ステップＳ７１において、各内蔵バッファから読み出された対象隣接画素[A']と参照隣接画素[B']の差分を算出し、隣接画素に対する残差[A'-B']として、図示せぬ内蔵バッファに蓄積する。
　イントラ予測部８６は、ステップＳ７２において、図１３および図１４で上述した９種類のイントラ予測モードのうち、１つのイントラ予測モードを選択する。イントラ予測部８６は、ステップＳ７３において、選択したイントラ予測モードで、差分（残差）を用いたイントラ予測処理を行う。
　すなわち、イントラ予測部８６は、隣接画素差分算出部８５の内蔵バッファから、隣接画素に対する残差[A'-B']を読み出す。そして、イントラ予測部８６は、読み出した隣接画素に対する残差[A'-B']を用いて、選択したイントラ予測モード[mode]で対象ブロックについてイントラ予測を行い、イントラ予測画像Ipred(A'-B')[mode]を生成する。
　ステップＳ７４において、イントラ予測部８６は、２次残差を生成する。すなわち、２次残差生成部８２は、差分によるイントラ予測画像Ipred(A'-B')[mode]を生成すると、それに対応する１次残差(A-B)を、対象ブロック差分バッファ８７から読み出す。２次残差生成部８２は、１次残差とイントラ予測画像Ipred(A'-B')[mode]との差分である２次残差を生成し、生成された２次残差を、動き予測・補償部７５に出力する。このとき、対応する２次予測におけるイントラ予測モードの情報も、動き予測・補償部７５に出力される。
　隣接画素予測部８３は、ステップＳ７５において、すべてのイントラ予測モードに対しての処理が終了したかを判定し、終了していないと判定した場合、ステップＳ７２に戻り、それ以降の処理を繰り返す。すなわち、ステップＳ７２において、他のイントラ予測モードが選択され、それ以降の処理が繰り返される。
　ステップＳ７５において、すべてのイントラ予測モードに対しての処理が終了したと判定された場合、処理は、ステップＳ７６に進む。
　ステップＳ７６において、動き予測・補償部７５は、２次予測部７６からの各イントラ予測モードの２次残差を比較し、その中で最も符号化効率がよいとされる２次残差のイントラ予測モードを、対象ブロックのイントラ予測モードとして決定する。すなわち、対象ブロックのイントラ予測モードとして、２次残差の値が最も小さいイントラ予測モードが決定される。
　ステップ７７において、動き予測・補償部７５は、さらに、決定されたイントラ予測モードの２次残差と１次残差を比較し、２次予測を用いるか否かを決定する。すなわち、２次残差の方が符号化効率がよいと判定された場合、２次予測を用いると決定され、インターする画像と２次残差の差分が、予測画像としてインター予測の候補となる。また、１次残差の方が符号化効率がよいと判定された場合、２次予測を用いないと決定され、図２８のステップＳ５２で求められた予測画像がインター予測の候補となる。
　すなわち、２次残差が１次残差より、より高い符号化効率を与える場合のみ、２次残差が符号化されて、復号側に送られる。
　なお、ステップＳ７７においては、残差そのものの値を比較し、値の小さいものを符号化効率がよいとして判定してもよいし、上述した式（７８）または式（７９）で示されるコスト関数値を算出することで符号化効率がよいものを判定するようにしてもよい。
　以上のように、参照隣接画素が画枠の外である場合、端点処理を行って参照隣接画素の画素値を決定するようにしたので、参照隣接画素が画枠の外である場合にも２次予測を行うことができる。これにより、符号化効率を向上させることができる。
　符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
　図３１は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。
　画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、２次予測部１２３、参照隣接判定部１２４、およびスイッチ１２５により構成されている。
　蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図３の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図３の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図３の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。
　逆直交変換された出力は演算部１１５によりスイッチ１２５から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
　画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
　スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
　イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２５に出力する。
　動き予測・補償部１２２には、ヘッダ情報を復号して得られた情報のうち、予測モード情報、動きベクトル情報、参照フレーム情報などが可逆復号部１１２から供給される。なお、動き予測・補償部１２２には、対象ブロックに対して２次予測処理が適用されている場合には、２次予測を行うことを示す２次予測フラグと、２次予測におけるイントラ予測モード情報も可逆復号部１２２から供給される。
　動き予測・補償部１２２は、可逆復号部１１２からの２次予測フラグを参照して、２次予測処理が適用されているか否かを判定する。動き予測・補償部１２２は、２次予測処理が適用されていると判定した場合、２次予測部１２３に出力し、２次予測部１２３に２次予測を行わせる。
　また、動き予測・補償部１２２は、動きベクトル情報と参照フレーム情報に基づいて画像に動き予測と補償処理を施し、予測画像を生成する。すなわち、対象ブロックの予測画像は、参照フレームにおいて、対象ブロックに動きベクトルで対応付けられる参照ブロックの画素値が用いられて生成される。そして、動き予測・補償部１２２は、生成した予測画像と、２次予測部１２３からの予測差分値を加算して、予測画像として、スイッチ１２５に出力する。
　２次予測部１２３は、フレームメモリ１１９から読み出される対象隣接画素と参照隣接画素の差分を用いて、２次予測を行う。すなわち、２次予測部１２３は、可逆復号部１１２からの２次予測におけるイントラ予測モードで、対象ブロックについてイントラ予測を行い、イントラ予測画像を生成し、予測差分値として、動き予測・補償部１２２に出力する。
　一方、２次予測処理が適用されていない場合、動き予測・補償部１２２は、動きベクトル情報と参照フレーム情報に基づいて画像に動き予測と補償処理を施し、予測画像を生成する。動き予測・補償部１２２は、インター予測モードにより生成された予測画像をスイッチ１２５に出力する。
　スイッチ１２５は、動き予測・補償部１２２またはイントラ予測部１２１により生成された予測画像（または、予測画像と予測差分値）を選択し、演算部１１５に供給する。
［２次予測部の構成例］
　図３２は、２次予測部の詳細な構成例を示すブロック図である。
　図３２の例においては、２次予測部１２３は、参照ブロックアドレス算出部１３１、参照隣接アドレス算出部１３２、参照隣接画素決定部１３３、対象隣接画素読み出し部１３４、隣接画素差分算出部１３５、およびイントラ予測部１３６により構成される。
　なお、図３２の参照ブロックアドレス算出部１３１、参照隣接アドレス算出部１３２、参照隣接画素決定部１３３、対象隣接画素読み出し部１３４、および隣接画素差分算出部１３５は、基本的に、図８の参照ブロックアドレス算出部８１、参照隣接アドレス算出部８２、参照隣接画素決定部８３、対象隣接画素読み出し部８４、および隣接画素差分算出部８５とそれぞれ同様の処理を行う。
　すなわち、動きベクトル予測・補償部１２２は、対象ブロックに対する動きベクトル(dx,dy)を、参照ブロックアドレス算出部１３１に供給する。動きベクトル予測・補償部１２２は、対象ブロックアドレス(x,y)を、参照ブロックアドレス算出部１３１および対象隣接画素読み出し部１３４に供給する。
　参照ブロックアドレス算出部１３１は、動きベクトル予測・補償部１２２からの対象ブロックアドレス(x,y)と、対象ブロックに対する動きベクトル(dx,dy)から、参照ブロックアドレス(x+dx,y+dy)を決定する。参照ブロックアドレス算出部１３１は、決定した参照ブロックアドレス(x+dx,y+dy)を、参照隣接アドレス算出部１３２に供給する。
　参照隣接アドレス算出部１３２は、参照ブロックアドレス(x+dx,y+dy) と対象ブロックに隣接する対象隣接画素の相対アドレスを基に、参照隣接画素の相対アドレスである参照隣接アドレスを算出する。参照隣接アドレス算出部１３２は、算出した参照隣接アドレス(x+dx+δx,y+dy+δy)を、参照隣接判定部１２４に供給する。
　参照隣接画素決定部１３３には、参照隣接判定部１２４から、参照隣接画素が参照フレームの画枠内に存在するか否かの判定結果が入力される。参照隣接画素決定部１３３は、参照隣接画素が参照フレームの画枠内に存在する場合、フレームメモリ１１９より、H．264/AVC方式で定義されている隣接画素を読み出し、それを図示せぬ内蔵バッファに蓄積する。
　一方、参照隣接画素決定部１３３は、参照隣接画素が参照フレームの画枠内に存在しない場合、存在しない隣接画素について、図１２を参照して上述した端点処理を行って、参照隣接画素の画素値を決定する。そして、参照隣接画素決定部１３３は、決定した画素値を、フレームメモリ１１９から読み出して、図示せぬ内蔵バッファに蓄積する。
　対象隣接画素読み出し部１３４は、動き予測・補償部１２２からの対象ブロックアドレス(x,y)を用いて、フレームメモリ１１９から、対象ブロックの画素値を読み出し、それを図示せぬ内蔵バッファに蓄積する。
　隣接画素差分算出部１３５は、対象隣接画素読み出し部１３４の内蔵バッファから、対象隣接画素[A']を読み出し、また、参照隣接画素決定部１３５の内蔵バッファから、対象隣接画素に対応する参照隣接画素[B']を読み出す。隣接画素差分算出部１３５は、各内蔵バッファから読み出された対象隣接画素[A']と参照隣接画素[B']の差分を算出し、隣接画素差分値[A'-B']として、図示せぬ内蔵バッファに蓄積する。
　イントラ予測部１３６は、隣接画素差分算出部１３５の内蔵バッファから、隣接画素に対する残差[A'-B']を読み出す。イントラ予測部１３６は、隣接画素差分値[A'-B']を用いて、可逆復号部１１２からのイントラ予測モード[mode]で対象ブロックについてイントラ予測を行い、イントラ予測画像Ipred(A'-B')[mode]を生成する。イントラ予測部１３６は、生成したイントラ予測画像を、差分予測値として、動き予測・補償部１２２に出力する。
　なお、図３２の例のイントラ予測部１３６における２次予測としてイントラ予測を行う回路は、イントラ予測部１２２との回路を共用することが可能である。
　次に、動き予測・補償部１２２および２次予測部１２３の動作を説明する。
　動き予測・補償部１２２においては、対象ブロックに対して２次予測がおこなわれているかどうかは、可逆復号部１１２により復号される２次予測フラグにより判定される。２次予測が行われている場合には、画像復号装置１０１において、２次予測に基づくインター予測処理が行われ、２次予測が行われていない場合には、画像復号装置１０１において、通常のインター予測処理が行われる。
　ここで、画像符号化装置５１において２次予測とは、上述したように、２次残差Res_2ndを次の式（８０）のように生成する処理である。

　Res_2nd = (A - B) - Ipred(A'-B')[mode]　　　　　　・・・（８０）
　なお、Ipred()[mode]は、()の画素値を入力として、イントラ予測モードmodeにより生成した予測画像を示す。
　この式（８０）を変形して、画像復号装置１０１における処理は、次の式（８１）に示す処理となる。

　A = Res_2nd + B + Ipred(A'-B')[mode]　 　　　　　・・・（８１）
　ここで、２次残差Res_2ndは、画像復号装置１０１においては、逆量子化および逆直交変換の結果得られる値、換言するに、逆直交変換部１１４から、演算部１１５に入力される値である。
　すなわち、画像復号装置１０１においては、２次予測部１２３により、予測差分値Ipred(B-B')[mode]が生成され、動き予測・補償部１２２により、参照ブロックの画素値[B]が生成され、それらが演算部１１５に出力される。この結果、式（８１）に示されるように、演算部１１５の出力として、対象ブロックの画素値[A]が求められる。
［画像復号装置の復号処理の説明］
　次に、図３３のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。
　ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図３の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　このとき、符号化されていれば、動きベクトル情報、参照フレーム情報、予測モード情報、２次予測フラグ、および２次予測におけるイントラ予測モードを示す情報なども復号される。
　すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報は、動き予測・補償部１２２に供給される。このとき、図３の可逆符号化部６６により符号化されていれば、２次予測フラグは、動き予測・補償部１２２に供給され、２次予測におけるイントラ予測モードを示す情報は、２次予測部１２３に供給される。
　ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図３の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図３の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図３の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。
　ステップＳ１３５において、演算部１１５は、後述するステップＳ１４１の処理で選択され、スイッチ１２５を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。
　ステップＳ１３８において、イントラ予測部１２１または動き予測・補償部１２２は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
　すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２２は、インター予測モードの動き予測・補償処理を行う。なお、このとき、動き予測・補償部１２２においては、２次予測フラグを参照して、２次予測に基づくインター予測処理、または通常のインター予測処理が行われる。
　ステップＳ１３８における予測処理の詳細は、図３４を参照して後述する。この処理により、イントラ予測部１２１により生成された予測画像または動き予測・補償部１２２により生成された予測画像（あるいは予測画像と予測差分値）がスイッチ１２５に供給される。
　ステップＳ１３９において、スイッチ１２５は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３４において逆直交変換部１１４の出力と加算される。
　ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［予測処理の説明］
　次に、図３４のフローチャートを参照して、図３３のステップＳ１３８の予測処理を説明する。
　イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。
　イントラ予測部１２１は、ステップＳ１７２において、イントラ予測モード情報を取得し、ステップＳ１７３において、イントラ予測を行う。
　すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７３において、イントラ予測部１２１は、ステップＳ１７２で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ１２５に出力される。
　一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７４に進む。
　ステップＳ１７４において、動き予測・補償部１２２は、可逆復号部１１２からの予測モード情報などを取得する。
　処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、動きベクトル情報、および２次予測フラグが動き予測・補償部１２２に供給される。この場合、ステップＳ１７４において、動き予測・補償部１２２は、インター予測モード情報、参照フレーム情報、動きベクトル情報を取得する。
　また、動き予測・補償部１２２は、ステップＳ１７５において、２次予測フラグを取得し、ステップＳ１７６において、対象ブロックに対して２次予測処理が適用されているか否かを判定する。ステップＳ１７６において、対象ブロックに対して２次予測処理が適用されていないと判定された場合、処理は、ステップＳ１７７に進む。
　ステップＳ１７７において、動き予測・補償部１２２は、通常のインター予測を行う。すなわち、処理対象の画像がインター予測処理される画像である場合、必要な画像がフレームメモリ１６９から読み出され、スイッチ１７０を介して動き予測・補償部１２２に供給される。ステップＳ１７７において動き予測・補償部１２２は、ステップＳ１７４で取得した動きベクトルに基づいて、インター予測モードの動き予測をし、予測画像を生成する。生成した予測画像は、スイッチ１２５に出力される。
　ステップＳ１７６において、対象ブロックに対して２次予測処理が適用されていると判定された場合、処理は、ステップＳ１７８に進む。
　なお、画像符号化装置５１により２次予測が適用されていれば、可逆復号部１１２において、２次予測に関するイントラ予測モードを示す情報も復号され、２次予測部１２３に供給される。
　２次予測部１２３は、ステップＳ１７８において、可逆復号部１１２から供給された２次予測におけるイントラ予測モードを示す情報を取得し、これに対応して、ステップＳ１７９において、２次予測に基づくインター予測処理として、２次インター予測処理を行う。この２次インター予測処理は、図３５を参照して後述する。
　ステップＳ１７９の処理により、インター予測が行われて予測画像が生成されるとともに、２次予測が行われて予測差分値が生成され、それらが加算されて、スイッチ１２５に出力される。
　次に、図３５のフローチャートを参照して、図３４のステップＳ１７９における２次インター予測処理について説明する。
　ステップＳ１９１において、動き予測・補償部１２２は、図３４のステップＳ１７４で取得した動きベクトルに基づいて、インター予測モードの動き予測をし、インター予測画像を生成する。すなわち、ステップＳ１９１の処理により、対象ブロックの予測画像が、参照フレームにおいて対象ブロックに動きベクトルで対応付けられる参照ブロックの画素値が用いられて生成される。
　また、動き予測・補償部１２２は、対象ブロックアドレス(x,y)および動きベクトル(dx,dy)を、参照ブロックアドレス算出部１３１に供給し、対象ブロックアドレス(x,y)を、対象隣接画素読み出し部１３４に供給する。
　ステップＳ１９２において、２次予測部１２３および参照隣接判定部１２４は、参照隣接画素決定処理を行う。この参照隣接画素決定処理の詳細は、図２９を参照して上述した処理と同様の処理であり、繰り返しになるので、その説明を省略する。
　ステップＳ１９２の処理により、参照ブロックに隣接する参照隣接画素が、参照フレームの画枠内に存在するか否かが判定され、その判定結果に応じて端点処理が施されることで、参照隣接画素の画素値が決定される。決定された参照隣接画素の画素値は、参照隣接画素決定部１３３の内蔵バッファに蓄積される。
　また、対象隣接画素読み出し部１３４は、動き予測・補償部１２２からの対象ブロックアドレス(x,y)を用いて、フレームメモリ１１９から、対象ブロックの画素値を読み出し、それを図示せぬ内蔵バッファに蓄積している。
　隣接画素差分算出部１３５は、対象隣接画素読み出し部１３４の内蔵バッファから、対象隣接画素[A']を読み出し、また、参照隣接画素決定部１３３の内蔵バッファから、対象隣接画素に対応する参照隣接画素[B']を読み出す。隣接画素差分算出部１３５は、ステップＳ１９３において、各内蔵バッファから読み出された対象隣接画素[A']と参照隣接画素[B']の差分である隣接画素差分値[A'-B'] を算出し、図示せぬ内蔵バッファに蓄積する。
　イントラ予測部１３６は、ステップＳ１９４において、図３４のステップＳ１７８において取得した２次予測におけるイントラ予測モードで、差分を用いたイントラ予測処理を行い、予測差分値Ipred(A'-B')[mode]を生成する。
　すなわち、イントラ予測部１３６は、隣接画素差分算出部１３５の内蔵バッファから、隣接画素差分値[A'-B']を読み出す。そして、イントラ予測部１３６は、読み出した隣接画素差分値[A'-B']を用いて、取得したイントラ予測モード[mode]で対象ブロックについてイントラ予測を行い、予測差分値Ipred(A'-B')[mode]を生成する。生成された予測差分値は、動き予測・補償部１２２に出力される。
　ステップＳ１９５において、動き予測・補償部１２２は、ステップＳ１９１において生成したインター予測画像と、イントラ予測部１３６からの予測差分値を加算し、予測画像として、スイッチ１２５に出力する。
　このインター予測画像と予測差分値は、図３３のステップＳ１３９においてスイッチ１２５により、予測画像として演算部１１５に出力される。そして、このインター予測画像と予測差分値が、図３３のステップＳ１３５において、演算部１１５により、逆直交変換部１１４からの差分情報と加算されることで、対象ブロックの画像が復号される。
　以上のように、画像符号化装置５１および画像復号装置１０１において、参照隣接画素が画枠外の場合に、端点処理を行い、参照隣接画素を決定するようにしたので、参照隣接画素が画枠外の場合でも、２次予測を行うことができる。
　これにより、符号化効率を向上させることができる。
　なお、上記説明においては、H．264/AVC方式のイントラ４×４予測モードを例に説明したが、本発明は、これに限らず、ブロックベースの動き予測・補償を行うあらゆる符号化装置および復号装置について適用可能である。また、本発明は、イントラ８×８予測モード、イントラ１６×１６予測モード、および色差信号に対するイントラ予測モードへの適用も可能である。
　以上においては、符号化方式としてH．264/AVC方式を用いるようにしたが、その他の符号化方式／復号方式を用いることもできる。
　なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　５１　画像符号化装置，　６６　可逆符号化部，　７４　イントラ予測部，　７５　動き予測・補償部，　７６　２次予測部，　７７　参照隣接判定部，　７８　予測画像選択部，　８１　参照ブロックアドレス算出部，　８２　参照隣接アドレス算出部，　８３　参照隣接画素決定部，　８４　対象隣接画素読み出し部，　８５　隣接ブロック差分算出部，　８６　イントラ予測部，　８７　対象画素差分バッファ，　１０１　画像復号装置，　１１２　可逆復号部，　１２１　イントラ予測部，　１２２　動き予測・補償部，　１２３　２次予測部，　１２４　参照隣接判定部，　１２５　スイッチ，　１３１　参照ブロックアドレス算出部，１３２　参照隣接アドレス算出部，　１３３　参照隣接画素決定部，　１３４　対象隣接画素読み出し部，　１３５　隣接画素差分算出部，　１３６　イントラ予測部

Claims (20)

  1. 　対象フレームにおける対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定する判定手段と、
    　前記判定手段により前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行う端点処理手段と、
    　前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報との間で予測を行うことで２次差分情報を生成する２次予測手段と、
    　前記２次予測手段により生成された前記２次差分情報を符号化する符号化手段と
    　を備える画像処理装置。
  2. 　前記対象ブロックのアドレス(x,y)、前記対象ブロックが前記参照ブロックを参照する動きベクトル情報(dx,dy)、前記対象隣接画素の相対アドレス(δx,δy)として、前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)を算出する算出手段をさらに備え、
    　前記判定手段は、前記算出手段により算出された前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)が前記画枠内に存在するかを判定する
    　請求項１に記載の画像処理装置。
  3. 　前記端点処理手段は、画素値がｎビットで表される場合、
    　x+dx+δx < 0 、または、y+dy+δy < 0 
    　が成り立つ前記参照隣接画素に対して、その画素値を２n-1とする前記端点処理を行う
    　請求項２に記載の画像処理装置。
  4. 　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとして、
    　x+dx+δx > WIDTH - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, y+dy+δy)により指し示される画素値を用いる前記端点処理を行う
    　請求項２に記載の画像処理装置。
  5. 　前記端点処理手段は、前記画枠の垂直方向の画素数をHEIGHTとして、
    　y+dy+δy > HEIGHT - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(x+dx+δx, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行う
    　請求項２に記載の画像処理装置。
  6. 　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとし、前記画枠の垂直方向の画素数をHEIGHTとして、
    　x+dx+δx > WIDTH - 1 、かつ、y+dy+δy > HEIGHT - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行う
    　請求項２に記載の画像処理装置。
  7. 　前記端点処理手段は、前記画枠内に存在しない前記参照隣接画素に対して、前記画枠の境界を対称にして鏡像処理により画素値を生成する前記端点処理を行う
    　請求項２に記載の画像処理装置。
  8. 　前記２次予測手段は、
    　前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて予測を行い、前記対象ブロックに対するイントラ予測画像を生成するイントラ予測手段と、
    　前記対象ブロックと前記参照ブロックとの差分情報と、前記イントラ予測手段により生成された前記イントラ予測画像とを差分して、前記２次差分情報を生成する２次差分生成手段と
    　を備える請求項１に記載の画像処理装置。
  9. 　前記２次予測手段は、前記判定手段により前記参照隣接画素が前記画枠内に存在すると判定された場合、前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記参照隣接画素との差分情報との間で予測を行う
    　請求項１に記載の画像処理装置。
  10. 　画像処理装置が、
    　対象フレームにおける対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定し、
    　前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行い、
    　前記対象ブロックと前記参照ブロックとの差分情報と、前記対象隣接画素と前記端点処理が行われた前記参照隣接画素との差分情報との間で予測を行うことで２次差分情報を生成し、
    　生成された前記２次差分情報を符号化するステップを
    　含む画像処理方法。
  11. 　符号化された対象フレームにおける対象ブロックの画像を復号する復号手段と、
    　前記対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定する判定手段と、
    　前記判定手段により前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行う端点処理手段と、
    　前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成する２次予測手段と、
    　前記対象ブロックの画像、前記２次予測手段により生成された前記予測画像、および前記参照ブロックの画像を加算して、前記対象ブロックの復号画像を生成する演算手段と
    　を備える画像処理装置。
  12. 　前記対象ブロックのアドレス(x,y)、前記対象ブロックが前記参照ブロックを参照する動きベクトル情報(dx,dy)、前記対象隣接画素の相対アドレス(δx,δy)として、前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)を算出する算出手段をさらに備え、
    　前記判定手段は、前記算出手段により算出された前記参照隣接画素の相対アドレス(x+dx+δx,y+dy+δy)が前記画枠内に存在するかを判定する
    　請求項１１に記載の画像処理装置。
  13. 　前記端点処理手段は、画素値がｎビットで表される場合、
    　x+dx+δx < 0 、または、y+dy+δy < 0 
    　が成り立つ前記参照隣接画素に対して、その画素値を２n-1とする前記端点処理を行う
    　請求項１２に記載の画像処理装置。
  14. 　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとして、
    　x+dx+δx > WIDTH - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, y+dy+δy)により指し示される画素値を用いる前記端点処理を行う
    　請求項１２に記載の画像処理装置。
  15. 　前記端点処理手段は、前記画枠の垂直方向の画素数をHEIGHTとして、
    　y+dy+δy > HEIGHT - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(x+dx+δx, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行う
    　請求項１２に記載の画像処理装置。
  16. 　前記端点処理手段は、前記画枠の水平方向の画素数をWIDTHとし、前記画枠の垂直方向の画素数をHEIGHTとして、
    　x+dx+δx > WIDTH - 1 、かつ、y+dy+δy > HEIGHT - 1 
    　が成り立つ場合、前記参照隣接画素の画素値として、アドレス(WIDTH - 1, HEIGHT - 1)により指し示される画素値を用いる前記端点処理を行う
    　請求項１２に記載の画像処理装置。
  17. 　前記端点処理手段は、前記画枠内に存在しない前記参照隣接画素に対して、前記画枠の境界を対称にして鏡像処理により画素値を生成する前記端点処理を行う
    　請求項１２に記載の画像処理装置。
  18. 　前記２次予測手段は、
    　前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成する予測画像生成手段
    　を備える請求項１１に記載の画像処理装置。
  19. 　前記２次予測手段は、前記判定手段により前記参照隣接画素が前記画枠内に存在すると判定された場合、前記対象隣接画素と前記参照隣接画素との差分情報を用いて予測を行う
    　請求項１１に記載の画像処理装置。
  20. 　画像処理装置が、
    　符号化された対象フレームにおける対象ブロックの画像を復号し、
    　前記対象ブロックに隣接する対象隣接画素の相対アドレスを用いて、前記参照フレームにおける参照ブロックに隣接する参照隣接画素が前記参照フレームの画枠内に存在するかを判定し、
    　前記参照隣接画素が前記画枠内に存在しないと判定された場合、前記参照隣接画素に対して端点処理を行い、
    　前記対象隣接画素と前記端点処理手段により端点処理が行われた前記参照隣接画素との差分情報を用いて２次予測を行うことで予測画像を生成し、
    　前記対象ブロックの画像、生成された前記予測画像、および前記参照ブロックの画像を加算して、前記対象ブロックの復号画像を生成するステップを
    　含む画像処理方法。
PCT/JP2010/057128 2009-04-24 2010-04-22 画像処理装置および方法 Ceased WO2010123057A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2010800174643A CN102396231A (zh) 2009-04-24 2010-04-22 图像处理设备及方法
US13/264,242 US20120121019A1 (en) 2009-04-24 2010-04-22 Image processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009105938A JP2010258741A (ja) 2009-04-24 2009-04-24 画像処理装置および方法、並びにプログラム
JP2009-105938 2009-04-24

Publications (1)

Publication Number Publication Date
WO2010123057A1 true WO2010123057A1 (ja) 2010-10-28

Family

ID=43011173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057128 Ceased WO2010123057A1 (ja) 2009-04-24 2010-04-22 画像処理装置および方法

Country Status (5)

Country Link
US (1) US20120121019A1 (ja)
JP (1) JP2010258741A (ja)
CN (1) CN102396231A (ja)
TW (1) TW201127069A (ja)
WO (1) WO2010123057A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8433142B2 (en) 2010-04-05 2013-04-30 The Nielsen Company (Us), Llc Methods and apparatus to detect differences between images
KR102295680B1 (ko) * 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
CN102685504B (zh) * 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
TWI666917B (zh) * 2012-04-13 2019-07-21 日商Ｊｖｃ建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式
WO2014015032A2 (en) * 2012-07-19 2014-01-23 Cypress Semiconductor Corporation Touchscreen data processing
US10366404B2 (en) 2015-09-10 2019-07-30 The Nielsen Company (Us), Llc Methods and apparatus to group advertisements by advertisement campaign

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243552A (ja) * 1997-12-25 1999-09-07 Matsushita Electric Ind Co Ltd 画像データ圧縮伸長処理装置
JP2005101728A (ja) * 2003-09-22 2005-04-14 Hitachi Ulsi Systems Co Ltd 画像処理装置
EP1988502A1 (en) * 2007-05-04 2008-11-05 Deutsche Thomson OHG Method and device for retrieving a test block from a blockwise stored reference image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0497586A3 (en) * 1991-01-31 1994-05-18 Sony Corp Motion detection circuit
US20020015513A1 (en) * 1998-07-15 2002-02-07 Sony Corporation Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
US8665964B2 (en) * 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US20110122950A1 (en) * 2009-11-26 2011-05-26 Ji Tianying Video decoder and method for motion compensation for out-of-boundary pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243552A (ja) * 1997-12-25 1999-09-07 Matsushita Electric Ind Co Ltd 画像データ圧縮伸長処理装置
JP2005101728A (ja) * 2003-09-22 2005-04-14 Hitachi Ulsi Systems Co Ltd 画像処理装置
EP1988502A1 (en) * 2007-05-04 2008-11-05 Deutsche Thomson OHG Method and device for retrieving a test block from a blockwise stored reference image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Video Coding Experts Group (VCEG)35th Meeting: Berlin, Germany", July 2008, article SIJIA CHEN ET AL.: "Second Order Prediction (SOP) in P Slice, ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6, Document VCEG-AI27" *

Also Published As

Publication number Publication date
CN102396231A (zh) 2012-03-28
US20120121019A1 (en) 2012-05-17
JP2010258741A (ja) 2010-11-11
TW201127069A (en) 2011-08-01

Similar Documents

Publication Publication Date Title
CN104320665B (zh) 图像处理设备和方法
JP2010268259A (ja) 画像処理装置および方法、並びにプログラム
CN102415098B (zh) 图像处理设备和方法
WO2010001916A1 (ja) 画像処理装置および方法
WO2010001917A1 (ja) 画像処理装置および方法
JP2010035137A (ja) 画像処理装置および方法、並びにプログラム
WO2010123055A1 (ja) 画像処理装置および方法
WO2010123057A1 (ja) 画像処理装置および方法
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5488685B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080017464.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10767114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13264242

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10767114

Country of ref document: EP

Kind code of ref document: A1