[go: up one dir, main page]

WO1998003020A1 - Device and method for processing image and device and method for encoding image - Google Patents

Device and method for processing image and device and method for encoding image Download PDF

Info

Publication number
WO1998003020A1
WO1998003020A1 PCT/JP1997/002481 JP9702481W WO9803020A1 WO 1998003020 A1 WO1998003020 A1 WO 1998003020A1 JP 9702481 W JP9702481 W JP 9702481W WO 9803020 A1 WO9803020 A1 WO 9803020A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
circuit
prediction
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP1997/002481
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP97930821A priority Critical patent/EP0851690A4/en
Priority to KR10-1998-0701960A priority patent/KR100518100B1/ko
Priority to US09/043,359 priority patent/US6266454B1/en
Publication of WO1998003020A1 publication Critical patent/WO1998003020A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • Image processing apparatus and method and image encoding apparatus and method
  • the present invention relates to an image processing apparatus and method, and an image encoding apparatus and method, and in particular, to an image processing apparatus and method capable of performing prediction efficiently and accurately, and an image encoding apparatus. And methods. Background art
  • an image having a low spatial resolution has been converted to an image having a higher spatial resolution and displayed.
  • more pixel data is interpolated (generated) from pixel data with lower spatial resolution.
  • interpolation processing when pixel data having a low spatial resolution is composed of, for example, R, G, and B component signals, interpolation processing is performed independently for each component signal. Had to do it.
  • pixel data of R having high spatial resolution is generated from pixel data of R having low spatial resolution
  • pixel data of G having high spatial resolution is generated from pixel data having low spatial resolution [;
  • the high resolution B pixel data was generated from the low spatial resolution B pixel data.
  • the present invention has been made in view of such circumstances, and aims to improve efficiency and accuracy.
  • An image processing apparatus wherein at least one of the acquisition unit for acquiring the first pixel data of the first image and the component signal constituting the first pixel data is The second image signal using the component signal of the second and the second component signal.
  • the first component signal constituting the second pixel data of the first pixel data is predicted, and at least the first component signal and the second component signal of the component signals constituting the first pixel data are predicted.
  • the image processing method further comprising: an acquiring step of acquiring a first pixel data of the first image; and at least a first signal of a component signal constituting the first pixel data. Using the first component signal and the second component signal, the first component signal that constitutes the second pixel data of the second image is predicted, and the first pixel data is formed. A prediction for predicting a second component signal constituting the i: th pixel data of the second image by using at least the first component signal and the second component signal of the component signals. And a step.
  • the image coding apparatus further comprising: a compression unit that compresses the image data by reducing a plurality of pixel data represented by a vector in a color space; and a classification unit that classifies a class of the compressed pixel data.
  • storage means for storing prediction data including pixel data represented by a vector in a color space corresponding to the class, and prediction means for predicting both images using the prediction data. It is characterized by.
  • the image encoding method includes a compression step of compressing by reducing a plurality of pixel data represented by a vector of a color space h, and a classification step of classifying a class of the compressed pixel data. And a storage step of storing prediction data including pixel data represented by a vector in a color space corresponding to the class, and a prediction step of predicting an image using the prediction data. It is characterized by.
  • one component signal of the second image having higher spatial resolution is the first image having low spatial resolution. Is generated from a plurality of component signals.
  • an image is predicted using prediction data including pixel data represented by a vector in a color space.
  • FIG. 1 is a block diagram showing a configuration example of a system to which the image processing device of the present invention is applied.
  • FIG. 2 is a diagram illustrating the operation of the sub-sampling circuit of FIG.
  • FIG. 3 is a diagram illustrating pixel data in the embodiment of FIG.
  • FIG. 4 is a block diagram showing a configuration example of an apparatus for generating the storage contents of ROM 218 in FIG.
  • FIG. 5 is a block diagram showing another configuration example of the transmitting device 1 of FIG.
  • 13 ⁇ 416 is a block diagram showing a functional configuration example of the transmission device 1 of FIG.
  • FIG. 7 is a flowchart for explaining the operation of the transmitting apparatus 1 of FIG.
  • FIG. 8 is a block diagram showing a configuration example of the compression section 21 of FIG.
  • FIG. 9 is a flowchart for explaining the operation of the compression section 21 of FIG.
  • FIG. 10 is a block diagram showing a configuration example of the local decoding unit 22 of FIG.
  • FIG. 11 is a diagram for explaining the class classification process.
  • FIG. 12 is a diagram for explaining the ADRC process.
  • FIG. 13 is a flowchart for explaining the operation of the local decoding unit 22 in FIG.
  • FIG. 14 is a block diagram illustrating a configuration example of the error calculator 23 of FIG.
  • FIG. 15 is a flowchart for explaining the operation of the error calculator 23 of FIG.
  • FIG. 16 is a block diagram illustrating a configuration example of the determination unit 24 of FIG.
  • FIG. 17 is a flowchart for explaining the operation of the determination section 24 of FIG.
  • FIG. 18 is a block diagram showing still another configuration example of the receiving device 4 of FIG.
  • FIG. 19 is a block diagram showing another example of the configuration of the mouthpiece card 22 of FIG. You.
  • FIG. 20 is a block diagram illustrating a configuration of an embodiment of an image processing apparatus that calculates a prediction coefficient stored in the prediction coefficient ROM 81 of FIG.
  • FIG. 21 is a block diagram showing another configuration example of the transmission device 1 of FIG.
  • FIG. 22 is a flowchart for explaining the operation of the transmitting apparatus of FIG.
  • FIG. 23 is a block diagram illustrating a configuration of a first embodiment of an image processing apparatus that performs learning for obtaining mapping coefficients.
  • FIG. 24 is a flowchart for explaining the operation of the image processing device shown in FIG.
  • FIG. 25 is a block diagram illustrating a configuration example of the local decoding unit 127 of FIG.
  • FIG. 26 is a flow chart for explaining the processing of the local decoding unit 127 in FIG.
  • FIG. 27 is a block diagram illustrating a configuration of a second embodiment of the image processing apparatus that performs learning for obtaining mapping coefficients.
  • FIG. 28 is a flowchart for explaining the operation of the image processing apparatus of FIG.
  • FIG. 29 is a block I illustrating another configuration example of the receiving apparatus 4 in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • the image processing device includes an acquisition unit (for example, the decoder 13 in FIG. 1) configured to acquire the first pixel data of the first image, and the first pixel data. At least the first component signal and the second The first component signal constituting the second pixel data of the second image is predicted by using the component signal of the second image, and the component signal constituting the first pixel data is predicted. Of at least the first component signal and the second component signal, the second component signal constituting the second pixel data of the second image is predicted. Prediction means (for example, the data generation circuit 219 in FIG. 1).
  • the image encoding device includes a compression unit (for example, a decimation circuit 31 in FIG. 8) that compresses by reducing a plurality of pixel data represented by vectors on the color space.
  • Classification means for classifying the class of compressed pixel data for example, the class classification circuit 45 in FIG. 10
  • prediction data including pixel data represented by a vector in a color space corresponding to the class.
  • the prediction coefficient RO 4 81 in FIG. 19 and a prediction means for predicting an image using the prediction data (for example, the prediction in FIG. 19).
  • Circuit 82 ).
  • FIG. 1 shows a configuration example of a system in which image data is decimated from a transmission side and transmitted, and a reception side generates and reproduces decimated pixels.
  • the digital video data to be transmitted is input from the input terminal 201 of the transmitting device 1 to the sub-sampling circuit 202, where every other pixel data is thinned out in the horizontal direction, and the amount of data to be transmitted is reduced. Is halved.
  • the encoder 203 highly efficiently encodes the data supplied from the sub-sampling circuit 202 by using, for example, an orthogonal transform code such as DCT (Discrete Cosine Transform) or ADRC (Adaptive Dynamic Range Coding). The data amount is further reduced.
  • DCT Discrete Cosine Transform
  • ADRC Adaptive Dynamic Range Coding
  • the transmission processing circuit 204 performs processing such as error correction coding, framing, and channel coding on the output of the encoder 203, and outputs the result to the transmission path 3 from the output terminal 205. Or recording on a recording medium 2 such as an optical disk or a magnetic disk.
  • Decoder 2 1 3 Is configured to perform a decoding process corresponding to the encoder 203 on the transmission device 1 side.
  • the output of the decoder 213 is supplied to the synchronization circuit 215 and the synthesizing circuit 214.
  • the synchronization circuit 215 adjusts the timing of the output of the decoder 213 so that the pixel data to be processed is generated at the same timing, and compares the adjusted data with the ADRC processing circuit 216. It is output to the data generation circuit 219.
  • the ADRC processing circuit 216 performs ADRC processing on the data supplied from the synchronization circuit 215 with one bit, and outputs the processing result to the class classification circuit 217.
  • the class classification circuit 217 performs a class classification process corresponding to the data supplied from the ADRC processing circuit 216, and outputs a signal indicating the classified class to a ROM (Read Only Memory) 218 as an address. It is made to do.
  • the ROM 218 reads out the coefficient data stored in the address corresponding to the class supplied from the class classification circuit 217 and outputs it to the data generation circuit 219.
  • the data generation circuit 219 multiplies the data supplied from the synchronization circuit 215 by the coefficient data supplied from the ROM 218 to generate a new pixel data, Output to the combining circuit 2 1 4.
  • the synthesizing circuit 214 synthesizes the original pixel data supplied from the decoder 211 and the pixel data generated by the data generating circuit 219 and outputs the synthesized data from the output terminal 220. It is designed to output to a CRT and display it.
  • the digital image data input from the input terminal 201 is decimated in the sub-sampling circuit 202 every other one in the horizontal direction, for example, as shown in FIG.
  • the symbol ⁇ represents the pixel data remaining after being decimated
  • the symbol X represents the pixel data that is decimated and not transmitted. This halves the pixel data to be transmitted.
  • the predetermined processing is performed by 204, and the data is transmitted from the output terminal 205 to the transmission path 3 or the recording medium 2.
  • the reception processing circuit 211 receives transmission data from the transmission path 3 or the recording medium 2 from the input terminal 211, and outputs the data to the decoder 211.
  • the decoder 213 decodes the input data and outputs the pixel data obtained as a result of the decoding (the pixel data indicated by ⁇ ⁇ ⁇ ⁇ in FIG. 2) to the synthesizing circuit 214 and the synchronizing circuit. Output to 2 1 5
  • the synchronization circuit 215 performs a process of applying a predetermined delay so that the pixel data to be processed is generated at the same timing.
  • a predetermined delay for example, the pixel data XI to X4 located above (XI), left (X2), right (X3) and below (X4) of the omitted pixel Y1 shown in FIG.
  • the same timing is supplied to 216 and the data generation circuit 219.
  • the ADRC processing circuit 2 16 executes ADRC processing of one block composed of the input four pixel data X1 to X4.
  • each pixel data X is composed of vectors (XR, XG, XB) on a color space defined by R, G, and B components. ing. XR, XG, and XB respectively represent the R, G, and B component components of the pixel data X.
  • each is represented by 8 bits.
  • the ADRC processing circuit 216 performs 1-bit ADRC processing.For example, the R component XR1 of the pixel data XI is represented by 1 bit, the G component XG1 is represented by 1 bit, and the B component is XB1 is represented by one bit. That is, originally ⁇ '4 bits
  • the other element data ⁇ 2 to ⁇ 4 are similarly converted to 3-bit pixel data, and each pixel data is represented by 3 bits (XI, ⁇ 2, ⁇ 3, ⁇ 4). It is supplied to the class classification circuit 2 17.
  • the ROM 218 stores a prediction coefficient w for each class.
  • a signal representing a predetermined class is supplied from the class classification circuit 217, an address corresponding to the class is supplied.
  • the prediction coefficient w stored in the memory is read and supplied to the data generation circuit 219.
  • the data generation circuit 219 uses the prediction coefficient w supplied from the ROM 218 and the pixel data XI to X4 supplied from the synchronization circuit 215, the data generation circuit 219 performs an operation as shown in the following equation, The pixel data Y1 shown in FIG. 2 is generated.
  • wi (R), wi (G), and wi (B) represent prediction coefficients for G and B, respectively.
  • the (; component YG1 and the B component YB1 of the pixel data Y1 are not only the components corresponding to the pixel data X1 to X4, but also all the components XR1_ _ ⁇ -XR4, XG1 to XG4, XB1 To XB4.
  • Images especially natural images such as those captured using a television camera, have a correlation, and pixels closer to each other have a stronger correlation. Therefore, when a new pixel data is generated by calculation, it is more efficient and more accurate to generate new pixel data based on the pixel data in the vicinity. be able to.
  • the R component (same for the G component and the B component) of the target pixel is generated using the R, G, and B components of each pixel as in the present embodiment, a pixel at a closer position can be obtained.
  • the required number of data can be obtained from the data. Therefore, highly accurate pixel data can be generated more efficiently.
  • the combining circuit 214 combines the new pixel data Y generated by the data generating circuit 219 and the originally existing pixel data X supplied from the decoder 213 as described above. Output from output terminal 220. Therefore, the pixel data output from the output terminal 220 has a higher spatial resolution than the image composed of the pixel data X received by the receiver circuit 212 (the sub-pixel in FIG. 1). The image has the same resolution as the image before being subsampled by the sampling circuit 202).
  • R OM 218 stores the prediction coefficient w of the above equation.
  • the table of the prediction coefficient w can be obtained from, for example, the apparatus shown in FIG.
  • a digital video signal is input from the input terminal 230 and is supplied to the synchronization circuit 231.
  • the digital video signal input to the human input terminal 230 is preferably a standard signal required for creating a table (hence, a signal of a high-resolution image before being thinned out).
  • a signal consisting of a standard picture still image can be employed.
  • Synchronization circuit 2 3 1 Performs the evening adjustment so that the pixel data Y1 and XI to X4 shown in FIG. 2 are output simultaneously.
  • the pixel data output from the synchronization circuit 231 is supplied to the subsampling circuit 232 and the data memory 237.
  • the sub-sampling circuit 23 extracts the image data X 1 to X 4 shown in FIG. 2 from the input high-resolution image signal and supplies it to the ADRC processing circuit 233.
  • the ADRC processing circuit 233 subjects the input pixel data to ADRC processing with one bit and outputs the result to the classification circuit 234.
  • the class classification circuit 234 classifies the data input from the ADRC processing circuit 233 as a class, and supplies a signal corresponding to the classified class to the data memory 237 via the contact A of the switch 235 as an address. That is, the synchronization circuit 232, the ADRC processing circuit 233, and the class classification circuit 234 perform the same processing as in the synchronization circuit 215, the ADRC processing circuit 216, and the class classification circuit 217 in FIG. I do.
  • the counter 236 counts a clock CK supplied from a circuit (not shown), and supplies the count value as an address to the data memory 237 via the contact C of the switch 235.
  • the data memory 237 When an address is supplied from the class classification circuit 234 via the switch 235, the data memory 237 writes the data supplied from the synchronization circuit 232 to the address, and the counter 236 transmits the address via the switch 235 to the address.
  • data stored at the address is read and output to the least-mean-square arithmetic circuit 238.
  • the least-squares operation circuit 238 performs an operation based on the least-square method on the pixel data supplied from the data memory 237, calculates a prediction coefficient wi, and outputs the result to the memory 239.
  • the memory 239 is configured to write the prediction coefficient wi supplied from the least squares operation circuit 238 to the address supplied from the counter 236 via the switch 235. Next, the operation will be described.
  • Digital video data for learning for determining prediction coefficients is synchronized in a synchronization circuit 231, and thinned out in a sub-sampling circuit 232 to extract XI to X4 in FIG.
  • 1-bit ADRC processing is performed in the processing circuit 233, it is input to the classifying circuit 234 and classified.
  • the ADRC processing circuit 233 in which each of R, G, and B components is 1 bit. Since the data is processed, the 12-bit class data is supplied from the class classification circuit 234 to the data memory 237 via the contact A of the switch 235 as an address.
  • the memory 237 stores the pixel data supplied from the synchronization circuit 232 at this address.
  • the pixel data to be stored is a pixel data of an image having a higher spatial resolution before sub-sampling by the sub-sampling circuit 202 in FIG. Therefore, the image data Yi indicated by the mark X as well as the pixel data Xi indicated by the mark in FIG. 2 are stored.
  • the data memory 237 stores at least the necessary number of pixel data to solve the simultaneous equations.
  • the switch 235 is switched to the contact C side. Since the count 236 counts the clock CK and outputs the count value, the value to be incremented by 1 is input to the memory 237 as a read address.
  • the data memory 237 reads the pixel data corresponding to the input read address and outputs the pixel data to the least squares arithmetic circuit 238.
  • the least squares arithmetic circuit 238 applies a specific algorithm to the above equation, generates a simultaneous equation using the prediction coefficient wi as a variable, solves the simultaneous equation, and obtains the prediction coefficient wi.
  • predetermined pixel data for example, the R component YR1 of the pixel data Y1 described above
  • predetermined pixel data for example, the R component YR1 of the pixel data Y1 described above
  • the error between the YR1 value obtained by the calculation (forecast) and the actual pixel data YR1 is calculated, and the error is calculated.
  • the prediction coefficient Wi is calculated so that the square of is minimized.
  • the prediction coefficient wi obtained by the calculation is written to the address of the memory 239 corresponding to the address of the pixel data currently read from the data memory 237.
  • the prediction coefficient wi is stored in the memory 239.
  • the stored contents are written into the ROM 218 shown in FIG.
  • the prediction coefficient wi is written in the R ⁇ M 218 (memory 239).
  • the data itself after the multiplication by the coefficient may be written. By doing so, the overnight generation circuit 219 in FIG. 1 becomes unnecessary.
  • FIG. 5 shows another configuration example of the transmission device 1.
  • the I / ⁇ (InterFace) 11 performs a process of receiving image data supplied from the outside and a process of transmitting encoded data to the transmitter / recorder 16.
  • the ROM (Read Only Memory) 12 stores a program for IPL (Initial Program Loading) and others.
  • a RAM (Random Access Memory) 13 is a system program (OS (Operating Operating System) recorded in the external storage device 15.
  • the CPU 14 expands the system program and the application program from the external storage device 15 to the RAM I3, and executes the application program under the control of the system program. In this way, an encoding process as described later is performed for the image data supplied from the I / F 11.
  • the external storage device 15 is, for example, a magnetic disk device, and stores a system program and an application program to be executed by the CPU 14 as described above, as well as data necessary for the operation of the CPLJ 14. I also remember.
  • the transmitter recording device 16 records encoded data supplied from the IZF 11 on the recording medium 2 or transmits the encoded data via the transmission path 3.
  • the I / Fll, ROM 12, RAMI 3, CPU 14 and external storage device 15 are mutually connected via a bus.
  • the transmission device 1 configured as described above, when image data is supplied to the IZF 11, the image data is supplied to the CPU 14.
  • the CPU 14 encodes the image data and supplies the resulting encoded data to the IZF 11.
  • the I / F 11 supplies the encoded data to the transmitter recording device 16.
  • the encoded data from the IZF 11 is recorded on the recording medium 2 or transmitted via the transmission path 3.
  • FIG. 6 is a functional block diagram of a portion of the transmitting device 1 of FIG. 5 except for the transmitter recording device 16.
  • the image data to be encoded is supplied to a compression unit 21, a local decoding unit 22, and an error calculation unit 23.
  • the compression unit 21 compresses the image data by simply thinning out the pixels, and compresses the resulting compressed data (both image data after the thinning is performed) according to the control from the determination unit 24.
  • the correction is made.
  • the correction data obtained as a result of the correction in the compression unit 21 is supplied to the oral card decoding unit 22 and the determination unit 24.
  • the oral decoder 22 predicts an original image based on the correction data from the compressor 21 and supplies the predicted value to the error calculator 23.
  • the oral decoding unit 22 performs an adaptive process for obtaining a prediction coefficient for calculating a prediction value by a linear combination with the correction data, as described later, and performs prediction processing based on the prediction coefficient.
  • the prediction value is supplied to the error calculation unit 23, and the prediction coefficient obtained at that time is supplied to the determination unit 24, as described above.
  • the error calculation unit 23 calculates a prediction error of a prediction value from the local decoding unit 22 with respect to the original image data (original image) input thereto. This prediction error is supplied to the determination unit 24 as error information.
  • the judging unit 24 outputs the data output from the compressing unit 21 based on the error information from the error calculating unit 23.
  • the correction data is determined to be appropriate as an encoding result of the original image.
  • the determination unit 24 determines that the correction data output from the compression unit 21 is not appropriate as the encoding result of the original image, the determination unit 24 controls the compression unit 21 and further performs compression. The data is corrected, and the resulting new corrected data is output.
  • the determination unit 24 determines that the correction data output from the compression unit 21 is appropriate as the encoding result of the original image
  • the determination unit 24 supplies the correction data supplied from the compression unit 21.
  • the data is supplied to the multiplexing unit 25 as optimal compressed data (hereinafter, referred to as optimal compressed data as appropriate), and the prediction coefficient supplied from the oral decoding unit 22 is supplied to the multiplexing unit 2. 5 is made to supply.
  • the multiplexing unit 25 multiplexes the optimal compression data (correction data) from the determination unit 24 and the prediction coefficient, and uses the multiplexed result as coded data, and transmits the multiplexed data to the transmitter recording device 16 (Fig. 5).
  • the compression unit 21 compresses the image by thinning out the image data in step S 1, and first performs local correction without performing correction. Output to section 22 and decision section 24.
  • the local decoding unit 22 locally decodes the corrected data from the compression unit 21 (at first, as described above, the compressed data itself obtained by simply thinning out the image data). That is, in step S2, adaptive processing for obtaining a prediction coefficient for calculating a prediction value of an original image is performed by linear combination with the correction data from the compression unit 21. Based on the prediction coefficient, Then, a predicted value is obtained.
  • the prediction value obtained by the local decoding unit 22 is supplied to the error calculation unit 23, and the prediction coefficient is supplied to the determination unit 24.
  • the image composed of the predicted values output from the local decoding unit 22 is the same as the decoded image obtained on the receiving device 4 side.
  • the error calculation unit 23 Upon receiving the predicted value of the original image from the oral decoding unit 22, the error calculation unit 23 receives the original image data from the oral decoding unit 22 in step S 3. The prediction error of the prediction value is calculated and supplied to the judgment unit 24 as error information. Judgment unit 24, upon receiving the error information from the error calculating unit 23, in Step S4, based on the error information, sets the correction data output from the compression unit 21 as the encoding result of the original image. Determine adequacy.
  • step S4 it is determined whether the error information is equal to or less than a predetermined threshold ⁇ . If it is determined in step S4 that the error information is not equal to or smaller than the predetermined threshold ⁇ , it is recognized that it is not appropriate to use the corrected data output from the compression unit 21 as the encoded data of the original image. Then, proceeding to step S5, the determination section 24 controls the compression section 21 to thereby correct the compression time.
  • the compression unit 21 corrects the compressed data by changing the correction amount (correction value ⁇ ⁇ described later) in accordance with the control of the determination unit 24, and outputs the resulting correction data to the oral decoding unit 22 and Output to judgment section 24. Then, returning to step S2, the same processing is repeated thereafter.
  • step S4 when it is determined in step S4 that the error information is equal to or smaller than the predetermined threshold value £, it is recognized that it is appropriate to use the correction data output from the compression unit 21 as the encoding result of the original image. Then, the determination unit 24 outputs the correction data when error information equal to or smaller than the predetermined threshold value ⁇ is obtained to the multiplexing unit 25 together with the prediction coefficient as optimal compressed data. In step S6, the multiplexing unit 25 multiplexes the optimum compressed data and the prediction coefficient from the determination unit 24, outputs the resulting encoded data, and ends the process.
  • the correction data obtained by correcting the compressed data is used as the encoding result of the original image.
  • an image almost identical to the original image (original image) can be obtained.
  • FIG. 8 shows a configuration example of the compression unit 21 of FIG.
  • the image data to be encoded is input to a decimation circuit 31.
  • the decimation circuit 31 asks the input image data to 1 ZN (in this case, 1 2). Has been made. Therefore, the decimation circuit 31 outputs a compressed image obtained by compressing the image data to 1 ZN. This compressed data is thinned out
  • the correction circuit 32 is supplied from the circuit 31.
  • the correction circuit 32 gives an address to the correction value ROM 33 according to the control signal from the determination unit 24 (FIG. 6), and thereby reads out the correction value ⁇ . Then, the correction circuit 32 generates a correction data by adding, for example, the correction value ⁇ ⁇ from the correction value ROM 33 to the compression data from the thinning circuit 31, It is supplied to the local decoding section 22 and the judgment section 24.
  • the correction value ROM 33 is a combination of various correction values ⁇ for correcting the compression data output from the thinning circuit 31 (for example, the correction value for correcting one frame of compressed data). The combination of the correction value ⁇ corresponding to the address supplied from the correction circuit 32 is read and supplied to the correction circuit 32.
  • the thinning circuit 31 thins out the image data to 1N in step S11.
  • the resulting compressed data is output to the correction circuit 32.
  • the thinning circuit 31 thins out the image data, for example, to ⁇ for each line.
  • the thinning circuit 31 performs the following processing, for example, in units of one frame (field). Accordingly, the image data of one frame is supplied from the thinning circuit 31 to the correction circuit 32 as compressed data thinned to 12.
  • the decimation process in the decimation circuit 31 can also be performed by dividing an image of one frame into several blocks and performing the block unit.
  • the correction circuit 32 Upon receiving the compressed data from the thinning circuit 31, the correction circuit 32 determines in step S12 whether a control signal has been received from the determination unit 24 (FIG. 6). If it is determined in step S12 that the control signal has not been received, the process proceeds to step S15, and the correction circuit 32 uses the compressed data from the thinning circuit 31 as correction data as it is. It outputs to the oral decoding section 22 and the judgment section 24, and returns to step S12. That is, as described above, the determination unit 24 controls the compression unit 21 (correction circuit 32) based on the error information, and the compressed data is output from the thinning circuit 31.
  • the correction circuit 32 does not correct the compressed data (corrects by adding 0), but as it is as the corrected data. It is output to the decoding unit 22 and the judgment unit 24.
  • step S13 the correction circuit 32 outputs the address according to the control signal to the correction value. Output to ROM33.
  • the combination (set) of correction values ⁇ ⁇ for correcting one frame of compressed data stored at that address is read from the complementary iH value ROM 33. And supplied to the correction circuit 32.
  • the correction circuit 32 adds the corresponding correction value ⁇ to each of the compression data of one frame in step S14. Correction data obtained by correcting the compression data is calculated. Thereafter, the process proceeds to step S15, in which the correction data is output from the correction circuit 32 to the oral decoding unit 22 and the determination unit 24, and the process returns to step S12.
  • the compression unit 21 repeats outputting corrected data obtained by correcting the compressed data to various values.
  • the determination unit 24 supplies a control signal indicating this to the compression unit 21 when the encoding of the image of one frame is completed, and the compression unit 21 performs the control of the control signal.
  • processing according to the flowchart of FIG. 9 is performed on the image of the next frame.
  • the decimation circuit 31 extracts the pixel data (pixel value) at a rate of one pixel per two pixels, thereby generating the compressed data. For example, it is also possible to calculate the average value of 3 ⁇ 3 pixels and generate the compressed data as the pixel value of the pixel at the center of the 3 ⁇ 3 pixel. is there.
  • FIG. 10 shows a configuration example of the local decoding unit 22 of FIG.
  • the correction data from the compression unit 21 is supplied to the class classification blocking circuit 41 and the predicted value calculation blocking circuit 42.
  • the class classification block circuit 41 is configured to block the corrected data into a class classification block, which is a unit for classifying the corrected data into a predetermined class according to its properties.
  • the class classification blocking circuit 41 is configured to form a class classification block including four pixels XI, X2, X3, and X4 shown in FIG.
  • the classification block is supplied to the classification adaptive processing circuit 43.
  • the class classification block is composed of four-pixel cross-shaped blocks, but the shape of the class classification block may be any other shape such as a rectangle, a square, or any other shape. It can be shaped. Also, the two prime numbers constituting the class classification block are not limited to 4 prime.
  • the prediction value calculation blocking circuit 42 blocks the correction data into a prediction value calculation block which is a unit for calculating a prediction value of an original image.
  • the block is the same as the block for class classification, and the block is constituted by the pixel data XI to X4 in FIG.
  • the prediction value calculation blocking circuit 42 blocks the same range as the class classification blocking circuit 41, both may be shared.
  • the prediction value calculation block obtained in the prediction value calculation block circuit 42 is supplied to the class classification adaptive processing circuit 43.
  • the number of pixels and the shape of the prediction value calculation block are not limited to those described above, as in the case of the class classification block. However, it is desirable that the number of pixels constituting the prediction value calculation block be equal to or larger than the number of pixels constituting the class classification block.
  • the above-described blocking there is a case where there is no corresponding pixel near the image frame of the image. In this case, for example, The processing is performed assuming that the same pixel as the pixel constituting the image frame exists outside the pixel.
  • the class classification adaptive processing circuit 43 is an ADR C (Adaptive Dynamic Range Coding
  • It comprises a processing circuit, a class classification circuit 45, and an adaptive processing circuit 46, and performs class classification adaptive processing.
  • Classification adaptive processing is to classify an input signal into several classes based on its characteristics, and to apply an appropriate adaptive processing to the input signal of each class for that class. And adaptive processing.
  • a certain pixel of interest and three adjacent pixels form a block of 2 X 2 pixels (class classification block). , 1 bit (takes one of 0 or 1 level).
  • Such pattern division is a class classification process, and is performed in the class classification circuit 45.
  • the class classification process can be performed in consideration of the activity (complexity of the image) (the degree of change) of the image (the image in the block).
  • the activity usually, for example, about 8 bits are assigned to each pixel.
  • the class classification block is composed of 3 ⁇ 3 9 pixels. Therefore, if the classification processing is performed on such a classification block, it is classified into an enormous number of classes (28) 9.
  • the ADRC processing circuit 44 performs ADRC processing on the block for class classification.
  • the number of classes is reduced by reducing the number of bits of the pixels that make up the data classification block.
  • DR MAX-MIN is set as the local dynamic range of the block, and based on this dynamic range DR, the pixel values of the pixels constituting the block are requantized to K bits. That is, the minimum value M IN is subtracted from each pixel value in the block, and the subtracted value is divided by DRZ 2K. Then, it is converted to a code (ADRC code) corresponding to the resulting division value.
  • ADRC code a code
  • the ADRC code 00 ⁇ , 0113, 10B, or 11B is the center value L00 of the lowest level range obtained by dividing the dynamic range DR into four equal parts, Is converted to the center value L01 of the range from the second level to the center, the center value L10 of the range of the third level from the bottom, or the center value L11 of the range of the highest level, and the minimum value MIN is converted to that value.
  • the decoding is performed by the addition.
  • the ADRC code 00 B or 11 B is converted to M IN 'or the average value MAX' of the pixel values belonging to the highest level range, and MAX '—
  • the ADRC code is decoded by converting the ADRC codes 0 1 B and 10 B to a level that divides the dynamic range DR, specified by MIN ', into three equal parts. There is such ADRC processing, which is called edge matching.
  • ADRC process The details of the ADRC process are disclosed in, for example, Japanese Patent Application Laid-Open No. 3-53778 filed by the present applicant.
  • the number of classes can be reduced by performing ADRC processing for performing re-quantization with a smaller number of bits than the number of bits allocated to the pixels constituting the block. This is performed in the ADRC processing circuit 44.
  • the class classification circuit 45 performs the class classification processing based on the ADRC code output from the ADRC processing circuit 44. ), BTC (Block Truncation Codin), VQ (Vector Quantization), DCT (Discrete Cosine Transform), and Hadamard Transform.
  • the predicted value E [y] of the pixel value y of the original image is now converted into the pixel values of some pixels around it (hereinafter, appropriately referred to as learning data) xl, 2,,.
  • learning data pixel values of some pixels around it
  • the predicted value E [y] can be expressed by the following equation.
  • the prediction coefficient wi for obtaining a prediction value E [y] close to the pixel value y of the original image is a square error Can be obtained by minimizing.
  • Equation (7) The normal equation in Eq. (7) can be set as many as the number of prediction coefficients W to be obtained. Therefore, by solving Eq. (7), the optimal prediction coefficient w is obtained. be able to. In solving equation (7), for example, a sweeping method (Gauss-Jordan elimination method) can be applied.
  • the adaptive processing is to find the optimal prediction coefficient w, and further, to use the prediction coefficient w to find a prediction value E [y] that is close to the pixel value y of the original image by Equation (1).
  • This adaptive processing is performed in the adaptive processing circuit 46.
  • the adaptive processing differs from the interpolation processing in that components included in the original image that are not included in the thinned image are reproduced. That is, the adaptive processing is the same as the interpolation processing using the so-called interpolation filter as far as only Equation (1) is observed, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter is equal to the teacher data. Evening is obtained by learning using y, so to speak, so that the components contained in the original image can be reproduced. From this, it can be said that the adaptive processing has a so-called image creation action. Next, the processing of the local decoding unit 22 in FIG. 10 will be described with reference to the flowchart in FIG.
  • step S21 the correction data from the compression unit 21 is blocked. That is, in the class classification blocking circuit 41, the corrected data is divided into four pixel class classification blocks and supplied to the class classification adaptive processing circuit 43, and the prediction value calculation block is generated. In the circuit 42, the correction data is divided into four pixel prediction value calculation blocks and supplied to the classification adaptive processing circuit 43.
  • the class classification adaptive processing circuit 43 is supplied with the original image data in addition to the class classification block and the predicted value calculation block.
  • the processing unit 44 supplies the prediction value calculation block and the original image data to the adaptive processing circuit 46.
  • the processing circuit 44 When the classifying block is received, the processing circuit 44 performs, for example, 1-bit ADRC (ADRC for 1-bit requantization) processing on the classifying block in step S22. As a result, the corrected data is converted (encoded) into one bit and output to the classification circuit 45. In step S23, the class classification circuit 45 performs a class classification process on the class classification block on which the ADRC process has been performed, and determines the class to which the class classification block belongs. The result of this class determination is supplied to the adaptive processing circuit 46 as class information.
  • ADRC 1-bit requantization
  • the classification block composed of four pixels is subjected to the classification processing.
  • step S24 the adaptive processing circuit 46 performs an adaptive process for each class based on the class information from the class classification circuit 45, whereby the prediction coefficient and the predicted value of the original image data are obtained. Is calculated.
  • adaptive processing is performed using a prediction value calculation block including four pixels adjacent to the attention pixel. .
  • the class information C about the class classification block consisting of 4 is output from the class classification circuit 45, and a four-pixel correction data XI, X2, X Assuming that the prediction value calculation block consisting of 3 and X4 is output from the prediction value calculation blocking circuit 42, first, the correction data constituting the prediction value calculation block is set to the training data and The corrected data Y1 in the original image is used as the teacher data, and the normal equation shown in equation (7) is established.
  • a normal equation is similarly established for other prediction value calculation blocks classified into the class information C, and a prediction coefficient wl (R) for obtaining a prediction value E [YR1] of the pixel value YR1 is similarly obtained. If the number of normal equations that can calculate wl2 (R) is obtained (therefore, until such a number of normal equations are obtained, in step S24, the processing until the normal equations are set up) Then, by solving the normal equation, the optimum prediction coefficients wl (R) to wl2 (R) for calculating the predicted value E [YR1] of the pixel value YR1 are calculated for the class information C. Then, the predicted value E [YR1] is obtained according to the following equation corresponding to equation (1). The same applies to YG1, YB1, etc.
  • E [YR1] wl (R) XR1 + W2 (R) XGl + w3 (R) XB1 + w4 (R) XR2 + w5 (R) XG2 + w6 (R) XB2 + w7 (R) XR3 + w8
  • E [YG1] wl (G) XR1 + W2 (G) XGl + w3 (G) XB1 + w4 (G) XR2 + w5 (G) XG2 + W6 (G) XB2 + w7 (G) XR3 + w8 (G ) XG3 + w9 (G) XB3 + wlO (G) XR4 + wll (G) XG4 + wl (G) XG4 + wl
  • E [YB1] wl (B) XR1 + W2 (B) XGl + w3 (B) XB1 + w4 (B) XR2 + w5 (B) XG2 + W6 (B) XB2 + w7 (B) XR3 + w8
  • step S24 the R, G, B
  • the prediction value is output to the error calculation unit 23, and the prediction coefficient is output to the determination unit 24, and the process returns to step S21. The process is repeated.
  • FIG. 14 shows an example of the configuration of the error calculator 23 of FIG.
  • the original image data is supplied to the blocking circuit 51, and the blocking circuit 51 converts the pixel data into a pixel corresponding to the prediction value output from the local decoding unit 22. Then, the pixels of the resulting block (in this case, this block is composed of one pixel (Y 1 in FIG. 2)) are output to the square error calculation circuit 52. It has been done.
  • the squared error calculator 52 is supplied with the pixel data from the blocking circuit 51, and is also supplied with the pixel data as a predicted value from the local decoder 22.
  • the square error calculating circuit 52 calculates a square error as a prediction error of a predicted value with respect to the original image, and supplies the calculated square error to the integrating unit 55.
  • the automatic error calculation circuit 52 is composed of arithmetic units 53 and 54.
  • the arithmetic unit 53 subtracts the corresponding predicted value from each of the blocked image data from the blocking circuit 51, and supplies the subtracted value to the arithmetic unit 54.
  • the computing unit 54 squares the output of the computing unit 53 (the difference between the original image data and the predicted value) and supplies the result to the integrating unit 55.
  • the integrating unit 55 Upon receiving the square error from the square error calculation circuit 52, the integrating unit 55 reads the stored value of the memory 56, adds the stored value and the square error, and supplies the sum to the memory 56 again for storage. By repeating this, the integrated value (error variance) of the square error is calculated. Further, when the integration of the S-th power error for a predetermined amount (for example, for one frame) is completed, the integrating unit 55 reads the integrated value from the memory 56 and determines the error value as error information. To be supplied. The memory 56 stores the output value of the integrating unit 55 while clearing the stored value each time the processing for one frame is completed.
  • step S31 the stored value of the memory 56 is cleared to, for example, 0, and the process proceeds to step S32.
  • the data is divided into blocks as described above, and the resulting block is supplied to the square error calculation circuit 52.
  • step S 33 the image data of the original image, which constitutes the block supplied from the blocking circuit 51, is supplied from the oral decoding unit 22.
  • a square error with the predicted value is calculated. That is, in step S33, the corresponding prediction value is subtracted from each of the blocked image data supplied from the blocking circuit 51 in the computing unit 53, and the subtracted value is supplied to the computing unit 54. Further, in step S33, the output of the computing unit 53 is squared in the computing unit 54 and supplied to the integrating unit 55.
  • the integrating section 55 Upon receiving the square error from the square error calculation circuit 52, the integrating section 55 reads the stored value of the memory 56 in step S34, and adds the stored value and the square error to obtain the square error. Find the integrated value. The integrated value of the square error calculated by the integrating unit 55 is supplied to the memory 56 and stored by overwriting the previous stored value. Then, in step S35, the integrating section 55 determines whether or not the integration of the square error for a predetermined amount, for example, for one frame is completed. If it is determined in step S35 that the integration of the square error for one frame has not been completed, the process returns to step S32, and the processing from step S32 is repeated again.
  • step S35 If it is determined in step S35 that the integration of the square error for one frame has been completed, the process proceeds to step S36, and the integration unit 55 executes the processing for the one frame stored in the memory 56. The integrated value of the square error of the minute is read and output to the determination unit 24 as error information. Then, the process returns to step S31, and the processing from step S31 is repeated again.
  • the error calculation unit 23 calculates the error information Q by performing the calculation according to the following equation. .
  • ⁇ means a shark for one frame.
  • FIG. 16 illustrates a configuration example of the determination unit 24 of FIG.
  • the prediction coefficient memory 61 stores the prediction coefficients supplied from the local decoding unit 22.
  • the correction data memory 62 stores the correction data supplied from the compression unit 21.
  • the compression unit 21 newly corrects the compressed data, and when new correction data is supplied, the correction data stored in the correction data memory 62 is stored in the correction data memory 62. Instead of (previous correction data), new correction data is stored. Also, at the timing when the correction data is updated to a new one, a new set of prediction coefficients corresponding to the new correction data is output from the local decoding unit 22. When a new prediction coefficient is thus supplied to the coefficient memory 61, the new prediction coefficient is stored in place of the already stored prediction coefficient (previous prediction coefficient). ing.
  • the error information memory 63 stores the error information supplied from the error calculator 23.
  • the error information memory 63 stores the previously supplied error information in addition to the currently supplied error information from the error calculator 23 (when new error information is supplied). However, until new error information is supplied, the previously stored error information is retained.) Note that the error information memory 63 is cleared each time processing for a new frame is started.
  • the comparison circuit 64 compares the current error information stored in the error information memory 63 with a predetermined threshold value ⁇ , and further, if necessary, compares the current error information with the previous error information. The comparison is also performed. The comparison result in the comparison circuit 64 is supplied to the control circuit 65.
  • the control circuit 65 determines the appropriateness (optimality) of using the correction data stored in the correction data memory 62 as the encoding result of the original image based on the comparison result in the comparison circuit 64. Then, if it is recognized (determined) that it is not optimal, a control signal requesting the output of a new correction data is supplied to the compression unit 21 (correction circuit 32) (FIG. 8). ing. The control circuit 65 also stores the correction data stored in the correction data memory 62. If it is recognized that it is optimal to obtain the result of encoding the original image, the prediction coefficient stored in the prediction coefficient memory 61 is read out, output to the multiplexing unit 25, and corrected.
  • the correction data stored in the data memory 62 is read out and supplied to the multiplexing unit 25 as an optimal compressed data. Further, in this case, the control circuit 65 outputs a control signal indicating that coding of the image of one frame has been completed to the compression unit 21, and thereby, as described above, the compression unit 21 Then, the processing for the next frame is started.
  • step S41 the comparison circuit 64 determines whether or not error information has been received from the error calculation section 23, and determines that the difference information has not been received. If so, the process returns to step S41. If it is determined in step S41 that the error information has been received, that is, if the error information has been stored in the error information memory 63, the process proceeds to step S42, where The error information (current error information) currently stored in the difference information memory 63 is compared with a predetermined threshold value ⁇ , and it is determined which is larger.
  • step S42 If it is determined in step S42 that the current error information is equal to or greater than the predetermined threshold value £, the comparison circuit 64 reads the previous error information stored in the error information memory 63. . Then, in step S43, the comparison circuit 64 compares the error information of the previous tnl with the error information of this time, and determines which is larger.
  • the error information memory 63 does not store the previous error information.
  • the judgment unit In step 24 the processing after step S43 is not performed, and a control signal for controlling the correction circuit 32 (FIG. 8) is output in the control circuit 65 so as to output a predetermined initial address. It has been made like that.
  • step S43 if it is determined that the current error information is equal to or less than the current error information, that is, if the error information is reduced by performing the correction of the compressed data, the process proceeds to step S44.
  • the control circuit 65 changes the correction value ⁇ as before. Is output to the correction circuit 32, and the process returns to step S41.
  • step S43 if it is determined that the current error information is larger than the previous error information, that is, if the error information increases due to the correction of the compressed data, the process proceeds to step S45. Then, the control circuit 65 outputs to the correction circuit 32 a control signal for instructing the correction value ⁇ to be changed in the opposite direction to the previous time, and returns to step S41.
  • the control circuit 65 sets the correction value to the previous value, for example, the size of 1 to 2 in the previous time. In contrast, a control signal for instructing a change is output.
  • step S42 the control circuit 65 reads the prediction coefficient stored in the prediction coefficient memory 61, reads the correction data stored in the correction data memory 62, and outputs Feed to 5 to finish the process.
  • the correction circuit 32 may be configured to perform the correction of the compressed data over the entire compressed data of one frame, or to perform the correction of only a part of the compressed data. You can also.
  • the control circuit 65 may detect, for example, a pixel having a strong influence on the error information and correct only the compressed data of such a pixel. can do. Pixels having a strong influence on the error information can be detected, for example, as follows. That is, first, error information is obtained by performing processing using compressed data of pixels remaining after thinning as it is.
  • a control signal is output from the control circuit 65 to the correction circuit 32 so as to perform processing of correcting the compressed data of the pixels remaining after the thinning one by one by the same correction value ⁇ .
  • the resulting This error information is compared with error information obtained when the compressed data is used as it is, and a pixel whose difference is equal to or more than a predetermined value is detected as a pixel having a strong influence on the error information.
  • the correction of the compression data is repeated until the error information is made smaller than the predetermined threshold ⁇ (below), and the correction data when the error information becomes smaller than the predetermined threshold ⁇ is obtained. Since one night is output as the image encoding result, the receiver 4 corrects the pixel values of the pixels constituting the decimated image to the most appropriate values for restoring the original image. From one night, it is possible to obtain a decoded image that is the same (almost the same) as the original image.
  • the image is compressed not only by the thinning process but also by the ADRC process and the class classification adaptive process, so that encoded data with a very high compression rate can be obtained.
  • the above-described encoding processing in the transmitting device 1 realizes high-efficiency compression by using, as it were, the compression processing by thinning and the classification adaptive processing in an organic manner. Therefore, it can be said that it is an integrated coding process.
  • FIG. 18 shows still another configuration example of the receiving device 4 of FIG.
  • the encoded data recorded on the recording medium 2 is reproduced, or the encoded data transmitted via the transmission path 3 is received and supplied to the separation unit 72.
  • the separation unit 72 separates the encoded data into correction data and a prediction coefficient, and the correction data is supplied to a classifying blocking circuit 73 and a prediction value calculating blocking circuit 77 to perform prediction prediction.
  • the coefficients are supplied to a prediction circuit 76.
  • Classification blocking circuit 73, 80 10 (processing circuit 74, class classification circuit 75, or predictive value calculation blocking circuit 77, is a class classification blocking circuit 41, 1 80 shaku (The processing circuit 44, the class classification circuit 45, or the prediction value calculation blocking circuit 42 are each configured in the same manner. Therefore, these blocks are the same as those in FIG. The same processing is performed, whereby the predicted value calculation block is output from the predicted value calculation block circuit 77, and the The class information is output from the classifying circuit 75. These prediction value calculation block and class information are supplied to the prediction circuit 76.
  • the prediction circuit 76 uses the prediction coefficient corresponding to the class information and the correction data constituting the prediction value calculation block supplied from the prediction value calculation block circuit 77 to calculate the prediction value according to the equation (1).
  • An image of one frame calculated and composed of such predicted values is output as a decoded image. This decoded image is almost the same as the original image, as described above.
  • a device that decodes the queried image by simple interpolation can perform normal interpolation without using prediction coefficients. By doing so, a decoded image can be obtained.
  • the decoded image obtained in this case has deteriorated image quality (resolution).
  • FIG. 19 shows another configuration example of the oral decoding unit 22 of FIG. In the figure, parts corresponding to those in FIG. 10 are denoted by the same reference numerals. That is, the oral decoding unit 22 in FIG. 19 is the same as that in FIG. 10 except that an adaptive measurement circuit ROM 81 and a prediction circuit 82 are provided instead of the adaptive processing circuit 46. It is configured similarly.
  • the prediction coefficient ROMS 1 stores a prediction coefficient for each class previously obtained by learning (described later), receives the class information output by the class classification circuit 45, and stores the prediction information in an address corresponding to the class information. The stored prediction coefficient is read and supplied to the prediction circuit 82.
  • the prediction circuit 82 uses the prediction value calculation block from the prediction value calculation blocking circuit 42 and the prediction coefficient from the prediction coefficient ROM 81 to calculate the equation (1) (specifically, the linear linear equation shown in equation (8)) is calculated, and the predicted value of the original image is calculated. Therefore, according to the classification adaptive processing circuit 43 of FIG. 19, the predicted value is calculated without using the original image.
  • FIG. 20 illustrates a configuration example of an image processing apparatus that performs learning for obtaining a prediction coefficient stored in the prediction coefficient ROM 81 of FIG.
  • the learning blocking circuit 91 and the teacher blocking circuit 92 are supplied with learning image data (learning images) to obtain prediction coefficients applicable to any image (thus, before thinning processing is performed). It has been made to be.
  • the learning blocking circuit 91 extracts, for example, four pixels (for example, XI to X4 in FIG. 2) from the image data to be manually input, and uses the block composed of these four pixels as a learning river block. , ADRC processing 93 and learning data memory 96.
  • the teacher blocking circuit 92 generates a block composed of, for example, one pixel (Y1 in FIG. 2) from the image data that is manually input. Is supplied to the teacher data memory 98 as a block for use.
  • the teacher blocking circuit 92 When the learning blocker 91 generates a learning block composed of f pixels, the teacher blocking circuit 92 generates a corresponding elementary teacher block. It has been made.
  • the ADRC processing circuit 93 performs a 1-bit ADRC process on the four-pixel block constituting the learning block, as in the case of the ADRC processing circuit 44 in FIG.
  • the 4-pixel block subjected to the ADRC processing is supplied to the classifying circuit 94.
  • the classification circuit 94 is blocked classification from ADRC processing circuit 93, the class information obtained it, via the terminal a of the switch 95 is supplied to the learning data memory 9 6 and teacher de Isseki memory 98 You.
  • the address corresponding to the class information supplied thereto is stored in the learning block from the learning block circuit 91 or the learning block from the teacher block circuit 92.
  • Teacher block power Each is memorized. Therefore, in the learning data memory 96, if a block consisting of four pixels (XI to X4 in FIG. 2) is stored at a certain address as a learning block, the teacher data In the memory 98, a block of one pixel (Y1 in FIG. 2) corresponding to the same address is stored as a teacher block.
  • the teacher block composed of one pixel for which the predicted value is calculated using the predicted value calculation block composed of four correction data having the same positional relationship as the four pixels
  • the same address is stored in the evening memory 96 and the teacher data memory 98.
  • the learning data memory 96 and the teacher data memory 98 can store a plurality of pieces of information in the same address. A plurality of learning blocks and teacher blocks can be stored.
  • the switch that has selected the terminal a 95 is connected to the terminal b. Then, the output of the counter 97 is supplied to the learning data memory 96 and the teacher data memory 98 as an address.
  • the counter 97 counts a predetermined clock and outputs the count value, and the learning data memory 96 or the teacher data memory 98 stores the count value in the address corresponding to the count value.
  • the learning block or the teacher block is read and supplied to the arithmetic circuit 99.
  • a set of learning blocks of a class corresponding to the count value of the count 97 and a set of teacher blocks are supplied to the arithmetic circuit 99.
  • the arithmetic circuit 99 When the arithmetic circuit 99 receives the set of learning blocks and the set of teacher blocks for a certain class, it uses them to calculate a prediction coefficient that minimizes the error by the least square method.
  • the prediction coefficients to be obtained are wl, w2, w3,.
  • the prediction coefficients wl, w2, w3, are obtained in order to obtain the pixel value y of a certain pixel constituting the teacher block by the linear linear combination of them.
  • the arithmetic circuit 99 minimizes the square error of the predicted value wl xl + w2 x2 + w3 x3 + with respect to the true value y from the learning block of the same class and the corresponding teacher block.
  • the prediction coefficients wl, w2, w3,... are obtained by solving the normal equation shown in the above equation (7).
  • the prediction coefficient for each class obtained in the arithmetic circuit 99 is supplied to the memory 100.
  • the memory 100 is supplied with a count value from the counter 977 in addition to the prediction coefficient from the arithmetic circuit 99, and thus, in the memory 100, the prediction coefficient from the arithmetic circuit 99 is obtained. It is stored at the address corresponding to the count value from the count 97.
  • the memory 100 stores, at the address corresponding to each class, a prediction coefficient optimal for predicting a pixel of a block of the class.
  • the prediction coefficient R ⁇ M81 in FIG. 19 stores the prediction coefficient stored in the memory 100 as described above.
  • the prediction coefficient ROM 81 it is possible to store the average value of the elementary values constituting the teacher block instead of storing the prediction coefficient at the address corresponding to each class. It is. In this case, when the class information is given, the pixel value corresponding to the class is output, and in the local decoding unit 22 in FIG. 19, the prediction value calculation blocking circuit 42 and the prediction circuit 8 It is not necessary to set 2.
  • the oral decoding section 22 is configured as shown in FIG. 19, the receiving device 4 shown in FIG. The configuration may be the same as that of the classification adaptive processing circuit 43.
  • the sum of the squares of the error is used as the error information.
  • Other examples of the error information include, for example, the sum of the absolute values of the error and the square of the error. It is possible to use the sum of Which one to use as the error information can be determined based on, for example, its convergence.
  • the correction of the compressed data is repeatedly performed until the error information becomes equal to or less than the predetermined threshold value £.
  • an upper limit is set for the number of times of the correction of the compressed data. Is also possible. That is, for example, in the case of transmitting an image in real time, it is necessary that the processing for one frame be completed within a predetermined period, but the error information is transmitted within such a predetermined period. It does not always converge.
  • a block is configured from an image of one frame.
  • a block may be configured by other pixels, for example, at the same position in a plurality of frames continuous in time series. It is possible.
  • the compression unit 21 simply thins out the image, that is, extracts one pixel for every two pixels, and uses this as a compressed image. 21.
  • the average value of a plurality of pixels constituting a block is determined, and the average value is used as the pixel value of the center pixel in the block to reduce the number of pixels ( It is also possible to make this into a compressed file.
  • FIG. 21 shows a configuration example of the transmission device 1 in this case.
  • An image data to be encoded is input to the blocking circuit 111, and the blocking circuit 111 classifies the image data into a predetermined class according to its properties.
  • the block is divided into a class classification block, which is a unit, and supplied to the ADRC processing circuit 112 and the delay circuit 115.
  • the ADRC processing circuit 112 performs ADRC processing on the blocks (blocks for class classification) from the blocking circuit 111, and constructs the ADRC code obtained as a result.
  • the block to be formed is supplied to a classification circuit 113.
  • the class classification circuit 113 performs a class classification process of classifying the block from the ADRC processing circuit 112 into a predetermined class according to its property, and determines to which class the block belongs as class information.
  • the coefficient memory 114 is supplied.
  • the mapping coefficient memory 114 stores mapping coefficients obtained by learning (mapping coefficient learning) described later for each class information, and uses the class information supplied from the class classification circuit 113 as an address.
  • the mapping coefficient stored in the address is read and supplied to the arithmetic circuit 116.
  • the delay circuit 115 delays the block supplied from the blocking circuit 111 until the mapping coefficient corresponding to the class information of the block is read from the mapping coefficient memory 114, and the delay circuit 115 outputs the block to the arithmetic circuit 116. It is made to supply.
  • the arithmetic circuit 116 uses the pixel values of the pixels constituting the block supplied from the delay circuit 115 and the mapping coefficients supplied from the mapping coefficient memory 114 corresponding to the class of the block. By performing a predetermined operation, an image is coded by thinning (reducing) the number of pixels of the image to calculate coded data. That is, the arithmetic circuit 116 sets the pixel values (pixel values of the original image) of each pixel constituting the block output by the blocking circuit 111 to yl, y2,.
  • mapping coefficients output from the memory 114 corresponding to the class of the block are kl, k2, '', a predetermined function value f (yl, y2,, kl, k2 , ⁇ ⁇ ⁇ ) And the function value ⁇ (yl, y2
  • ⁇ ⁇ ⁇ , Kl, k2, ⁇ ⁇ ⁇ ) are output as the pixel value of the center pixel, for example, of the pixels that constitute the block (class classification block) output by the blocking circuit 1 1 1 It has been made to be.
  • the arithmetic circuit 116 thins out the image data to 1ZN and outputs this as encoded data.
  • the encoded data output by the arithmetic circuit 116 is not obtained by a so-called simple thinning process in which one pixel at the center of a block composed of N pixels is selected and output.
  • the function value f (yl, y2,..., Kl, k2,%) Defined by the N pixels constituting the block is the function value f (yl, y2, ,, Kl, k2,,,) are, in other words, corrected pixel values of the pixel at the center of the block obtained by simple decimation based on the pixel values of the surrounding pixels. You can think. Therefore, the encoded data, which is the data obtained as a result of the operation of the mapping coefficients and the pixels constituting the block, is hereinafter also referred to as correction data as appropriate.
  • mapping coefficients are called mapping coefficients.
  • the transmitter recording device 117 records correction data supplied as encoded data from the arithmetic circuit 116 on the recording medium 2 or transmits the data via the transmission path 3.
  • image data is supplied to the blocking circuit 1 1 1 in units of one frame (field).
  • the blocking circuit 1 1 1 the image of one frame is , It is divided into the classification block. That is, the blocking circuit 111 divides, for example, into a class classification block including five pixels, and supplies the block to the ADRC processing circuit 112 and the delay circuit 115.
  • the class classification block is composed of a cross-shaped block composed of 5 pixels, but the shape of the class classification block may be other, for example, long. It can be square, square, or any other shape. Also, the number of pixels constituting the class classification block is not limited to five pixels. Furthermore, the block for class classification can be configured not to be composed of adjacent pixels but to be composed of distant pixels. However, the shape and the number of pixels need to match those at the time of learning (mapping coefficient learning) described later.
  • the ADRC processing circuit 112 When the ADRC processing circuit 112 receives the classification block from the blocking circuit 111, in step S62, the ADRC processing circuit 112 excludes the four pixels (FIG. 2) excluding the center pixel (Y1 in FIG. 2) of the block. XI to X4) are subjected to, for example, 1-bit ADRC processing, whereby each pixel of R, G, and B is a block composed of pixels represented by 1 bit.
  • the classification block subjected to ADRC processing is supplied to the classification circuit 113.
  • step S63 the class classification block from the ADRC processing circuit 112 is classified, and the resulting class information is supplied to the mapping coefficient memory 114 as an address. Thereby, the mapping coefficient corresponding to the class information supplied from the class classification circuit 113 is read from the mapping coefficient memory 114 and supplied to the arithmetic circuit 116.
  • the delay circuit 115 the 5-pixel data of the class classification block from the blocking circuit 111 is delayed and read out from the mapping coefficient memory 114 corresponding to the class information of the block. Is supplied to the arithmetic unit 116.
  • the arithmetic unit 116 uses the pixel value of each pixel constituting the class classification block from the delay circuit 115 and the mapping coefficient from the mapping coefficient memory 114 to calculate the above-described function value.
  • Correction data is calculated by correcting the pixel value of the central pixel (central pixel) constituting the class classification block.
  • one pixel data at the position of the pixel data Yl (X5) is generated from the pixel data XI to X4 and the pixel data Yl (X5) in FIG.
  • this blocking is used for pixel data Evening is repeated for the evening, and finally 12 pixel data is decimated.
  • This correction data is supplied to the transmitter Z recording device 117 as encoded data obtained by encoding an image.
  • step S66 it is determined whether or not the processing for one frame of image data has been completed. If it is determined in step S66 that the processing for one frame of image data has not been completed, the process returns to step S62, and the next class classification block is processed. 62 The following process is repeated. If it is determined in step S66 that the processing for one frame of image data has been completed, the process returns to step S61, and the processing in step S61 and subsequent steps is performed for the next frame. Is repeated.
  • FIG. 23 shows a configuration example of an image processing apparatus that performs learning (mapping coefficient learning) processing for calculating mapping coefficients stored in the mapping coefficient memory 114 of FIG. .
  • the memory 122 stores one or more frames of digital image data suitable for learning (hereinafter, appropriately referred to as learning images).
  • the blocking circuit 1 2 2 reads the image data stored in the memory 1 2 1 and forms the same block as the class classification block output from the blocking circuit 1 1 1 in FIG. It is supplied to a processing circuit 123 and an arithmetic circuit 126.
  • the ADRC processing circuit 123 or the class classification circuit 124 is configured to perform the same processing as in the case of the ADRC processing circuit 112 or the class classification circuit 113 of FIG. Therefore, the class classification circuit 124 outputs the block class information output by the blocking circuit 122. And this The class information is supplied to the mapping coefficient memory 131, as an address.
  • the arithmetic circuit 1 26 uses the pixels constituting the block supplied from the blocking circuit 122 and the mapping coefficients supplied from the mapping coefficient memory 13 1 to calculate the arithmetic circuit 1 1 1 in FIG. The same operation as in the case of 6 is performed, and the resulting correction data (function value f ( ⁇ )) is supplied to the local decoding unit 127.
  • the oral decoding section 127 constitutes a predicted value of the original learning image (a block output by the blocking circuit 122) based on the correction data supplied from the arithmetic circuit 126.
  • the predicted value of the pixel value of the pixel is predicted (calculated) and supplied to the error calculation unit 128.
  • the error calculating unit 128 reads the pixel value (true value) of the learning image corresponding to the predicted value supplied from the local decoding unit 127 from the memory 122, and reads the pixel value of the learning image. Then, a prediction error of the prediction value is calculated (detected), and the prediction error is supplied to the determination unit 129 as error information.
  • the determination unit 1229 compares the error information from the error calculation unit 128 with a predetermined threshold ⁇ , and controls the mapping coefficient setting circuit 13 () according to the comparison result. It has been done.
  • the mapping coefficient setting circuit 130 sets (changes) a set of matching coefficients of the same number as the number of classes obtained as a result of the class classification in the class classification circuit 124 according to the control of the decision unit 128.
  • the mapping coefficient memory 13 is supplied to 13 1.
  • the mapping coefficient memory 13 1 is adapted to temporarily store the mapping coefficient supplied from the mapping coefficient setting circuit 130.
  • the mapping coefficient memory 13 1 has a storage area capable of storing the number of mapping coefficients (sets of mapping coefficients) of the number of classes to be classified in the classification circuit 124. In the storage area, when a new mapping coefficient is supplied from the mapping coefficient setting circuit 130, the new mapping coefficient is stored instead of the already stored mapping coefficient. I have. Further, the mapping coefficient memory 131 reads out the mapping coefficients stored at the address corresponding to the class information supplied from the class classification circuit 124, and supplies the read mapping coefficients to the arithmetic circuit 126.
  • the mapping coefficient setting circuit 130 sets a set of initial values of the mapping coefficients by the number of classes to be classified in the classification circuit 124, and supplies the set to the mapping coefficient memory 131. I do.
  • the mapping coefficient (initial value) from the mapping coefficient setting circuit 130 is stored in the address of the corresponding class.
  • step S72 the blocking circuit 122 divides all the learning images stored in the memory 121 into five pixels (see FIG. 2) as in the case of the blocking circuit 111 in FIG. XI to X4, Y1). Further, the blocking circuit 121 reads the block from the memory 121 and sequentially supplies the block to the ADRC processing circuit 123 and the arithmetic circuit 126.
  • step S73 the ADRC processing circuit 123 applies four pixels (XI to X4 in FIG. 2) of the block from the blocking circuit 122 to 1 in the same manner as in the ADRC processing circuit 112 in FIG.
  • the bits are subjected to ADRC processing and supplied to the classifying circuit 124.
  • the class classification circuit 124 in step S74, the class of the block supplied from the ADRC processing circuit 123 is determined, and the class information is supplied to the mapping coefficient memory 1331 as an address. Thereby, in step S75, the mapping coefficient is read from the address corresponding to the class information supplied from the class classification circuit 124 in the mapping coefficient memory 131, and supplied to the arithmetic circuit 126.
  • the arithmetic circuit 126 receives the five pixels (XI to X4, Y1 in FIG. 2) of the block from the blocking circuit 122, and receives the mapping coefficients corresponding to the class of the block from the mapping coefficient memory 131.
  • the mapping coefficient and the block supplied from the blocking circuit 122 are configured.
  • the above-described function value ⁇ ( ⁇ ) is calculated using the pixel values of the five pixels.
  • the calculation result is supplied to the local decoding unit 127 as correction data obtained by correcting the pixel value of the central pixel of the block supplied from the blocking circuit 122.
  • the arithmetic circuit 126 corrects the pixel data by correcting the pixel value. Is obtained and output to the local decoding unit 27.
  • the blocking in the blocking circuit 122 is performed on the pixel data redundantly, the number of pixels constituting the learning image is interrogated to 1Z2, and the local decoding is performed. Supplied to part 27.
  • step S77 in which correction data for all the learning images stored in the memory 121 is obtained. Is determined. If it is determined in step S77 that the correction data for all the learning images has not been obtained yet, the process returns to step S73 to obtain correction data for all the learning images. Until the above, the processing of steps S73 to S77 is repeated.
  • step S77 when it is determined that the correction data for all the learning images has been obtained, that is, all the learning images stored in the memory 121 are set to 1--2. If a thinned-out image is obtained (however, the thinned-out image is not simply a thinned-out learning image to 12 but a pixel value obtained by an operation with a mapping coefficient). Proceeding to step S78, the oral decoding unit 127 locally decodes the thinned image to calculate the predicted value of the original learning image. This predicted value is supplied to the error calculator 128.
  • an image composed of predicted values obtained by the oral decoding unit 127 (however, as will be described later, when the error information output from the error calculating unit 128 becomes smaller than the threshold ⁇ 1). Is the same as the decoded image obtained on the receiving device 4 side.
  • step S79 the error calculation unit 1 28 stores the learning image from the memory 1 2 1 Is read, and the prediction error of the prediction value supplied from the local decoding unit 127 with respect to the learning image is calculated. That is, the pixel value of the learning image is represented by ⁇ , and the predicted value output from the local decoding unit 127 is represented by ⁇ [ ⁇ ].
  • the error variance (the sum of squares of the error) Q is calculated, and this is supplied to the determination unit 129 as error information.
  • ⁇ represents a shark for all pixels of the learning image.
  • the determining unit 129 Upon receiving the error information from the error calculating unit 128, the determining unit 129 compares the error information with a predetermined threshold ⁇ 1, and determines the magnitude relationship in step S80. If it is determined in step S80 that the error information is equal to or greater than the threshold value of £ 1, the image composed of the predicted values obtained by the local decoding unit 127 immediately becomes the same as the original learning image. If it is not determined that there is, the judging unit 1 29 outputs a control signal to the mapping coefficient setting circuit 1 30. In step S81, the mapping coefficient setting circuit 130 changes the mapping coefficient in accordance with the control signal from the determination section 129, and newly stores the changed mapping coefficient in the mapping coefficient memory 131.
  • the mapping coefficient setting circuit 130 changes the mapping coefficient in accordance with the control signal from the determination section 129, and newly stores the changed mapping coefficient in the mapping coefficient memory 131.
  • step S73 the processing from step S73 is repeated again using the changed mapping coefficient stored in mapping coefficient memory 1331.
  • mapping coefficient in the mapping coefficient setting circuit 130 may be changed at random, or when the current error information is smaller than the previous error information, the same as the previous time. If the current error information becomes larger than the previous error information, it can be changed in the opposite trend.
  • mapping coefficients can be changed for all classes or only for some of them. Part of In the case where only the mapping coefficient for a class is changed, for example, a class having a strong influence on error information can be detected, and only the mapping coefficient for such a class can be changed.
  • a class having a strong influence on error information can be detected, for example, as follows. That is, first, the error information is obtained by performing processing using the initial value of the matching coefficient. Then, the mapping coefficient is changed by the same amount for each class, and the resulting error information is compared with the error information obtained when the initial value is used, and the difference is equal to or more than a predetermined value. The class may be detected as a class that has a strong influence on the error information. If the mapping coefficients are multiple and one set like kl, k 2, ⁇ , as described above, change only those that have a strong influence on the error information. Can also.
  • mapping coefficient is set for each class.
  • the mapping coefficient may be set independently, for example, for each block, or for each adjacent block. It is possible to make it.
  • mapping coefficients when the mapping coefficients are independently set for each block, a plurality of sets of mapping coefficients may be obtained for a certain class (inversely, the mapping coefficients may be different). However, there may be classes where no set can be obtained.) Since the mapping coefficients must ultimately be determined for each class, as described above, if multiple sets of mapping coefficients are obtained for a certain class, the mapping coefficients for multiple sets are determined. However, it is necessary to determine the mapping coefficient for one set by performing some processing.
  • step S80 if it is determined in step S80 that the error information is smaller than the threshold ⁇ 1, that is, the image composed of the predicted values obtained in the local decoding unit 127 is identical to the original learning image. If it is determined to be, the process ends.
  • mapping coefficient memory 131 in which the matching coefficient for each class is considered to be the same as the original image, is restored. It is set in the mapping coefficient memory 1 14 in Fig. 21 as the optimal one to obtain the correction data that can be obtained.
  • the receiving device 4 can obtain an image substantially the same as the original image.
  • the image is divided into four pixels by the blocking circuit 122, and the ADRC processing circuit 123 forms a one-bit ADRC. Since the processing is performed, the number of classes obtained by the class classification by the class classification circuit 124 is 409, and therefore, 496 sets of mapping coefficients are obtained.
  • FIG. 25 shows a configuration example of the local decoding section 127 of FIG.
  • the correction data from the arithmetic circuit 126 is supplied to the classifying blocking circuit 141 and the predicted value calculating blocking circuit 142.
  • the class classification blocking circuit 141 is configured to block the correction data into class classification blocks, which are units for classifying the correction data into predetermined classes according to their properties.
  • the classifying block obtained in the classifying blocking circuit 141 of FIG. 25 is configured to determine the class of the block for which the predicted value is to be obtained. In order to determine the class of the block for calculating the evening, it differs from that generated by the blocking circuit 111 in FIG.
  • the predicted value calculation blocking circuit 1442 blocks the corrected data into a predicted value calculation block, which is a unit for calculating the predicted value of the original image (here, the learning image). ing.
  • the prediction value calculation block obtained in the prediction value calculation block circuit 142 is supplied to the prediction circuit 144.
  • the number of pixels and the shape of the prediction value calculation block are not limited to those described above, as in the case of the class classification block. However, the number of pixels constituting the prediction value calculation block in the local decoding unit 127 Is preferably larger than the number of pixels constituting the classification block.
  • the ADRC processing circuit 143 performs, for example, 1-bit ADRC processing on the blocks (blocks for class classification) output from the class classification blocking circuit 141 and supplies the blocks to the class classification circuit 144.
  • the class classification circuit 144 classifies the blocks from the ADRC processing circuit 143 into classes, and supplies class information as a result of the classification to the prediction coefficient ROM 145.
  • the prediction coefficient ROM 145 stores the prediction coefficient.
  • the prediction coefficient ROM 145 reads the prediction coefficient stored at the address corresponding to the class information and supplies the prediction coefficient to the prediction circuit 146. It has been made like that.
  • the prediction coefficient stored in the prediction coefficient ROM 145 is obtained by learning (prediction coefficient learning) described later.
  • the prediction circuit 146 calculates the prediction value of the original image (learning image) using the prediction value calculation block from the prediction value calculation blocking circuit 142 and the prediction coefficient from the prediction coefficient ROM 145. (Forecast).
  • step S91 the correction data from the arithmetic circuit 126 is sequentially received and divided into blocks. That is, the correction data is divided into four pixel (XI to X4 in FIG. 2) class classification blocks in the class classification block forming circuit 141, and is supplied to the ADRC processing circuit 143 and the prediction value is calculated.
  • the calculation block circuit 142 the correction data is divided into four pixel prediction value calculation blocks and supplied to the prediction circuit 146.
  • the blocking circuit for class classification 141 and the blocking circuit for prediction value calculation 142 generate a corresponding block for class classification and a block for prediction value calculation.
  • the ADRC processing circuit 143 Upon receiving the classification block, the ADRC processing circuit 143 subjects the classification block to, for example, 1-bit ADRC (ADRC for performing requantization with 1 bit) processing on the classification block in step S92. Thus, the corrected data is converted (encoded) into one bit and output to the class classification circuit 144. In step S93, the classification circuit 144 performs the classification processing on the ADRC-processed classification block, and determines the class to which the classification block belongs. The result of this class determination is supplied to the prediction coefficient ROM 145 as class information.
  • ADRC ADRC for performing requantization with 1 bit
  • step S94 the prediction coefficient is read from the address corresponding to the class information from the classification circuit 144 in the prediction coefficient ROM 145, and in step S95, the prediction circuit 146 Using the four pixel values constituting the predicted value calculation block from the predicted value calculation blocking circuit 142, the prediction of the pixel value y of the original image is performed according to the following linear linear expression, for example. Calculate the value E [y].
  • the prediction value of one pixel is calculated from the four pixels constituting the prediction value calculation block.
  • the class information C about the classifying block consisting of the correction data XI to X4 shown in FIG. 2 is output from the classifying circuit 144, and as the predicted value calculating block, The prediction value calculation block consisting of XI to X4 It is assumed that the data is output from the arithmetic blocking circuit 142.
  • the prediction coefficient ROM 145 stores, as a set of prediction coefficients, wl (R) to wl2 (R), wl (G) to wl2 (G), wl (B) to wl2 at the address corresponding to the class information C. Assuming that (B) is stored, the predicted values E [YRi], E [YGi], E [YBi] of the components YRi, YGi, and YBi of each pixel are stored in the same manner as described above. Is calculated.
  • step S94 when the predicted value is obtained as described above, the process returns to step S91, and thereafter, the processing in steps S91 to S94 is repeated, whereby the predicted value is obtained in units of four pixels. Go.
  • the image processing apparatus that performs learning (prediction coefficient learning) for obtaining the prediction coefficients stored in the prediction coefficient ROM 145 in FIG. 25 has the same configuration as that shown in FIG. Therefore, the description is omitted.
  • FIG. 27 illustrates another configuration example of an image processing apparatus that performs learning (mapping coefficient learning) processing for calculating mapping coefficients stored in the mapping coefficient memory 114 in FIG.
  • the optimal prediction is performed not only when the function f is expressed by a linear expression but also by a nonlinear expression or a quadratic expression.
  • the image processing apparatus shown in FIG. 27 can obtain the optimum prediction coefficient only when the function f is represented by a linear linear expression.
  • the pixel values of four pixels (XI, X2, X3, X4 in FIG. 2) constituting the block output from the blocking circuit 111 are changed to yl, y2, y3. , y4 (each having R, G, and B components), and the mapping coefficients output by the mapping coefficient memory 114 are kl, k2, k3, and k4 (respectively, R, G, and B components, respectively). ),
  • the arithmetic circuit 1 16 is calculated by calculating the function value ⁇ (yl, y2, ⁇ , kl, k2, ⁇ ) according to the following equation. Can be used when
  • the optimal correction data calculation section 170 consists of a compression section 171, a correction section 1772, a mouth decoding section 1773, an error calculation section 1774, and a judgment section 1775. From the input learning image, calculate the pixel value (hereinafter referred to as the optimal correction data as appropriate) that is an image that is compressed by reducing the number of pixels and that is optimal for predicting the original image Then, it is supplied to the latch circuit 176.
  • the learning image supplied to the optimal correction data calculation unit 170 is supplied to the compression unit 1771 and the error calculation unit 174.
  • the compression unit 17 1 simply interrogates the learning images at the same rate as the rate at which the arithmetic circuit 1 16 in FIG. 21 thins out the pixels. That is, in this embodiment, Z 2 is simply thinned out, thereby compressing the learning image and supplying it to the correction unit 17 2.
  • the correction section 172 outputs the data supplied from the compression section 171, which has been compressed by simple decimation (hereinafter, referred to as compressed data as appropriate) from the determination section 1755.
  • the correction is made in accordance with the control of.
  • Data obtained as a result of the correction in the correction unit 17 2 (This data is also obtained by correcting the pixel value of the central pixel of the 5-pixel block, like the output of the arithmetic circuit 1 16 in FIG. 21. , Hereinafter referred to as correction data as appropriate) are supplied to the oral decoding unit 173.
  • the error calculating unit 174 calculates the predicted value from the oral decoding unit 173 with respect to the original image data input thereto in the same manner as in the case of the error calculating unit 128 in FIG. Is calculated. This prediction error is supplied to the determination units 1 to 5 as error information.
  • the determination unit 1775 determines the suitability of using the output correction data as the compression result of the original image based on the error information from the error calculation unit 1774. like It has been done. Then, the determining unit 1775 controls the correcting unit 1772 when determining that the correction data output from the correcting unit 172 is not appropriate as the compression result of the original image. Further, the compression data is corrected, and a new corrected data obtained as a result is output. The judging unit 175 supplies the correction data output by the correcting unit 172 from the correcting unit 172 when determining that it is appropriate to use the compression result of the original image as appropriate. The obtained correction data is supplied to the latch circuit 176 as the optimum correction data.
  • the latch circuit 176 has a built-in memory 176 ⁇ , and the memory 176A stores the optimum correction data supplied from the correction unit 172. Further, the latch circuit 176 corresponds to the central pixel of the block read out from the memory 177 A of the blocking circuit 1 ⁇ 7 out of the optimum correction data stored in the memory 176 A. Is read out and supplied to the memory 180. When the correction data for one frame is stored in the memory 176A, the latch circuit 176 outputs a control signal indicating this to the blocking circuit 177. It has been done. As in the case of the optimum correction data calculation section 170, the blocking circuit 177 is supplied with a learning ghost image in units of one frame. The blocking circuit 177 has a built-in memory 177A, and the memory 177 # stores a learning image supplied thereto.
  • the blocking circuit 1 7 7 is a latch circuit
  • both learning images stored in memory 177A are divided into blocks consisting of 5 pixels, as in the case of the blocking circuit 111 in FIG.
  • the blocking circuit 177 supplies a control signal indicating the position of the block to the latch circuit 176.
  • the latch circuit 176 recognizes a 5-pixel block read from the memory 177 based on this control signal, and as described above, the optimal correction data corresponding to the central pixel of the block is stored in the memory. Read from 1 7 6 A It has been made like that. That is, a block of five pixels and the optimum correction data corresponding to the block are simultaneously supplied to the memory 180.
  • the ADRC processing circuit 1 ⁇ 8 or the class classification circuit 179 is configured in the same manner as the ADRC processing circuit 112 or the class classification circuit 113 of FIG. 21, respectively. Then, the class information about the block from the blocking circuit 177 output from the classifying circuit 179 is supplied to the memory 180 as an address.
  • the memory 180 stores, in an address corresponding to the class information supplied from the class classification circuit 179, the optimum correction data supplied from the latch circuit 176 and the block supplied from the blocking circuit 177. Are stored in association with each other.
  • the memory 180 is capable of storing a plurality of pieces of information at one address, thereby storing a plurality of sets of optimal correction data and blocks corresponding to certain class information. It has been made possible.
  • the arithmetic circuit 18 1 is associated with the five pixels yl, y 2, y 3, y 4, y 5 constituting the five-pixel block of both learning images stored in the memory 180 and associated with the block.
  • the mapping coefficients kl to k5 are obtained for each class and supplied to the memory 18 2.
  • the memory 182 stores the mapping coefficients kl to k5 for each class supplied from the arithmetic circuit 181, at addresses corresponding to the classes.
  • the learning image When the learning image is input, the learning image is stored in the memory 177A of the blocking circuit 177 and supplied to the optimal correction data calculating unit 170. Upon receiving the learning image, the optimum correction data calculation unit 170 calculates the optimum correction data for the learning image in step S101.
  • step S101 The processing of this step S101 is the same as the processing of the tip of FIG. You That is, first, in step S1, the compression unit 17 1 generates a compressed image by thinning out the learning image to 1 ⁇ 2, and passes through the correction unit 17 2 The signal is output to the local decoding unit 173 without correction. In step S2, the local decoding unit 173 determines based on the correction data from the correction unit 172 (at first, as described above, the compressed data obtained by simply thinning out the image data). Then, the predicted value of the original image is calculated (local decoding is performed). This predicted value is supplied to the error calculation unit 174.
  • the error calculation unit 174 determines in step S3 the prediction error of the prediction value from the local decoding unit 173 with respect to the original image data. Is calculated and supplied as error information to the determination unit 1775.
  • the determining unit 1775 converts the correction data output by the correcting unit 1772 based on the error information into a compression result of the original image in step S4. Is determined.
  • step S4 it is determined whether the error information is equal to or less than a predetermined threshold ⁇ . If it is determined in step S4 that the error information is not equal to or smaller than the predetermined threshold ⁇ , it is recognized that it is not appropriate to use the correction data output by the correction unit 172 as the compression result of the original image, and Proceeding to step S5, the determination section 1775 controls the correction section 172, thereby correcting the compressed data output from the compression section 1771.
  • the correction unit 172 corrects the compressed data by changing the correction amount (correction value ⁇ ) according to the control of the determination unit 1775, and converts the resulting corrected data into the local decoding unit 1 7 3 Output to. Then, the process returns to step S2, and thereafter, the processing of step ⁇ is repeated.
  • the correction of the compressed data can be performed, for example, in the same manner as the change of the mapping coefficient described with reference to FIG.
  • step S4 if it is determined in step S4 that the error information is equal to or less than the predetermined threshold, it is recognized that it is appropriate to use the correction data output by the correction unit 172 as the compression results of the original images.
  • the determination unit 1775 outputs the correction data when error information equal to or less than the predetermined threshold value ⁇ is obtained to the latch circuit 1776 from the correction unit 1772 as optimal correction data. And return it to the built-in memory 1 76 A, and return.
  • the correction data obtained by correcting the compression data is stored in the memory 176 as the optimum correction data.
  • the error information is set to be equal to or less than a predetermined threshold value £ in the optimal correction data, a prediction value is calculated using the error information, thereby obtaining substantially the same as the original image (original image). Images can be obtained.
  • the latch circuit 176 outputs the control signal to the blocking circuit 177 when the optimal correction data for one frame is stored in the memory 176 #.
  • the block forming circuit 177 converts the learning image stored in the memory 177A into a block composed of five pixels in step S102. To divide. Then, the blocking circuit 177 reads the blocks of the learning image stored in the memory 177A and supplies the blocks to the ADC processing circuit 178 and the memory 180.
  • the blocking circuit 177 supplies a control signal indicating the position of the block to the latch circuit 176, and the latch circuit 177 Recognizes the 5-pixel block read from the memory 177A in response to the control signal, reads the optimal correction data corresponding to the central pixel of the block, and stores it in the memory 180. Supply.
  • step S103 the block from the blocking circuit 177 is subjected to the ADRC processing in the ADRC processing circuit 178, and further, the block is classified in the class classification circuit 179.
  • This classification result is supplied to the memory 180 as an address.
  • step S 104 an address corresponding to the class information supplied from the class classification circuit 179 is stored in the address corresponding to the optimal correction data supplied from the latch circuit 176,
  • the block (learning data) supplied from the circuit 177 is stored in association with the block.
  • step S105 the block for one frame is stored in the memory 180. It is determined whether the optimum correction data has been stored. In step S105, when it is determined that the block for one frame and the optimal correction data have not been stored in the memory 180, the next block is read from the blocking circuit 177. At the same time, the optimum correction data corresponding to the block is read out from the latch circuit 176, and the process returns to step S103, and thereafter, the processes after step S103 are repeated.
  • step S105 If it is determined in step S105 that the blocks for one frame and the optimal correction data have been stored in the memory 180, the process proceeds to step S106, and the processing is completed for all the learning images. Is determined. If it is determined in step S106 that the processing for all the learning images has not been completed, the process returns to step S101, and the process returns from step S1 () 1 for the next two learning images. Is repeated.
  • step S106 determines whether the processing for all the learning images has been completed. If it is determined in step S106 that the processing for all the learning images has been completed, the process proceeds to step S107, and the arithmetic circuit 1811 executes the optimal correction stored in the memory 180. The data and blocks are read out for each class, and a normal equation as shown in equation (7) is established by these. Further, in step S108, the arithmetic operation path 181 calculates a mapping coefficient for each class that minimizes the error by solving the normal equation. This mapping coefficient is supplied to and stored in the memory 12 in step S 1 () 9, and the processing ends.
  • mapping coefficients stored in 2 are stored in the mapping coefficient memory 114 in FIG. 21 and the image can be coded using this.
  • FIG. 29 illustrates a configuration example of the reception device 4 corresponding to the transmission device of FIG.
  • the encoded data recorded on the recording medium 2 is reproduced, or the encoded data transmitted via the transmission path 3 is received and supplied to the decoding unit 192. Is done.
  • the decoding unit 192 is composed of a class classification blocking circuit 193 to a prediction circuit 198 corresponding to the class classification blocking circuit 141 to the prediction circuit 146 in the local decoding unit 127 shown in FIG. 25, respectively.
  • a prediction value is obtained from the correction data in the same manner as in the case of the local decoding unit 127 in FIG. 25, and an image composed of the prediction value is output as a decoded image.
  • the correction data sets the error information to be equal to or less than a predetermined threshold value. Therefore, the receiving device 4 can obtain an image substantially the same as the original image.
  • a decoded image can be obtained by performing normal interpolation using a device that decodes the queried image by interpolation, even if the receiving device is not the receiving device 4 as shown in FIG. .
  • the decoded image obtained in this case has deteriorated image quality (resolution).
  • the pixel data is represented by using the R, G, and B component components.
  • Other component signals include a luminance signal Y and a chrominance signal represented by the following equations, respectively.
  • C, M, and R are represented by additive color mixture in which R, G, and B are each 8 bits.
  • the invention's effect is represented by additive color mixture in which R, G, and B are each 8 bits.
  • the first component signal of the second image is converted to the first component of the first image. Prediction from the signal and the second component signal, and prediction of the second component signal of the second image from the first component signal and the second component signal of the first image. As a result, prediction processing can be performed efficiently and with high accuracy.
  • a prediction decoding method including a plurality of pixel data represented by vectors in a color space is performed. Is used to predict the image, so that the image can be efficiently encoded and the image can be encoded so that the image can be decoded with high accuracy. .
  • the image processing apparatus and method, and the image coding apparatus and method according to the present invention are particularly effective and accurate image processing apparatus and method for performing prediction, and image processing. Suitable for use in encoding devices and methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

明 細 書
画像処理装置および方法、 並びに画像符号化装置および方法
技術分野
本発明は、 画像処理装置および方法、 並びに画像符号化装置および方法に関し、 特に、 効率よく、 かつ、 精度良く、 予測を行うことができるようにした画像処理装 置および方法、 並びに画像符号化装置および方法に関する。 背景技術
従来より、 空間解像度の低い画像を空間解像度のより高い画像に変換して表示す ることが行われている。 この場台、 空間解像度の低い画素デ一夕から、 より多くの 画素デ一夕を補間する （生成する） ようにしている。
従来、 このような補間処理を行うのに、 空間解像度の低い画素デ一夕が、 例えば R , G , Bのコンポーネント信号により構成されているとき、 各コンポーネント信 号毎に、 独立に補間処理を行うようにしていた。
すなわち、 空間解像度の高い Rの画素データは、 空間解像度の低い Rの画素デ一 夕から生成し、 空間解像度の高い Gの画素データは、 空間解像度の低い〔；の画素 データから生成し、 空間解像度の高い Bの画素デ一夕は、 空間解像度の低い Bの画 素デ一夕から生成するようにしていた。
その結果、 効率が悪くなるばかりでなく、 良好な精度を得ることができない課 IB があった。 発明の開示
本発明はこのような状況に鑑みてなされたものであり、 効率と精度を改善するよ うにするものである。
請求の範囲 1に記載の画像処理装置は、 第 1の画像の第 1の画素データを取得す る取得手段と、 第 1の画素デ一夕を構成するコンポーネント信号のうちの、 少なく とも第 1のコンポ一ネン卜信号と第 2のコンボ一ネン卜信号を用いて、 第 2の画像 の第 2の画素データを構成する第 1のコンポーネン卜信号を予測するとともに、 第 1の画素データを構成するコンポ一ネン卜信号のうちの、 少なくとも第 1のコン ポーネン卜信号と第 2のコンポ一ネン卜信号を用いて、 第 2の画像の第 2の画素 デ一夕を構成する第 2のコンポ一ネント信号を予測する予測手段とを備えることを 特徴とする。
また、 請求の範囲 5に記載の画像処理方法は、 第 1の画像の第 1の画素デ一夕を 取得する取得ステップと、 第 1の画素データを構成するコンポーネン卜信号のうち の、 少なくとも第 1のコンポーネント信号と第 2のコンポーネン卜信号を用いて、 第 2の画像の第 2の画素データを構成する第 1のコンポーネン卜信^を予測すると ともに、 第 1の画素デ一夕を構成するコンポーネント信号のうちの、 少なくとも第 1のコンポ一ネント信号と第 2のコンポ一ネン卜信号を用いて、 第 2の画像の第: i の画素データを構成する第 2のコンポーネント信号を予測する予測ステップとを備 えることを特徴とする。
また、 請求の範囲 6に記載の画像符号化装置は、 色空間上のベクトルで表した複 数の画素データを少なくすることにより圧縮する圧縮手段と、 圧縮した画素データ のクラスを分類する分類手段と、 クラスに対応する、 色空間上のベクトルで表され る画素デ一夕を含む予測データを記憶する記憶手段と、 予測デ一夕を用いて、 両像 を予測する予測手段とを備えることを特徴とする。
また、 請求の範囲 1 0に記載の画像符号化方法は、 色空間 hのベクトルで表した 複数の画素データを少なくすることにより圧縮する圧縮ステップと、 圧縮した画素 データのクラスを分類する分類ステップと、 クラスに対応する、 色空間上のべク卜 ルで表される画素データを含む予測デ一夕を記憶する記憶ステップと、 予測データ を用いて、 画像を予測する予測ステップとを備えることを特徴とする。
また、 請求の範囲 1に記載の画像処理装置および請求項 5に記載の画像処理方法 においては、 空間解像度のより高い第 2の画像の 1つのコンポーネント信号が、 ¾ 間解像度の低い第 1の画像の複数のコンポ一ネント信号から生成される。
また、 請求の範囲 6に記載の画像符号化装置および請求項 1 0に記載の画像符弓- 化方法においては、 色空間上のべクトルで表される画素データを含む予測データを 利用して、 画像が予測される。 図面の簡単な説明
図 1は、 本発明の画像処理装置を応用したシステムの構成例を示すブロック図で ある。
図 2は、 図 1のサブサンプリング回路の動作を説明する図である。
図 3は、 図 1の実施例における画素データを説明する図である。
図 4は、 図 1の R O M 2 1 8の記憶内容を生成する装置の構成例を示すブロック 図である。
図 5は、 図 1の送信装置 1の他の構成例を示すブロック図である。
1¾1 6は、 図 5の送信装置 1の機能的構成例を示すプロック図である。
図 7は、 図 6の送信装置 1の動作を説明するためのフローチヤ一卜である。 図 8は、 図 6の圧縮部 2 1の構成例を示すブロック図である。
図 9は、 図 8の圧縮部 2 1の動作を説明するためのフローチャートである。 図 1 0は、 図 6のローカルデコード部 2 2の構成例を示すブロック図である。 図 1 1は、 クラス分類処理を説明するための図である。
図 1 2は、 A D R C処理を説明するための図である。
図 1 3は、 図 1 0のローカルデコード部 2 2の動作を説明するためのフロー チャートである。
図 1 4は、 図 6の誤差算出部 2 3の構成例を示すブロック図である。
図 1 5は、 図 1 4の誤差算出部 2 3の動作を説明するためのフローチヤ一卜であ る。
図 1 6は、 図 6の判定部 2 4の構成例を示すブロック図である。
図 1 7は、 図 1 6の判定部 2 4の動作を説明するためのフローチヤ一卜である。 図 1 8は、 図 1の受信装置 4のさらに他の構成例を示すブロック図である。
図 1 9は、 図 6の口一カルデコ一ド部 2 2の他の構成例を示すブロック図であ る。
図 2 0は、 図 1 9の予測係数 R O M 8 1に記憶されている予測係数を算出する画 像処理装置の一実施例の構成を示すブロック図である。
図 2 1は、 図 1の送信装置 1の他の構成例を示すブロック図である。
図 2 2は、 図 2 1の送信装置の動作を説明するためのフローチヤ一卜である。 図 2 3は、 マッピング係数を得るための学習を行う画像処理装置の第 1実施例の 構成を示すブロック図である。
図 2 4は、 図 2 3の画像処理装誇の動作を説明するためのフローチヤ一卜であ る。
図 2 5は、 図 2 3のローカルデコード部 1 2 7の構成例を示すブロック図であ る。
図 2 6は、 図 2 5のローカルデコード部 1 2 7の処理を説明するためのフロー チャートである。
図 2 7は、 マッピング係数を得るための学習を行う画像処理装置の第 2実施例の 構成を示すブロック図である。
図 2 8は、 図 2 7の画像処理装置の動作を説明するためのフローチヤ一卜であ る。
図 2 9は、 図 1の受信装置 4の他の構成例を示すブロック Iである。 発明を実施するための最良の形態
以下に本発明の実施例を説明するが、 請求の範囲に記載の発明の各手段と以下の 実施例との対応関係を明らかにするために、 各手段の後の括弧内に、 対応する実施 例 （但し一例） を付加して本発明の特徴を記述すると、 次のようになる。 但し勿論 この記載は、 各手段を記載したものに限定することを意味するものではない。 すなわち、 請求の範囲 1に記載の画像処理装置は、 第 1の画像の第 1の画素デ一 夕を取得する取得手段 （例えば、 図 1のデコーダ 1 3 ) と、 第 1の画素データを構 成するコンポーネン卜信号のうちの、 少なくとも第 1のコンポ一ネン卜信号と第: のコンポ一ネン卜信号を用いて、 第 2の画像の第 2の画素データを構成する第 1の コンポーネン卜信号を予測するとともに、 第 1の画素デ一夕を構成するコンポ一ネ ン卜信号のうちの、 少なくとも第 1のコンポ一ネント信号と第 2のコンポ一ネン卜 信号を用いて、 第 2の画像の第 2の画素デ一夕を構成する第 2のコンポーネン卜信 号を予測する予測手段 （例えば、 図 1のデ一夕生成回路 2 1 9 ) とを備えることを 特徴とする。
請求の範囲 6に記載の画像符号化装置は、 色空問上のべクトルで表した複数の画 素データを少なくすることにより圧縮する圧縮手段 （例えば、 図 8の間引き回路 3 1 ) と、 圧縮した画素デ一夕のクラスを分類する分類手段 （例えば、 図 1 0のクラ ス分類回路 4 5 ) と、 クラスに対応する、 色空間上のベクトルで表される画素デー 夕を含む予測データ （例えば、 予測係数） を記憶する記憶手段 （例えば、 図 1 9の 予測係数 R O 4 8 1 ) と、 予測デ一夕を用いて、 画像を予測する予測手段 （例え ば、 図 1 9の予測回路 8 2 ) とを備えることを特徴とする。
図 1は、 送信側から画像データを間引いて伝送し、 受信側で、 間引かれた画素を 生成して再生するシステムの構成例を示している。 伝送するディジタルビデオデ一 タは、 送信装置 1の入力端子 2 0 1からサブサンプリング回路 2 0 2に入力され、 水平方向に 1つおきの画素データが間引かれ、 伝送すべきデ一夕量が半分になるよ うになされている。 エンコーダ 2 0 3は、 サブサンプリング回路 2 0 2から供給さ れたデ一夕を、 例えば D C T (Discrete Cosine Transform ) などの直交変換符号 や、 A D R C (Adaptive Dynamic Range Coding ) などにより高能率符号化し、 データ量をさらに低減するようになされている。 送信処理回路 2 0 4は、 ェンコ一 ダ 2 0 3の出力に対して、 エラ一訂正符号化、 フレーム化、 チャンネル符号化など の処理を行い、 出力端子 2 0 5から伝送路 3に出力したり、 光ディスク、 磁気ディ スクなどの記録媒体 2に記録する。
伝送路 3または記録媒体 2から供給されたデ一夕は、 受信装置 4の入力端子 2 1 1から受信処理回路 2 1 2に入力され、 チャンネル符号化の復号化処理、 フレーム 分解処理、 エラ一訂正処理などが行われるようになされている。 デコーダ 2 1 3 は、 送信装置 1側のエンコーダ 2 0 3に対応する復号処理を行うようになされてい る。 デコーダ 2 1 3の出力は、 同時化回路 2 1 5と合成回路 2 1 4に供給されてい る。
同時化回路 2 1 5は、 デコーダ 2 1 3の出力を、 処理対象とする画素データが同 じタイミングで発生するようにタイミング調整を行い、 調整後のデ一夕を A D R C 処理回路 2 1 6とデ一夕生成回路 2 1 9に出力している。 A D R C処理回路 2 1 6 は、 同時化回路 2 1 5より供給されたデ一夕を、 1ビッ 卜で A D R C処理し、 処理 結果をクラス分類回路 2 1 7に出力する。 クラス分類回路 2 1 7は、 A D R C処理 回路 2 1 6より供給されたデータに対応するクラス分類処理を行い、 分類されたク ラスを示す信号を R O M (Read Only Memory) 2 1 8にアドレスとして出力する ようになされている。
R O M 2 1 8は、 クラス分類回路 2 1 7より供給されるクラスに対応するァドレ スに記憶されている係数デ一夕を読み出し、 データ生成回路 2 1 9に出力するよう になされている。 デ--夕生成回路 2 1 9は、 同時化回路 2 1 5より供給されたデー 夕に、 R O M 2 1 8より供給された係数データを乗算し、 新たな画素デ一夕を生成 して、 合成回路 2 1 4に出力している。 合成回路 2 1 4は、 デコーダ 2 1 3より供 給された、 元々存在する画素データと、 データ生成回路 2 1 9により生成された画 素データとを合成し、 出力端子 2 2 0から図示せぬ C R Tなどに出力し、 表示させ るようになされている。
次に、 その動作について説明する。 入力端子 2 0 1より入力されたディジタル画 像データは、 例えば図 2に示すように、 水平方向に 1つおきに、 サブサンプリング 回路 2 0 2において間引かれる。 図 2において、 〇印は、 間引かれて残った画素 デ一夕を表し、 X印は、 間引かれて伝送されない画素デ一夕を表している。 これに より、 伝送すべき画素データが半分になる。
この画素データは、 エンコーダ 2 0 3によりエンコードされた後、 送信処理回路
2 0 4により所定の処理が施され、 出力端子 2 0 5から伝送路 3または記録媒体 2 に伝送される。 受信処理回路 2 1 2は、 入力端子 2 1 1から伝送路 3または記録媒体 2からの伝 送データを受信し、 デコーダ 2 1 3に出力する。 デコーダ 2 1 3は、 入力された デ一夕をデコードし、 デコードした結果得られた画素デ一夕 （図 2において、 〇印 で示す画素デ一夕） を合成回路 2 1 4と同時化回路 2 1 5に出力する。
同時化回路 2 1 5は、 処理対象とする画素デ一夕が、 同じタイミングで発生する ように、 所定の遅延を施す処理などを実行する。 これにより、 例えば図 2に示す、 省略されている画素 Y1の上 （XI ) 、 左 （X2) 、 右 （X3) および下 (X4) に 位置する画素デ一夕 XI乃至 X4が、 ADRC処理回路 2 1 6とデ一夕生成回路 2 1 9に、 同じタイミングで供給される。
ADRC処理回路 2 1 6は、 入力された 4個の画素デ一夕 X 1乃至 X4により構成 される 1個のブロックの ADRC処理を実行する。 この実施例においては、 図 3に 示すように、 各画素デ一夕 Xは、 R, G, Bの各成分で規定される色空間上のべク トル （XR， XG , XB) で構成されている。 XR, XG , XBは、 それぞれ画素 データ Xの R, G, Bのコンポーネント成分を表し、 例えば、 それぞれが 8ビット で表現されている。 ADRC処理回路 2 1 6は、 1ビッ ト AD R C処理を実行する ため、 例えば、 画素デ一夕 XIの R成分 XR1を 1ビッ卜で表し、 G成分 XG1を 1 ビッ卜で表し、 また B成分 XB1を 1ビッ卜で表す。 すなわち， 本来、 λ ' 4ビッ ト
(= 3 X 8) で表されていた画素データ XIを、 3ビット （= 3 X 1 ) のデータと する。 他の兩素デ一夕 Χ2乃至 Χ4も、 同様に 3ビットの画素デ一夕に変換され、 そ れぞれが 3ビットで表される画素デ一夕 （XI , Χ2 , Χ3 , Χ4 ) としてクラス分 類回路 2 1 7に供給される。
クラス分類回路 2 1 7は、 入力された合計 1 2ビット （=4 X 3) のデ一夕をク ラスに分類し、 その分類したクラスを表すクラスデータ信号を生成し、 ROM2 1 8に出力する。 すなわち、 この実施例の場合、 1 2ビットでクラスが表されるた め、 40 9 6 (= 212) 通りのクラスが存在することになる。
ROM2 1 8には、 各クラス毎に予測係数 wが記憶されており、 クラス分類回路 2 1 7から所定のクラスを表す信号が供給されると、 そのクラスに対応するァドレ スに記憶されている予測係数 wが読み出され、 データ生成回路 219に供給され る。
デ一夕生成回路 219は、 ROM218より供給される予測係数 wと、 同時化回 路 215より供給される画素デ一夕 XI乃至 X4を用いて、 次式に示すような演算を 行って、 図 2に示す画素デ一夕 Y1を生成する。
YRl = wl (R) XR1 + W2 (R) XGl + w3 (R) XB1
+ w4 (R) XR2 + w5 (R) XG2 + w(3 (R) XB2
+ w7 (R) XR3 + w8 (R) XG3 + w9 (R) XB3
+ wl0 (R) XR4 + wll (R) XG4 + wl2 (R) XB4
YGl=wl (G) XRl + w2 (G) XGl + w3 (G) XB1
+ w4 (G) XR2 + w5 (G) XG2 + w6 (G) XB2
+ w7 (G) XR3 + w8 (G) XG3 + w9 (G) XB3
+ wl0 (G) XR4 + wll (G) XG4 + wl2 (G) XB
YBl = l (B) XRl + w2 (B) XGl+w3 (B) XB1
+ w (B) XR2 + w5 (B) XG2 + w6 (B) XB2
+ w7 (B) XR3 + w8 (B) XG3 + w9 (B) XB3
+ wl0 (B) XR4 + wll (B) XG4 + wl2 (B) XB4
なお、 wi (R) ， wi (G) , wi (B) は、 それぞれ G, B用の予測係数を 表している。
上記式より明らかなように、 この実施例においては、 画素データ Y1の R成分 Y R1力 周囲の画素 XI乃至 X4の R成分 XR1乃至 XK4だけでなく、 G成分 XG1乃 至 XG4、 並びに B成分 XB1乃至 XB4から生成される。 同様に、 画素デ一夕 Y1の（； 成分 YG1と、 B成分 YB1も、 それぞれ画素データ X 1乃至 X4の対応する成分だけ でなく、 すべての成分 XR1乃 _¥-XR4, XG1乃至 XG4, XB1乃至 XB4から生成され る。 画像、 特に、 テレビカメラを用いて撮影したような自然な画像は相関を有し、 比 較的近傍の画素ほど強い相関を有する。 従って、 新たな画素デ一夕を演算により生 成する場合、 より近傍の画素データをもとに、 その演算を行う方が、 より効率的 に、 また、 高精度で新たな画素データを生成することができる。
すなわち、 上記式に示すように、 例えば、 画素データ Y 1の R成分 YR1を求める のに、 XR1乃至 XB4の合計 1 2個のデ一夕を用いているのであるが、 例えば、 この YR1を演算により求めるのに、 1 2個の R成分だけを用いるようにするには、 R成 分は各画素に 1個しか存在しないから、 結局合計 1 2画素の R成分を利用する必要 がある。 このようにすれば、 必然的に、 いま注目している画素 Y 1から、 より遠く に離れている画素デ一夕を用いざるを得ず、 効率と精度が劣化することになる。 そこで、 本実施例のように、 各画素が有する R , G , B成分を用いて、 注目画素 の R成分 （G成分と B成分も同様） を生成するようにすれば、 より近い位置の画素 データから必要な数のデータを得ることができる。 従って、 それだけ効率的に、 高 精度の画素データを生成することができる。
合成回路 2 1 4は、 以上のようにして、 データ生成回路 2 1 9により生成された 新たな画素データ Yと、 デコーダ 2 1 3より供給される元々存在する画素デ一夕 X とを合成し、 出力端子 2 2 0から出力する。 従って、 出力端子 2 2 0から出力され る画素データは、 受信回路 2 1 2で受信した画素デ一夕 Xにより構成される画像よ り、 空間解像度が高い画像となっている （図 1のサブサンプリング回路 2 0 2でサ ブサンプリングされる前の画像と同一の解像度の画像となっている） 。
R O M 2 1 8には、 上記した式の予測係数 wが記憶されているのであるが、 この 予測係数 wのテーブルは、 例えば図 4に示す装置から得ることができる。
すなわち、 図 4の実施例においては、 入力端子 2 3 0からディジタルビデオ信^ が入力され、 同時化回路 2 3 1に供給されている。 この人力端子 2 3 0に入力され るディジ夕ルビデオ信号は、 テーブルを作成する上において必要な標準的な信号 (従って、 間引かれる前の高解像度の画像の信号） であることが好ましく、 例えば 標準的な絵柄の静止画像からなる信号を採用することができる。 同時化回路 2 3 1 は、 図 2に示す画素データ Y 1及び XI乃至 X4が同時に出力されるように、 夕イミ ング調整を行う。 同時化回路 23 1より出力された画素デ一夕は、 サブサンプリン グ回路 232とデ一夕メモリ 23 7に供給される。 サブサンプリング回路 23 は、 入力された高解像度の画像信号から図 2に示す画像デー夕 X 1乃至 X4を抽出 し、 ADRC処理回路 233に供給する。
ADRC処理回路 233は、 入力された画素デ一夕を 1ビッ卜で ADRC処理 し、 クラス分類回路 234に出力する。 クラス分類回路 234は、 ADRC処理回 路 233より入力されたデ一夕をクラス分類し、 分類したクラスに対応する信号を スィッチ 235の接点 Aを介してデ一夕メモリ 237にアドレスとして供給する。 すなわち、 同時化回路 232、 ADRC処理回路 233、 およびクラス分類回路 2 34は、 図 1における同時化回路 2 1 5、 ADRC処理回路 2 1 6、 およびクラス 分類回路 2 1 7における場合と同様の処理を行う。
カウンタ 236は、 ^示せぬ回路から供給されるクロック CKをカウントし、 そ のカウント値をスィッチ 235の接点 Cを介して、 データメモリ 237にアドレス として供給している。
データメモリ 237は、 スィッチ 235を介してクラス分類回路 234からァド レスが供給されているとき、 そのアドレスに同時化回路 232から供給されるデー 夕を書き込み、 カウン夕 236からスィッチ 235を介してアドレスが供給されて いるとき、 そのアドレスに記憶されているデータを読み出し、 最小肉乗法演算回路 238に出力するようになされている。 最小自乗法演算回路 238は、 データメモ リ 237から供給された画素データに対して， 最小自乗法に基づく演算を行い、 予 測係数 wiを演算し、 メモリ 239に出力するようになされている。 メモリ 239 は、 スィッチ 235を介してカウン夕 236から供給されるアドレスに、 最小自乗 法演算回路 238から供給される予測係数 wiを書き込むようになされている。 次に、 その動作について説明する。 予測係数を決定するための学習のためのディ ジタルビデオデータが同時化回路 23 1において同時化され、 サブサンプリング回 路 232で間引き処理が行われて、 図 2における XI乃至 X4が抽出され、 ADRC 処理回路 2 3 3で 1ビッ卜の A D R C処理が行われた後、 クラス分類回路 2 3 4に 入力され、 クラス分類される。 いまの場合、 図 1における場合と同様に、 4画素が クラス分類のための 1ブロックとされ、 各画素は、 A D R C処理回路 2 3 3におい て、 各 R , G , B成分が 1ビットで A D R C処理されるため、 クラス分類回路 2 3 4から 1 2ビッ卜のクラスデータがスィッチ 2 3 5の接点 Aを介してデータメモリ 2 3 7にアドレスとして供給される。 デ一夕メモリ 2 3 7は、 このアドレスに、 同 時化回路 2 3 2より供給される画素データを記憶させる。
なお、 ここで、 記憶させる画素データは、 図 1のサブサンプリング回路 2 0 2で サブサンプリングされる前の状態の、 より高い空間解像度を有する画像の画素デ一 夕である。 従って、 図 2における〇印の画素データ Xiはもとより、 X印で示す画像 データ Yiも記憶される。
上記式に示すように、 1つの成分の画像デ一夕、 例えば YR1を演算する係数は、 wl ( R ) 乃至 wl2 ( R ) の 1 2個存在する。 従って、 これらの 1 2個の予測係数 を求めるには、 1 2個の予測係数を未知数とする 1 2個の連立方程式が各クラスに おいて必要となる。 データメモリ 2 3 7には、 この連立方程式を解くのに必要な数 の画素データが少なくとも記憶される。
必要な数の画素データがデ一夕メモリ 2 3 7に記憶された後、 スィツチ 2 3 5が 接点 C側に切り替えられる。 カウン夕 2 3 6は、 クロック C Kをカウン卜し、 その カウント値を出力しているので、 デ一夕メモリ 2 3 7には、 1ずつインクリメント する値が、 読み出しアドレスとして入力される。 デ一夕メモリ 2 3 7は、 入力され た読み出しアドレスに対応する画素データを読み出し、 最小自乗法演算回路 2 3 8 に出力する。 最小自乗法演算回路 2 3 8は、 上記した式に対して、 具体的デ一夕を 当てはめ、 予測係数 wiを変数とする連立方程式を生成し、 その連立方程式を解き、 予測係数 wiを求める。
そして、 演算により求めた予測係数 wiを用いて、 所定の画素データ （例えば、 上 記した画素デ一夕 Y 1の R成分 YR1) を求める （予測する） 。 そして、 演算 （予 測） により求めた YR1の値と、 実際の画素デ一夕 YR1との誤差を演算し、 その誤差 の自乗が最小となるように予測係数 Wiを演算する。 演算により求められた予測係数 wiは、 いまデータメモリ 237から読み出された画素デ一夕のアドレスと対応する メモリ 239のアドレスに書き込まれる。 このようにして、 メモリ 239には、 予 測係数 wiが記憶される。 そして、 この記憶内容が、 図 1に示す ROM218に書き 込まれる。
なお、 上記実施例においては、 R〇M218 (メモリ 239) に、 予測係数 wiを 書き込むようにしたが、 係数が乗算された後のデータそのものを書き込むようにす ることも可能である。 このようにすれば、 図 1におけるデ一夕生成回路 219は不 要となる。
図 5は、 送信装置 1の他の構成例を示している。
I /¥ (InterFace ) 1 1は、 外部から供給される画像データの受信処理と、 送 信機 記録装置 16に対しての、 符号化デ一夕の送信処理を行うようになされてい る。 ROM (Read Only Memory) 12は、 I PL (Initial Program Loading ) 用 のプログラムその他を記憶している。 RAM (Random Access Memory) 1 3 は、 外部記憶装置 1 5に記録されているシステムプログラム （OS (Operating
System) ) やアプリケーションプログラムを記憶したり、 また、 CPU (Central Processing Unit ) 14の動作上必要なデ一夕を記憶するようになされている。 CPU 14は、 ROM 12に記憶されている I P Lプログラムに従い、 外部記憶装 置 15からシステムプログラムおよびアプリケーションプログラムを、 RAM I 3 に展開し、 そのシステムプログラムの制御の下、 アプリケーションプログラムを実 行することで、 I /F 1 1から供給される画像デ一夕についての、 後述するような 符号化処理を行うようになされている。 外部記憶装置 1 5は、 例えば、 磁気ディス ク装置などでなり、 上述したように、 C PU 14が実行するシステムプログラムや アプリケーションプログラムを記憶している他、 CPLJ 14の動作上必要なデ一夕 も記憶している。 送信機 記録装置 16は、 I ZF 1 1から供給される符号化デー 夕を、 記録媒体 2に記録し、 または伝送路 3を介して伝送するようになされてい る。 なお、 I /F l l, ROM 12, RAMI 3, C P U 14、 および外部記憶装置 15は、 相互にバスを介して接続されている。
以上のように構成される送信装置 1においては、 IZF 1 1に画像データが供給 されると、 その画像データは、 CPU 14に供給される。 CPU 14は、 画像デー 夕を符号化し、 その結果得られる符号化デ一夕を、 IZF 1 1に供給する。 I/F 1 1は、 符号化データを受信すると、 それを、 送信機ノ記録装置 16に供給する。 送信機 記録装置 16では、 IZF 1 1からの符号化データが、 記録媒体 2に記録 され、 または伝送路 3を介して伝送される。
図 6は、 図 5の送信装置 1の、 送信機ノ記録装置 16を除く部分の機能的なブ ロック図である。
符号化すべき画像データは、 圧縮部 21、 ローカルデコード部 22、 および誤差 算出部 23に供給されるようになされている。 圧縮部 21は、 画像データを、 その 画素を、 単純に間引くことにより圧縮し、 その結果得られる圧縮デ一夕 （間引きが 行われた後の両像データ） を、 判定部 24からの制御に従って補正するようになさ れている。 圧縮部 21における補正の結果得られる補正データは、 口一カルデコ一 ド部 22および判定部 24に供給するようになされている。
口一カルデコード部 22は、 圧縮部 21からの補正デ一夕に基づいて、 元の画像 を予測し、 その予測値を、 誤差算出部 23に供給するようになされている。 なお、 口一カルデコード部 22は、 後述するように、 補正デ一夕との線形結合により、 予 測値を算出するための予測係数を求める適応処理を行い、 その予測係数に基づい て、 予測値を求めるようになされており、 上述したように、 予測値を、 誤差算出部 23に供給する他、 そのとき求めた予測係数を、 判定部 24に供給するようにもな されている。
誤差算出部 23は、 そこに入力される、 元の画像デ一夕 （原画像） に対する、 ローカルデコード部 22からの予測値の予測誤差を算出するようになされている。 この予測誤差は、 誤差情報として、 判定部 24に供給されるようになされている。 判定部 24は、 誤差算出部 23からの誤差情報に基づいて、 圧縮部 21が出力し た補正データを、 元の画像の符号化結果とすることの適正さを判定するようになさ れている。 そして、 判定部 2 4は、 圧縮部 2 1が出力した補正データを、 元の画像 の符号化結果とすることが適正でないと判定した場合には、 圧縮部 2 1を制御し、 さらに、 圧縮データを補正させ、 その結果得られる新たな補正デ一夕を出力させる ようになされている。 また、 判定部 2 4は、 圧縮部 2 1が出力した補正データを、 元の画像の符号化結果とすることが適正であると判定した場合には、 圧縮部 2 1か ら供給された補正データを、 最適な圧縮デ一夕 （以下、 適宜、 最適圧縮データとい う） として多重化部 2 5に供給するとともに、 口一カルデコード部 2 2から供給さ れた予測係数を多重化部 2 5に供給するようになされている。
- 1
4
多重化部 2 5は、 判定部 2 4からの最適圧縮デ一夕 （補正デ一夕） と、 予測係数 とを多重化し、 その多重化結果を、 符号化デ一夕として、 送信機 記録装置 1 6 (図 5 ) に供給するようになされている。
次に、 図 7のフローチヤ一卜を参照して、 その動作について説明する。 圧縮部 2 1に対して、 画像データが供給されると、 圧縮部 2 1は、 ステップ S 1において、 その画像デ一夕を間引くことにより圧縮し、 最初は、 補正を行わずに、 ローカルデ コード部 2 2および判定部 2 4に出力する。 ローカルデコード部 2 2では、 ステツ プ S 2において、 圧縮部 2 1からの補正デ一夕 （最初は、 上述したように、 画像 データを、 単純に間引いた圧縮データそのもの） がローカルデコードされる。 即ち、 ステップ S 2では、 圧縮部 2 1からの補正デ一夕との線形結合により、 元 の画像の予測値を算出するための予測係数を求める適応処理が行われ、 その予測係 数に基づいて、 予測値が求められる。 ローカルデコード部 2 2において求められた 予測値は誤差算出部 2 3に、 また、 予測係数は判定部 2 4に供給される。
ここで、 ローカルデコード部 2 2が出力する予測値で構成される画像は、 受信装 置 4側において得られる復号画像と同 -のものである。
誤差算出部 2 3は、 口一カルデコード部 2 2から、 元の画像の予測値を受信する と、 ステップ S 3において、 元の画像デ一夕に対する、 口一カルデコード部 2 2か らの予測値の予測誤差を算出し、 誤差情報として、 判定部 2 4に供給する。 判定部 2 4は、 誤差算出部 2 3から誤差情報を受信すると、 ステップ S 4において、 その 誤差情報に基づいて、 圧縮部 2 1が出力した補正データを、 元の画像の符号化結果 とすることの適正さを判定する。
即ち、 ステップ S 4においては、 誤差情報が所定の閾値 ε以下であるかどうかが 判定される。 ステップ S 4において、 誤差情報が所定の閾値 ε以下でないと判定さ れた場合、 圧縮部 2 1が出力した補正デ一夕を、 元の画像の符号化データとするの は適正でないと認識され、 ステップ S 5に進み、 判定部 2 4は、 圧縮部 2 1を制御 し、 これにより、 圧縮デ一夕を補正させる。 圧縮部 2 1は、 判定部 2 4の制御に 従って、 補正量 （後述する補正値△) を変えて、 圧縮データを補正し、 その結果得 られる補正データを、 口一カルデコード部 2 2および判定部 2 4に出力する。 そし て、 ステップ S 2に戻り、 以下、 同様の処理が繰り返される。
一方、 ステップ S 4において、 誤差情報が所定の閾値 £以下であると判定された 場合、 圧縮部 2 1が出力した補正データを、 元の画像の符号化結果とするのは適正 であると認識され、 判定部 2 4は、 所定の閾値 ε以下の誤差情報が得られたときの 補正データを、 最適圧縮データとして、 予測係数とともに、 多重化部 2 5に出力す る。 多重化部 2 5では、 ステップ S 6において、 判定部 2 4からの最適圧縮データ と予測係数とが多重化され、 その結果得られる符号化デ一夕が出力されて、 処理を 終了する。
以上のように、 誤差情報が所定の閾値 ε以下となったときにおける、 圧縮デ一夕 を補正した補正データを、 元の画像の符号化結果とするようにしたので、 受信装置 4側においては、 その補正データに基づいて、 元の画像 （原画像） とほぼ同一の画 像を得ることが可能となる。
次に、 図 8は、 図 6の圧縮部 2 1の構成例を示している。
符号化すべき画像デ一夕は、 間引き回路 3 1に入力されるようになされており、 間引き回路 3 1は、 入力された画像データを 1 ZN (いまの場合、 1 2 ) に問引 くようになされている。 従って、 間引き回路 3 1からは、 画像デ一夕を、 1 ZNに 圧縮した圧縮デ一夕が出力されるようになされている。 この圧縮データは、 間引き 回路 3 1から補正回路 3 2に供給されるようになされている。
補正回路 3 2は、 判定部 2 4 (図 6 ) からの制御信号に従って、 補正値 R O M 3 3にアドレスを与え、 これにより、 補正値△を読み出すようになされている。 そし て、 補正回路 3 2は、 間引き回路 3 1からの圧縮デ一夕に対して、 補正値 R OM 3 3からの補正値△を、 例えば加算することで、 補正デ一夕を生成し、 ローカルデ コード部 2 2および判定部 2 4に供給するようになされている。 補正値 R OM 3 3 は、 間引き回路 3 1が出力する圧縮デ一夕を補正するための、 各種の補正値△の組 合せ （例えば、 1フレーム分の圧縮データを補正するための補正値の組合せなど） を記憶しており、 補正回路 3 2から供給されるアドレスに対応する補正値△の組合 せを読み出して、 補正回路 3 2に供給するようになされている。
次に、 図 9を参照して、 図 8の圧縮部 2 1の処理について説明する。
例えば、 1フレーム （フィールド） 分などの画像データが、 間引き回路 3 1に供 給されると、 間引き回路 3 1は、 ステップ S 1 1において、 その画像デ一夕を 1ノ Nに間引き、 その結果得られる圧縮データを、 補正回路 3 2に出力する。
ここで、 間引き回路 3 1は、 図 2に示すように、 画像デ一夕を、 例えば、 各ライ ン毎に 1 / 2に間引くようになされている。 なお、 間引き回路 3 1は、 以 hのよう な処理を、 例えば、 1フレーム （フィールド） 単位で行うようになされている。 従って、 間引き回路 3 1から補正回路 3 2に対しては、 1フレームの画像データが 1 2に間引きされた圧縮データとして供給される。 但し、 間引き回路 3 1におけ る間引き処理は、 その他、 1フレームの画像を幾つかのブロックに分割し、 そのブ ロック単位で行うようにすることも可能である。
補正回路 3 2は、 間引き回路 3 1から圧縮デ一夕を受信すると、 ステップ S 1 2 において、 判定部 2 4 (図 6 ) から制御信号を受信したかどうかを判定する。 ス テツプ S 1 2において、 制御信号を受信していないと判定された場合、 ステップ S 1 5に進み、 補正回路 3 2は、 間引き回路 3 1からの圧縮デ一夕を、 そのまま補正 データとして、 口一カルデコード部 2 2および判定部 2 4に出力し、 ステップ S 1 2に戻る。 即ち、 判定部 2 4は、 上述したように、 誤差情報に基づいて、 圧縮部 2 1 (補正 回路 3 2 ) を制御するようになされており、 間引き回路 3 1から圧縮デ一夕が出力 された直後は、 まだ、 誤差情報が得られないため （誤差情報が、 誤差算出部 2 3か ら出力されないため） 、 判定部 2 4からは制御信号は出力されない。 このため、 間 引き回路 3 1から圧縮データが出力された直後は、 補正回路 3 2は、 その圧縮デ一 夕を補正せず （0を加算する補正をして） 、 そのまま補正デ一夕として、 口一カル デコード部 2 2および判定部 2 4に出力する。
一方、 ステップ S 1 2において、 判定部 2 4からの制御信号を受信したと判定さ れた場合、 ステップ S 1 3において、 補正回路 3 2は、 その制御信号に従ったアド レスを、 補正値 R O M 3 3に出力する。 これにより、 ステップ S 1 3では、 補 iH値 R O M 3 3から、 そのアドレスに記憶されている、 1フレーム分の圧縮デ一夕を補 正するための補正値△の組合せ （集合） が読み出され、 補正回路 3 2に供給され る。 補正回路 3 2は、 補正値 R O M 3 3から補正値△の組合せを受信すると、 ス テツプ S 1 4において、 1フレームの圧縮デ一夕それぞれに、 対応する補正値△を 加算し、 これにより、 圧縮デ一夕を補正した補正データを算出する。 その後は、 ス テツプ S 1 5に進み、 補正デ一夕が、 補正回路 3 2から口一カルデコード部 2 2お よび判定部 2 4に出力され、 ステップ S 1 2に戻る。
以上のようにして、 圧縮部 2 1は、 判定部 2 4の制御に従って、 圧縮データを、 種々の値に補正した補正デ一夕を出力することを繰り返す。
なお、 判定部 2 4は、 1フレームの画像についての符号化を終了すると、 その旨 を表す制御信号を、 圧縮部 2 1に供給するようになされており、 圧縮部 2 1は、 そ の制御信号を受信すると、 次のフレームの画像に対して、 図 9のフローチャートに 従った処理を施すようになされている。
また、 上述の場合においては、 間引き回路 3 1に、 2画素に 1個の割合で画素 デ一夕 （画素値） を抽出させることにより、 圧縮デ一夕を生成させるようにした が、 その他、 例えば、 3 X 3画素の平均値を算出し、 その平均値を、 3 X 3画素の 中心の画素の画素値として、 圧縮デ一夕を生成させるようにすることなども可能で ある。
次に、 図 1 0は、 図 6のローカルデコード部 2 2の構成例を示している。
圧縮部 2 1からの補正データは、 クラス分類用ブロック化回路 4 1および予測値 計算用ブロック化回路 4 2に供給されるようになされている。 クラス分類用ブロッ ク化回路 4 1は、 補正デ一夕を、 その性質に応じて所定のクラスに分類するための 単位であるクラス分類用ブロックにブロック化するようになされている。
即ち、 いま、 クラス分類用ブロック化回路 4 1は、 図 2に示す 4つの画素 X I , X2 , X3 , X4の合計 4両素で構成されるクラス分類用ブロックを構成するように なされている。 このクラス分類用ブロックは、 クラス分類適応処理回路 4 3に供給 されるようになされている。
なお、 この場合、 クラス分類用ブロックは、 4画素でなる十文字形状のブロック で構成されることとなるが、 クラス分類用ブロックの形状は、 その他、 例えば、 長 方形や、 正方形、 その他の任意な形とすることが可能である。 また、 クラス分類用 ブロックを構成する両素数も、 4凼素に限定されるものではない。
予測値計算用ブロック化回路 4 2は、 補正データを、 元の画像の予測値を計算す るための単位である予測値計算用ブロックにブロック化するようになされている。 この実施例の場合、 そのブロックはクラス分類用のブロックと同一とされ、 図 2の 画素デ一夕 X I乃至 X4により、 そのブロックが構成される。
このように、 この実施例の場合、 予測値計算用ブロック化回路 4 2は、 クラス分 類用ブロック化回路 4 1と同一の範囲をブロック化するため、 両者は共用するよう にしてもよい。
予測値計算用ブロック化回路 4 2において得られた予測値計算用ブロックは、 ク ラス分類適応処理回路 4 3に供給されるようになされている。
なお、 予測値計算用ブロックについても、 クラス分類用ブロックにおける場合と 同様に、 その画素数および形状は、 上述したものに限定されるものではない。 但 し、 予測値計算用ブロックを構成する画素数は、 クラス分類用ブロックを構成する 画素数以上とするのが望ましい。 また、 上述のようなブロック化を行う場合において （ブロック化以外の処理につ いても同様） 、 画像の画枠付近では、 対応する画素が存在しないことがあるが、 こ の場合には、 例えば、 画枠を構成する画素と同一の画素が、 その外側に存在するも のとして処理を行う。
クラス分類適応処理回路 4 3は、 A D R C (Adaptive Dynamic Range Coding
) 処理回路、 クラス分類回路 4 5、 および適応処理回路 4 6で構成され、 クラス分 類適応処理を行うようになされている。
クラス分類適応処理とは、 入力信号を、 その特徴に基づいて幾つかのクラスに分 類し、 各クラスの入力信号に、 そのクラスに適切な適応処理を施すもので、 大き く、 クラス分類処理と適応処理とに分かれている。
ここで、 クラス分類処理および適応処理について簡単に説明する。
まず、 クラス分類処理について説明する。
いま、 例えば、 図 1 1 (A) に示すように、 ある注目画素と、 それに隣接する 3 つの画素により、 2 X 2画素でなるブロック （クラス分類用ブロック） を構成し、 また、 各画素は、 1ビットで表現される （0または 1のうちのいずれかのレベルを とる） ものとする。 この場合、 2 X 2の 4画素のブロックは、 各画素のレベル分布 により、 図 1 1 ( B ) に示すように、 1 6 (= ( 2 1 ) 4 ) パターンに分類すること ができる。 このようなパターン分けが、 クラス分類処理であり、 クラス分類回路 4 5において行われる。
なお、 クラス分類処理は、 画像 （ブロック内の画像） のアクティビティ （画像の 複雑さ） （変化の激しさ） などをも考慮して行うようにすることが可能である。 ここで、 通常、 各画素には、 例えば 8ビット程度が割り当てられる。 また、 本実 施例においては、 上述したように、 クラス分類用ブロックは、 3 X 3の 9画素で構 成される。 従って、 このようなクラス分類用ブロックを対象にクラス分類処理を 行ったのでは、 （28 ) 9という膨大な数のクラスに分類されることになる。
そこで、 本実施例においては、 A D R C処理回路 4 4において、 クラス分類用ブ ロックに対して、 A D R C処理が施されるようになされており、 これにより、 クラ ス分類用ブロックを構成する画素のビット数を小さくすることで、 クラス数を削減 するようになされている。
即ち、 例えば、 いま、 説明を簡単にするため、 図 1 2 (A) に示すように、 直線 上に並んだ 4画素で構成されるブロックを考えると、 ADRC処理においては、 そ の画素値の最大値 MAXと最小値 M 1 Nが検出される。 そして、 DR=MAX— M I Nを、 ブロックの局所的なダイナミックレンジとし、 このダイナミックレンジ DRに基づいて、 ブロックを構成する画素の画素値が Kビッ卜に再量子化される。 即ち、 ブロック内の各画素値から、 最小値 M I Nを減算し、 その減算値を DRZ 2Kで除算する。 そして、 その結果得られる除算値に対応するコード （ADRC コード） に変換される。 具体的には、 例えば、 K=2とした場合、 図 1 2 (Β) に 示すように、 除算値が、 ダイナミックレンジ DRを 4 (=22) 等分して得られる いずれの範囲に属するかが判定され、 除算値が、 最も下のレベルの範囲、 ドから 2 番目のレベルの範囲、 下から 3番目のレベルの範囲、 または最も I：のレベルの範囲 に属する場合には、 それぞれ、 例えば、 00 Β, 0 1 Β, 1 ()Β、 または 1 1 Βな どの 2ビットにコード化される （Βは 2進数であることを表す） 。 そして、 復¾側 においては、 ADRCコード 00 Β, 0 113， 1 0 B、 または 1 1 Bは、 ダイナ ミックレンジ DRを 4等分して得られる最も下のレベルの範囲の中心値 L00、 下か ら 2番目のレベルの範囲の中心値 L01、 下から 3番目のレベルの範囲の中心値 L10 、 または最も上のレベルの範囲の中心値 L11に変換され、 その値に、 ί¾小値 M I N が加算されることで復号が行われる。
ここで、 このような ADRC処理はノンエッジマッチングと呼ばれる。 このよう なノンエッジマッチングに対して、 図 12 (C) に示すように、 ダイナミックレン ジ DRを 4等分して得られる最も下のレベルの範囲に属する画素値の平均値
M I N' 、 またはその最も上のレベルの範囲に属する画素値の平均値 MAX' に、 ADRCコード 00 Bまたは 1 1 Bそれぞれを変換するとともに、 MAX' —
M I N' で規定されるダイナミックレンジ DR， を等分 （3等分） するレベルに、 ADRCコード 0 1 Bと 10 Bを変換することにより、 ADRCコードの復号を行 うような ADR C処理があり、 これは、 エッジマッチングと呼ばれる。
なお、 ADRC処理については、 本件出願人が先に出願した、 例えば、 特開平 3 - 53778号公報などに、 その詳細が開示されている。
ブロックを構成する画素に割り当てられているビット数より少ないビッ卜数で再 量子化を行う ADRC処理を施すことにより、 上述したように、 クラス数を削減す ることができ、 このような ADRC処理が、 ADRC処理回路 44において行われ るようになされている。
なお、 本実施例では、 クラス分類回路 45において、 ADRC処理回路 44から 出力される ADRCコードに基づいて、 クラス分類処理が行われるが、 クラス分類 処理は、 その他、 例えば、 DP CM (予測符号化） や、 BTC (Block Truncation Codin ) 、 VQ (ベクトル量子化） 、 DCT (離散コサイン変換） 、 アダマール 変換などを施したデータを対象に行うようにすることも可能である。
次に、 適応処理について説明する。
例えば、 いま、 元の画像の画素値 yの予測値 E [y] を、 その周辺の幾つかの画 素の画素値 （以下、 適宜、 学習データという） xl , 2 , · · ·と、 所定の予測係 数 wl， w2, · · ·の線形結合により規定される線形 1次結合モデルにより求める ことを考える。 この場合、 予測値 E [y] は、 次式で表すことができる。
{·： [y ] =wl l +w2 x2 +♦ · ·
… (1) そこで、 一般化するために、 予測係数 wの集合でなる行列 W、 学習デ一夕の集合 でなる行列 X、 および予測値 E [y] の集合でなる行列 Y' を、
x 11 X 12 X In
X 21 X 22 X 2n
X =
Figure imgf000024_0001
Figure imgf000024_0002
で定義すると、 次のような観測方程式が成立する。
(2) そして、 この観測方程式に最小自乗法を適用して、 元の画像の画素値 yに近い予 測値 E [y] を求めることを考える。 この場合、 元の画像の画素値 （以下、 適宜、 教師デ一夕という） yの集合でなる行列 Y、 および元の画像の画素値 yに対する予 測値 E [y] の残差 eの集合でなる行列 Eを、
Figure imgf000024_0003
で定義すると、 式 （2) から、 次のような残差方程式が成立する。
XW=Y+E
(3) この場合、 元の画像の画素値 yに近い予測値 E [y] を求めるための予測係数 wi は、 自乗誤差 を最小にすることで求めることができる。
従って、 上述の自乗誤差を予測係数 wiで微分したものが 0になる場合、 即ち、 次 式を満たす予測係数 wiが、 元の画像の画素値 yに近い予測値 E [y] を求めるため 最適値ということになる。 de d de
e e e m = 0(i = 1,2, ·'·，η)
d w
··· (4) そこで、 まず、 式 （3) を、 予測係数 wiで微分することにより、 次式が成立す る。 de de de
=X X
i2. x (i = 1,2, ·'·，ΠΊ)
d W
(5) 式 （4) および （5) より、 式 （6) が得られる。
Figure imgf000025_0001
··· (6) さらに、 式 （3) の残差方程式における学習データ x、 予測係数 w、 教師デ一夕 y、 および残差 eの関係を考盧すると、 式 （6) から、 次のような正規方程式を得 ることができる。 )w2 + · · · + ( X χ χ1η )wn= (∑ uyi )
∑ xi2Xii ∑ xi2xi2 )w2 i2xin)wn: (∑ xi2yi )
( ∑ XinXii ) + (∑ xinxi2 )w2 inXin )Wn: ( Σ XinYi )
··· (7) 式 （7) の正規方程式は、 求めるべき予測係数 Wの数と同じ数だけたてることが でき、 従って、 式 （7) を解くことで、 最適な予測係数 wを求めることができる。 なお、 式 （7) を解くにあたっては、 例えば、 掃き出し法 （Gauss- Jordanの消去 法） などを適用することが可能である。
以上のようにして、 最適な予測係数 wを求め、 さらに、 その予測係数 wを用い、 式 （1) により、 元の画像の画素値 yに近い予測値 E [y] を求めるのが適応処理 であり、 この適応処理が、 適応処理回路 46において行われるようになされてい る。
なお、 適応処理は、 間引かれた画像には含まれていない、 元の画像に含まれる成 分が再現される点で、 補間処理とは異なる。 即ち、 適応処理では、 式 （1) だけを 見る限りは、 いわゆる補間フィル夕を用いての補間処理と同一であるが、 その補間 フィル夕のタップ係数に相当する予測係数 wが、 教師デ一夕 yを用いての、 いわば 学習により求められるため、 元の画像に含まれる成分を再現することができる。 こ のことから、 適応処理は、 いわば画像の創造作用がある処理ということができる。 次に、 図 13のフローチャートを参照して、 図 10のローカルデコード部 22の 処理について説明する。
口一カルデコード部 22においては、 まず最初に、 ステップ S 21において、 圧 縮部 2 1からの補正デ一夕がブロック化される。 即ち、 クラス分類用ブロック化回 路 41において、 補正デ一夕が、 4画素のクラス分類用ブロックにブロック化さ れ、 クラス分類適応処理回路 43に供給されるとともに、 予測値計算用ブロック化 回路 42において、 補正データが 4画素の予測値計算用ブロックにブロック化さ れ、 クラス分類適応処理回路 43に供給される。
クラス分類適応処理回路 43には、 上述したように、 クラス分類用ブロックおよ び予測値計算用ブロックの他、 元の画像デー夕が供給されるようになされており、 クラス分類用ブロックは ADRC処理部 44に、 予測値計算用ブロックおよび元の 画像デ一夕は適応処理回路 46に供給されるようになされている。
八01¾〇処理回路44は、 クラス分類用ブロックを受信すると、 ステップ S 22 において、 そのクラス分類用ブロックに対して、 例えば、 1ビットの ADRC (1 ビッ トで再量子化を行う ADRC) 処理を施し、 これにより、 補正デ一夕を、 1 ビットに変換 （符号化） して、 クラス分類回路 45に出力する。 クラス分類回路 4 5は、 ステップ S 23において、 ADRC処理が施されたクラス分類用ブロックに 対して、 クラス分類処理を施し、 そのクラス分類用ブロックが属するクラスを判定 する。 このクラスの判定結果は、 クラス情報として、 適応処理回路 46に供給され る。
なお、 本実施例においては、 R, G, Bの各成分が 1ビットの ADR C処理が施 された 4画素で構成されるクラス分類用プロックに対して、 クラス分類処理が施さ れるので、 各クラス分類用ブロックは、 4096 (= (23) 4) のクラスのうちの いずれかに分類されることになる。
そして、 ステップ S 24に進み、 適応処理回路 46において、 クラス分類回路 4 5からのクラス情報に基づいて、 各クラスごとに適応処理が施され、 これにより、 予測係数および元の画像データの予測値が算出される。
即ち、 本実施例においては、 例えば、 ある 1つの画素に注目した場合に、 その注 目画素の周りに隣接する 4個の画素でなる予測値計算用ブロックを用いて、 適応処 理が行われる。
具体的には、 例えば、 いま、 図 2に示した 4個の補正デ一夕 XI , X2, X3 , X
4でなるクラス分類用ブロックについてのクラス情報 Cが、 クラス分類回路 45から 出力され、 また、 予測値計算用ブロックとして、 4画素の補正デ一夕 XI， X2, X 3， X4でなる予測値計算用ブロックが、 予測値計算用ブロック化回路 42から出力 されたものとすると、 まず、 その予測値計算用ブロックを構成する補正データを、 学習デ一夕とするとともに、 元の画像における、 補正データ Y1を、 教師デ一夕と して、 式 （7) に示した正規方程式がたてられる。
さらに、 クラス情報 Cにクラス分類される他の予測値計算用ブロックについても 同様にして、 正規方程式がたてられ、 画素値 YR1の予測値 E [YR1] を求めるため の予測係数 wl (R) 乃至 wl2 (R) を算出することができるだけの数の正規方程 式が得られると （従って、 そのような数の正規方程式が得られるまでは、 ステップ S 24では、 正規方程式をたてる処理までが行われる） 、 その正規方程式を解くこ とで、 クラス情報 Cについて、 画素値 YR1の予測値 E [YR1] を求めるのに最適な 予測係数 wl (R) 乃至 wl2 (R) が算出される。 そして、 式 （1) に対応する次 式に従って、 予測値 E [YR1] が求められる。 YG1， YB1などについても同様で ある。
E [YR1] =wl (R) XR1+W2 (R) XGl + w3 (R) XB1 +w4 (R) XR2 + w5 (R) XG2 + w6 (R) XB2 +w7 (R) XR3+w8
(R) XG3 + w9 (R) XB3 +wU) (K) XR^ + wll (R) XG4 + \v
12 (R) XB4
E [YG1] =wl (G) XR1 + W2 (G) XGl + w3 (G) XB1 +w4 (G) XR2 + w5 (G) XG2 + W6 (G) XB2 +w7 (G) XR3 + w8 (G) XG3 + w9 (G) XB3 +wlO (G) XR4 + wll (G) XG4 + w
12 (G) XB4
E [YB1] =wl (B) XR1 + W2 (B) XGl + w3 (B) XB1 +w4 (B) XR2 + w5 (B) XG2 + W6 (B) XB2 +w7 (B) XR3+w8
(B) XG3 + w9 (B) XB3 +wl() (B) XR4 + wll (B) XG4 + w 12 (B) XB4 ステップ S 24において、 以上のようにして各画素の R， G, Bの 各成分についての予測係数が求められると、 予測値が誤差算出部 23に出力される とともに、 予測係数が判定部 24に出力され、 ステップ S 21に戻り、 以下同様の 処理が繰り返される。
次に、 図 1 4は、 図 6の誤差算出部 2 3の構成例を示している。
ブロック化回路 5 1には、 元の画像データが供給されるようになされており、 ブ ロック化回路 5 1は、 その画素データを、 ローカルデコード部 2 2から出力される 予測値に対応する画素単位でブロック化し、 その結果得られるブロックの画素 （い まの場合、 このブロックは 1個の画素 （図 2の Y 1 ) により構成される） を、 自乗 誤差算出回路 5 2に出力するようになされている。 自乗誤差算出部 5 2には、 上述 したように、 ブロック化回路 5 1から画素データが供給される他、 ローカルデコー ド部 2 2から予測値としての画素デ一夕が供給されるようになされており、 自乗誤 差算出回路 5 2は、 原画像に対する、 予測値の予測誤差としての自乗誤差を算出 し、 積算部 5 5に供給するようになされている。
即ち、 自動誤差算出回路は 5 2は、 演算器 5 3および 5 4で構成されている。 演 算器 5 3は、 ブロック化回路 5 1からのブロック化された画像デ一夕それぞれか ら、 対応する予測値を減算し、 その減算値を、 演算器 5 4に供給するようになされ ている。 演算器 5 4は、 演算器 5 3の出力 （元の画像データと予測値との差分） を 自乗し、 積算部 5 5に供給するようになされている。
積算部 5 5は、 自乗誤差算出回路 5 2から自乗誤差を受 すると、 メモリ 5 6の 記憶値を読み出し、 その記憶値と自乗誤差とを加算して、 再び、 メモリ 5 6に供給 して記憶させることを繰り返すことで、 自乗誤差の積算値 （誤差分散） を求めるよ うになされている。 さらに、 積算部 5 5は、 所定量 （例えば、 1フレーム分など） についての S乗誤差の積算が終了すると、 その積算値を、 メモリ 5 6から読み出 し、 誤差情報として、 判定部 2 4に供給するようになされている。 メモリ 5 6は、 1フレームについての処理が終了するごとに、 その記憶値をクリアしながら、 積算 部 5 5の出力値を記憶するようになされている。
次に、 その動作について、 図 1 5のフローチャートを参照して説明する。 誤差算 出部 2 3では、 まず最初に、 ステップ S 3 1において、 メモリ 5 6の記憶値が、 例 えば 0にクリアされ、 ステップ S 3 2に進み、 ブロック化回路 5 1において、 画像 データが、 上述したようにブロック化され、 その結果得られるブロックが、 自乗誤 差算出回路 5 2に供給される。 自乗誤差算出回路 5 2では、 ステップ S 3 3におい て、 ブロック化回路 5 1から供給されるブロックを構成する、 元の画像の画像デ一 夕と、 口一カルデコード部 2 2から供給される予測値との自乗誤差が算出される。 即ち、 ステップ S 3 3では、 演算器 5 3において、 ブロック化回路 5 1より供給 されたブロック化された画像データそれぞれから、 対応する予測値が減算され、 演 算器 5 4に供給される。 さらに、 ステップ S 3 3では、 演算器 5 4において、 演算 器 5 3の出力が自乗され、 積算部 5 5に供給される。
積算部 5 5は、 自乗誤差算出回路 5 2から自乗誤差を受信すると、 ステップ S 3 4において、 メモリ 5 6の記憶値を読み出し、 その記憶値と 乗誤差とを加算する ことで、 乗誤差の積算値を求める。 積算部 5 5において算出された自乗誤差の積 算値は、 メモリ 5 6に供給され、 前回の記憶値に上書きされることで記憶される。 そして、 積算部 5 5では、 ステップ S 3 5において、 所定量としての、 例えば、 1フレーム分についての自乗誤差の積算が終了したかどうかが判定される。 ステツ ブ S 3 5において、 1フレーム分についての自乗誤差の積算が終了していないと判 定された場合、 ステップ S 3 2に戻り、 再び、 ステップ S 3 2からの処理を繰り返 す。 また、 ステップ S 3 5において、 1フレーム分についての自乗誤差の積算が終 了したと判定された場合、 ステップ S 3 6に進み、 積算部 5 5は、 メモリ 5 6に記 惊された 1フレーム分についての自乗誤差の積算値を読み出し、 誤差情報として、 判定部 2 4に出力する。 そして、 ステップ S 3 1に戻り、 再び、 ステップ S 3 1か らの処理を繰り返す。
従って、 誤差算出部 2 3では、 元の画像データを Yiとするとともに、 その予測値 を E [Yi ] とするとき、 次式に従った演算が行われることで、 誤差情報 Qが算出さ れる。
Q = (∑ ( Yi ) 一 E [Yi ] ) 2
但し、 ∑は、 1フレーム分についてのサメ一シヨンを意味する。
次に、 図 1 6は、 図 6の判定部 2 4の構成例を示している。 予測係数メモリ 6 1は、 ローカルデコード部 2 2から供給される予測係数を記憶 するようになされている。 補正デ一夕メモリ 6 2は、 圧縮部 2 1から供給される補 正デ一夕を記億するようになされている。
なお、 補正データメモリ 6 2は、 圧縮部 2 1において、 圧縮デ一夕が新たに補正 され、 これにより、 新たな補正データが供給された場合には、 既に記憶している補 正デ一夕 （前回の補正データ） に代えて、 新たな補正データを記憶するようになさ れている。 また、 このように補正データが、 新たなものに更新されるタイミング で、 ローカルデコード部 2 2からは、 その新たな補正データに対応する、 新たな予 測係数のセットが出力されるが、 予測係数メモリ 6 1においても、 このように新た な予測係数が供給された場合には、 既に記憶している予測係数 （前回の予測係数） に代えて、 その新たな予測係数を記憶するようになされている。
誤差情報メモリ 6 3は、 誤差算出部 2 3から供給される誤差情報を記憶するよう になされている。 なお、 誤差情報メモリ 6 3は、 誤差算出部 2 3から、 今回供給さ れた誤差情報の他に、 前回供給された誤差情報も記憶するようになされている （新 たな誤差情報が供給されても、 さらに新たな誤差情報が供給されるまでは、 既に記 憶している誤差情報を保持するようになされている） 。 なお、 誤差情報メモリ 6 3 は、 新たなフレームについての処理が開始されるごとにクリアされるようになされ ている。
比較回路 6 4は、 誤差情報メモリ 6 3に記憶された今回の誤差情報と、 所定の閾 値 εとを比較し、 さらに、 必要に応じて、 今回の誤差情報と前回の誤差情報との比 較も行うようになされている。 比較回路 6 4における比較結果は、 制御回路 6 5に 供給されるようになされている。
制御回路 6 5は、 比較回路 6 4における比較結果に基づいて、 補正データメモリ 6 2に記憶された補正デ一夕を、 元の画像の符号化結果とすることの適正 （最適） さを判定し、 最適でないと認識 （判定） した場合には、 新たな補正デ一夕の出力を 要求する制御信号を、 圧縮部 2 1 (補正回路 3 2 ) (図 8 ) に供給するようになさ れている。 また、 制御回路 6 5は、 補正デ一夕メモリ 6 2に記憶された補正デ一夕 を、 元の画像の符号化結果とすることが最適であると認識した場合には、 予測係数 メモリ 6 1に記憶されている予測係数を読み出し、 多重化部 2 5に出力するととも に、 補正データメモリ 6 2に記憶されている補正データを読み出し、 最適圧縮デ一 夕として、 やはり多重化部 2 5に供給するようになされている。 さらに、 この場 合、 制御回路 6 5は、 1フレームの画像についての符号化を終了した旨を表す制御 信号を、 圧縮部 2 1に出力し、 これにより、 上述したように、 圧縮部 2 1に、 次の フレームについての処理を開始させるようになされている。
次に、 図 1 7を参照して、 判定部 2 4の動作について説明する。 判定部 2 4で は、 まず最初に、 ステップ S 4 1において、 誤差算出部 2 3から誤差情報を受信し たかどうかが、 比較回路 6 4によって判定され、 差情報を受信していないと判定 された場合、 ステップ S 4 1に戻る。 また、 ステップ S 4 1において、 誤差情報を 受信したと判定された場合、 即ち、 誤差情報メモリ 6 3に誤差情報が記憶された場 合、 ステップ S 4 2に進み、 比較回路 6 4において、 ^差情報メモリ 6 3に、 いま 記憶された誤差情報 （今回の誤差情報） と、 所定の閾値 ίとが比較され、 いずれが 大きいかが判定される。
ステップ S 4 2において、 今回の誤差情報が、 所定の閾値 £以上であると判定さ れた場合、 比較回路 6 4において、 誤差情報メモリ 6 3に記憶されている前回の誤 差情報が読み出される。 そして、 比較回路 6 4は、 ステップ S 4 3において、 前 tnl の誤差情報と、 今回の誤差情報とを比較し、 いずれが大きいかを判定する。
ここで、 1フレームについての処理が開始され、 最初に誤差情報が供給されたと きには、 誤差情報メモリ 6 3には、 前回の誤差情報は記憶されていないので、 この 場合には、 判定部 2 4においては、 ステップ S 4 3以降の処理は行われず、 制御回 路 6 5において、 所定の初期アドレスを出力するように、 補正回路 3 2 (図 8 ) を 制御する制御信号が出力されるようになされている。
ステップ S 4 3において、 今回の誤差情報が、 回の誤差情報以下であると判定 された場合、 即ち、 圧縮デ一夕の補正を行うことにより誤差情報が減少した場合、 ステップ S 4 4に進み、 制御回路 6 5は、 補正値△を、 前回と同様に変化させるよ うに指示する制御信号を、 補正回路 3 2に出力し、 ステップ S 4 1に戻る。 また、 ステップ S 4 3において、 今回の誤差情報が、 前回の誤差情報より大きいと判定さ れた場合、 即ち、 圧縮データの補正を行うことにより誤差情報が増加した場合、 ス テツプ S 4 5に進み、 制御回路 6 5は、 補正値△を、 前回と逆に変化させるように 指示する制御信号を、 補正回路 3 2に出力し、 ステップ S 4 1に戻る。
なお、 減少し続けていた誤差情報が、 あるタイミングで上昇するようになったと きは、 制御回路 6 5は、 補正値厶を、 いままでの場合の、 例えば 1ノ2の大きさ で、 前回と逆に変化させるように指示する制御信号を出力するようになされてい る。
そして、 ステップ S 4 1乃至 S 4 5の処理を繰り返すことにより、 誤差情報が減 少し、 これにより、 ステップ S 4 2において、 今回の誤差情報が、 所定の閾値 εよ り小さいと判定された場合、 ステップ S 4 6に進み、 制御回路 6 5は、 予測係数メ モリ 6 1に記憶されている予測係数を読み出すとともに、 補正データメモリ 6 2に 記憶されている補正データを読み出し、 多重化部 2 5に供給して、 処理を終 す る。
その後は、 次のフレームについての誤差情報が供給されるのを待って、 再び、 図 1 7に示すフローチャートに従った処理を繰り返す。
なお、 補正回路 3 2には、 圧縮デ一夕の補正は、 1フレームすべての圧縮デ一夕 について行わせるようにすることもできるし、 その一部の圧縮デ一夕についてだけ 行わせるようにすることもできる。 一部の圧縮デ一夕についてだけ補正を行う場合 においては、 制御回路 6 5に、 例えば、 誤差情報に対する影響の強い画素を検出さ せ、 そのような画素についての圧縮データだけを補正するようにすることができ る。 誤差情報に対する影響の強い画素は、 例えば、 次のようにして検出することが できる。 即ち、 まず最初に、 間引き後に残った画素についての圧縮データをそのま ま用いて処理を行うことにより、 その誤差情報を得る。 そして、 間引き後に残った 画素についての圧縮デ一夕を、 1つずつ、 同一の補正値△だけ補正するような処理 を行わせる制御信号を、 制御回路 6 5から補正回路 3 2に出力し、 その結果得られ る誤差情報を、 圧縮データをそのまま用いた場合に得られた誤差情報と比較し、 そ の差が、 所定値以上となる画素を、 誤差情報に対する影響の強い画素として検出す れぱ良い。
以上のように、 誤差情報を所定の閾値 εより小さくする （以下にする） まで、 圧 縮デ一夕の補正が繰り返され、 誤差情報が所定の閾値 εより小さくなつたときにお ける補正デ一夕が、 画像の符号化結果として出力されるので、 受信装置 4において は、 間引き後の画像を構成する画素の画素値を、 元の画像を復元するのに最も適当 な値にした補正デ一夕から， 原画像と同一 （ほぼ同一） の復号画像を得ることが可 能となる。
また、 画像は、 間引き処理により圧縮される他、 A D R C処理およびクラス分類 適応処理などによっても圧縮されるため、 非常に高圧縮率の符号化データを得るこ とができる。 なお、 送信装置 1における、 以上のような符号化処理は、 間引きによ る圧縮処理と、 クラス分類適応処理とを、 いわば有機的に統合して用いることによ り、 高能率圧縮を実現するものであり、 このことから統合符号化処理ということが できる。
次に、 図 1 8は、 図 1の受信装置 4のさらに他の構成例を示している。
受信機 再生装置 7 1においては、 記録媒体 2に記録された符号化データが再生 され、 または伝送路 3を介して伝送されてくる符号化データが受信され、 分離部 7 2に供給される。 分離部 7 2では、 符号化データが、 補正データと予測係数に分離 され、 補正デ一夕は、 クラス分類用ブロック化回路 7 3および予測値計算用ブロッ ク化回路 7 7に供給され、 予測係数は、 予測回路 7 6に供給される。
クラス分類用ブロック化回路 7 3、 八0 1¾ ( 処理回路7 4、 クラス分類回路 7 5、 または予測値計算用ブロック化回路 7 7は、 図 1 0におけるクラス分類用ブ ロック化回路 4 1、 八0尺( 処理回路4 4、 クラス分類回路 4 5、 または予測値計 算用ブロック化回路 4 2それぞれと同様に構成されており、 従って、 これらのブ ロックにおいては、 図 1 0における場合と同様の処理が行われ、 これにより、 予測 値計算用ブロック化回路 7 7からは予測値計算用ブロックが出力され、 また、 クラ ス分類回路 7 5からはクラス情報が出力される。 これらの予測値計算用ブロックお よびクラス情報は、 予測回路 7 6に供給される。
予測回路 7 6では、 クラス情報に対応した予測係数と、 予測値計算用ブロック化 回路 7 7から供給される予測値計算用ブロックを構成する補正データとを用い、 式 ( 1 ) に従って予測値が算出され、 そのような予測値で構成される 1フレームの画 像が、 復号画像として出力される。 この復号画像は、 上述したように、 元の画像と ほぼ同一の画像となる。
なお、 受信側においては、 図 1 8に示すような受信装置 4でなくても、 問引きさ れた画像を単純な補間により復号する装置により、 予測係数を用いずに、 通常の補 問を行うことで復号画像を得ることができる。 但し、 この場合に得られる復号画像 は、 画質 （解像度） の劣化したものとなる。
ところで、 上述の場合おいては、 図 6のローカルデコード部 2 2において予測係 数を求め、 これを用いて、 予測値を算出するようにしたが、 ローカルデコード部 2 2では、 予測係数を求めずに、 予測値を算出するようにすることが可能である。 即ち、 図 1 9は、 図 6の口一カルデコード部 2 2の他の構成例を示している。 な お、 図中、 図 1 0における場合と対応する部分については、 同一の符号を付してあ る。 即ち、 図 1 9の口一カルデコード部 2 2は、 適応処理回路 4 6に代えて、 了'測 係数 R O M 8 1および予測回路 8 2が設けられている他は、 図 1 0における場合と 同様に構成されている。
予測係数 R O M S 1は、 あらかじめ学習 （後述する） により求められたクラスご との予測係数を記憶しており、 クラス分類回路 4 5が出力するクラス情報を受 し、 そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、 予測回路 8 2に供給する。
予測回路 8 2では、 予測値計算用ブロック化回路 4 2からの予測値計算用ブロッ クと、 予測係数 R O M 8 1からの予測係数とを用いて、 式 （1 ) (具体的には、 例 えば、 式 （8 ) ) に示した線形 1次式が計算され、 これにより、 元の画像の予測値 が算出される。 従って、 図 19のクラス分類適応処理回路 43によれば、 元の画像を用いずに、 その予測値が算出される。
次に、 図 20は、 図 19の予測係数 ROM 8 1に記憶されている予測係数を得る ための学習を行う画像処理装置の構成例を示している。
学習用ブロック化回路 91および教師用ブロック化回路 92には、 あらゆる画像 に適用可能な予測係数を得るための （従って間引き処理が行われる前の） 学習用の 画像データ （学習用画像） が供給されるようになされている。
学習用ブロック化回路 91は、 人力される画像デ一夕から、 例えば、 4画素 （例 えば、 図 2の XI乃至 X4) を抽出し、 この 4画素で構成されるブロックを、 学習川 ブロックとして、 ADRC処理 93および学習データメモリ 96に供給する。
また、 教師用ブロック化回路 92では、 人力される画像デ一夕から、 例えば、 1 画素 （図 2の Y1) で構成されるブロックが生成され、 この 1画素で構成されるブ ロックが、 教師用ブロックとして、 教師データメモリ 98に供給される。
なお、 学習用ブロック化回路 9 1において、 f祈定の数の画素で構成される学習用 ブロックが生成されるとき、 教師用ブロック化回路 92では、 対応する両素の教師 用ブロックが生成されるようになされている。
ADRC処理回路 93は、 学習用ブロックを構成する 4画素でなるブロックに対 して、 図 19の ADRC処理回路 44における場合と同様に、 1ビットの ADRC 処理を施す。 ADRC処理の施された、 4画素のブロックは、 クラス分類回路 94 に供給される。 クラス分類回路 94では、 ADRC処理回路 93からのブロックが クラス分類され、 それにより得られるクラス情報が、 スィッチ 95の端子 aを介し て、 学習データメモリ 96および教師デ一夕メモリ 98に供給される。
学習デ一夕メモリ 96または教師データメモリ 98では、 そこに供給されるクラ ス情報に対応するアドレスに、 学習用ブロック化回路 9 1からの学習用ブロックま たは教師用ブロック化回路 92からの教師用ブロック力 それぞれ記憶される。 従って、 学習データメモリ 96において、 4画素 （図 2の XI乃至 X4) でなるブ ロックが学習用ブロックとして、 あるアドレスに記億されたとすると、 教師データ メモリ 9 8においては、 そのアドレスと同一のアドレスに、 それに対応する 1画素 (図 2の Y1 ) のブロックが、 教師用ブロックとして記憶される。
以下、 同様の処理が、 あらかじめ用意されたすベての学習用の画像について繰り 返され、 これにより、 学習用ブロックと、 図 1 9のローカルデコード部 2 2におい て、 その学習用ブロックを構成する 4画素と同一の位置関係を有する 4個の補正 データで構成される予測値計算用ブロックを用いて予測値が求められる 1個の画素 で構成される教師用ブロックとが、 学習用デ一夕メモリ 9 6と、 教師用デ一夕メモ リ 9 8とにおいて、 同一のアドレスに記憶される。 .
なお、 学習用デ一夕メモリ 9 6と教師用デ一夕メモリ 9 8においては、 同一ァド レスに複数の情報を記憶することができるようになされており、 これにより、 同一 アドレスには、 複数の学習用プロックと教師用プロックを記憶することができるよ うになされている。
学習用画像すべてについての学習用プロックと教師用プロックとが、 学習データ メモリ 9 6と教師デ一夕メモリ 9 8に記憶されると、 端子 aを選択していたスイツ チ 9 5力^ 端子 bに切り替わり、 これにより、 カウン夕 9 7の出力が、 アドレスと して、 学習データメモリ 9 6および教師デ一夕メモリ 9 8に供給される。 カウンタ 9 7は、 所定のクロックをカウントし、 そのカウン卜値を出力しており、 学習デ一 タメモリ 9 6または教師デ一夕メモリ 9 8では、 そのカウント値に対応するァドレ スに記憶された学習用ブロックまたは教師用ブロックが読み出され、 演算回路 9 9 に供給される。
従って、 演算回路 9 9には、 カウン夕 9 7のカウン卜値に対応するクラスの学習 用ブロックのセッ卜と、 教師用ブロックのセッ卜とが供給される。
演算回路 9 9は、 あるクラスについての学習用ブロックのセットと、 教師用ブ ロックのセットとを受信すると、 それらを用いて、 最小自乗法により、 誤差を最小 とする予測係数を算出する。
即ち、 例えば、 いま、 学習用ブロックを構成する画素の画素値を、 x l , x 2 , X ， · · · とし、 求めるべき予測係数を wl , w2 , w3 , · · 'とするとき、 これ らの線形 1次結合により、 教師用ブロックを構成する、 ある画素の画素値 yを求め るには、 予測係数 wl , w2 , w3, · · ·は、 次式を満たす必要がある。
y=wl xl +w2 x2 +w3 x3 + · · ·
そこで、 演算回路 9 9では、 同一クラスの学習用ブロックと、 対応する教師用ブ ロックとから、 真値 yに対する、 予測値 wl xl +w2 x2 +w3 x3 + · · ·の自 乗誤差を最小とする予測係数 wl， w2 , w3, · · ·が、 上述した式 (7) に示す 正規方程式をたてて解くことにより求められる。
演算回路 99において求められた、 クラスごとの予測係数は、 メモリ 1 0 0に供 給される。 メモリ 1 0 0には、 演算回路 9 9からの予測係数の他、 カウン夕 9 7か らカウント値が供給されており、 これにより、 メモリ 1 00においては、 演算回路 9 9からの予測係数が、 カウン夕 9 7からのカウント値に対応するアドレスに記憶 される。
以上のようにして、 メモリ 1 00には、 各クラスに対応するアドレスに、 そのク ラスのプロックの画素を予測するのに最適な予測係数が記憶される。
図 1 9の予測係数 R〇M8 1には、 以上のようにしてメモリ 1 00に記憶された 予測係数が記憶されている。
なお、 予測係数 ROM 8 1には、 各クラスに対応するアドレスに、 予測係数を記 憶させるのではなく、 教師用ブロックを構成する両素値の平均値などを記憶させる ようにすることが可能である。 この場合、 クラス情報が与えられると、 そのクラス に対応する画素値が出力されることになり、 図 1 9のローカルデコード部 2 2にお いて、 予測値計算用ブロック化回路 42および予測回路 8 2を設けずに済むように なる。
また、 図 1 9に示したように口一カルデコード部 2 2を構成する場合において は、 図 1 8に示した受信装置 4は、 受信機 再生装置 7 1の後段を、 図 1 9のクラ ス分類適応処理回路 4 3と同様に構成するようにすれば良い。
なお、 本実施例においては、 誤差情報として、 誤差の自乗和を用いるようにした 、 誤差情報としては、 その他、 例えば、 誤差の絶対値和や、 その 3乗以上したも のの和などを用いるようにすることが可能である。 いずれを誤差情報として用いる かは、 例えば、 その収束性などに基づいて決定するようにすることが可能である。 また、 本実施例では、 誤差情報が、 所定の閾値 £以下になるまで、 圧縮デ一夕の 補正を繰り返し行うようにしたが、 圧縮データの補正の回数には、 上限を設けるよ うにすることも可能である。 即ち、 例えば、 リアルタイムで画像の伝送を行う場合 などにおいては、 1フレームについての処理が、 所定の期間内に終了することが必 要であるが、 誤差情報は、 そのような所定の期間内に収束するとは限らない。 そこ で、 補正の回数に上限を設けることにより、 所定の期間内に、 誤差情報が閾値 ε以 下に収束しないときは、 そのフレームについての処理を終了し （そのときにおける 補正データを、 符号化結果とし） 、 次のフレームについての処理を開始するように することが可能である。
さらに、 本実施例においては、 1フレームの画像からブロックを構成するように したが、 ブロックは、 その他、 例えば、 時系列に連続する複数フレームにおける、 同一位置の画素から構成するようにすることも可能である。
また、 本実施例では、 圧縮部 2 1において、 画像を、 単純に間引き、 即ち、 2画 素毎に 1個の画素を抽出し、 これを圧縮デ一夕とするようにしたが、 圧縮部 2 1に は、 その他、 例えば、 ブロックを構成する複数個の画素の平均値などを求めさせ、 その平均値を、 そのブロックにおける中心画素の画素値とすることにより、 その画 素数を少なくし （間引き） 、 これを圧縮デ一夕とするようにすることも可能であ る。
図 2 1は、 この場合における送信装置 1の構成例を示している。
ブロック化回路 1 1 1には、 符号化すべき画像デ一夕が入力されるようになされ ており、 ブロック化回路 1 1 1は、 画像データを、 その性質に応じて所定のクラス に分類するための単位であるクラス分類用ブロックにブロック化し、 A D R C処理 回路 1 1 2および遅延回路 1 1 5に供給するようになされている。
A D R C処理回路 1 1 2は、 ブロック化回路 1 1 1からのブロック （クラス分類 用ブロック） に対して A D R C処理を施し、 その結果得られる A D R Cコードで構 成されるブロックを、 クラス分類回路 1 13に供給するようになされている。
この ADRC処理より、 クラス分類用ブロックを構成する画素のビッ卜数が低減 されるようになされている。
クラス分類回路 1 13は、 ADRC処理回路 1 12からのブロックを、 その性質 に応じて所定のクラスに分類するクラス分類処理を行い、 そのブロックがいずれの クラスに属するかを、 クラス情報として、 マッピング係数メモリ 1 14に供給する ようになされている。
マッピング係数メモリ 1 14は、 後述するような学習 （マッピング係数学習） に より得られるマッピング係数を、 クラス情報ごとに記憶しており、 クラス分類回路 1 13から供給されるクラス情報をアドレスとして、 そのアドレスに記憶されてい るマッピング係数を読み出し、 演算回路 1 16に供給するようになされている。 遅延回路 1 15は、 ブロック化回路 1 1 1から供給されるブロックを、 そのブ ロックのクラス情報に対応するマッピング係数が、 マッピング係数メモリ 1 14か ら読み出されるまで遅延し、 演算回路 1 16に供給するようになされている。
演算冋路 1 16は、 遅延回路 1 15から供給されるブロックを構成する画素の画 素値と、 マッピング係数メモリ 1 14から供給される、 そのブロックのクラスに対 応するマッピング係数とを用いて所定の演算を行うことにより、 画像を、 その画素 数を間引いた （少なくした） 符号化した符号化データを算出するようになされてい る。 即ち、 演算回路 1 16は、 ブロック化回路 1 1 1が出力するブロックを構成す る各画素の画素値 （元の画像の画素値） を yl , y2 , · · ' とするとともに、 マツ ビング係数メモリ 1 14が出力する、 そのブロックのクラスに対応するマッピング 係数を kl , k2, · · ' とするとき、 それらを引数とする所定の関数値 f (yl , y2, · · · , kl , k2, · · · ) を演算し、 その関数値 ί (yl , y2
, · · ·， kl , k2， · · ·） を、 ブロック化冋路 1 1 1が出力するブロック （ク ラス分類用ブロック） を構成する画素のうちの、 例えば中心の画素の画素値として 出力するようになされている。
従って、 ブロック化回路 1 1 1が出力するクラス分類用ブロックを構成する画素 数を N画素とすると、 演算回路 1 16は、 画像データを 1ZNに間引き、 これを、 符号化データとして出力するようになされている。
なお、 演算回路 1 16が出力する符号化デ一夕は、 N画素で構成されるブロック の中心の 1個の画素を選択して出力するような、 いわば単純な間引き処理により得 られるものではなく、 上述したように、 そのブロックを構成する N画素により規定 される関数値 f (yl , y2, · · · , kl , k2, · · · ) であるが、 この関数値 f (yl , y2， · · ·， kl, k2, · · · ) は、 見方を変えれば、 単純な間引き 処理により得られる、 ブロックの中心の画素の画素値を、 その周辺の画素値に基づ いて補正したものと考えることができる。 そこで、 マッピング係数と、 ブロックを 構成する画素との演算の結果得られるデータである符号化データを、 以下、 適宜、 補正データともいう。
また、 演算回路 1 16における演算処理は、 ブロック化回路 1 1 1が出力するク ラス分類用ブロックを構成する各画素の画素値を、 関数値 f (yl , y2， · · ·， kl , k2， · · ·） にマッピング （写像） する処理とも考えることができる。 そこ で、 そのような処理に用いられる係数 kl , k2， · · ·をマッピング係数と呼んで いる。
送信機 記録装置 1 1 7は、 演算回路 1 16から符号化データとして供給される 補正データを、 記録媒体 2に記録し、 または伝送路 3を介して伝送するようになさ れている。
次に、 図 22のフローチャートを参照して、 その動作について説明する。
ブロック化回路 1 1 1には、 例えば、 1フレーム （フィールド） 単位で画像デー 夕が供給されるようになされており、 ブロック化回路 1 1 1では、 ステップ S 6 1 において、 1フレームの画像が、 クラス分類用ブロックにブロック化される。 即 ち、 ブロック化回路 1 1 1は、 例えば、 5画素でなるクラス分類用ブロックに分割 し、 ADRC処理回路 1 12および遅延回路 1 1 5に供給する。
なお、 この場合、 クラス分類用ブロックは、 5画素でなる十文字形状のブロック で構成されることとなるが、 クラス分類用ブロックの形状は、 その他、 例えば、 長 方形や、 正方形、 その他の任意な形とすることが可能である。 また、 クラス分類用 ブロックを構成する画素数も、 5画素に限定されるものではない。 さらに、 クラス 分類用ブロックは、 隣接する画素どうしで構成するのではなく、 離れた画素どうし で構成するようにすることも可能である。 但し、 その形状および画素数は、 後述す る学習 （マッピング係数学習） 時における場合のものと一致している必要がある。
ADRC処理回路 1 12は、 ブロック化回路 1 1 1からクラス分類用ブロックを 受信すると、 ステップ S 62において、 そのブロックのうちの中心の画素 （図 2の Y1 ) を除く 4個の画素 （図 2の XI乃至 X4) に対して、 例えば、 1ビットの ADRC処理を施し、 これにより、 R, G, Bの各画素が、 それぞれ 1ビットで表 現される画素で構成されるブロックとする。 ADRC処理の施されたクラス分類用 ブロックは、 クラス分類回路 1 1 3に供給される。
クラス分類回路 1 13では、 ステップ S 63において、 ADRC処理回路 1 12 からのクラス分類用ブロックがクラス分類され、 その結果得られるクラス情報が、 マッピング係数メモリ 1 14に、 アドレスとして供給される。 これにより、 マツピ ング係数メモリ 1 14からは、 クラス分類回路 1 13より供給されたクラス情報に 対応するマッピング係数が読み出され、 演算回路 1 1 6に供給される。
一方、 遅延 路 1 15では、 ブロック化回路 1 1 1からのクラス分類用ブロック の 5画素デ一夕が遅延され、 そのブロックのクラス情報に対応するマツピング係数 力 マッピング係数メモリ 1 14から読み出されるのを待って、 演算器 1 16に供 給される。 演算器 1 16では、 ステップ S 64において、 遅延回路 1 15からのク ラス分類用ブロックを構成する各画素の画素値と、 マッピング係数メモリ 1 14か らのマッピング係数を用いて、 上述した関数値 ί ( · ) (この関数 f のかつこ内 の 'は、 画素値 XI , X2 , · · · と、 マッピング係数 kl， k2, · · 'の集合を 表すものとする） が演算されることにより、 クラス分類用ブロックを構成する中心 の画素 （中心画素） の画素値を補正した補正データが算出される。 いまの場合、 図 2の画素デ一夕 XI乃至 X4と画素デ一夕 Yl (X5) とから、 画素デ一夕 Yl (X 5) の位置の 1個の画素データが生成される。 また、 このブロック化は、 画素デー 夕に対して重複して行われ、 最終的に、 1 2の画素デ一夕が間引かれる。 そし て、 この処理でも、 上述したように、 Rの成分 （Gの成分もしくは Bの成分） を生 成するのに、 Rの成分 （Gの成分もしくは Bの成分） だけでなく、 Gの成分と Bの 成分 （Rの成分と Bの成分、 または Rの成分と Gの成分） が利用される。 この補正 データは、 画像を符号化した符号化デ一夕として、 送信機 Z記録装置 1 1 7に供給 される。
送信機 記録装置 1 1 7では、 ステップ S 6 5において、 演算回路 1 1 6からの 符号化データが、 記録媒体 2に記録され、 または伝送路 3を介して伝送される。 そして、 ステップ S 6 6に進み、 1フレーム分の画像デ一夕についての処理が終 了したかどうかが判定される。 ステップ S 6 6において、 1フレーム分の画像デ一 夕についての処理が、 まだ終了していないと判定された場合、 ステップ S 6 2に戻 り、 次のクラス分類用ブロックを対象に、 ステップ S 6 2以下の処理が繰り返され る。 また、 ステップ S 6 6において、 1フレーム分の画像デ一夕についての処理が 終了したと判定された場合、 ステップ S 6 1に戻り、 次のフレームを対象に、 ス テツプ S 6 1以下の処理が繰り返される。
次に、 図 2 3は、 図 2 1のマッピング係数メモリ 1 1 4に記憶されているマツピ ング係数を算出するための学習 （マッピング係数学習） 処理を行う画像処理装置の 構成例を示している。
メモリ 1 2 1には、 学習に適したディジタル画像デ一夕 （以下、 適宜、 学習用画 像という） が 1フレーム以上記憶されている。 ブロック化回路 1 2 2は、 メモリ 1 2 1に記憶されている画像データを読み出し、 図 2 1のブロック化回路 1 1 1から 出力されるクラス分類用ブロックと同一のブロックを構成して、 A D R C処理回路 1 2 3および演算回路 1 2 6に供給するようになされている。
A D R C処理回路 1 2 3またはクラス分類回路 1 2 4は、 図 2 1の A D R C処理 回路 1 1 2またはクラス分類回路 1 1 3における場合とそれぞれ同様の処理を行う ようになされている。 従って、 クラス分類回路 1 2 4からは、 ブロック化回路 1 2 2が出力するブロックのクラス情報が出力されるようになされている。 そして、 こ のクラス情報は、 マッピング係数メモリ 1 3 1に、 アドレスとして供給されるよう になされている。
演算回路 1 2 6は、 ブロック化回路 1 2 2から供給されるブロックを構成する画 素と、 マッピング係数メモリ 1 3 1から供給されるマッピング係数とを用いて、 図 2 1の演算回路 1 1 6における場合と同一の演算を行い、 その結果得られる補正 データ （関数値 f ( · ) ) を、 ローカルデコード部 1 2 7に供給するようになされ ている。
口一カルデコード部 1 2 7は、 演算回路 1 2 6から供給される補正デ一夕に基づ いて、 元の学習用画像の予測値 （ブロック化回路 1 2 2が出力するブロックを構成 する画素の画素値の予測値） を予測し （算出し） 、 誤差算出部 1 2 8に供給するよ うになされている。 誤差算出部 1 2 8は、 ローカルデコード部 1 2 7から供給され る予測値に対応する学習用画像の画素値 （真値） をメモリ 1 2 1から読み出し、 そ の学習用画像の画素値に対する、 予測値の予測誤差を算出 （検出） し、 その予測誤 差を、 誤差情報として、 判定部 1 2 9に供給するようになされている。
判定部 1 2 9は、 誤差算出部 1 2 8からの誤差情報と、 所定の閾値 ε ΐとを比較 し、 その比較結果に対応して、 マッピング係数設定回路 1 3 ()を制御するようにな されている。 マッピング係数設定回路 1 3 0は、 判定部 1 2 9の制御に従って、 ク ラス分類回路 1 2 4におけるクラス分類の結果得られるクラス数と同一の数のマツ ビング係数のセットを設定 （変更） し、 マッピング係数メモリ 1 3 1に供給するよ うになされている。
マッピング係数メモリ 1 3 1は、 マッピング係数設定回路 1 3 0から供給される マッピング係数を一時記憶するようになされている。 なお、 マッピング係数メモリ 1 3 1は、 クラス分類回路 1 2 4においてクラス分類されるクラスの数だけのマツ ビング係数 （マッピング係数のセット） を記憶することのできる記憶領域を有して おり、 各記憶領域においては、 マッピング係数設定回路 1 3 0から、 新たなマツピ ング係数が供給されると、 既に記憶しているマッピング係数に代えて、 その新たな マツピング係数が記億されるようになされている。 また、 マッピング係数メモリ 131は、 クラス分類回路 124から供給されるク ラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、 演算回路 1 26に供給するようにもなされている。
次に、 図 24のフローチャートを参照して、 その動作について説明する。
まず最初に、 マッピング係数設定回路 130は、 ステップ S 71においてマツピ ング係数の初期値のセッ卜を、 クラス分類回路 124においてクラス分類されるク ラスの数だけ設定し、 マッピング係数メモリ 1 31に供給する。 マッピング係数メ モリ 131では、 マッピング係数設定回路 130からのマッピング係数 （初期値） が、 対応するクラスのアドレスに記憶される。
そして、 ブロック化回路 122は、 ステップ S 72において、 メモリ 121に記 憶されている学習用画像すベてを、 図 21のブロック化回路 1 1 1における場合と 同様に、 5画素 （図 2の XI乃至 X4, Y1 ) のブロックにブロック化する。 さら に、 ブロック化回路 121は、 そのブロックを、 メモリ 121から読み出し、 ADRC処理回路 123および演算回路 126に順次供給する。
ADRC処理回路 123では、 ステップ S 73において、 ブロック化回路 122 からのブロックのうちの 4画素 （図 2の XI乃至 X4) に対して、 図 21の ADRC 処理回路 1 12における場合と同様に、 1ビットの ADRC処理が施され、 クラス 分類回路 124に供給される。 クラス分類回路 124では、 ステップ S 74におい て、 ADRC処理回路 123から供給されたブロックのクラスが決定され、 そのク ラス情報が、 アドレスとして、 マッピング係数メモリ 1 3 1に供給される。 これに より、 ステップ S 75において、 マッピング係数メモリ 131の、 クラス分類回路 124から供給されるクラス情報に対応するアドレスから、 マッピング係数が読み 出され、 演算回路 126に供給される。
演算回路 126は、 ブロック化回路 122からのブロックの 5画素 （図 2の XI 乃至 X4， Y1 ) を受信するとともに、 マッピング係数メモリ 13 1から、 そのブ ロックのクラスに対応するマッピング係数を受信すると、 ステップ S 76におい て、 そのマッピング係数と、 ブロック化回路 122から供給されるブロックを構成 する 5画素の画素値とを用いて、 上述の関数値 ί ( · ) を演算する。 この演算結果 は、 ブロック化回路 1 2 2から供給されるブロックの中心画素の画素値を補正した 補正データとして、 ローカルデコード部 1 2 7に供給される。
即ち、 例えば、 上述の図 2において、 X I乃至 Χ4 , Y 1のブロックが、 ブロック 化回路 1 2 2から出力されたものとすると、 演算回路 1 2 6では、 その画素値を補 正した補正データが求められ、 ローカルデコード部 2 7に出力される。
但し、 演算回路 2 6では、 ブロック化回路 1 2 2におけるブロック化が、 画素 データに対して重複して行われ、 学習用画像を構成する画素数が、 1 Z 2に問引か れ、 ローカルデコード部 2 7に供給される。
図 2 4に戻り、 ステップ S 7 6で補正デ一夕が算出された後は、 ステップ S 7 7 に進み、 メモリ 1 2 1に記憶されたすベての学習用画像についての補正データが求 められたかどうかが判定される。 ステップ S 7 7において、 すべての学習用画像に ついての補正デ一夕が、 まだ求められていないと判定された場合、 ステップ S 7 3 に戻り、 すべての学習用画像についての補正データが求められるまで、 ステップ S 7 3乃至 S 7 7の処理を繰り返す。
また、 ステップ S 7 7において、 すべての学習用画像についての補正データが求 められたと判定された場合、 即ち、 メモリ 1 2 1に記憶されたすベての学習用画像 を、 1ノ2に間引いた間引き画像が得られた場合 （但し、 この間引き画像は、 学習 用画像を、 単純に 1 2に間引いたものではなく、 マッピング係数との演算により 画素値が求められたものである） 、 ステップ S 7 8に進み、 口一カルデコード部 1 2 7において、 その間引き画像がローカルデコードされることにより、 元の学習用 画像の予測値が算出される。 この予測値は、 誤差算出部 1 2 8に供給される。
ここで、 この口一カルデコード部 1 2 7において得られる予測値で構成される画 像 （但し、 後述するように、 誤差算出部 1 2 8から出力される誤差情報が閾値 ε 1 より小さくなつたときにおけるもの） は、 受信装置 4側において得られる復号画像 と同一のものである。
誤差算出部 1 2 8では、 ステップ S 7 9において、 メモリ 1 2 1から学習用画像 が読み出され、 その学習用画像に対する、 ローカルデコード部 1 2 7から供給され る予測値の予測誤差が算出される。 即ち、 学習用画像の画素値を Υϋと表すととも に、 ローカルデコード部 1 2 7から出力される、 その予測値を Ε [Υϋ] と表すと き、 誤差算出部 1 2 8では、 次式で示される誤差分散 （誤差の自乗和） Qが算出さ れ、 これが、 誤差情報として、 判定部 1 2 9に供給される。
Q =∑ (Yij- E [Yij] ) 2
但し、 上式において、 ∑は、 学習用画像の画素すべてについてのサメ一シヨンを表 す。
判定部 1 2 9は、 誤差算出部 1 2 8から誤差情報を受信すると、 その誤差情報と 所定の閾値 ε 1とを比較し、 ステップ S 8 0において、 その大小関係を判定する。 ステップ S 8 0において、 誤差情報が閾値 £ 1以上であると判定された場合、 即 ち、 ローカルデコード部 1 2 7において得られる予測値で構成される画像が、 元の 学習用画像と同一であるとは認められない場合、 判定部 1 2 9は、 マッピング係数 設定回路 1 3 0に制御信号を出力する。 マッピング係数設定回路 1 3 0は、 ステツ プ S 8 1において、 判定部 1 2 9からの制御信号に従い、 マッピング係数を変更 し、 その変更後のマッピング係数を、 マッピング係数メモリ 1 3 1に新たに記憶さ せる。
そして、 ステップ S 7 3に戻り、 マッピング係数メモリ 1 3 1に記億された、 変 更後のマッピング係数を用いて、 再び、 ステップ S 7 3以下の処理が繰り返され る。
ここで、 マッピング係数設定回路 1 3 0における、 マッピング係数の変更は、 ラ ンダムに行っても良いし、 また、 今回の誤差情報が、 前回の誤差情報より小さく なった場合には、 前回と同様の傾向で変化させ、 今回の誤差情報が、 前回の誤差情 報より大きくなつた場合には、 前回と逆の傾向で変化させるようにすることもでき る。
さらに、 マッピング係数の変更は、 すべてのクラスについて行うようにすること もできるし、 その一部のクラスについてだけ行うようにすることもできる。 一部の クラスについてのマッピング係数だけの変更を行う場合においては、 例えば、 誤差 情報に対する影響の強いクラスを検出させ、 そのようなクラスについてのマツピン グ係数だけを変更するようにすることができる。 誤差情報に対する影響の強いクラ スは、 例えば、 次のようにして検出することができる。 即ち、 まず最初に、 マツピ ング係数の初期値を用いて処理を行うことにより、 その誤差情報を得る。 そして、 マッピング係数を、 1クラスごとに同一の量だけ変化させ、 その結果得られる誤差 情報を、 初期値を用いた場合に得られた誤差情報と比較し、 その差が、 所定値以上 となるクラスを、 誤差情報に対する影響の強いクラスとして検出すれば良い。 また、 マッピング係数が、 上述した k l， k 2 , · · 'のように複数で 1セット とされている場合には、 その中の誤差情報に対する影響の強いものだけを変更させ るようにすることもできる。
さらに、 上述の場合においては、 マッピング係数を、 クラスごとに設定するよう にしたが、 マッピング係数は、 その他、 例えば、 ブロックごとに独立して設定した り、 また、 近接するブロック単位などで設定したりするようにすることが可能であ る。
但し、 マッピング係数を、 例えば、 ブロックごとに独立して設定するようにした 場合などにおいては、 ある 1つのクラスに対して、 複数セットのマッピング係数が 得られることがある （この逆に、 マッピング係数が、 1セットも得られないクラス が生じることもある） 。 マッピング係数は、 最終的には、 クラスごとに決める必要 があるため、 上述のように、 あるクラスに対して、 複数セットのマッピング係数が 得られた場合には、 複数セットのマッピング係数を対象に、 何らかの処理を行うこ とで、 1セッ卜のマッピング係数を決める必要がある。
一方、 ステップ S 8 0において、 誤差情報が閾値 ε 1より小さいと判定された場 合、 即ち、 ローカルデコード部 1 2 7において得られる予測値で構成される画像 が、 元の学習用画像と同一であると認められる場合、 処理を終了する。
この時点で、 マッピング係数メモリ 1 3 1に記憶されている、 クラスごとのマツ ビング係数が、 もとの画像と同一と認められる復号画像 （予測値） を復元すること ができる補正デ一夕を得るために最適なものとして、 図 2 1のマッピング係数メモ リ 1 1 4にセッ卜されている。
従って、 このようなマッピング係数を用いて補正データを生成することで、 受信 装置 4側においては、 元の画像とほぼ同一の画像を得ることが可能となる。
なお、 図 2 3の実施例においては、 上述したように、 ブロック化回路 1 2 2にお いて、 画像が 4画素にブロック化され、 また、 A D R C処理回路 1 2 3において、 1ビッ卜の A D R C処理が行われるので、 クラス分類回路 1 2 4によるクラス分類 により得られるクラス数は 4 0 9 6であり、 従って、 4 0 9 6セットのマッピング 係数が得られる。
次に、 図 2 5は、 図 2 3のローカルデコード部 1 2 7の構成例を示している。 演算回路 1 2 6からの補正デ一夕は、 クラス分類用ブロック化回路 1 4 1および 予測値計算用ブロック化回路 1 4 2に供給されるようになされている。 クラス分類 用ブロック化回路 1 4 1は、 補正データを、 その性質に応じて所定のクラスに分類 するための単位であるクラス分類用ブロックにブロック化するようになされてい る。
なお、 図 2 5のクラス分類用ブロック化回路 1 4 1において得られるクラス分類 用ブロックは、 予測値を求めるブロックのクラスを決定するために構成されるもの であり、 この点で、 補正デ一夕を算出するブロックのクラスを決定するために、 図 2 1のブロック化回路 1 1 1で生成されるものとは異なる。
予測値計算用ブロック化回路 1 4 2は、 補正データを、 元の画像 （ここでは、 学 習用画像） の予測値を計算するための単位である予測値計算用プロックにプロック 化するようになされている。
予測値計算用ブロック化回路 1 4 2において得られた予測値計算用ブロックは、 予測回路 1 4 6に供給されるようになされている。
なお、 予測値計算用ブロックについても、 クラス分類用ブロックにおける場合と 同様に、 その画素数および形状は、 上述したものに限定されるものではない。 但 し、 ローカルデコード部 1 2 7において、 予測値計算用ブロックを構成する画素数 は、 クラス分類用プロックを構成する画素数よりも多くするのが望ましい。
また、 上述のようなブロック化を行う場合において （ブロック化以外の処理につ いても同様） 、 画像の画枠付近では、 対応する画素が存在しないことがあるが、 こ の場合には、 例えば、 画枠を構成する画素と同一の画素が、 その外側に存在するも のとして処理を行う。
ADRC処理回路 143は、 クラス分類用ブロック化回路 141が出力するブ ロック （クラス分類用ブロック） を対象に、 例えば、 1ビットの ADRC処理を施 し、 クラス分類回路 144に供給するようになされている。 クラス分類回路 144 は、 ADRC処理回路 143からのブロックをクラス分類し、 その分類結果として のクラス情報を、 予測係数 ROM 145に供給するようになされている。 予測係数 ROM 145は、 予測係数を記憶しており、 クラス分類回路 144からクラス情報 を受信すると、 そのクラス情報に対応するアドレスに記憶されている予測係数を読 み出し、 予測回路 146に供給するようになされている。 なお、 予測係数 ROM 1 45に記憶されている予測係数は、 後述する学習 （予測係数学習） により得られた ものである。
予測回路 146は、 予測値計算用ブロック化回路 142からの予測値計算用ブ ロックと、 予測係数 ROM 145からの予測係数とを用いて、 元の画像 （学習用画 像） の予測値を算出 （予測） するようになされている。
次に、 図 26のフローチャートを参照して、 その動作について説明する。
ローカルデコード部 127においては、 まず最初に、 ステップ S 9 1において、 演算回路 1 26からの補正データが順次受信されてブロック化される。 即ち、 クラ ス分類用ブロック化回路 141において、 補正デ一夕が、 4画素 （図 2の XI乃至 X4) のクラス分類用ブロックにブロック化され、 ADRC処理回路 143に供給 されるとともに、 予測値計算用ブロック化回路 142において、 補正データが 4画 素の予測値計算用ブロックにブロック化され、 予測回路 146に供給される。 なお、 クラス分類用ブロック化回路 14 1と予測値計算用ブロック化回路 142 では、 対応するクラス分類用プロックと予測値計算用プロックが生成される。 AD RC処理回路 143は、 クラス分類用ブロックを受信すると、 ステップ S 9 2において、 そのクラス分類用ブロックに対して、 例えば、 1ビットの ADRC (1ビットで再量子化を行う ADRC) 処理を施し、 これにより、 補正デ一夕を、 1ビットに変換 （符号化） して、 クラス分類回路 144に出力する。 クラス分類回 路 144は、 ステップ S 93において、 ADRC処理が施されたクラス分類用ブ ロックに対して、 クラス分類処理を施し、 そのクラス分類用ブロックが属するクラ スを判定する。 このクラスの判定結果は、 クラス情報として、 予測係数 ROM14 5に供給される。
なお、 図 25の実施例においては、 R， G， Bの各成分がそれぞれ 1ビットの ADRC処理が施された 4画素で構成されるクラス分類用ブロックに対して、 クラ ス分類処理が施されるので、 各クラス分類用ブロックは、 4096 (=212) のク ラスのうちのいずれかに分類されることになる。
そして、 ステップ S 94に進み、 予測係数 ROM 145の、 クラス分類回路 14 4からのクラス情報に対応するアドレスから予測係数が読み出され、 ステップ S 9 5において、 予測回路 146は、 その予測係数と、 予測値計算用ブロック化回路 1 42からの予測値計算用ブロックを構成する 4個の画素値とを用い、 例えば、 次の ような線形 1次式に従って、 元の画像の画素値 yの予測値 E [y] を算出する。
E [y] =wl xl +w2 x2 + · · ·
但し、 wl， w2, · · 'は予測係数を表し、 xl , x2, · ♦ 'は予測値計算用ブ ロックを構成する画素の画素値 （補正データ） を表す。 但し、 xl , χ2 , · . · は、 それぞれ R， G, Bの成分を有し、 wl , w2 , · · · も、 R, G, B用の係数 で構成される。
ここで、 図 25の実施例においては、 上述したように、 予測値計算用ブロックを 構成する 4画素から、 1画素の予測値が算出されるようになされている。
即ち、 例えば、 いま、 図 2に示した補正デ一夕 XI乃至 X4でなるクラス分類用ブ ロックについてのクラス情報 Cが、 クラス分類回路 144から出力され、 また、 予 測値計算用ブロックとして、 XI乃至 X4でなる予測値計算用ブロックが、 予測値計 算用ブロック化回路 142から出力されたものとする。
さらに、 予測係数 ROM 145には、 クラス情報 Cに対応するアドレスに、 予測 係数のセットとして、 wl (R) 乃至 wl2 (R) 、 wl (G) 乃至 wl2 (G) 、 wl (B) 乃至 wl2 (B) が記憶されているものとすると、 これにより、 上述した場合 と同様に、 例えば各画素の各成分 YRi， YGi， YBiの予測値 E [YRi] ， E [YGi ] , E [YBi] が算出される。
ステップ S 94において、 以上のようにして予測値が求められると、 ステップ S 91に戻り、 以下、 ステップ S 91乃至 S 94の処理が繰り返され、 これにより、 4画素単位で予測値が求められていく。
図 25の予測係数 ROM 145に記億されている予測係数を得るための学習 （予 測係数学習） を行う画像処理装置は、 図 20に示した場合と同様の構成となる。 そ こで、 この説明は省略する。
次に、 図 27は、 図 21のマッピング係数メモリ 1 14に記憶されているマツピ ング係数を算出するための学習 （マッピング係数学習） 処理を行う画像処理装置の 他の構成例を示している。
なお、 図 23の画像処理装置によれば、 関数 fが、 例えば、 線形 1次式で表され る場合の他、 非線形な式や、 2次以上の式で表される場合も、 最適な予測係数を求 めることができるが、 図 27の画像処理装置では、 関数 fが、 線形 1次式で表され る場合にのみ、 最適な予測係数を求めることができるようになされている。
即ち、 図 27の画像処理装置は、 図 21において、 ブロック化回路 1 1 1が出力 するブロックを構成する 4画素 （図 2の XI， X2 , X3 , X4 ) の画素値を yl , y2 , y3 , y4 (それぞれが、 R, G， B成分を有する） とするとともに、 マツピ ング係数メモリ 1 14が出力するマッピング係数を kl , k2 , k3， k4 (それぞ れが、 R, G, B成分を有する） とする場合において、 演算回路 1 16力 次式に 従って関数値 ί (yl , y2, · · · , kl , k2, · · · ) を演算して補正デ一夕 を求めるようになされているときに用いることができる。
f ( - ) =kl yl +k2 y2 + k3 y3 + k4 y4 最適補正デ一夕算出部 1 7 0には、 学習に適した学習用画像が、 例えば、 1フ レーム単位などで供給されるようになされている。 最適補正データ算出部 1 7 0 は、 圧縮部 1 7 1、 補正部 1 7 2、 口一カルデコード部 1 7 3、 誤差算出部 1 7 4、 および判定部 1 7 5で構成され、 そこに入力される学習用画像から、 その画素 数を少なくして圧縮した画像であって、 元の画像を予測するのに最適な画像を構成 する画素値 （以下、 適宜、 最適補正データという） を算出し、 ラッチ回路 1 7 6に 供給するようになされている。
即ち、 最適補正データ算出部 1 7 0に供給された学習用画像は、 圧縮部 1 7 1お よび誤差算出部 1 7 4に供給されるようになされている。 圧縮部 1 7 1は、 図 2 1 の演算回路 1 1 6が画素を間引く割合と同一の割合で、 学習用画像を単純に問引 き、 即ち、 本実施例においては、 学習用画像を 1 Z 2に単純に間引き、 これにより 学習用画像を圧縮して補正部 1 7 2に供給するようになされている。
補正部 1 7 2は、 圧縮部 1 7 1から供給される、 単純な間引きが行われて圧縮さ れたデ一夕 （以下、 適宜、 圧縮デ一夕という） を、 判定部 1 7 5からの制御に従つ て補正するようになされている。 補正部 1 7 2における補正の結果得られるデータ (このデータも、 図 2 1の演算回路 1 1 6の出力と同様に、 5画素のブロックの中 心画素の画素値を補正したものであるので、 以下、 適宜、 補正データという） は、 口一カルデコード部 1 7 3に供給するようになされている。
ローカルデコード部 1 7 3は、 図 2 3の口一カルデコード部 1 2 7における場合 と同様にして、 補正部 1 7 2からの補正デ一夕に基づいて、 元の画像 （学習用画 像） を予測し、 その予測値を、 誤差算出部 1 7 4に供給するようになされている。 誤差算出部 1 7 4は、 図 2 3の誤差算出部 1 2 8における場合と同様にして、 そ こに入力される、 元の画像データに対する、 口一カルデコード部 1 7 3からの予測 値の予測誤差を算出するようになされている。 この予測誤差は、 誤差情報として、 判定部 1 Ί 5に供給されるようになされている。
判定部 1 7 5は、 誤差算出部 1 7 4からの誤差情報に基づいて、 補正部 1 7 2力 出力した補正デ一夕を、 元の画像の圧縮結果とすることの適正さを判定するように なされている。 そして、 判定部 1 7 5は、 補正部 1 7 2が出力した補正デ一夕を、 元の画像の圧縮結果とすることが適正でないと判定した場合には、 補正部 1 7 2を 制御し、 さらに、 圧縮デ一夕を補正させ、 その結果得られる新たな補正デ一夕を出 力させるようになされている。 また、 判定部 1 7 5は、 補正部 1 7 2が出力した補 正データを、 元の画像の圧縮結果とすることが適正であると判定した場合には、 補 正部 1 7 2から供給された補正データを、 最適補正データとして、 ラッチ回路 1 7 6に供給するようになされている。
ラッチ回路 1 7 6は、 メモリ 1 7 6 Λを内蔵しており、 そのメモリ 1 7 6 Aに、 補正部 1 7 2から供給される最適補正データを記憶させるようになされている。 さ らに、 ラッチ回路 1 7 6は、 メモリ 1 7 6 Aに記憶された最適補正デ一夕のうち、 ブロック化回路 1 Ί 7のメモリ 1 7 7 Aから読み出されるブロックの中心画素に対 応するものを読み出し、 メモリ 1 8 0に供給するようになされている。 なお、 ラッ チ回路 1 7 6は、 メモリ 1 7 6 Aに、 1フレーム分の補正デ一夕が記憶されると、 その旨を示す制御信号を、 ブロック化回路 1 7 7に出力するようになされている。 ブロック化回路 1 7 7には、 最適補正データ算出部 1 7 0と同様に、 学習用幽-像 が 1フレーム単位で供給されるようになされている。 ブロック化回路 1 7 7は、 メ モリ 1 7 7 Aを内蔵しており、 そのメモリ 1 7 7 Λに、 そこに供給される学習用画 像を記憶させるようになされている。 また、 ブロック化回路 1 7 7は、 ラッチ回路
1 7 6から制御信号を受信すると、 メモリ 1 7 7 Aに記憶された学習用両像を、 図 2 1のブロック化回路 1 1 1における場合と同様に、 5画素で構成されるブロック に分割し、 そのブロックを順次読み出して、 A D R C処理回路 1 7 8およびメモリ
1 8 0に供給するようになされている。
なお、 ブロック化回路 1 7 7は、 その内蔵するメモリ 1 7 7 Aからブロックを読 み出すときに、 そのブロックの位置を示す制御信号を、 ラッチ回路 1 7 6に供給す るようになされている。 ラッチ回路 1 7 6では、 この制御信号に基づいて、 メモリ 1 7 7 Λから読み出される 5画素のブロックが認識され、 上述したように、 そのブ ロックの中心画素に対応する最適補正データが、 メモリ 1 7 6 Aから読み出される ようになされている。 即ち、 これにより、 メモリ 1 8 0に対しては、 ある 5画素の ブロックと、 そのブロックに対応する最適補正デ一夕とが同時に供給されるように なされている。
A D R C処理回路 1 Ί 8またはクラス分類回路 1 7 9は、 図 2 1の A D R C処理 回路 1 1 2またはクラス分類回路 1 1 3とそれぞれ同様に構成されている。 そし て、 クラス分類回路 1 7 9が出力する、 ブロック化回路 1 7 7からのブロックにつ いてのクラス情報は、 メモリ 1 8 0に対して、 アドレスとして供給されるようにな されている。
メモリ 1 8 0は、 クラス分類回路 1 7 9から供給されるクラス情報に対応するァ ドレスに、 ラッチ回路 1 7 6から供給される最適補正データと、 ブロック化回路 1 7 7から供給されるブロックとを対応付けて記憶するようになされている。 なお、 メモリ 1 8 0は、 1つのアドレスに複数の情報を記憶することができるようになさ れており、 これにより、 あるクラス情報に対応する最適補正デ一夕およびブロック を、 複数セッ卜記憶することができるようになされている。
演算回路 1 8 1は、 メモリ 1 8 0に記憶された、 学習用両像の 5画素のブロック を構成する 5画素 y l， y 2 , y 3 , y 4 , y 5と、 そのブロックに対応付けられて いる最適補正データ y ' とを読み出し、 これらに最小自乗法を適用することで、 ク ラスごとに、 マッピング係数 k l乃至 k 5を求め、 メモリ 1 8 2に供給するようにな されている。 メモリ 1 8 2は、 演算回路 1 8 1から供給されるクラスごとのマツピ ング係数 k l乃至 k 5を、 そのクラスに対応したアドレスに記憶するようになされて いる。
次に、 図 2 8のフローチャートを参照して、 その動作について説明する。
学習用画像が入力されると、 その学習用画像は、 ブロック化回路 1 7 7のメモリ 1 7 7 Aに記億されるとともに、 最適補正デ一夕算出部 1 7 0に供給される。 最適 補正データ算出部 1 7 0は、 学習用画像を受信すると、 ステップ S 1 0 1におい て、 その学習用画像についての最適補正デ一夕を算出する。
このステップ S 1 0 1の処理は、 図 7のフ口一チヤ一卜の処理と同様である。 す なわち、 まず、 圧縮部 1 7 1が、 ステップ S 1において、 学習用画像を、 1ノ 2に 間引くことにより圧縮デ一夕を生成し、 補正部 1 7 2を介して、 即ち、 最初は、 補 正を行わずに、 ローカルデコード部 1 7 3に出力する。 ローカルデコード部 1 7 3 では、 ステップ S 2において、 補正部 1 7 2からの補正デ一夕 （最初は、 上述した ように、 画像データを、 単純に間引いた圧縮デ一夕そのもの） に基づいて、 元の画 像の予測値が算出される （ローカルデコードが行われる） 。 この予測値は、 誤差算 出部 1 7 4に供給される。
誤差算出部 1 7 4は、 ローカルデコード部 1 Ί 3から、 元の画像の予測値を受信 すると、 ステップ S 3において、 元の画像データに対する、 ローカルデコード部 1 7 3からの予測値の予測誤差を算出し、 誤差情報として、 判定部 1 7 5に供給す る。 判定部 1 7 5は、 誤差算出部 1 7 4から誤差情報を受信すると、 ステップ S 4 において、 その誤差情報に基づいて、 補正部 1 7 2が出力した補正データを、 元の 画像の圧縮結果とすることの適正さを判定する。
即ち、 ステップ S 4においては、 誤差情報が所定の閾値 ε以下であるかどうかが 判定される。 ステップ S 4において、 誤差情報が所定の閾値 ε以ドでないと判定さ れた場合、 補正部 1 7 2が出力した補正データを、 元の画像の圧縮結果とするのは 適正でないと認識され、 ステップ S 5に進み、 判定部 1 7 5は、 補正部 1 7 2を制 御し、 これにより、 圧縮部 1 7 1から出力された 縮データを補正させる。 補正部 1 7 2は、 判定部 1 7 5の制御に従って、 補正量 （補正値△) を変えて、 圧縮デー 夕を補正し、 その結果得られる補正デ一夕を、 ローカルデコード部 1 7 3に出力す る。 そして、 ステップ S 2に戻り、 以下、 问様の処理が繰り返される。
なお、 圧縮データの補正は、 例えば、 上述の図 2 3で説明した、 マッピング係数 の変更と同様にして行うことが可能である。
一方、 ステップ S 4において、 誤差情報が所定の閾値 以下であると判定された 場合、 補正部 1 7 2が出力した補正データを、 元の両像の圧縮結果とするのは適正 であると認識され、 判定部 1 7 5は、 所定の閾値 ε以下の誤差情報が得られたとき の補正デ一夕を、 最適補正データとして、 補正部 1 7 2からラッチ回路 1 7 6に出 力させ、 その内蔵するメモリ 1 7 6 Aに記憶させて、 リターンする。
以上のようにして、 誤差情報が所定の閾値 ε以下となったときにおける、 圧縮 デ一夕を補正した補正データが、 最適補正デ一夕として、 メモリ 1 7 6 Αに記憶さ せる。 なお、 この最適補正デ一夕は、 誤差情報を所定の閾値 £以下とするものであ るから、 これを用いて、 予測値を算出することにより、 元の画像 （原画像） とほぼ 同一の画像を得ることができる。
図 2 8に戻り、 ラッチ回路 1 7 6は、 そのメモリ 1 7 6 Αに、 1フレーム分の最 適補正データを記憶すると、 制御信号を、 ブロック化回路 1 7 7に出力する。 ブ ロック化回路 1 7 7は、 ラッチ回路 1 7 6から制御信号を受信すると、 ステップ S 1 0 2において、 メモリ 1 7 7 Aに記憶された学習用画像を、 5画素で構成される ブロックに分割する。 そして、 ブロック化回路 1 7 7は、 メモリ 1 7 7 Aに記憶さ れた学習用画像のブロックを読み出して、 A D R C処理回路 1 7 8およびメモリ 1 8 0に供給する。
また、 同時に、 ブロック化回路 1 7 7は、 メモリ 1 7 7 Λからブロックを読み出 すときに、 そのブロックの位置を示す制御信号を、 ラッチ回路 1 7 6に供給し、 ラッチ回路 1 7 6は、 その制御信号に対応して、 メモリ 1 7 7 Aから読み出された 5画素のブロックを認識し、 そのブロックの中心画素に対応する最適補正デ一夕を 読み出して、 メモリ 1 8 0に供給する。
そして、 ステップ S 1 0 3に進み、 A D R C処理回路 1 7 8において、 ブロック 化回路 1 7 7からのブロックが A D R C処理され、 さらに、 クラス分類回路 1 7 9 において、 そのブロックがクラス分類される。 このクラス分類結果は、 アドレスと して、 メモリ 1 8 0に供給される。
メモリ 1 8 0では、 ステップ S 1 0 4において、 クラス分類回路 1 7 9から供給 されるクラス情報に対応するアドレスに、 ラッチ回路 1 7 6から供給される最適補 正デ一夕と、 ブロック化回路 1 7 7から供給されるブロック （学習データ） とが対 応付けられて記憶される。
そして、 ステップ S 1 0 5に進み、 メモリ 1 8 0に、 1フレーム分のブロックお よび最適補正デ一夕が記憶されたかどうかが判定される。 ステップ S 1 0 5におい て、 メモリ 1 8 0に、 1フレーム分のブロックおよび最適補正データが、 まだ記憶 されていないと判定された場合、 ブロック化回路 1 7 7から次のブロックが読み出 されるとともに、 ラッチ回路 1 7 6からそのブロックに対応する最適補正データが 読み出され、 ステップ S 1 0 3に戻り、 以下、 ステップ S 1 0 3以降の処理を繰り 返す。
また、 ステップ S 1 0 5において、 メモリ 1 8 0に、 1フレーム分のブロックお よび最適補正データが記憶されたと判定された場合、 ステップ S 1 0 6に進み、 学 習用画像すべてについて処理が終了したかどうかが判定される。 ステップ S 1 0 6 において、 学習用画像すべてについての処理が、 まだ終了していないと判定された 場合、 ステップ S 1 0 1に戻り、 次の学習用両像について、 ステップ S 1 () 1から の処理が繰り返される。
一方、 ステップ S 1 0 6において、 学習用画像すべてについての処理が終了した と判定された場合、 ステップ S 1 0 7に進み、 演算回路 1 8 1は、 メモリ 1 8 0に 記憶された最適補正デ一夕とブロックとを、 クラスごとに読み出し、 これらによ り、 式 （7 ) に示したような正規方程式をたてる。 さらに、 演算问路 1 8 1は、 ス テツプ S 1 0 8において、 その正規方程式を解くことで、 誤差を最小にする、 クラ スごとのマッピング係数を算出する。 このマッピング係数は、 ステップ S 1 () 9に おいて、 メモリ 1 2に供給されて記憶され、 処理を終 する。
関数 f が、 線形 1次式で表される場合においては、 以上のようにしてメモリ 1 8
2に記億されたマッピング係数を、 図 2 1のマッピング係数メモリ 1 1 4に記憶さ せ、 これを用いて画像の符号化を行うことができる。
なお、 クラスによっては、 マッピング係数を求めることができるだけの数の正規 方程式が得られない場合がある。 このような場合は、 図 2 1の演算回路 1 1 6にお いて、 ブロック化回路 1 1 1から出力されるブロックを構成する 5画素の、 例えば 平均値などが出力されるようなマッピング係数、 即ち、 k l乃至 k 5 = l / 5など が、 デフオル卜の値として設定される。 次に、 図 29は、 図 21の送信装置に対応する受信装置 4の構成例を示してい る。
受信機 再生装置 19 1においては、 記録媒体 2に記録された符号化データが再 生され、 または伝送路 3を介して伝送されてくる符号化デ一夕が受信され、 デコー ド部 192に供給される。
デコード部 192は、 図 25に示したローカルデコード部 127におけるクラス 分類用ブロック化回路 141乃至予測回路 146にそれぞれ対応するクラス分類用 ブロック化回路 193乃至予測回路 198で構成されており、 従って、 デコード部 192では、 図 25のローカルデコード部 127における場合と同様にして、 補正 デ一夕から予測値が求められ、 この予測値で構成される画像が復号画像として出力 される。
補正データは、 誤差情報を所定の閾値以下とするものであり、 従って、 受信装置 4においては、 元の画像とほぼ同一の画像を得ることができる。
なお、 受信側においては、 図 29に示すような受信装置 4でなくても、 問引きさ れた画像を補間により復号する装置により、 通常の補間を行うことで復号画像を得 ることができる。 但し、 この場合に得られる復号画像は、 画質 （解像度） の劣化し たものとなる。
以上においては、 R, G, Bのコンポーネント成分を用いて画素デ一夕を表現す るようにしたが、 コンポーネント信号としては、 この他、 それぞれ次の式で表され る輝度信号 Y、 色信号 I、 および色信号 Qの組み合わせ、 輝度信号 Υ、 色差信号 R — Υ、 および色差信号 Β—Υの組み合わせ、 または、 主に印刷の分野において用い られている C (シアン） 、 Μ (マゼンダ） 、 Υ (イエロ一） 、 さらに必要に応じて 加えられる Κ (ブラック） の組み合わせを用いることができる。
Figure imgf000059_0001
Q=0. 21 R- 0. 52 G+ 0. 31 B
R- Y= 0. 7 R- 0. 59G— 0. 1 1 B B-Y = - 0. 3 R- 0. 59G+0. 89 B
C=25 δ-R
M=25 δ -G
Y= 255— B
但し、 C, M, Rは、 R, G, Bをそれぞれ 8ビットとする加法混色で表現されて いる。 発明の効果
以上の如く、 請求の範囲 1に記載の画像処理装置および請求項 5に記載の画像処 理方法によれば、 第 2の画像の第 1のコンポーネント信号を、 第 1の画像の第 1の コンポーネント信号と第 2のコンポーネント信^から予測し、 また、 第 2の画像の 第 2のコンポ一ネン卜信号を、 第 1の画像の第 1のコンポーネント信号と第 2のコ ンポーネン卜信号とから予測するようにしたので、 効率的に高精度に予測処理を行 うことが可能となる。
また、 請求の範囲 6に記載の画像符号化装置および請求の範囲 1 ()に記載の画像 符号化方法によれば、 色空間上のべクトルで表した複数の画素データを含む予測 デ一夕を用いて、 画像を予測するようにしたので、 効率的に画像を符号化すること ができるとともに、 高精度で画像を復号化することができるように、 画像を符号化 することが可能となる。 産業上の利用可能性
以上のように、 本発明にかかる、 画像処理装置および方法、 並びに画像符号化装 置および方法は、 特に、 効率よく、 かつ、 精度良く、 予測を行うようにした画像処 理装置および方法、 並びに画像符号化装置および方法に用いるのに適している。

Claims

請 求 の 範 囲
1 . それぞれが複数のコンポーネント信号により構成されている画素デ一夕か らなる空間解像度の低い第 1の画像から、 空間解像度のより高い第 2の画像を生成 する画像処理装置において、
前記第 1の画像の第 1の画素データを取得する取得手段と、
前記第 1の画素デ一夕を構成する前記コンポ一ネン卜信号のうちの、 少なくとも 第 1のコンポ一ネン卜信号と第 2のコンポーネン卜信号を用いて、 前記第 2の画像 の第 2の画素デ一夕を構成する第 1のコンポ一ネン卜信号を予測するとともに、 前 記第 1の画素データを構成する前記コンポ一ネント信号のうちの、 少なくとも前記 第 1のコンポーネント信号と第 2のコンポーネント信号を用いて、 前記第 2の両像 の第 2の画素デ一夕を構成する第 2のコンポーネント信号を予測する予測手段と を備えることを特徴とする画像処理装置。
2 . 前記第 1の画素デ一夕をクラスに分類するクラス分類手段と、
前記クラスに対応する予測デー夕を記憶する記憶手段と
をさらに備え、
前記予測手段は、 前記予測データを用いて前記予測を行う
ことを特徴とする請求の範囲 1に記載の画像処理装置。
3 . 前記画素デ一夕は、 3つの前記コンポーネント信号により構成されている ことを特徴とする請求の範囲 1に記載の画像処理装置。
4. 前記コンポーネント信号は、 R , G , B信号である
ことを特徴とする請求の範囲 3に記載の画像処理装置。
5 . それぞれが複数のコンポーネン卜信号により構成されている画素データからな る空間解像度の低い第 1の画像から、 空間解像度のより高い第 2の画像を生成する 画像処理方法において、
前記第 1の画像の第 1の画素データを取得する取得ステップと、
前記第 1の画素データを構成する前記コンポーネン卜信号のうちの、 少なくとも 第 1のコンポーネント信号と第 2のコンポ一ネン卜信号を用いて、 前記第 2の画像 の第 2の画素データを構成する第 1のコンポーネント信号を予測するとともに、 前 記第 1の画素データを構成する前記コンポーネント信号のうちの、 少なくとも前記 第 1のコンポーネント信号と第 2のコンポーネント信号を用いて、 前記第 2の画像 の第 2の画素データを構成する第 2のコンポ一ネン卜信号を予測する予測ステップ と
を備えることを特徴とする画像処理方法。
6 . 色空間上のべクトルで表した複数の画素データを少なくすることにより圧縮す る圧縮手段と、
圧縮した前記画素デ一夕のクラスを分類する分類手段と、
前記クラスに対応する、 前記色空間上のベクトルで表される前記画素デ一夕を含 む予測デ一夕を記憶する記憶手段と、
前記予測デ一夕を用いて、 画像を予測する予測手段と
を備えることを特徴とする画像符号化装置。
7 . 前記圧縮手段は、 9個の画素の中から、 中央の 1個の画素を抽出する
ことを特徴とする請求の範网 6に記載の画像符号化装置。
8 . 前記圧縮手段は、 複数の画素デ一夕に対して、 所定の係数を乗算して、 1個の 画素デ一夕を生成する
ことを特徴とする請求の範囲 6に記載の B像符号化装置。
9 . 前記分類手段は、 前記画素デ一夕に対して 1ビッ トの A D R Cを施して、 前記 クラスを分類する
ことを特徴とする請求の範囲 6に記載の画像符号化装置。
10. 色空間上のべクトルで表した複数の画素データを少なくすることにより圧縮す る圧縮ステップと、
圧縮した前記画素データのクラスを分類する分類ステップと、
前記クラスに対応する、 前記色空間上のベクトルで表される前記画素データを含 む予測デ一夕を記憶する記憶ステップと、
前記予測デ一夕を用いて、 画像を予測する予測ステップと を備えることを特徴とする画像符号化方法。
PCT/JP1997/002481 1996-07-17 1997-07-17 Device and method for processing image and device and method for encoding image Ceased WO1998003020A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP97930821A EP0851690A4 (en) 1996-07-17 1997-07-17 DEVICE AND METHOD FOR IMAGE PROCESSING AND DEVICE AND METHOD FOR IMAGE CODING
KR10-1998-0701960A KR100518100B1 (ko) 1996-07-17 1997-07-17 화상처리장치및방법,및화상부호화장치및방법
US09/043,359 US6266454B1 (en) 1996-07-17 1997-07-17 Device and method for processing, image and device and method for encoding image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP8/206625 1996-07-17
JP20662596A JP3748088B2 (ja) 1996-07-17 1996-07-17 画像処理装置および方法、並びに学習装置および方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US09/043,359 A-371-Of-International US6266454B1 (en) 1996-07-17 1997-07-17 Device and method for processing, image and device and method for encoding image
US09/776,025 Continuation US6757435B2 (en) 1996-07-17 2001-02-02 Apparatus for and method of processing image and apparatus for and method of encoding image

Publications (1)

Publication Number Publication Date
WO1998003020A1 true WO1998003020A1 (en) 1998-01-22

Family

ID=16526477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/002481 Ceased WO1998003020A1 (en) 1996-07-17 1997-07-17 Device and method for processing image and device and method for encoding image

Country Status (5)

Country Link
US (3) US6266454B1 (ja)
EP (1) EP0851690A4 (ja)
JP (1) JP3748088B2 (ja)
KR (1) KR100518100B1 (ja)
WO (1) WO1998003020A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079899A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理装置、图像处理方法和程序

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308021A (ja) * 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6337122B1 (en) * 2000-01-11 2002-01-08 Micron Technology, Inc. Stereolithographically marked semiconductors devices and methods
US9503789B2 (en) * 2000-08-03 2016-11-22 Cox Communications, Inc. Customized user interface generation in a video on demand environment
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US9113846B2 (en) * 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
TW559737B (en) * 2001-11-02 2003-11-01 Ind Tech Res Inst Color conversion method for preference color
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
JP4055203B2 (ja) * 2002-09-12 2008-03-05 ソニー株式会社 データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
US7212676B2 (en) * 2002-12-30 2007-05-01 Intel Corporation Match MSB digital image compression
DE60315407D1 (de) * 2003-02-06 2007-09-20 St Microelectronics Srl Verfahren und Vorrichtung zum Komprimierung von Texturen
US7382937B2 (en) * 2003-03-07 2008-06-03 Hewlett-Packard Development Company, L.P. Method and apparatus for re-constructing high-resolution images
US7758896B2 (en) * 2004-04-16 2010-07-20 University Of Massachusetts Porous calcium phosphate networks for synthetic bone material
JP2006259663A (ja) * 2004-06-30 2006-09-28 Canon Inc 画像処理方法、画像表示装置、映像受信表示装置および画像処理装置
US6995526B1 (en) * 2004-08-09 2006-02-07 National Semiconductor Corporation Digitally controlled vertical C linearity correction with constant start and end points without using an AGC
DE102005016827A1 (de) 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー， インク． メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
US8369629B2 (en) * 2006-01-23 2013-02-05 Telefonaktiebolaget L M Ericsson (Publ) Image processing using resolution numbers to determine additional component values
US8605797B2 (en) * 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
JP4169768B2 (ja) * 2006-02-24 2008-10-22 三菱電機株式会社 画像符号化装置、画像処理装置、画像符号化方法、及び画像処理方法
JP2007312126A (ja) * 2006-05-18 2007-11-29 Toshiba Corp 画像処理回路
US8331663B2 (en) * 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US20090323810A1 (en) * 2008-06-26 2009-12-31 Mediatek Inc. Video encoding apparatuses and methods with decoupled data dependency
US8270466B2 (en) * 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
US8249160B2 (en) 2008-10-03 2012-08-21 Sony Corporation Extracting multiple classified adaptive decimation filters
RU2420021C2 (ru) * 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
US9369759B2 (en) * 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
US9176928B2 (en) * 2009-07-07 2015-11-03 L3 Communication Integrated Systems, L.P. System for convergence evaluation for stationary method iterative linear solvers
UA109312C2 (uk) 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
WO2018225056A1 (en) * 2017-06-04 2018-12-13 Killer Whale L.T.D Toilet cleaning devices systems and methods
US12198391B2 (en) * 2021-05-19 2025-01-14 Zibra Al, Inc. Information compression method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61205093A (ja) * 1985-03-08 1986-09-11 Mitsubishi Electric Corp カラ−静止画像高能率符号化装置
JPS639390A (ja) * 1986-06-30 1988-01-16 アメリカン　テレフオン　アンド　テレグラフ　カムパニ− デジタルビデオ伝送システム
JPS63269894A (ja) * 1987-04-28 1988-11-08 Sony Corp カラ−テレビジヨン信号の高能率符号化装置
JPH0461591A (ja) * 1990-06-29 1992-02-27 Sony Corp 画像信号の高能率符号化装置及び符号化方法
JPH0779453A (ja) * 1993-09-07 1995-03-20 Sony Corp 画像情報符号化装置および復号装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2575351B1 (fr) * 1984-12-21 1988-05-13 Thomson Csf Procede adaptatif de codage et de decodage d'une suite d'images par transformation, et dispositifs pour la mise en oeuvre de ce procede
EP0632656A3 (en) 1985-02-28 1995-03-08 Mitsubishi Electric Corp Inter-frame encoder device for adaptive vector quantification.
GB2231460B (en) * 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
DE69033411T2 (de) * 1989-09-05 2008-10-09 Canon K.K. Farbbildkodierung
US5631979A (en) * 1992-10-26 1997-05-20 Eastman Kodak Company Pixel value estimation technique using non-linear prediction
JPH06152970A (ja) * 1992-11-02 1994-05-31 Fujitsu Ltd 画像圧縮方法及び画像処理装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
CN1136381A (zh) * 1994-08-31 1996-11-20 索尼公司 摄象装置
GB2293938B (en) * 1994-10-04 1999-01-20 Winbond Electronics Corp Apparatus for digital video format conversion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61205093A (ja) * 1985-03-08 1986-09-11 Mitsubishi Electric Corp カラ−静止画像高能率符号化装置
JPS639390A (ja) * 1986-06-30 1988-01-16 アメリカン　テレフオン　アンド　テレグラフ　カムパニ− デジタルビデオ伝送システム
JPS63269894A (ja) * 1987-04-28 1988-11-08 Sony Corp カラ−テレビジヨン信号の高能率符号化装置
JPH0461591A (ja) * 1990-06-29 1992-02-27 Sony Corp 画像信号の高能率符号化装置及び符号化方法
JPH0779453A (ja) * 1993-09-07 1995-03-20 Sony Corp 画像情報符号化装置および復号装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079899A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理装置、图像处理方法和程序
CN104079899B (zh) * 2013-03-29 2016-08-17 索尼公司 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
US20050018916A1 (en) 2005-01-27
US6266454B1 (en) 2001-07-24
JPH1032837A (ja) 1998-02-03
US20010031091A1 (en) 2001-10-18
EP0851690A1 (en) 1998-07-01
EP0851690A4 (en) 2002-05-29
US6757435B2 (en) 2004-06-29
KR100518100B1 (ko) 2005-12-30
US7155057B2 (en) 2006-12-26
JP3748088B2 (ja) 2006-02-22

Similar Documents

Publication Publication Date Title
WO1998003020A1 (en) Device and method for processing image and device and method for encoding image
US5812787A (en) Video coding scheme with foreground/background separation
JP4494789B2 (ja) 動的フィルタのコーディング
US5703966A (en) Block selection using motion estimation error
KR100538731B1 (ko) 화소블록의클래스정보에대응되는매핑계수를이용하는화상부호화및화상복호화
JPH05191653A (ja) カラー画像の符号化と復号化の方法およびそれを用いた符号器と復号器
KR100574732B1 (ko) 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체
WO1998030028A1 (fr) Dispositif de codage d'image, procede de codage d'image, dispositif de decodage d'image, procede de decodage d'image et support d'enregistrement
KR19990087249A (ko) 화상 신호 부호화 장치, 화상 신호 부호화 방법,화상 신호 복호 장치, 화상 신호 복호 방법 및 기록 매체
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JPH10191353A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP4566877B2 (ja) 画像処理装置および方法
JP4807349B2 (ja) 学習装置および方法
JP3867697B2 (ja) 画像信号生成装置および生成方法
JP3906770B2 (ja) ディジタル画像信号処理装置および方法
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP3617080B2 (ja) 信号処理装置及び信号処理方法
JP4582416B2 (ja) 画像符号化装置および画像符号化方法
JP3963184B2 (ja) 信号処理装置及び信号処理方法
JP3844520B2 (ja) 信号処理装置及び信号処理方法
JP3906832B2 (ja) 画像信号処理装置および処理方法
JP3952326B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP4487900B2 (ja) 画像処理システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1019980701960

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1997930821

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09043359

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1997930821

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980701960

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019980701960

Country of ref document: KR