WO2005031694A1 - Still image processing apparatus, and still image processing method - Google Patents
Still image processing apparatus, and still image processing method Download PDFInfo
- Publication number
- WO2005031694A1 WO2005031694A1 PCT/JP2004/014678 JP2004014678W WO2005031694A1 WO 2005031694 A1 WO2005031694 A1 WO 2005031694A1 JP 2004014678 W JP2004014678 W JP 2004014678W WO 2005031694 A1 WO2005031694 A1 WO 2005031694A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- memory
- processing
- image data
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Definitions
- the present invention relates to a still image processing apparatus that decodes a compressed image data, converts the decoded image into an arbitrary image size, and outputs the image, and a still image processing method.
- a compression / expansion technique for the amount of information is used.
- orthogonal transform such as Discrete Cosine Transform (DCT) that uses screen correlation, such as Moving Picture Coding Experts Group (MPEG) and Joint Photographic Coding Experts Group (JPEG)
- DCT Discrete Cosine Transform
- MPEG Moving Picture Coding Experts Group
- JPEG Joint Photographic Coding Experts Group
- Still images are applied to image databases, etc.
- it is necessary to store data at the maximum resolution in the image database.
- storing data at the maximum resolution requires an enormous amount of data to be stored.
- storing large amounts of image data increases the system cost, such as increasing the memory capacity / data transfer performance.
- FIG. 16 shows a processing configuration for decoding the compressed image data, converting the decoded image to an arbitrary image size, and outputting the image in the conventional image processing apparatus.
- the image processing apparatus shown in FIG. 16 includes: a decoding processing unit 1 for decoding compressed input image data; a decoded image memory 2 for storing the decoded image data (decoded image data); Enlarging and reducing image data in the vertical and horizontal directions A large / small processing unit 3, a display image memory 4 for storing image data (display image data) that has been scaled by the scaling unit 3, and a display processing unit 5 for displaying and processing and outputting the display image data And the decoding processing unit 1, the scaling processing unit 3, the display processing unit 5, and the memory control unit 6 that transfers data between the memories 2 and 4.
- the input image data is decoded by the decoding processing unit 1 and stored in the decoded image memory 2.
- the capacity of the decoded image memory 2 is a capacity that can store only a part of the decoded image because a huge capacity is required to store the entire decoded image. Therefore, while the decoded image data output from the decoding processing unit 1 is stored in the decoded image memory 2, the image data read from the decoded image memory 2 is enlarged and reduced by the scaling processing unit 3, and the display image memory 4 is displayed. To save.
- the decoding processor 1 supplies a part of the decoded image data to the area processed by the scaling processor 3 out of the decoded image data storage area of the decoded image memory 2 and In the step 3, a predetermined enlargement / reduction process is performed on the decoded image data read from the decoded image memory 2, and the decoded image data is stored in the display image memory 4.
- This display image memory 4 stores one display image data.
- the display image data stored in the display image memory 4 is output after being subjected to predetermined display processing by the display processing unit 5.
- the image processing apparatus can be configured with a memory capacity independent of the decoded image size.
- the decoding process of the same image needs to be performed again in order to create a display image. Since the processing amount of the decoding process is enormous compared to the image storage process and the scaling process performed by the scaling processor 103, it takes time to re-decode the same image.
- the number of pixels processed by the decoding processing unit 101 is enormous compared to the resolution of the display device that affects the processing amount of the scaling processing unit 103 (for example, 720 x 480). (For example, 8192 x 8192), and compared to the scaling operation, Since the decoding processing operation is complicated, the re-display processing of the still image could not be performed at high speed.
- the decoded image size is 8192 pixels by 8192 lines x 8192 lines
- an enormous memory capacity of about 70 Mbit is required, so an enormous memory capacity for the decoded image size is required.
- the present invention has been made to solve the above-described problems, and a still image processing apparatus and a still image processing method that realize high-speed still image output processing without increasing the memory capacity
- the purpose is to provide. Disclosure of the invention
- the still image processing device in a still image processing device that decodes and displays a compressed image data, a decoding processing unit that decodes the compressed image data, A first memory for storing the decoded image data, a scaling processing unit for expanding or reducing the image data read from the first memory, and an enlargement or reduction to an image storage size by the enlargement / reduction processing unit A second memory for storing the scaled image data, a third memory for storing the image data enlarged or reduced to the display size by the scaling processing unit, and an image data from the third memory. And a display processing unit for reading out and outputting.
- the re-output processing of the decoded image can be performed at high speed without performing the decoding processing again as in the related art or requiring a huge memory capacity corresponding to the size of the decoded image.
- the still image processing device is the still image processing device according to claim 1, wherein the decoding processing unit, the scaling processing unit, and the display processing. And a memory control unit for controlling data transfer between the memories.
- the still image processing device is the still image processing device according to claim 1, wherein the output device resolution information input from the outside is provided.
- the image storage size is determined based on the information, and an image storage control unit is provided to notify the enlargement / reduction processing unit.
- the still image processing device is the still image processing device according to claim 1, wherein the first, second, and third memories as a whole are provided.
- An image storage control unit that determines the image storage size based on the second memory capacity calculated from the capacity and the first and third memory usage capacities and notifies the enlargement / reduction processing unit. It is a thing.
- the still image processing device according to item 1, further comprising an image storage control unit that controls a data transfer amount of the enlargement / reduction processing unit based on an externally input memory transfer performance.
- the still image processing device is the still image processing device according to claim 1, wherein the display is performed based on image setting information input from outside. It is provided with an image storage control unit that determines the size and notifies the enlargement / reduction processing unit.
- a still image processing device is a still image processing device that decodes and displays compressed image data, a decoding processing unit that decodes the compressed image data.
- a first memory for storing the decoded image data; a scaling processing unit for scaling up or down the image data read from the first memory; and a second memory for storing the scaled up or reduced image data.
- a rotation processing unit that rotates the image data read from the fourth memory, and stores the rotated image data in the fourth memory; and the rotation-processed image stored in the fourth memory.
- a display processing unit that reads out the data from the fourth memory and outputs the read data.
- the re-output processing of the decoded image is performed again as in the past. It can be performed at high speed without requiring a huge memory capacity for the decoded image size.
- the still image processing device is the still image processing device according to claim 7, wherein the decoding processing unit, the scaling processing unit, and the rotation processing unit. , And the display processing unit, and a memory control unit that controls data transfer between the memories.
- each memory can be configured by a common memory.
- the still image processing device is the still image processing device according to claim 7, wherein the image to be stored in the fourth memory is 4: 4. : An image of 4-pixel sampling, wherein the display processing section obtains an image of 4: 2: 2 pixel sampling by thinning out the image data read from the fourth memory.
- a still image processing device is the still image processing device according to claim 7, wherein the enlargement / reduction processing unit is configured to output from an external source.
- the display size is determined based on image setting information.
- the still image processing device is the still image processing device according to claim 7, wherein the rotation processing unit includes an image output setting input from outside. The rotation angle is determined based on the information.
- a still image processing method is a still image processing method for decoding and displaying compressed image data, wherein the compressed image data is decoded, A decryption storage processing step of storing the image data in the memory; an image storage processing step of reading the image data from the first memory, reducing the image data to an image storage size, and storing the image data in the second memory; A display image storage processing step for reading image data, enlarging or reducing the image data to a display size, and storing the image data in a third memory, and reading and outputting the image data from the third memory. And a display processing step.
- the re-output processing of the decoded image can be performed at high speed without performing the decoding processing again as in the related art or requiring a huge memory capacity corresponding to the size of the decoded image.
- the image storage processing step is input from outside.
- the image storage size is determined based on output device resolution information.
- the still image processing method according to claim 14 of the present invention is the still image processing method according to claim 12, wherein the image storage processing step includes the first and second steps.
- a memory free space usable as the second memory is calculated from the total memory space of the second and third memories and the used amount of the first and third memories, and based on the calculated memory free space, The image storage size is determined. As a result, image storage processing according to the memory capacity can be performed.
- the still image processing method according to claim 15 of the present invention is the still image processing method according to claim 12, wherein the image storage processing step and the display image storage processing step are the same.
- the amount of data transferred to each memory is controlled based on the memory transfer performance input from the outside.
- the display image storage processing step is externally input.
- the display size is determined based on the display setting information.
- a still image processing method is a still image processing method for decoding and displaying compressed image data, the method comprising: decoding the compressed image data; A decoded image storage processing step of storing the decoded image data in the first memory; and A display image storage processing step to store the image data from the fourth memory, a rotation storage processing step to read and rotate the image data from the fourth memory, and store the image data in the fourth memory; A display processing step of reading out the stored rotated image data from the fourth memory and displaying and outputting the read out image data.
- the still image processing method according to claim 18 of the present invention is the still image processing method according to claim 17, wherein the display image storage processing step is performed by the fourth memory
- the image to be stored in the memory is processed as a 4: 4: 4 pixel sampling image.
- the image data read from the fourth memory is thinned out, and 4: 2: 2 pixels are processed. This is to obtain a sampled image.
- the display image storage processing step is externally input.
- the display size is determined based on the display setting information.
- a still image processing method is the still image processing method according to claim 17, wherein the rotation preservation processing step is input from an external unit.
- the rotation angle is determined based on the display setting information.
- FIG. 1 is a diagram showing a configuration of a still image processing device according to Embodiment 1 of the present invention.
- FIG. 2 shows details of a decoding processing unit included in the still image processing apparatus according to the first embodiment.
- FIG. 3 (a) is a diagram showing a frequency domain f (u, v), and FIG. 3 (b) is a diagram showing a spatial domain F (x, y).
- FIG. 4 is a diagram for explaining the enlargement / reduction processing of the enlargement / reduction unit included in the still image processing device according to the first embodiment.
- FIG. 5 is a size transition diagram of a decoded image, a stored image, and a display image in the still image processing of the first embodiment.
- FIG. 6 is a diagram illustrating a storage processing unit of a decoding processing unit included in the still image processing device according to the first embodiment.
- FIG. 7 is a process transition diagram by the still image processing device of the first embodiment.
- FIG. 8 is a diagram showing a configuration of a still image processing device according to Embodiment 2 of the present invention.
- FIG. 9 is a diagram showing an image of pixel sampling 4: 2: 2.
- FIG. 10 is a diagram showing a configuration of a still image processing device according to Embodiment 3 of the present invention.
- FIG. 11 is a diagram showing an image of pixel sampling 4: 4: 4.
- FIG. 12 is a diagram illustrating a detailed configuration of a rotation processing unit included in the still image processing device according to the third embodiment.
- FIG. 13 (a) is a diagram showing the pixels before the rotation processing of the pixel sampling 4: 2: 2 image
- Fig. 13 (b) is the rotation of the pixel sampling 4: 2: 2 image
- FIG. 14 is a diagram illustrating a pixel after processing.
- Figure 14 (a) is a diagram showing the pixels before the rotation processing of the pixel sampling 4: 4: 4 image.
- Figure 14 (b) is the rotation of the pixel sampling 4: 4: 4 image.
- FIG. 14 is a diagram illustrating a pixel after processing.
- FIG. 15 is a diagram illustrating a detailed configuration of a display processing unit included in the still image processing device according to the third embodiment.
- FIG. 16 is a diagram showing a configuration of a conventional still image processing device. BEST MODE FOR CARRYING OUT THE INVENTION
- embodiments of the present invention will be described with reference to the drawings.
- FIG. 1 is a block diagram showing a configuration of a still image processing device according to Embodiment 1 of the present invention.
- the still image processing apparatus includes: a decoding processing unit 101 that decodes compressed image data; a decoded image memory 102 that stores the decoded image data; Image storage memory for storing the image data enlarged or reduced by the enlargement / reduction processing unit 103 for enlarging or reducing the image data read from 02 and the above-mentioned enlargement / reduction processing unit 103 10 8, a display image memory 104 for storing image data enlarged or reduced to the display size by the above-mentioned enlargement / reduction processing unit 103, and an image data from the above display image memory 104.
- FIG. 2 is a diagram showing a detailed configuration of the decoding processing unit 101.
- the inverse quantization unit 111 constituting the decoding processing unit 101 obtains DCT coefficients by performing an inverse quantization process on the input image data (compressed data).
- the DCT coefficient is data in the frequency domain, and a large DCT coefficient indicates that the data contains many frequency components.
- the DCT coefficient is obtained from the compressed data X quantization coefficient.
- the inverse DCT transform unit 112 constituting the decoding processing unit 101 converts the frequency domain f (u, v) shown in FIG. Is converted into image data of a spatial area F (x, y) shown in FIG. 3 (b) to obtain decoded data.
- FIG. 5 is a diagram showing an example of a size transition of a decoded image, a stored image, and a display image by the image storage control unit 107.
- the image storage control unit 107 detects the resolution required for the output device from the output device resolution information input from the outside, determines the image storage magnification, and notifies the enlargement / reduction processing unit 103. As a result, a stored image having the same resolution as that of the output device can be created, and image quality deterioration due to low resolution can be prevented.
- the image storage control unit 107 determines the display image magnification from the image output setting information input from outside, and notifies the enlargement / reduction processing unit 103 of the determined magnification.
- the image output setting information is information for determining a display image, and includes information on the display image size in the horizontal and vertical directions, and information on the horizontal and vertical enlargement / reduction ratio for the decoded image. It is a thing.
- the display size as output setting information is horizontal Xo pixels and vertical Yo lines
- the output device resolution information is horizontal Xs pixels and vertical Ys lines.
- the stored image size is horizontal Xs pixels and vertical Ys lines
- the display image size is horizontal Xo pixels and vertical Yo lines.
- the image storage control unit 107 controls the enlargement / reduction processing unit 103 with the image storage magnification as horizontal Xs ZXi, vertical Ys ZYi, and the display image magnification as horizontal Xo / Xs and vertical YoZYs. Do.
- the scaling processing unit 103 creates a stored image from the decoded image and creates a display image from the saved image.
- FIG. 4 is a diagram showing an example of a reduction process in the vertical direction of the image data by the enlargement / reduction processing unit 103.
- the above-mentioned enlargement / reduction processing section 103 performs enlargement / reduction processing in the horizontal direction and the vertical direction on the data of the space area input according to the set magnification notified from the image storage control section 107.
- the output data X is obtained by aX K + bX (1—K) using the coefficient K (0 ⁇ K ⁇ 1) representing the output phase, and the output data y is c XK + dX (1—K) Required by Note that the coefficient K is determined from the magnification set in the output setting information.
- FIG. 6 is a diagram showing a storage processing unit in the decoded image memory 102 in the decoding processing unit 101.
- the decoding processing unit in the decoding processing unit 101 is a horizontal and vertical Xi pixel n line for one screen data horizontal and vertical Xi pixel Y i line (hereinafter, a decoded image n line is referred to as one bank).
- the memory capacity of the decoding memory 102 is X i XY i X 2 X 2 bytes (2 banks)
- the image storage memory 104 is X s XY s X 2 bytes
- the display image memory 106 The memory capacity is X o XY o X 2 bytes.
- FIG. 7 shows processing transition of the still image processing device according to the first embodiment.
- the decoding processing unit 101 performs a decoding process on the image data for one bank of the input image data, and stores the decoded image data in the decoded image memory 102.
- the decoding process for one bank is completed, the fact is notified to the scaling unit 103 and the decoding process for the next puncture is started.
- the enlargement / reduction processing unit 103 starts the image storage processing in response to the end of the decoding processing for one bank, and reads the decoded image from the decoded image memory 102. Then, the read decoded image is reduced using the image storage magnification notified from the image storage control unit 107, and is stored in the image storage memory 108.
- the enlargement / reduction processing section 103 starts display image creation processing, and reads out image data from the image storage memory 108. Then, the read image data is scaled using the display image magnification notified from the image storage control unit 107, and is stored in the display image memory 104.
- the enlargement / reduction processing section 103 waits for the decoding processing of the next bank to be completed by the decoding processing section 101, and then performs image storage processing and display image creation processing on the data after the decoding processing. .
- the image storage processing is performed simultaneously with the decoding processing and the display image generation processing.
- the information is updated, there is no need to repeat the decoding processing of the stored image with a large amount of processing, and as shown in FIG. Images can be output only by scaling processing, and the speed of still image output processing can be increased by a memory capacity independent of the decoded image size.
- the entire image storage size of the decoded image data is determined from the output device resolution information input from the outside, and the storage process is performed based on the determined storage size. Therefore, it is possible to execute the image storage processing according to the output device resolution.
- FIG. 8 is a block diagram showing a configuration of a still image processing device according to Embodiment 2 of the present invention.
- the still image processing apparatus determines the image storage size based on the entire memory capacity and the memory transfer performance instead of the image storage control unit 107 in the still image processing apparatus according to the first embodiment.
- An image storage control unit 207 is provided. Next, the operation will be described. Note that the decryption processing is the same operation as in the first embodiment, and therefore, the description is omitted.
- the decoded image is read from the decoded image memory 102 under the control of the image storage control section 207, and the scaling processing section 103 performs scaling processing to the image storage size. Save to the image storage memory 108.
- the stored image is read out from the image storage memory 108 under the control of the image storage control unit 207, and the display size is set to the display size by the enlargement / reduction processing unit 103.
- the image is scaled and transferred to the display image memory 104 as a display image.
- the available memory capacity as the image storage memory 108 is calculated from the total memory capacity and the used memory capacity, the image storage size is determined according to the calculated memory capacity, and the image storage size is determined.
- the storage magnification is notified to the enlargement / reduction processing section 103.
- the display size is detected from the image output setting information, the display image magnification is determined based on the display size, and the enlargement / reduction processing unit 103 is notified. Assuming that the total memory capacity is Zbyte, the used capacity of the decoded image memory 102 is I byte, and the used capacity of the display image memory 104 is Obyte, the image storage memory capacity is (Z—I -O) byte.
- the size of the stored image can be calculated in the horizontal and vertical directions ((Z-I-0) / 2). it can.
- the pixel sampling 4: 2: 2 image is an image signal in which four pixels of the luminance signal Y have two color difference signals Cb and Cr respectively.
- the image storage control unit 207 calculates a transfer capacity that can be used for the image storage processing and the display image creation processing based on the memory transfer performance, and controls the transfer processing in the image storage processing and the display image creation processing.
- the memory transfer performance will be L XMbps.
- the transfer capacity that can be used for image storage processing and display image creation processing is (LXM—T i—To) bps. . Therefore, the image storage control unit 207 accumulates the total transfer capacity Tbit at the time of reading and writing from the memory in the image storage processing and the display image creation processing in a fixed cycle, here, one line display period, and Controls transfer processing in storage processing and display image creation processing.
- the transfer capacity condition for one line period should be such that the relationship of (LXM—T i -To) / (60 X 525) is satisfied. Reads and writes from memory in image storage processing and display image creation processing.
- the capacity usable as the image storage memory 108 is calculated from the total memory capacity and the memory usage capacity, and the image storage processing and display image creation are performed based on the memory transfer performance.
- the transfer processing in the processing high-speed image output processing of a still image according to an arbitrary memory capacity and memory transfer performance can be realized.
- FIG. I0 is a block diagram showing a configuration of a still image processing device according to Embodiment 3 of the present invention.
- the still image processing apparatus is externally input in place of the scaling processing section 103, the image storage processing section 107, and the display processing section 105 in the first embodiment.
- a display size is determined based on the display setting information, and an enlargement / reduction processing unit 303 that enlarges / reduces the image data read from the decoded image memory 102 so that the display size is obtained.
- a rotation processing unit that determines a rotation angle based on the image output setting information, and uses the rotation angle to perform rotation processing on the image data read from the display image memory 104; And a display processing unit 305 for performing display processing on the data.
- the image output setting information includes information on a rotation angle with respect to the decoded image.
- the rotation processing unit 3007 includes a rotation processing control unit 311, a rotation processing execution unit 312, a working memory A 3 13, a working memory B 3 14, and It has a working memory C 3 15.
- the display processing unit 300 has a Y-line buffer 321, a C-line buffer 32, a thinning-out processing unit 32, and a display execution unit 32. Things.
- the enlargement / reduction processing section 303 detects the display size from the image output setting information, and performs enlargement / reduction processing on the decoded image data read from the decoded image memory 102. As a result, the created display image is stored in the display image memory 104 at a pixel sampling ratio of 4: 4: 4.
- Pixel sampling 4: 4: 4 is an image signal in which four pixels of the luminance signal Y have four color difference signals Cb and Cr, respectively, as shown in FIG.
- the rotation processing unit 307 performs a rotation process on the image data stored in the display image memory 104 at an angle of 90 degrees to save the data stored in the display image memory 104. Update.
- the rotation processing control unit 311 starts the rotation processing upon receiving the end notification from the enlargement / reduction processing unit 303, detects the rotation angle from the image output setting information, notifies the rotation processing execution unit 312, and then displays the rotation image.
- the image data of NX N pixels (N is a natural number) is transferred from the 104 to the working memory A 313.
- the rotation processing execution unit 312 performs rotation processing on the image data stored in the working memory A 313 using the rotation angle notified from the rotation processing control unit 311 and stores the rotation in the working memory B 314. I do.
- the rotation processing control unit 311 stores the image data of NX N pixels in the vertical and horizontal directions of the area to be stored in the display image memory 104 after the rotation processing from the display image memory 304.
- the data is saved in the memory C 315 and the data in the working memory B 314 is transferred to the display image memory 104 after the rotation processing of the rotation processing execution unit 312 is performed.
- the rotation process of the vertical and horizontal NX N pixels is completed.
- FIG. 14 (a) shows an example of an image of pixel sampling 4: 4: 4
- FIG. 14 (b) shows the image after the rotation processing of the 14 (a) image.
- the operation of the display processing unit 305 will be described.
- one line of data is buffered in the Y line buffer 321 for the luminance signal and the C line buffer 322 for the color difference signal.
- the luminance signal is input to the display execution unit 324, whereas the color difference signal is decimated by a factor of 2 by the decimation processing unit 323 and input to the display execution unit 324.
- the pixel sampling of the display execution unit 324 is converted to 4: 2: 2 and output. Since the output pixel sampling ratio is 4: 2: 2, the output signal is the same as the output signal of the conventional image processing circuit.
- the pixel sampling of the image to be stored in the display image memory 104 is 4: 4: 4, and the pixel sampling 4: 4: 4 data is rotated.
- the rotation processing unit 307 that performs the rotation processing and the display processing unit 305 that converts the pixel sampling of the image after the rotation processing to 4: 2: 2 can prevent deterioration of the rotated image. Further, it is not necessary to perform re-decoding processing for re-rotation processing of the same image, so that still image output processing can be speeded up.
- the still image processing apparatus and the still image processing method according to the present invention have a function of outputting a still image at high speed and are useful for a JPEG image display device.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
Description
明 細 書 静止画像処理装置、 及び静止画像処理方法 技術分野 Description Still image processing apparatus and still image processing method
本発明は、 圧縮された画像デ一夕を復号し、 復号画像を任意の画像サイズに変 換し出力する静止画像処理装置、 及び静止画像処理方法に関するものである。 The present invention relates to a still image processing apparatus that decodes a compressed image data, converts the decoded image into an arbitrary image size, and outputs the image, and a still image processing method.
画像信号や音響信号などの各種信号をデジタル信号として、 伝送、 記録、 再生 する場合には情報量の圧縮伸長技術が用いられている。 画像の情報量を圧縮する 場合、 例えば、 M P E G (Moving Picture Coding Experts Group) や J P E G (Joint Photographic Coding Experts Group)など、画面の相関関係を利用する 離散コサイン変換(D C T)などによる直交変換が一般的に多く採用されており、 数十分の 1に信号を圧縮することが可能となっている。 一方、 圧縮された画像信 号は多くの場合、 復号処理後の画像データに対して表示サイズ変更などの画像処 理が行われる。 When transmitting, recording, and reproducing various signals such as image signals and audio signals as digital signals, a compression / expansion technique for the amount of information is used. When compressing the amount of information in an image, for example, orthogonal transform such as Discrete Cosine Transform (DCT) that uses screen correlation, such as Moving Picture Coding Experts Group (MPEG) and Joint Photographic Coding Experts Group (JPEG), is common. It is possible to compress the signal to several tenths. On the other hand, in many cases, compressed image signals are subjected to image processing such as display size change on the decoded image data.
静止画像は画像データベースなどに応用されており、 高画質の画像を表示する ためには、画像データベースにおいて最大解像度でデータを保存する必要がある。 しかし、最大解像度でデータ保存をしょうとすると、保存データ量が膨大となる。 また、 膨大な画像データを保存するには、 メモリ容量ゃデ一夕転送性能の増大な どシステムコストが高くなる。 Still images are applied to image databases, etc. In order to display high-quality images, it is necessary to store data at the maximum resolution in the image database. However, storing data at the maximum resolution requires an enormous amount of data to be stored. Also, storing large amounts of image data increases the system cost, such as increasing the memory capacity / data transfer performance.
これに対し、 メモリ容量の削減やシステムの簡素化を行った場合、 出力画質の 低下を引き起こす (例えば、 特開平 8— 2 2 5 4 3号公報参照)。 On the other hand, when the memory capacity is reduced or the system is simplified, the output image quality is reduced (for example, see Japanese Patent Application Laid-Open No. Hei 8-22543).
従来の画像処理装置において、 圧縮された画像データを復号し、 復号画像を任 意の画像サイズに変換し出力する処理構成を第 1 6図に示す。 FIG. 16 shows a processing configuration for decoding the compressed image data, converting the decoded image to an arbitrary image size, and outputting the image in the conventional image processing apparatus.
第 1 6図に示す画像処理装置は、 圧縮された入力画像データを復号する復号処 理部 1と、 上記復号された画像データ (復号画像データ) を保存する復号画像メ モリ 2と、 上記復号画像データの垂直方向と水平方向への拡大縮小処理を行う拡 大縮小処理部 3と、 上記拡大縮小処理部 3により拡大縮小処理された画像データ (表示画像データ) を保存する表示画像メモリ 4と、 上記表示画像データを表示 処理して出力する表示処理部 5と、 上記復号処理部 1, 上記拡大縮小処理部 3, 及び上記表示処理部 5と、 上記各メモリ 2 , 4との間のデータ転送を行うメモリ 制御部 6とを備えたものである。 The image processing apparatus shown in FIG. 16 includes: a decoding processing unit 1 for decoding compressed input image data; a decoded image memory 2 for storing the decoded image data (decoded image data); Enlarging and reducing image data in the vertical and horizontal directions A large / small processing unit 3, a display image memory 4 for storing image data (display image data) that has been scaled by the scaling unit 3, and a display processing unit 5 for displaying and processing and outputting the display image data And the decoding processing unit 1, the scaling processing unit 3, the display processing unit 5, and the memory control unit 6 that transfers data between the memories 2 and 4.
次に、 動作について説明する。 Next, the operation will be described.
入力された画像データは、 復号処理部 1にて復号され、 復号画像メモリ 2に保 存される。 ここで、 復号画像メモリ 2の容量は、 復号された画像全体を保存する と膨大な容量を必要とするため、 復号画像の一部のみを保存できる容量である。 従って、 上記復号処理部 1から出力された復号画像データを復号画像メモリ 2に 保存すると同時に、 拡大縮小処理部 3により上記復号画像メモリ 2から読み出し た画像データを拡大縮小処理し、 表示画像メモリ 4に保存する。 The input image data is decoded by the decoding processing unit 1 and stored in the decoded image memory 2. Here, the capacity of the decoded image memory 2 is a capacity that can store only a part of the decoded image because a huge capacity is required to store the entire decoded image. Therefore, while the decoded image data output from the decoding processing unit 1 is stored in the decoded image memory 2, the image data read from the decoded image memory 2 is enlarged and reduced by the scaling processing unit 3, and the display image memory 4 is displayed. To save.
つまり、 復号処理部 1では、 復号画像メモリ 2の復号画像データ格納領域のう ち、 拡大縮小処理部 3により処理された領域に対して、 復号画像データの一部を 供給し、 拡大縮小処理部 3では、 上記復号画像メモリ 2から読み出した復号画像 データに対し所定の拡大縮小処理を行い、 表示画像メモリ 4に保存する。 この表 示画像メモリ 4には、 1つの表示画像データが保存されることとなる。 That is, the decoding processor 1 supplies a part of the decoded image data to the area processed by the scaling processor 3 out of the decoded image data storage area of the decoded image memory 2 and In the step 3, a predetermined enlargement / reduction process is performed on the decoded image data read from the decoded image memory 2, and the decoded image data is stored in the display image memory 4. This display image memory 4 stores one display image data.
上記表示画像メモリ 4に保存された表示画像データは、 表示処理部 5により所 定の表示処理が施された後、 出力される。 The display image data stored in the display image memory 4 is output after being subjected to predetermined display processing by the display processing unit 5.
このように、 復号処理と拡大縮小処理を同時進行することによって、 復号画像 サイズに依存しないメモリ容量により画像処理装置を構成することができる。 しかしながら、 復号済みの同一画像データに対して、 表示倍率などを変更する 場合、 表示画像を作成するためには、 同一画像の復号処理を再度行う必要がある が、 復号処理部 1 0 1で行う復号処理の処理量は、 拡大縮小処理部 1 0 3で行う 画像保存処理や拡大縮小処理に比べて膨大であるため、 同一画像の再復号処理に 時間がかかる。 As described above, by simultaneously performing the decoding process and the scaling process, the image processing apparatus can be configured with a memory capacity independent of the decoded image size. However, when the display magnification or the like is changed for the same decoded image data, the decoding process of the same image needs to be performed again in order to create a display image. Since the processing amount of the decoding process is enormous compared to the image storage process and the scaling process performed by the scaling processor 103, it takes time to re-decode the same image.
すなわち、 拡大縮小処理部 1 0 3の処理量に影響する表示機器の解像度 (例え ば縦横 7 2 0 X 4 8 0など) に比べて、 復号処理部 1 0 1の処理画素数は膨大で あり (例えば縦横 8 1 9 2 X 8 1 9 2など)、 また、 拡大縮小処理演算に比べ、 復号処理演算が複雑であるため、 静止画像の再出画処理を高速に行うことができ なかった。 In other words, the number of pixels processed by the decoding processing unit 101 is enormous compared to the resolution of the display device that affects the processing amount of the scaling processing unit 103 (for example, 720 x 480). (For example, 8192 x 8192), and compared to the scaling operation, Since the decoding processing operation is complicated, the re-display processing of the still image could not be performed at high speed.
また、 上記のような同一画像の再復号処理を防ぐには、 復号画像をすベて保存 する必要があるが、 例えば、 復号画像サイズが縦横 8 1 9 2画素 X 8 1 9 2ライ ンの場合、 約 7 0 Mbit の膨大なメモリ容量が必要となるため、 復号画像サイズ 分の膨大なメモリ容量が要求される。 In order to prevent the same image from being re-decoded as described above, it is necessary to save all the decoded images.For example, if the decoded image size is 8192 pixels by 8192 lines x 8192 lines In this case, an enormous memory capacity of about 70 Mbit is required, so an enormous memory capacity for the decoded image size is required.
本発明は、 上記のような問題点を解決するためになされたものであり、 メモリ 容量を増大させることなく、 高速な静止画像出画処理を実現する静止画像処理装 置、 及び静止画像処理方法を提供することを目的とする。 発明の開示 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and a still image processing apparatus and a still image processing method that realize high-speed still image output processing without increasing the memory capacity The purpose is to provide. Disclosure of the invention
本発明の請求の範囲第 1項に記載の静止画像処理装置は、 圧縮された画像デ一 夕を復号表示する静止画像処理装置において、 上記圧縮された画像データを復号 する復号処理部と、 上記復号された画像データを保存する第 1のメモリと、 上記 第 1のメモリから読み出した画像データを拡大または縮小する拡大縮小処理部と、 上記拡大縮小処理部により画像保存サイズになるよう拡大または縮小された画像 データを保存する第 2のメモリと、 上記拡大縮小処理部により表示サイズになる よう拡大または縮小された画像データを保存する第 3のメモリと、 上記第 3のメ モリから画像データを読み出し表示出力する表示処理部とを備えたものである。 これにより、 復号済み画像の再出画処理を、 従来のように再度復号処理を行つ たり、 復号画像サイズ分の膨大なメモリ容量を必要とすることなく、 高速に行う ことができる。 The still image processing device according to claim 1 of the present invention, in a still image processing device that decodes and displays a compressed image data, a decoding processing unit that decodes the compressed image data, A first memory for storing the decoded image data, a scaling processing unit for expanding or reducing the image data read from the first memory, and an enlargement or reduction to an image storage size by the enlargement / reduction processing unit A second memory for storing the scaled image data, a third memory for storing the image data enlarged or reduced to the display size by the scaling processing unit, and an image data from the third memory. And a display processing unit for reading out and outputting. As a result, the re-output processing of the decoded image can be performed at high speed without performing the decoding processing again as in the related art or requiring a huge memory capacity corresponding to the size of the decoded image.
また、 本発明の請求の範囲第 2項に記載の静止画像処理装置は、 請求の範囲第 1項に記載の静止画像処理装置において、上記復号処理部、上記拡大縮小処理部、 及び上記表示処理部と、 上記各メモリとの間のデータ転送を制御するメモリ制御 部を備えたものである。 Further, the still image processing device according to claim 2 of the present invention is the still image processing device according to claim 1, wherein the decoding processing unit, the scaling processing unit, and the display processing. And a memory control unit for controlling data transfer between the memories.
これにより、 第 1〜第 3のメモリを共通メモリにより構成することができる。 また、 本発明の請求の範囲第 3項に記載の静止画像処理装置は、 請求の範囲第 1項に記載の静止画像処理装置において、 外部から入力される出力装置解像度情 報に基づいて上記画像保存サイズを決定し、 上記拡大縮小処理部に通知する画像 保存制御部を備えたものである。 Thereby, the first to third memories can be configured by the common memory. The still image processing device according to claim 3 of the present invention is the still image processing device according to claim 1, wherein the output device resolution information input from the outside is provided. The image storage size is determined based on the information, and an image storage control unit is provided to notify the enlargement / reduction processing unit.
これにより、 出力装置解像度に応じた画像保存処理が可能となる。 As a result, image storage processing according to the output device resolution can be performed.
また、 本発明の請求の範囲第 4項に記載の静止画像処理装置は、 請求の範囲第' 1項に記載の静止画像処理装置において、 上記第 1, 第 2 , 及び第 3のメモリ全 体容量と、 上記第 1及び第 3のメモリ使用容量とから算出される、 第 2のメモリ 容量に基づいて上記画像保存サイズを決定し、 上記拡大縮小処理部に通知する画 像保存制御部を備えたものである。 Further, the still image processing device according to claim 4 of the present invention is the still image processing device according to claim 1, wherein the first, second, and third memories as a whole are provided. An image storage control unit that determines the image storage size based on the second memory capacity calculated from the capacity and the first and third memory usage capacities and notifies the enlargement / reduction processing unit. It is a thing.
これにより、 メモリ容量に応じた画像保存処理が可能となる。 As a result, image storage processing according to the memory capacity can be performed.
また、 本発明の請求の範囲第 5項に記載の静止画像処理装置は、 請求の範囲第 Further, the still image processing device described in claim 5 of the present invention is characterized in that:
1項に記載の静止画像処理装置において、 外部から入力されるメモリ転送性能に 基づいて上記拡大縮小処理部のデータ転送量を制御する画像保存制御部を備えた ものである。 2. The still image processing device according to item 1, further comprising an image storage control unit that controls a data transfer amount of the enlargement / reduction processing unit based on an externally input memory transfer performance.
これにより、 メモリ転送性能に応じた画像保存処理が可能となる。 As a result, image storage processing according to the memory transfer performance can be performed.
また、 本発明の請求の範囲第 6項に記載の静止画像処理装置は、 請求の範囲第 1項に記載の静止画像処理装置において、 外部から入力される出画設定情報に基 づいて上記表示サイズを決定し、 上記拡大縮小処理部に通知する画像保存制御部 を備えたものである。 The still image processing device according to claim 6 of the present invention is the still image processing device according to claim 1, wherein the display is performed based on image setting information input from outside. It is provided with an image storage control unit that determines the size and notifies the enlargement / reduction processing unit.
これにより、 出画設定情報に応じた表示画像を作成することができる。 This makes it possible to create a display image according to the image output setting information.
また、 本発明の請求の範囲第 7項に記載の静止画像処理装置は、 圧縮された画 像データを復号表示する静止画像処理装置において、 上記圧縮された画像デ一夕 を復号する復号処理部と、上記復号された画像データを保存する第 1のメモリと、 上記第 1のメモリから読み出した画像データを拡大または縮小する拡大縮小処理 部と、 上記拡大または縮小された画像データを保存する第 4のメモリと、 上記第 4のメモリから読み出した画像データを回転処理し、 上記第 4のメモリに保存す る回転処理部と、 上記第 4のメモリに保存されている上記回転処理された画像デ 一夕を該第 4のメモリから読み出し表示出力する表示処理部とを備えたものであ る。 A still image processing device according to claim 7 of the present invention is a still image processing device that decodes and displays compressed image data, a decoding processing unit that decodes the compressed image data. A first memory for storing the decoded image data; a scaling processing unit for scaling up or down the image data read from the first memory; and a second memory for storing the scaled up or reduced image data. A rotation processing unit that rotates the image data read from the fourth memory, and stores the rotated image data in the fourth memory; and the rotation-processed image stored in the fourth memory. A display processing unit that reads out the data from the fourth memory and outputs the read data.
これにより、 復号済み画像の再出画処理を、 従来のように再度復号処理を行つ たり、 復号画像サイズ分の膨大なメモリ容量を必要とすることなく、 高速に行う ことができる。 As a result, the re-output processing of the decoded image is performed again as in the past. It can be performed at high speed without requiring a huge memory capacity for the decoded image size.
また、 本発明の請求の範囲第 8項に記載の静止画像処理装置は、 請求の範囲第 7項に記載の静止画像処理装置において、上記復号処理部、上記拡大縮小処理部、 上記回転処理部、 及び上記表示処理部と、 上記各メモリとの間のデータ転送を制 御するメモリ制御部を備えたものである。 The still image processing device according to claim 8 of the present invention is the still image processing device according to claim 7, wherein the decoding processing unit, the scaling processing unit, and the rotation processing unit. , And the display processing unit, and a memory control unit that controls data transfer between the memories.
これにより、 各メモリを共通メモリにより構成することができる。 Thus, each memory can be configured by a common memory.
また、 本発明の請求の範囲第 9項に記載の静止画像処理装置は、 請求の範囲第 7項に記載の静止画像処理装置において、 上記第 4のメモリに保存しょうとする 画像が 4 : 4: 4画素サンプリングの画像であり、 上記表示処理部は、 上記第 4 のメモリから読み出した画像データを間引いて、 4 : 2 : 2画素サンプリングの 画像を得るようにしたものである。 The still image processing device according to claim 9 of the present invention is the still image processing device according to claim 7, wherein the image to be stored in the fourth memory is 4: 4. : An image of 4-pixel sampling, wherein the display processing section obtains an image of 4: 2: 2 pixel sampling by thinning out the image data read from the fourth memory.
これにより、 回転画像の劣化を防ぐことができる。 This can prevent the rotation image from deteriorating.
また、 本発明の請求の範囲第 1 0項に記載の静止画像処理装置は、 請求の範囲 第 7項に記載の静止画像処理装置において、 上記拡大縮小処理部は、 外部から入 力される出画設定情報に基づいて上記表示サイズを決定するようにしたものであ る。 A still image processing device according to claim 10 of the present invention is the still image processing device according to claim 7, wherein the enlargement / reduction processing unit is configured to output from an external source. The display size is determined based on image setting information.
これにより、 出画設定情報に応じた表示画像を作成することができる。 This makes it possible to create a display image according to the image output setting information.
また、 本発明の請求の範囲第 1 1項に記載の静止画像処理装置は、 請求の範囲 第 7項に記載の静止画像処理装置において、 上記回転処理部は、 外部から入力さ れる出画設定情報に基づいて回転角度を決定するようにしたものである。 The still image processing device according to claim 11 of the present invention is the still image processing device according to claim 7, wherein the rotation processing unit includes an image output setting input from outside. The rotation angle is determined based on the information.
これにより、 出画設定情報に応じた回転処理を行うことができる。 This makes it possible to perform a rotation process according to the image output setting information.
また、 本発明の請求の範囲第 1 2項に記載の静止画像処理方法は、 圧縮された 画像データを復号表示する静止画像処理方法において、 上記圧縮された画像デー 夕を復号し、 第 1のメモリに保存する復号保存処理ステップと、 上記第 1のメモ リから画像データを読み出し、 画像保存サイズになるよう縮小し、 第 2のメモリ に保存する画像保存処理ステツプと、 上記第 2のメモリから画像データを読み出 し、 表示サイズになるよう拡大または縮小し、 第 3のメモリに保存する表示画像 保存処理ステツプと、 上記第 3のメモリから画像デ一夕を読み出し表示出力する 表示処理ステップとを含むものである。 A still image processing method according to claim 12 of the present invention is a still image processing method for decoding and displaying compressed image data, wherein the compressed image data is decoded, A decryption storage processing step of storing the image data in the memory; an image storage processing step of reading the image data from the first memory, reducing the image data to an image storage size, and storing the image data in the second memory; A display image storage processing step for reading image data, enlarging or reducing the image data to a display size, and storing the image data in a third memory, and reading and outputting the image data from the third memory. And a display processing step.
これにより、 復号済み画像の再出画処理を、 従来のように再度復号処理を行つ たり、 復号画像サイズ分の膨大なメモリ容量を必要とすることなく、 高速に行う ことができる。 As a result, the re-output processing of the decoded image can be performed at high speed without performing the decoding processing again as in the related art or requiring a huge memory capacity corresponding to the size of the decoded image.
また、 本発明の請求の範囲第 1 3項に記載の静止画像処理方法は、 請求の範囲 第 1 2項に記載の静止画像処理方法において、 上記画像保存処理ステップは、 外 部から入力される出力装置解像度情報に基づいて上記画像保存サイズを決定する ようにしたものである。 Further, in the still image processing method according to claim 13 of the present invention, in the still image processing method according to claim 12, the image storage processing step is input from outside. The image storage size is determined based on output device resolution information.
これにより、 出力装置解像度に応じた画像保存処理が可能となる。 As a result, image storage processing according to the output device resolution can be performed.
また、 本発明の請求の範囲第 1 4項に記載の静止画像処理方法は、 請求の範囲 第 1 2項に記載の静止画像処理方法において、 上記画像保存処理ステップは、 上 記第 1,第 2,及び第 3のメモリ全体容量と、 上記第 1及び第 3のメモリ使用量か ら上記第 2のメモリとして使用可能なメモリ空き容量を算出し、 該算出したメモ リ空き容量に基づいて上記画像保存サイズを決定するようにしたものである。 これにより、 メモリ容量に応じた画像保存処理が可能となる。 Further, the still image processing method according to claim 14 of the present invention is the still image processing method according to claim 12, wherein the image storage processing step includes the first and second steps. A memory free space usable as the second memory is calculated from the total memory space of the second and third memories and the used amount of the first and third memories, and based on the calculated memory free space, The image storage size is determined. As a result, image storage processing according to the memory capacity can be performed.
また、 本発明の請求の範囲第 1 5項に記載の静止画像処理方法は、 請求の範囲 第 1 2項に記載の静止画像処理方法において、 上記画像保存処理ステップ、 上記 表示画像保存処理ステツプのそれぞれは、 外部から入力されるメモリ転送性能に 基づいて各メモリへのデ一夕転送量を制御するようにしたものである。 Further, the still image processing method according to claim 15 of the present invention is the still image processing method according to claim 12, wherein the image storage processing step and the display image storage processing step are the same. In each case, the amount of data transferred to each memory is controlled based on the memory transfer performance input from the outside.
これにより、 メモリ転送性能に応じた画像保存処理が可能となる。 As a result, image storage processing according to the memory transfer performance can be performed.
また、 本発明の請求の範囲第 1 6項に記載の静止画像処理方法は、 請求の範囲 第 1 2項に記載の静止画像処理方法において、上記表示画像保存処理ステップは、 外部から入力される出画設定情報に基づいて上記表示サイズを決定するようにし たものである。 Further, in the still image processing method according to claim 16 of the present invention, in the still image processing method according to claim 12, the display image storage processing step is externally input. The display size is determined based on the display setting information.
これにより、 出画設定情報に応じた表示画像を作成することができる。 This makes it possible to create a display image according to the image output setting information.
また、 本発明の請求の範囲第 1 7項に記載の静止画像処理方法は、 圧縮された 画像データを復号表示する静止画像処理方法において、 上記圧縮された画像デ一 夕を復号し、 第 1のメモリに保存する復号画像保存処理ステップと、 上記第 1の メモリから画像データを読み出し、 表示サイズになるよう拡大または縮小し、 第 4のメモリに保存する表示画像保存処理ステツプと、 上記第 4のメモリから画像 データを読み出して回転処理し、 上記第 4のメモリに保存する回転保存処理ステ ップと、 上記第 4のメモリに保存されている上記回転処理された画像デ一夕を該 第 4のメモリから読み出し表示出力する表示処理ステップとを含むものである。 これにより、 復号済み画像の再出画処理を、 従来のように再度復号処理を行つ たり、 復号画像サイズ分の膨大なメモリ容量を必要とすることなく、 高速に行う ことができる。 A still image processing method according to claim 17 of the present invention is a still image processing method for decoding and displaying compressed image data, the method comprising: decoding the compressed image data; A decoded image storage processing step of storing the decoded image data in the first memory; and A display image storage processing step to store the image data from the fourth memory, a rotation storage processing step to read and rotate the image data from the fourth memory, and store the image data in the fourth memory; A display processing step of reading out the stored rotated image data from the fourth memory and displaying and outputting the read out image data. As a result, the re-output processing of the decoded image can be performed at high speed without performing the decoding processing again as in the related art or requiring a huge memory capacity corresponding to the size of the decoded image.
また、 本発明の請求の範囲第 1 8項に記載の静止画像処理方法は、 請求の範囲 第 1 7項に記載の静止画像処理方法において、上記表示画像保存処理ステップは、 上記第 4のメモリに保存しょうとする画像を 4: 4: 4画素サンプリングの画像 として処理を行うものであり、 上記表示処理ステップは、 上記第 4のメモリから 読み出した画像データを間引いて、 4 : 2 : 2画素サンプリングの画像を得るよ うにしたものである。 In addition, the still image processing method according to claim 18 of the present invention is the still image processing method according to claim 17, wherein the display image storage processing step is performed by the fourth memory The image to be stored in the memory is processed as a 4: 4: 4 pixel sampling image. In the display processing step, the image data read from the fourth memory is thinned out, and 4: 2: 2 pixels are processed. This is to obtain a sampled image.
これにより、 回転画像の劣化を防ぐことができる。 This can prevent the rotation image from deteriorating.
また、 本発明の請求の範囲第 1 9項に記載の静止画像処理方法は、 請求の範囲 第 1 7項に記載の静止画像処理方法において、上記表示画像保存処理ステツプは、 外部から入力される出画設定情報に基づいて上記表示サイズを決定するようにし たものである。 Further, in the still image processing method according to claim 19 of the present invention, in the still image processing method according to claim 17, the display image storage processing step is externally input. The display size is determined based on the display setting information.
これにより、 出画設定情報に応じた表示画像を作成することができる。 This makes it possible to create a display image according to the image output setting information.
また、 本発明の請求の範囲第 2 0項に記載の静止画像処理方法は、 請求の範囲 第 1 7項に記載の静止画像処理方法において、 上記回転保存処理ステップは、 外 部から入力される出画設定情報に基づいて回転角度を決定するようにしたもので ある。 A still image processing method according to claim 20 of the present invention is the still image processing method according to claim 17, wherein the rotation preservation processing step is input from an external unit. The rotation angle is determined based on the display setting information.
これにより、 出画設定情報に応じた回転処理を行うことができる。 図面の簡単な説明 This makes it possible to perform a rotation process according to the image output setting information. Brief Description of Drawings
第 1図は、 本発明の実施の形態 1による静止画像処理装置の構成を示す図であ る。 FIG. 1 is a diagram showing a configuration of a still image processing device according to Embodiment 1 of the present invention.
第 2図は、 上記実施の形態 1の静止画像処理装置を構成する復号処理部の詳細 な構成を示す図である。 FIG. 2 shows details of a decoding processing unit included in the still image processing apparatus according to the first embodiment. FIG.
第 3 ( a) 図は、 周波数領域 f (u,v) を示す図であり、 第 3 ( b) 図は、 空間 領域 F (x,y) を示す図である。 FIG. 3 (a) is a diagram showing a frequency domain f (u, v), and FIG. 3 (b) is a diagram showing a spatial domain F (x, y).
第 4図は、 上記実施の形態 1の静止画像処理装置を構成する拡大縮小部の拡大 縮小処理を説明するための図である。 FIG. 4 is a diagram for explaining the enlargement / reduction processing of the enlargement / reduction unit included in the still image processing device according to the first embodiment.
第 5図は、 上記実施の形態 1の静止画像処理における、 復号画像、 保存画像、 表示画像のサイズ遷移図である。 FIG. 5 is a size transition diagram of a decoded image, a stored image, and a display image in the still image processing of the first embodiment.
第 6図は、 上記実施の形態 1の静止画像処理装置を構成する復号処理部の保存 処理単位を示す図である。 FIG. 6 is a diagram illustrating a storage processing unit of a decoding processing unit included in the still image processing device according to the first embodiment.
第 7図は、 上記実施の形態 1の静止画像処理装置による処理遷移図である。 第 8図は、 本発明の実施の形態 2による静止画像処理装置の構成を示す図であ る。 FIG. 7 is a process transition diagram by the still image processing device of the first embodiment. FIG. 8 is a diagram showing a configuration of a still image processing device according to Embodiment 2 of the present invention.
第 9図は、 画素サンプリング 4: 2 : 2の画像を示す図である。 FIG. 9 is a diagram showing an image of pixel sampling 4: 2: 2.
第 1 0図は、 本発明の実施の形態 3による静止画像処理装置の構成を示す図で ある。 FIG. 10 is a diagram showing a configuration of a still image processing device according to Embodiment 3 of the present invention.
第 1 1図は、 画素サンプリング 4: 4: 4の画像を示す図である。 FIG. 11 is a diagram showing an image of pixel sampling 4: 4: 4.
第 1 2図は、 上記実施の形態 3の静止画像処理装置を構成する回転処理部の詳 細な構成を示す図である。 FIG. 12 is a diagram illustrating a detailed configuration of a rotation processing unit included in the still image processing device according to the third embodiment.
第 1 3 ( a) 図は、 画素サンプリング 4: 2 : 2の画像の回転処理前の画素を 示す図であり、 第 1 3 ( b ) 図は、 画素サンプリング 4: 2 : 2の画像の回転処 理後の画素を示す図である。 Fig. 13 (a) is a diagram showing the pixels before the rotation processing of the pixel sampling 4: 2: 2 image, and Fig. 13 (b) is the rotation of the pixel sampling 4: 2: 2 image. FIG. 14 is a diagram illustrating a pixel after processing.
第 1 4 ( a) 図は、 画素サンプリング 4 : 4 : 4の画像の回転処理前の画素を 示す図であり、 第 1 4 ( b) 図は、 画素サンプリング 4: 4: 4の画像の回転処 理後の画素を示す図である。 Figure 14 (a) is a diagram showing the pixels before the rotation processing of the pixel sampling 4: 4: 4 image. Figure 14 (b) is the rotation of the pixel sampling 4: 4: 4 image. FIG. 14 is a diagram illustrating a pixel after processing.
第 1 5図は、 上記実施の形態 3の静止画像処理装置を構成する表示処理部の詳 細な構成を示す図である。 FIG. 15 is a diagram illustrating a detailed configuration of a display processing unit included in the still image processing device according to the third embodiment.
第 1 6図は、 従来の静止画像処理装置の構成を示す図である。 発明を実施するための最良の形態 以下に、 本発明の実施の形態について図面を参照しながら説明する。 FIG. 16 is a diagram showing a configuration of a conventional still image processing device. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態 1 ) (Embodiment 1)
第 1図は、 本発明の実施の形態 1による静止画像処理装置の構成を示すプロッ ク図である。 FIG. 1 is a block diagram showing a configuration of a still image processing device according to Embodiment 1 of the present invention.
本実施の形態 Γの静止画像処理装置は、 圧縮された画像データを復号する復号 処理部 1 0 1と、上記復号された画像データを保存する復号画像メモリ 1 0 2と、 上記復号画像メモリ 1 0 2から読み出した画像データを拡大または縮小する拡大 縮小処理部 1 0 3と、 上記拡大縮小処理部 1 0 3により画像保存サイズになるよ う拡大または縮小された画像データを保存する画像保存メモリ 1 0 8と、 上記拡 大縮小処理部 1 0 3により表示サイズになるよう拡大または縮小された画像デー 夕を保存する表示画像メモリ 1 0 4と、 上記表示画像メモリ 1 0 4から画像デ一 夕を読み出し表示出力する表示処理部 1 0 5と、 上記復号処理部 1 0 1、 上記拡 大縮小処理部 1 0 3、 及び上記表示処理部 1 0 5と、 各メモリ 1 0 2, 1 0 8, 1 0 4との間のデータ転送を制御するメモリ制御部 1 0 6と、 外部から入力され る出力装置解像度情報、 及び出画設定情報に基づいて上記画像保存サイズ、 上記 表示サイズを決定する画像保存制御部 1 0 7とを備えたものである。 The still image processing apparatus according to the present embodiment includes: a decoding processing unit 101 that decodes compressed image data; a decoded image memory 102 that stores the decoded image data; Image storage memory for storing the image data enlarged or reduced by the enlargement / reduction processing unit 103 for enlarging or reducing the image data read from 02 and the above-mentioned enlargement / reduction processing unit 103 10 8, a display image memory 104 for storing image data enlarged or reduced to the display size by the above-mentioned enlargement / reduction processing unit 103, and an image data from the above display image memory 104. A display processing unit 105 for reading out and displaying the evening, the decoding processing unit 101, the scaling processing unit 103, and the display processing unit 105, and memories 102, 100 Memory for controlling data transfer between 8, 104 A control unit 106, and an image storage control unit 107 that determines the image storage size and the display size based on output device resolution information and image output setting information input from the outside. .
第 2図は、 上記復号処理部 1 0 1の詳細な構成を示す図である。 FIG. 2 is a diagram showing a detailed configuration of the decoding processing unit 101.
上記復号処理部 1 0 1を構成する逆量子化部 1 1 1は、 入力された画像データ (圧縮データ) に対し逆量子化処理を行うことにより D C T係数を求める。 この D C T係数は周波数領域のデータであり、 大きな D C T係数はその周波数成分が 多く含まれたデータであることを示す。 なお、 D C T係数は、 圧縮データ X量子 化係数により求められる。 The inverse quantization unit 111 constituting the decoding processing unit 101 obtains DCT coefficients by performing an inverse quantization process on the input image data (compressed data). The DCT coefficient is data in the frequency domain, and a large DCT coefficient indicates that the data contains many frequency components. The DCT coefficient is obtained from the compressed data X quantization coefficient.
また、 上記復号処理部 1 0 1を構成する逆 D C T変換部 1 1 2は、 下記 (数 1) に示す逆 D C T変換式により、第 3 ( a )図に示す周波数領域 f(u,v)から第 3 ( b ) 図に示す空間領域 F(x,y) の画像データに変換することにより、復号データを得る。 In addition, the inverse DCT transform unit 112 constituting the decoding processing unit 101 converts the frequency domain f (u, v) shown in FIG. Is converted into image data of a spatial area F (x, y) shown in FIG. 3 (b) to obtain decoded data.
(数 1) (Number 1)
F(x,y)二 2Α (ΑΧΒ)∑∑ c(u)c(v)f(u,v)cos((2x+l) 7T/2A)cos((2y+l) 7T/2B) F (x, y) 2 2Α (ΑΧΒ) ∑∑ c (u) c (v) f (u, v) cos ((2x + l) 7T / 2A) cos ((2y + l) 7T / 2B)
c(u )= l/ 2 (u=0), c (u) = l / 2 (u = 0),
l(u二 1,2,3 · · . A) l (u2 1,2,3 .A)
A、 B ; 1以上の整数 A, B; Integer greater than 1
第 5図は、 上記画像保存制御部 107による、 復号画像, 保存画像, 表示画像 のサイズ遷移の一例を示す図である。 FIG. 5 is a diagram showing an example of a size transition of a decoded image, a stored image, and a display image by the image storage control unit 107.
上記画像保存制御部 107は、 外部から入力される出力装置解像度情報から出 力装置に必要な解像度を検出し、 画像保存倍率を決定し、 拡大縮小処理部 103 に通知する。 これにより、 出力装置と同等の解像度の保存画像を作成することが でき、 低解像度による画質劣化を防ぐことができる。 The image storage control unit 107 detects the resolution required for the output device from the output device resolution information input from the outside, determines the image storage magnification, and notifies the enlargement / reduction processing unit 103. As a result, a stored image having the same resolution as that of the output device can be created, and image quality deterioration due to low resolution can be prevented.
さらに、 上記画像保存制御部 107は、 外部から入力される出画設定情報から 表示画像倍率を決定し、 拡大縮小処理部 103に通知する。 なお、 出画設定情報 とは、 表示画像を決定するための情報であり、 水平方向と垂直方向の表示画像サ ィズに関する情報、 復号画像に対する水平方向と垂直方向の拡大縮小率に関する 情報を含むものである。 Further, the image storage control unit 107 determines the display image magnification from the image output setting information input from outside, and notifies the enlargement / reduction processing unit 103 of the determined magnification. Note that the image output setting information is information for determining a display image, and includes information on the display image size in the horizontal and vertical directions, and information on the horizontal and vertical enlargement / reduction ratio for the decoded image. It is a thing.
例えば、 復号画像が横 X i画素、 縦 Y iラインとし、 出画設定情報である表示 サイズが横 Xo画素、 縦 Yoラインとし、 出力装置解像度情報が横 X s画素、 縦 Ysラインとした場合、 第 5図に示すように、 保存画像サイズは、 横 Xs画素、 縦 Ysラインとなり、 表示画像サイズは、 横 Xo画素、 縦 Yoラインとなる。 そ の結果、画像保存制御部 107は、画像保存倍率は横 X s ZX i、縦 Y s ZY i、 表示画像倍率は横 X o/Xs, 縦 YoZYsとして、 拡大縮小処理部 103の制 御を行う。 このようにして拡大縮小処理部 103は、 復号画像から保存画像を作 成し、 保存画像から表示画像を作成する。 For example, when the decoded image is horizontal X i pixels and vertical Y i lines, the display size as output setting information is horizontal Xo pixels and vertical Yo lines, and the output device resolution information is horizontal Xs pixels and vertical Ys lines. As shown in Fig. 5, the stored image size is horizontal Xs pixels and vertical Ys lines, and the display image size is horizontal Xo pixels and vertical Yo lines. As a result, the image storage control unit 107 controls the enlargement / reduction processing unit 103 with the image storage magnification as horizontal Xs ZXi, vertical Ys ZYi, and the display image magnification as horizontal Xo / Xs and vertical YoZYs. Do. In this way, the scaling processing unit 103 creates a stored image from the decoded image and creates a display image from the saved image.
第 4図は、 上記拡大縮小処理部 103による、 画像デ一夕の垂直方向に対する 縮小処理の一例を示す図である。 FIG. 4 is a diagram showing an example of a reduction process in the vertical direction of the image data by the enlargement / reduction processing unit 103.
上記拡大縮小処理部 103は、 画像保存制御部 107から通知される設定倍率 に従って入力される空間領域のデータを水平方向、 及び垂直方向に拡大、 縮小処 理を行う。 出力デ一夕 Xは、 出力位相を表す係数 K (0≤K<1) を用い、 aX K+bX (1— K) により求められ、 出力データ yは、 c XK+dX (1— K) により求められる。 なお、 係数 Kは、 出画設定情報による設定倍率から決定され る。 The above-mentioned enlargement / reduction processing section 103 performs enlargement / reduction processing in the horizontal direction and the vertical direction on the data of the space area input according to the set magnification notified from the image storage control section 107. The output data X is obtained by aX K + bX (1—K) using the coefficient K (0≤K <1) representing the output phase, and the output data y is c XK + dX (1—K) Required by Note that the coefficient K is determined from the magnification set in the output setting information. The
第 6図は、 上記復号処理部 1 0 1における復号画像メモリ 1 0 2への保存処理 単位を示す図である。 FIG. 6 is a diagram showing a storage processing unit in the decoded image memory 102 in the decoding processing unit 101.
上記復号処理部 1 0 1における復号処理単位は、 1画面データ横縦 X i画素 Y iラインに対して横縦 X i画素 nラインである (以下、 復号画像 nラインを 1バ ンクと呼ぶ)。 また、復号メモリ 1 0 2のメモリ容量は、 X i X Y i X 2 X 2 byte ( 2バンク)、 画像保存メモリ 1 0 4は X s X Y s X 2 byte となり、 表示画像メ モリ 1 0 6のメモリ容量は、 X o X Y o X 2 byteとなる。 The decoding processing unit in the decoding processing unit 101 is a horizontal and vertical Xi pixel n line for one screen data horizontal and vertical Xi pixel Y i line (hereinafter, a decoded image n line is referred to as one bank). . The memory capacity of the decoding memory 102 is X i XY i X 2 X 2 bytes (2 banks), the image storage memory 104 is X s XY s X 2 bytes, and the display image memory 106 The memory capacity is X o XY o X 2 bytes.
次に、 動作について第 7図を用いて説明する。 第 7図は、 本実施の形態 1によ る静止画像処理装置の処理遷移を示す。 Next, the operation will be described with reference to FIG. FIG. 7 shows processing transition of the still image processing device according to the first embodiment.
復号処理部 1 0 1では、 入力された画像データのうち、 1バンク分の画像デー 夕に対し復号処理を行い、 復号画像メモリ 1 0 2に保存する。 この 1バンク分の 復号処理を終了すると、 その旨を拡大縮小処理部 1 0 3に通知するとともに、 次 の 1パンク分の復号処理を開始する。 The decoding processing unit 101 performs a decoding process on the image data for one bank of the input image data, and stores the decoded image data in the decoded image memory 102. When the decoding process for one bank is completed, the fact is notified to the scaling unit 103 and the decoding process for the next puncture is started.
拡大縮小処理部 1 0 3では、 上記 1バンク分の復号処理終了の通知により、 画 像保存処理を開始し、 上記復号画像メモリ 1 0 2から復号画像を読み出す。 そし て、 読み出した復号画像に対し、 画像保存制御部 1 0 7から通知される画像保存 倍率を用いて縮小処理を行い、 画像保存メモリ 1 0 8に保存する。 The enlargement / reduction processing unit 103 starts the image storage processing in response to the end of the decoding processing for one bank, and reads the decoded image from the decoded image memory 102. Then, the read decoded image is reduced using the image storage magnification notified from the image storage control unit 107, and is stored in the image storage memory 108.
上記画像保存処理を終了すると、 拡大縮小処理部 1 0 3では、 表示画像作成処 理を開始し、 上記画像保存メモリ 1 0 8から画像データを読み出す。 そして、 読 み出した画像データに対し、 画像保存制御部 1 0 7から通知される表示画像倍率 を用いて拡大縮小処理を行い、 表示画像メモリ 1 0 4に保存する。 When the image storage processing is completed, the enlargement / reduction processing section 103 starts display image creation processing, and reads out image data from the image storage memory 108. Then, the read image data is scaled using the display image magnification notified from the image storage control unit 107, and is stored in the display image memory 104.
また、 拡大縮小処理部 1 0 3では、 上記復号処理部 1 0 1による次バンクの復 号処理終了を待って、 該復号処理後のデータに対し、 画像保存処理、 表示画像作 成処理を行う。 Further, the enlargement / reduction processing section 103 waits for the decoding processing of the next bank to be completed by the decoding processing section 101, and then performs image storage processing and display image creation processing on the data after the decoding processing. .
このような実施の形態 1による静止画像処理装置では、 復号処理と表示画像作 成処理と同時に、 画像保存処理を行うようにしたので、 例えば、 画像保存処理済 みの画像に対して出画設定情報が更新された場合、 処理量の多い保存画像の復号 処理を再度行う必要が無く、 第 7図に示すように再出画処理では表示画像作成の 拡大縮小処理のみにより出画が可能となり、 復号画像サイズに依存しないメモリ 容量による静止画像の出画処理の高速化を実現することができる。 In the still image processing apparatus according to the first embodiment, the image storage processing is performed simultaneously with the decoding processing and the display image generation processing. When the information is updated, there is no need to repeat the decoding processing of the stored image with a large amount of processing, and as shown in FIG. Images can be output only by scaling processing, and the speed of still image output processing can be increased by a memory capacity independent of the decoded image size.
また、 本実施の形態 1による静止画像処理装置では、 外部から入力される出力 装置解像度情報から復号画像データの画像全体保存サイズを決定し、 該決定した 保存サイズに基づいて保存処理を行うようにしたので、 出力装置解像度に応じた 画像保存処理を実行することができる。 Further, in the still image processing device according to the first embodiment, the entire image storage size of the decoded image data is determined from the output device resolution information input from the outside, and the storage process is performed based on the determined storage size. Therefore, it is possible to execute the image storage processing according to the output device resolution.
(実施の形態 2 ) (Embodiment 2)
第 8図は、 本発明の実施の形態 2による静止画像処理装置の構成を示すプロッ ク図である。 FIG. 8 is a block diagram showing a configuration of a still image processing device according to Embodiment 2 of the present invention.
本実施の形態 2の静止画像処理装置は、 上記実施の形態 1の静止画像処理装置 における画像保存制御部 1 0 7に代えて、 メモリ全体容量及びメモリ転送性能に 基づいて画像保存サイズを決定する画像保存制御部 2 0 7を備えたものである。 次に、 動作について説明する。 なお、 復号処理は、 上記実施の形態 1と同様の 動作であるので、 説明を省略する。 The still image processing apparatus according to the second embodiment determines the image storage size based on the entire memory capacity and the memory transfer performance instead of the image storage control unit 107 in the still image processing apparatus according to the first embodiment. An image storage control unit 207 is provided. Next, the operation will be described. Note that the decryption processing is the same operation as in the first embodiment, and therefore, the description is omitted.
画像保存処理を行う場合、 画像保存制御部 2 0 7の制御により、 復号画像メモ リ 1 0 2から復号画像を読み出し、 拡大縮小処理部 1 0 3にて画像保存サイズに なるよう拡大縮小処理し、 画像保存メモリ 1 0 8に保存する。 When performing the image storage processing, the decoded image is read from the decoded image memory 102 under the control of the image storage control section 207, and the scaling processing section 103 performs scaling processing to the image storage size. Save to the image storage memory 108.
また、 表示画像作成処理を行う場合、 画像保存制御部 2 0 7の制御により、 画 像保存メモリ 1 0 8から保存画像を読み出し、 拡大縮小処理部 1 0 3にて表示サ ィズになるよう拡大縮小処理し、 表示画像として表示画像メモリ 1 0 4に転送す る。 When the display image creation processing is performed, the stored image is read out from the image storage memory 108 under the control of the image storage control unit 207, and the display size is set to the display size by the enlargement / reduction processing unit 103. The image is scaled and transferred to the display image memory 104 as a display image.
次に、 画像保存制御部 2 0 7の動作について説明する。 Next, the operation of the image storage control unit 207 will be described.
画像保存処理を行う場合、 メモリ全体容量とメモリ使用容量とから、 画像保存 メモリ 1 0 8として使用可能なメモリ容量を算出し、 該算出したメモリ容量に応 じて画像保存サイズを決定し、画像保存倍率を拡大縮小処理部 1 0 3に通知する。 また、 表示画像作成処理を行う場合、 出画設定情報から表示サイズを検出し、 該 表示サイズに基づいて表示画像倍率を決定し、拡大縮小処理部 1 0 3に通知する。 メモリ全体容量を Zbyte、 復号画像メモリ 1 0 2の使用容量を I byte、 表示画 像メモリ 1 0 4の使用容量を Obyte とすると、 画像保存メモリ容量は、 (Z— I -O) byteとなる。 また、 画像保存メモリ 108に保存しょうとする画像の画素 サンプリングを 4 : 2 : 2、 1画素 1 byteとした場合、 保存画像サイズは縦横 ((Z— I—0)/2)で求めることができる。 画素サンプリング 4: 2: 2の画像と は、 第 9図で示すように、 輝度信号 Yの 4画素に対し色差信号 Cb, C rがそれ ぞれ 2画素ある画像信号である。 When performing the image storage processing, the available memory capacity as the image storage memory 108 is calculated from the total memory capacity and the used memory capacity, the image storage size is determined according to the calculated memory capacity, and the image storage size is determined. The storage magnification is notified to the enlargement / reduction processing section 103. Further, when performing the display image creation processing, the display size is detected from the image output setting information, the display image magnification is determined based on the display size, and the enlargement / reduction processing unit 103 is notified. Assuming that the total memory capacity is Zbyte, the used capacity of the decoded image memory 102 is I byte, and the used capacity of the display image memory 104 is Obyte, the image storage memory capacity is (Z—I -O) byte. Also, if the pixel sampling of the image to be stored in the image storage memory 108 is 4: 2: 2, and 1 byte per pixel, the size of the stored image can be calculated in the horizontal and vertical directions ((Z-I-0) / 2). it can. As shown in FIG. 9, the pixel sampling 4: 2: 2 image is an image signal in which four pixels of the luminance signal Y have two color difference signals Cb and Cr respectively.
さらに、画像保存制御部 207では、メモリ転送性能に基づいて画像保存処理、 表示画像作成処理に用いることが可能な転送容量を算出し、 画像保存処理、 表示 画像作成処理における転送処理を制御する。 Further, the image storage control unit 207 calculates a transfer capacity that can be used for the image storage processing and the display image creation processing based on the memory transfer performance, and controls the transfer processing in the image storage processing and the display image creation processing.
メモリ動作周波数が Lclock、 メモリビット幅が Mbit とすると、 メモリ転送性 能は L XMbpsとなる。復号処理と表示処理の最大転送速度をそれぞれ T i bps、 To bps とした場合、 画像保存処理、 表示画像作成処理に用いることが可能な転 送容量は (LXM— T i— To)bpsである。 そのため、 画像保存制御部 207は、 一定周期、 ここでは 1ライン表示期間、 での画像保存処理、 表示画像作成処理に おける、 メモリからの読み出し及び書き込みの際の総転送容量 Tbit を蓄積し、 画像保存処理、 表示画像作成処理における転送処理を制御する。 If the memory operating frequency is Lclock and the memory bit width is Mbit, the memory transfer performance will be L XMbps. Assuming that the maximum transfer rates for decoding and display processing are T i bps and To bps, respectively, the transfer capacity that can be used for image storage processing and display image creation processing is (LXM—T i—To) bps. . Therefore, the image storage control unit 207 accumulates the total transfer capacity Tbit at the time of reading and writing from the memory in the image storage processing and the display image creation processing in a fixed cycle, here, one line display period, and Controls transfer processing in storage processing and display image creation processing.
例えば、 垂直同期周波数が 60 H z、 垂直ライン数が 525ラインの場合、 1 ライン期間の転送容量条件が Tく (LXM— T i -To)/(60 X 525)の関係 を満足するように、 画像保存処理、 表示画像作成処理におけるメモリからの読み 出し及び書き込みを行う。 For example, if the vertical synchronization frequency is 60 Hz and the number of vertical lines is 525, the transfer capacity condition for one line period should be such that the relationship of (LXM—T i -To) / (60 X 525) is satisfied. Reads and writes from memory in image storage processing and display image creation processing.
一方、 1ライン期間の転送容量条件が T≥(LXM— T i— Το)/(60 X 52 5)となるような場合は、転送処理を中断し、表示処理部 105からの水平同期信 号 105 aにより決定される、 次の 1ライン表示期間の開始時点で、 転送処理を 再開する。 On the other hand, when the transfer capacity condition during one line period is such that T≥ (LXM—Ti—Το) / (60 × 525), the transfer process is interrupted and the horizontal synchronization signal from the display processing unit 105 is interrupted. Transfer processing is resumed at the start of the next one-line display period determined by 105a.
このような実施の形態 2による静止画像処理装置では、 メモリ全体容量とメモ リ使用容量とから画像保存メモリ 108として使用可能な容量を算出し、 また、 メモリ転送性能から画像保存処理、 表示画像作成処理における転送処理を制御す ることにより、 任意のメモリ容量、 メモリ転送性能に応じた静止画像の高速出画 処理を実現することができる。 In such a still image processing apparatus according to the second embodiment, the capacity usable as the image storage memory 108 is calculated from the total memory capacity and the memory usage capacity, and the image storage processing and display image creation are performed based on the memory transfer performance. By controlling the transfer processing in the processing, high-speed image output processing of a still image according to an arbitrary memory capacity and memory transfer performance can be realized.
(実施の形態 3) 第 i 0図は、 本発明の実施の形態 3による静止画像処理装置の構成を示すプロ ック図である。 (Embodiment 3) FIG. I0 is a block diagram showing a configuration of a still image processing device according to Embodiment 3 of the present invention.
本実施の形態 3の静止画像処理装置は、 上記実施の形態 1における拡大縮小処 理部 1 0 3、 画像保存処理部 1 0 7、 表示処理部 1 0 5に代えて、 外部から入力 される出画設定情報に基づいて表示サイズを決定し、 該表示サイズになるよう、 復号画像メモリ 1 0 2から読み出した画像データを拡大縮小処理する拡大縮小処 理部 3 0 3と、 外部から入力される出画設定情報に基づいて回転角度を決定し、 該回転角度を用いて、 表示画像メモリ 1 0 4から読み出した画像データを回転処 理する回転処理部 3 0 7と、 回転処理された画像データに対して表示処理する表 示処理部 3 0 5とを備えたものである。 なお、 上記出画設定情報は、 復号画像に 対する回転角度に関する情報を含むものである。 The still image processing apparatus according to the third embodiment is externally input in place of the scaling processing section 103, the image storage processing section 107, and the display processing section 105 in the first embodiment. A display size is determined based on the display setting information, and an enlargement / reduction processing unit 303 that enlarges / reduces the image data read from the decoded image memory 102 so that the display size is obtained. A rotation processing unit that determines a rotation angle based on the image output setting information, and uses the rotation angle to perform rotation processing on the image data read from the display image memory 104; And a display processing unit 305 for performing display processing on the data. Note that the image output setting information includes information on a rotation angle with respect to the decoded image.
上記回転処理部 3 0 7は、 第 1 2図に示すように、 回転処理制御部 3 1 1、 回 転処理実行部 3 1 2、 作業メモリ A 3 1 3、 作業メモリ B 3 1 4、 及び作業メモ リ C 3 1 5を有するものである。 As shown in FIG. 12, the rotation processing unit 3007 includes a rotation processing control unit 311, a rotation processing execution unit 312, a working memory A 3 13, a working memory B 3 14, and It has a working memory C 3 15.
また、 上記表示処理部 3 0 5は、 第 1 5図に示すように、 Yラインバッファ 3 2 1、 Cラインバッファ 3 2 2、 間引き処理部 3 2 3、 及び表示実行部 3 2 4を 有するものである。 Further, as shown in FIG. 15, the display processing unit 300 has a Y-line buffer 321, a C-line buffer 32, a thinning-out processing unit 32, and a display execution unit 32. Things.
次に、 動作について説明する。 なお、 復号処理は、 上記実施の形態 1と同様で あるので、 説明を省略する。 Next, the operation will be described. Note that the decryption processing is the same as in the first embodiment, and a description thereof will not be repeated.
拡大縮小処理部 3 0 3では、 出画設定情報から表示サイズを検出し、 復号画像 メモリ 1 0 2から読み出した復号画像データに対し拡大縮小処理を行う。 これに より、 作成された表示画像は、 画素サンプリング 4 : 4 : 4で表示画像メモリ 1 0 4に保存される。 画素サンプリング 4 : 4 : 4とは、 第 1 1図で示すように、 輝度信号 Yの 4画素に対し、 色差信号 C b, C rがそれぞれ 4画素ある画像信号 である。 The enlargement / reduction processing section 303 detects the display size from the image output setting information, and performs enlargement / reduction processing on the decoded image data read from the decoded image memory 102. As a result, the created display image is stored in the display image memory 104 at a pixel sampling ratio of 4: 4: 4. Pixel sampling 4: 4: 4 is an image signal in which four pixels of the luminance signal Y have four color difference signals Cb and Cr, respectively, as shown in FIG.
その後、 回転処理部 3 0 7にて、 上記表示画像メモリ 1 0 4に保存された画像 デ一夕を 9 0度単位の角度で回転処理を行い、 表示画像メモリ 1 0 4の保存デー 夕を更新する。 After that, the rotation processing unit 307 performs a rotation process on the image data stored in the display image memory 104 at an angle of 90 degrees to save the data stored in the display image memory 104. Update.
ここで、 回転処理部 3 0 7の動作について説明する。 回転処理制御部 311では、 拡大縮小処理部 303からの終了通知を受け取る と回転処理を開始し、 出画設定情報から回転角度を検出して回転処理実行部 31 2に通知した後、 表示画像メモリ 104から縦横 NX N画素 (Nは自然数) の画 像デ一夕を作業メモリ A 313に転送する。 Here, the operation of the rotation processing unit 307 will be described. The rotation processing control unit 311 starts the rotation processing upon receiving the end notification from the enlargement / reduction processing unit 303, detects the rotation angle from the image output setting information, notifies the rotation processing execution unit 312, and then displays the rotation image. The image data of NX N pixels (N is a natural number) is transferred from the 104 to the working memory A 313.
回転処理実行部 312では、 上記回転処理制御部 311より通知された回転角 度を用いて、 上記作業メモリ A 313に保存されている画像データに対し回転処 理を行い、 作業メモリ B 314に保存する。 このとき、 回転処理制御部 311で は、 上記回転処理実行部 312による回転処理実行中に、 回転処理後に表示画像 メモリ 104に保存する領域の縦横 NX N画素の画像データを表示画像メモリ 304から作業メモリ C 315に退避させておき、 回転処理実行部 312の回転 処理実行後に、作業メモリ B 314のデータを表示画像メモリ 104へ転送する。 これにより、 縦横 NX N画素の回転処理が終了する。 The rotation processing execution unit 312 performs rotation processing on the image data stored in the working memory A 313 using the rotation angle notified from the rotation processing control unit 311 and stores the rotation in the working memory B 314. I do. At this time, during the rotation processing by the rotation processing execution unit 312, the rotation processing control unit 311 stores the image data of NX N pixels in the vertical and horizontal directions of the area to be stored in the display image memory 104 after the rotation processing from the display image memory 304. The data is saved in the memory C 315 and the data in the working memory B 314 is transferred to the display image memory 104 after the rotation processing of the rotation processing execution unit 312 is performed. Thus, the rotation process of the vertical and horizontal NX N pixels is completed.
この後、 作業メモリ C 315に退避した縦横 NXN画素の画像データに対して 同様の回転処理を行う。 このように縦横 NXN画素の回転処理を連続的に行うこ とにより 1画面全体の回転処理を実行する。 After that, the same rotation processing is performed on the image data of the vertical and horizontal NXN pixels saved in the working memory C315. In this way, the rotation processing of the entire screen is executed by continuously performing the rotation processing of the vertical and horizontal NXN pixels.
なお、 表示画像メモリ 104に保存しょうとする画像の画素サンプリングが 4 : 2 : 2の場合、 第 13 (a) 図に示すように、 回転前の輝度信号 Yに対し水 平方向の色差信号 Cb, C rが半分のデータ量となるため、 第 13 (b) 図に示 すように、 90度回転後のデータの垂直方向において、 輝度信号 Dyに対する色 差信号 Dc b, Dc rを補間する必要がある。 また、 輝度信号 Ayに対する色差 信号 Ac b, Ac rは必要がないため、 削除される。 このように表示画像メモリ 104に格納されている画像データに対して回転処理を行う毎に色差信号が補間 され、 回転処理前後の色差信号が変わるため、 画質が低下することとなる。 When the pixel sampling of the image to be stored in the display image memory 104 is 4: 2: 2, as shown in FIG. 13 (a), as shown in FIG. , And C r are half the data amount, and as shown in Fig. 13 (b), the chrominance signals Dc b and Dcr for the luminance signal Dy are interpolated in the vertical direction of the data after 90 ° rotation. There is a need. In addition, the color difference signals Ac b and Ac r for the luminance signal Ay are unnecessary and are deleted. As described above, each time the rotation processing is performed on the image data stored in the display image memory 104, the color difference signals are interpolated, and the color difference signals before and after the rotation processing change, so that the image quality is reduced.
そこで、 表示画像メモリ 104に保存しょうとする画像の画素サンプリングを 4 : 4 : 4とする。 第 14 (a) 図に、 画素サンプリング 4 : 4: 4の画像の一 例を示し、 第 14 (b) 図に、 第 14 (a) の画像の回転処理後を示す。 この場 合、 第 13図に示すような回転処理時の補間をする必要無いため、 画質の低下を 防ぐことができる。 Therefore, the pixel sampling of the image to be stored in the display image memory 104 is 4: 4: 4. FIG. 14 (a) shows an example of an image of pixel sampling 4: 4: 4, and FIG. 14 (b) shows the image after the rotation processing of the 14 (a) image. In this case, it is not necessary to perform interpolation during the rotation processing as shown in FIG. 13, so that it is possible to prevent a decrease in image quality.
次に、 表示処理部 305の動作について説明する。 入力デ一夕は、 輝度信号の Yラインバッファ 3 2 1と色差信号の Cラインバッ ファ 3 2 2に 1ライン分のデータがバッファリングされる。 輝度信号は表示実行 部 3 2 4へ入力されるが、 色差信号は間引き処理部 3 2 3により 1 / 2にデ一夕 量が間引きされて表示実行部 3 2 4へ入力される。 これにより、 表示実行部 3 2 4の画素サンプリングは 4: 2 : 2に変換されて出力される。 出力画素サンプリ ングが 4 : 2 : 2となることにより、 従来の画像処理回路の出力信号と同一とな る。 ' このような実施の形態 3による静止画像処理装置では、 表示画像メモリ 1 0 4 に保存しょうとする画像の画素サンプリングを 4: 4: 4とし、 画素サンプリン グ 4: 4 : 4のデータを回転する回転処理部 3 0 7と、 上記回転処理後の画像の 画素サンプリングを 4 : 2 : 2に変換する表示処理部 3 0 5により、 回転画像の 劣化を防ぐことができる。 また、 同一画像の再回転処理のための再復号処理を行 う必要がなく、 静止画像出画処理の高速化を実現することができる。 産業上の利用可能性 Next, the operation of the display processing unit 305 will be described. In the input data, one line of data is buffered in the Y line buffer 321 for the luminance signal and the C line buffer 322 for the color difference signal. The luminance signal is input to the display execution unit 324, whereas the color difference signal is decimated by a factor of 2 by the decimation processing unit 323 and input to the display execution unit 324. As a result, the pixel sampling of the display execution unit 324 is converted to 4: 2: 2 and output. Since the output pixel sampling ratio is 4: 2: 2, the output signal is the same as the output signal of the conventional image processing circuit. 'In the still image processing apparatus according to the third embodiment, the pixel sampling of the image to be stored in the display image memory 104 is 4: 4: 4, and the pixel sampling 4: 4: 4 data is rotated. The rotation processing unit 307 that performs the rotation processing and the display processing unit 305 that converts the pixel sampling of the image after the rotation processing to 4: 2: 2 can prevent deterioration of the rotated image. Further, it is not necessary to perform re-decoding processing for re-rotation processing of the same image, so that still image output processing can be speeded up. Industrial applicability
本発明にかかる静止画像処理装置および静止画像処理方法は、 静止画像の高速 出画の機能を有し、 J P E G画像の表示装置に有用である。 INDUSTRIAL APPLICABILITY The still image processing apparatus and the still image processing method according to the present invention have a function of outputting a still image at high speed and are useful for a JPEG image display device.
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003338101 | 2003-09-29 | ||
| JP2003-338101 | 2003-09-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2005031694A1 true WO2005031694A1 (en) | 2005-04-07 |
Family
ID=34386146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2004/014678 Ceased WO2005031694A1 (en) | 2003-09-29 | 2004-09-29 | Still image processing apparatus, and still image processing method |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2005031694A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012220683A (en) * | 2011-04-07 | 2012-11-12 | Sony Computer Entertainment Inc | Image processing apparatus and image processing method |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05501932A (en) * | 1990-09-14 | 1993-04-08 | イーストマン コダック カンパニー | Image database with low-resolution index image data |
| JPH05197353A (en) * | 1992-01-20 | 1993-08-06 | Fujitsu Ltd | Natural picture display system |
| WO1996009716A1 (en) * | 1994-09-21 | 1996-03-28 | Sony Corporation | Still image system |
| JPH1169135A (en) * | 1997-08-18 | 1999-03-09 | Fuji Photo Film Co Ltd | Image processor and its processing method |
| JP2000322566A (en) * | 1999-05-06 | 2000-11-24 | Canon Inc | Image display device and control method thereof |
| JP2001166762A (en) * | 1999-12-07 | 2001-06-22 | Fuji Photo Film Co Ltd | Method and device for displaying image |
| JP2001223920A (en) * | 2000-02-10 | 2001-08-17 | Fuji Photo Film Co Ltd | Imaging device and display device |
| JP2003115993A (en) * | 2001-10-09 | 2003-04-18 | Canon Inc | Image rotation processing apparatus and method |
| JP2003323456A (en) * | 2002-04-30 | 2003-11-14 | C Image:Kk | Image display device and image display method |
-
2004
- 2004-09-29 WO PCT/JP2004/014678 patent/WO2005031694A1/en not_active Ceased
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05501932A (en) * | 1990-09-14 | 1993-04-08 | イーストマン コダック カンパニー | Image database with low-resolution index image data |
| JPH05197353A (en) * | 1992-01-20 | 1993-08-06 | Fujitsu Ltd | Natural picture display system |
| WO1996009716A1 (en) * | 1994-09-21 | 1996-03-28 | Sony Corporation | Still image system |
| JPH1169135A (en) * | 1997-08-18 | 1999-03-09 | Fuji Photo Film Co Ltd | Image processor and its processing method |
| JP2000322566A (en) * | 1999-05-06 | 2000-11-24 | Canon Inc | Image display device and control method thereof |
| JP2001166762A (en) * | 1999-12-07 | 2001-06-22 | Fuji Photo Film Co Ltd | Method and device for displaying image |
| JP2001223920A (en) * | 2000-02-10 | 2001-08-17 | Fuji Photo Film Co Ltd | Imaging device and display device |
| JP2003115993A (en) * | 2001-10-09 | 2003-04-18 | Canon Inc | Image rotation processing apparatus and method |
| JP2003323456A (en) * | 2002-04-30 | 2003-11-14 | C Image:Kk | Image display device and image display method |
Non-Patent Citations (1)
| Title |
|---|
| NAGAMOTO M. ET AL.: "Seiri, shusei kara sakuhin zukuri made degital gazo katsuyo sofuto no erabikata", NIKKEI PERSONAL COMPUTING, vol. 7, no. 12, 1999, NIKKEI BUSINESS PUBLICATIONS, INC., pages 170 - 178, XP002986227 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012220683A (en) * | 2011-04-07 | 2012-11-12 | Sony Computer Entertainment Inc | Image processing apparatus and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8503827B2 (en) | Apparatus and method for decoding image data | |
| KR100821407B1 (en) | Image Information Processing System and Image Information Processing Method | |
| JP2006014341A (en) | Method and apparatus for storing image data using an MCU buffer | |
| JP3613983B2 (en) | Image generating apparatus and method, and electronic still camera | |
| CN1902659B (en) | Method and apparatus for image processing in a handheld device | |
| US7391932B2 (en) | Apparatus and method for selecting image to be displayed | |
| KR20050006063A (en) | Image expansion and display method, image expansion and display device, and program for image expansion and display | |
| WO2005031694A1 (en) | Still image processing apparatus, and still image processing method | |
| JP3508630B2 (en) | Frame buffer device with digital image input / output and image display device | |
| KR100579044B1 (en) | Apparatus, system and method for compressing rotated images | |
| JP4109151B2 (en) | Image processing device | |
| US20080278606A9 (en) | Image compositing | |
| JP2001061058A (en) | Image processing device | |
| US5699120A (en) | Motion vector using a transform function identification signal | |
| US20040183948A1 (en) | Real time smart image scaling for video input | |
| US20020172278A1 (en) | Image decoder and image decoding method | |
| JP2000134459A (en) | Image processing method | |
| US20050190982A1 (en) | Image reducing device and image reducing method | |
| JP4439746B2 (en) | Information processing device | |
| JP2004248024A (en) | Image processing apparatus | |
| JP2001028749A (en) | Image compression / decompression / display devices | |
| JP2004254247A (en) | Image processing apparatus | |
| JP3327688B2 (en) | Control method of image processing device | |
| JP2001282210A (en) | Image display device and method | |
| JP2006340338A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AK | Designated states |
Kind code of ref document: A1 Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW |
|
| AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
| 122 | Ep: pct application non-entry in european phase | ||
| NENP | Non-entry into the national phase |
Ref country code: JP |
|
| WWW | Wipo information: withdrawn in national office |
Country of ref document: JP |