[go: up one dir, main page]

WO2009123067A1 - 画像処理方法、画像処理装置及び記録媒体 - Google Patents

画像処理方法、画像処理装置及び記録媒体 Download PDF

Info

Publication number
WO2009123067A1
WO2009123067A1 PCT/JP2009/056337 JP2009056337W WO2009123067A1 WO 2009123067 A1 WO2009123067 A1 WO 2009123067A1 JP 2009056337 W JP2009056337 W JP 2009056337W WO 2009123067 A1 WO2009123067 A1 WO 2009123067A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
left eye
right eye
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/056337
Other languages
English (en)
French (fr)
Inventor
井上　晃
上原　伸一
高取　憲一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tianma Japan Ltd
Original Assignee
NEC Corp
NEC LCD Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC LCD Technologies Ltd filed Critical NEC Corp
Priority to EP09726901.3A priority Critical patent/EP2259600B1/en
Priority to JP2010505854A priority patent/JP5522404B2/ja
Priority to US12/921,057 priority patent/US9380284B2/en
Publication of WO2009123067A1 publication Critical patent/WO2009123067A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Definitions

  • the present invention relates to an image processing method, an image processing apparatus, and a program for improving display quality in a system that displays different images at a plurality of viewpoints.
  • Patent Literature 1 Patent Literature 2 and Patent Literature 3 disclose techniques for generating images with different luminance components corresponding to the left and right eyes and displaying them.
  • Patent Document 1 a stereoscopic effect and glossiness are obtained by relatively increasing the luminance of one of the left and right images, and in Patent Documents 2 and 3, by enhancing the contrast of one image.
  • FIG. 11 is a diagram illustrating an example of a conventional image processing apparatus.
  • a conventional image processing apparatus 300 includes a binocular image display unit 301, a right image luminance correction unit 302, and a left image luminance correction unit 303.
  • the binocular image display unit 301 includes a right eye image display unit 304 and a left eye image display unit 305.
  • the input image signal is input to the right image luminance correction unit 302 and the left image luminance correction unit 303, respectively.
  • the right image luminance correction unit 302 enhances the contrast between light and dark after extracting the luminance Y from the image signal.
  • the contrast enhancement method there is a method in which the first tone curve 51 shown in FIG.
  • the left image brightness correction unit 303 corrects the brightness using a parameter different from that of the right image.
  • the left image luminance correction unit 303 there is a method of causing the second tone curve 52 to affect the luminance Y.
  • the second tone curve 52 has a smaller inclination than the first tone curve 51 and a low contrast enhancement effect.
  • the binocular image display unit 301 is a display device capable of presenting different images to a human right eye and left eye, and is used as a stereoscopic display.
  • the binocular image display unit 301 there is one in which different polarizing filters are attached to the left and right image projection units, and an observer views both eyes through polarized glasses.
  • Japanese Patent Laid-Open No. 10-224822 JP 2004-229881 A Japanese National Patent Publication No. 11-511316
  • the present invention has been made to solve such problems, and provides an image display device, an image display method, and a program that improve image quality by displaying different images in both eyes. Objective.
  • an image processing method includes an input step of inputting an input image, and a right eye image displayed on the right eye and a left eye image displayed on the left eye from the input image.
  • An image correction step of performing correction processing and outputting, and in the image correction step, the correction amounts of the right eye image and the left eye image are changed according to time.
  • An image display device includes a right eye image output unit that outputs a right eye image to be displayed on the right eye, and a left eye image output unit that outputs a left eye image to be displayed on the left eye,
  • the eye image output means and / or the left eye image output means corrects an input image, and changes at least one of the correction amounts of the right eye image and the left eye image according to time. Is.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to a first embodiment of the present invention. It is a block diagram which shows the image processing apparatus concerning the 2nd Embodiment of this invention. It is a figure which shows an image correction part as an example of the right eye image correction part and the left eye image correction part. It is a figure which shows a contrast correction tone curve and a brightness correction tone curve. It is a figure which shows an image correction part as another example of the right eye image correction part and the left eye image correction part. It is a figure which shows an image correction part as another example of the right eye image correction part and the left eye image correction part. It is a figure which shows the multi-view image display part using a lenticular lens. It is a figure which shows an example of an attention area.
  • FIG. 6 is a flowchart illustrating an operation of the image processing apparatus according to the second embodiment of the present invention. It is a block diagram which shows the image processing apparatus concerning the 3rd Embodiment of this invention. It is a figure which shows an example of the conventional image processing apparatus. It is a figure which shows a 1st tone curve.
  • FIG. 1 is a diagram illustrating an image processing apparatus 100 according to the first embodiment of the present invention.
  • the image processing apparatus 100 includes a right eye image processing unit 101 that outputs a right eye image to be displayed on the right eye (first viewpoint), and a left eye that outputs a left eye image to be displayed on the left eye (second viewpoint). And an image processing unit 102.
  • the right-eye image processing unit 101, or the right-eye image processing unit 101 and the left-eye image processing unit 102 performs a correct process of contrast correction, brightness correction, or saturation correction on the input image, The correction amount of the eye image and the left eye image is changed according to time.
  • the input image is a moving image.
  • the right-eye image processing unit 101 and the left-eye image processing unit 102 generate N images corrected by different correction processes from the same input image, and the multi-view image display unit 103 sets the right eye.
  • the right eye image to be displayed and the left eye image to be displayed to the left eye may be extracted from N images according to a predetermined rule and displayed.
  • correction processing may be performed only on the attention area specified in the input image.
  • the attention area By designating the attention area, it is possible to limit the area causing the visual field conflict, so that the viewer's attention can be collected in the specific area.
  • a horizontal parallax may be added to one input image. Thereby, a parallax image (stereoscopic image) with improved image quality can be obtained.
  • Non-Patent Document 1 when humans present different images alternately in the range of 2Hz to 50Hz, I feel a flicker. Usually, this flickering sensation causes discomfort, and measures are taken to suppress this frequency band peak. However, it is necessary to present a frame that changes with time in order to express how the object shines, such as sparkling water, metallic luster, metallic texture, and star blink.
  • Non-Patent Document 1 there is a limit point (detection limit) at which a human feels flickering of a time-series image, although it varies depending on the presentation pattern period and the environment.
  • FIG. 2 is a block diagram showing an image processing apparatus according to the second embodiment of the present invention.
  • the image processing apparatus 110 includes a multi-view image display unit 1, an attention area designation unit 2, a right-eye image correction unit 3, and a left-eye image correction unit 4. And a right eye correction amount time series fluctuation unit 5, a left eye correction amount time series fluctuation unit 6, and a parallax generation unit 9.
  • the multi-eye image display unit 1 includes a right eye image display unit 7 and a left eye image display unit 8.
  • the right eye image correction unit 3 and the right eye correction amount time series changing unit 5 constitute a right eye image processing unit.
  • the left eye image correcting unit 4 and the left eye correction amount time series varying unit 6 constitute a left eye image processing unit.
  • the input image signal is input to the right eye image correction unit 3 and the left eye image correction unit 4, respectively.
  • the right eye image correction unit 3 and the left eye image correction unit 4 are blocks that perform color gradation correction such as contrast correction and tone curve correction on the input image frame.
  • the image correction unit 11 is a block that performs contrast correction on the luminance signal.
  • the input RGB signal is separated into luminance Y and color difference UV by the luminance separation unit 12.
  • the contrast correction unit performs contrast correction only for the luminance Y.
  • An example of the contrast correction method is tone curve correction using the contrast correction tone curve 71 of FIG.
  • the contrast correction tone curve 71 can control the contrast correction intensity by applying the correction amount C to the highlight control point 72 and the shadow control point 73.
  • the luminance signal Y ′ after contrast correction is again synthesized with the color difference UV by the RGB conversion unit 14 and converted to RGB.
  • the image correction unit 21 is a block that performs brightness correction on the luminance signal.
  • the input RGB signal is separated into luminance Y and color difference UV by the luminance separation unit 22.
  • the brightness correction unit performs tone curve correction for changing the brightness of the entire image with respect to the luminance Y.
  • An example of the brightness correction method is tone curve correction using the brightness correction tone curve 74 of FIG.
  • the brightness correction tone curve 74 can control the brightness of the entire image by applying the correction amount D to the brightness control point 75.
  • the luminance signal Y ′ after the brightness correction is again synthesized with the color difference UV by the RGB converter 24 and converted to RGB.
  • the image correction unit 31 is a block that corrects the saturation signal of the image.
  • the input RGB signal is separated into hue H, brightness I, and saturation S by the HSI converter 32.
  • An example of the HSI conversion method is a conversion method using a hexagonal pyramid model. These conversion methods to the HSI coordinate system are known, and are described in Takagi and Shimoda supervision, “New Edition Image Analysis Handbook”, The University of Tokyo Press, pp.1187-1196, 2004 (Non-patent Document 2) and the like.
  • the saturation S is a color saturation and a value representing the vividness of the color.
  • the saturation correction unit 33 performs enhancement or suppression processing on the saturation S.
  • Expression (1) amplifies the saturation S by the correction amount m, and the entire image is vividly converted as m increases.
  • the saturation signal S ′ after saturation correction is again combined with the hue H and lightness I by the RGB converter 34 and converted to RGB.
  • S ′ m ⁇ S (1)
  • the right eye correction amount time-series variation unit 5 and the left eye correction amount time-series variation unit 6 are blocks that output a correction amount C, D, or m that varies according to a predetermined rule. An example of the operation of the right eye correction amount time-series variation unit 5 and the left eye correction amount time-series variation unit 6 will be described.
  • T1 (t) F ((t)% N) +1)
  • T2 (t) G ((t)% N) +1) (2)
  • N correction amounts determined in advance are sequentially applied in accordance with time t.
  • the correction amount can be switched in units of a plurality of frames.
  • N 12
  • F (n) ⁇ 1, 1, 1, 1, 3, 3, 3, 10, 10, 10, 10 ⁇
  • the correction amount is 1 every 4 frames.
  • 3 and 10 can be switched.
  • T1 (t) F (1)
  • T2 (t) F ((t% N) +1) (3)
  • the correction amount of the right eye correction image is fixed, but conversely, the image on the right eye T1 side may be corrected by fixing the left eye T2 side.
  • the right eye image correction unit 3 and the left eye image correction unit 4 perform correction using the correction amounts C, D, or m generated by the right eye correction amount time series fluctuation unit 5 and the left eye correction amount time series fluctuation unit 6. Execute the process.
  • the parallax generation unit 9 is made to act on the output of the left eye image correction unit 4.
  • the parallax generation unit 9 adds horizontal parallax to only one image for stereoscopic viewing. Specifically, a process of translating each pixel in accordance with the depth of each pixel of the image is performed. For example, by setting the movement amount to 0 for an object in the distance, and displaying the image obtained by moving the area pixel of the nearby object X by d in the horizontal direction and the right eye image on both eyes. , The object X can be made to appear to be raised.
  • the parallax generation unit 9 is disposed after the left eye image correction unit 4, but may be disposed after the right eye image correction unit 3. Further, when stereoscopic viewing is not performed, the amount of parallax movement may be set to zero.
  • the output of the parallax generation unit 9 and the output of one of the right eye image correction unit 3 are input to the multi-eye image display unit 1.
  • the multi-eye image display unit 1 is a display device capable of presenting different images at different viewpoint positions, and includes a right-eye image display unit 7 that displays a right-eye display image and a left eye that displays a left-eye display image. And an image display unit 8.
  • the multi-eye image display unit 1 can display the right eye image and the left eye image in association with different viewpoints (for the right eye and for the left eye). Therefore, it is often used as a stereoscopic display.
  • the multi-view image display unit 45 As another example of the multi-view image display unit 1, there is a multi-view image display unit 45 using a lenticular lens as shown in FIG.
  • the multi-view image display unit 45 is obtained by mounting lenticular lenses arranged side by side on the front surface of the liquid crystal panel 42. Images corresponding to the respective viewpoints are stored in the right eye image buffer 43 and the left eye image buffer 44.
  • the right eye image and the left eye image are alternately synthesized in a strip shape and displayed in accordance with the size of the lenticular lens. Since the optical path is bent by the lenticular lens, it is possible to display images corresponding to the human left eye and right eye, and images corresponding to a plurality of viewpoints. Note that when the parallax information is input to the input image signal, the parallax generation unit 9 is not essential.
  • the multi-view image display unit is not limited to these.
  • an anaglyph method using color filters of different colors for the left and right eyes and an anaglyph method are developed to divide the wavelength range of visible light into six and use three different regions for the left and right eyes.
  • liquid crystal shutter glasses stereo shutter glasses
  • a barrier method that uses a parallax barrier (parallax barrier) to limit light reaching the left and right eyes, and each image corresponding to the left and right eyes is displayed on the display device in a time-sharing manner.
  • Scanning backlight method, etc. which switches the light input in the backlight of the display device in the right and left directions by time division and also uses the lens to control the image entering the eye and the direction of light in time division There is.
  • a viewer method or the like in which a display device corresponding to each eye is arranged in a near-eye method in front of the eyes in a form such as a head-mounted display, and an image corresponding to each eye is displayed on each display device.
  • the present embodiment can be suitably applied to such various types of multi-view display means.
  • This is the image processing method according to the present embodiment, and the image generated by this processing is processed as necessary according to the method of various multi-view image display units, and is observed through the multi-view image display unit. This is because multi-view information can be recognized.
  • the attention area designation section 2 is a block for designating a partial area that the viewer wants to pay attention to from the image.
  • An example of the attention area is shown in FIG. FIG. 8 shows a person image 62, and an area surrounded by a rectangle is an attention area 61.
  • the face area of the person in front is specified.
  • the product area in the advertisement image can be considered as the attention area.
  • an area specifying method there is a method of specifying using an input device such as a mouse. There is also a method of automatically detecting from each image frame using an image recognition technique.
  • FIG. 9 is a flowchart showing the operation of the image processing apparatus according to this embodiment. As shown in FIG. 9, first, an image signal is input. In the present embodiment, a moving image is input, but even a still image can be processed in the same manner.
  • the image signal is input to the right eye image correction unit 3 and the left eye image correction unit 4 (step S1).
  • the image signal input to the right eye image correction unit 3 is separated into a luminance signal and a color difference signal.
  • the right eye correction amount time-series variation unit 5 and the left eye correction amount time-series variation unit 6 generate correction amounts that change according to a predetermined rule (steps S2 and S3).
  • the right eye image correction unit 3 corrects the luminance signal with the correction amount generated by the right eye correction amount time-series variation unit 5, and generates a correction signal by performing RGB conversion on the corrected luminance signal and color difference signal.
  • the left eye image correction unit 4 also generates a correction signal using the correction amount generated by the left eye correction amount time-series variation unit 6 from the input image signal (step S5).
  • the signal corrected by the left eye correction amount time-series variation unit 6 is input to the parallax generation unit 9 to be a predetermined parallax image (step S6). Thereafter, the right eye image and the left eye image are displayed on the multi-view image display unit 1 (step S7).
  • FIG. 10 is a block diagram showing an image processing apparatus according to the third embodiment of the present invention.
  • the image processing apparatus 120 includes a multi-view image display unit 81, a frame switching unit 82, a first image correction unit 83, a second image correction unit 84, and an Nth image correction.
  • the multi-eye image display unit 81 includes a right eye image display unit 87 and a left eye image display unit 88.
  • the input image signals are respectively input to N image correction units including a first image correction unit 83, a second image correction unit 84, and an Nth image correction unit 85.
  • the first image correction unit 83, the second image correction unit 84, and the Nth image correction unit 85 perform an image correction process on the image frame.
  • the image correction unit there is the image correction unit 11 that performs the contrast correction shown in FIG.
  • the image correction unit 21 there is an image correction unit 21 that performs brightness correction shown in FIG.
  • Each operation is the same as in the first embodiment.
  • the frame switching unit 82 is a block that extracts two image frames for right eye image display and left eye image display from the output image frames of the N image correction units. Although it is assumed that the N image correction units perform correction processing using N different correction amounts, a part of the N image correction units may be corrected using the same correction amount.
  • the frame switching unit 82 outputs N image frames corresponding to the N image correction units while switching according to a predetermined rule. The operation of the frame switching unit 82 will be described.
  • N corrected images are combined two by two in order of number and distributed to the right eye and left eye display images.
  • the corrected image can be switched in units of a plurality of frames.
  • N 12
  • Ur (t) ⁇ I (1), I (1), I (3), I (3), I (10), I (10), I (12), I (12 ) ⁇
  • the right eye image can be switched to the first, third, tenth, and twelfth corrected images every two frames.
  • Ur (t) and Ul (t) in Expression (5) are examples in which the right and left corrected images are fixed.
  • the right eye display image is fixed, but the left eye display image may be fixed.
  • the parallax generation unit 89 is caused to act on one output of the frame switching unit 82.
  • the parallax generation unit 89 adds horizontal parallax to only one image for stereoscopic viewing, and operates in the same manner as the parallax generation unit 9. Note that when the parallax information is input to the input image signal, the parallax generation unit 89 is not essential.
  • the output of the parallax generation unit 89 and the other output of the frame switching unit 82 are input to the multi-view image display unit 81.
  • the multi-eye image display unit 81 is a display device capable of presenting different images to the right and left eyes of a person, and includes a right-eye image display unit 87 that displays an image for the right eye on the right eye,
  • the left eye image display unit 8 displays an eye image on the left eye.
  • the multi-view image display unit 81 operates in the same manner as the multi-view image display unit in the first embodiment.
  • the attention area designation unit 86 is a block for designating a partial area that the viewer wants to pay attention to from the image, and is a means for performing the same movement as the attention area designation unit 2.
  • the designated attention area is reflected in the N image correction means, and the N image correction units perform image correction only in the attention area.
  • the hardware configuration has been described.
  • the present invention is not limited to this, and arbitrary processing may be realized by causing a CPU (Central Processing Unit) to execute a computer program.
  • the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another communication medium.
  • the storage medium includes, for example, a flexible disk, a hard disk, a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD, a ROM cartridge, a battery-backed RAM memory cartridge, a flash memory cartridge, and a nonvolatile RAM cartridge.
  • the communication medium includes a wired communication medium such as a telephone line, a wireless communication medium such as a microwave line, and the like.
  • the present invention can be applied to an image processing method, an image processing apparatus, and a program for improving display quality in a system that displays different images at a plurality of viewpoints.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

　鮮鋭感を向上させることができる画像処理方法、画像処理装置及びプログラムを提供する。画像処理装置１００は、右眼に表示する右眼画像を出力する右眼画像処理部１０１と、左眼に表示する左眼画像を出力する左眼画像処理部１０２と、右眼画像及び左眼画像を異なる視点にそれぞれ表示する多眼画像表示部とを有する。右眼画像処理部１０１及び／又は左眼画像処理部１０２は、入力画像に対して補正処理するものであって、右眼画像と左眼画像の補正量のうち少なくとも一方を時間に応じて変動させる。

Description

画像処理方法、画像処理装置及び記録媒体
　本発明は、複数の視点に異なる画像を表示するシステムにおいて表示品質を向上させる画像処理方法、画像処理装置及びプログラムに関する。
　従来、特許文献１、特許文献２及び特許文献３に、左右の眼に対応した輝度成分が互いに異なる画像を生成し、これらを表示する技術が開示されている。特許文献１では、左右の画像の一方の輝度を相対的に高くすることにより、また特許文献２、３では、一方の画像のコントラストを強調することにより、立体感や光沢感を得ている。
　図１１は、従来の画像処理装置の一例を示す図である。従来の画像処理装置３００は、両眼画像表示部３０１と、右画像輝度補正部３０２と、左画像輝度補正部３０３とから構成されている。両眼画像表示部３０１は、右眼画像表示部３０４と、左眼画像表示部３０５とを含む。入力された画像信号は、右画像輝度補正部３０２と、左画像輝度補正部３０３にそれぞれ入力される。右画像輝度補正手段３０２は、画像信号から輝度Ｙを抽出した後に明暗のコントラストを強調する。 
　コントラスト強調方法の一例として、図１２に示す第１のトーンカーブ５１を輝度Ｙに作用させる方法がある。左画像輝度補正部３０３は、右画像とは異なるパラメータを用いて輝度を補正する。左画像輝度補正部３０３の一例として、第２のトーンカーブ５２を輝度Ｙに作用させる方法がある。第２のトーンカーブ５２は、第１のトーンカーブ５１に比べると傾きが小さく、コントラスト強調効果が低い特性になっている。
　両眼画像表示部３０１は、人の右眼と左眼に異なる画像を提示することが可能な表示装置であり、立体ディスプレイとして利用されている。両眼画像表示部３０１の例としては、左右の画像投影部に異なる偏光フィルタを装着し、観察者の方で偏光眼鏡を通して両眼視するものがある。
特開平１０－２２４８２２号公報 特開２００４－２２９８８１号公報 特表平１１－５１１３１６号公報
　しかしながら、従来の技術においては、時間的な変動を利用していないため、反射光による物体の光沢感、及びメタリックな材質感などの質感を強調することができないという問題点もある。
　本発明は、このような問題点を解決するためになされたものであり、両眼に異なる画像を表示することによって、画像品質を向上させる画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
　上述した課題を解決するために、本発明に係る画像処理方法は、入力画像を入力する入力工程と、前記入力画像から、右眼に表示する右眼画像及び左眼に表示する左眼画像を補正処理して出力する画像補正工程とを有し、前記画像補正工程では、前記右眼画像と前記左眼画像の補正量を時間に応じて変動させるものである。
　本発明にかかる画像表示装置は、右眼に表示する右眼画像を出力する右眼画像出力手段と、左眼に表示する左眼画像を出力する左眼画像出力手段とを有し、前記右眼画像出力手段及び／又は左眼画像出力手段は入力画像に対して補正処理するものであって、前記右眼画像と前記左眼画像の補正量のうち少なくとも一方を時間に応じて変動させる、ものである。
　本発明によれば、鮮鋭感を向上させることができる画像処理方法、画像処理装置及びプログラムを提供することができる。
本発明の第１の実施の形態にかかる画像処理装置を示すブロック図である。 本発明の第２の実施の形態にかかる画像処理装置を示すブロック図である。 右眼画像補正部、左眼画像補正部４の一例として、画像補正部を示す図である。 コントラスト補正トーンカーブ及び明度補正トーンカーブを示す図である。 右眼画像補正部、左眼画像補正部４の他の一例として、画像補正部を示す図である。 右眼画像補正部、左眼画像補正部４の他の一例として、画像補正部を示す図である。 レンチキュラーレンズを用いた多眼画像表示部を示す図である。 注目領域の一例を示す図である。 本発明の実施の形態２にかかる画像処理装置の動作を示すフローチャートである。 本発明の第３の実施の形態にかかる画像処理装置を示すブロック図である。 従来の画像処理装置の一例を示す図である。 第１のトーンカーブを示す図である。
符号の説明
１　多眼画像表示部
２、８６　注目領域指定部
３、８３　右眼画像補正部
４、８４　左眼画像補正部
５　右眼補正量時系列変動部
６　左眼補正量時系列変動部
７、８７　右眼画像表示部
８、８８　左眼画像表示部
９、８９　視差生成部
１１、８５　画像補正部
１２　輝度分離部
１４、２４、３４　ＲＧＢ変換部
２１　画像補正部
２２　輝度分離部
２４　変換部
３１　画像補正部
３２　ＨＩＳ変換部
３３　彩度補正部
４２　液晶パネル
４３　右眼画像バッファ
４４　左眼画像バッファ
４５　多眼画像表示部
１００、１１０、１２０　画像処理装置
１０１　右眼画像処理部
１０２　左眼画像処理部
１０３　多眼画像表示部
第１の実施の形態.
　以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態１にかかる画像処理装置１００を示す図である。画像処理装置１００は、右眼（第１の視点）に表示する右眼画像を出力する右眼画像処理部１０１と、左眼（第２の視点）に表示する左眼画像を出力する左眼画像処理部１０２とを有する。そして、右眼画像処理部１０１、又は右眼画像処理部１０１及び左眼画像処理部１０２は入力画像に対してコントラスト補正、明度補正、又は彩度補正の正処理をするものであって、右眼画像と左眼画像の補正量を時間に応じて変動させる。入力画像は、動画像である。
　本実施の形態においては、一方の眼の画像を時間的に変動させることにより、視野闘争を意図的に生じさせ、物体の光沢感などの質感を再現することができる。ここで、右眼画像処理部１０１、左眼画像処理部１０２は、同一の入力画像から、異なる補正処理によって補正されたＮ枚の画像を生成し、多眼画像表示部１０３は、右眼に表示する右眼画像と、左眼に表示する左眼画像とをＮ枚の画像中からあらかじめ決められた法則によって、抽出して表示するようにしてもよい。
　また、入力画像において指定された注目領域に対してのみ補正処理を施すようにしてもよい。注目領域を指定することにより視野闘争を起こす領域を制限することができるため、視聴者の注目を特定領域に集めることができる。さらに、一方の入力画像に対し水平方向の視差を付加するようにしてもよい。これにより、より画質が向上した視差画像（立体画像）を得ることができる。
第２の実施の形態.
　次に、発明の第２の実施の形態について説明する。ここでは先ず、本実施の形態にかかる画像処理装置において、質感が変化して画質が向上する原理について説明する。大山、今井、和気編、"感覚・知覚心理学ハンドブック"、誠信書房、pp.552-555（非特許文献１）によると、人間が異なる画像を２Ｈｚから５０Ｈｚ程度の範囲で交互に提示すると、ちらつき感を感じる。通常、このちらつき感は不快感の原因となるので、この周波数帯のピークを抑える処置が取られている。しかしながら、水面のきらめきや、金属光沢、メタリックな材質感、星の瞬きなど、物体が輝く様を表現するには、時間的に変化するフレームを提示することが必要である。
　非特許文献１によれば、提示パターン周期や環境によって変化するものの、人間が時系列画像のちらつきを感じる限界点（検知限）が存在する。具体的には、平均輝度値をＢ、変化量ΔＢとしたときに閾変調度Ｇは、Ｇ＝ΔＢ／Ｂで表されるが、閾変調度Ｇとして０．０１付近が、人間が知覚できる限界であることが指摘されている。今８ｂｉｔの入力信号（最大輝度値が２５５）を仮定とすると、フレーム間で約２の輝度差があればちらつきを感じる可能性がある。実際には輝度差１であっても感じる場合があるが、Ｇが０．００１付近まで下がるとほとんど検知することはできないと考えられる。
　この時間変化フレームを従来の単眼視表示で行うと、ちらつき感を生じるために、かえって画質低下を招く場合がある。しかし多眼表示システムによって一方の画像にだけ処理を行うことで、双方の画像が合成されて、知覚するちらつき感が緩和される。このようにして、Ｎ枚のフレームの画像を変化させながら提示することにより、物体の輝き、光沢感などの質感を、脳内に想起させることができる。さらに、両眼で視差を生成することで、立体視においても上記の画質向上効果を与えることができる。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。図２は、本発明の第２の実施の形態にかかる画像処理装置を示すブロック図である。図２に示すように、第２の実施の形態にかかる画像処理装置１１０は、多眼画像表示部１と、注目領域指定部２と、右眼画像補正部３と、左眼画像補正部４と、右眼補正量時系列変動部５と、左眼補正量時系列変動部６と、視差生成部９とから構成されている。多眼画像表示部１は、右眼画像表示部７と、左眼画像表示部８とを含む。右眼画像補正部３及び右眼補正量時系列変動部５から右眼画像処理部が構成される。左眼画像補正部４及び左眼補正量時系列変動部６から左眼画像処理部が構成される。
　入力された画像信号は、右眼画像補正部３と左眼画像補正部４にそれぞれ入力される。右眼画像補正部３、左眼画像補正部４は、入力画像フレームに対してコントラスト補正、トーンカーブ補正などの色階調補正を施すブロックである。
　右眼画像補正部３、左眼画像補正部４の一例として、図３に示す画像補正部１１がある。画像補正部１１は、輝度信号に対してコントラスト補正を行うブロックである。入力ＲＧＢ信号は輝度分離部１２によって輝度Ｙと色差ＵＶに分離される。コントラスト補正部は輝度Ｙにのみコントラスト補正を行う。コントラスト補正方法の一例として、図４のコントラスト補正トーンカーブ７１を用いたトーンカーブ補正がある。コントラスト補正トーンカーブ７１は、ハイライト制御点７２とシャドー制御点７３に対し補正量Ｃを作用させることで、コントラスト補正強度を制御することができる。コントラスト補正後の輝度信号Ｙ'は、ＲＧＢ変換部１４によって再び色差ＵＶと合成されてＲＧＢに変換される。
　右眼画像補正部３、左眼画像補正部４の他の一例として、図５に示す画像補正部２１がある。画像補正部２１は、輝度信号に対して明るさの補正を行うブロックである。入力ＲＧＢ信号は輝度分離部２２によって輝度Ｙと色差ＵＶに分離される。明度補正部は輝度Ｙに対して画像全体の明暗を変更するトーンカーブ補正を行う。明度補正方法の一例として、図４の明度補正トーンカーブ７４を用いたトーンカーブ補正がある。明度補正トーンカーブ７４は、明度制御点７５に対し補正量Ｄを作用させることで、画像全体の明るさを制御することができる。明度補正後の輝度信号Ｙ'は、ＲＧＢ変換部２４によって再び色差ＵＶと合成されてＲＧＢに変換される。
　右眼画像補正部３、左眼画像補正部４の他の一例として、図６に示す画像補正部３１がある。画像補正部３１は、画像の彩度信号に対して補正を行うブロックである。入力ＲＧＢ信号はＨＳＩ変換部３２によって色相Ｈ、明度Ｉ、彩度Ｓに分離される。ＨＳＩ変換方法の一例として６角錐モデルによる変換方法がある。これらのＨＳＩ座標系への変換方法は公知であり、高木、下田監修、"新編　画像解析ハンドブック"　、東京大学出版会、pp.1187-1196, 2004（非特許文献２）等に記載されている。彩度Ｓは、色の飽和度であり色の鮮やかさを表す値である。彩度補正部３３は、彩度Ｓに対して強調あるいは抑制処理を施す。彩度補正部３３の一例として式（１）による強調方法がある。式（１）は補正量ｍによって彩度Ｓを増幅させるもので、ｍが大きくなるにつれて、画像全体が色鮮やかに変換される。彩度補正後の彩度信号Ｓ'は、ＲＧＢ変換部３４によって再び色相Ｈ、明度Ｉと合成されてＲＧＢに変換される。
Ｓ'＝ｍ×Ｓ　　　・・・（１）
　右眼補正量時系列変動部５、及び左眼補正量時系列変動部６は、あらかじめ定められた規則に従って変化する補正量Ｃ、Ｄ、又はｍを出力するブロックである。右眼補正量時系列変動部５と左眼補正量時系列変動部６の動作の一例を示す。右眼補正量時系列変動部５にはＮ個の補正量セットＦ（ｎ） （ｎ＝１...．Ｎ）が保存されている。左眼補正量時系列変動部６にＮ個の補正量セットＧ（ｎ） （ｎ＝１...．Ｎ）が保存されている。時間ｔにおける右眼及び左眼補正量算出の一例として、式（３）のＴ１（ｔ）,Ｔ２（ｔ）がある。
Ｔ１（ｔ）＝Ｆ（（ｔ）％Ｎ）＋１）
Ｔ２（ｔ）＝Ｇ（（ｔ）％Ｎ）＋１）　　　・・・（２）
　式（２）の％は剰余を表す。式（２）では、予め定められたＮ個の補正量を時間ｔに合わせて順番に適用していくものである。また動画像への適用の場合、複数フレーム単位で補正量を切り替えることも可能である。一例として例えば、Ｎ＝１２、Ｆ（ｎ）＝｛１，１，１，１，３，３，３，３，１０，１０，１０，１０｝とすれば、４フレームごとに補正量を１，３，１０と切り替えることができる。また、左右の片方の補正量を固定した例として、式（３）のＴ１（ｔ）、Ｔ２（ｔ）がある。
Ｔ１（ｔ）＝Ｆ（１）
Ｔ２（ｔ）＝Ｆ（（ｔ％Ｎ）＋１）　　　・・・（３）
　式（３）は、右眼補正画像の補正量Ｔ１（ｔ）は固定のまま、左眼補正画像の補正量Ｔ２（ｔ）のみを１からＮ番目まで順次切り替えていくことを示している。Ｎ＝２とすれば第２の補正量Ｔ２（ｔ）側において、２つの補正量による画像が順次切り替わる。式（３）では右眼補正画像の補正量を固定としているが、逆に左眼Ｔ２側を固定として右眼Ｔ１側の画像を補正してもよい。右眼補正量時系列変動部５、及び左眼補正量時系列変動部６が生成する補正量Ｃ、Ｄ、又はｍを使用して右眼画像補正部３、左眼画像補正部４が補正処理を実行する。
　次に左眼画像補正部４の出力に対して、視差生成部９を作用させる。視差生成部９は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものである。具体的には、画像の各画素の奥行きに合わせて画素ごとに平行移動させる処理を行う。例えば、遠方にある物体については移動量を０とし、近くの物体Ｘの領域画素を、水平方向にｄだけ移動させることで得られた画像と、右眼画像とを両眼に表示させることで、物体Ｘを手前に浮き出るように見せることができる。なお、本実施例では視差生成部９を、左眼画像補正部４の後に配置したが、右眼画像補正部３の後に配置することもできる。また立体視を行わないときには視差移動量を０とすればよい。
　視差生成部９の出力と、右眼画像補正部３の片方の出力は、多眼画像表示部１に入力される。多眼画像表示部１は、異なる視点位置に異なる画像を提示することが可能な表示装置であり、右眼表示画像を表示する右眼画像表示部７と、左眼表示画像を表示する左眼画像表示部８とから構成されている。多眼画像表示部１は、右眼画像及び左眼画像を、異なる視点（右眼用、左眼用）にそれぞれ対応させて表示させることができる。そのため、立体ディスプレイとして利用されることが多い。多眼画像表示部１の例としては、右眼画像表示部と左眼画像表示部に異なる偏光フィルタを装着し、観察者のほうで偏光眼鏡を通して両眼視するものがある。
　また多眼画像表示部１の他の例として、図７に示すようなレンチキュラーレンズを用い多眼画像表示部４５がある。多眼画像表示部４５は、レンチキュラーレンズを横に並べたものを、液晶パネル４２の前面に装着したものである。右眼画像バッファ４３と、左眼画像バッファ４４とにそれぞれの視点に対応した画像が蓄積されている。液晶パネル４２では、レンチキュラーレンズの大きさに合わせて右眼画像と左眼画像を短冊状に交互に合成して表示する。レンチキュラーレンズによって光路が曲げられることで、人間の左眼と右眼に対応した画像や、複数の視点に対応した画像を表示することが可能となる。なお、入力画像信号に視差情報が入力されている場合は、視差生成部９は必須ではない。
　図７に多眼画像表示部を示したが、多眼画像表示部は、これらに限るわけでない。例えば、眼鏡方式では、左右の眼に対し異なる色の色フィルタを用いるアナグリフ方式、アナグリフ方式を発展させ可視光の波長領域を６個に分割し左右の各眼に対し異なる３領域を使用する方式、また、液晶シャッター眼鏡（ステレオシャッター眼鏡）を用いて左右の眼に対応する各画像を時間軸方向に分割して順に表示し対応する眼の眼鏡を透過状態にする方式等がある。また、例えば、裸眼方式では、視差バリア（パララックスバリア）を用い左右の各眼に届く光を制限するバリヤ方式や、さらに左右の眼に対応する各画像を時分割で表示装置に表示すると共に表 示装置のバックライトでの光の入れ方を右方向と左方向と時分割で切り替え更にレンズを併用することによって眼に入る画像と光の方向を時分割に制御するスキャ ンバックライト方式等がある。
　更に別の方式として、ヘッドマウントディスプレイ等の形式により各眼に対応した表示装置を目の直前におくニアアイ方式で配置 し、各表示装置に各眼に対応した画像を表示するビューワ方式等がある。このような様々な各方式の多眼表示手段に対し、本実施の形態は、好適に適用できる。なぜなら本実施の形態にかかる画像処理方法であり、本処理によって生成された画像は、各種の多眼画像表示部の方式に合わせた必要に応じて加工され多眼画像表示部を通し観察されることにより、多眼情報を認識することができるためである。
　注目領域指定部２は、画像中から視聴者が注意したい部分領域を指定するブロックである。注目領域の一例を図８に示す。図８は人物画像６２を表しており、その中の矩形で囲まれた領域が注目領域６１である。このケースでは、手前の人物の顔領域が指定されている。人物の顔以外にも、広告画像中の商品領域などが注目領域として考えられる。領域指定方法としては、マウスなどの入力機器を用いて指定する方法がある。また画像認識技術を用いて自動的に各画像フレーム中から検出する方法がある。
　次に、本実施の形態にかかる画像処理装置の動作について説明する。図９は、本実施の形態にかかる画像処理装置の動作を示すフローチャートである。図９に示すように、先ず、画像信号を入力する。本実施の形態においては、動画を入力することとしているが、静止画であっても同様に処理することができる。
　画像信号は、右眼画像補正部３及び左眼画像補正部４に入力される（ステップＳ１）。右眼画像補正部３に入力された画像信号は、輝度信号と色差信号に分離さる。次に、右眼補正量時系列変動部５、左眼補正量時系列変動部６により、あらかじめ定められた規則に従って変化する補正量を生成する（ステップＳ２、３）。そして、右眼画像補正部３は、輝度信号を右眼補正量時系列変動部５が生成した補正量で補正し、補正した輝度信号と色差信号がＲＧＢ変換されることで、補正信号を生成する（ステップＳ４）。左眼画像補正部４においても、入力された画像信号から左眼補正量時系列変動部６が生成した補正量を使用して補正信号が生成される（ステップＳ５）。
　次に、左眼補正量時系列変動部６にて補正された信号は、視差生成部９に入力され、所定の視差画像とされる(ステップＳ６)。その後、多眼画像表示部１にて右目画像及び左目画像を表示する(ステップＳ７)。
　本実施の形態においては、一方の眼の画像を時間的に変動させることと、視野闘争を意図的に生じさせることにより、物体の光沢感などの質感を再現することができる。また、入力画像において指定された注目領域に対してのみ補正処理を施すことにより視野闘争を起こす領域を制限することができるため、視聴者の注目を特定領域に集めることができる。さらに、一方の入力画像に対し水平方向の視差を付加することにより、より画質が向上した視差画像（立体画像）を得ることができる。
第３の実施の形態.
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図１０は、本発明の第３の実施の形態にかかる画像処理装置を示すブロック図である。図１０に示すように、画像処理装置１２０は、多眼画像表示部８１と、フレーム切り替え部８２と、第１の画像補正部８３と、第２の画像補正部８４と、第Ｎの画像補正部８５と、注目領域指定部８６と、視差生成部８９とから構成されている。多眼画像表示部８１は、右眼画像表示部８７と、左眼画像表示部８８とを含む。
　入力された画像信号は、第１の画像補正部８３、第２の画像補正部８４、第Ｎの画像補正部８５からなるＮ個の画像補正部にそれぞれ入力される。第１の画像補正部８３、第２の画像補正部８４、および第Ｎの画像補正部８５は、画像フレームに対して画像補正処理を施す。画像補正部の一例として、図３に示したコントラスト補正を行う画像補正部１１がある。画像補正部の他の一例として、図５に示した明度補正を行う画像補正部２１がある。画像補正部の更に他の一例として、図６に示した彩度補正を行う画像補正部３１がある。それぞれの動作については第１の実施の形態と同様である。
　フレーム切り替え部８２は、前記Ｎ個の画像補正部の出力画像フレームから、右眼画像表示用と左眼画像表示用の２つの画像フレームを抽出するブロックである。前記Ｎ個の画像補正部では、Ｎ個の異なる補正量によって補正処理することを想定しているが、Ｎ個の画像補正部の一部を同じ補正量によって補正処理してもよい。フレーム切り替え部８２は、Ｎ個の画像補正部に対応したＮ個の画像フレームをあらかじめ定められた規則に従って、切り替えながら出力する。フレーム切り替え部８２の動作について説明する。第ｎの画像補正部（ｎ＝１...．Ｎ）の出力画像をＩ（ｎ）とする。フレーム切り替え部８２の出力画像算出の一例として、式（４）のＵｒ（ｔ）, Ｕｌ（ｔ）がある。Ｕｒ（ｔ）は右眼表示画像、Ｕｌ（ｔ）は左眼表示画像である。
Ｕｒ（ｔ）＝Ｉ（ｔ，（ｔ％Ｎ）＋１）
Ｕｌ（ｔ）＝Ｉ（ｔ，（ｔ％Ｎ）＋２）　　　・・・（４）
　式（４）の％は剰余を表す。式（４）では、Ｎ枚の補正画像を番号順に２枚ずつ組み合わせて、右眼及び左眼表示映像に振り分けるものである。また動画像の場合、複数フレーム単位で補正画像を切り替えることも可能である。例えば、Ｎ＝１２, Ｕｒ（ｔ）＝｛Ｉ（１），Ｉ（１），Ｉ（３），Ｉ（３），Ｉ（１０），Ｉ（１０），Ｉ（１２），Ｉ（１２）｝とすれば、右眼画像を２フレームごとに第１番目、第３番目、第１０番目、第１２番目の補正画像に切り替えることができる。また左右の片方の補正画像を固定した例として、式（５）のＵｒ（ｔ），Ｕｌ（ｔ）がある。
Ｕｒ（ｔ）＝Ｉ（ｔ，１）
Ｕｌ（ｔ）＝Ｉ（ｔ，（ｔ％Ｎ））　　　・・・（５）
　式（５）では、右眼表示画像は固定のままで、左眼表示画像のみを１からＮ番目まで順次切り替えていくものである。また、Ｎ＝２の場合には、左右の画像を定期的に切り替える動作をさせることができる。式（５）では右眼表示映像を固定としているが、逆に左眼表示映像を固定としてもよい。
　次にフレーム切り替え部８２の一方の出力に対して、視差生成部８９を作用させる。視差生成部８９は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものであり、視差生成部９と同等の動作をする。なお、入力画像信号に視差情報が入力されている場合は、視差生成部８９は必須ではない。
　視差生成部８９の出力と、フレーム切り替え部８２の他方の出力は、多眼画像表示部８１に入力される。多眼画像表示部８１は、人の右眼と左眼に異なる画像を提示することが可能な表示装置であり、右眼用の画像を右眼に表示する右眼画像表示部８７と、左眼用の画像を左眼に表示する左眼画像表示部８とから構成されている。多眼画像表示部８１は、第１の実施の形態における多眼画像表示部と同等の動作をする。
　注目領域指定部８６は、画像中から視聴者が注意したい部分領域を指定するブロックであり、注目領域指定部２と同等の動きをする手段である。指定した注目領域は、Ｎ個の画像補正手段に反映され、Ｎ個の画像補正部では注目領域内にのみ画像補正を施す。
　本実施の形態においては、Ｎ枚のフレームの画像を変化させながら提示することにより、物体の輝き、光沢感などの質感を、脳内に想起させることができる。さらに、両眼で視差を生成することで、立体視においても画質向上効果を与えることができる。
　例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００８年４月３日に出願された日本出願特願２００８－０９６７７３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、複数の視点に異なる画像を表示するシステムにおいて表示品質を向上させる画像処理方法、画像処理装置及びプログラムに適用することができる。

Claims (14)

  1. 　入力画像から、右眼に表示する右眼画像及び左眼に表示する左眼画像を補正処理して出力する画像補正工程を有し、
    　前記画像補正工程では、前記右眼画像と前記左眼画像の補正量のうち少なくとも一方を時間に応じて変動させる、画像処理方法。
  2. 　同一の入力画像から、補正量を時間に応じて異ならせたＮ枚の画像を出力する画像補正工程と、
    　右眼に表示する右眼画像と、左眼に表示する左眼画像とを前記Ｎ枚の画像中からあらかじめ決められた法則によって抽出してそれぞれ右眼用及び左眼用として表示する表示工程とを有する、画像処理方法。
  3. 　前記補正処理は、コントラスト補正、明度補正、又は彩度補正のいずれかである
    　ことを特徴とする請求項１又は２記載の画像処理方法。
  4. 　入力画像において指定された注目領域に対してのみ前記補正処理を施す
    　ことを特徴とする請求項１乃至３のいずれか１項記載の画像処理方法。
  5. 　一方の前記入力画像に対し水平方向の視差を付加する
    　ことを特徴とする請求項１乃至４のいずれか１項記載の画像処理方法。
  6. 　前記画像補正工程では、左右の補正量を異ならせる
    　ことを特徴とする請求項１乃至５のいずれか１項記載の画像処理方法。
  7. 　右眼に表示する右眼画像を出力する右眼画像出力手段と、
    　左眼に表示する左眼画像を出力する左眼画像出力手段とを有し、
    　前記右眼画像出力手段及び／又は左眼画像出力手段は入力画像に対して補正処理するものであって、前記右眼画像と前記左眼画像の補正量のうち少なくとも一方を時間に応じて変動させる、画像処理装置。
  8. 　同一の入力画像から、補正量を時間に応じて異ならせたＮ枚の画像を出力する画像出力手段と、
    　右眼に表示する右眼画像と、左眼に表示する左眼画像とを前記Ｎ枚の画像中からあらかじめ決められた法則によって抽出し、それぞれ右眼用及び左眼用として表示する多眼画像表示手段を有する、画像処理装置。
  9. 　前記画像出力手段は、前記補正処理として、コントラスト補正、明度補正、又は彩度補正のいずれかを実行する
    　ことを特徴とする請求項７又は８記載の画像処理装置。
  10. 　入力画像において注目領域を指定する注目領域指定手段を更に有し、
    　注目領域指定手段は、前記注目領域に対してのみ前記補正処理を施す
    　ことを特徴とする請求項７乃至９のいずれか１項記載の画像処理装置。
  11. 　一方の前記入力画像に対し水平方向の視差を付加する視差生成手段を更に有する
    　ことを特徴とする請求項７乃至１０のいずれか１項記載の画像処理装置。
  12. 　前記画像出力手段は、右眼画像と左眼画像とでそれぞれ補正量を異ならせる
    　ことを特徴とする請求項７乃至１１のいずれか１項記載の画像処理装置。
  13. 　所定の動作をコンピュータに実行させるためのプログラムを格納した記録媒体であって、
    　前記入力画像から、右眼に表示する右眼画像及び左眼に表示する左眼画像を補正処理して出力する画像補正工程を有し、
    　前記画像補正工程では、前記右眼画像と前記左眼画像の補正量のうち少なくとも一方を時間に応じて変動させる、プログラムを格納した記録媒体。
  14. 　所定の動作をコンピュータに実行させるためのプログラムを格納した記録媒体であって、
    　同一の入力画像から、異なる補正処理によって補正されたＮ枚の画像を生成する画像補正工程と、
    　右眼に表示する右眼画像と、左眼に表示する左眼画像とを前記Ｎ枚の画像中からあらかじめ決められた法則によって、抽出する抽出工程とを有する、プログラムを格納した記録媒体。
PCT/JP2009/056337 2008-04-03 2009-03-27 画像処理方法、画像処理装置及び記録媒体 Ceased WO2009123067A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09726901.3A EP2259600B1 (en) 2008-04-03 2009-03-27 Image processing method, image processing device, and recording medium
JP2010505854A JP5522404B2 (ja) 2008-04-03 2009-03-27 画像処理方法、画像処理装置及びプログラム
US12/921,057 US9380284B2 (en) 2008-04-03 2009-03-27 Image processing method, image processing device and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008096773 2008-04-03
JP2008-096773 2008-04-03

Publications (1)

Publication Number Publication Date
WO2009123067A1 true WO2009123067A1 (ja) 2009-10-08

Family

ID=41135445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/056337 Ceased WO2009123067A1 (ja) 2008-04-03 2009-03-27 画像処理方法、画像処理装置及び記録媒体

Country Status (4)

Country Link
US (1) US9380284B2 (ja)
EP (1) EP2259600B1 (ja)
JP (1) JP5522404B2 (ja)
WO (1) WO2009123067A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053359A (ja) * 2010-09-02 2012-03-15 Canon Inc 画像処理装置およびその方法
WO2012077319A1 (ja) * 2010-12-07 2012-06-14 富士フイルム株式会社 立体視画像表示方法および装置
EP2364032A3 (en) * 2010-03-02 2015-08-12 Comcast Cable Communications, LLC Impairments to 3D Experiences
JP2022519431A (ja) * 2019-02-14 2022-03-24 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー マルチプロジェクタ表示アーキテクチャ
US11989856B2 (en) 2018-12-30 2024-05-21 Elbit Systems Ltd. Systems and methods for reducing image artefacts in binocular displays

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5500066B2 (ja) * 2008-04-03 2014-05-21 Ｎｌｔテクノロジー株式会社 画像処理方法、画像処理装置及びプログラム
JP2012124704A (ja) * 2010-12-08 2012-06-28 Sony Corp 撮像装置および撮像方法
US20130293531A1 (en) * 2012-05-01 2013-11-07 Microsoft Corporation User perception of visual effects
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム
JP2014053651A (ja) * 2012-09-04 2014-03-20 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2014053650A (ja) * 2012-09-04 2014-03-20 Sony Corp 画像処理装置、および画像処理方法
US9319662B2 (en) * 2013-01-16 2016-04-19 Elwha Llc Systems and methods for differentiating between dominant and weak eyes in 3D display technology
JP2014203017A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 画像処理装置、画像処理方法、表示装置、および電子機器
US10341637B1 (en) * 2015-03-11 2019-07-02 Facebook Technologies, Llc Full frame uniformity across panels
CN105185351B (zh) * 2015-10-13 2017-07-28 深圳市华星光电技术有限公司 提升oled显示面板对比度的方法及系统
JP6659163B2 (ja) * 2016-03-16 2020-03-04 キヤノン株式会社 フラッシュバンド判定装置、その制御方法、およびプログラム
KR102656059B1 (ko) * 2016-10-07 2024-04-12 삼성디스플레이 주식회사 머리 장착형 표시장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224822A (ja) 1997-01-31 1998-08-21 Sony Corp 映像表示方法および表示装置
JPH11511316A (ja) 1996-06-07 1999-09-28 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 立体画像ディスプレイ駆動装置
JP2004032726A (ja) * 2003-05-16 2004-01-29 Mega Chips Corp 情報記録装置および情報再生装置
JP2004229881A (ja) 2003-01-30 2004-08-19 Sophia Co Ltd 画像表示装置及び画像表示装置を備える遊技機
JP2004279783A (ja) * 2003-03-17 2004-10-07 Sophia Co Ltd 画像表示装置
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4863258A (en) * 1986-08-29 1989-09-05 Ernest Greene Apparatus and stimulus design for producing and evaluating binocular field effects in vision
JPH07193840A (ja) * 1993-12-27 1995-07-28 Sanyo Electric Co Ltd 立体映像信号の符号化装置及び復号化装置
JPH08107569A (ja) 1994-10-04 1996-04-23 Tokyu Constr Co Ltd 立体映像の伝送方法とその装置
JPH08321992A (ja) 1995-05-24 1996-12-03 Sony Corp 画像処理装置
JP3830013B2 (ja) 2000-03-06 2006-10-04 Ｋｄｄｉ株式会社 ディゾルブ画像の符号化装置
JP2002300525A (ja) 2001-03-30 2002-10-11 Toshiba Corp デジタルビデオ記録装置
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
JP4338551B2 (ja) * 2004-03-04 2009-10-07 富士フイルム株式会社 画像再生方法、画像再生装置及び画像再生プログラム
US7627148B2 (en) * 2004-07-06 2009-12-01 Fujifilm Corporation Image data processing apparatus and method, and image data processing program
IL165852A (en) * 2004-12-19 2010-12-30 Rafael Advanced Defense Sys System and method for image display enhancement
CN101383908B (zh) * 2005-08-19 2012-02-08 松下电器产业株式会社 图像处理方法和图像处理系统
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
US8106865B2 (en) * 2006-06-02 2012-01-31 Semiconductor Energy Laboratory Co., Ltd. Display device and driving method thereof
JP2008016940A (ja) * 2006-07-03 2008-01-24 Seiko Instruments Inc コントラスト自動調整方法
JP4475268B2 (ja) * 2006-10-27 2010-06-09 セイコーエプソン株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器
US8208009B2 (en) * 2008-02-05 2012-06-26 Disney Enterprises, Inc. Stereoscopic image generation using retinal rivalry in scene transitions
JP5500066B2 (ja) * 2008-04-03 2014-05-21 Ｎｌｔテクノロジー株式会社 画像処理方法、画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11511316A (ja) 1996-06-07 1999-09-28 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 立体画像ディスプレイ駆動装置
JPH10224822A (ja) 1997-01-31 1998-08-21 Sony Corp 映像表示方法および表示装置
JP2004229881A (ja) 2003-01-30 2004-08-19 Sophia Co Ltd 画像表示装置及び画像表示装置を備える遊技機
JP2004279783A (ja) * 2003-03-17 2004-10-07 Sophia Co Ltd 画像表示装置
JP2004032726A (ja) * 2003-05-16 2004-01-29 Mega Chips Corp 情報記録装置および情報再生装置
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OOYAMA; IMAI; WAKI: "Sensory and Perceptual Psychology handbook", SEISHIN SHOBOU, pages: 552 - 555
See also references of EP2259600A4
TAKAGI; SHIMODA: "Image Analysis Handbook New Edition", 2004, UNIVERSITY OF TOKYO PRESS, pages: 1187 - 1196

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2364032A3 (en) * 2010-03-02 2015-08-12 Comcast Cable Communications, LLC Impairments to 3D Experiences
JP2012053359A (ja) * 2010-09-02 2012-03-15 Canon Inc 画像処理装置およびその方法
WO2012077319A1 (ja) * 2010-12-07 2012-06-14 富士フイルム株式会社 立体視画像表示方法および装置
US11989856B2 (en) 2018-12-30 2024-05-21 Elbit Systems Ltd. Systems and methods for reducing image artefacts in binocular displays
JP2022519431A (ja) * 2019-02-14 2022-03-24 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー マルチプロジェクタ表示アーキテクチャ

Also Published As

Publication number Publication date
EP2259600A1 (en) 2010-12-08
US20110012899A1 (en) 2011-01-20
JPWO2009123067A1 (ja) 2011-07-28
JP5522404B2 (ja) 2014-06-18
EP2259600B1 (en) 2014-08-20
US9380284B2 (en) 2016-06-28
EP2259600A4 (en) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5522404B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP5500066B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP5615136B2 (ja) 立体画像補正方法、立体表示装置、および立体画像生成装置
JP5327524B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN102124749B (zh) 立体图像显示装置
CN104539935B (zh) 图像亮度的调节方法及调节装置、显示装置
EP2345993A2 (en) Image processing apparatus, image processing method and program
US20140043323A1 (en) Three-dimensional image display apparatus and three-dimensional image processing method
KR20190029331A (ko) 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
CN104112275B (zh) 一种生成视点的方法及装置
CN102932662B (zh) 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
JP2011210027A (ja) 画像処理装置および方法並びにプログラム
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
CN111264057B (zh) 信息处理装置、信息处理方法和记录介质
CN101015220A (zh) 三维图像再现设备
US20120229600A1 (en) Image display method and apparatus thereof
JP5528162B2 (ja) 画像処理装置および画像処理方法
JP2013182192A5 (ja)
EP2549760A2 (en) Method for improving three-dimensional display quality
EP3984214B1 (en) Multifocal display device and method
US9053567B2 (en) Stereoscopic image processing device and stereoscopic image processing method
CN102883169B (zh) 被动式立体影像系统及其影像处理方法
CN102917229A (zh) 用于改善三维显示品质的方法
JP2013187654A (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09726901

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009726901

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12921057

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010505854

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE