[go: up one dir, main page]

WO2025062810A1 - 画像表示装置、画像表示方法、及びプログラム - Google Patents

画像表示装置、画像表示方法、及びプログラム Download PDF

Info

Publication number
WO2025062810A1
WO2025062810A1 PCT/JP2024/025908 JP2024025908W WO2025062810A1 WO 2025062810 A1 WO2025062810 A1 WO 2025062810A1 JP 2024025908 W JP2024025908 W JP 2024025908W WO 2025062810 A1 WO2025062810 A1 WO 2025062810A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
light
pixels
stereoscopic image
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/025908
Other languages
English (en)
French (fr)
Inventor
文彦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2024048457A external-priority patent/JP2025051577A/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2025062810A1 publication Critical patent/WO2025062810A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • This disclosure relates to an image display device, an image display method, and a program.
  • crosstalk occurs, where the 3D image is affected by light emitted from pixels other than the light source that generates the desired 3D image, which can result in blurring, uneven color, and uneven brightness in the 3D image.
  • the present disclosure aims to provide an image display device, an image display method, and a program that can appropriately suppress the occurrence of crosstalk.
  • the image display device includes a gaze detection unit that detects the gaze direction of the user, a rendering unit that causes the display device to render a stereoscopic image according to the gaze direction of the user, a range determination unit that determines an unnecessary light source range that indicates a range of pixels that are candidates for becoming a source of crosstalk light that indicates light rays from a light source other than the light source of the rendered stereoscopic image and that pass through the position of the stereoscopic image, a pixel determination unit that determines, among the pixels in the unnecessary light source range, light source pixels that indicate pixels that are the source of crosstalk light, and a light ray processing unit that performs a predetermined process on the determined light source pixels or the light rays from the light source pixels, and does not allow the light rays from the light source pixels to pass through the position of the stereoscopic image.
  • the image display method includes the steps of detecting the direction of the user's gaze, causing a display device to render a stereoscopic image according to the direction of the user's gaze, identifying an unnecessary light source range indicating a range of candidate pixels that are the source of crosstalk light, which indicates light rays from a light source other than the light source of the rendered stereoscopic image and which pass through the position of the stereoscopic image, identifying light source pixels indicating pixels that are the source of crosstalk light among the pixels in the unnecessary light source range, and performing a predetermined process on the identified light source pixels or the light rays from the light source pixels, and preventing the light rays from the light source pixels from passing through the position of the stereoscopic image.
  • the program disclosed herein causes a computer to execute the steps of detecting the user's line of sight, causing a display device to render a stereoscopic image according to the user's line of sight, identifying an unnecessary light source range indicating a range of candidate pixels that can be the source of crosstalk light, which indicates light rays from a light source other than the light source of the rendered stereoscopic image and which pass through the position of the stereoscopic image, identifying light source pixels that indicate pixels that can be the source of crosstalk light among the pixels in the unnecessary light source range, and performing a predetermined process on the identified light source pixels or the light rays from the light source pixels, and preventing the light rays from the light source pixels from passing through the position of the stereoscopic image.
  • FIG. 1 is a diagram showing an example of the configuration of an image display device according to the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a control device according to the present disclosure.
  • FIG. 3 is a diagram illustrating an example of information stored in a map information storage unit of the control device according to the present disclosure.
  • FIG. 4 is a diagram illustrating an example of information stored in a drawing image storage unit of a control device according to the present disclosure.
  • FIG. 5 is a diagram illustrating an example of the configuration of a gaze detection unit of the control device according to the present disclosure.
  • FIG. 6 is a diagram illustrating the image rendering process performed by the image display device according to the present disclosure.
  • FIG. 7 is a diagram illustrating crosstalk that may occur during rendering by the image display device according to the present disclosure.
  • Figure 8 is a diagram explaining the description of light rays using the Plenoptioc Function.
  • FIG. 9 is a diagram illustrating the processing of the range specifying unit and the light-off instruction unit of the image display device according to the present disclosure.
  • FIG. 10 is a diagram illustrating a configuration example of a light beam processing unit of a control device according to the present disclosure.
  • FIG. 11 is a diagram illustrating the processing of the light beam processing unit of the image display device according to the present disclosure.
  • FIG. 12 is a diagram illustrating a shielding filter of the image display device according to the present disclosure.
  • FIG. 13 is a diagram illustrating a configuration example of a display device according to the present disclosure.
  • FIG. 14 is a flowchart showing the flow of the image display method according to the present disclosure.
  • the control device 100 executes various types of calculation processing and processing to realize functions, and controls the display device 300 to render a stereoscopic image.
  • the control device 100 detects the user's line of sight based on the user's facial image captured by the camera 200, and causes the display device 300 to display a stereoscopic image according to the detected line of sight.
  • Camera 200 captures an image of the user's face.
  • Camera 200 includes an optical element and an imaging element.
  • the optical element is an element that constitutes an optical system, such as a lens, a mirror, a prism, or a filter.
  • the imaging element is an element that converts light incident through the optical element into an image signal, which is an electrical signal.
  • the imaging element may be, for example, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the display device 300 is a device that displays a stereoscopic image.
  • the display device 300 may be a light field display.
  • a light field display displays a stereoscopic image by passing light rays emitted from the display through microlenses to refract the light rays and reproduce the light rays emitted by an object.
  • the light field display may be realized, for example, by an integral imaging method.
  • image display device 1 does not need to be an integrated device including control device 100, camera 200, and display device 300, and each may be an independent device. For example, it may be realized by connecting control device 100, camera 200, and display device 300 to a network and sending and receiving information between them via the network. In that case, image display device 1 can be said to be an image display system composed of control device 100, camera 200, display device 300, and the network.
  • Fig. 2 is a diagram showing an example of the configuration of the control device according to the present disclosure.
  • the control device 100 according to the present disclosure includes an I/F unit 110, a storage unit 120, and a control unit 130. Below, these configurations will be described in order.
  • the I/F unit 110 is responsible for sending and receiving control signals, video signals, and the like, either wired or wirelessly, between the camera 200 and the display device 300.
  • a wired connection it may be realized, for example, by a Universal Serial Bus (USB), a Serial Digital Interface (SDI), or a High-Definition Multimedia Interface (HDMI (registered trademark)).
  • USB Universal Serial Bus
  • SDI Serial Digital Interface
  • HDMI High-Definition Multimedia Interface
  • a wireless connection it may be realized by a wireless LAN (Local Area Network) defined in IEEE 802.11.
  • the memory unit 120 is a storage device that stores various types of information.
  • the memory unit 120 includes a main storage device and an auxiliary storage device.
  • the main storage device may be realized by semiconductor memory elements such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the auxiliary storage device may be realized by a hard disk or SSD (Solid State Drive), for example.
  • the storage unit 120 includes a map information storage unit 121 and a drawing image storage unit 122. Below, an example of the information stored by these components is explained in order.
  • the map information storage unit 121 stores information regarding the relationship between the line of sight direction and the unnecessary light source range.
  • FIG. 3 is a diagram showing an example of information stored in the map information storage unit of the control device according to the present disclosure.
  • the map information storage unit 121 stores information related to the items "line of sight direction,” “X coordinate range,” and “Y coordinate range.”
  • "Gaze direction” is information indicating the direction of the user's gaze, and for example, the user's gaze direction expressed by the Pleoptioc function may be stored.
  • "X coordinate range” is information indicating the X coordinate value of the unnecessary light source range associated with the "gaze direction”.
  • "Y coordinate range” is information indicating the Y coordinate value of the unnecessary light source range associated with the "gaze direction”. Note that the X coordinate and Y coordinate are coordinates indicating a position on the surface of the flat panel display 310, and the two are perpendicular to each other.
  • FIG. 3 shows an example in which the X coordinate range of the unwanted light source range associated with the line of sight direction "LOS#1" is stored as “XCRR#1" and the Y coordinate is stored as “YCRR#1.”
  • map information storage unit 121 is not limited to information related to the items “line of sight direction,” “X coordinate range,” and “Y coordinate range,” and may store information related to the relationship between any other line of sight direction and the unwanted light source range.
  • the drawing image storage unit 122 stores information about the image to be drawn by the display device 300. An example of information stored in the drawing image storage unit 122 will now be described with reference to FIG. 4.
  • FIG. 4 is a diagram showing an example of information stored in the drawing image storage unit of the control device according to the present disclosure.
  • the drawing image storage unit 122 stores information related to the items "image ID" and "image data.”
  • the "video ID” is an identifier that identifies the image for drawing, and is represented by a character string or a number.
  • the "video data” is the video data of the image for drawing that is identified by the "video ID”, and may be, for example, video data captured by a light field camera or video data generated by CG (Computer Graphics).
  • FIG. 4 shows an example in which video data "VDDT#1" of a drawing video identified by video ID "VDID#1" is stored.
  • drawing image storage unit 122 is not limited to information related to the items "image ID" and “image data”, and may store information related to images to be drawn on any other display device 300.
  • the control unit 130 is a controller that executes various arithmetic processes and processes that realize functions.
  • the control unit 130 is realized by a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) executing various programs stored in the storage unit 120 using the RAM as a working area.
  • the control unit 130 may also be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 130 includes a gaze detection unit 131, a rendering unit 132, a range determination unit 133, a pixel determination unit 134, a light processing unit 135, and a brightness increase unit 136.
  • the control unit 130 realizes these functions and executes these processes by reading and executing a program (software) from the storage unit 120. Note that these functions of the control unit 130 may be realized by electronic circuits. Furthermore, the control unit 130 may execute these processes using one CPU, or may include multiple CPUs and execute these processes in parallel using the multiple CPUs. Below, each of these configurations will be explained in order.
  • the gaze detection unit 131 detects the user's gaze direction based on image data in which the user's face is captured. That is, the gaze detection unit 131 detects the user's gaze direction from the image data using image processing technology. Specifically, the gaze detection unit 131 may detect the user's gaze direction by having the configuration described below.
  • FIG. 5 is a diagram showing an example configuration of the gaze detection unit of a control device according to the present disclosure.
  • the gaze detection unit 131 includes an acquisition unit 1311, a face detection unit 1312, an pupil information detection unit 1313, a face direction detection unit 1314, a gaze detection unit 1315, and an output unit 1316. Below, these components will be explained in order.
  • the acquisition unit 1311 acquires image data captured by the camera 200.
  • the image data acquired by the acquisition unit 1311 includes the user's face.
  • the acquisition unit 1311 stores the acquired image data in the storage unit 120 and then outputs the image data to the face detection unit 1312.
  • the face detection unit 1312 detects a face area including at least a part of the user's face from the image data acquired by the acquisition unit 1311.
  • the face detection unit 1312 may detect the face area using a classifier such as a convolutional neural network (CNN) that has been trained in advance to detect face areas.
  • the face area is detected as a rectangular area having a size that includes the entire face, for example.
  • the pupil information detection unit 1313 detects pupil information indicating information related to the user's pupil based on the image data.
  • the pupil information includes, for example, coordinate data indicating the outer edge of the user's pupil, or information indicating the length of the outer edge of the user's pupil, such as the radius or diameter, and coordinate data of the center of the user's pupil.
  • the pupil information detection unit 1313 detects the eye area including the user's eyes from the face area detected by the face detection unit 1312. The eye area may be detected using a classifier such as CNN that has been trained in advance to detect the face area.
  • the pupil information detection unit 1313 detects the user's pupil. An area estimated to include the pupil is detected by narrowing down the eye area based on a predetermined criterion. Based on this, coordinate data indicating the outer edge of the pupil, or information indicating the length of the outer edge of the pupil, such as the radius or diameter, and coordinate data of the center of the pupil are detected.
  • the face direction detection unit 1314 detects facial feature points from the face area detected by the face detection unit 1312, and detects face direction information indicating the direction of the user's face from the arrangement pattern of the detected feature points.
  • the process of extracting facial feature points from the face area may be realized by using a classifier such as a CNN that has learned facial features.
  • a facial feature point is one or more points that are located in characteristic positions on each of multiple parts that make up the face, such as the corners and corners of the eyes, the facial contour, the bridge of the nose, the corners of the mouth, and the eyebrows.
  • the gaze detection unit 1315 detects the gaze direction indicating the user's gaze based on the pupil information detected by the pupil information detection unit 1313 and the facial direction information detected by the facial direction detection unit 1314.
  • the gaze detection unit 1315 may detect the gaze information by applying a known gaze detection process to the pupil information and facial direction information, for example, detecting the gaze using a three-dimensional eyeball model.
  • the gaze information may include a vector that three-dimensionally indicates the direction of the user's gaze, or may include coordinate data of a gaze point on a specified target surface (for example, the display device 300).
  • the output unit 1316 outputs the user's gaze direction detected by the gaze detection unit 1315. Specifically, the output unit 1316 outputs the detected user's gaze direction to the rendering unit 132 and the range identification unit 133.
  • the rendering unit 132 causes the display device 300 to render a stereoscopic image according to the user's line of sight. In other words, the rendering unit 132 gives rendering instructions to the display device 300 so that the stereoscopic image is positioned in the user's line of sight.
  • the rendering unit 132 determines pixel positions on the flat panel display 310 that generate light rays capable of reproducing a stereoscopic image in accordance with the user's eye position and line of sight, and causes the pixels, taking color into consideration, to emit light at a brightness that matches the image signal. Specifically, this may be achieved by performing the processing described below.
  • FIG. 6 is a diagram for explaining the processing of rendering an image by the image display device according to the present disclosure.
  • FIG. 6 shows a flat panel display 310, which will be described later, a microlens array 320, a lens LN that enlarges the pupil of the user's eye, and the user's line of sight AX1.
  • the rendering unit 132 gives a drawing instruction to the flat panel display 310 of the display device 300 to cause the pixels of the flat panel display 310 to emit light.
  • the red light emitters R1, R2, and R3 shown in FIG. 6 are turned on.
  • the red light rays RL1, RL2, and RL3 intersect to form a red stereoscopic image RPLS1.
  • the green light emitters G1, G2, and G3 shown in FIG. 6 are also turned on in the same manner, the green light rays GL1, GL2, and GL3 intersect to form a green stereoscopic image GPLS1.
  • FIG. 7 is a diagram for explaining crosstalk that may occur in rendering by the image display device according to the present disclosure.
  • the red light emitters R1, R2, and R3 are turned on to form a red stereoscopic image RPLS2, the green light emitters G1, G2, and G3 are also turned on.
  • the crosstalk light CSTL of the green light beam emitted from the green light emitter G1 passes through the position where the red stereoscopic image RPLS2 is formed, so crosstalk occurs in which green is mixed into the red stereoscopic image RPLS2.
  • FIG. 7 is a diagram for explaining crosstalk that may occur in rendering by the image display device according to the present disclosure.
  • the range identifying unit 133 identifies an unnecessary light source range that indicates a range of pixels that may be the source of crosstalk light, which indicates light rays from a light source other than the light source of the drawn stereoscopic image that pass through the position of the stereoscopic image. In other words, it can be said that the range identifying unit 133 identifies a range in which there may be pixels that are the source of crosstalk light.
  • the range determination unit 133 determines the unnecessary light source range based on the size of the user's pupil and the positional relationship between the user's pupil, the stereoscopic image, and the flat panel display. The processing of the range determination unit 133 will be described with reference to Figs. 8 and 9.
  • Figure 8 is a diagram explaining the description of light rays using the Plenoptioc Function. As shown in Figure 8, any light ray L in space can generally be expressed using the Plenoptioc Function proposed by Adelson and Bergen, using three dimensions (x, y, z) that represent the light emission position and two dimensions ( ⁇ , ⁇ ) that represent the direction.
  • FIG. 9 is a diagram for explaining the processing of the range determination unit and the extinguishing instruction unit of the image display device according to the present disclosure.
  • (x, y, z) are the position coordinates of the spatial stereoscopic image to be displayed
  • ( ⁇ , ⁇ ) is the line of sight direction toward the pupil detected by the line of sight detection unit 131.
  • a line of sight axis AX1 is determined that connects the pupil to the spatial stereoscopic image and the central pixel of the flat panel display 310 for displaying it.
  • a virtual pupil circle C0 is assumed to be slightly larger than the pupil size and centered on the pupil, and the circle C is reduced in proportion to the distance from the spatial stereoscopic image to the pupil and the distance from the spatial stereoscopic image to the flat panel display 310.
  • the circle C projected on the flat panel display 310 is identified as the unnecessary light source range RG.
  • pixels other than the pixels for displaying the desired stereoscopic image that fall within the unnecessary light source range RG are candidates for pixels that may cause crosstalk.
  • the circle on the flat panel display 310 will have a radius of 0.37 mm, and any pixels within this circle other than the pixels displaying the desired stereoscopic image can be determined to be pixels that may cause crosstalk.
  • the range specifying unit 133 may also specify, as the unnecessary light source range, a range that corresponds to a predetermined angle centered on the line of sight, taking into account the discriminative visual field, which is a range in which high visual acuity can be obtained without moving the eyeballs, as the unnecessary light source range.
  • the range specifying unit 133 may set the unnecessary light source range for checking whether crosstalk light is occurring to about ⁇ 2.5 degrees centered on the line of sight of the discriminative visual field, which is a range in which high visual acuity can be obtained without moving the eyeballs, taking into account the visual field characteristics of the human eye. This makes it possible to efficiently prevent crosstalk in a range where visual acuity is high and crosstalk is easily noticeable, and to reproduce a high-quality stereoscopic image.
  • the crosstalk check range is a radius of 24 mm + 0.37 mm, equivalent to ⁇ 2.5 degrees, centered on the line of sight around the 3D image displayed 550 mm ahead.
  • the eye naturally moves in that direction, changing the direction of the line of sight and the rendering state. Therefore, there is no need to constantly be aware of and deal with crosstalk light that is more than ⁇ 2.5 degrees away.
  • the range in which humans can achieve high visual acuity without moving their eyes (discrimination visual field) is approximately ⁇ 1.5 to 2.5 degrees.
  • the range identification unit 133 may also identify the unnecessary light source range according to the gaze direction by reading the unnecessary light source range from the map information storage unit 121 based on the gaze direction.
  • the map information storage unit 121 stores the unnecessary light source range according to the gaze direction in advance. Therefore, if the gaze detection unit 131 can detect the user's gaze direction, it is possible to identify the unnecessary light source range by reading the unnecessary light source range according to the gaze direction from the map information storage unit 121.
  • the range identification unit 133 may identify the unnecessary light source range by performing the above-mentioned processing for each user according to the gaze direction detected by the gaze detection unit 131 for each user.
  • the pixel identification unit 134 identifies light source pixels that indicate pixels that are the light source of crosstalk light among the pixels in the unnecessary light source range. Specifically, the pixel identification unit 134 identifies pixels in the unnecessary light source range, where a straight line connecting the pixel and the center of the corresponding microlens passes through the stereoscopic image, as pixels related to the occurrence of crosstalk.
  • the pixel identification unit 134 identifies, among the pixels in the unnecessary light source range, those pixels in which a straight line connecting the centers of the microlenses, where the pixel is within the viewing angle range of the microlenses, passes through the target stereoscopic image, as pixels that cause crosstalk.
  • the green light ray G4 emitted from the green light emitter G1 located in the unnecessary light source range passes through the microlens and the red stereoscopic image RPLS3, and is therefore identified as crosstalk light CSLT.
  • the light ray processing unit 135 performs a predetermined process on the identified light source pixel or the light ray from the light source pixel, and does not allow the light ray from the light source pixel to pass through the position of the stereoscopic image.
  • the configuration of the light ray processing unit 135 that performs such processing will be described with reference to FIG. 10.
  • FIG. 10 is a diagram showing an example of the configuration of the light ray processing unit of the control device according to the present disclosure. As shown in FIG. 10, the light ray processing unit 135 according to the present disclosure includes at least one of a light-off instruction unit 1351 and a shielding instruction unit 1352.
  • the light-off instruction unit 1351 turns off the light emission of the identified light source pixel.
  • the light ray processing unit 135 issues a light-off instruction to the pixel identified by the pixel identification unit 134 to turn off the light emission of the identified pixel, thereby preventing the light ray from the light source pixel from passing through the position of the stereoscopic image.
  • the green light emitter G1 is identified as the pixel of the light source of the crosstalk light
  • turning off the green light emitter G1 turns off the crosstalk light CSLT and the green light ray GL1.
  • a pixel that emits unnecessary light due to a defective lighting is generally more noticeable than a black spot that does not emit light, so it is advantageous not to emit the crosstalk light.
  • the light-off instruction unit 1351 may check whether the pixels causing crosstalk are a different color from the stereoscopic image, and may turn off the pixels causing the crosstalk light only if the crosstalk light is a different color. This simplifies the process by ignoring crosstalk of the same color, since crosstalk of different colors is most noticeable.
  • the shading instruction unit 1352 instructs the shading filter 350, which is placed between the flat panel display 310 and the microlens array 320, to shading the pixel of the shading filter 350 that corresponds to the position of the identified light source pixel.
  • the shading filter 350 shading the light rays from the light source pixel, so that the light rays do not pass through the position of the stereoscopic image.
  • the processing of the shading instruction unit 1352 will be specifically described using FIG. 11.
  • FIG. 11 is a diagram for explaining the processing of the shading instruction unit of the image display device according to the present disclosure.
  • the display device 300 may include a shading filter 350 between the front of the flat panel display 310 and the microlens array 320. The configuration of the shading filter 350 will be described later.
  • the shielding instruction unit 1352 issues an instruction to shield the pixel of the shielding filter 350 that corresponds to the position of the identified light source pixel, so that the light ray GL4 from the identified light source pixel (green light emitter G1) does not pass through the position of the stereoscopic image. This blocks the light ray from the emission of the pixel that causes crosstalk and prevents it from passing through the position of the stereoscopic image, thereby appropriately suppressing crosstalk.
  • the size of one pixel of the shielding filter 350 may be half the size of a pixel of the flat panel display 310. Such an embodiment of the shielding filter 350 will be described with reference to FIG. 12.
  • FIG. 12 is a diagram illustrating the shielding filter of the image display device according to the present disclosure. As shown in FIG. 12, the size of one pixel of the shielding filter 350 may be half the size of a pixel of the flat panel display 310.
  • the shading instruction unit 1352 may also provide an instruction to shading two pixels of the shading filter 350 that correspond to the position of the identified light source pixel, in other words, of the two pixels of the shading filter 350 that face the identified light source pixel perpendicularly, the pixel on the side of the stereoscopic image in which crosstalk occurs.
  • the light ray GL1 from the light source G can pass through the shading filter 350 as usual to form a stereoscopic image, so that the reduction in brightness of the stereoscopic image due to the light ray from the light source G can be suppressed compared to when the light source G is turned off.
  • the brightness increasing unit 136 increases the brightness of pixels that are not turned off among the pixels that are the light source of the stereoscopic image in order to compensate for the brightness of the stereoscopic image that is affected by the turning off of pixels of the light source of the crosstalk light.
  • the amount of increase in brightness by the brightness increasing unit 136 may be a value that is previously stored in the storage unit 120. In other words, the amount of increase in brightness may be a predetermined value, or may be a value calculated based on the positional relationship between the stereoscopic image and the pixels whose brightness is to be increased. To explain using Figure 9, when the green light emitter G1 is turned off, the brightness of the green light emitters G2 and G3 is increased.
  • the brightness increasing unit 136 may also check whether the pixels causing crosstalk are of different colors, and only if the crosstalk light is of a different color, increase the brightness of the pixels that are not turned off among the pixels that are the light source of the stereoscopic image in order to compensate for the brightness of the stereoscopic image that is affected by the turning off of the pixels that are the light source of the crosstalk light. Since crosstalk is most noticeable when it is of different colors, processing can be simplified by ignoring crosstalk of the same color.
  • the brightness increasing unit 136 may store in the storage unit 120 the relationship between the line of sight direction and the pixels whose brightness is to be increased or their color shades, and by reading out the information from the storage unit 120, it may increase the brightness of pixels that are not turned off among the pixels that serve as light sources for a stereoscopic image. This can reduce the calculation load when performing real-time processing.
  • FIG. 13 is a diagram showing a configuration example of the display device according to the present disclosure.
  • the display device 300 according to the present disclosure includes a flat panel display 310, a microlens array 320, a driving circuit 330, an I/F unit 340, and a shielding filter 350.
  • the shielding filter 350 is not an essential component. Below, these components will be described in order.
  • the flat panel display 310 is a display that displays various images.
  • the flat panel display 310 may be realized by an organic EL (Electro Luminescence) display, a micro LED (Light Emitting Diode) display, etc.
  • Microlens array 320 is an optical element that integrates numerous microscopic microlenses measuring in the ⁇ m to mm range. Microlens array 320 is placed in front of the light-emitting direction of the pixels of flat panel display 310. Microlens array 320 reproduces the light emitted by an object by changing the direction of the light emitted from flat panel display 310.
  • the driving circuit 330 provides control signals to drive the pixels of the flat panel display 310 and the shielding filter 350.
  • the driving circuit 330 includes switching elements for driving the flat panel display 310 and the shielding filter 350. In other words, the brightness of the pixels of the flat panel display 310 and the shielding filter 350 is controlled by the control signals sent from the driving circuit 330.
  • the I/F unit 340 receives a control signal from the control device 100.
  • the I/F unit 340 may receive the control signal from the control device 100 via a wired or wireless connection. If it is a wired connection, it may be equipped with a connection terminal such as USB, SDI, or HDMI. If it is a wireless connection, it may be realized by a wireless LAN defined in IEEE802.11.
  • the shielding filter 350 is a filter that can switch between blocking and passing light rays by an electric signal.
  • the shielding filter 350 is disposed, for example, between the flat panel display 310 and the microlens array 320.
  • the shielding filter 350 may be, for example, a TN (Twisted Nematic) type liquid crystal in which a twisted liquid crystal (nematic liquid crystal) is sandwiched between two polarizing filters with orthogonal polarizing directions, via two glass plates. Note that the light can be blocked or passed by controlling the orientation of the liquid crystal by applying an electric signal to the liquid crystal through a thin film transistor (TFT: Thin Film Transistor) corresponding to the RGB subpixels of each pixel.
  • TFT Thin Film Transistor
  • the shielding filter 350 may also be realized by an electrochromic element using an electrochromic (EC) material that exhibits a reversible change in optical properties in response to an electric signal.
  • EC electrochromic
  • the optical properties of an electrochromic element change when a voltage is applied, so that the blocking or passing of light can be controlled by an electric signal.
  • the size of the pixels of the shielding filter 350 is preferably half the size of the pixels of the flat panel display 310.
  • Fig. 14 is a flowchart showing the flow of the image display method according to the present disclosure. Below, the image display method according to the present disclosure will be described along the flow shown in Fig. 14.
  • the image display device 1 detects the user's line of sight (step S101). Next, the image display device 1 causes the display device 300 to render a stereoscopic image according to the detected line of sight (step S102). Next, the image display device 1 identifies an unnecessary light source range indicating a range of candidate pixels that will be the source of crosstalk light (step S103). Next, the image display device 1 identifies light source pixels indicating pixels that will be the source of crosstalk light (step S104). Next, the image display device 1 performs a predetermined process on the identified light source pixels or light rays from the light source pixels, and does not allow the light rays from the light source pixels to pass through the position of the stereoscopic image (step S105).
  • the image display method described above may be executed by the image display device 1, or may be executed by a program that causes the control unit 130 of the control device 100 of the image display device 1 to execute processing.
  • a candidate range of pixels that can be the source of crosstalk light is identified according to the user's line of sight, pixels that can be the source of crosstalk light are identified from within that range, and a specified process is performed on the identified light source pixels or light rays from the light source pixels, preventing the light rays from the light source pixels from passing through the position of the stereoscopic image. Therefore, it is possible to provide an image display method and program that can appropriately suppress the occurrence of crosstalk.
  • the image display device 1 includes a gaze detection unit 131 that detects the direction of the user's gaze, a rendering unit 132 that causes the display device 300 to render a stereoscopic image according to the direction of the user's gaze, a range identification unit 133 that identifies an unnecessary light source range that indicates a range of pixels that can become the light source of crosstalk light, which indicates light rays from a light source other than the light source of the rendered stereoscopic image and pass through the position of the stereoscopic image, a pixel identification unit 134 that identifies light source pixels that indicate pixels that can become the light source of the crosstalk light among the pixels in the unnecessary light source range, and a light ray processing unit 135 that performs a predetermined process on the identified light source pixels or light rays from the light source pixels, and does not allow the light rays from the light source pixels to pass through the position of the stereoscopic image.
  • a gaze detection unit 131 that detects the direction of the user's gaze
  • a candidate range of pixels that can be the source of crosstalk light is identified according to the user's line of sight, pixels that can be the source of crosstalk light are identified from within that range, and a predetermined process is performed on the identified light source pixels or light rays from the light source pixels, so that the light rays from the light source pixels do not pass through the position of the stereoscopic image. Therefore, it is possible to provide an image display device 1 that can appropriately suppress the occurrence of crosstalk.
  • the light processing unit 135 of the image display device 1 includes a light-off instruction unit 1351 that turns off the light emission of the identified light source pixel.
  • a candidate range of pixels that can be the source of crosstalk light can be identified according to the user's line of sight, pixels that can be the source of crosstalk light can be identified from within that range, and the emission of the identified light source pixels can be turned off. Therefore, it is possible to provide an image display device 1 that can appropriately suppress the occurrence of crosstalk.
  • the light processing unit 135 of the image display device 1 includes a flat panel display 310 and a shielding instruction unit 1352 that instructs a shielding filter 350 placed between the microlens array 320 to shield the pixel of the shielding filter 350 that corresponds to the position of the identified light source pixel.
  • a candidate range of pixels that can be the source of crosstalk light is identified according to the user's line of sight, pixels that can be the source of crosstalk light are identified from within that range, and an instruction is given to block the pixel of the blocking filter 350 that corresponds to the position of the identified light source pixel, so that the light rays from the light source pixel are not allowed to pass through the position of the stereoscopic image. Therefore, it is possible to provide an image display device 1 that can appropriately suppress the occurrence of crosstalk.
  • the range determination unit 133 of the image display device 1 determines the unnecessary light source range based on the size of the user's pupil and the positional relationship between the user's pupil, the stereoscopic image, and the flat panel display.
  • the unnecessary light source range is identified based on the size of the user's pupil and the positional relationship between the user's pupil, the stereoscopic image, and the flat panel display, and pixels that are related to the occurrence of crosstalk are identified as pixels where a straight line connecting the pixel and the center of the corresponding microlens passes through the stereoscopic image, and the emission of the identified light source pixels can be turned off.
  • an image display device 1 that can appropriately suppress the occurrence of crosstalk can be provided.
  • the image display device 1 further includes a brightness increase section 136 that increases the brightness of pixels that are not turned off among the pixels that serve as the light source of the stereoscopic image, so as to compensate for the brightness of the stereoscopic image that is affected by the turning off of pixels of the light source of the crosstalk light.
  • This configuration makes it possible to compensate for the brightness of a stereoscopic image that is affected by the turning off of pixels of the light source of the crosstalk light. As a result, it is possible to suppress the occurrence of crosstalk and display a clear stereoscopic image.
  • the image display method includes the steps of detecting the direction of the user's gaze, causing the display device 300 to render a stereoscopic image according to the direction of the user's gaze, identifying an unnecessary light source range indicating a range of pixels that are candidates for becoming a source of crosstalk light, which indicates light rays from a light source other than the light source of the rendered stereoscopic image and which pass through the position of the stereoscopic image, identifying light source pixels indicating pixels that are the source of crosstalk light among the pixels in the unnecessary light source range, and performing a predetermined process on the identified light source pixels or the light rays from the light source pixels to prevent the light rays from the light source pixels from passing through the position of the stereoscopic image.
  • a candidate range of pixels that can be the source of crosstalk light is identified according to the user's line of sight, pixels that can be the source of crosstalk light are identified from within that range, and a predetermined process is performed on the identified light source pixels or light rays from the light source pixels, so that the light rays from the light source pixels do not pass through the position of the stereoscopic image. Therefore, it is possible to provide an image display method that can appropriately suppress the occurrence of crosstalk.
  • the program disclosed herein causes a computer to execute the steps of detecting the direction of the user's gaze, causing the display device 300 to render a stereoscopic image according to the direction of the user's gaze, identifying an unnecessary light source range indicating a range of pixels that are candidates for becoming the source of crosstalk light, which indicates light rays from a light source other than the light source of the rendered stereoscopic image and which pass through the position of the stereoscopic image, identifying light source pixels that indicate pixels that are the source of crosstalk light among the pixels in the unnecessary light source range, and performing a predetermined process on the identified light source pixels or the light rays from the light source pixels to prevent the light rays from the light source pixels from passing through the position of the stereoscopic image.
  • a candidate range of pixels that can be the source of crosstalk light is identified according to the user's line of sight, pixels that can be the source of crosstalk light are identified from within that range, and a specified process is performed on the identified light source pixels or light rays from the light source pixels, preventing the light rays from the light source pixels from passing through the position of the stereoscopic image.
  • a program that can appropriately suppress the occurrence of crosstalk can be provided.
  • the image display device, image display method, and program according to this embodiment can be used, for example, in an image display device, image display method, and program that can appropriately suppress the occurrence of crosstalk.
  • Image display device 100 Control device 110 I/F unit 120 Memory unit 121 Map information memory unit 122 Drawing image memory unit 130 Control unit 131 Gaze detection unit 1311 Acquisition unit 1312 Face detection unit 1313 Pupil information detection unit 1314 Face direction detection unit 1315 Gaze detection unit 1316 Output unit 132 Rendering unit 133 Range identification unit 134 Pixel identification unit 135 Light processing unit 1351 Turn-off instruction unit 1352 Shielding instruction unit 136 Brightness increase unit 200 Camera 300 Display device 310 Flat panel display 320 Microlens array 330 Drive circuit 340 I/F unit 350 Shielding filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

クロストークの発生を適切に抑制することができる画像表示装置、画像表示方法、及びプログラムを提供する。本開示に係る画像表示装置は、ユーザの視線方向を検出する視線検出部と、ユーザの視線方向に応じて立体画像を表示装置に描画させるレンダリング部と、描画された立体画像の光源以外の光源による光線であって、立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する光源範囲特定部と、不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定する画素特定部と、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させない光線処理部と、を備える。

Description

画像表示装置、画像表示方法、及びプログラム
　本開示は、画像表示装置、画像表示方法、及びプログラムに関する。
　例えば、ライトフィールドカメラによって撮像された物体の放つ光線をディスプレイによって再現するライトフィールドディスプレイの開発が進んでいる。
　下記の特許文献１には、フィールドレンズと、その後方にマイクロレンズアレイと、その後方に映像を表示する映像表示手段として例えばＬＥＤアレイのような発光型の表示デバイスと、を備える眼球投影型映像表示装置が開示されている。
特開平１０－３１９３４２号公報
　しかしながら、ライトフィールドディスプレイにおいては、目的の立体画像を生成するための光源となる画素以外の発光により立体画像が影響を受けるクロストークが生じ、立体画像のぼけ、色むら、明るさのむらが生じることがあった。
　本開示は上記課題を鑑み、クロストークの発生を適切に抑制することができる画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る画像表示装置は、ユーザの視線方向を検出する視線検出部と、ユーザの視線方向に応じて立体画像を表示装置に描画させるレンダリング部と、描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する範囲特定部と、前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定する画素特定部と、特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させない光線処理部と、を備える。
　上述した課題を解決し、目的を達成するために、本開示に係る画像表示方法は、ユーザの視線方向を検出するステップと、ユーザの視線方向に応じて立体画像を表示装置に描画させるステップと、描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させないステップと、を含む。
　上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、ユーザの視線方向を検出するステップと、ユーザの視線方向に応じて立体画像を表示装置に描画させるステップと、描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させないステップと、をコンピュータに実行させる。
　本開示によれば、クロストークの発生を適切に抑制することができる画像表示装置、画像表示方法、及びプログラムができる。
図１は、本開示に係る画像表示装置の構成例を示す図である。 図２は、本開示に係る制御装置の構成例を示す図である。 図３は、本開示に係る制御装置のマップ情報記憶部に記憶される情報の一例を示す図である。 図４は、本開示に係る制御装置の描画用映像記憶部に記憶される情報の一例を示す図である。 図５は、本開示に係る制御装置の視線検出部の構成例を示す図である。 図６は、本開示に係る画像表示装置による画像のレンダリングの処理を説明する図である。 図７は、本開示に係る画像表示装置によるレンダリングにおいて発生する可能性のあるクロストークを説明する図である。 図８は、Ｐｌｅｎｏｐｔｉｏｃ　Ｆｕｎｃｔｉｏｎによる光線の記述を説明する図である。 図９は、本開示に係る画像表示装置の範囲特定部、及び消灯指示部の処理について説明する図である。 図１０は、本開示に係る制御装置の光線処理部の構成例を示す図である。 図１１は、本開示に係る画像表示装置の光線処理部の処理について説明する図である。 図１２は、本開示に係る画像表示装置の遮蔽フィルタについて説明する図である。 図１３は、本開示に係る表示装置の構成例を示す図である。 図１４は、本開示に係る画像表示方法のフローを示すフローチャートである。
　以下に、本開示の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本開示が限定されるものではない。
（画像表示装置の構成）
　まず、本開示に係る画像表示装置１の構成について、図１を用いて説明する。図１は、本開示に係る画像表示装置の構成例を示す図である。図１に示すように、本開示に係る画像表示装置１は、制御装置１００と、カメラ２００と、表示装置３００と、を備える。以下に、これらの構成について簡単に説明する。
　制御装置１００は、各種の演算処理や、機能を実現する処理を実行し、表示装置３００を制御して、立体画像を描画させる。制御装置１００は、カメラ２００によって撮像されたユーザの顔画像に基づいて、ユーザの視線方向を検出し、検出された視線方向に応じて立体画像を表示装置３００に表示させる。
　カメラ２００は、ユーザの顔画像を撮像する。カメラ２００は、光学素子と撮像素子を含む。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。なお、撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどであってよい。
　表示装置３００は、立体画像を表示する装置である。表示装置３００は、ライトフィールドディスプレイであってよい。ライトフィールドディスプレイは、ディスプレイから放たれた光線をマイクロレンズに通すことにより光線を屈折させて、物体の放つ光線を再現することで立体画像を表示する。ライトフィールドディスプレイは、例えば、インテグラルイメージング方式により実現されてよい。
　なお、画像表示装置１は、制御装置１００と、カメラ２００と、表示装置３００と、を含む一体の装置である必要はなく、それぞれが独立した装置であってもよい。例えば、制御装置１００と、カメラ２００と、表示装置３００をネットワークに接続して、ネットワークを介して相互に情報の送受信を行うことにより実現されてもよい。その場合、画像表示装置１は、制御装置１００と、カメラ２００と、表示装置３００と、ネットワークと、を構成とする画像表示システムということができる。
（制御装置の構成）
　次に、本開示に係る制御装置１００の構成について、図２を用いて説明する。図２は、本開示に係る制御装置の構成例を示す図である。図２に示すように、本開示に係る制御装置１００は、Ｉ／Ｆ部１１０と、記憶部１２０と、制御部１３０と、を備える。以下に、これらの構成について順を追って説明する。
　Ｉ／Ｆ部１１０は、カメラ２００や表示装置３００との間において、有線又は無線により制御信号や映像信号などの送受信を担う。有線の場合は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）や、ＳＤＩ（Ｓｅｒｉａｌ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）などにより実現されてよい。無線の場合は、ＩＥＥＥ８０２．１１に規定される無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）により実現されてよい。
　記憶部１２０は、各種の情報を記憶する記憶装置である。記憶部１２０は、主記憶装置と、補助記憶装置と、を備える。主記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等によって実現されてよい。
　図２に示すように、記憶部１２０は、マップ情報記憶部１２１と、描画用映像記憶部１２２と、を備える。以下に、これらの構成が記憶する情報の一例について順を追って説明する。
　マップ情報記憶部１２１は、視線方向と不要光源範囲との関係に関する情報を記憶する。ここで、マップ情報記憶部１２１に記憶される情報の一例について、図３を用いて説明する。図３は、本開示に係る制御装置のマップ情報記憶部に記憶される情報の一例を示す図である。
　図３に示すように、マップ情報記憶部１２１は、「視線方向」、「Ｘ座標範囲」、「Ｙ座標範囲」という項目に係る情報を記憶する。
　「視線方向」は、ユーザの視線方向を示す情報であり、例えば、ユーザの視線方向をＰｌｅｏｐｔｉｏｃ　ｆｕｎｃｔｉｏｎによって表したものが記憶されてよい。「Ｘ座標範囲」は、「視線方向」に対応付けられた不要光源範囲のＸ座標の値を示す情報である。「Ｙ座標範囲」は、「視線方向」に対応付けられた不要光源範囲のＹ座標の値を示す情報である。なお、Ｘ座標と、Ｙ座標は、フラットパネルディスプレイ３１０の表面上の位置を示す座標であり、両者は互い垂直な関係を有する。
　すなわち、図３においては、視線方向「ＬＯＳ＃１」に対応付けられた不要光源範囲のＸ座標範囲が「ＸＣＲＲ＃１」であり、Ｙ座標が「ＹＣＲＲ＃１」であるとして記憶されている例が示されている。
　なお、マップ情報記憶部１２１は、「視線方向」、「Ｘ座標範囲」、「Ｙ座標範囲」という項目に係る情報に限定されることなく、その他の任意の視線方向と不要光源範囲との関係に関する情報が記憶されてよい。
　描画用映像記憶部１２２は、表示装置３００に描画させる映像に関する情報を記憶する。ここで、描画用映像記憶部１２２に記憶される情報の一例について、図４を用いて説明する。図４は、本開示に係る制御装置の描画用映像記憶部に記憶される情報の一例を示す図である。
　図４に示すように、描画用映像記憶部１２２は、「映像ＩＤ」、「映像データ」という項目に係る情報を記憶する。
　「映像ＩＤ」は、描画用映像を識別する識別子であり、文字列や番号などによって表される。「映像データ」は、「映像ＩＤ」により識別される描画用映像の映像データであり、例えば、ライトフィールドカメラにより撮像された映像データやＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）により生成された映像データであってよい。
　すなわち、図４においては、映像ＩＤ「ＶＤＩＤ＃１」により識別される描画用映像の映像データ「ＶＤＤＴ＃１」が記憶されている例が示されている。
　なお、描画用映像記憶部１２２は、「映像ＩＤ」、「映像データ」という項目に係る情報に限定されることなく、その他の任意の表示装置３００に描画させる映像に関する情報が記憶されてよい。
　制御部１３０は、各種の演算処理や機能を実現する処理などを実行するコントローラである。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）や、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって、記憶部１２０に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により実現されてもよい。
　図２に示すように、制御部１３０は、視線検出部１３１と、レンダリング部１３２と、範囲特定部１３３と、画素特定部１３４と、光線処理部１３５と、輝度増加部１３６と、を備える。制御部１３０は、記憶部１２０からプログラム（ソフトウェア）を読み出して実行することで、これらの機能を実現して、これらの処理を実行する。なお、制御部１３０のこれらの機能は、電子回路によって実現されてもよい。また、制御部１３０は、一つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、複数のＣＰＵで、これらの処理を並列に実行してもよい。以下、これらの構成について順に説明する。
　視線検出部１３１は、ユーザの顔が撮像された画像データに基づいて、ユーザの視線方向を検出する。すなわち、視線検出部１３１は、画像処理技術を用いて画像データからユーザの視線方向を検出する。具体的には、視線検出部１３１は、以下に説明する構成を備えて、ユーザの視線方向を検出してよい。
　視線検出部１３１の構成について、図５を用いて説明する。図５は、本開示に係る制御装置の視線検出部の構成例を示す図である。図５に示すように、視線検出部１３１は、取得部１３１１と、顔検出部１３１２と、瞳情報検出部１３１３と、顔向き検出部１３１４と、視線検出部１３１５と、出力部１３１６と、を備える。以下に、これらの構成について順を追って説明する。
　取得部１３１１は、カメラ２００が撮像した画像データを取得する。ここで、取得部１３１１が取得した画像データには、ユーザの顔が含まれる。取得部１３１１は、画像データを取得したら、取得した画像データを記憶部１２０に記憶したうえで、顔検出部１３１２に出力する。
　顔検出部１３１２は、取得部１３１１が取得した画像データからユーザの顔の少なくとも一部を含む顔領域を検出する。例えば、顔検出部１３１２は、顔領域を検出するために予め学習されたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などによる分類器を用いて顔領域を検出してよい。なお、顔領域は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域として検出される。
　瞳情報検出部１３１３は、画像データに基づいてユーザの瞳に関する情報を示す瞳情報を検出する。瞳情報には、例えばユーザの瞳孔の外縁を示す座標データ、又はユーザの瞳孔の外縁の半径若しくは直径などの長さを示す情報と、ユーザの瞳孔の中心の座標データとが含まれる。まず、瞳情報検出部１３１３は、顔検出部１３１２によって検出された顔領域からユーザの目が含まれる目領域を検出する。目領域の検出は、顔領域を検出するために予め学習されたＣＮＮなどによる分類器を用いて目領域を検出してよい。次に、瞳情報検出部１３１３は、ユーザの瞳孔を検出する。目領域について所定の基準に基づいて絞りこむことにより、瞳孔が含まれると推定される領域を検出する。それに基づいて、瞳孔の外縁を示す座標データ、又は瞳孔の外縁の半径若しくは直径などの長さを示す情報と、瞳孔の中心の座標データを検出する。
　顔向き検出部１３１４は、顔検出部１３１２が検出した顔領域から顔の特徴点を検出し、検出した特徴点の配置パターンからユーザの顔の向きを示す顔向き情報を検出する。顔領域から顔の特徴点の抽出する処理は、顔の特徴を学習させたＣＮＮなどによる分類器を用いることにより実現されてよい。なお、顔の特徴点とは、例えば目尻、目頭、顔の輪郭、鼻筋、口角、及び眉毛などの顔を構成する複数の部品のそれぞれにおいて、特徴的な位置にある１又は複数の点である。
　視線検出部１３１５は、瞳情報検出部１３１３によって検出された瞳情報と、顔向き検出部１３１４によって検出された顔向き情報とに基づいて、ユーザの視線を示す視線方向を検出する。視線検出部１３１５は、瞳情報と顔向き情報とに対して、例えば３次元眼球モデルにより視線を検出する公知の視線検出処理を適用することにより視線情報を検出すればよい。ここで、視線情報には、ユーザの視線の方向を３次元的に示すベクトルが含まれてもよいし、所定の対象面（例えば表示装置３００）における注視点の座標データが含まれてもよい。
　出力部１３１６は、視線検出部１３１５によって検出されたユーザの視線方向を出力する。具体的には、出力部１３１６は、検出されたユーザの視線方向をレンダリング部１３２と、範囲特定部１３３と、に出力する。
　レンダリング部１３２は、ユーザの視線方向に応じて立体画像を表示装置３００に描画させる。すなわち、レンダリング部１３２は、ユーザの視線方向に立体画像が位置するように表示装置３００に描画指示を与える。レンダリング部１３２は、ユーザの目の位置と視線方向に合わせて、立体画像を再現できるような光線を発生させるフラットパネルディスプレイ３１０における画素位置を求めて、色を考慮した画素を、画像信号に合った明るさで発光させる。具体的には、次に説明する処理を行うことにより実現されてもよい。
　レンダリング部１３２の処理について、図６を用いて説明する。図６は、本開示に係る画像表示装置による画像のレンダリングの処理を説明する図である。図６には、後述して説明するフラットパネルディスプレイ３１０と、マイクロレンズアレイ３２０と、ユーザの眼の瞳孔を拡大したレンズＬＮと、ユーザの視線方向ＡＸ１と、が示されている。図６に示すように、レンダリング部１３２は、表示装置３００のフラットパネルディスプレイ３１０に描画指示を与えて、フラットパネルディスプレイ３１０の画素を発光させる。例えば、図６に示す赤色発光体Ｒ１、Ｒ２、Ｒ３を点灯させる。それによって、赤色光線ＲＬ１、ＲＬ２、ＲＬ３が交わり、赤色立体画像ＲＰＬＳ１が形成される。なお、図６に示す緑色発光体Ｇ１、Ｇ２、Ｇ３についても同様に発光させると、緑色光線ＧＬ１、ＧＬ２、ＧＬ３が交わり、緑色立体画像ＧＰＬＳ１が形成される。
　次に、クロストークについて、図７を用いて説明する。図７は、本開示に係る画像表示装置によるレンダリングにおいて発生する可能性のあるクロストークを説明する図である。図７に示すように、赤色発光体Ｒ１、Ｒ２、Ｒ３を点灯させて、赤色立体画像ＲＰＬＳ２を形成させた場合に、緑色発光体Ｇ１、Ｇ２、Ｇ３も併せて点灯させたとする。すると、図７に示すように、緑色発光体Ｇ１から出射される緑色の光線のクロストーク光ＣＳＴＬは、赤色立体画像ＲＰＬＳ２が形成される位置を通ることから、赤色立体画像ＲＰＬＳ２に緑色が混じるクロストークが発生する。図７に示す例にように、クロストーク光の色が異なる場合は、立体画像に色が混ざって本来とは異なる色になり、例えば暗い赤のバックの中に少し明るい黄色の輝点ができてしまうようなことになり、特に目立ちやすい。仮にクロストーク光も同じ赤色画素からの光であった場合でも、再生される立体画像が少しぼやけたり、一部分が本来よりも明るくなったりすることになる。
　範囲特定部１３３は、描画された立体画像の光源以外の光源による光線が、立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する。すなわち、範囲特定部１３３は、クロストーク光の光源となる画素が存在する可能性のある範囲を特定するともいえる。
　具体的には、範囲特定部１３３は、ユーザの瞳孔の大きさと、ユーザの瞳孔、立体画像、及びフラットパネルディスプレイの位置関係と、に基づいて、不要光源範囲を特定する。このような範囲特定部１３３の処理について、図８、及び図９を用いて説明する。
　図８は、Ｐｌｅｎｏｐｔｉｏｃ　Ｆｕｎｃｔｉｏｎによる光線の記述を説明する図である。図８のように、一般に空間の任意の光線Ｌは、ＡｄｅｌｓｏｎとＢｅｒｇｅｎにより提案されたＰｌｅｎｏｐｔｉｏｃ　Ｆｕｎｃｔｉｏｎにより、光の出射位置を表す３次元（ｘ，ｙ，ｚ）と方向を表す２次元（θ，φ）を用いて表すことができる。
　図９を用いて、ライトフィールドディスプレイの場合に当て嵌めて検討する。図９は、本開示に係る画像表示装置の範囲特定部、及び消灯指示部の処理について説明する図である。（ｘ，ｙ，ｚ）を表示したい空間立体画像の位置座標、（θ，φ）を視線検出部１３１によって検出された瞳孔へ向かう視線方向とする。すると、瞳孔から空間立体画像、それを表示するためのフラットパネルディスプレイ３１０の中心画素を結ぶ視線軸ＡＸ１が決まる。次に、瞳孔を中心として瞳孔サイズより若干大きな仮想瞳孔円Ｃ０を想定し、これを空間立体画像から瞳孔までの距離と、空間立体画像からフラットパネルディスプレイ３１０までの距離との比例関係で縮小した円Ｃをフラットパネルディスプレイ３１０上に投影したものが不要光源範囲ＲＧとして特定される。すなわち、不要光源範囲ＲＧの中に入り目的の立体画像を表示するための画素以外の画素は、クロストークを起こす可能性のある画素の候補になる。
　例えば、瞳孔側の円のサイズを半径４ｍｍ、６００ｍｍ先のフラットパネルディスプレイ３１０から５０ｍｍ手前、すなわち５５０ｍｍ先に表示された立体画像を見ているとすると、比例関係でフラットパネルディスプレイ３１０上の円は半径０．３７ｍｍとなり、この中に入る目的の立体画像を表示する画素以外の画素は、クロストークを起こす可能性のある画素であると判断できる。
　また、範囲特定部１３３は、不要光源範囲に対して、眼球を動かさずに高い視力を得られる範囲である弁別視野を考慮して、視線方向を中心に所定の角度に対応する範囲を不要光源範囲として特定してもよい。すなわち、範囲特定部１３３は、クロストーク光が発生していないかをチェックする不要光源範囲を、人間の目の視野特性を考慮して、眼球を動かさずに高い視力を得られる範囲である弁別視野の視線を中心に±２．５度程度に設定してよい。これにより、視力が高くクロストークが目につきやすい範囲において、効率よくクロストークを防ぎ、高画質の立体像を再現することができる。
　具体的には、５５０ｍｍ先に表示された立体画像の周りの視線を中心に、±２．５度に相当する半径２４ｍｍ＋０．３７ｍｍがクロストークチェックの範囲になる。なお、視野中心より±２．５度以上離れた範囲を見る場合、自然にその方向に眼球運動が行われるので、視線方向が変化し、レンダリングの状態も変化する。したがって、±２．５度以上離れた位置のクロストーク光を常に意識して対処する必要はない。なお、人間の視野特性において、人間が眼球を動かさずに高い視力を得られる範囲（弁別視野）は±１．５～２．５度程度である。
　また、範囲特定部１３３は、視線方向に基づいて、不要光源範囲をマップ情報記憶部１２１から読み出すことにより、視線方向に応じた不要光源範囲を特定してもよい。上述したように、マップ情報記憶部１２１には、視線方向に応じた不要光源範囲があらかじめ記憶されている。そのため、視線検出部１３１によって、ユーザの視線方向を検出することができれば、マップ情報記憶部１２１から視線方向に応じた不要光源範囲を読み出すことにより、不要光源範囲を特定することができる。
　なお、範囲特定部１３３は、ユーザが複数人数の場合は、それぞれのユーザについて視線検出部１３１によって検出された視線方向に応じて、それぞれに対して上述したような処理を実行することにより不要光源範囲を特定してよい。
　画素特定部１３４は、不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定する。具体的には、画素特定部１３４は、不要光源範囲の画素のうち、画素と対応するマイクロレンズの中心を結ぶ直線が、立体画像を通るものをクロストークの発生に関係する画素として特定する。
　具体的には、画素特定部１３４は、不要光源範囲の画素のうち、画素がマイクロレンズの視野角の範囲に入っているマイクロレンズ中心を結ぶ直線が、目的の立体画像を通るものが、クロストークを起こす画素であるとして特定する。図９を用いて説明すると、不要光源範囲に位置する緑色発光体Ｇ１から出射される緑色光線Ｇ４は、マイクロレンズを通り、赤色立体画像ＲＰＬＳ３を通ることから、クロストーク光ＣＳＬＴであるとして特定される。
　光線処理部１３５は、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させない。このような処理を実行する光線処理部１３５の構成について、図１０を用いて説明する。図１０は、本開示に係る制御装置の光線処理部の構成例を示す図である。図１０に示すように、本開示に係る光線処理部１３５は、消灯指示部１３５１と、遮蔽指示部１３５２と、の少なくとも一方を備える。
　消灯指示部１３５１は、特定された光源画素の発光を消灯させる。すなわち、光線処理部１３５は、消灯指示部１３５１を有する構成である場合、画素特定部１３４により特定された画素に対して、消灯指示を与えて、特定された画素の発光を消灯させることで、光源画素による光線を立体画像の位置を通過させない。図９を用いて説明すると、緑色発光体Ｇ１がクロストーク光の光源の画素であると特定されたとすると、緑色発光体Ｇ１を消灯させると、クロストーク光ＣＳＬＴと緑色光線ＧＬ１が消灯する。これにより、クロストークの原因となる画素の発光を消灯させることができることから、クロストークを適切に抑制することができる。なお、ディスプレイにおいて、一般に不良点灯によって不要な発光をする画素は、発光しない黒点よりも目立つので、クロストーク光は発光させない方が有利である。
　なお、消灯指示部１３５１は、クロストークを起こす画素が立体画像に対して色違いであるかをチェックして、クロストーク光が色違いの場合のみ、クロストーク光の原因となる画素を消灯させてもよい。これにより、クロストークは色違いの場合が最も目立つので、同色のクロストークの場合は無視することで、処理を簡素化することができる。
　遮蔽指示部１３５２は、フラットパネルディスプレイ３１０と、マイクロレンズアレイ３２０の間に置かれた遮蔽フィルタ３５０に対して、特定された光源画素の位置に対応する遮蔽フィルタ３５０の画素を遮蔽する指示を与える。すなわち、光線処理部１３５は、遮蔽指示部１３５２を有する構成である場合、特定された光源画素の位置に対応する遮蔽フィルタ３５０を遮蔽させることで、光源画素による光線を、遮蔽フィルタ３５０で遮蔽して、立体画像の位置を通過させない。遮蔽指示部１３５２の処理について、図１１を用いて具体的に説明する。
　図１１は、本開示に係る画像表示装置の遮蔽指示部の処理について説明する図である。図１１に示すように、表示装置３００は、フラットパネルディスプレイ３１０の前と、マイクロレンズアレイ３２０との間に、遮蔽フィルタ３５０を備えてよい。なお、遮蔽フィルタ３５０の構成については後述して説明する。
　図１１に示すように、遮蔽指示部１３５２は、特定された光源画素の位置に対応する遮蔽フィルタ３５０の画素を遮蔽する指示を与えて、特定された光源画素（緑色発光体Ｇ１）による光線ＧＬ４が立体画像の位置を通らないようにする。これにより、クロストークの原因となる画素の発光による光線を遮蔽して、立体画像の位置を通らせないことができることから、クロストークを適切に抑制することができる。
　なお、遮蔽フィルタ３５０の一つの画素の大きさは、フラットパネルディスプレイ３１０の画素の大きさの半分の大きさであってもよい。このような遮蔽フィルタ３５０の態様について、図１２を用いて説明する。図１２は、本開示に係る画像表示装置の遮蔽フィルタについて説明する図である。図１２に示すように、遮蔽フィルタ３５０の一つの画素の大きさが、フラットパネルディスプレイ３１０の画素の大きさの半分の大きさであってよい。
　また、遮蔽指示部１３５２は、特定された光源画素の位置に対応する遮蔽フィルタ３５０の二つの画素、言い換えると、特定された光源画素に対して垂直に向かい合う遮蔽フィルタ３５０の二つの画素のうち、クロストークの生じる立体画像の側の画素に遮蔽する指示を与えてもよい。これにより、図１２に示す例で言うと、光源Ｇの光線ＧＬ１については通常通り、遮蔽フィルタ３５０を通過して立体画像を形成することができることから、光源Ｇを消灯した場合と比して、光源Ｇからの光線による立体画像の輝度の減少を抑制することができる。すなわち、クロストークの原因となる画素の発光によるクロストークを抑制しつつ、その他のクロストークの発生しない立体画像の輝度の減少も抑制することができる。
　輝度増加部１３６は、クロストーク光の光源の画素の消灯により影響を受ける立体画像の輝度を補うために、立体画像の光源となる画素のうち、消灯されていない画素の輝度を増加させる。なお、輝度増加部１３６が増加させる輝度の増加量はあらかじめ記憶部１２０に記憶された値を用いてよい。すなわち、輝度の増加量をあらかじめ決められた所定の値としてもよいし、立体画像と輝度を増加させる画素との位置関係に基づいて計算された値としてもよい。図９を用いて説明すると、緑色発光体Ｇ１を消灯させた場合は、緑色発光体Ｇ２、Ｇ３の輝度を増加させる。
　また、輝度増加部１３６は、クロストークを起こす画素が色違いであるかをチェックして、クロストーク光が色違いの場合のみ、クロストーク光の光源の画素の消灯により影響を受ける立体画像の輝度を補うために、立体画像の光源となる画素のうち、消灯されていない画素の輝度を増加させてもよい。クロストークは色違いの場合が最も目立つので、同色のクロストークの場合は無視することで、処理を簡素化することができる。
　なお、輝度増加部１３６は、視線方向と、輝度を増加させる画素と、またはその色合いとの関係を記憶部１２０に記憶しておいて、記憶部１２０からそれらの情報を読み出すことにより、立体画像の光源となる画素のうち、消灯されていない画素の輝度を増加させる処理を実現してもよい。これにより、リアルタイム処理をする際の計算負荷を軽減することができる。
（表示装置の構成）
　次に、本開示に係る表示装置の構成について、図１３を用いて説明する。図１３は、本開示に係る表示装置の構成例を示す図である。図１３に示すように、本開示に係る表示装置３００は、フラットパネルディスプレイ３１０と、マイクロレンズアレイ３２０と、駆動回路３３０と、Ｉ／Ｆ部３４０と、遮蔽フィルタ３５０と、を備える。なお、遮蔽フィルタ３５０は、必須の構成ではない。以下に、これらの構成について、順を追って説明する。
　フラットパネルディスプレイ３１０は、各種の映像を表示するディスプレイである。フラットパネルディスプレイ３１０は、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、マイクロＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ等により実現されてよい。
　マイクロレンズアレイ３２０は、μｍ～ｍｍ単位の微細なマイクロレンズが数多く集積した光学素子である。マイクロレンズアレイ３２０は、フラットパネルディスプレイ３１０の画素の発光方向の前面に配置される。マイクロレンズアレイ３２０は、フラットパネルディスプレイ３１０から出射された光の方向を変えることによって、物体の放つ光線を再現する。
　駆動回路３３０は、フラットパネルディスプレイ３１０、及び遮蔽フィルタ３５０の画素を駆動する制御信号を与える。駆動回路３３０は、フラットパネルディスプレイ３１０、及び遮蔽フィルタ３５０を駆動するためのスイッチング素子などを備える。すなわち、駆動回路３３０から発信された制御信号によってフラットパネルディスプレイ３１０、及び遮蔽フィルタ３５０の画素の輝度などが制御される。
　Ｉ／Ｆ部３４０は、制御装置１００から制御信号を受け付ける。Ｉ／Ｆ部３４０は、制御装置１００との有線又は無線により制御信号を受け付けてよく、有線の場合は、例えばＵＳＢや、ＳＤＩ、ＨＤＭＩなどの接続端子を備えてよい。無線の場合は、ＩＥＥＥ８０２．１１に規定される無線ＬＡＮにより実現されてよい。
　遮蔽フィルタ３５０は、電気信号により光線の遮断と通過を、電気信号により切り替え可能なフィルタである。遮蔽フィルタ３５０は、例えば、フラットパネルディスプレイ３１０と、マイクロレンズアレイ３２０との間に配置される。遮蔽フィルタ３５０は、例えば、偏向方向を直交させた二枚の偏向フィルタの間に二枚のガラス板を介して、ねじれた液晶（ネマティック液晶）が挟まれたＴＮ（Ｔｗｉｓｔｅｄ　Ｎｅｍａｔｉｃ）型液晶であってよい。なお、それぞれの画素のＲＧＢのサブ画素に対応する薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ　Ｆｉｌｍ　Ｔｒａｎｓｉｓｔｏｒ）によって、液晶に電気信号を与えることにより液晶の配向を制御することで、光線の遮断と通過を切り替えてよい。
　また、遮蔽フィルタ３５０は、電気信号により可逆的な光学特性の変化を示すエレクトロクロミック（ＥＣ：Ｅｌｅｃｔｒｏｃｈｒｏｍｉｓｍ）材料が用いられたエレクトロクロミック素子により実現されてもよい。エレクトロクロミック素子は、電圧を掛けることで光学特性が変化することから、電気信号により光の遮断と通過を制御することができる。なお、遮蔽フィルタ３５０の画素の大きさは、フラットパネルディスプレイ３１０の画素の半分の大きさであることが好ましい。
（画像表示方法、及びプログラム）
　次に、本開示に係る画像表示方法について、図１４を用いて説明する。図１４は、本開示に係る画像表示方法のフローを示すフローチャートである。以下に、図１４に示すフローに沿って、本開示に係る画像表示方法について説明する。
　まず、画像表示装置１は、ユーザの視線方向を検出する（ステップＳ１０１）。次に、画像表示装置１は、検出された視線方向に応じて、表示装置３００に立体画像を描画させる（ステップＳ１０２）。次に、画像表示装置１は、クロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する（ステップＳ１０３）。次に、画像表示装置１は、クロストーク光の光源となる画素を示す光源画素を特定する（ステップＳ１０４）。次に、画像表示装置１は、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させない（ステップＳ１０５）。
　なお、以上の通りに説明した画像表示方法は、画像表示装置１により実行されてもよいし、画像表示装置１の制御装置１００の制御部１３０に処理を実行させるプログラムにより実行されてもよい。
　これによれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないことができる。そのため、クロストークの発生を適切に抑制することができる画像表示方法、及びプログラムを提供することができる。
（構成と効果）
　本開示に係る画像表示装置１は、ユーザの視線方向を検出する視線検出部１３１と、ユーザの視線方向に応じて立体画像を表示装置３００に描画させるレンダリング部１３２と、描画された立体画像の光源以外の光源による光線であって、立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する範囲特定部１３３と、不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定する画素特定部１３４と、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させない光線処理部１３５と、を備える。
　この構成によれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないことができる。そのため、クロストークの発生を適切に抑制することができる画像表示装置１を提供することができる。
　本開示に係る画像表示装置１の光線処理部１３５は、特定された光源画素の発光を消灯させる消灯指示部１３５１と、を備える。
　この構成によれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素の発光を消灯させることができる。そのため、クロストークの発生を適切に抑制することができる画像表示装置１を提供することができる。
　本開示に係る画像表示装置１の光線処理部１３５は、フラットパネルディスプレイ３１０と、マイクロレンズアレイ３２０の間に置かれた遮蔽フィルタ３５０に対して、特定された光源画素の位置に対応する遮蔽フィルタ３５０の画素を遮蔽する指示を与える遮蔽指示部１３５２と、を備える。
　この構成によれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素の位置に対応する遮蔽フィルタ３５０の画素を遮蔽する指示を与えることにより、光源画素による光線を立体画像の位置を通過させないことができる。そのため、クロストークの発生を適切に抑制することができる画像表示装置１を提供することができる。
　本開示に係る画像表示装置１の範囲特定部１３３は、ユーザの瞳孔の大きさと、ユーザの瞳孔、立体画像、及びフラットパネルディスプレイの位置関係と、に基づいて、不要光源範囲を特定する。
　この構成によれば、ユーザの瞳孔の大きさと、ユーザの瞳孔、立体画像、及びフラットパネルディスプレイの位置関係と、に基づいて、不要光源範囲を特定し、画素と対応するマイクロレンズの中心を結ぶ直線が、立体画像を通るものをクロストークの発生に関係する画素として特定し、特定された光源画素の発光を消灯させることができる。そのため、クロストークの発生を適切に抑制することができる画像表示装置１を提供することができる。
　本開示に係る画像表示装置１は、クロストーク光の光源の画素の消灯により影響を受ける立体画像の輝度を補うよう、立体画像の光源となる画素のうち、消灯されていない画素の輝度を増加させる輝度増加部１３６と、をさらに備える。
　この構成によれば、クロストーク光の光源の画素の消灯によって影響を受ける立体画像の輝度を補うことができる。そのため、クロストークの発生を抑制したうえで、立体画像を鮮明に表示させることができる。
　本開示に係る画像表示方法は、ユーザの視線方向を検出するステップと、ユーザの視線方向に応じて立体画像を表示装置３００に描画させるステップと、描画された立体画像の光源以外の光源による光線であって、立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないステップと、を含む。
　この構成によれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないことができる。そのため、クロストークの発生を適切に抑制することができる画像表示方法を提供することができる。
　本開示に係るプログラムは、ユーザの視線方向を検出するステップと、ユーザの視線方向に応じて立体画像を表示装置３００に描画させるステップと、描画された立体画像の光源以外の光源による光線であって、立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないステップと、をコンピュータに実行させる。
　この構成によれば、ユーザの視線方向に応じてクロストーク光の光源となる画素の候補範囲を特定し、その範囲の中からクロストーク光の光源となる画素を特定し、特定された光源画素、又は光源画素による光線に対して所定の処理を行い、光源画素による光線を立体画像の位置を通過させないことができる。そのため、クロストークの発生を適切に抑制することができるプログラムを提供することができる。
　以上、本開示の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態に係る画像表示装置、画像表示方法、及びプログラムは、例えば、クロストークの発生を適切に抑制することができる画像表示装置、画像表示方法、及びプログラムに利用することができる。
　１　　　　画像表示装置
　１００　　制御装置
　１１０　　Ｉ／Ｆ部
　１２０　　記憶部
　１２１　　マップ情報記憶部
　１２２　　描画用映像記憶部
　１３０　　制御部
　１３１　　視線検出部
　１３１１　取得部
　１３１２　顔検出部
　１３１３　瞳情報検出部
　１３１４　顔向き検出部
　１３１５　視線検出部
　１３１６　出力部
　１３２　　レンダリング部
　１３３　　範囲特定部
　１３４　　画素特定部
　１３５　　光線処理部
　１３５１　消灯指示部
　１３５２　遮蔽指示部
　１３６　　輝度増加部
　２００　　カメラ
　３００　　表示装置
　３１０　　フラットパネルディスプレイ
　３２０　　マイクロレンズアレイ
　３３０　　駆動回路
　３４０　　Ｉ／Ｆ部
　３５０　　遮蔽フィルタ

Claims (7)

  1. 　ユーザの視線方向を検出する視線検出部と、
    　ユーザの視線方向に応じて立体画像を表示装置に描画させるレンダリング部と、
    　描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定する範囲特定部と、
    　前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定する画素特定部と、
    　特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させない光線処理部と、
    　を備える、画像表示装置。
  2. 　前記光線処理部は、特定された前記光源画素の発光を消灯させる消灯指示部と、を備える、
    　請求項１に記載の画像表示装置。
  3. 　前記光線処理部は、フラットパネルディスプレイと、マイクロレンズアレイの間に置かれた遮蔽フィルタに対して、特定された前記光源画素の位置に対応する遮蔽フィルタの画素を遮蔽する指示を与える遮蔽指示部と、を備える、
    　請求項１に記載の画像表示装置。
  4. 　前記範囲特定部は、ユーザの瞳孔の大きさと、ユーザの瞳孔、立体画像、及びフラットパネルディスプレイの位置関係と、に基づいて、前記不要光源範囲を特定する、
    　請求項１に記載の画像表示装置。
  5. 　クロストーク光の光源の画素の消灯により影響を受ける立体画像の輝度を補うよう消灯されていない画素の輝度を増加させる輝度増加部と、をさらに備える、
    　請求項１または請求項２に記載の画像表示装置。
  6. 　ユーザの視線方向を検出するステップと、
    　ユーザの視線方向に応じて立体画像を表示装置に描画させるステップと、
    　描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、
    　前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、
    　特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させないステップと、
    　を含む、画像表示方法。
  7. 　ユーザの視線方向を検出するステップと、
    　ユーザの視線方向に応じて立体画像を表示装置に描画させるステップと、
    　描画された立体画像の光源以外の光源による光線であって、前記立体画像の位置を通る光線を示すクロストーク光の光源となる画素の候補の範囲を示す不要光源範囲を特定するステップと、
    　前記不要光源範囲の画素のうち、クロストーク光の光源となる画素を示す光源画素を特定するステップと、
    　特定された前記光源画素、又は前記光源画素による光線に対して所定の処理を行い、前記光源画素による光線を前記立体画像の位置を通過させないステップと、
    　をコンピュータに実行させる、プログラム。
PCT/JP2024/025908 2023-09-22 2024-07-19 画像表示装置、画像表示方法、及びプログラム Pending WO2025062810A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2023-159146 2023-09-22
JP2023159146 2023-09-22
JP2024-048457 2024-03-25
JP2024048457A JP2025051577A (ja) 2023-09-22 2024-03-25 画像表示装置、画像表示方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2025062810A1 true WO2025062810A1 (ja) 2025-03-27

Family

ID=95072697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/025908 Pending WO2025062810A1 (ja) 2023-09-22 2024-07-19 画像表示装置、画像表示方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2025062810A1 (ja)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09175224A (ja) * 1995-12-25 1997-07-08 Nippon Hoso Kyokai <Nhk> 瞳測定装置
JPH10319342A (ja) * 1997-05-15 1998-12-04 Olympus Optical Co Ltd 眼球投影型映像表示装置
JP2000231167A (ja) * 1999-02-09 2000-08-22 Toppan Printing Co Ltd 自動追従型微小光学素子スクリーン
JP2007293039A (ja) * 2006-04-25 2007-11-08 Sony Corp 画像表示装置、画像表示方法
JP2008083073A (ja) * 2006-09-25 2008-04-10 Toshiba Corp 立体表示装置および駆動方法
JP2010276928A (ja) * 2009-05-29 2010-12-09 Toshiba Mobile Display Co Ltd 立体映像表示装置
JP2016167740A (ja) * 2015-03-10 2016-09-15 日本放送協会 立体画像生成装置及びそのプログラム
JP2017169050A (ja) * 2016-03-16 2017-09-21 日本放送協会 ２眼立体画像生成装置及びそのプログラム
JP2017528741A (ja) * 2014-07-10 2017-09-28 ルソスペース， プロジェクトス エンゲンハリア エリデーアー 表示装置
KR20180135646A (ko) * 2017-06-13 2018-12-21 한국전자통신연구원 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치
JP2019054513A (ja) * 2017-09-12 2019-04-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄ映像提供方法及び装置
WO2021024827A1 (ja) * 2019-08-08 2021-02-11 ソニー株式会社 手術画像表示システム、画像処理装置、及び画像処理方法
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022020434A (ja) * 2020-07-20 2022-02-01 京セラ株式会社 ３次元表示装置
JP2022061495A (ja) * 2020-10-06 2022-04-18 三星電子株式会社 動的クロストークを測定する方法及び装置
WO2024128264A1 (ja) * 2022-12-13 2024-06-20 公立大学法人大阪 映像表示装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09175224A (ja) * 1995-12-25 1997-07-08 Nippon Hoso Kyokai <Nhk> 瞳測定装置
JPH10319342A (ja) * 1997-05-15 1998-12-04 Olympus Optical Co Ltd 眼球投影型映像表示装置
JP2000231167A (ja) * 1999-02-09 2000-08-22 Toppan Printing Co Ltd 自動追従型微小光学素子スクリーン
JP2007293039A (ja) * 2006-04-25 2007-11-08 Sony Corp 画像表示装置、画像表示方法
JP2008083073A (ja) * 2006-09-25 2008-04-10 Toshiba Corp 立体表示装置および駆動方法
JP2010276928A (ja) * 2009-05-29 2010-12-09 Toshiba Mobile Display Co Ltd 立体映像表示装置
JP2017528741A (ja) * 2014-07-10 2017-09-28 ルソスペース， プロジェクトス エンゲンハリア エリデーアー 表示装置
JP2016167740A (ja) * 2015-03-10 2016-09-15 日本放送協会 立体画像生成装置及びそのプログラム
JP2017169050A (ja) * 2016-03-16 2017-09-21 日本放送協会 ２眼立体画像生成装置及びそのプログラム
KR20180135646A (ko) * 2017-06-13 2018-12-21 한국전자통신연구원 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치
JP2019054513A (ja) * 2017-09-12 2019-04-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄ映像提供方法及び装置
WO2021024827A1 (ja) * 2019-08-08 2021-02-11 ソニー株式会社 手術画像表示システム、画像処理装置、及び画像処理方法
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022020434A (ja) * 2020-07-20 2022-02-01 京セラ株式会社 ３次元表示装置
JP2022061495A (ja) * 2020-10-06 2022-04-18 三星電子株式会社 動的クロストークを測定する方法及び装置
WO2024128264A1 (ja) * 2022-12-13 2024-06-20 公立大学法人大阪 映像表示装置

Similar Documents

Publication Publication Date Title
TWI743121B (zh) 用於主動透明性調變之方法及裝置
CN103376551B (zh) 小孔投射式近眼显示器
US9711114B1 (en) Display apparatus and method of displaying using projectors
CA3043204C (en) Apparatus and method for a dynamic &#34;region of interest&#34; in a display system
US20180188536A1 (en) Near eye display multi-component dimming system
TWI629507B (zh) 頭戴式顯示裝置以及適應性遮罩方法
WO2016038997A1 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
US9158114B2 (en) Image display utilizing a variable mask to selectively block image data
JP2010250789A (ja) カメラ付き表示装置
US11720996B2 (en) Camera-based transparent display
CN111586273A (zh) 电子设备及图像获取方法
CN112384883A (zh) 可穿戴设备及其控制方法
US20140266985A1 (en) System and method for chromatic aberration correction for an image projection system
CN111754882A (zh) 一种显示屏、vr眼镜
CN107589845A (zh) 一种显示系统
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
US10699383B2 (en) Computational blur for varifocal displays
JP7650291B2 (ja) 可変輝度および視野の表示
TWI672526B (zh) 近眼顯示系統及其顯示方法
WO2025062810A1 (ja) 画像表示装置、画像表示方法、及びプログラム
US12260506B1 (en) Augmenting reality using multiscopic display having adaptive crosstalk compensation
JP2025051577A (ja) 画像表示装置、画像表示方法、及びプログラム
US10861417B2 (en) Head mounted display with wide field of view and inset display
US10522110B1 (en) Apparatuses, systems, and methods for measuring and adjusting the luminance of a head-mounted display
US20240036330A1 (en) Control device, glasses-type information display device, control method, and control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24867892

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)