[go: up one dir, main page]

WO2025047508A1 - 画像生成装置およびヘッドマウントディスプレイ - Google Patents

画像生成装置およびヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2025047508A1
WO2025047508A1 PCT/JP2024/029477 JP2024029477W WO2025047508A1 WO 2025047508 A1 WO2025047508 A1 WO 2025047508A1 JP 2024029477 W JP2024029477 W JP 2024029477W WO 2025047508 A1 WO2025047508 A1 WO 2025047508A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video signal
frame
region
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/029477
Other languages
English (en)
French (fr)
Inventor
三佳 森
博之 古屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of WO2025047508A1 publication Critical patent/WO2025047508A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an image generating device and a head-mounted display that generate images by scanning light.
  • known image generating devices that generate images by scanning light include head-mounted displays such as goggles and glasses that realize AR (Augmented Reality) and VR (Virtual Reality).
  • head-mounted displays such as goggles and glasses that realize AR (Augmented Reality) and VR (Virtual Reality).
  • AR Augmented Reality
  • VR Virtual Reality
  • light based on a video signal is directed toward a translucent display, and the reflected light is directed toward the user's eyes.
  • light based on a video signal is directly directed toward the user's eyes.
  • Patent Document 1 describes an apparatus that realizes a first line density in a first portion of an image and a second line density lower than the first line density in a second portion of the image by controlling the rotation of the fast axis and slow axis of a MEMS mirror, and determines the position of the first portion of the image based on the line of sight of the eye.
  • the resolution of the image in the second portion that does not correspond to the line of sight is lower than the resolution of the image in the first portion that corresponds to the line of sight, reducing eye fatigue for the user.
  • the present invention aims to provide an image generating device and a head-mounted display that can bring the image resolution in the area near the user's line of sight closer to the actual resolution when visually recognizing an object in front of the user's line of sight.
  • the image generating device includes a light source that emits light for generating an image, a scanning unit that scans the light emitted from the light source, a plurality of frame buffers that respectively store a plurality of types of video signals for constructing the image with different resolutions, a gaze detection unit that detects the user's gaze, a distance detection unit that detects the distance to an object included in the field of view, and a control unit that controls the light source, the scanning unit, and the plurality of frame buffers to generate an image.
  • the control unit applies the video signal from the frame buffer with a lower resolution to an image area including a viewpoint position corresponding to the gaze, the greater the distance to the object corresponding to the viewpoint position.
  • a lower-resolution video signal from a frame buffer is applied to an image region including a viewpoint position corresponding to the line of sight, the greater the distance to an object corresponding to this viewpoint position.
  • the image is displayed near the line of sight with a lower resolution the greater the distance to an object in front of the line of sight.
  • This makes it possible to make the resolution of the image displayed in the area near the line of sight closer to the actual resolution when viewing the object in front of the line of sight.
  • the control unit since multiple video signals for displaying images with different resolutions are stored in advance in multiple frame buffers, the control unit only needs to select a video signal from one of the frame buffers in accordance with the movement of the line of sight. This makes it possible to smoothly display an image in the area near the line of sight with a resolution according to the distance.
  • the head mounted display according to the second aspect of the present invention comprises the image generating device according to the first aspect, a frame that holds the image generating device, and an optical system that guides light from the image generating device to the eyes of the user who wears the head mounted display on his or her head.
  • the head mounted display of this embodiment provides the same effects as the first embodiment.
  • the user can view the image generated by the image generating device.
  • the present invention provides an image generating device and a head mounted display that can bring the image resolution in the area near the user's line of sight closer to the actual resolution when viewing an object in front of the user's line of sight.
  • FIG. 1 is a perspective view illustrating a schematic configuration of AR glasses according to a first embodiment.
  • FIG. 2 is a diagram illustrating a schematic configuration of a projection unit according to the first embodiment.
  • FIG. 3 is a block diagram showing the configuration of a projection unit and a detection unit according to the first embodiment.
  • FIG. 4 is a block diagram showing the configuration of a signal processing unit according to the first embodiment.
  • FIG. 5 is a diagram illustrating a schematic diagram of the first and second captured video signals acquired by the camera according to the first embodiment.
  • FIG. 6 is a schematic diagram for explaining the thinning process by the input processing unit according to the first embodiment.
  • Fig. 7A is a diagram showing frame image generation according to a comparative example, and Fig.
  • FIG. 7B is a diagram showing frame image generation according to the first embodiment.
  • FIG. 8 is a flowchart showing a frame image generating process performed by the image generating device according to the first embodiment.
  • FIG. 9 is a flowchart showing details of the storage process according to the first embodiment.
  • FIG. 10 is a block diagram showing a configuration of a signal processing unit according to the first modification of the first embodiment.
  • FIG. 11 is a schematic diagram for explaining the thinning process by the input processing unit according to the first modification of the first embodiment.
  • FIG. 12 is a block diagram showing a configuration of a signal processing unit according to the second modification of the first embodiment. In FIG. FIG. FIG.
  • FIG. 13 is a diagram illustrating a first image area being set to one of five areas based on the viewpoint position, according to the third modification of the first embodiment.
  • FIG. 14 is a diagram showing the scanning speed of the second mirror in a case where five areas are respectively set as the first image area according to the third modification of the first embodiment.
  • FIG. 15 is a block diagram showing a configuration of a signal processing unit according to the second embodiment.
  • FIG. 16 is a diagram illustrating the generation of a frame image according to the second embodiment.
  • FIG. 17 is a flowchart showing a frame image generating process performed by the image generating device according to the second embodiment.
  • FIG. 18 is a flowchart showing the process in step S33 of FIG. 17 according to the third embodiment.
  • FIG. 19A and 19B are diagrams illustrating a frame image generating method according to the third embodiment.
  • FIG. 20 is a block diagram illustrating the configuration of a projection unit and a line-of-sight detection unit according to the fourth embodiment.
  • FIG. 21 is a block diagram showing a configuration of a signal processing unit according to the fourth embodiment.
  • FIG. 22 is a flowchart showing a frame image generating process performed by an image generating device according to the fourth embodiment.
  • 23A and 23B are diagrams illustrating an example of the operation of a frame image generation process according to the fourth embodiment.
  • FIG. 24 is a block diagram showing a configuration of a signal processing unit according to the fifth embodiment.
  • FIG. 25 is a flowchart showing a frame image generating process performed by an image generating device according to the fifth embodiment.
  • FIG. 26 is a block diagram showing a configuration of a signal processing unit according to a modified example.
  • the present invention is applied to an image generating device for a head mounted display.
  • head mounted displays include AR glasses, AR goggles, VR glasses, and VR goggles.
  • the head mounted display in the following embodiment is AR glasses.
  • the following embodiment is one embodiment of the present invention, and the present invention is not limited to the following embodiment.
  • the present invention is not limited to image generating devices for head mounted displays, and can also be applied to image generating devices such as in-vehicle head-up displays.
  • FIG. 1 is a perspective view showing a schematic configuration of the AR glasses 1.
  • the mutually orthogonal X, Y, and Z axes are indicated in addition to the front, back, left, right, up, and down directions of the AR glasses 1.
  • the positive X-axis, positive Y-axis, and positive Z-axis directions correspond to the right, rear, and upward directions of the AR glasses 1, respectively.
  • the AR glasses 1 include a frame 2, a pair of image generating devices 3, and a pair of mirrors 4.
  • the AR glasses 1 are worn on the user's head, similar to regular eyeglasses.
  • the frame 2 holds a pair of image generating devices 3 and a pair of mirrors 4.
  • the frame 2 is composed of a front portion 2a and a pair of support portions 2b.
  • the pair of support portions 2b extend rearward from the right and left ends of the front portion 2a.
  • the front portion 2a is positioned in front of a pair of eyes E of the user.
  • the frame 2 is composed of an opaque material.
  • the frame 2 may also be composed of a transparent material.
  • the pair of image generating devices 3 are symmetrical with respect to the Y-Z plane that passes through the center of the AR glasses 1.
  • the image generating devices 3 generate an image at the eye E of a user who wears the AR glasses 1 on their head.
  • Mirror 4 is a mirror with a concave reflective surface, and is installed on the inner surface of the front portion 2a of the frame 2. Mirror 4 almost completely reflects the light projected from the corresponding projection portion 11, and guides it to the user's eye E.
  • the image generating device 3 includes a projection unit 11, a gaze detection unit 12, a camera 13, and a distance detection unit 14.
  • the projection unit 11 is installed on the inner surface of the support unit 2b.
  • the projection unit 11 projects light modulated by a video signal onto the corresponding mirror 4.
  • the light from the projection unit 11 reflected by the mirror 4 is irradiated onto the fovea centralis, which is located at the center of the retina in the eye E. This allows the user to visually grasp the frame image 20 (see Figure 2) generated by the image generation device 3.
  • the pair of gaze detection units 12 are installed on the inner surface of the front part 2a between the pair of mirrors 4. The gaze detection units 12 are used to detect the user's gaze.
  • the pair of cameras 13 are installed on the outer surface of the front part 2a, in front of the pair of mirrors 4.
  • the cameras 13 capture the field of view of the cameras 13.
  • the field of view of the cameras 13 is in front of the AR glasses 1.
  • the pair of distance detection units 14 are installed on the outer surface of the front part 2a so as to be adjacent to the pair of cameras 13 in the left-right direction.
  • the distance detection unit 14 detects the distance to an object included in its field of view.
  • the distance detection unit 14 is composed of, for example, a TOF (Time Of Flight) camera.
  • the TOF camera may be of the flash type or the scanning type.
  • distance detection unit 14 substantially overlaps with the field of view of camera 13. Therefore, distance detection unit 14 detects the distance to an object included in the field of view of camera 13.
  • the field of view of distance detection unit 14 may be slightly wider than the field of view of camera 13.
  • Distance detection unit 14 detects the distance to each position within the field of view with a predetermined resolution. Therefore, the distance to an object is obtained for each position on the image captured by camera 13 based on the distance detected by distance detection unit 14.
  • FIG. 2 is a diagram showing a schematic configuration of the projection unit 11.
  • the projection unit 11 includes light sources 101, 102, and 103, collimator lenses 111, 112, and 113, apertures 121, 122, and 123, a mirror 131, dichroic mirrors 132 and 133, a first scanning unit 140, a relay optical system 150, and a second scanning unit 160.
  • Light sources 101, 102, and 103 are, for example, semiconductor laser light sources.
  • Light source 101 emits laser light with a red wavelength in the range of 635 nm to 645 nm
  • light source 102 emits laser light with a green wavelength in the range of 510 nm to 530 nm
  • light source 103 emits laser light with a blue wavelength in the range of 440 nm to 460 nm.
  • a color image is generated as the frame image 20 described below, so the projection unit 11 is equipped with light sources 101, 102, and 103 capable of emitting red, green, and blue laser light.
  • the projection unit 11 may be equipped with only one light source corresponding to the color of the image.
  • the projection unit 11 may also be configured to be equipped with two light sources with different emission wavelengths.
  • the light emitted from light sources 101, 102, and 103 is converted into parallel light by collimator lenses 111, 112, and 113, respectively.
  • the light transmitted through collimator lenses 111, 112, and 113 is shaped into a nearly circular beam by apertures 121, 122, and 123, respectively.
  • Mirror 131 almost completely reflects the red light that passes through aperture 121.
  • Dichroic mirror 132 reflects the green light that passes through aperture 122 and transmits the red light reflected by mirror 131.
  • Dichroic mirror 133 reflects the blue light that passes through aperture 123 and transmits the red and green light that passes through dichroic mirror 132.
  • Mirror 131 and the two dichroic mirrors 132 and 133 are positioned so as to align the optical axes of the light of each color emitted from light sources 101, 102, and 103.
  • the first scanning unit 140 reflects the light that has passed through the dichroic mirror 133.
  • the first scanning unit 140 is, for example, a MEMS (Micro Electro Mechanical System) mirror.
  • the first scanning unit 140 has a configuration for rotating the first mirror 141, on which the light that has passed through the dichroic mirror 133 is incident, around an axis 141a parallel to the Z-axis direction in response to a drive signal.
  • the rotation of the first mirror 141 changes the reflection direction of the light.
  • the light reflected by the first mirror 141 is scanned along a scanning line extending in the X-axis direction on the retina of the eye E, as described below.
  • the relay optical system 150 directs the light reflected by the first scanning unit 140 toward the center of the second mirror 161 of the second scanning unit 160. That is, the light incident on the first scanning unit 140 is deflected by the first mirror 141 at a predetermined deflection angle.
  • the relay optical system 150 directs the light at each deflection angle toward the center of the second mirror 161.
  • the relay optical system 150 also has multiple mirrors, and reflects the light reflected by the first scanning unit 140 by the multiple mirrors to direct it toward the second scanning unit 160. This makes it possible to realize a long optical path length inside the relay optical system 150, and to suppress the deflection angle of the light when viewed from the second mirror 161.
  • the second scanning unit 160 reflects the light that has passed through the relay optical system 150.
  • the second scanning unit 160 is, for example, a MEMS mirror.
  • the second scanning unit 160 has a configuration that rotates the second mirror 161, on which the light that has passed through the relay optical system 150 is incident, around an axis 161a parallel to the XY plane in response to a drive signal.
  • the direction in which the light is reflected changes as the second mirror 161 rotates.
  • the scanning line on the retina of the eye E along which the light is scanned by the first scanning unit 140 is changed in the Z-axis direction as described below.
  • the light reflected by the second scanning unit 160 i.e., the light emitted from the projection unit 11, is reflected by the mirror 4 and forms a frame image 20 on the retina of the eye E.
  • the field of view of the frame image 20 viewed by the user corresponds to the field of view of the camera 13. Therefore, the distance detection unit 14 in Figure 1 detects the distance to an object that is present within the field of view of the user when viewing the frame image 20.
  • FIG. 3 is a block diagram showing the configuration of the projection unit 11 and the gaze detection unit 12.
  • the gaze detection unit 12 includes a light source 12a and an image sensor 12b, and is connected to the control unit 201 of the projection unit 11.
  • the light source 12a is, for example, an LED that emits light of an infrared wavelength.
  • the image sensor 12b is, for example, a CMOS image sensor or a CCD image sensor.
  • the light source 12a irradiates light onto the user's eye E in response to instructions from the control unit 201.
  • the image sensor 12b captures an image of the user's eye E in response to instructions from the control unit 201, and outputs the captured image to the control unit 201.
  • the camera 13 In response to instructions from the control unit 201, the camera 13 captures an image of its field of view, generates a video signal, and outputs the generated video signal to the signal processing unit 300 of the corresponding projection unit 11.
  • the left camera 13 outputs the generated video signal to the signal processing unit 300 of the left projection unit 11
  • the right camera 13 outputs the generated video signal to the signal processing unit 300 of the right projection unit 11.
  • the camera 13 of embodiment 1 outputs a first captured video signal for high resolution and a second captured video signal for low resolution, as described below.
  • the camera 13 also has the function of a moving object detection unit 13a as a function of the built-in processing circuit.
  • the moving object detection unit 13a detects a moving object area on the frame image 20 using the above-mentioned first captured video signal or second captured video signal.
  • the moving object detection unit 13a identifies the area of the object moving on the frame image (moving object area) using a plurality of consecutive frame images 20. For example, the moving object detection unit 13a finds the difference in the captured video signal at each pixel between a plurality of consecutive frame images 20, and identifies the area of the object moving on the frame image (moving object area) from the found difference.
  • the moving object detection unit 13a sequentially outputs information indicating the position of the moving object area on the frame image 20 to the control unit 201.
  • the control unit 201 may also have the function of the moving object detection unit 13a.
  • the first captured video signal or the second captured video signal is output from the camera 13 to the control unit 201.
  • the control unit 201 detects a moving object area moving on the frame image 20 from the input captured video signal.
  • the projection unit 11 includes a control unit 201, a first mirror drive circuit 211, a second mirror drive circuit 212, a first mirror monitor sensor 213, a second mirror monitor sensor 214, a signal processing unit 300, a line memory 221, and a laser drive circuit 222.
  • the control unit 201 includes an arithmetic processing unit such as a CPU or FPGA, and memory.
  • the control unit 201 detects the user's gaze, for example, by the dark pupil method, the bright pupil method, or the corneal reflex method, based on the captured image from the gaze detection unit 12.
  • the control unit 201 acquires the viewpoint position in the frame image 20 formed on the user's retina, based on the detected gaze of the user.
  • the control unit 201 also controls the signal processing unit 300 to process video signals from the camera 13 and external devices.
  • the first mirror drive circuit 211 drives the first mirror 141 of the first scanning unit 140 in response to a drive signal from the control unit 201.
  • the second mirror drive circuit 212 drives the second mirror 161 of the second scanning unit 160 in response to a drive signal from the control unit 201.
  • the first mirror monitor sensor 213 is installed on the first mirror 141 and outputs a detection signal corresponding to the rotation of the first mirror 141 to the control unit 201.
  • the second mirror monitor sensor 214 is installed on the second mirror 161 and outputs a detection signal corresponding to the rotation of the second mirror 161 to the control unit 201. Based on the detection signals from the first mirror monitor sensor 213 and the second mirror monitor sensor 214, the control unit 201 outputs drive signals to the first mirror drive circuit 211 and the second mirror drive circuit 212 so that the first mirror 141 and the second mirror 161 rotate with the desired drive waveform.
  • the signal processing unit 300 processes the video signals from the camera 13 and external devices, and generates one line's worth of video signals. The configuration of the signal processing unit 300 will be described later with reference to FIG. 4.
  • the line memory 221 outputs one line's worth of video signals output from the signal processing unit 300 to the laser driving circuit 222.
  • the laser driving circuit 222 drives the light sources 101, 102, and 103 to emit light modulated by the one line's worth of video signals output from the line memory 221.
  • FIG. 4 is a block diagram showing the configuration of the signal processing unit 300.
  • the signal processing unit 300 includes a first buffer 301, a second buffer 302, an input processing unit 310, a first buffer 321, a second buffer 322, a signal synthesis unit 330, a first frame buffer 341, and a second frame buffer 342.
  • the imaging processing unit 230 is composed of the camera 13.
  • the camera 13 captures an image of the field of view and generates a first imaging video signal for high resolution and a second imaging video signal for low resolution.
  • the first buffer 301 is a memory that temporarily stores the first imaging video signal output from the camera 13 (imaging processing unit 230).
  • the second buffer 302 is a memory that temporarily stores the second imaging video signal output from the camera 13 (imaging processing unit 230).
  • FIG. 5 is a diagram showing a schematic diagram of the first and second image capture signals acquired by the camera 13.
  • Camera 13 generates a first imaging video signal in a first imaging period set within one frame, and generates a second imaging video signal in a second imaging period different from the first imaging period within one frame.
  • the first imaging period is the first half of one frame
  • the second imaging period is the second half of one frame
  • the lengths of the first imaging period and the second imaging period are the same.
  • the camera 13 drives all the light receiving sections (pixels) in the camera 13 to generate a first imaging video signal for high resolution. Meanwhile, in the second imaging period, the camera 13 drives every other light receiving section among the light receiving sections in each row that are horizontally arranged in the camera 13 to generate a second imaging video signal for low resolution.
  • the video signals for each line stored in the first buffer 301 and the second buffer 302 are shown by solid and dashed lines.
  • the odd-numbered first captured video signals from the top are shown by solid lines
  • the even-numbered first captured video signals from the top are shown by dashed lines.
  • 17 lines of first captured video signals are shown in the first buffer 301 in FIG. 5, but the actual number of lines is several levels more.
  • the second captured video signals stored in the second buffer 302 the second captured video signals with the dashed lines of the first buffer 301 omitted are shown by solid lines.
  • the second imaging video signal of the second buffer 302 is a signal in which every other line of the first imaging video signal of the first buffer 301 is thinned out by driving each light receiving unit in the camera 13.
  • the manner in which the lines are thinned out is not limited to this, and for example, the second imaging video signal of the second buffer 302 may be a signal in which every third or more lines of the first imaging video signal of the first buffer 301 are thinned out.
  • the video signal from the external device is, for example, a video signal relating to CG (Computer Graphics) that is superimposed on a specified area of the frame image 20.
  • This video signal has the same resolution as the first captured video signal output from the camera 13.
  • the input processing unit 310 performs thinning processing on the video signal input from the external device.
  • the first buffer 321 is a memory that temporarily stores the video signal input from the external device, i.e., the first input video signal that has not been thinned out by the input processing unit 310.
  • the second buffer 322 is a memory that temporarily stores the second input video signal after thinning processing by the input processing unit 310.
  • FIG. 6 is a schematic diagram for explaining the thinning process performed by the input processing unit 310.
  • the input processing unit 310 generates a first input video signal and a second input video signal, each having a different resolution, from a video signal from an external device.
  • the video signals for each line stored in the first buffer 321 and the second buffer 322 are shown by solid and dashed lines.
  • the odd-numbered first input video signals from the top are shown by solid lines
  • the even-numbered first input video signals from the top are shown by dashed lines.
  • 17 lines of first input video signals are shown in the first buffer 321 in FIG. 6, but the actual number of lines is several lines more.
  • the second input video signal stored in the second buffer 322 is a signal in which the dashed lines of the first buffer 321 have been thinned out.
  • the second input video signal of the second buffer 322 is a signal in which every other line of the first input video signal of the first buffer 321 is thinned out.
  • the manner in which the lines are thinned out is not limited to this, and for example, the second input video signal may be a signal in which every third or more lines of the first input video signal of the first buffer 321 are thinned out.
  • the second input video signal may be generated by mixing adjacent lines of the first input video signal stored in the first buffer 321. In the mixing process, for example, two adjacent lines are replaced with one line calculated as the average value of the signals of these two lines.
  • the signal synthesis unit 330 synthesizes the first captured video signal for high resolution stored in the first buffer 301 and the first input video signal for high resolution stored in the first buffer 321 to generate a first synthesized video signal for high resolution for one frame.
  • the signal synthesis unit 330 also synthesizes the second captured video signal for low resolution stored in the second buffer 302 and the second input video signal for low resolution stored in the second buffer 322 to generate a second synthesized video signal for low resolution for one frame.
  • the first frame buffer 341 stores one frame of the first composite video signal for high resolution generated by the signal synthesis unit 330.
  • the second frame buffer 342 stores one frame of the second composite video signal for low resolution generated by the signal synthesis unit 330.
  • the first frame buffer 34 in response to a control signal from the control unit 201 (see FIG. 3), sequentially outputs one line of the first composite video signal of one stored frame of the first composite video signal to the line memory 221.
  • the second frame buffer 342 in response to a control signal from the control unit 201, sequentially outputs one line of the second composite video signal of one stored frame of the second composite video signal to the line memory 221. Either one of the one line of the first composite video signal from the first frame buffer 341 or the one line of the second composite video signal from the second frame buffer 342 is input to the line memory 221.
  • FIG. 7(a) is a schematic diagram showing the generation of a frame image 20 according to a comparative example.
  • the first scanning unit 140 scans light along the scanning line in the X-axis direction, and the second scanning unit 160 changes the scanning line to the Z-axis direction, thereby generating a frame image 20 on the retina of the user's eye E.
  • the scanning line is changed, as shown by the dotted line in FIG. 7(a)
  • the scanning positions of the first scanning unit 140 and the second scanning unit 160 are moved with the light sources 101, 102, and 103 turned off.
  • the scanning position is moved to the beginning of the scanning line of the next row.
  • scanning position is moved to the beginning of the scanning line of the top scanning line.
  • the frame image 20 is generated based only on a high-resolution video signal.
  • the resolution (number of scanning lines) of the frame image 20 is set low in the outer area of a predetermined range including the user's viewpoint position P10, as shown in FIG. 7(b). This makes it less likely that the user's eyes will become tired.
  • a first composite video signal with a large number of scanning lines (high resolution) is stored in advance in the first frame buffer 341, and a second composite video signal with a small number of scanning lines (low resolution) is stored in the second frame buffer 342.
  • the control unit 201 then switches between the first composite video signal from the first frame buffer 341 and the second composite video signal from the second frame buffer 342 based on the viewpoint position P10 and the area toward which the user's gaze is likely to be directed, to generate a frame image 20. This makes it possible to suppress the above-mentioned display delay and realize image generation that tracks the user's viewpoint position P10.
  • FIG. 7(b) is a diagram showing a schematic diagram of the generation of a frame image 20 according to the first embodiment.
  • the control unit 201 detects the user's line of sight based on the captured image acquired by the line of sight detection unit 12, and acquires the viewpoint position P10 on the frame image 20 based on the detected line of sight.
  • the control unit 201 controls the light sources 101, 102, 103, the first scanning unit 140, and the second scanning unit 160 so that an image is generated by selectively applying either the high-resolution first composite video signal from the first frame buffer 341 or the low-resolution second composite video signal from the second frame buffer 342 to the first image region R1 of a predetermined number of scanning lines that includes the viewpoint position P10 on the frame image 20, depending on the distance detected by the distance detection unit 14 from the viewpoint position P10.
  • the control unit 201 also sets a specific region R3 on the frame image 20, which includes at least a part of the region to which the gaze is likely to be directed.
  • the moving object region R10 moving on the frame image 20 is set as the region to which the gaze is likely to be directed.
  • the moving object region R10 is detected by the moving object detection unit 13a and output to the control unit 201.
  • the control unit 201 controls the light sources 101, 102, 103, the first scanning unit 140, and the second scanning unit 160 so that an image is generated by selectively applying either the high-resolution first composite video signal from the first frame buffer 341 or the low-resolution second composite video signal from the second frame buffer 342 to the specific region R3 of a predetermined number of scanning lines including the moving object region R10 on the frame image 20, depending on the distance detected by the distance detection unit 14 from the center position of the specific region R3.
  • the control unit 201 also controls the light sources 101, 102, 103, the first scanning unit 140, and the second scanning unit 160 so that an image is generated by applying a low-resolution second composite video signal from the second frame buffer 342 to the second image area R2 other than the first image area R1 and the specific area R3 on the frame image 20.
  • control unit 201 sets the specific region R3 to be smaller than the first image region R1. Specifically, the control unit 201 sets the width of the specific region R3 in the Z-axis direction to be smaller than the width of the first image region R1 in the Z-axis direction. More specifically, the control unit 201 sets the number of scanning lines included in the specific region R3 to be smaller than the number of scanning lines included in the first image region R1.
  • the width of the first image region R1 in the Z-axis direction is predetermined.
  • the control unit 201 sets the first image region R1 so that the viewpoint position P10 is aligned with the center of this width.
  • the width of the first image region R1 may be set taking into consideration the width of the range in the Z-axis direction around the viewpoint that can normally be clearly recognized by a person.
  • the width of the first image region R1 in the Z-axis direction may be set to approximately the width of the range in the Z-axis direction around the viewpoint that can normally be clearly recognized by a person.
  • the width of the specific region R3 in the Z-axis direction is predetermined.
  • the control unit 201 sets the specific region R3 so that the center of gravity of the moving object region R10 is aligned with the center of this width. If the width of the moving object region R10 in the Z-axis direction is smaller than the specified width of the specific region R3, the control unit 201 may reduce the width of the specific region R3 from the specified width to the width of the moving object region R10.
  • control unit 201 may dynamically change the width of the specific region R3 according to the size of the moving object region R10 so that the width of the specific region R3 approximately matches the width of the moving object region R10.
  • the width of the specific region R3 in the Z-axis direction becomes larger than the width of the first image region R1, and when a high-resolution image is displayed in these regions, the proportion of the region in which the high-resolution image is displayed relative to the frame image 20 becomes high. This may reduce the effect of relieving eye fatigue for the user.
  • a predetermined upper limit may be set for the width of specific region R3 in the Z-axis direction.
  • this upper limit may be set taking into consideration the width in the Z-axis direction of the range around the viewpoint that can usually be clearly recognized by a person. This makes it possible to prevent specific region R3 from becoming significantly larger, and appropriately reduces eye fatigue for the user.
  • FIG. 7(b) for the sake of convenience, about five scanning lines are shown in the first image region R1, about four scanning lines in total are shown in the second image region R2, and about three scanning lines are shown in the specific region R3, but the actual number of scanning lines is several levels more.
  • the number of scanning lines included in the first image region R1 may be changed as appropriate. Also, in FIG. 7(b), the first image region R1 has ranges with the same number of scanning lines above and below the viewpoint position P10 as the center, but the number of scanning lines corresponding to the upper range and the number of scanning lines corresponding to the lower range may be different from each other.
  • the resolution is further controlled according to the distance detected by the distance detection unit 14. That is, the image resolution in the first image region R1 and the specific region R3 is not fixed to a high resolution, but the resolution of these regions is adjusted according to the distance detected by the distance detection unit 14 for these regions.
  • control unit 201 applies a video signal (second composite video signal) from a frame buffer (here, the second frame buffer 342) with a lower definition (lower resolution) to an image region (first image region R1) that includes a viewpoint position P10 corresponding to the line of sight, the greater the distance to the object corresponding to the viewpoint position P10, to generate an image.
  • a video signal second composite video signal
  • first image region R1 that includes a viewpoint position P10 corresponding to the line of sight, the greater the distance to the object corresponding to the viewpoint position P10, to generate an image.
  • control unit 201 applies a video signal from a frame buffer (here, the second frame buffer 342) with a lower definition (lower resolution) to generate an image in the specific region R3, the greater the distance to the object corresponding to the position of the specific region R3 (for example, the position of the center of gravity of the moving object region R10).
  • a frame buffer here, the second frame buffer 342
  • a lower definition lower resolution
  • FIG. 8 is a flowchart showing the process of generating a frame image 20 performed by the image generating device 3.
  • the processing in steps S11 to S21 is related to the generation of a frame image 20 corresponding to one frame.
  • the control unit 201 performs a storage process (S11). As a result, a first composite video signal for one frame of high resolution and a second composite video signal for one frame of low resolution are stored in the first frame buffer 341 and the second frame buffer 342, respectively, based on the video signal from the camera 13 and the video signal from the external device.
  • FIG. 9 is a flowchart showing the details of the storage process of step S11 in FIG. 8. The process in FIG. 9 is executed by the control unit 201 controlling the imaging processing unit 230 and the signal processing unit 300.
  • the imaging processor 230 (camera 13 in the first embodiment) generates a first imaging video signal for high resolution during the first imaging period, and generates a second imaging video signal for low resolution during the second imaging period.
  • the imaging processor 230 then stores the generated first imaging video signal and second imaging video signal in the first buffer 301 and second buffer 302, respectively (S101).
  • the input processing unit 310 generates a first input video signal for high resolution and a second input video signal for low resolution based on a video signal input from an external device. Then, the input processing unit 310 stores the generated first input video signal and second input video signal in the first buffer 321 and the second buffer 322, respectively (S102). Note that the processes of steps S101 and S102 are performed in parallel.
  • the signal synthesis unit 330 synthesizes the second captured video signal stored in the second buffer 302 with the second input video signal of the same line as the second captured video signal among the second input video signals stored in the second buffer 322, to generate a second synthesized video signal for one frame of low resolution.
  • the signal synthesis unit 330 then stores the generated second synthesized video signal in the second frame buffer 342 (S104). Note that the processes of steps S103 and S104 are performed in parallel.
  • steps S12 to S20 are related to the generation of one line of an image.
  • control unit 201 controls the first mirror drive circuit 211 so that the first mirror 141 rotates repeatedly at the same period in the processing of each line, and drives the laser drive circuit 222 based on the video signal for one line input to the line memory 221.
  • the control unit 201 detects the user's viewpoint position P10 based on the captured image acquired by the gaze detection unit 12 (S12).
  • the control unit 201 sets a first image area R1 and a second image area R2 based on the viewpoint position P10 detected in step S12 (S13). Furthermore, the control unit 201 sets a specific area R3 as described above based on the detection result from the moving object detection unit 13a (S14).
  • the control unit 201 determines whether the current scan line is within the first image region R1 or the specific region R3 (S15).
  • the control unit 201 refers to the detection results successively input from the distance detection unit 14 and determines whether the distance to the object at the viewpoint position P10 or the moving object region R10 position that includes the current scanning line is equal to or less than a predetermined threshold (S16).
  • the threshold is set to, for example, about several meters.
  • the control unit 201 causes the first frame buffer 341 to output a high-resolution first composite video signal to the line memory 221 (S17). As a result, one line of image is generated by the first composite video signal from the first frame buffer 341.
  • the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at the first scanning speed (S18). As a result, the spacing between vertically adjacent scanning lines becomes narrower, as shown in the first image region R1 or specific region R3 in FIG. 7(b). In this way, a high-resolution image is displayed in the first image region R1 or specific region R3.
  • the control unit 201 causes the second frame buffer 342 to output a low-resolution second composite video signal to the line memory 221 (S19). As a result, one line of image is generated by the second composite video signal from the second frame buffer 342.
  • the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at a second scanning speed that is faster than the first scanning speed (S20). As a result, the interval between vertically adjacent scanning lines becomes wider, as shown in the second image region R2 in FIG. 7B. In this way, a low-resolution image is displayed in the first image region R1 or the specific region R3.
  • the first composite video signal or the second composite video signal is output to the line memory 221 so that the first composite video signal or the second composite video signal corresponding to that scan line is held in the line memory 221 when scanning begins in steps S18 and S20.
  • the frequency with which the first composite video signal is output to the line memory 221 is approximately twice the frequency with which the second composite video signal is output to the line memory 221.
  • the control unit 201 determines whether or not image generation for one frame has been completed (S21). If image generation for one frame has not been completed (S21: NO), the control unit 201 returns the process to step S12 and executes the processes of steps S12 to S20 again. When image generation for one frame has been completed in this manner (S21: YES), the process of FIG. 8 ends. By repeatedly performing the process of FIG. 8, frame images 20 are generated continuously.
  • step S15 it is determined whether the current scan line is within the merged region, and during the period when the scan line is within the merged region, the process proceeds to step S16.
  • the image generating device 3 has a plurality of frame buffers (first frame buffer 341, second frame buffer 342) that respectively store a plurality of types of video signals (first composite video signal, second composite video signal) for constructing images (frame images 20) with different definitions (resolutions).
  • the control unit 201 applies a video signal (second composite video signal) from a low-definition frame buffer (second frame buffer 342) to an image area (first image area R1) including a viewpoint position P10 corresponding to the line of sight (S15: YES), the greater the distance to the object corresponding to viewpoint position P10 (S16: NO) (S19).
  • the image displayed near the line of sight has lower definition (resolution) the greater the distance to the object in front of the line of sight. This makes it possible to bring the definition of the image displayed in the area near the line of sight (first image region R1) closer to the actual definition when viewing the object in front of the line of sight.
  • first composite video signal, second composite video signal for displaying images with different resolutions are pre-stored in multiple frame buffers (first frame buffer 341, second frame buffer 342)
  • the control unit 201 only needs to select a video signal from one of the frame buffers in response to the movement of the line of sight. Therefore, an image according to the distance can be smoothly and quickly displayed in the area near the line of sight (first image area R1).
  • the image generating device 3 includes an imaging processor 230 that captures an image of the field of view and outputs multiple types of captured image video signals (first captured image video signal, second captured image video signal) for constructing a frame image 20 with different definitions (resolutions).
  • the multiple types of video signals (first composite video signal, second composite video signal) stored in multiple frame buffers (first frame buffer 341, second frame buffer 342) are constructed using the multiple types of captured image video signals (first captured image video signal, second captured image video signal), and the image area including the viewpoint position P10 is a first image area R1 of a predetermined size on the frame image 20 that includes the viewpoint position P10.
  • the user can be shown an image of the field of view in front of the user.
  • the fineness (resolution) of the image area near the user's line of sight can be adjusted according to the distance to the object in front of the line of sight. Therefore, the fineness (resolution) of the first image area near the line of sight on the frame image 20 can be made closer to the actual fineness when viewing the object in front of the line of sight.
  • control unit 201 applies a video signal (second composite video signal) from a frame buffer (second frame buffer 342) corresponding to a predetermined definition (resolution) other than the highest definition (resolution) to a second image region R2 other than the first image region R1 on the frame image 20.
  • a video signal second composite video signal
  • second frame buffer 342 corresponding to a predetermined definition (resolution) other than the highest definition (resolution)
  • the definition (resolution) of the second image region R2 outside the line of sight is set low, which helps prevent eye fatigue for the user.
  • the control unit 201 sets a specific area R3 on the frame image 20 that includes at least a portion of the area that is likely to be directed at (S14), and applies a video signal (second composite video signal) from a low-definition frame buffer (second frame buffer 342) to the specific area R3 (S15: YES) and the greater the distance to the object corresponding to the position of the specific area R3 (S16: NO) (S19).
  • a video signal second composite video signal
  • This configuration makes it possible to bring the resolution of the image displayed in specific area R3 closer to the resolution when actually viewing an object located in specific area R3, thereby reducing the sense of discomfort felt when the user moves their gaze to specific area R3 and looks at specific area R3.
  • the image generating device 3 further includes a moving object detection unit 13a that detects a moving object region R10 that moves on the frame image 20, and the control unit 201 sets the detected moving object region R10 as a specific region that is likely to be directed at.
  • the specific region R3 is set to include at least a portion of the moving object region R10, so the fineness (resolution) of the moving object region R10, where the gaze is likely to be directed next, can be adjusted in advance according to the distance to the object. Therefore, when the gaze is actually directed to the moving object region R10 in response to the movement of an object, an image with a fineness close to what the user senses according to the distance can be displayed in that region.
  • control unit 201 sets the specific region R3 to be smaller than the first image region R1.
  • the first image region R1 and the specific region R3 when a high-resolution image is displayed in the first image region R1 and the specific region R3, the first image region R1, which is directed by the user's gaze, can be primarily made high-resolution, while the specific region R3, which is likely to be directed next, can be made high-resolution secondarily, and the proportion of the region in which the high-resolution image is displayed relative to the frame image 20 can be appropriately reduced. Therefore, a high-resolution image can be displayed smoothly and quickly at the position of the user's gaze by following changes in the user's gaze, while appropriately reducing eye fatigue.
  • the image definition adjusted in the first image region R1 and the specific region R3 is the image resolution determined by the scanning speed of the scanning unit (second scanning unit 160).
  • the image resolution can be adjusted by controlling the scanning speed of the scanning unit (second scanning unit 160) to adjust the density of the scanning lines.
  • the moving object detection unit 13a is disposed in the camera 13 that acquires frame images for display, and detects the moving object region R10 from the captured video signal of this camera 13.
  • the camera 13 is used both to obtain frame images for display and to detect the moving object region R10. This allows the configuration of the image generating device 3 to be simplified.
  • the camera 13 outputs a first imaging video signal corresponding to a high resolution during a first imaging period in one frame period, and outputs a second imaging video signal corresponding to a low resolution during a second imaging period that is different from the first imaging period in one frame period.
  • This configuration allows for smooth generation of a high-resolution first captured video signal and a low-resolution second captured video signal.
  • the input processing unit 310 outputs a first input video signal for constructing a frame image 20 with high resolution (first definition) and a second input video signal for constructing a frame image 20 with low resolution (second definition) based on a video signal from an external device.
  • the signal synthesis unit 330 stores a first synthesized video signal obtained by synthesizing the first captured video signal and the first input video signal in the first frame buffer 341, and stores a second synthesized video signal obtained by synthesizing the second captured video signal and the second input video signal in the second frame buffer 342.
  • the video signal from the imaging processing unit 230 and the video signal from the external device can be combined to generate the frame image 20.
  • This allows CG images and the like based on the video signal to be added to the image captured by the camera 13 and displayed, allowing the user to grasp the additional information based on the video signal.
  • the mirror 4 (optical system) guides the light scanned by the first scanning unit 140 and the second scanning unit 160 (scanning unit) to the eye E of a user wearing AR glasses 1 (head-mounted display) on the head.
  • camera 13 outputs both the first imaging video signal and the second imaging video signal, but this is not limited thereto.
  • Camera 13 may output one type of video signal, and a processing unit arranged downstream of camera 13 may generate video signals having different resolutions.
  • FIG. 10 is a block diagram showing the configuration of the signal processing unit 300 in this modified example.
  • the signal processing unit 300 in FIG. 10 includes an input processing unit 350 between the camera 13 and the first and second buffers 301 and 302.
  • the imaging processing unit 230 in this modified example is composed of the camera 13 and the input processing unit 350.
  • the camera 13 of this modified example outputs only a high-resolution video signal similar to the first captured video signal of the first embodiment.
  • the input processing unit 350 performs a thinning process on the video signal input from the camera 13 similar to the thinning process performed by the input processing unit 310.
  • the first buffer 301 temporarily stores the first captured video signal output from the camera 13 that has not been thinned out by the input processing unit 350.
  • the second buffer 302 temporarily stores the second captured video signal that has been thinned out and generated by the input processing unit 350.
  • FIG. 11 is a schematic diagram for explaining the thinning process performed by the input processing unit 350.
  • the input processing unit 350 generates a first imaging video signal and a second imaging video signal, each having a different resolution, from the video signal from the camera 13.
  • the video signals for each line stored in the first buffer 301 and the second buffer 302 are shown by solid and dashed lines.
  • the odd-numbered first imaging video signals from the top are shown by solid lines
  • the even-numbered first imaging video signals from the top are shown by dashed lines.
  • 17 lines of first imaging video signals are shown in the first buffer 301 in FIG. 11, but the actual number of lines is several levels more.
  • the second imaging video signal stored in the second buffer 302 is a signal in which the dashed lines of the first buffer 301 have been thinned out.
  • the second imaging video signal in the second buffer 302 is a signal in which the lines of the first imaging video signal in the first buffer 301 are thinned out every other line.
  • the manner in which the lines are thinned out is not limited to this, and for example, the second imaging video signal may be a signal in which the first imaging video signal in the first buffer 301 is thinned out by one line out of every three or more lines.
  • the second imaging video signal may also be generated by mixing adjacent lines of the first imaging video signal stored in the first buffer 301. In the mixing process, for example, two adjacent lines are replaced with one line calculated as the average value of the signals of these two lines.
  • the camera 13 outputs a first imaging video signal corresponding to a high resolution
  • the imaging processing unit 230 is equipped with an input processing unit 350 that performs thinning or mixing on the high-resolution first imaging video signal to generate a second imaging video signal corresponding to a low resolution.
  • the camera 13 only needs to output one type of first imaging video signal, and therefore the configuration and processing of the camera 13 can be simplified. Furthermore, as shown in the first embodiment, in a configuration in which the first imaging video signal and the second imaging video signal are obtained in two different imaging periods, if the subject moves at high speed, the position of the subject will differ in the two types of video signals. However, according to this modified example, the camera 13 only outputs one type of first imaging video signal, and therefore the position of the subject will be the same in the first imaging video signal and the second imaging video signal generated by the input processing unit 350, even if the subject moves at high speed. This makes it possible to avoid any discomfort felt by the user based on the first imaging video signal and the second imaging video signal.
  • both the video signal from the camera 13 and the video signal from the external device are input to the signal processing unit 300, but as shown below, only the video signal from the camera 13 may be input to the signal processing unit 300.
  • FIG. 12 is a block diagram showing the configuration of the signal processing unit 300 in this modified example.
  • the signal processing unit 300 in FIG. 12 omits the input processing unit 310, the first buffer 321, the second buffer 322, and the signal synthesis unit 330.
  • the first captured video signal from the camera 13 is temporarily stored in the first buffer 301, and one frame of the first captured video signal is then output to the first frame buffer 341.
  • the second captured video signal from the camera 13 is temporarily stored in the second buffer 302, and one frame of the second captured video signal is then output to the second frame buffer 342.
  • the first frame buffer 341 stores the first captured video signal from the first buffer 301
  • the second frame buffer 342 stores the second captured video signal from the second buffer 302.
  • the process of generating the frame image 20 is similar to that of Fig. 8.
  • Either the first captured video signal from the first frame buffer 341 or the second captured video signal from the second frame buffer 342 is selectively applied to the first image region R1 and the specific region R3 depending on the distance to the object, and an image is displayed.
  • the second captured video signal from the second frame buffer 342 is applied to the second image region R2, and an image is displayed.
  • the definition of the image displayed in the first image region R1 near the line of sight and the specific region R3 to which the line of sight is likely to be directed can be made closer to the actual definition (resolution) when viewing an object located in these regions.
  • one type of video signal may be output from the camera 13, and the input processing unit 350 may be disposed between the camera 13 and the first buffer 301 and second buffer 302.
  • the first image area R1 is set based on the viewpoint position P10 based on the line of sight of the user, but this is not limiting, and the first image area R1 may be fixed in advance.
  • FIG. 13 is a schematic diagram showing how the first image region R1 is set to one of five regions R11 to R15 based on the viewpoint position P10 in this modified example.
  • the control unit 201 sets the regions R11 to R15 to the first image region R1, respectively.
  • the viewpoint regions R01 to R05 are obtained by dividing the frame image 20 into five regions in the vertical direction (Z-axis direction).
  • the regions R11 to R15 are regions set corresponding to the viewpoint regions R01 to R05, and each region includes a predetermined number of scanning lines.
  • FIG. 14 shows the scanning speed of the second mirror 161 when the five regions R11 to R15 are each set in the first image region R1 in this modified example.
  • the scanning speed of the second mirror 161 is set as shown in the bottom graph of Figure 14.
  • the bottom graph of Figure 14 shows the scanning speed of the second mirror 161 for scanning one line.
  • the speed of the second mirror 161 is slower in regions R11 to R15.
  • a selection candidate that includes the center of gravity of the moving object region R10 may be set as the specific region R3 for displaying a high-resolution image.
  • the area other than the first image area R1 and the specific area R3 is set as the second image area R2.
  • the control unit 201 sets the area including the viewpoint position P10 as the first image area R1 out of a plurality of areas R11 to R15 that are previously formed by dividing the frame image 20 in a direction (Z-axis direction) that intersects the scanning line.
  • the input processors 350 and 310 output two types of video signals, one for high resolution and one for low resolution. In contrast, in the second embodiment, the input processors 350 and 310 output video signals for high gradation and one for low gradation.
  • FIG. 15 is a block diagram showing the configuration of the signal processing unit 300 according to the second embodiment.
  • the signal processing unit 300 in FIG. 15 differs in that the two types of video signals output from the input processing units 350 and 310.
  • the input processing unit 350 outputs the first imaging video signal for high gradation output from the camera 13 directly to the first buffer 301, and outputs a second imaging video signal generated by reducing the gradation of the first imaging video signal for high gradation output from the camera 13 to the second buffer 302.
  • the first imaging video signal output from the camera 13 is, for example, a video signal in which shading is expressed in 256 gradations
  • the second imaging video signal generated by the reduction in gradations by the input processing unit 350 is, for example, a two-level video signal that has been reduced to two gradations using a threshold value. Both the first imaging video signal and the second imaging video signal are video signals for high resolution.
  • the input processing unit 310 outputs the first input video signal for high gradation output from an external device directly to the first buffer 321, and outputs a second input video signal generated by reducing the gradation of the first input video signal for high gradation output from the external device to the second buffer 322.
  • the first input video signal output from the external device is, for example, a video signal expressed in 256 gradations
  • the second input video signal generated by the reduction in gradation by the input processing unit 310 is, for example, a two-level video signal that has been reduced in 2 gradations using a threshold value. Both the first input video signal and the second input video signal are video signals for high resolution.
  • the signal synthesis unit 330 synthesizes the first captured image signal for high gradation stored in the first buffer 301 and the first input image signal for high gradation stored in the first buffer 321 to generate a first synthesized image signal for high gradation for one frame.
  • the signal synthesis unit 330 also synthesizes the second captured image signal for low gradation stored in the second buffer 302 and the second input image signal for low gradation stored in the second buffer 322 to generate a second synthesized image signal for low gradation for one frame.
  • FIG. 16 is a diagram showing a schematic diagram of the generation of a frame image 20 according to the second embodiment.
  • the control unit 201 sets a first image region R31 of a predetermined size that includes the viewpoint position P10.
  • the size of the first image region R1 may be set taking into account the range around the viewpoint that can usually be clearly recognized by a person.
  • the control unit 201 also sets the specific region R33 so as to include at least a portion of the moving object region R10 detected by the moving object detection unit 13a.
  • the specific region R33 is set so that the center of gravity of the moving object region R10 is aligned with the center.
  • the specific region R33 is set smaller than the first image region R31.
  • the size of the specific region R33 is fixed to a specified size. If the moving object region R10 is smaller than the specified size of the specific region R33, the specific region R33 may be reduced to a size in which the moving object region R10 is inscribed.
  • the size of the specific region R33 may also change depending on the size of the moving object region R10. In this case, as described in the first embodiment above, it is preferable to set an upper limit on the change in size of the specific region R33.
  • the upper limit may be set, for example, taking into account the range around the viewpoint that can be clearly recognized by a person.
  • control unit 201 selectively applies either the first composite video signal from the first frame buffer 341 or the second composite video signal from the second frame buffer 342 to the first image region R31 including the viewpoint position P10 and the specific region R33 depending on the distance to the object located in these regions.
  • the control unit 201 also applies the second composite video signal from the second frame buffer 342 to the second image region R32 other than the first image region R31 and the specific region R33.
  • FIG. 17 is a flowchart showing the process of generating a frame image 20 performed by the image generating device 3 according to the second embodiment.
  • the process of FIG. 17 replaces steps S15 to S20 with steps S31 to S23.
  • the second mirror 161 is rotated in the negative direction of the Z axis at a constant scanning speed. This scanning speed is the same as the scanning speed when a high-resolution image is displayed in embodiment 1. The process that differs from FIG. 8 will be described below.
  • the control unit 201 selectively outputs the first composite video signal of the first frame buffer 341 or the second composite video signal of the second frame buffer 342 to the line memory 221 depending on the positions of the first image region R31 and the specific region R33 (S33).
  • FIG. 18 is a flowchart showing the processing of step S33 in FIG. 17.
  • the control unit 201 If the write target address on the line memory 221 is an address corresponding to the second image area R32 (S201: YES), the control unit 201 outputs the second composite video signal on the second frame buffer 342 corresponding to this address to the second frame buffer 342, and writes the second composite video signal to the write target address (S202).
  • the control unit 201 refers to the distance corresponding to the viewpoint position P10 among the distances detected by the distance detection unit 14, and determines whether this distance is equal to or smaller than a predetermined threshold (S203).
  • This threshold is set in the same way as the threshold in step S16 of FIG. 8.
  • the control unit 201 causes the first composite video signal on the first frame buffer 341 corresponding to this address to be output to the first frame buffer 341, and writes the first composite video signal to the write target address (S205).
  • the control unit 201 causes the second composite video signal on the second frame buffer 342 corresponding to this address to be output to the second frame buffer 342, and writes the second composite video signal to the write target address (S202).
  • the control unit 201 causes the first composite video signal on the first frame buffer 341 corresponding to this address to be output to the first frame buffer 341, and writes the first composite video signal to the write target address (S205).
  • the control unit 201 causes the second composite video signal on the second frame buffer 342 corresponding to this address to be output to the second frame buffer 342, and writes the second composite video signal to the write target address (S202).
  • the image of the first image region R31 and the specific region R33 of the one line image is generated by applying a composite video signal for high gradation or low gradation depending on the distance.
  • the image of the second image region R32 of the one line image is generated by a second composite video signal for low gradation.
  • an image with gradation adjusted according to distance is displayed in the first image region R31 near the viewpoint position P10 and in the specific region R33 toward which the line of sight is likely to be directed, and a low-gradation image is displayed in the second image region R32 outside the first image region R31 and the specific region R33.
  • the resolution of the image displayed in specific area R3 can be made closer to the resolution when actually viewing an object located in specific area R3, reducing the sense of incongruity felt when the user shifts their gaze to specific area R3 and looks at specific area R3.
  • the image resolution adjusted in the first image region R1 and the specific region R3 is the gradation that defines the luminance resolution of the video signal. Therefore, the image resolution can be adjusted by simply adjusting the gradation while keeping the scanning speed of the scanning unit (second scanning unit 160) constant.
  • the camera 13 outputs a first captured video signal corresponding to a high gradation (first gradation), and the imaging processing unit 230 has an input processing unit 350 that performs processing to reduce the gradation of the high gradation first captured video signal to generate a second captured video signal for a low gradation (second gradation).
  • This configuration allows for smooth generation of high and low gradation video signals.
  • the input processing unit 350 may be configured integrally with the camera 13.
  • the video signal from the external device may be a first input video signal for high gradation and a second input video signal for low gradation. In this case, the input processing unit 310 is omitted.
  • the moving object region R10 is exemplified as a region to which the gaze is likely to be directed, but the region to which the gaze is likely to be directed is not limited to this.
  • an area of interest that is likely to be of interest to the user may be set in advance as an area to which the gaze is likely to be directed.
  • the control unit 201 sets a specific area to include the area of interest.
  • the area of interest is, for example, near the bottom end of the frame image 20.
  • Figures 19(a) and (b) are schematic diagrams showing the generation of a frame image 20 according to embodiment 3.
  • Figure 19(a) shows the scanning form when a specific region R3 is set near the bottom edge of the frame image 20 in the configuration of embodiment 1
  • Figure 19(b) shows the scanning form when a specific region R3 is set near the bottom edge of the frame image 20 in the configuration of embodiment 2.
  • the region near the bottom edge of the frame image 20 is the region of interest, and this region of interest is directly set as the specific region R3.
  • a specific region R3 is set near the bottom edge of the frame image 20, and therefore the resolution is adjusted near this bottom edge according to the distance to the object, as in the first embodiment above.
  • a specific region R33 is set near the bottom edge of the frame image 20, and therefore the gradation is adjusted near this bottom edge according to the distance to the object, as in the second embodiment above.
  • the area of interest (here, near the bottom end of the frame image 20) that the user is likely to pay attention to is set in advance in the control unit 201, and the control unit 201 sets the specific areas R3 and R33 so as to include the area of interest.
  • This allows the user to immediately see an image in which the resolution has been adjusted according to the distance when moving his/her gaze to the area of interest.
  • Figures 19(a) and (b) when the user moves his/her gaze occasionally to the ground while looking at the image of the scenery in front, he/she can immediately see an image in which the resolution near the ground has been adjusted.
  • the region of interest is not limited to the examples in Figs. 19(a) and (b), and for example, regions such as traffic lights and traffic signs may be set as the region of interest.
  • the control unit 201 is provided with an image analysis function for extracting regions such as traffic lights and traffic signs from the video signal from the camera 13.
  • the control unit 201 uses this function to identify these regions that are regions of interest on the frame image 20, and sets specific regions R3 and R33 so as to include at least a portion of these regions.
  • the control unit 201 sets specific regions R3 and R33 so that the center of gravity of the identified region of interest is aligned with the center of specific regions R3 and R33.
  • the frame image generation process is similar to that shown in FIG. 8 or FIG. 17.
  • the specific regions R3 and R33 are preferably set smaller than the first image region R1.
  • a frame image 20 captured by the camera 13 is displayed.
  • the camera 13 is omitted, and only an image based on an input video signal input from an external device is displayed.
  • the frame 2 shown in Fig. 1 is made of a transparent material. The user visually recognizes the scenery ahead with the naked eye through the front portion 2a of the frame 2.
  • the camera 13 is omitted from the configuration in FIG. 3. Furthermore, an input video signal input from an external device is input to the signal processing unit 300 as well as the control unit 201.
  • the other configuration is the same as in FIG. 3.
  • the control unit 201 extracts the area of the display image on the image area (frame) from the input video signal from the external device.
  • the input video signal is, for example, a video signal that displays a CG image in a specific area on the image area (frame) and does not display an image in the other areas (does not cause the light sources 101-103 to emit light).
  • the control unit 201 extracts the area of the CG image on the frame as the area of the display image.
  • the process of FIG. 22 replaces steps S13 to S16 with steps S41 to S44. Also, since the first frame buffer 341 and the second frame buffer 342 store the first input video signal and the second input video signal, respectively, the signals targeted in steps S11, S17, and S19 are the first input video signal and the second input video signal. The process that differs from FIG. 8 will be explained below.
  • the control unit 201 determines whether the current scan line is within the high-definition area (S44).
  • step S17 If the current scan line is within the high-definition area (S44: YES), the control unit 201 advances the process to step S17. If the current scan line is not within the high-definition area (S44: NO), the control unit 201 advances the process to step S19. When the process proceeds to step S17, one line of image is generated by the first input video signal from the first frame buffer 341. In parallel with this, the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at the first scanning speed (S18). This results in a high-resolution image being displayed.
  • step S19 when the process proceeds to step S19, one line of an image is generated by the second video signal from the second frame buffer 342.
  • the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at a second scanning speed that is faster than the first scanning speed (S20). This causes a low-resolution image to be displayed.
  • region R41 of the display image does not include viewpoint position P10, no high-definition region is set. In this case, the spacing between the scanning lines is widened in all regions, including region R41 of the display image. As a result, a low-resolution image is displayed in region R41 of the display image.
  • region R41 of the display image includes viewpoint position P10 and the distance obtained for viewpoint position P10 is equal to or less than a threshold
  • high-definition region R42 is set. In this case, the spacing between scanning lines becomes narrower in high-definition region R42. As a result, a high-resolution image is displayed in region R41 of the display image.
  • region R41 of the display image includes viewpoint position P10, but the distance obtained for viewpoint position P10 is greater than the threshold, no high-definition region is set, as in FIG. 23(a). In this case, too, the spacing between the scanning lines is widened in all regions, including region R41 of the display image. As a result, a low-resolution image is displayed in region R41 of the display image.
  • the control unit 201 applies a video signal (second input video signal) from a frame buffer (second frame buffer 342) with a lower definition (resolution) to a region R41 of a display image including a viewpoint position P10 corresponding to the line of sight, the greater the distance to an object corresponding to the viewpoint position P10.
  • a video signal second input video signal
  • second frame buffer 342 second frame buffer 342 with a lower definition (resolution)
  • the level of detail that is adjusted according to the distance to an object in the line of sight is the resolution
  • the level of detail that is adjusted according to the distance to an object in the line of sight is the gradation
  • FIG. 24 is a block diagram showing the configuration of the signal processing unit 300 according to the fifth embodiment.
  • the input processing unit 310 outputs the high-gradation first input video signal to the first buffer 321, and outputs the low-gradation second input video signal to the second buffer 322.
  • the first frame buffer 341 stores one frame's worth of high-gradation first input video signal at high resolution
  • the second frame buffer 342 stores one frame's worth of low-gradation 21 input video signal at high resolution.
  • FIG. 25 is a flowchart showing the frame image generation process performed by the image generation device 3 in the fifth embodiment.
  • steps S13, S14, and S31 are the first input video signal and the second input video signal.
  • steps S51 and S52 are similar to steps S41 and S42 in FIG. 22.
  • the control unit 201 determines whether the scanning line is within the area of the display image (S53). If the scanning line is within the area of the display image (S53: YES), the control unit 201 advances the process to step S33. If the scanning line is not within the area of the display image (S53: NO), the control unit 201 advances the process to step S32. If the determination in step S51 or step S52 is NO, the control unit 201 also advances the process to step S32.
  • region R41 of the display image does not include viewpoint position P10 (S51: NO)
  • all regions including region R41 of the display image are set to low gradation.
  • a low gradation image is displayed in region R41 of the display image.
  • region R41 of the display image includes viewpoint position P10 (S51: YES) and the distance acquired for viewpoint position P10 is equal to or less than the threshold (S52: YES), region R41 of the display image is set to high gradation and other regions are set to low gradation. As a result, a high gradation image is displayed in region R41 of the display image.
  • the region R41 of the display image includes the viewpoint position P10 (S51: YES), but the distance acquired for the viewpoint position P10 is greater than the threshold (S52: NO), the entire region is set to low gradation. As a result, a low-resolution image is displayed in the region R41 of the display image.
  • the control unit 201 applies an input video signal (second input video signal) from a frame buffer (second frame buffer 342) with lower definition (low gradation) to a region R41 of a display image including a viewpoint position P10 corresponding to the line of sight, the greater the distance to an object corresponding to the viewpoint position P10.
  • This makes it possible to make the definition of the image of the input video signal displayed in the display image region, when the region R41 of the display image is located near the line of sight, closer to the actual definition when viewing an object in front of the line of sight.
  • the camera 13 used to create the frame image for display has the function of the moving object detection unit 13a.
  • a camera having the function of the moving object detection unit 13a may be provided separately from the camera 13.
  • the control unit 201 acquires the moving object region R10 on the frame image 20 on the camera 13 side from the moving object region detected by the other camera. Then, similar to the above embodiments 1 and 2, the control unit 201 sets specific regions R3, R33 so as to include at least a part of the moving object region R10.
  • the frame image generation process is similar to the process of FIG. 8 or FIG. 17.
  • the first frame buffer 341 for high definition and the second frame buffer 342 for low definition are arranged in the signal processing unit 300, but the number of frame buffers that hold video signals with different definitions is not limited to this, and three or more frame buffers may be arranged in the signal processing unit 300.
  • three frame buffers 371 to 373 each holding three types of composite video signals of high definition, medium definition, and low definition may be arranged in the signal processing unit 300.
  • the input processing unit 350 outputs three types of imaging video signals: high definition, medium definition, and low definition.
  • high definition is 256 gradations, which are the gradations of the video signal output from camera 13
  • medium definition is 64 gradations, which is 1/4 of 256 gradations
  • low definition is 2 gradations.
  • the low gradations here correspond to the low gradations in embodiment 2.
  • the input processing unit 310 outputs three types of input video signals: high definition, medium definition, and low definition. These three types of definition are the same as the three types of captured video signals output by the input processing unit 350. Three buffers 361 to 363 that hold the input video signals of these definitions are arranged in front of the signal synthesis unit 330.
  • the signal synthesis unit 330 acquires the captured image signal and the input image signal of the same resolution from the corresponding buffers, and synthesizes the acquired image signals to generate a synthesized image signal.
  • the signal synthesis unit 330 outputs the generated synthesized image signal to the frame buffer of the corresponding resolution among the three subsequent frame buffers 371 to 373.
  • This configuration allows the resolution to be adjusted more finely depending on the distance. Therefore, the resolution of the images displayed in the first image area R1 and the specific area R3 can be made closer to the actual resolution when viewing an object beyond these areas.
  • the processing units for displaying an image based on an input video signal that is, the input processing unit 310, the buffers 361-363, and the signal synthesis unit 330, may be omitted. Also, in the configurations of embodiments 4 and 5, the same configuration and processing may be applied.
  • the area of the moving object moving in the vertical and horizontal directions (directions parallel to the XY plane) on the frame image 20 is detected as the moving object area R10, but the area of the moving object moving in the forward and backward direction (Z-axis direction) may also be detected as the moving object area R10. In this case, the area of the moving object moving in the forward and backward direction (Z-axis direction) may be extracted based on the change in distance detected by the distance detection unit 14.
  • the gradation of the composite video signal is changed between the first image region R1 and the specific region R3 and the second image region R2, but further, as in embodiment 1, the resolution may be changed between the first image region R1 and the specific region R3 and the second image region R2.
  • the configuration of embodiment 3 may be added to the configurations of embodiments 1 and 2 to adjust the resolution of both the specific region including the moving object region and the specific region including the region of interest.
  • the input processing unit 350 performs thinning and mixing processes on the input first imaging video signal for high resolution to generate a second imaging video signal for low resolution, as shown in FIG. 11.
  • the input processing unit 350 may perform complementation processes on the input second imaging video signal for low resolution to generate a first imaging video signal for high resolution.
  • complementation processes impose a higher processing load than thinning and mixing processes, it is preferable that the video signal input to the input processing unit 350 is the first imaging video signal for high resolution.
  • the input processing units 350 and 310 perform processing to reduce the number of gradations of the video signal to two gradations, but this is not limited, and processing to reduce the number of gradations of the video signal to a number other than two gradations (for example, 16 gradations) may also be performed.
  • the entire frame is scanned, and light sources 101 to 103 emit light in accordance with the display image during the scanning period of region R41 of the display image, but only region R41 of the display image may be scanned.
  • the resolution may be adjusted in accordance with the distance obtained for region R41 of the display image.
  • the distance detection unit 14 only needs to set its own field of view range so that, at least when the gaze is directed to any position on the image generated by the image generation unit 3, it can detect the distance to an object in the line of sight at that position.
  • the field of view of the camera 13 was in front of the AR glasses 1, but it is not limited to this and may be above, below, or behind the AR glasses 1.
  • two sets of image generating devices 3 and mirrors 4 are provided on the AR glasses 1 to correspond to a pair of eyes E of the user, but only one set may be provided on the AR glasses 1 to correspond to only one eye E of the user.
  • the light scanned by the first scanning unit 140 and the second scanning unit 160 is directed to the user's eye E via the mirror 4, but this is not limited, and the light may be directed to the user's eye E via an optical system other than a mirror (for example, a lens, etc.).
  • the optical system may be, for example, a combination of multiple mirrors, a combination of a mirror and a lens, or a combination of multiple lenses.
  • the first mirror 141 and the second mirror 161 are provided separately, but instead of the first mirror 141 and the second mirror 161, a single mirror that rotates about two axes may be provided.
  • the configurations of the image generating device 3 and the AR glasses 1 can be modified in various ways in addition to the configurations shown in the above embodiment and modified examples. Various modifications are possible within the scope of the technical ideas set forth in the claims.
  • a light source that emits light for generating an image
  • a scanning unit that scans the light emitted from the light source
  • a plurality of frame buffers each storing a plurality of types of video signals for forming the images having different definitions
  • a gaze detection unit for detecting a gaze of a user
  • a distance detection unit that detects the distance to an object included in the field of view
  • a control unit that controls the light source, the scanning unit, and the plurality of frame buffers to generate an image; the control unit applies the video signal from the frame buffer with a lower resolution to an image region including a viewpoint position corresponding to the line of sight as a distance to the object corresponding to the viewpoint position increases.
  • the control unit since multiple video signals for displaying images with different resolutions are pre-stored in multiple frame buffers, the control unit only needs to select the video signal of one of the frame buffers in accordance with the movement of the line of sight. This makes it possible to smoothly display images in the area near the line of sight with a resolution according to the distance.
  • an imaging processing unit that captures an image of the field of view range and outputs a plurality of types of imaging video signals for constructing frame images having different definitions; the plurality of types of video signals are configured using the plurality of types of imaging video signals, the image area is a first image area of a predetermined size on the frame image that includes the viewpoint position;
  • This technology allows the user to see an image of the field of view in front of the user.
  • the fineness (resolution) of the image area near the user's line of sight can be adjusted according to the distance to the object in front of the line of sight. This makes it possible to bring the fineness of the first image area near the line of sight on the frame image closer to the actual fineness when viewing the object in front of the line of sight.
  • An image generating apparatus comprising:
  • the resolution of the second image area outside the line of sight is set low, reducing eye fatigue for the user.
  • the control unit is setting a specific area on the frame image, the specific area including at least a part of the area to which the line of sight is likely to be directed; and applying to the specific region the image signal from the frame buffer with a lower resolution as the distance to the object corresponding to the position of the specific region increases.
  • This technology makes it possible to bring the resolution of the image displayed in a specific area closer to the resolution when actually viewing an object located in the specific area, thereby reducing the sense of discomfort felt when the user moves their gaze to the specific area and looks at it.
  • a moving object detection unit detects a moving object area moving on the frame image
  • the control unit sets the specific area as the detected moving object area, which is an area to which the line of sight is likely to be directed.
  • a specific area is set to include at least a portion of the moving object area, so the resolution of the moving object area to which the gaze is likely to be directed next can be adjusted in advance according to the distance to the object. Therefore, when the gaze is actually directed to the moving object area in response to the movement of the object, an image with a resolution close to what the user senses according to the distance can be displayed in that area.
  • An image generating apparatus comprising:
  • the control unit sets the specific area to be smaller than the first image area.
  • the first image area, where the user's gaze is directed when high-definition images are displayed in the first image area and the specific area, the first image area, where the user's gaze is directed, can be made high-definition first, while the specific area, where the gaze is likely to be directed next, can be made high-definition secondarily, and the proportion of the area in which the high-definition image is displayed relative to the frame image can be appropriately controlled.
  • This makes it possible to smoothly and quickly display a high-definition image at the position of the user's gaze by following changes in the user's gaze while appropriately controlling eye fatigue.
  • an input processing unit that outputs a plurality of types of input video signals for forming display images having different definitions based on a video signal from an external device; the plurality of types of video signals are configured using the plurality of types of input video signals, the image area is an area of the display image;
  • the greater the distance to the object corresponding to the viewpoint position the lower the resolution of the input video signal from the frame buffer that is applied to the area of the display image that includes the viewpoint position that corresponds to the line of sight. This makes it possible to bring the image resolution of the input video signal displayed in the display image area, when there is an area of the display image near the line of sight, closer to the actual resolution when viewing an object in front of the line of sight.
  • An image generating apparatus comprising:
  • This technology allows the image resolution to be adjusted by controlling the scanning speed of the scanning unit to adjust the density of the scanning lines.
  • the definition is a gradation that defines the luminance resolution of a video signal.
  • the scanning speed of the scanning unit remains constant, and the image resolution can be adjusted simply by adjusting the gradation.
  • a head mounted display characterized by:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

画像生成装置は、画像を生成するための光を出射する光源と、光源から出射された光を走査させる走査部と、精細度が異なる画像を構成するための複数種類の映像信号をそれぞれ記憶する複数のフレームバッファと、使用者の視線を検出するための視線検出部(12)と、視野範囲に含まれる物体までの距離を検出する距離検出部(14)と、光源、走査部および複数のフレームバッファを制御して画像を生成する制御部(201)と、を備える。制御部(201)は、視線に対応する視点位置を含む画像領域に対して、視点位置に対応する物体までの距離が大きいほど低精細度のフレームバッファからの映像信号を適用する。

Description

画像生成装置およびヘッドマウントディスプレイ
 本発明は、光を走査して画像を生成する画像生成装置およびヘッドマウントディスプレイに関する。
 従来、光を走査して画像を生成する画像生成装置として、たとえば、AR(AugmentedReality)やVR(Virtual Reality)を実現するゴーグルやグラスなどのヘッドマウントディスプレイが知られている。これらの装置では、たとえば、映像信号に基づく光が半透明のディスプレイに向けて照射され、その反射光がユーザの目に照射される。あるいは、映像信号に基づく光がユーザの目に直接照射される。
 以下の特許文献1には、MEMSミラーのファスト軸およびスロー軸の回転を制御することにより、画像の第1の部分において第1の線密度を実現し、画像の第2の部分において第1の線密度よりも低い第2の線密度を実現し、目の視線に基づいて画像の第1の部分の位置を決定する装置が記載されている。これにより、視線に対応しない第2の部分の画像の解像度が、視線に対応する第1の部分の画像の解像度より低くなるため、使用者の目が疲れにくくなる。
米国特許第9986215号明細書
 上記構成では、視線の位置に高精細の画像が表示される。しかし、視線の先にある物体までの距離が遠い場合、使用者は、遠くを見る感覚を持って視線付近の画像を見ることになる。通常、人が遠くを見る場合は、近くを見る場合よりも、物の像が不鮮明に視認される。このため、視線の位置付近の画像が高精細に固定されると、視線の先にある物体までの距離が遠い場合に、使用者は、通常の感覚よりも高精細で画像を見ることになり、違和感も持つこととなってしまう。
 
 かかる課題に鑑み、本発明は、使用者の視線付近の領域における画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることが可能な画像生成装置およびヘッドマウントディスプレイを提供することを目的とする。
 本発明の第1の態様に係る画像生成装置は、画像を生成するための光を出射する光源と、前記光源から出射された光を走査させる走査部と、精細度が異なる前記画像を構成するための複数種類の映像信号をそれぞれ記憶する複数のフレームバッファと、使用者の視線を検出するための視線検出部と、視野範囲に含まれる物体までの距離を検出する距離検出部と、前記光源、前記走査部および前記複数のフレームバッファを制御して画像を生成する制御部と、を備える。前記制御部は、前記視線に対応する視点位置を含む画像領域に対して、前記視点位置に対応する前記物体までの距離が大きいほど低精細度の前記フレームバッファからの前記映像信号を適用する。
 本態様に係る画像生成装置によれば、視線に対応する視点位置を含む画像領域に対して、この視点位置に対応する物体までの距離が大きいほど低精細度のフレームバッファからの映像信号が適用される。これにより、視線の先にある物体までの距離が大きいほど低精細度で、視線付近に画像が表示される。このため、視線付近の領域に表示される画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。また、精細度が異なる画像を表示させるための複数の映像信号が複数のフレームバッファに予め記憶されているため、制御部は、視線の移動に応じて、何れかのフレームバッファの映像信号を選択するだけでよい。よって、視線付近の領域に、距離に応じた精細度で画像を円滑に表示させることができる。
 本発明の第2の態様に係るヘッドマウントディスプレイは、第1の態様に係る画像生成装置と、前記画像生成装置を保持するフレームと、前記画像生成装置からの光を、当該ヘッドマウントディスプレイを頭部に装着した前記使用者の目に導くための光学系と、を備える。
 本態様に係るヘッドマウントディスプレイによれば、第1の態様と同様の効果が奏される。また、使用者は、ヘッドマウントディスプレイを頭部に装着することにより、画像生成装置により生成された画像を見ることができる。
 以上のとおり、本発明によれば、使用者の視線付近の領域における画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることが可能な画像生成装置およびヘッドマウントディスプレイを提供できる。
 本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
図1は、実施形態1に係る、ARグラスの構成を模式的に示す斜視図である。 図2は、実施形態1に係る、投射部の構成を模式的に示す図である。 図3は、実施形態1に係る、投射部および検出部の構成を示すブロック図である。 図4は、実施形態1に係る、信号処理部の構成を示すブロック図である。 図5は、実施形態1に係る、カメラにより取得される第1および第2撮像映像信号を模式的に示す図である。 図6は、実施形態1に係る、入力処理部による間引き処理を説明するための模式図である。 図7(a)は、比較例に係る、フレーム画像の生成を模式的に示す図である。図7(b)は、実施形態1に係る、フレーム画像の生成を模式的に示す図である。 図8は、実施形態1に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図9は、実施形態1に係る、記憶処理の詳細を示すフローチャートである。 図10は、実施形態1の変更例1に係る、信号処理部の構成を示すブロック図である。 図11は、実施形態1の変更例1に係る、入力処理部による間引き処理を説明するための模式図である。 図12は、実施形態1の変更例2に係る、信号処理部の構成を示すブロック図である。 図13は、実施形態1の変更例3に係る、視点位置に基づいて第1画像領域が5つの領域のいずれかに設定されることを模式的に示す図である。 図14は、実施形態1の変更例3に係る、5つの領域がそれぞれ第1画像領域に設定された場合の第2ミラーの走査速度を示す図である。 図15は、実施形態2に係る、信号処理部の構成を示すブロック図である。 図16は、実施形態2に係る、フレーム画像の生成を模式的に示す図である。 図17は、実施形態2に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図18は、実施形態3に係る、図17のステップS33における処理を示すフローチャートである。 図19(a)、(b)は、実施形態3に係る、フレーム画像の生成方法を模式的に示す図である。 図20は、実施形態4に係る、投射部および視線検出部の構成を示すブロック図である。 図21は、実施形態4に係る、信号処理部の構成を示すブロック図である。 図22は、実施形態4に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図23(a)、(b)は、実施形態4に係る、フレーム画像の生成処理による動作の一例を模式的に示す図である。 図24は、実施形態5に係る、信号処理部の構成を示すブロック図である。 図25は、実施形態5に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図26は、変更例に係る、信号処理部の構成を示すブロック図である。
 ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
 以下、本発明の実施形態について図面を参照して説明する。以下の実施形態には、ヘッドマウントディスプレイの画像生成装置に本発明を適用した例が示されている。ヘッドマウントディスプレイとして、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどが挙げられる。以下の実施形態のヘッドマウントディスプレイは、ARグラスである。ただし、以下の実施形態は、本発明の一実施形態あって、本発明は、以下の実施形態に何ら制限されるものではない。たとえば、本発明は、ヘッドマウントディスプレイの画像生成装置に限らず、車載のヘッドアップディスプレイなどの画像生成装置にも適用可能である。
 <実施形態1>
 図1は、ARグラス1の構成を模式的に示す斜視図である。
 図1には、ARグラス1の前後左右上下方向とともに、互いに直交するX、Y、Z軸が付記されている。X軸正方向、Y軸正方向およびZ軸正方向は、それぞれ、ARグラス1の右方向、後ろ方向および上方向に対応する。
 ARグラス1は、フレーム2と、一対の画像生成装置3と、一対のミラー4と、を備える。ARグラス1は、一般的な眼鏡と同様、使用者の頭部に装着される。
 フレーム2は、一対の画像生成装置3および一対のミラー4を保持する。フレーム2は、前面部2aおよび一対の支持部2bにより構成される。一対の支持部2bは、前面部2aの右端および左端から後方に延びている。フレーム2が使用者に装着されると、前面部2aが使用者の一対の目Eの前方に位置付けられる。フレーム2は、不透明な材料により構成される。フレーム2が、透明な材料により構成されてもよい。
 一対の画像生成装置3は、ARグラス1の中心を通るY-Z平面に対して、互いに対称である。画像生成装置3は、ARグラス1を頭部に装着した使用者の目Eにおいて画像を生成する。
 ミラー4は、反射面が凹状に形成されたミラーであり、フレーム2の前面部2aの内側面に設置される。ミラー4は、対応する投射部11から投射された光を略全反射して、使用者の目Eに導く。
 画像生成装置3は、投射部11と、視線検出部12と、カメラ13と、距離検出部14を備える。
 投射部11は、支持部2bの内側面に設置される。投射部11は、対応するミラー4に対して、映像信号により変調された光を投射する。ミラー4により反射された投射部11からの光は、目E内の網膜の中心に位置する中心窩に照射される。これにより、使用者は、画像生成装置3により生成されたフレーム画像20(図2参照)を視覚的に把握できる。
 一対の視線検出部12は、一対のミラー4の間において、前面部2aの内側面に設置されている。視線検出部12は、使用者の視線を検出するために用いられる。
 一対のカメラ13は、一対のミラー4の前方において、前面部2aの外側面に設置されている。カメラ13は、当該カメラ13の視野範囲を撮像する。本実施形態のカメラ13の視野範囲は、ARグラス1の前方である。
 一対の距離検出部14は、一対のカメラ13に対して左右方向に隣り合うように、前面部2aの外側面に設置されている。距離検出部14は、自身の視野範囲に含まれる物体までの距離を検出する。距離検出部14は、たとえば、TOF(Time Of Flight)カメラで構成される。TOFカメラは、フラッシュ方式でよく、スキャン方式でもよい。
 距離検出部14の視野範囲は、カメラ13の視野範囲に実質的に重なる。したがって、距離検出部14は、カメラ13の視野範囲に含まれる物体までの距離を検出する。距離検出部14の視野範囲は、カメラ13の視野範囲よりやや広くてもよい。距離検出部14は、所定の分解能で、視野範囲内の各位置の距離を検出する。したがって、距離検出部14により検出される距離により、カメラ13の撮像画像上の位置ごとに物体までの距離が取得される。
 図2は、投射部11の構成を模式的に示す図である。
 投射部11は、光源101、102、103と、コリメータレンズ111、112、113と、アパーチャ121、122、123と、ミラー131と、ダイクロイックミラー132、133と、第1走査部140と、リレー光学系150と、第2走査部160と、を備える。
 光源101、102、103は、たとえば、半導体レーザ光源である。光源101は、635nm以上645nm以下の範囲に含まれる赤色波長のレーザ光を出射し、光源102は、510nm以上530nm以下の範囲に含まれる緑色波長のレーザ光を出射し、光源103は、440nm以上460nm以下の範囲に含まれる青色波長のレーザ光を出射する。
 実施形態1では、後述するフレーム画像20としてカラー画像が生成されるため、投射部11は、赤色、緑色および青色のレーザ光を出射可能な光源101、102、103を備える。フレーム画像20として単色の画像を表示する場合、投射部11は、画像の色に対応する1つの光源のみを備えていてもよい。また、投射部11は、出射波長の異なる2つの光源を備える構成でもよい。
 光源101、102、103から出射された光は、それぞれ、コリメータレンズ111、112、113によって平行光に変換される。コリメータレンズ111、112、113を透過した光は、それぞれ、アパーチャ121、122、123によって、ほぼ円形のビームに整形される。
 ミラー131は、アパーチャ121を通過した赤色光を略全反射する。ダイクロイックミラー132は、アパーチャ122を通過した緑色光を反射し、ミラー131で反射された赤色光を透過する。ダイクロイックミラー133は、アパーチャ123を通過した青色光を反射し、ダイクロイックミラー132を経由した赤色光および緑色光を透過する。ミラー131と2つのダイクロイックミラー132、133は、光源101、102、103から出射された各色の光の光軸を整合させるように配置されている。
 第1走査部140は、ダイクロイックミラー133を経由した光を反射する。第1走査部140は、たとえば、MEMS(Micro Electro Mechanical System)ミラーである。第1走査部140は、ダイクロイックミラー133を経由した光が入射する第1ミラー141を、駆動信号に応じて、Z軸方向に平行な軸141aの周りに回転させる構成を備える。第1ミラー141が回転することにより、光の反射方向が変化する。これにより、第1ミラー141によって反射された光は、後述のように、目Eの網膜においてX軸方向に延びる走査線に沿って走査される。
 リレー光学系150は、第1走査部140によって反射された光を、第2走査部160の第2ミラー161の中心へと向かわせる。すなわち、第1走査部140に入射する光は、第1ミラー141によって所定の振り角で振られる。リレー光学系150は、各振り角の光を、第2ミラー161の中心へと向かわせる。また、リレー光学系150は、複数のミラーを有し、第1走査部140によって反射された光を複数のミラーによって反射させて、第2走査部160に向かわせる。これにより、リレー光学系150の内部に長い光路長を実現でき、第2ミラー161から見たときの光の振り角を抑制できる。
 第2走査部160は、リレー光学系150を経由した光を反射する。第2走査部160は、たとえば、MEMSミラーである。第2走査部160は、リレー光学系150を経由した光が入射する第2ミラー161を、駆動信号に応じて、X-Y平面に平行な軸161aの周りに回転させる構成を備える。第2ミラー161が回転することにより、光の反射方向が変化する。これにより、目Eの網膜において、第1走査部140によって光が走査される走査線が、後述のようにZ軸方向に変更される。
 第2走査部160によって反射された光、すなわち、投射部11から出射された光は、ミラー4によって反射され、目Eの網膜においてフレーム画像20を形成する。これにより、使用者は、フレーム画像20を視認する。使用者が視認するフレーム画像20の視野範囲は、カメラ13の視野範囲に対応する。したがって、図1の距離検出部14は、フレーム画像20を見るときの使用者の視野範囲に存在する物体までの距離を検出する。
 図3は、投射部11および視線検出部12の構成を示すブロック図である。
 視線検出部12は、光源12aおよび撮像素子12bを備え、投射部11の制御部201に接続されている。光源12aは、たとえば、赤外波長の光を出射するLEDである。撮像素子12bは、たとえば、CMOSイメージセンサまたはCCDイメージセンサである。光源12aは、制御部201の指示に応じて使用者の目Eに光を照射する。撮像素子12bは、制御部201の指示に応じて使用者の目Eを撮像し、撮像した撮像画像を制御部201に出力する。
 カメラ13は、制御部201の指示に応じて、当該カメラ13の視野範囲を撮像して映像信号を生成し、生成した映像信号を対応する投射部11の信号処理部300に出力する。図1において、左側のカメラ13は、生成した映像信号を左側の投射部11の信号処理部300に出力し、右側のカメラ13は、生成した映像信号を右側の投射部11の信号処理部300に出力する。実施形態1のカメラ13は、後述するように高解像度用の第1撮像映像信号および低解像度用の第2撮像映像信号を出力する。
 また、カメラ13は、内蔵する処理回路の機能として、動体検出部13aの機能を備えている。動体検出部13aは、上述の第1撮像映像信号または第2撮像映像信号を用いて、フレーム画像20上で移動する動体領域を検出する。動体検出部13aは、連続する複数のフレーム画像20を用いて、フレーム画像上で移動する物体の領域(動体領域)を特定する。たとえば、動体検出部13aは、各画素における撮像映像信号の差分を、連続する複数のフレーム画像20間において求め、求めた差分から、フレーム画像上で移動する物体の領域(動体領域)を特定する。動体検出部13aは、フレーム画像20における動体領域の位置を示す情報を、逐次、制御部201に出力する。
 なお、動体検出部13aの機能を制御部201が備えていてもよい。この場合、カメラ13から第1撮像映像信号または第2撮像映像信号が制御部201に出力される。制御部201は、入力された撮像映像信号から、フレーム画像20上で移動する動体領域を検出する。
 投射部11は、制御部201と、第1ミラー駆動回路211と、第2ミラー駆動回路212と、第1ミラーモニタ用センサ213と、第2ミラーモニタ用センサ214と、信号処理部300と、ラインメモリ221と、レーザ駆動回路222と、を備える。
 制御部201は、CPUやFPGAなどの演算処理ユニットやメモリを備える。制御部201は、視線検出部12からの撮像画像に基づいて、たとえば、暗瞳孔法、明瞳孔法、角膜反射法などにより、使用者の視線を検出する。制御部201は、検出した使用者の視線に基づいて、使用者の網膜に形成されるフレーム画像20における視点位置を取得する。また、制御部201は、カメラ13および外部装置からの映像信号を処理するよう、信号処理部300を制御する。
 第1ミラー駆動回路211は、制御部201からの駆動信号に応じて、第1走査部140の第1ミラー141を駆動させる。第2ミラー駆動回路212は、制御部201からの駆動信号に応じて、第2走査部160の第2ミラー161を駆動させる。
 第1ミラーモニタ用センサ213は、第1ミラー141に設置されており、第1ミラー141の回転に応じた検出信号を制御部201に出力する。第2ミラーモニタ用センサ214は、第2ミラー161に設置されており、第2ミラー161の回転に応じた検出信号を制御部201に出力する。制御部201は、第1ミラーモニタ用センサ213および第2ミラーモニタ用センサ214からの検出信号に基づいて、第1ミラー141および第2ミラー161が所望の駆動波形で回転するよう、第1ミラー駆動回路211および第2ミラー駆動回路212に駆動信号を出力する。
 信号処理部300は、カメラ13および外部装置からの映像信号を処理し、1ライン分の映像信号を生成する。信号処理部300の構成については、追って図4を参照して説明する。
 ラインメモリ221は、信号処理部300から出力された1ライン分の映像信号を、レーザ駆動回路222に出力する。レーザ駆動回路222は、ラインメモリ221から出力された1ライン分の映像信号により変調された光を出射するよう、光源101、102、103を駆動する。
 図4は、信号処理部300の構成を示すブロック図である。
 信号処理部300は、第1バッファ301と、第2バッファ302と、入力処理部310と、第1バッファ321と、第2バッファ322と、信号合成部330と、第1フレームバッファ341と、第2フレームバッファ342と、を備える。
 実施形態1では、撮像処理部230は、カメラ13により構成される。カメラ13は、視野範囲を撮像して、高解像度用の第1撮像映像信号と、低解像度用の第2撮像映像信号とをそれぞれ生成する。第1バッファ301は、カメラ13(撮像処理部230)から出力された第1撮像映像信号を一時的に記憶するメモリである。第2バッファ302は、カメラ13(撮像処理部230)から出力された第2撮像映像信号を一時的に記憶するメモリである。
 図5は、カメラ13により取得される第1および第2撮像映像信号を模式的に示す図である。
 カメラ13は、1フレーム内に設定された第1撮像期間において第1撮像映像信号を生成し、1フレーム内の第1撮像期間と異なる第2撮像期間において第2撮像映像信号を生成する。たとえば、第1撮像期間は1フレーム内の前半期間であり、第2撮像期間は1フレーム内の後半期間であり、第1撮像期間の長さと第2撮像期間の長さは同じである。
 カメラ13は、第1撮像期間において、カメラ13内の全ての受光部(画素)を駆動して、高解像度用の第1撮像映像信号を生成する。一方、カメラ13は、第2撮像期間において、カメラ13内の水平に並ぶ各行の受光部のうち1行おきの受光部を駆動して、低解像度用の第2撮像映像信号を生成する。
 図5には、第1バッファ301および第2バッファ302に記憶されるラインごとの映像信号が、実線および破線で示されている。第1バッファ301に記憶される第1撮像映像信号のうち、上から奇数番目の第1撮像映像信号が実線で示され、上から偶数番目の第1撮像映像信号が破線で示されている。便宜上、図5の第1バッファ301には17ライン分の第1撮像映像信号が示されているが、実際のライン数は、これより数段多い。第2バッファ302に記憶される第2撮像映像信号では、第1バッファ301の破線のラインが省略された状態の第2撮像映像信号が実線で示されている。
 なお、図5の例では、カメラ13内の各受光部の駆動により、第2バッファ302の第2撮像映像信号は、第1バッファ301の第1撮像映像信号のラインが1行おきに間引かれた状態の信号であった。しかしながら、ラインの間引かれ方はこれに限らず、たとえば、第2バッファ302の第2撮像映像信号は、第1バッファ301の第1撮像映像信号のラインが3行以上おきに1行間引かれた状態の信号でもよい。
 図4に戻り、外部装置からの映像信号は、たとえば、フレーム画像20の所定領域に重畳されるCG(Computer Graphics)に関する映像信号である。この映像信号は、カメラ13から出力される第1撮像映像信号と同様の解像度である。入力処理部310は、外部装置から入力された映像信号に対して間引き処理を行う。第1バッファ321は、外部装置から入力された映像信号、すなわち入力処理部310により間引き処理が行われなかった第1入力映像信号を一時的に記憶するメモリである。第2バッファ322は、入力処理部310による間引き処理後の第2入力映像信号を一時的に記憶するメモリである。
 図6は、入力処理部310による間引き処理を説明するための模式図である。
 入力処理部310は、外部装置からの映像信号から、互いに解像度が異なる第1入力映像信号および第2入力映像信号を生成する。
 図6には、第1バッファ321および第2バッファ322に記憶されるラインごとの映像信号が、実線および破線で示されている。第1バッファ321に記憶される第1入力映像信号のうち、上から奇数番目の第1入力映像信号が実線で示され、上から偶数番目の第1入力映像信号が破線で示されている。便宜上、図6の第1バッファ321には17ライン分の第1入力映像信号が示されているが、実際のライン数は、これより数段多い。第2バッファ322に記憶される第2入力映像信号は、第1バッファ321の破線のラインが間引かれた信号である。
 なお、図6の例では、第2バッファ322の第2入力映像信号は、第1バッファ321の第1入力映像信号のラインが1行おきに間引かれた信号であった。しかしながら、ラインの間引かれ方はこれに限らず、たとえば、第2入力映像信号は、第1バッファ321の第1入力映像信号が3行以上おきに1行間引かれた信号でもよい。また、第2入力映像信号は、第1バッファ321に記憶される第1入力映像信号の隣り合うラインが混合されることにより生成されてもよい。混合処理では、たとえば、隣接する2つのラインが、これら2つのラインの信号の平均値として算出された1つのラインに置き換えられる。
 図4に戻り、信号合成部330は、第1バッファ301に記憶された高解像度用の第1撮像映像信号と、第1バッファ321に記憶された高解像度用の第1入力映像信号とを合成して、1フレーム分の高解像度用の第1合成映像信号を生成する。また、信号合成部330は、第2バッファ302に記憶された低解像度用の第2撮像映像信号と、第2バッファ322に記憶された低解像度用の第2入力映像信号とを合成して、1フレーム分の低解像度用の第2合成映像信号を生成する。
 第1フレームバッファ341は、信号合成部330で生成された1フレーム分の高解像度用の第1合成映像信号を記憶する。第2フレームバッファ342は、信号合成部330で生成された1フレーム分の低解像度用の第2合成映像信号を記憶する。
 第1フレームバッファ341は、制御部201(図3参照)からの制御信号に応じて、記憶した1フレーム分の第1合成映像信号のうちの1ライン分の第1合成映像信号を、順次ラインメモリ221に出力する。第2フレームバッファ342は、制御部201からの制御信号に応じて、記憶した1フレーム分の第2合成映像信号のうちの1ライン分の第2合成映像信号を、順次ラインメモリ221に出力する。ラインメモリ221には、第1フレームバッファ341からの1ライン分の第1合成映像信号と、第2フレームバッファ342からの1ライン分の第2合成映像信号のいずれか一方が入力される。
 次に、比較例に係るフレーム画像20の生成方法と、実施形態1に係るフレーム画像20の生成方法とを順に説明する。
 図7(a)は、比較例に係る、フレーム画像20の生成を模式的に示す図である。
 第1走査部140によって光が走査線に沿ってX軸方向に走査され、第2走査部160によって走査線がZ軸方向に変更されることにより、フレーム画像20が、使用者の目Eの網膜に生成される。走査線が変更される際には、図7(a)の点線に示すように、光源101、102、103が消灯された状態で、第1走査部140および第2走査部160による走査位置が移動される。走査線の変更においては、最下段の走査線を除き、各段の走査線の走査が終了すると、次の段の走査線の先頭に走査位置が移動される。最下段の走査線の走査が終了した場合、最上段の走査線の先頭に走査位置が移動される。比較例では、高解像度用の映像信号のみに基づいて、フレーム画像20が生成される。
 ところで、図7(a)に示すようにフレーム画像20全体が高解像度であると、使用者の目が疲れやすくなってしまう。そこで、実施形態1では、図7(b)に示すように、使用者の視点位置P10を含む所定範囲の外側領域では、フレーム画像20の解像度(走査線数)が低く設定される。これにより、使用者の目が疲れにくくなる。
 ただし、フレーム画像20内で解像度(走査線数)を変化させようとすると、随時、変化後の解像度(走査線数)に応じた映像信号を用いて走査を行う必要がある。しかしながら、使用者の視点位置P10は動的に変化し得るため、視点位置P10の変化に応じて各解像度(走査線数)の映像信号を随時生成しようとすると、映像信号の生成が間に合わず表示に遅れが生じ得る。このような表示遅れが生じると、フレーム画像20が乱れ、使用者への違和感が生じてしまう。
 そこで、実施形態1では、上述したようにあらかじめ、第1フレームバッファ341に走査線数の多い(高解像度の)第1合成映像信号が記憶され、第2フレームバッファ342に走査線数の少ない(低解像度の)第2合成映像信号が記憶される。そして、制御部201は、視点位置P10と使用者の視線が向けられやすい領域とに基づき、第1フレームバッファ341からの第1合成映像信号と、第2フレームバッファ342からの第2合成映像信号とを切り替えて、フレーム画像20を生成する。これにより、上述の表示遅れを抑制でき、使用者の視点位置P10に追従した画像生成を実現できる。
 図7(b)は、実施形態1に係る、フレーム画像20の生成を模式的に示す図である。
 実施形態1では、制御部201は、視線検出部12により取得された撮像画像に基づいて使用者の視線を検出し、検出した視線に基づいてフレーム画像20上の視点位置P10を取得する。制御部201は、フレーム画像20上の視点位置P10を含む所定走査線数の第1画像領域R1には、視点位置P10に対して距離検出部14により検出された距離に応じて、第1フレームバッファ341からの高解像度の第1合成映像信号および第2フレームバッファ342からの低解像度の第2合成映像信号の何れかを選択的に適用して画像が生成されるよう、光源101、102、103、第1走査部140および第2走査部160を制御する。
 また、制御部201は、視線が向けられやすい領域の少なくとも一部を含む特定領域R3をフレーム画像20上に設定する。実施形態1では、フレーム画像20上で移動する動体領域R10が、視線が向けられやすい領域とされる。上記のように、動体領域R10は、動体検出部13aによって検出され、制御部201に出力される。制御部201は、フレーム画像20上の動体領域R10を含む所定走査線数の特定領域R3には、特定領域R3の中心位置に対して距離検出部14により検出された距離に応じて、第1フレームバッファ341からの高解像度の第1合成映像信号および第2フレームバッファ342からの低解像度の第2合成映像信号の何れかを選択的に適用して画像が生成されるよう、光源101、102、103、第1走査部140および第2走査部160を制御する。
 また、制御部201は、フレーム画像20上の第1画像領域R1および特定領域R3以外の第2画像領域R2には、第2フレームバッファ342からの低解像度の第2合成映像信号を適用して画像が生成されるよう、光源101、102、103、第1走査部140および第2走査部160を制御する。
 ここで、制御部201は、第1画像領域R1よりも特定領域R3を小さく設定する。具体的には、制御部201は、Z軸方向における特定領域R3の幅を、Z軸方向における第1画像領域R1の幅より小さく設定する。より詳細には、制御部201は、特定領域R3に含まれる走査線の数を第1画像領域R1に含まれる走査線の数より小さく設定する。
 Z軸方向における第1画像領域R1の幅は、予め決められている。制御部201は、視点位置P10がこの幅の中心に整合するように、第1画像領域R1を設定する。第1画像領域R1の幅は、通常、人が鮮明に認識し得る視点周りの範囲のZ軸方向の幅を考慮して設定されてよい。たとえば、第1画像領域R1のZ軸方向の幅は、通常、人が鮮明に認識し得る視点周りの範囲のZ軸方向の幅程度に設定され得る。
 Z軸方向における特定領域R3の幅は、予め決められている。制御部201は、動体領域R10の重心位置がこの幅の中心に整合するように、特定領域R3を設定する。制御部201は、Z軸方向における動体領域R10の幅が特定領域R3の規定の幅より小さい場合に、特定領域R3の幅を、規定の幅から動体領域R10の幅まで縮小させてもよい。
 なお、Z軸方向における特定領域R3の幅に規定の幅を設定しなくてもよい。すなわち、制御部201は、特定領域R3の幅が動体領域R10の幅にほぼ整合するよう、特定領域R3の幅を動体領域R10の大きさに応じて動的に変化させてもよい。
 しかし、この場合、動体がカメラ13に接近しているために動体領域R10が大きくなると、Z軸方向における特定領域R3の幅が第1画像領域R1の幅より大きくなり、これら領域に高解像度の画像が表示される場合には、フレーム画像20に対して高解像度の画像が表示される領域の占める割合が高くなってしまう。これにより、使用者の目の疲れを緩和する効果が低下することが懸念され得る。
 これに対して、上記のように、第1画像領域R1よりも特定領域R3を小さく設定すると、第1画像領域R1および特定領域R3に高解像度の画像が表示される場合に、使用者の視線が向けられている第1画像領域R1を主体的に高解像度化しつつ、次に視線が向けられやすい特定領域R3を補助的に高解像度化でき、フレーム画像20に対して高解像度の画像が表示される領域の占める割合を適切に抑制できる。これにより、使用者の目の疲れを適切に抑制しつつ、使用者の視線の変化に追従して、円滑且つ迅速に、視線の位置に高解像度の画像を表示できる。
 なお、上記のように特定領域R3の幅を動体領域R10の大きさに応じて動的に変化させる場合は、Z軸方向における特定領域R3の幅に所定の上限を設けてもよい。たとえば、第1画像領域R1の幅と同様、通常、人が鮮明に認識し得る視点周りの範囲のZ軸方向の幅を考慮して、この上限が設定されてよい。これにより、特定領域R3が顕著に大きくなることを抑制でき、使用者の目の疲れを適切に抑制できる。
 なお、図7(b)では、便宜上、第1画像領域R1に5本程度の走査線が示され、第2画像領域R2には合計で4本程度の走査線が示され、特定領域R3には3本程度の走査線が示されているが、実際の走査線数は、これより数段多い。
 第1画像領域R1に含まれる走査線数は、適宜変更されてもよい。また、図7(b)では、第1画像領域R1が、視点位置P10を中心として上下に同じ走査線数の範囲を有したが、上側の範囲に対応する走査線数と下側の範囲に対応する走査線数とが、互いに異なってもよい。
 以上のような解像度の制御の他、実施形態1では、さらに、距離検出部14により検出された距離に応じて、解像度が制御される。すなわち、第1画像領域R1および特定領域R3における画像の解像度は、高解像度に固定されるのではなく、これら領域に対して距離検出部14により検出された距離に応じて、これらの領域の解像度が調整される。
 視線の先にある物体までの距離が遠い場合、使用者は、遠くを見る感覚を持って視線(視点位置P10)付近の画像を見ることになる。通常、人が遠くを見る場合は、近くを見る場合よりも、物の像が不鮮明に視認される。このため、視線の位置付近の画像が高精細に固定されると、視線の先にある物体までの距離が遠い場合に、使用者は、通常の感覚よりも高精細で画像を見ることになり、違和感も持つこととなってしまう。
 このような問題を解消するため、制御部201は、視線に対応する視点位置P10を含む画像領域(第1画像領域R1)に対して、視点位置P10に対応する物体までの距離が大きいほど低精細度(低解像度)のフレームバッファ(ここでは、第2フレームバッファ342)からの映像信号(第2合成映像信号)を適用して、画像を生成する。これにより、第1画像領域R1に表示される画像の精細度(解像度)を、視線の先にある物体を視認する際の実際の精細度(解像度)に近づけことができ、当該画像を見たときの使用者の違和感を抑制できる。
 また、制御部201は、特定領域R3には、特定領域R3の位置(たとえば、動体領域R10の重心位置)に対応する物体までの距離が大きいほど低精細度(低解像度)のフレームバッファ(ここでは、第2フレームバッファ342)からの映像信号を適用して、画像を生成する。これにより、特定領域R3に表示される画像の精細度(解像度)を、特定領域R3の位置にある物体を視認する際の実際の精細度に近づけることができ、使用者が特定領域R3に視線を移して特定領域R3を見たときの違和感を抑制できる。
 図8は、画像生成装置3が行うフレーム画像20の生成処理を示すフローチャートである。
 ステップS11~S21の処理は、1フレームに対応するフレーム画像20の生成に関する処理である。
 制御部201は、記憶処理を行う(S11)。これにより、カメラ13からの映像信号と、外部装置からの映像信号とに基づいて、1フレーム分の高解像度用の第1合成映像信号と、1フレーム分の低解像度用の第2合成映像信号とが、それぞれ、第1フレームバッファ341および第2フレームバッファ342に記憶される。
 図9は、図8のステップS11の記憶処理の詳細を示すフローチャートである。図9の処理は、制御部201が、撮像処理部230および信号処理部300を制御することにより実行される。
 図5に示したように、撮像処理部230(実施形態1ではカメラ13)は、第1撮像期間において高解像度用の第1撮像映像信号を生成し、第2撮像期間において低解像度用の第2撮像映像信号を生成する。そして、撮像処理部230は、生成した第1撮像映像信号および第2撮像映像信号を、それぞれ、第1バッファ301および第2バッファ302に記憶させる(S101)。
 図6に示したように、入力処理部310は、外部装置から入力された映像信号に基づいて、高解像度用の第1入力映像信号と、低解像度用の第2入力映像信号とを生成する。そして、入力処理部310は、生成した第1入力映像信号および第2入力映像信号を、それぞれ、第1バッファ321および第2バッファ322に記憶させる(S102)。なお、ステップS101、S102の処理は、並行して行われる。
 信号合成部330は、第1バッファ301に記憶された第1撮像映像信号と、第1バッファ321に記憶された第1入力映像信号のうち当該第1撮像映像信号と同一ラインの第1入力映像信号とを合成し、1フレーム分の高解像度用の第1合成映像信号を生成する。そして、信号合成部330は、生成した第1合成映像信号を第1フレームバッファ341に記憶させる(S103)。
 信号合成部330は、第2バッファ302に記憶された第2撮像映像信号と、第2バッファ322に記憶された第2入力映像信号のうち当該第2撮像映像信号と同一ラインの第2入力映像信号を合成し、1フレーム分の低解像度用の第2合成映像信号を生成する。そして、信号合成部330は、生成した第2合成映像信号を第2フレームバッファ342に記憶させる(S104)。なお、ステップS103、S104の処理は、並行して行われる。
 図8に戻り、ステップS12~S20の処理は、1ライン分の画像の生成に関する処理である。
 制御部201は、ステップS12~S20の処理と並行して、第1ミラー141が各ラインの処理において同様の周期で反復回動するよう、第1ミラー駆動回路211を制御し、ラインメモリ221に入力された1ライン分の映像信号に基づいて、レーザ駆動回路222を駆動させる。
 制御部201は、視線検出部12により取得された撮像画像に基づいて、使用者の視点位置P10を検出する(S12)。制御部201は、ステップS12で検出した視点位置P10に基づいて、第1画像領域R1および第2画像領域R2を設定する(S13)。さらに、制御部201は、動体検出部13aからの検出結果から、上記のように特定領域R3を設定する(S14)。
 制御部201は、現在の走査ラインが第1画像領域R1または特定領域R3内であるか否かを判定する(S15)。
 現在の走査ラインが第1画像領域R1または特定領域R3内であると(S15:YES)、制御部201は、距離検出部14から逐次入力される検出結果を参照し、現在の走査ラインが含まれる視点位置P10または動体領域R10の位置における物体までの距離が所定の閾値以下であるか否かを判定する(S16)。閾値は、たとえば、数メートル程度に設定される。
 視点位置P10または動体領域R10の位置に対応する物体までの距離が閾値以下である場合(S16:YES)、制御部201は、第1フレームバッファ341から高解像度の第1合成映像信号をラインメモリ221に出力させる(S17)。これにより、第1フレームバッファ341からの第1合成映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S18)。これにより、図7(b)の第1画像領域R1または特定領域R3に示したように、上下に隣り合う走査線の間隔が狭くなる。こうして、第1画像領域R1または特定領域R3に高解像度の画像が表示される。
 他方、視点位置P10または動体領域R10の位置に対応する物体までの距離が閾値より大きい場合(S16:NO)、制御部201は、制御部201は、第2フレームバッファ342から低解像度の第2合成映像信号をラインメモリ221に出力させる(S19)。これにより、第2フレームバッファ342からの第2合成映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度よりも速い第2走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S20)。これにより、図7(b)の第2画像領域R2に示したように、上下に隣り合う走査線の間隔が広くなる。こうして、第1画像領域R1または特定領域R3に低解像度の画像が表示される。
 また、現在の走査ラインが第2画像領域R2である場合(S15:NO)、制御部201は、ステップS16の判定がNOである場合と同様、ステップS19、20の処理を実行する。これにより、第2画像領域R2に低解像度の画像が表示される。
 ステップS17、S19では、ステップS18、S20における走査開始時に、その走査ラインに対応する第1合成映像信号または第2合成映像信号がラインメモリ221に保持されている状態となるように、第1合成映像信号または第2合成映像信号がラインメモリ221に出力される。すなわち、図6のような間引き処理が行われる場合、ラインメモリ221に対する第1合成映像信号の出力頻度は、ラインメモリ221に対する第2合成映像信号の出力頻度の2倍程度となる。
 制御部201は、1フレームの画像生成が終了したか否かを判定する(S21)。1フレームの画像生成が終了していない場合(S21:NO)、制御部201は、処理がステップS12に戻して、再度、ステップS12~S20の処理を実行する。こうして1フレームの画像生成が終了すると(S21:YES)、図8の処理が終了する。図8の処理が繰り返し行われることにより、フレーム画像20が連続的に生成される。
 なお、ステップS14で設定された特定領域R3の一部または全部が第1画像領域R1に重なった場合、特定領域R3と第1画像領域R1とが1つの領域にマージされる。この場合、ステップS15では、現在の走査ラインがマージされた領域内であるか否かが判定され、マージされた領域内に走査ラインがある期間において、処理がステップS16に進められる。
 <実施形態1の効果>
 実施形態1によれば、以下の効果が奏される。
 図4に示したように、画像生成装置3は、精細度(解像度)が異なる画像(フレーム画像20)を構成するための複数種類の映像信号(第1合成映像信号、第2合成映像信号)をそれぞれ記憶する複数のフレームバッファ(第1フレームバッファ341、第2フレームバッファ342)を備える。図8に示したように、制御部201は、視線に対応する視点位置P10を含む画像領域(第1画像領域R1)に対して(S15:YES)、視点位置P10に対応する物体までの距離が大きいほど(S16:NO)、低精細度のフレームバッファ(第2フレームバッファ342)からの映像信号(第2合成映像信号)を適用する(S19)。
 この構成によれば、視線の先にある物体までの距離が大きいほど低精細度(低解像度)で、視線付近(第1画像領域R1)に画像が表示される。このため、視線付近の領域(第1画像領域R1)に表示される画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 また、精細度が異なる画像を表示させるための複数の映像信号(第1合成映像信号、第2合成映像信号)が複数のフレームバッファ(第1フレームバッファ341、第2フレームバッファ342)に予め記憶されているため、制御部201は、視線の移動に応じて、何れかのフレームバッファの映像信号を選択するだけでよい。よって、視線付近の領域(第1画像領域R1)に、距離に応じた画像を円滑かつ迅速に表示させることができる。
 図4に示したように、画像生成装置3は、視野範囲を撮像して、精細度(解像度)が異なるフレーム画像20を構成するための複数種類の撮像映像信号(第1撮像映像信号、第2撮像映像信号)を出力する撮像処理部230を備える。複数のフレームバッファ(第1フレームバッファ341、第2フレームバッファ342)に記憶される複数種類の映像信号(第1合成映像信号、第2合成映像信号)は、複数種類の撮像映像信号(第1撮像映像信号、第2撮像映像信号)を用いて構成され、視点位置P10を含む画像領域は、フレーム画像20上の、視点位置P10を含む所定サイズの第1画像領域R1である。
 この構成によれば、使用者前方の視野範囲を撮像した画像を使用者に見せることができる。また、この際に、使用者の視線付近の画像領域の精細度(解像度)を、視線の先にある物体までの距離に応じて調整できる。よって、フレーム画像20上の視線付近の第1画像領域の精細度(解像度)を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 図8に示したように、制御部201は、フレーム画像20上の第1画像領域R1以外の第2画像領域R2には、最も高い精細度(解像度)以外の予め決められた精細度(解像度)に対応するフレームバッファ(第2フレームバッファ342)からの映像信号(第2合成映像信号)を適用する。
 この構成によれば、視線付近以外の第2画像領域R2の精細度(解像度)が低く設定されるため、使用者の目の疲れを抑制できる。
 図8に示したように、制御部201は、視線が向けられやすい領域の少なくとも一部を含む特定領域R3をフレーム画像20上に設定し(S14)、特定領域R3には(S15:YES)、特定領域R3の位置に対応する物体までの距離が大きいほど(S16:NO)、低精細度のフレームバッファ(第2フレームバッファ342)からの映像信号(第2合成映像信号)を適用する(S19)。
 この構成によれば、特定領域R3に表示される画像の精細度を、特定領域R3の位置にある物体を実際に視認する際の精細度に近づけることができ、使用者が特定領域R3に視線を移して特定領域R3を見たときの違和感を抑制できる。
 図3に示したように、画像生成装置3は、フレーム画像20上で移動する動体領域R10を検出する動体検出部13aをさらに備え、制御部201は、検出された動体領域R10を視線が向けられやすい領域として、特定領域を設定する。
 使用者は、自身の視線以外の位置に動きがあると、その位置に視線を移しやすい。この構成によれば、動体領域R10の少なくとも一部を含むように特定領域R3が設定されるため、次に視線が向けられやすい動体領域R10の精細度(解像度)を物体までの距離に応じて予め調整しておくことができる。よって、物体の動きに応じて動体領域R10に実際に視線が向けられた場合に、距離に応じた使用者の感覚に近い精細度の画像をその領域に表示できる。
 図7(b)に示したように、制御部201は、第1画像領域R1よりも特定領域R3を小さく設定する。
 これにより、第1画像領域R1および特定領域R3に高解像度の画像が表示される場合に、使用者の視線が向けられている第1画像領域R1を主体的に高解像度化しつつ、次に視線が向けられやすい特定領域R3を補助的に高解像度化でき、フレーム画像20に対して高解像度の画像が表示される領域の占める割合を適切に抑制できる。よって、使用者の目の疲れを適切に抑制しつつ、使用者の視線の変化に追従して、円滑且つ迅速、視線の位置に高解像度の画像を表示できる。
 図7(b)に示したように、第1画像領域R1および特定領域R3において調整される画像の精細度は、走査部(第2走査部160)の走査速度により規定される画像の解像度である。
 この構成によれば、走査部(第2走査部160)の走査速度を制御して走査線の密度を調整することにより、画像の精細度を調整できる。
 図3に示したように、動体検出部13aは、表示用のフレーム画像を取得するカメラ13に配置され、このカメラ13の撮像映像信号から動体領域R10を検出する。
 この構成によれば、カメラ13が、表示用のフレーム画像の取得と、動体領域R10の検出とに共用される。これにより、画像生成装置3の構成を簡素にできる。
 図5に示したように、カメラ13は、1フレーム期間中の第1撮像期間において、高解像度に対応する第1撮像映像信号を出力し、1フレーム期間中の第1撮像期間とは異なる第2撮像期間において、低解像度に対応する第2撮像映像信号を出力する。
 この構成によれば、高解像度の第1撮像映像信号および低解像度の第2撮像映像信号を円滑に生成できる。
 入力処理部310は、外部装置からの映像信号に基づいて、高解像度(第1精細度)のフレーム画像20を構成するための第1入力映像信号および低解像度(第2精細度)のフレーム画像20を構成するための第2入力映像信号をそれぞれ出力する。信号合成部330は、第1撮像映像信号と第1入力映像信号とを合成した第1合成映像信号を第1フレームバッファ341に記憶させ、第2撮像映像信号と第2入力映像信号とを合成した第2合成映像信号を第2フレームバッファ342に記憶させる。
 この構成によれば、撮像処理部230からの映像信号と、外部装置からの映像信号とを合成してフレーム画像20を生成できる。これにより、映像信号に基づくCG画像等を、カメラ13の撮像画像に付加して表示させることができ、使用者は、映像信号に基づく付加情報を把握できる。
 図1に示したように、ミラー4(光学系)は、第1走査部140および第2走査部160(走査部)によって走査された光を、ARグラス1(ヘッドマウントディスプレイ)を頭部に装着した使用者の目Eに導く。
 この構成によれば、使用者は、ARグラス1を頭部に装着することにより、カメラ13により撮像された風景等を、画像生成装置3により生成されたフレーム画像20により把握できる。
 <実施形態1の変更例1>
 実施形態1では、カメラ13が、第1撮像映像信号および第2撮像映像信号の両方を出力したが、これに限らず、カメラ13が1種類の映像信号を出力し、カメラ13の後段に配置された処理部が、互いに異なる解像度の映像信号を生成してもよい。
 図10は、本変更例に係る、信号処理部300の構成を示すブロック図である。
 図10の信号処理部300は、図4と比較して、カメラ13と、第1バッファ301および第2バッファ302との間に、入力処理部350を備える。本変更例の撮像処理部230は、カメラ13および入力処理部350により構成される。
 本変更例のカメラ13は、実施形態1の第1撮像映像信号と同様の、高解像度用の映像信号のみを出力する。入力処理部350は、カメラ13から入力された映像信号に対して、入力処理部310が行う間引き処理と同様の間引き処理を行う。第1バッファ301は、カメラ13から出力され、入力処理部350により間引き処理が行われなかった第1撮像映像信号を一時的に記憶する。第2バッファ302は、入力処理部350により間引き処理が行われて生成された第2撮像映像信号を一時的に記憶する。
 図11は、入力処理部350による間引き処理を説明するための模式図である。
 入力処理部350は、カメラ13からの映像信号から、互いに解像度が異なる第1撮像映像信号および第2撮像映像信号を生成する。
 図11には、第1バッファ301および第2バッファ302に記憶されるラインごとの映像信号が、実線および破線で示されている。第1バッファ301に記憶される第1撮像映像信号のうち、上から奇数番目の第1撮像映像信号が実線で示され、上から偶数番目の第1撮像映像信号が破線で示されている。便宜上、図11の第1バッファ301には17ライン分の第1撮像映像信号が示されているが、実際のライン数は、これより数段多い。第2バッファ302に記憶される第2撮像映像信号は、第1バッファ301の破線のラインが間引かれた信号である。
 なお、図11の例では、第2バッファ302の第2撮像映像信号は、第1バッファ301の第1撮像映像信号のラインが1行おきに間引かれた信号であった。しかしながら、ラインの間引かれ方はこれに限らず、たとえば、第2撮像映像信号は、第1バッファ301の第1撮像映像信号が3行以上おきに1行間引かれた信号でもよい。また、第2撮像映像信号は、第1バッファ301に記憶される第1撮像映像信号の隣り合うラインが混合されることにより生成されてもよい。混合処理では、たとえば、隣接する2つのラインが、これら2つのラインの信号の平均値として算出された1つのラインに置き換えられる。
 <実施形態1の変更例1の効果>
 カメラ13は、高解像度に対応する第1撮像映像信号を出力し、撮像処理部230は、高解像度の第1撮像映像信号に対して間引きまたは混合を行って、低解像度に対応する第2撮像映像信号を生成する入力処理部350を備える。
 この構成によれば、カメラ13は1種類の第1撮像映像信号のみを出力すればよいため、カメラ13の構成および処理を簡素化できる。また、実施形態1に示したように、異なる2つの撮像期間で第1撮像映像信号および第2撮像映像信号を得る構成では、被写体が高速移動する場合、2種類の映像信号において被写体の位置が互いに異なってしまう。しかしながら、本変更例によれば、カメラ13が1種類の第1撮像映像信号のみを出力するため、被写体が高速移動したとしても、入力処理部350によって生成された第1撮像映像信号および第2撮像映像信号において、被写体の位置は互いに同じとなる。よって、第1撮像映像信号および第2撮像映像信号に基づく使用者の違和感を回避できる。
 <実施形態1の変更例2>
 実施形態1では、カメラ13からの映像信号と、外部装置からの映像信号の両方が信号処理部300に入力されたが、以下に示すように、カメラ13からの映像信号のみが信号処理部300に入力されてもよい。
 図12は、本変更例に係る、信号処理部300の構成を示すブロック図である。
 図12の信号処理部300は、図4と比較して、入力処理部310、第1バッファ321、第2バッファ322および信号合成部330が省略されている。カメラ13からの第1撮像映像信号は、一時的に第1バッファ301に記憶された後、1フレーム分の第1撮像映像信号が、第1フレームバッファ341に出力される。カメラ13からの第2撮像映像信号は、一時的に第2バッファ302に記憶された後、1フレーム分の第2撮像映像信号が、第2フレームバッファ342に出力される。
 この構成の場合も、フレーム画像の生成処理は、図8と同様である。
 <実施形態1の変更例2の効果>
 第1フレームバッファ341は、第1バッファ301からの第1撮像映像信号を記憶し、第2フレームバッファ342は、第2バッファ302からの第2撮像映像信号を記憶する。フレーム画像20の生成処理は、図8と同様である。第1画像領域R1および特定領域R3には、物体までの距離に応じて、第1フレームバッファ341からの第1撮像映像信号および第2フレームバッファ342からの第2撮像映像信号の何れかが選択的に適用されて、画像が表示される。第2画像領域R2には、第2フレームバッファ342からの第2撮像映像信号を適用して画像が表示される。
 この構成によっても、上記実施形態1と同様、視線付近の第1画像領域R1および視線が向けられやすい特定領域R3に表示される画像の精細度を、これら領域の位置にある物体を視認する際の実際の精細度(解像度)に近づけることができる。
 なお、本変更例においても、図10に示した変更例1と同様、カメラ13から1種類の映像信号が出力され、カメラ13と第1バッファ301および第2バッファ302との間に、入力処理部350が配置されてもよい。
 <実施形態1の変更例3>
 実施形態1では、第1画像領域R1が、使用者の視線に基づく視点位置P10を基準に設定されたが、これに限らず、第1画像領域R1が予め固定されていてもよい。
 図13は、本変更例に係る、視点位置P10に基づいて第1画像領域R1が5つの領域R11~R15のいずれかに設定されることを模式的に示す図である。
 フレーム画像20において視点位置P10が、視点領域R01~R05に含まれる場合、制御部201は、それぞれ、領域R11~R15を第1画像領域R1に設定する。視点領域R01~R05は、フレーム画像20を上下方向(Z軸方向)に5つに分割したものである。領域R11~R15は、視点領域R01~R05に対応して設定された領域であり、いずれも所定数の走査線を含む。
 図14は、本変更例に係る、5つの領域R11~R15がそれぞれ第1画像領域R1に設定された場合の第2ミラー161の走査速度を示す図である。
 図14の上段に示すように領域R11~R15が第1画像領域R1に設定される場合、それぞれ、図14の下段のグラフに示すように、第2ミラー161の走査速度が設定される。図14の下段のグラフは、1ライン分の走査における第2ミラー161の走査速度を示している。図14の下段の5つのグラフでは、それぞれ、領域R11~R15において第2ミラー161の速度が遅くなっている。これにより、5つの領域R11~R15がそれぞれ第1画像領域R1に設定された場合、各領域R11~R15に対応する範囲において画像の解像度が高められる。
 特定領域R3についても、上記と同様、予め設定された複数の特定領域R3の選択候補のうち、動体領域R10の重心を含む選択候補が、高解像の画像を表示するための特定領域R3に設定されてもよい。
 本変更例においても、上記実施形態1と同様、第1画像領域R1および特定領域R3以外の領域が第2画像領域R2に設定される。
 <実施形態1の変更例3の効果>
 制御部201は、予めフレーム画像20を走査線に交差する方向(Z軸方向)に区分して構成された複数の領域R11~R15のうち、視点位置P10を含む領域を第1画像領域R1に設定する。
 この構成によれば、予め複数の領域R11~R15が用意されるため、視点位置P10を含む第1画像領域R1を円滑に設定できる。特定領域R3に対して同様の処理が行われた場合は、動体領域R10の重心を含む特定領域R3を円滑に設定できる。
 <実施形態2>
 実施形態1の変更例1では、入力処理部350、310は、高解像度用および低解像度用の2種類の映像信号を出力した。これに対し、実施形態2では、入力処理部350、310は、高階調用および低階調用の映像信号を出力する。
 図15は、実施形態2に係る、信号処理部300の構成を示すブロック図である。
 図15の信号処理部300は、図10の実施形態1の変更例1と比較して、入力処理部350、310から出力される2種類の映像信号が異なっている。
 入力処理部350は、カメラ13から出力された高階調用の第1撮像映像信号を、そのまま第1バッファ301へと出力するとともに、カメラ13から出力された高階調用の第1撮像映像信号を低階調化して生成した第2撮像映像信号を第2バッファ302へと出力する。カメラ13から出力された第1撮像映像信号は、たとえば、濃淡が256階調で表現された映像信号であり、入力処理部350の低階調化により生成された第2撮像映像信号は、たとえば、閾値によって2階調化された2階調の映像信号である。第1撮像映像信号および第2撮像映像信号は、いずれも高解像度用の映像信号である。
 入力処理部310は、外部装置から出力された高階調用の第1入力映像信号を、そのまま第1バッファ321へと出力するとともに、外部装置から出力された高階調用の第1入力映像信号を低階調化して生成した第2入力映像信号を第2バッファ322へと出力する。外部装置から出力された第1入力映像信号は、たとえば、濃淡が256階調で表現された映像信号であり、入力処理部310の低階調化により生成された第2入力映像信号は、たとえば、閾値によって2階調化された2階調の映像信号である。第1入力映像信号および第2入力映像信号は、いずれも高解像度用の映像信号である。
 信号合成部330は、第1バッファ301に記憶された高階調用の第1撮像映像信号と、第1バッファ321に記憶された高階調用の第1入力映像信号とを合成して、1フレーム分の高階調用の第1合成映像信号を生成する。また、信号合成部330は、第2バッファ302に記憶された低階調用の第2撮像映像信号と、第2バッファ322に記憶された低階調用の第2入力映像信号とを合成して、1フレーム分の低階調用の第2合成映像信号を生成する。
 図16は、実施形態2に係る、フレーム画像20の生成を模式的に示す図である。
 制御部201は、視点位置P10を含む所定の大きさの第1画像領域R31を設定する。上記実施形態1と同様、第1画像領域R1の大きさは、通常、人が鮮明に認識し得る視点周りの範囲を考慮して設定されてよい。
 また、制御部201は、動体検出部13aにより検出された動体領域R10の少なくとも一部を含むように、特定領域R33を設定する。たとえば、動体領域R10の重心が中心に整合するように特定領域R33が設定される。上記実施形態1と同様、特定領域R33は、第1画像領域R31より小さく設定される。図16の例では、特定領域R33の大きさは、規定の大きさに固定されている。動体領域R10が特定領域R33の規定の大きさより小さい場合、特定領域R33は、動体領域R10が内接する大きさまで縮小されてもよい。
 また、特定領域R33の大きさが動体領域R10の大きさに応じて変化してもよい。この場合も、上記実施形態1において説明したとおり、特定領域R33の大きさの変化には上限が設けられることが好ましい。この場合の上限は、たとえば、人が鮮明に認識し得る視点周りの範囲を考慮して設定されてよい。
 上記実施形態1と同様、制御部201は、視点位置P10を含む第1画像領域R31および特定領域R33には、第1フレームバッファ341からの第1合成映像信号および第2フレームバッファ342からの第2合成映像信号の何れかを、これら領域の位置にある物体までの距離に応じて選択的に適用する。また、制御部201は、第1画像領域R31および特定領域R33以外の第2画像領域R32には、第2フレームバッファ342からの第2合成映像信号を適用する。
 図17は、実施形態2に係る、画像生成装置3が行うフレーム画像20の生成処理を示すフローチャートである。
 図17の処理は、図8に示した実施形態1の処理と比較して、ステップS15~S20がステップS31~S23に置き換えられている。図17の処理では、第2ミラー161のZ軸負方向への回動は、一定の走査速度で行われる。この走査速度は、実施形態1において高解像度の画像が表示されるときの走査速度と同様である。以下、図8と異なる処理について説明する。
 制御部201は、現在の走査ラインが第2画像領域R32のみに含まれるか否かを判定する(S31)。
 現在の走査ラインが第2画像領域R32のみに含まれる場合(S31:YES)、制御部201は、第2フレームバッファ342から第2合成映像信号をラインメモリ221に出力させる(S32)。これにより、低階調用の第2合成映像信号により、1ライン分の画像が生成される。
 他方、現在の走査ラインが、第1画像領域R31とともに、第2画像領域R32および/または特定領域R33に含まれる場合(S31:NO)、制御部201は、第1画像領域R31および特定領域R33の位置に応じて、第1フレームバッファ341の第1合成映像信号または第2フレームバッファ342の第2合成映像信号を選択的にラインメモリ221に出力させる(S33)。
 図18は、図17のステップS33の処理を示すフローチャートである。
 制御部201は、ラインメモリ221上の書き込み対象アドレスが第2画像領域R32に対応するアドレスである場合(S201:YES)、このアドレスに対応する第2フレームバッファ342上の第2合成映像信号を第2フレームバッファ342に出力させて、書き込み対象アドレスに第2合成映像信号を書き込む(S202)。
 また、制御部201は、ラインメモリ221上の書き込み対象アドレスが第1画像領域R31に対応するアドレスである場合(S201:NO、S202:YES)、距離検出部14により検出された距離のうち、視点位置P10に対応する距離を参照し、この距離が所定の閾値以下であるか否かを判定する(S203)。この閾値は、図8のステップS16の閾値と同様に設定される。
 視点位置P10の距離が閾値以下である場合(S203:YES)、制御部201は、このアドレスに対応する第1フレームバッファ341上の第1合成映像信号を、第1フレームバッファ341に出力させて、書き込み対象アドレスに第1合成映像信号を書き込む(S205)。他方、視点位置P10の距離が閾値より大きい場合(S203:NO)、制御部201は、このアドレスに対応する第2フレームバッファ342上の第2合成映像信号を、第2フレームバッファ342に出力させて、書き込み対象アドレスに第2合成映像信号を書き込む(S202)。
 また、制御部201は、ラインメモリ221上の書き込み対象アドレスが特定領域R33に対応するアドレスである場合(S201:NO、S202:NO)、距離検出部14により検出された距離のうち、特定領域R3の位置(たとえば、動体領域R10の重心位置)に対応する距離を参照し、この距離が所定の閾値以下であるか否かを判定する(S204)。この閾値も、図8のステップS16の閾値と同様に設定される。
 特定領域R3の位置の距離が閾値以下である場合(S204:YES)、制御部201は、このアドレスに対応する第1フレームバッファ341上の第1合成映像信号を、第1フレームバッファ341に出力させて、書き込み対象アドレスに第1合成映像信号を書き込む(S205)。他方、特定領域R3の位置の距離が閾値より大きい場合(S204:NO)、制御部201は、このアドレスに対応する第2フレームバッファ342上の第2合成映像信号を、第2フレームバッファ342に出力させて、書き込み対象アドレスに第2合成映像信号を書き込む(S202)。
 これにより、1ライン分の画像のうち第1画像領域R31および特定領域R33の画像は、距離に応じて高階調用または低階調用の合成映像信号が適用されて生成される。1ライン分の画像のうち第2画像領域R32の画像は、低階調用の第2合成映像信号により生成される。
 この処理により、視点位置P10付近の第1画像領域R31および視線が向けられやすい特定領域R33には、距離に応じて階調が調整された画像が表示され、第1画像領域R31および特定領域R33以外の第2画像領域R32には、低階調な画像が表示される。
 <実施形態2の効果>
 実施形態1と同様、視線の先にある物体までの距離が大きいほど低精細度(低階調)で、視線付近(第1画像領域R1)に画像が表示される。このため、視線付近の領域(第1画像領域R1)に表示される画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 また、特定領域R3に表示される画像の精細度も、特定領域R3の位置にある物体を実際に視認する際の精細度に近づけることができ、使用者が特定領域R3に視線を移して特定領域R3を見たときの違和感を抑制できる。
 また、図15および図16に示したように、第1画像領域R1および特定領域R3において調整される画像の精細度は、映像信号の輝度分解能を規定する階調である。このため、走査部(第2走査部160)の走査速度は一定のまま、階調を調整するだけで、画像の精細度を調整できる。
 カメラ13は、高階調(第1階調)に対応する第1撮像映像信号を出力し、撮像処理部230は、高階調の第1撮像映像信号に対して低階調化の処理を行って、低階調(第2階調)に対する第2撮像映像信号を生成する入力処理部350を備える。
 この構成によれば、高階調および低階調の映像信号を円滑に生成できる。
 なお、入力処理部350が、カメラ13と一体的に構成されてもよい。外部装置からの映像信号が、高階調用の第1入力映像信号および低階調用の第2入力映像信号でもよい。この場合、入力処理部310は省略される。
 また、実施形態1の変更例2と同様、外部装置からの映像信号を処理する構成、すなわち入力処理部310、第1バッファ321、第2バッファ322および信号合成部330が図15の構成から省略されてもよい。
 <実施形態3>
 上記実施形態1、2では、視線が向けられやすい領域として動体領域R10が例示されたが、視線が向けられやすい領域はこれに限られるものではない。
 たとえば、使用者が関心を向けやすい関心領域が、視線が向けられやすい領域として予め設定されていてもよい。この場合、制御部201は、関心領域を含むように特定領域を設定する。関心領域は、たとえば、フレーム画像20の下端付近である。使用者は、ARグラス1を装着して歩行する場合、特に、足下に障害物等がないかが気になる。このため、使用者は、前方の風景の画像を見ながら、時折、足下に視線を移す。
 図19(a)、(b)は、実施形態3に係る、フレーム画像20の生成を模式的に示す図である。図19(a)は、実施形態1の構成において、フレーム画像20の下端付近に特定領域R3が設定された場合の走査形態を示しており、図19(b)は、実施形態2の構成において、フレーム画像20の下端付近に特定領域R3が設定された場合の走査形態を示している。ここでは、フレーム画像20の下端付近の領域が関心領域であり、この関心領域がそのまま特定領域R3に設定されている。
 図19(a)の例では、フレーム画像20の下端付近に特定領域R3が設定されているため、この下端付近において、上記実施形態1と同様、物体までの距離に応じて解像度が調整される。また、図19(b)の例では、フレーム画像20の下端付近に特定領域R33が設定されているため、この下端付近において、上記実施形態2と同様、物体までの距離に応じて階調が調整される。
 <実施形態3の効果>
 上記のように、実施形態3では、使用者が関心を向けやすい関心領域(ここでは、フレーム画像20の下端付近)が予め制御部201に設定され、制御部201は、関心領域を含むように特定領域R3、R33を設定する。これにより、使用者は、関心領域に視線を移した際に、距離に応じて精細度が調整された画像を直ちに見ることができる。図19(a)、(b)の例では、使用者は、前方の風景の画像を見ながら、時折、足下に視線を移した場合に、直ちに、地面付近の精細度が調整された画像を見ることができる。
 なお、図19(a)、(b)の例では、動体領域R10を検出する必要がないため、図3の構成から動体検出部13aが省略される。
 また、関心領域は、図19(a)、(b)の例に限られるものではなく、たとえば、信号機や交通標識等の領域が関心領域として設定されてもよい。この場合、制御部201には、カメラ13からの映像信号から信号機や交通標識等の領域を抽出するための画像解析の機能が付与される。制御部201は、この機能により、関心領域であるこれらの領域をフレーム画像20上において特定し、これらの領域の少なくとも一部を含むように、特定領域R3、R33を設定する。たとえば、制御部201は、特定した関心領域の重心が特定領域R3、R33の中心に整合するように、特定領域R3、R33を設定する。
 実施形態3においても、フレーム画像の生成処理は、図8または図17の処理と同様である。実施形態3においても、特定領域R3、R33は、第1画像領域R1より小さく設定されるとよい。
 <実施形態4>
 上記実施形態1~3では、カメラ13で撮像されたフレーム画像20が表示された。これに対し、実施形態4では、カメラ13が省略され、外部装置から入力された入力映像信号に基づく画像のみが表示される。実施形態4では、図1に示したフレーム2が、透明な材料により構成される。使用者は、フレーム2の前面部2aを介して、前方の風景を肉眼で視認する。
 上記実施形態1~3と同様、制御部201は、フレーム全体が走査されるよう第1走査部140および第2走査部160を制御し、表示画像の領域R41の走査期間において、表示画像に応じて光源101~103を発光させる。
 図20は、実施形態4に係る、投射部11および視線検出部12の構成を示すブロック図である。
 図20に示すように、実施形態4では、図3の構成からカメラ13が省略されている。また、外部装置から入力される入力映像信号は、信号処理部300とともに制御部201にも入力される。その他の構成は、図3と同様である。
 制御部201は、外部装置からの入力映像信号から、画像領域(フレーム)上における表示画像の領域を抽出する。上記実施形態1と同様、入力映像信号は、たとえば、画像領域(フレーム)上の所定領域にCG画像を表示させ、その他の領域には画像を表示させない(光源101~103を発光させない)映像信号である。この場合、制御部201は、フレーム上におけるCG画像の領域を、表示画像の領域として抽出する。
 図21は、実施形態4に係る、信号処理部300の構成を示すブロック図である。
 図21の信号処理部300は、図4と比較して、撮像処理部230、第1バッファ301、第2バッファ302および信号合成部330が省略されている。入力処理部310からの第1入力映像信号は、一時的に第1バッファ321に記憶された後、1フレーム分の第1入力映像信号が、第1フレームバッファ341に出力される。入力処理部310からの第2入力映像信号は、一時的に第2バッファ322に記憶された後、1フレーム分の第2入力映像信号が、第2フレームバッファ342に出力される。
 図22は、実施形態4に係る、画像生成装置3が行うフレーム画像の生成処理を示すフローチャートである。
 図22の処理は、図8に示した実施形態1の処理と比較して、ステップS13~S16がステップS41~S44に置き換えられている。また、第1フレームバッファ341および第2フレームバッファ342には、それぞれ、第1入力映像信号および第2入力映像信号が記憶されるため、ステップS11、S17、S19で対象とされる信号は、第1入力映像信号および第2入力映像信号である。以下、図8と異なる処理について説明する。
 制御部201は、CG画像等の表示画像の領域が視点位置P10を含むか否かを判定する(S41)。表示画像の領域が視点位置P10を含まない場合(S41:NO)、制御部201は、処理をステップS19に進める。表示画像の領域が視点位置P10を含む場合(S41:YES)、制御部201は、距離検出部14が視点位置P10について検出した距離、すなわち、表示画像の領域に対応する距離が所定の閾値以下であるか否かを判定する(S42)。閾値は、上記と同様、数メートル程度に設定される。表示画像の領域に対応する距離が所定の閾値より大きい場合(S42:NO)、制御部201は、処理をステップS19に進める。
 表示画像の領域に対応する距離が所定の閾値以下である場合(S42:NO)、制御部201は、表示画像の領域の少なくとも一部を含み、且つ、Z軸方向に所定幅の領域を高精細領域に設定する(S43)。高精細領域は、Z軸方向の中間位置が表示画像の領域の重心に一致するように設定される。高精細領域が、実施形態1の変更例3と同様、予め固定された領域から選択的に設定されてもよい。高精細領域のZ軸方向の幅は、通常、人が鮮明に認識し得る視点周りの範囲のZ軸方向の幅を考慮して設定されてよい。
 制御部201は、現在の走査ラインが高精細領域内であるか否かを判定する(S44)。
 現在の走査ラインが高精細領域内であると(S44:YES)、制御部201は、処理をステップS17に進める。現在の走査ラインが高精細領域内でなければ(S44:NO)、制御部201は、処理をステップS19に進める。処理がステップS17に進むと、第1フレームバッファ341からの第1入力映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S18)。これにより、高解像度の画像が表示される。
 他方、処理がステップS19に進むと、第2フレームバッファ342からの第2映像映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度よりも速い第2走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S20)。これにより、低解像度の画像が表示される。
 図23(a)、(b)は、フレーム画像の生成処理による動作の一例を模式的に示す図である。
 図23(a)に示すように、表示画像の領域R41が視点位置P10を含まない場合、高精細領域は設定されない。この場合、表示画像の領域R41を含めて全ての領域において、走査線の間隔が広くなる。これにより、表示画像の領域R41には、低解像度の画像が表示される。
 図23(b)に示すように、表示画像の領域R41が視点位置P10を含み、且つ、視点位置P10について取得された距離が閾値以下である場合、高精細領域R42が設定される。この場合、高精細領域R42において、走査線の間隔が狭くなる。これにより、表示画像の領域R41には、高解像度の画像が表示される。
 表示画像の領域R41が視点位置P10を含むが、視点位置P10について取得された距離が閾値より大きい場合は、図23(a)と同様、高精細領域は設定されない。この場合も、表示画像の領域R41を含めて全ての領域において、走査線の間隔が広くなる。これにより、表示画像の領域R41には、低解像度の画像が表示される。
 <実施形態4の効果>
 図23(b)に示すように、制御部201は、視線に対応する視点位置P10を含む表示画像の領域R41に対して、視点位置P10に対応する物体までの距離が大きいほど、低精細度(低解像度)のフレームバッファ(第2フレームバッファ342)からの映像信号(第2入力映像信号)を適用する。これにより、視線付近の領域(表示画像の領域R41)に表示される画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 <実施形態5>
 実施形態4では、視線の先の物体までの距離に応じて調整される精細度が解像度であったが、実施形態5では、視線の先の物体までの距離に応じて調整される精細度が階調である。
 図24は、実施形態5に係る、信号処理部300の構成を示すブロック図である。
 図24の信号処理部300は、図15の構成から、撮像処理部230と、第1バッファ301と、第2バッファ302と、信号合成部330とが省略される。
 入力処理部310は、高階調の第1入力映像信号を第1バッファ321に出力し、低階調の第2入力映像信号を第2バッファ322に出力する。第1フレームバッファ341には、1フレーム分の高階調の第1入力映像信号が高解像度で記憶され、第2フレームバッファ342には、1フレーム分の低階調の21入力映像信号が高解像度で記憶される。
 図25は、実施形態5に係る、画像生成装置3が行うフレーム画像の生成処理を示すフローチャートである。
 図25の処理は、図17に示した実施形態2の処理と比較して、ステップS13、S14、S31がステップS51~S53に置き換えられている。また、図22の処理と同様、ステップS11、S32、S33で対象とされる信号は、第1入力映像信号および第2入力映像信号である。ステップS51、S52の処理は、図22のステップS41、S42と同様である。
 表示画像の領域が視点位置P10を含み(S51:YES)、且つ、距離検出部14が視点位置P10について検出した距離が所定の閾値以下である場合(S52:YES)、制御部201は、走査ラインが表示画像の領域内であるか否かを判定する(S53)。走査ラインが表示画像の領域内である場合(S53:YES)、制御部201は、処理をステップS33に進める。走査ラインが表示画像の領域内でない場合(S53:NO)、制御部201は、処理をステップS32に進める。ステップS51またはステップS52の判定がNOの場合も、制御部201は、処理をステップS32に進める。
 ステップS33では、ラインメモリ221の、表示画像の領域に対応するメモリアドレスに第1フレームバッファ341から高階調の第1入力映像信号が出力され、ラインメモリ221のその他のメモリドレスに第2フレームバッファ342から低階調の第2入力映像信号が出力される。
 図25の処理によれば、表示画像の領域R41が視点位置P10を含まない場合(S51:NO)、表示画像の領域R41を含めて全ての領域が低階調に設定される。これにより、表示画像の領域R41には、低階調の画像が表示される。
 また、表示画像の領域R41が視点位置P10を含み(S51:YES)、且つ、視点位置P10について取得された距離が閾値以下である場合(S52:YES)、表示画像の領域R41が高階調に設定され、その他の領域が低階調に設定される。これにより、表示画像の領域R41には、高階調の画像が表示される。
 表示画像の領域R41が視点位置P10を含むが(S51:YES)、視点位置P10について取得された距離が閾値より大きい場合は(S52:NO)、全ての領域が低階調に設定される。これにより、表示画像の領域R41には、低解像度の画像が表示される。
 <実施形態5の効果>
 制御部201は、視線に対応する視点位置P10を含む表示画像の領域R41に対して、視点位置P10に対応する物体までの距離が大きいほど、低精細度(低階調)のフレームバッファ(第2フレームバッファ342)からの入力映像信号(第2入力映像信号)を適用する。これにより、視線付近に表示画像の領域R41がある場合に、表示画像の領域に表示される入力映像信号の画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 <その他の変更例>
 上記実施形態1、2では、表示用のフレーム画像の作成に用いるカメラ13が動体検出部13aの機能を備えていたが、動体検出部13aの機能を備えるカメラがカメラ13とは別にさらに設けられてもよい。
 この場合、他のカメラは、その視野がカメラ13の視野に実質的に重なるように、カメラ13に接近して配置され、カメラ13と同じ方向に向けられる。これにより、他のカメラの動体検出部により検出された動体領域のフレーム画像上における位置は、カメラ13側のフレーム画像上における動体領域の位置と実質的に同じとなり、前者の位置を後者の位置として用いることができる。これら2つの位置にずれがある場合は、前者の位置を後者の位置に変換する処理を行って、前者の位置から後者の位置を取得してもよい。
 制御部201は、他のカメラによって検出された動体領域から、カメラ13側のフレーム画像20上における動体領域R10を取得する。そして、制御部201は、上記実施形態1、2と同様、動体領域R10の少なくとも一部を含むように、特定領域R3、R33を設定する。フレーム画像の生成処理は、図8または図17の処理と同様である。
 この変更例によれば、動体検出部の機能が他のカメラに配置されるため、カメラ13は、表示用の画像を撮像して信号処理部300に出力する処理を行うだけでよい。よって、表示用の映像信号を信号処理部300に円滑に出力できる。
 また、上記実施形態1~5では、高精細用の第1フレームバッファ341と低精細用の第2フレームバッファ342が信号処理部300に配置されたが、精細度が異なる映像信号を保持するフレームバッファの数は、これに限られるものではなく、3つ以上のフレームバッファが信号処理部300に配置されてもよい。
 たとえば、図26に示すように、高精細度、中精細度および低精細度の3種類の合成映像信号をそれぞれ保持する3つのフレームバッファ371~373が、信号処理部300に配置されてもよい。
 入力処理部350は、高精細度、中精細度および低精細度の3種類の撮像映像信号を出力する。
 実施形態1のように精細度が解像度により規定される場合、たとえば、高精細度(高解像度)は、図11左側のライン数の解像度であり、中精細度(中解像度)は、図11右側のライン数の解像度であり、低精細度(低解像度)は、図11右側の解像度からさらに1つおきにラインを間引いた解像度である。ここでの中解像度は、図10の場合の低解像度に対応する。
 また、実施形態2のように精細度が階調により規定される場合、たとえば、高精細度(高階調)は、カメラ13から出力される映像信号の階調である256階調であり、中精細度(中階調)は、256階調の1/4の64階調であり、低精細度(低階調)は、2階調である。ここでの低階調は、実施形態2における低階調に対応する。
 3種類の精細度の撮像映像信号をそれぞれ保持する3つのバッファ351~353が信号合成部330の前段に配置される。
 入力処理部310は、高精細度、中精細度および低精細度の3種類の入力映像信号を出力する。これら3種類の精細度は、入力処理部350が出力する3種類の撮像映像信号の精細度と同様である。これら精細度の入力映像信号をそれぞれ保持する3つのバッファ361~363が信号合成部330の前段に配置される。
 信号合成部330は、同じ精細度の撮像映像信号および入力映像信号を対応するバッファから取得し、取得した映像信号を合成して合成映像信号を生成する。信号合成部330は、生成した合成映像信号を、後段の3つのフレームバッファ371~373のうち対応する精細度のフレームバッファに出力する。
 制御部201は、距離検出部14により検出された距離が大きいほど低精細度のフレームバッファからの映像信号を、第1画像領域R1および特定領域R3に適用する。この場合、2つの閾値が設定される。第1画像領域R1および特定領域R3に対して距離検出部14により検出された距離が小さい方の第1閾値以下の場合、制御部201は、フレームバッファ371の合成映像信号を第1画像領域R1および特定領域R3に適用する。この距離が第1閾値より大きく且つ大きい方の第2閾値以下である場合、フレームバッファ372の合成映像信号を第1画像領域R1および特定領域R3に適用する。この距離が第2閾値より大きい場合、フレームバッファ373の合成映像信号を第1画像領域R1および特定領域R3に適用する。
 この構成によれば、距離に応じて精細度をより細かく調整できる。よって、第1画像領域R1および特定領域R3に表示される画像の精細度を、これら領域の先にある物体を視認する際の実際の精細度に、より近づけることができる。
 図26の構成においても、図12の構成のように、入力映像信号に基づく画像を表示するための処理部、すなわち、入力処理部310、バッファ361~363および信号合成部330が省略されてもよい。また、実施形態4、5の構成においても、同様の構成および処理が適用され得る。
 4つ以上のフレームバッファを用いる場合は、フレームバッファの数より1つ少ない数の閾値を設けて、距離と各閾値との大小関係から、ラインバッファに映像信号を出力するフレームバッファを選択的に決定すればよい。
 また、上記実施形態1、2では、フレーム画像20上において縦横の方向(X-Y平面に平行な方向)に移動する動体の領域が動体領域R10として検出されたが、前後方向(Z軸方向)に移動する動体の領域が動体領域R10として検出されてもよい。この場合、前後方向(Z軸方向)に移動する動体の領域は、距離検出部14により検出される距離の変化によって抽出されればよい。
 また、上記実施形態2では、第1画像領域R1および特定領域R3と、第2画像領域R2とで、合成映像信号の階調を変化させたが、さらに、実施形態1のように、第1画像領域R1および特定領域R3と、第2画像領域R2とで解像度を変化させてもよい。また、実施形態3の構成を実施形態1、2の構成に付加して、動体領域を含む特定領域と関心領域を含む特定領域の両方の精細度を調整してもよい。
 上記実施形態1の変更例1では、入力処理部350は、図11に示したように、入力された高解像度用の第1撮像映像信号に対して間引きや混合の処理を行って、低解像度用の第2撮像映像信号を生成した。しかしながら、カメラ13から低解像度用の第2撮像映像信号が入力される場合、入力処理部350は、入力された低解像度用の第2撮像映像信号に対して補完処理を行って、高解像度用の第1撮像映像信号を生成してもよい。ただし、補完処理は間引きや混合の処理に比べて処理負荷が高いため、入力処理部350に入力される映像信号は高解像度用の第1撮像映像信号であることが好ましい。
 上記実施形態2では、視点位置P10に基づいて第1画像領域R31および第2画像領域R32が設定されたが、これに限らず、図7(b)に示した実施形態1と同様、視点位置P10に基づいて第1画像領域R1および第2画像領域R2が設定されてもよい。また、上記実施形態2において、上記実施形態1の変更例3と同様、視点位置P10に基づいて予め用意された複数の領域R11~R15が設定されてもよい。
 上記実施形態2では、入力処理部350、310は、映像信号の階調数を2階調に減じる処理を行ったが、これに限らず、映像信号を2階調以外の階調(たとえば、16階調)に減じる処理を行ってもよい。
 また、上記実施形態4、5では、フレーム全体が走査され、表示画像の領域R41の走査期間において、表示画像に応じて光源101~103が発光されたが、表示画像の領域R41のみが走査されてもよい。この場合、表示画像の領域R41について取得された距離に応じて、精細度が調整されればよい。
 また、距離検出部14は、少なくとも、画像生成部3により生成される画像上の任意の位置に視線が向けられたときに、これらの位置の視線の先にある物体までの距離を検出可能に、自身の視野範囲が設定されればよい。
 上記実施形態および変更例では、カメラ13の視野範囲は、ARグラス1の前方であったが、これに限らず、ARグラス1の上方、下方、後方であってもよい。
 上記実施形態および変更例では、画像生成装置3およびミラー4の組は、使用者の一対の目Eに対応するように、ARグラス1に2つ設けられたが、使用者の片方の目Eのみに対応するように、ARグラス1に1つだけ設けられてもよい。
 上記実施形態および変更例では、第1走査部140および第2走査部160によって走査された光は、ミラー4を経て使用者の目Eに導かれたが、これに限らず、ミラー以外の光学系(たとえば、レンズ等)を経て使用者の目Eに導かれてもよい。この場合の光学系は、たとえば、複数のミラーの組合せ、ミラーとレンズの組合せ、複数のレンズの組合せでもよい。
 上記実施形態および変更例において、第1ミラー141および第2ミラー161は、別々に設けられたが、第1ミラー141および第2ミラー161に代えて、2つの軸について回動する1つのミラーが設けられてもよい。
 また、画像生成装置3およびARグラス1(ヘッドマウントディスプレイ)の構成は、上記実施形態および変更例に示した構成以外に、種々の変更が可能である。
求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
 (付記)
 以上の実施形態の記載により、下記の技術が開示される。
 (技術1)
 画像を生成するための光を出射する光源と、
 前記光源から出射された光を走査させる走査部と、
 精細度が異なる前記画像を構成するための複数種類の映像信号をそれぞれ記憶する複数のフレームバッファと、
 使用者の視線を検出するための視線検出部と、
 視野範囲に含まれる物体までの距離を検出する距離検出部と、
 前記光源、前記走査部および前記複数のフレームバッファを制御して画像を生成する制御部と、を備え、
 前記制御部は、前記視線に対応する視点位置を含む画像領域に対して、前記視点位置に対応する前記物体までの距離が大きいほど低精細度の前記フレームバッファからの前記映像信号を適用する、
ことを特徴とする画像生成装置。
 この技術によれば、視線に対応する視点位置を含む画像領域に対して、この視点位置に対応する物体までの距離が大きいほど低精細度のフレームバッファからの映像信号が適用される。これにより、視線の先にある物体までの距離が大きいほど低精細度で、視線付近に画像が表示される。このため、視線付近の領域に表示される画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。また、精細度が異なる画像を表示させるための複数の映像信号が複数のフレームバッファに予め記憶されているため、制御部は、視線の移動に応じて、何れかのフレームバッファの映像信号を選択するだけでよい。よって、視線付近の領域に、距離に応じた精細度で画像を円滑に表示させることができる。
 (技術2)
 技術1に記載の画像生成装置において、
 前記視野範囲を撮像して、精細度が異なるフレーム画像を構成するための複数種類の撮像映像信号を出力する撮像処理部を備え、
 前記複数種類の映像信号は、前記複数種類の撮像映像信号を用いて構成され、
 前記画像領域は、前記フレーム画像上の、前記視点位置を含む所定サイズの第1画像領域である、
ことを特徴とする画像生成装置。
 この技術によれば、使用者前方の視野範囲を撮像した画像を使用者に見せることができる。また、この際に、使用者の視線付近の画像領域の精細度(解像度)を、視線の先にある物体までの距離に応じて調整できる。よって、フレーム画像上の視線付近の第1画像領域の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 (技術3)
 技術2に記載の画像生成装置において、
 前記制御部は、前記フレーム画像上の前記第1画像領域以外の第2画像領域には、最も高い精細度以外の予め決められた精細度に対応する前記フレームバッファからの前記映像信号を適用する、
ことを特徴とする画像生成装置。
 この技術によれば、視線付近以外の第2画像領域の精細度が低く設定されるため、使用者の目の疲れを抑制できる。
 (技術4)
 技術2または3に記載の画像生成装置において、
 前記制御部は、
  前記視線が向けられやすい領域の少なくとも一部を含む特定領域を前記フレーム画像上に設定し、
  前記特定領域には、前記特定領域の位置に対応する前記物体までの距離が大きいほど低精細度の前記フレームバッファからの前記映像信号を適用する、
ことを特徴とする画像生成装置。
 この技術によれば、特定領域に表示される画像の精細度を、特定領域の位置にある物体を実際に視認する際の精細度に近づけることができ、使用者が特定領域に視線を移して特定領域を見たときの違和感を抑制できる。
 (技術5)
 技術4に記載の画像生成装置において、
 前記フレーム画像上で移動する動体領域を検出する動体検出部をさらに備え、
 前記制御部は、検出された前記動体領域を前記視線が向けられやすい領域として、前記特定領域を設定する、
ことを特徴とする画像生成装置。
 使用者は、自身の視線以外の位置に動きがあると、その位置に視線を移しやすい。技術5によれば、動体領域の少なくとも一部を含むように特定領域が設定されるため、次に視線が向けられやすい動体領域の精細度を物体までの距離に応じて予め調整しておくことができる。よって、物体の動きに応じて動体領域に実際に視線が向けられた場合に、距離に応じた使用者の感覚に近い精細度の画像をその領域に表示できる。
 (技術6)
 技術4に記載の画像生成装置において、
 使用者が関心を向けやすい関心領域が予め設定され、
 前記制御部は、前記関心領域を含むように前記特定領域を設定する、
ことを特徴とする画像生成装置。
 この技術によれば、使用者は、関心領域に視線を移した際に、距離に応じて精細度が調整された画像を直ちに見ることができる。
 (技術7)
 技術4ないし6の何れかに記載の画像生成装置において、
 前記制御部は、前記第1画像領域よりも前記特定領域を小さく設定する、
ことを特徴とする画像生成装置。
 この技術によれば、第1画像領域および特定領域に高精細の画像が表示される場合に、使用者の視線が向けられている第1画像領域を主体的に高精細度化しつつ、次に視線が向けられやすい特定領域を補助的に高精細度化でき、フレーム画像に対して高精細度の画像が表示される領域の占める割合を適切に抑制できる。よって、使用者の目の疲れを適切に抑制しつつ、使用者の視線の変化に追従して、円滑且つ迅速、視線の位置に高精細度の画像を表示できる。
 (技術8)
 技術1に記載の画像生成装置において、
 外部装置からの映像信号に基づいて、精細度が異なる表示画像を構成するための複数種類の入力映像信号を出力する入力処理部を備え、
 前記複数種類の映像信号は、前記複数種類の入力映像信号を用いて構成され、
 前記画像領域は、前記表示画像の領域である、
ことを特徴とする画像生成装置。
 この技術によれば、視線に対応する視点位置を含む表示画像の領域に対して、視点位置に対応する物体までの距離が大きいほど、低精細度のフレームバッファからの入力映像信号が適用される。これにより、視線付近に表示画像の領域がある場合に、表示画像の領域に表示される入力映像信号の画像の精細度を、視線の先にある物体を視認する際の実際の精細度に近づけることができる。
 (技術9)
 技術1ないし8の何れかに記載の画像生成装置において、
 前記精細度は、前記走査部の走査速度により規定される前記画像の解像度である、
ことを特徴とする画像生成装置。
 この技術によれば、走査部の走査速度を制御して走査線の密度を調整することにより、画像の精細度を調整できる。
 (技術10)
 技術1ないし9の何れかに記載の画像生成装置において、
 前記精細度は、映像信号の輝度分解能を規定する階調である、
ことを特徴とする画像生成装置。
 この技術によれば、走査部の走査速度は一定のまま、階調を調整するだけで、画像の精細度を調整できる。
 (技術11)
 技術1ないし10の何れかに記載の画像生成装置と、
 前記画像生成装置を保持するフレームと、
 前記画像生成装置からの光を、当該ヘッドマウントディスプレイを頭部に装着した前記使用者の目に導くための光学系と、を備える、
ことを特徴とするヘッドマウントディスプレイ。
 この技術によれば、技術1と同様の効果が奏される。また、使用者は、ヘッドマウントディスプレイを頭部に装着することにより、画像生成装置により生成された画像を見ることができる。
 1 ARグラス(ヘッドマウントディスプレイ)
 2 フレーム
 3 画像生成装置
 4 ミラー(光学系)
 12 視線検出部
 13 カメラ
 13a 動体検出部
 14 距離検出部
 20 フレーム画像
 101、102、103 光源
 140 第1走査部(走査部)
 160 第2走査部(走査部)
 201 制御部
 230 撮像処理部
 341 第1フレームバッファ
 342 第2フレームバッファ
 371~373 フレームバッファ
 P10 視点位置
 R10 動体領域
 R1、R31 第1画像領域
 R11~R15 領域(第1画像領域)
 R2、R32 第2画像領域
 R3、R33 特定領域
 R41 表示画像の領域

Claims (11)

  1.  画像を生成するための光を出射する光源と、
     前記光源から出射された光を走査させる走査部と、
     精細度が異なる前記画像を構成するための複数種類の映像信号をそれぞれ記憶する複数のフレームバッファと、
     使用者の視線を検出するための視線検出部と、
     視野範囲に含まれる物体までの距離を検出する距離検出部と、
     前記光源、前記走査部および前記複数のフレームバッファを制御して画像を生成する制御部と、を備え、
     前記制御部は、前記視線に対応する視点位置を含む画像領域に対して、前記視点位置に対応する前記物体までの距離が大きいほど低精細度の前記フレームバッファからの前記映像信号を適用する、
    ことを特徴とする画像生成装置。
     
  2.  請求項1に記載の画像生成装置において、
     前記視野範囲を撮像して、精細度が異なるフレーム画像を構成するための複数種類の撮像映像信号を出力する撮像処理部を備え、
     前記複数種類の映像信号は、前記複数種類の撮像映像信号を用いて構成され、
     前記画像領域は、前記フレーム画像上の、前記視点位置を含む所定サイズの第1画像領域である、
    ことを特徴とする画像生成装置。
     
  3.  請求項2に記載の画像生成装置において、
     前記制御部は、前記フレーム画像上の前記第1画像領域以外の第2画像領域には、最も高い精細度以外の予め決められた精細度に対応する前記フレームバッファからの前記映像信号を適用する、
    ことを特徴とする画像生成装置。
     
  4.  請求項2に記載の画像生成装置において、
     前記制御部は、
      前記視線が向けられやすい領域の少なくとも一部を含む特定領域を前記フレーム画像上に設定し、
      前記特定領域には、前記特定領域の位置に対応する前記物体までの距離が大きいほど低精細度の前記フレームバッファからの前記映像信号を適用する、
    ことを特徴とする画像生成装置。
     
  5.  請求項4に記載の画像生成装置において、
     前記フレーム画像上で移動する動体領域を検出する動体検出部をさらに備え、
     前記制御部は、検出された前記動体領域を前記視線が向けられやすい領域として、前記特定領域を設定する、
    ことを特徴とする画像生成装置。
     
  6.  請求項4に記載の画像生成装置において、
     使用者が関心を向けやすい関心領域が予め設定され、
     前記制御部は、前記関心領域を含むように前記特定領域を設定する、
    ことを特徴とする画像生成装置。
     
  7.  請求項4に記載の画像生成装置において、
     前記制御部は、前記第1画像領域よりも前記特定領域を小さく設定する、
    ことを特徴とする画像生成装置。
     
  8.  請求項1に記載の画像生成装置において、
     外部装置からの映像信号に基づいて、精細度が異なる表示画像を構成するための複数種類の入力映像信号を出力する入力処理部を備え、
     前記複数種類の映像信号は、前記複数種類の入力映像信号を用いて構成され、
     前記画像領域は、前記表示画像の領域である、
    ことを特徴とする画像生成装置。
     
  9.  請求項1に記載の画像生成装置において、
     前記精細度は、前記走査部の走査速度により規定される前記画像の解像度である、
    ことを特徴とする画像生成装置。
     
  10.  請求項1に記載の画像生成装置において、
     前記精細度は、映像信号の輝度分解能を規定する階調である、
    ことを特徴とする画像生成装置。
     
  11.  請求項1ないし9の何れか一項に記載の画像生成装置と、
     前記画像生成装置を保持するフレームと、
     前記走査部によって走査された光を、当該ヘッドマウントディスプレイを頭部に装着した前記使用者の目に導くための光学系と、を備える、
    ことを特徴とするヘッドマウントディスプレイ。
PCT/JP2024/029477 2023-08-25 2024-08-20 画像生成装置およびヘッドマウントディスプレイ Pending WO2025047508A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023137625 2023-08-25
JP2023-137625 2023-08-25

Publications (1)

Publication Number Publication Date
WO2025047508A1 true WO2025047508A1 (ja) 2025-03-06

Family

ID=94819238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/029477 Pending WO2025047508A1 (ja) 2023-08-25 2024-08-20 画像生成装置およびヘッドマウントディスプレイ

Country Status (1)

Country Link
WO (1) WO2025047508A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04293375A (ja) * 1991-03-22 1992-10-16 A T R Shichiyoukaku Kiko Kenkyusho:Kk 映像表示システム
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
US20080036790A1 (en) * 2004-06-18 2008-02-14 Nec Corporation Image Display System, Image Display Method and Image Display Program
US20180136471A1 (en) * 2016-11-16 2018-05-17 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
JP2023178761A (ja) * 2022-06-06 2023-12-18 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04293375A (ja) * 1991-03-22 1992-10-16 A T R Shichiyoukaku Kiko Kenkyusho:Kk 映像表示システム
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
US20080036790A1 (en) * 2004-06-18 2008-02-14 Nec Corporation Image Display System, Image Display Method and Image Display Program
US20180136471A1 (en) * 2016-11-16 2018-05-17 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
JP2023178761A (ja) * 2022-06-06 2023-12-18 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法

Similar Documents

Publication Publication Date Title
US12360378B2 (en) Steerable high-resolution display
JP7709198B2 (ja) 画像投影システム
JP6326482B2 (ja) 表示システムおよび方法
US6227667B1 (en) Apparatus for recording the retina reflex image and for superimposing of additional images in the eye
US10417975B2 (en) Wide field of view scanning display
JPH10239634A (ja) 立体映像表示装置
US20080258996A1 (en) Image display system and image display method
US20130234930A1 (en) Scanning mirror laser and projector head-up display glasses
CN112384883A (zh) 可穿戴设备及其控制方法
JP5163166B2 (ja) 画像表示装置
JP2006350256A (ja) 走査型画像表示装置
JPH11109279A (ja) 映像表示装置
WO2025047508A1 (ja) 画像生成装置およびヘッドマウントディスプレイ
JP6394165B2 (ja) 虚像表示装置及び方法
JPH11109278A (ja) 映像表示装置
WO2025047507A1 (ja) 画像生成装置およびヘッドマウントディスプレイ
WO2025105113A1 (ja) 画像生成装置およびヘッドマウントディスプレイ
WO2024147249A1 (ja) 画像生成装置およびヘッドマウントディスプレイ
JP2006350257A (ja) 走査型表示装置
WO2024084819A1 (ja) 画像生成装置
WO2025225322A1 (ja) 画像表示装置、ヘッドマウントディスプレイおよびヘッドアップディスプレイ
JP4460384B2 (ja) レーザプロジェクタ
WO2025057624A1 (ja) 画像表示装置
JP2024008215A (ja) 画像投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24859541

Country of ref document: EP

Kind code of ref document: A1