[go: up one dir, main page]

WO2017110370A1 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
WO2017110370A1
WO2017110370A1 PCT/JP2016/085121 JP2016085121W WO2017110370A1 WO 2017110370 A1 WO2017110370 A1 WO 2017110370A1 JP 2016085121 W JP2016085121 W JP 2016085121W WO 2017110370 A1 WO2017110370 A1 WO 2017110370A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light beam
pupil
moves
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/085121
Other languages
English (en)
French (fr)
Inventor
菅原充
鈴木誠
新井道夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QD Laser Inc
Original Assignee
QD Laser Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QD Laser Inc filed Critical QD Laser Inc
Priority to EP16878264.7A priority Critical patent/EP3396435A4/en
Priority to US16/062,384 priority patent/US10634904B2/en
Publication of WO2017110370A1 publication Critical patent/WO2017110370A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to an image projecting apparatus, and more particularly to an image projecting apparatus that projects an image directly onto a user's retina.
  • An image projection apparatus such as a head-mounted display (HMD) that directly projects an image onto a user's retina using light emitted from a light source is known (Patent Document 1).
  • HMD head-mounted display
  • Patent Document 1 An image projection apparatus such as a head-mounted display (HMD) that directly projects an image onto a user's retina using light emitted from a light source.
  • a method called Maxwell's view is used.
  • Maxwell's view light rays that form an image are focused near the pupil, and the image is projected onto the retina.
  • Patent Document 2 It is known that the display area is moved when the user moves his face by moving his face (Patent Document 2). It is known to adjust the position of the screen in accordance with the change in the posture of the wearer (Patent Document 3). It is known that adjustment is performed so that image light enters the pupil when the pupil moves (Patent Document 4).
  • the present invention has been made in view of the above problems, and an object thereof is to appropriately project an image on a user's retina.
  • the present invention provides a projection unit that projects the image onto the retina of the eyeball by irradiating the pupil of the eyeball with an image light beam that forms an image, and a direction in which the pupil moves with respect to the user's face. Based on the detection unit to detect and the detected direction of movement of the pupil, the image light is applied to the pupil, and the image is projected before the pupil moves in the coordinate system visually recognized by the user.
  • An image projection apparatus comprising: a control unit that controls the projection unit so that the image moves in a direction opposite to a direction in which the pupil moves with respect to a position.
  • control unit moves a position of the eyeball where the image light beam is irradiated in a direction in which the pupil moves, and a direction in which the image light beam enters the eyeball in a direction in which the pupil moves.
  • the pupil can be irradiated with the image light beam.
  • control unit is configured to cause the center position of the image before the pupil to move to a position in the retina where the pupil moves, so that the user visually recognizes the image in the image viewed by the user. It can be set as the structure which controls the said projection part so that the position of a user's eyes
  • the projection unit scans the light source that emits the image light beam and the light beam emitted from the light source, and the image is formed in a second range that is smaller than the first range in which the light beam can be scanned.
  • a scanning unit that scans the image light beam, and the control unit moves the second range in a direction opposite to a direction corresponding to a direction in which the pupil moves in the first range.
  • the projection unit can be controlled.
  • the projection unit includes a mirror that is provided in front of the eyeball and reflects the image light beam scanned by the scanning unit to the pupil, and the control unit has a coordinate system on the mirror, The projection unit may be controlled such that the second range moves in a direction opposite to a direction corresponding to a direction in which the pupil moves within the first range.
  • the projection unit forms the image by image data in a second range smaller than the first range among the image data in the first range, and the control unit includes the pupil in the first range.
  • the projection unit may be controlled such that the second range moves in the same direction as the direction corresponding to the moved direction.
  • the projection unit irradiates a detection light beam emitted from the same light source as the image light beam on a second region away from the first region where the image light beam is irradiated on the eyeball of the user.
  • the detection unit may be configured to detect the moving direction of the pupil with respect to the user's face based on the detection result of the reflected light reflected by the user's eyeball.
  • the projection unit emits a plurality of detection light beams at positions separated from each other, and the control unit has a predetermined moving direction of the image corresponding to the plurality of detection light beams,
  • the projection unit may be controlled such that the image moves in the moving direction of the image corresponding to the detection light beam that is not reflected by the eyeball among the plurality of detection light beams.
  • control unit has a predetermined moving direction and amount of movement of the image corresponding to the plurality of detection light beams, and is a detection light beam that is not reflected by the eyeball among the plurality of detection light beams.
  • the projection unit may be controlled so that the image moves in the movement direction and movement amount of the corresponding image.
  • FIG. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIG. 2 is an enlarged view of the vicinity of the projection unit in FIG.
  • FIG. 3A is a diagram illustrating the vibration of the first mirror
  • FIG. 3B is a timing chart illustrating the emission timing of the image light beam and the detection light beam.
  • FIG. 4 is a front view of the eyeball showing the irradiation position of the detection light beam.
  • FIG. 5 is a timing chart showing detection timing for detecting reflected light.
  • 6A and 6B are top views of the projection unit and the eyeball.
  • FIG. 7 is a flowchart illustrating the operation of the control unit according to the first embodiment.
  • FIGS. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIGS. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIGS. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIGS. 1 is a top view of
  • FIGS. 8A to 8D are top views of the eyeball showing the movement of the eyeball and the control of the image light beam in the first embodiment.
  • FIGS. 9A and 9B are diagrams illustrating images projected on the retina in the coordinate system visually recognized by the user in the first embodiment.
  • FIG. 10A and FIG. 10B are diagrams for explaining changes in the projection positions of the image light beam and the detection light beam on the eyeball.
  • FIG. 11 is a diagram for explaining changes in the projection positions of the image light beam and the detection light beam on the eyeball.
  • FIG. 12A and FIG. 12B are top views of the eyeball showing the movement of the eyeball and the control of the image light rays in the third embodiment.
  • FIG. 13 is a diagram illustrating a scanning range of the first mirror in the third embodiment.
  • FIG. 14A and 14B are top views of the eyeball showing the movement of the eyeball and the control of the image light rays in the fourth embodiment.
  • FIG. 15 is a diagram illustrating an image data range in the fourth embodiment.
  • FIG. 16A is a diagram illustrating a table included in the control unit in the fifth embodiment, and
  • FIG. 16B is a flowchart illustrating operations of the control unit and the detection unit.
  • FIG. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIG. 2 is an enlarged view of the vicinity of the projection unit in FIG.
  • the image projection apparatus 100 according to the first embodiment is a retinal projection head mounted display using Maxwell's view in which an image ray for allowing a user to visually recognize an image is directly projected onto the retina 38 of the user's eyeball 36. is there.
  • the image projection apparatus 100 includes a photodetector 18, a control unit 20, a projection unit 24, and a detection unit 26.
  • the projection unit 24 includes the light source 12, the first mirror 14, the second mirror 15, the third mirror 17, the fourth mirror 44, the projection unit 16, and the position adjustment unit 22.
  • the light source 12 is disposed on the temple 30 of the glasses-type frame.
  • the light source 12 emits, for example, a light beam 34 having a single wavelength or a plurality of wavelengths under the instruction of the control unit 20.
  • the light ray 34 includes an image light ray for projecting an image on the retina 38 of the user's eyeball 36 and a detection light ray for detecting at least one of the position of the pupil 40 of the user's eyeball 36 and the opening / closing of the user's eyelid. And rays. Since the detection light beam is emitted from the same light source 12 as the image light beam, it is visible light like the image light beam.
  • the light source 12 emits red laser light (wavelength: about 610 nm to 660 nm), green laser light (wavelength: about 515 nm to 540 nm), and blue laser light (wavelength: about 440 nm to 480 nm), for example.
  • Examples of the light source 12 that emits red, green, and blue laser light include a light source in which RGB (red, green, and blue) laser diode chips, a three-color synthesis device, and a microcollimator lens are integrated.
  • the first mirror 14 is disposed on the temple 30 of the glasses-type frame.
  • the first mirror 14 scans the image light beam emitted from the light source 12 in the horizontal direction and the vertical direction.
  • the first mirror 14 reflects the detection light beam emitted from the light source 12.
  • the first mirror 14 is, for example, a MEMS (Micro Electro Mechanical System) mirror.
  • the light beam 34 emitted from the light source 12 is reflected by, for example, the second mirror 15 and the third mirror 17 and enters the first mirror 14.
  • FIG. 3A shows the vibration of the first mirror.
  • the image light beam and the detection light beam will be described.
  • As a method of scanning an image light beam by the first mirror 14 and projecting an image on the retina 38 there is a method of displaying an image by scanning light at high speed from the upper left to the lower right of the image (for example, raster scan).
  • the first mirror 14 is larger than the range of the image projected on the retina 38 (the broken line range in FIG. 3A) in order to scan the image light ray 34a, and is in the horizontal direction ( It vibrates in the first direction) and in the vertical direction (second direction intersecting the first direction).
  • the vibration of the first mirror 14 is indicated by reference numeral 50.
  • the image light beam 34a When the image light beam 34a is scanned at a location where the first mirror 14 is greatly shaken and the image is projected onto the retina 38, the image light beam 34a has a small shake of the first mirror 14 because the image distortion becomes large. Scanned in place.
  • the detection light beam 34 b is incident on the first mirror 14 at a timing when the image light beam 34 a is not scanned in the vibration 50 of the first mirror 14.
  • the light source 12 emits the image light beam 34a to the first mirror 14 during the period corresponding to the range of the image projected on the retina 38 in the vibration 50 of the first mirror 14, and detects it at a time outside the range of the image.
  • the light beam 34 b is emitted to the first mirror 14.
  • FIG. 3B is a timing chart showing the emission timing of the image light beam and the detection light beam, and the image light beam 34a when the first mirror 14 vibrates from the point A to the point B in FIG. This is the emission timing of the light beam for detection 34b from the light source 12.
  • the light intensity of the detection light beam 34b may be the same as or different from that of the image light beam 34a.
  • the light intensity of the detection light beam 34b may be any light intensity that allows the reflected light 46 to be detected by the photodetector 18 described later.
  • the first mirror 14 is incident with one or a plurality of detection light beams 34b.
  • 3A and 3B show an example in which six detection light beams 34b are incident on the first mirror 14.
  • the detection light beam 34b may be a light beam having a single wavelength, or may be a light beam corresponding to one pixel or several pixels of an image projected onto the retina 38.
  • FIG. 3A the case where the image light beam 34a is scanned in a rectangular shape is shown as an example.
  • the present invention is not limited to this, and other cases such as scanning in a trapezoidal shape may be used.
  • the image light beam 34 a scanned by the first mirror 14 and the detection light beam 34 b reflected by the first mirror 14 are directed toward the lens 32 of the glasses-type frame by the fourth mirror 44. And reflected. Since the projection unit 16 is disposed on the surface of the lens 32 on the eyeball 36 side, the image light beam 34 a scanned by the first mirror 14 and the detection light beam 34 b reflected by the first mirror 14 are transmitted to the projection unit 16. Is incident on.
  • the projection unit 16 is a half mirror having a free curved surface or a combined structure of a free curved surface and a diffractive surface in the first region 16a where the image light beam 34a is incident.
  • the image light ray 34 a incident on the projection unit 16 is projected on the retina 38 after being converged in the vicinity of the pupil 40 of the eyeball 36. Therefore, the user can recognize the image formed by the image light beam 34a and can visually recognize the outside world image with see-through.
  • the projection unit 16 is a half mirror having a shape optically discontinuous with the first region 16a in the second region 16b where the detection light beam 34b is incident. Thereby, the detection light beam 34 b is projected onto the iris 42 of the eyeball 36 when the image light beam 34 a passes through the pupil 40 and is projected onto the retina 38.
  • the detection light ray 34b is the second surface area 36b away from the first surface area 36a of the eyeball 36. Projected on.
  • FIG. 4 is a front view of the eyeball showing the irradiation position of the detection light beam, and is a diagram for explaining the projection of the image light beam 34a and the detection light beam 34b onto the eyeball 36.
  • FIG. 4 the detection light beam 34 b is projected onto the iris 42 when the image light beam 34 a passes through the vicinity of the center of the pupil 40 and is projected onto the retina 38. Since the second region 16b of the projection unit 16 is optically discontinuous with the first region 16a, the detection light beam 34b is projected onto the retina 38 through the pupil 40 while the detection light beam 34b is projected onto the iris 42. Can be projected.
  • the image light beam 34 a and the detection light beam 34 b are emitted from the light source 12 at a predetermined timing with respect to the vibration of the first mirror 14. That is, the relative emission timings of the image light beam 34a and the detection light beam 34b are fixed. For this reason, the relative positions of the image light beam 34 a and the detection light beam 34 b are fixed and projected onto the eyeball 36. Further, as shown in FIG. 3A, since the plurality of detection light beams 34b are light reflected at different positions of the vibration 50 of the first mirror 14, different times (different timings) at different positions of the iris 42 are obtained. ). That is, the plurality of detection light beams 34 b are sequentially projected onto different positions of the iris 42.
  • the photodetector 18 is arranged on the frame of the lens 32.
  • the photodetector 18 is, for example, a photodetector.
  • the photodetector 18 detects the reflected light 46 reflected by the iris 42 from the detection light beam 34b.
  • FIG. 5 is a timing chart showing the detection timing for detecting the reflected light, and is a diagram for explaining the detection timing at which the control unit 20 detects the reflected light 46 using the photodetector 18.
  • the control unit 20 detects the reflected light 46 using the photodetector 18 at the timing when the detection light beam 34 b is emitted from the light source 12.
  • the time for detecting the reflected light 46 may be widened in consideration of the performance of the photodetector 18 and the like.
  • 1 and 2 exemplify the case where the photodetector 18 is disposed in the vicinity of the center of the lens 32.
  • the reflected light 46 can be detected, for example, in the vicinity of the temple 30 of the lens 32. Or a nose pad (not shown) or the like.
  • the plurality of detection light beams 34b are projected onto the iris 42 in order, so that one light detector is used. 18, the reflected light 46 of the plurality of detection light beams 34 b can be detected.
  • a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory) function as the control unit 20 and the detection unit 26.
  • the processor and the memory are provided in an external device (for example, a mobile terminal).
  • the processor functions as the control unit 20 and the detection unit 26 according to the program stored in the memory.
  • the control unit 20 and the detection unit 26 may function by different processors or may function by the same processor.
  • the control unit 20 controls the projection unit 24.
  • the control unit 20 causes the light source 12 to emit an image light beam 34 a based on the input image data and a detection light beam 34 b for detecting the position of the pupil 40.
  • the control unit 20 controls at least one of the optical system including the light source 12 and the first mirror 14 based on the detection result of the photodetector 18.
  • the control unit 20 controls the emission of the light beam including the image light beam 34 a and / or the detection light beam 34 b from the light source 12.
  • the control unit 20 drives the position adjustment unit 22 to move the position of the first mirror 14 and controls to move the positions of the third mirror 17 and the fourth mirror 44 in accordance with the movement of the first mirror 14. I do.
  • the detection unit 26 detects the direction in which the pupil has moved based on the detection result of the photodetector 18.
  • the detection of the reflected light 46 using the photodetector 18 will be described with reference to FIGS. 6 (a) and 6 (b).
  • 6A and 6B are top views of the projection unit and the eyeball.
  • FIG. 6A is a diagram illustrating a case where the image light beam 34 a passes through the pupil 40 and the detection light beam 34 b is projected onto the iris 42.
  • FIG. 6B is a diagram illustrating a case where a part of the detection light beam 34 b is projected onto the retina 38 through the pupil 40 due to the rotation of the eyeball 36.
  • FIG. 6A when the detection light beam 34b is projected onto the iris 42, a relatively large reflected light 46 is generated.
  • FIG. 6B when the detection light beam 34 b passes through the pupil 40 and is projected onto the retina 38 by the rotation of the eyeball 36, the reflected light 46 is hardly generated. That is, in the case of FIG. 6A, the photodetector 18 detects a relatively large reflected light 46, but in the case of FIG. 6B, the photodetector 18 does not detect the reflected light 46. happenss.
  • the photodetector 18 detects the reflected light 46 of some of the detection light beams 34b among the plurality of detection light beams 34b. In this way, the photodetector 18 detects the reflected light of the detection light beam 34b reflected from the user's eyeball.
  • the direction from the position irradiated with the image light 34a to the position corresponding to the detection light 34b where the reflected light 46 is no longer detected corresponds to the direction in which the pupil 40 has moved. Therefore, the detection unit 26 detects this direction as the direction in which the pupil 40 moves with respect to the user's face (that is, the rotation direction of the eyeball 36).
  • the user's line of sight is known from the position of the pupil 40.
  • the fact that the photodetector 18 does not detect the reflected light 46 means that the reflected light 46 having a magnitude greater than or equal to a predetermined value is not detected. That is, when the intensity of the reflected light 46 detected by the photodetector 18 is equal to or less than a predetermined value, the detection unit 26 can determine that the reflected light 46 is not detected.
  • FIG. 7 is a flowchart illustrating operations of the control unit 20 and the detection unit 26 according to the first embodiment.
  • FIGS. 8A to 8D are top views of the eyeball 36 showing the movement of the eyeball 36 and the control of the image light ray 34a in the first embodiment.
  • FIGS. 9A and 9B are diagrams illustrating an image projected on the retina 38 in the coordinate system visually recognized by the user in the first embodiment.
  • FIG. 9A and FIG. 9B show the pupil before and after the pupil moves, respectively.
  • the control unit 20 projects the projection light beam 34a so that the image light beam 34a converges in the pupil 40 and the retina 38 is irradiated with the image light beam 34a. 24 is controlled.
  • the image light ray 34 a is incident from substantially the front of the pupil 40 and passes through the substantial center of the pupil 40.
  • the pixel is located at the center of the image 80 (position corresponding to the position Q of the retina 38).
  • Pixel P2 is located on the left side of P1 and image 80. At this time, the position of the line of sight on the user's image 80 is the pixel P1.
  • the position Q of the retina 38 is irradiated with the image light beam 34a corresponding to the pixel P1.
  • the image light beam 34a corresponding to the pixel P2 is irradiated on the right side of the position Q.
  • the detection unit 26 detects the direction in which the pupil 40 moves with respect to the user's face (step S10). As shown in FIG. 8B, the pupil 40 moves in the left direction 52.
  • the image projection apparatus 100 is fixed to the user's head by the crane 30. Thus, the pupil 40 moves relative to the user's head and / or face. As a result, at least a part of the image light beam 34 a is irradiated on the iris 42, and at least a part of the image light beam 34 a is not irradiated on the retina 38.
  • the control unit 20 controls the projection unit 24 so that the image light beam 34a is irradiated onto the pupil 40 (step S12).
  • the control unit 20 moves the irradiation position of the image light beam 34 a in the direction 52 in which the pupil 40 has moved, as indicated by an arrow 56.
  • the image light beam 34 a passes through substantially the center of the pupil 40.
  • the control unit 20 tilts the irradiation direction of the image light beam 34a in the direction in which the pupil 40 has moved.
  • the image light beam 34 a is incident from almost the front of the pupil 40.
  • the pixel P1 of the image 80 is irradiated to the position Q of the retina 38, and the pixel P2 is irradiated to the right side of the position Q. Therefore, the user can visually recognize the same image 80 as before the pupil 40 moves, as shown in FIG.
  • the user expects the line of sight to move to the left side of the image 80 by rotating the eyeball 36 and moving the pupil 40.
  • the user visually recognizes the pixel P ⁇ b> 1 in FIG. 9A as the center of the image 80. It is expected that the pixel P2 is visually recognized as the center of the image 80 by moving the pupil 40. Therefore, the user feels uncomfortable with the image 80.
  • the control unit 20 moves the image 80 (step S14).
  • the control unit 20 moves the image 80 in a direction 54 opposite to the direction 52 in which the pupil 40 moves in the coordinate system visually recognized by the user.
  • the pixel P2 is the center of the image 80
  • the pixel P1 is the right side of the image 80.
  • the image light beam 34a of the pixel P2 is irradiated to the center position Q of the retina 38
  • the pixel P1 is irradiated to the left side of the position Q. That is, the line of sight on the user image 80 is the pixel P2.
  • the control part 20 may perform in order of step S14 and S12, and may perform step S12 and S14 simultaneously.
  • the projection unit 24 projects the image 80 onto the retina 38 of the eyeball 36 by irradiating the pupil 40 of the user's eyeball 36 with the image light ray 34 a that forms the image 80.
  • the detection unit 26 detects the direction in which the pupil 40 has moved relative to the user's face.
  • the control unit 20 causes the projection unit 24 to irradiate the pupil 40 with the image light beam 34 a based on the detected direction 52 in which the pupil moves.
  • the control unit 20 projects the image 80 onto the projection unit 24 before the pupil 40 moves in the coordinate system visually recognized by the user.
  • the image 80 is moved in a direction 54 opposite to the direction 52 in which the pupil moves.
  • the user can appropriately project the image 80 on the user's retina 38 without feeling uncomfortable.
  • the control unit 20 moves the position where the image light beam 34a is irradiated on the eyeball 36 in the direction 52 in which the pupil has moved, as indicated by the arrow 56.
  • the control unit 20 tilts the direction in which the image light ray 34 a is incident on the eyeball 36 as indicated by the arrow 58 in the direction 52 in which the pupil moves. Accordingly, the retina 38 can be appropriately irradiated with the image light beam 34a.
  • control unit 20 moves the user 40 in the image 80 visually recognized by the user by moving the pupil 40 to the position Q in the retina 38 where the pixel P1 at the center position of the image 80 before the pupil 40 is moved.
  • the projection unit 24 is controlled so that the pixel P2 at the line of sight is irradiated. As a result, the user can appropriately project the image 80 on the user's retina 38 without feeling uncomfortable.
  • the projection unit 24 irradiates the detection light beam 34b on the second region away from the first region where the image light beam 34a is irradiated on the user's eyeball 36.
  • the detection light beam 34b is emitted from the same light source 12 as the image light beam 34a.
  • the detection unit 26 detects the direction 52 in which the pupil moves with respect to the user's face based on the detection result of the reflected light reflected from the user's eyeball 36 by the detection light beam 34b.
  • the optical system such as the light source 12 can be shared by the detection light beam 34b and the image light beam 34a. Therefore, the image projector can be miniaturized.
  • the moving direction of the pupil 40 is detected based on the reflected light of the detection light beam 34b emitted from the same light source 12 as the image light beam 34a.
  • the direction in which the pupil 40 moves may be detected by other methods.
  • the detection light beam 34b may be light emitted from a light source 12 different from the image light beam 34a such as infrared rays.
  • Example 2 is a specific example of step S12 in FIG.
  • the image projection apparatus according to the second embodiment is the same as that of the first embodiment shown in FIG.
  • the control unit 20 drives the position adjustment unit 22 to move the position of the first mirror 14 based on the detection result of the reflected light 46 of the detection light beam 34 b by the photodetector 18, and The positions of the third mirror 17 and the fourth mirror 44 are moved in accordance with the movement of the one mirror 14.
  • the scanning origin of the image light beam 34a can be moved.
  • the projection positions of the image light beam 34a and the detection light beam 34b on the eyeball 36 can be moved. This will be described with reference to FIGS.
  • FIG. 10A to FIG. 11 are diagrams for explaining changes in the projection positions of the image light beam 34a and the detection light beam 34b onto the eyeball 36.
  • FIG. 11 illustrates a state where FIG. 10A and FIG. 10B are combined, with the state of FIG. 10A indicated by a dotted line and the state of FIG. 10B indicated by a solid line. Yes.
  • the solid line in FIG. 10A and the dotted line in FIG. 11 show the case where the image light ray 34 a passes through the vicinity of the center of the pupil 40.
  • the position adjusting unit 22 is driven to move the position of the first mirror 14 as shown in the solid line in FIG. 10B and FIG.
  • the scanning origin of the image light beam 34 a moves from O to O ′.
  • the incident position of the image light beam 34a corresponding to the central portion of the image projected onto the retina 38 is hardly changed. This is to suppress deterioration in the quality of the image projected on the retina 38, changes in the incident position of the detection light beam 34b on the projection unit 16, and the like.
  • the incident angles of the image light beam 34a and the detection light beam 34b to the projection unit 16 change, and as a result, the eyeballs of the image light beam 34a and the detection light beam 34b.
  • the projection position to 36 moves.
  • the image light beam 34a and the detection light beam 34b move in conjunction with each other while the relative positional relationship between the projection positions on the eyeballs 36 is fixed. For example, from the state in which the image light ray 34a passes through the vicinity of the center of the pupil 40 as shown by the solid line in FIG. 10A and the dotted line in FIG. The state changes so that the image light beam 34 a passes through the end side of the center of the pupil 40.
  • the position of the first mirror 14 is moved by the position adjusting unit 22, and the positions of the third mirror 17 and the fourth mirror 44 are moved in accordance with the movement of the first mirror 14.
  • the first mirror 14 and the like are preferably moved in an arc shape, but may be moved linearly in the direction of the arrow in FIG. 10 and in the direction perpendicular to the paper surface in FIG. 10 (the direction perpendicular to the arrow).
  • a biaxial actuator for example, an ultrasonic actuator
  • can move in the biaxial direction can be used as the position adjusting unit 22.
  • Example 3 is a specific example of step S14 in FIG.
  • the image projection apparatus according to the third embodiment is the same as that of the first embodiment shown in FIG.
  • operations of the control unit 20 and the detection unit 26 will be described.
  • 12A and 12B are top views of the eyeball 36 showing the movement of the eyeball 36 and the control of the image light ray 34a in the third embodiment.
  • FIG. 13 is a diagram illustrating a scanning range of the first mirror 14 in the third embodiment. Pixels P1 and P2 in the image range 62a are indicated by circles, and pixels P1 and P2 in the image range 62b are indicated by triangles.
  • the scanning range 60 is a range in which the first mirror 14 vibrates in FIG. 3A, and is a coordinate system in which an image irradiated on the projection unit 16 is viewed from the eyeball 36 side.
  • the light beam is not irradiated to the projection part 16 at the timing which the light source 12 does not radiate
  • the image ranges 62 a and 62 b can be set at arbitrary positions in the scanning range 60 by making the timing of the emission of the image light beam 34 a of the light source 12 and the scanning of the first mirror 14 different.
  • the image range 62a is positioned at the approximate center of the scanning range 60 as shown in FIG.
  • the detection unit 26 detects that the pupil 40 has moved in the direction 52, as in step S10 of FIG.
  • the control unit 20 controls the projection unit 24 so that the image light beam 34 a is irradiated to the pupil 40.
  • the control unit 20 causes the projection unit 24 to move the image range 62a to the image range 62b.
  • the moving direction 64 of the image range is opposite to the direction 52a corresponding to the direction in which the pupil moves.
  • the image range is moved so that the pixel P2 in the image range 62b is positioned at a position in the scanning range 60 where the pixel P1 was positioned in the image range 62a.
  • the image light beam 34a corresponding to the pixel P2 is irradiated to the position Q in the retina 38.
  • the line of sight on the image visually recognized by the user is positioned at the pixel P2, and the user can visually recognize the image around the pixel P2.
  • the first mirror 14 scans the light beam emitted from the light source 12, and the image range (first range) smaller than the scanning range (first range) in which the light beam can be scanned.
  • the image light beam 34a is scanned so that an image is formed in (2 ranges).
  • the control unit 20 controls the projection unit 24 so that the image range moves in a direction 64 opposite to the direction 52a corresponding to the direction in which the pupil moves within the scanning range 60.
  • the control unit 20 moves the image range in the direction opposite to the direction 52a in the coordinate system on the projection unit 16 (mirror).
  • the operation of step S14 in FIG. 7 can be performed. Therefore, an image in the direction viewed by the user can be projected onto the retina 38.
  • Example 4 is another specific example of step S14 in FIG.
  • the image projection apparatus according to the fourth embodiment is the same as that of FIG.
  • FIGS. 14A and 14B are top views of the eyeball showing the movement of the eyeball 36 and the control of the image light ray 34a in the fourth embodiment.
  • FIG. 15 is a diagram illustrating an image data range 70 according to the fourth embodiment.
  • FIG. 14 (a) is the same as FIG. 12 (a), and a description thereof will be omitted.
  • the image data range 70 is a range of image data input to the control unit 20.
  • the image ranges 72 a and 72 b are image ranges arbitrarily set by the control unit 20 in the image data range 70.
  • the image range 72 a is positioned substantially at the center of the image data range 70.
  • step S12 of FIG. 7 the control unit 20 controls the projection unit 24 so that the pupil 40 is irradiated with the image light ray 34a.
  • the control unit 20 moves the image range 72a to the image range 72b.
  • the moving direction 74 of the image range is the same direction as the direction 52a corresponding to the direction in which the pupil 40 has moved.
  • the pixel P1 is located at the center.
  • the pixel P2 is located at the center.
  • the image light beam 34 a corresponding to the pixel P ⁇ b> 2 is irradiated to the position Q in the retina 38.
  • the line of sight on the image visually recognized by the user is located at the pixel P2, and the user can visually recognize the image around the pixel P2.
  • the projection unit 24 includes images in the image ranges 72 a and 72 b (second range) smaller than the image data range 70 among the image data in the image data range 70 (first range).
  • An image is formed from the data.
  • the control unit 20 moves the image range in the same direction 74 as the direction 52a corresponding to the direction in which the pupil moves within the image data range. Thereby, the operation of step S14 in FIG. 7 can be performed. Therefore, an image in the direction viewed by the user can be projected onto the retina 38.
  • the image ranges 72 a and 72 b are included in the image data range 70
  • a part of the image ranges 72 a and / or 72 b may not be included in the image data range 70.
  • a part of the image range 72a and / or 72b is not projected onto the retina 38.
  • the user does not have a great discomfort.
  • FIG. 16A is a diagram illustrating a table included in the control unit in the fifth embodiment
  • FIG. 16B is a flowchart illustrating operations of the control unit and the detection unit.
  • the image projection apparatus according to the fifth embodiment is the same as that of the first embodiment shown in FIG.
  • operations of the control unit 20 and the detection unit 26 will be described.
  • a moving direction and a moving amount for moving an image corresponding to a plurality of detection light beams 34b are determined in advance.
  • the detection light beam 34b corresponds to A and B
  • the movement directions are AA and BB
  • the movement amounts are aa and bb, respectively.
  • the 16A is stored in, for example, a memory inside or outside the control unit 20.
  • the plurality of detection light beams 34b are irradiated to positions separated from each other, for example, as shown in FIGS.
  • the moving direction is, for example, the direction 54 in FIG. 9B, and the moving amount is the amount by which the image is moved in FIG. 9B.
  • the detection unit 26 detects the detection light beam 34b that is not reflected among the plurality of detection light beams 34b (step S20). It is considered that the detection light beam 34b in which the reflected light is not detected is applied to the pupil 40. That is, it is considered that the pupil 40 is located at the position of the detection light beam 34b where the reflected light is not detected. Therefore, the control unit 20 acquires the corresponding moving direction and moving amount from the table of FIG. 16A (step S22). The control unit 20 controls the projection unit 24 so that the image moves in the acquired movement direction and movement amount (step S24). For example, the method of the third and fourth embodiments is used as the image moving method.
  • the control unit 20 has a predetermined image moving direction corresponding to the plurality of detection light beams 34b.
  • the control unit 20 controls the projection unit 24 so that the image moves in the moving direction of the image corresponding to the detection light beam that is not reflected by the eyeball 36 among the plurality of detection light beams 34b.
  • the movement of the image can be easily controlled by previously determining the moving direction of the image corresponding to the detection light beam 34b.
  • control unit 20 has a predetermined image moving direction and moving amount corresponding to the plurality of detection light beams 34b.
  • the control unit 20 may control the projection unit 24 so that the image moves in the moving direction and moving amount of the image corresponding to the detection light beam that is not reflected by the eyeball 36.
  • the example in which the image is moved in the corresponding movement direction and movement amount when one of the plurality of detection light beams 34b irradiated at different positions is not detected has been described.
  • the pupil moves between the detection rays 34b that are not detected, and the image is moved in the corresponding movement direction and movement amount. Good.
  • an image may be projected onto the retina 38 of one eyeball 36
  • an image may be projected onto the retina 38 of both eyeballs 36.
  • the first mirror 14 has been described as an example of the scanning unit, the scanning unit only needs to be able to scan the light beam.
  • other parts such as an electro-optic material potassium tantalate niobate (KTN) crystal may be used as the scanning unit.
  • KTN potassium tantalate niobate
  • laser light has been described as an example of the light beam, light other than laser light may be used.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本発明は、ユーザの網膜に画像を適切に投影することを目的とする。本発明の画像投影装置は、画像を形成する画像用光線（３４ａ）をユーザの眼球（３６）の瞳孔（４０）に照射することにより、前記眼球の網膜（３８）に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向（５２）を検出する検出部と、検出された前記瞳孔の動いた方向に基づき、前記瞳孔に前記画像用光線が照射され、かつ前記ユーザが視認する座標系において前記瞳孔が動く前に前記画像が投影された位置に対し前記瞳孔の動いた方向と逆の方向に前記画像が移動するように前記投影部を制御する制御部と、を具備する。

Description

画像投影装置
　本発明は、画像投影装置に関し、例えばユーザの網膜に画像を直接投影する画像投影装置に関する。
　光源から出射された光線を用いユーザの網膜に画像を直接投影するヘッドマウントディスプレイ（ＨＭＤ）等の画像投影装置が知られている（特許文献１）。このような画像投影装置では、マックスウエル視といわれる方法が用いられる。マックスウエル視では、画像を形成する光線を瞳孔近傍で集束させ、網膜に画像を投影する。
　使用者が顔を動かして視線を動かしたとき表示領域を移動させることが知られている（特許文献２）。装着者の姿勢の変化に応じて、画面の位置の調整を行なうことが知られている（特許文献３）。瞳孔が移動したときに、瞳孔に画像光が入射するように調整することが知られている（特許文献４）。
国際公開第２０１４／１９２４７９号 特開平７－９５４９８号公報 特開２０１３－２２５０４２号公報 特開２０１１－７５９５６号公報
　ユーザが顔に対し眼球を動かしたときに、網膜に画像を投影しないと、ユーザに違和感を与えてしまう。
　本発明は、上記課題に鑑みなされたものであり、ユーザの網膜に画像を適切に投影することを目的とする。
　本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に照射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向を検出する検出部と、検出された前記瞳孔の動いた方向に基づき、前記瞳孔に前記画像用光線が照射され、かつ前記ユーザが視認する座標系において前記瞳孔が動く前に前記画像が投影された位置に対し前記瞳孔の動いた方向と逆の方向に前記画像が移動するように前記投影部を制御する制御部と、を具備することを特徴とする画像投影装置である。
　上記構成において、前記制御部は、前記眼球において前記画像用光線を照射する位置を前記瞳孔が動いた方向に移動させ、前記画像用光線が前記眼球に入射する方向を前記瞳孔が動いた方向に傾斜させることにより、前記瞳孔に前記画像用光線を照射させる構成とすることができる。
　上記構成によれば、前記制御部は、前記瞳孔が動く前の前記画像の中心位置が照射されている前記網膜内の位置に、前記瞳孔が動くことにより前記ユーザが視認した前記画像内の前記ユーザの視線の位置が照射されるように前記投影部を制御する構成とすることができる。
　上記構成において、前記投影部は、前記画像用光線を出射する光源と、前記光源が出射する光線を走査し、前記光線が走査可能な第１範囲より小さい第２範囲に前記画像が形成されるように前記画像用光線を走査する走査部と、を備え、前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と逆の方向に前記第２範囲が移動するように前記投影部を制御する構成とすることができる。
　上記構成において、前記投影部は、前記眼球の正面に設けられ、前記走査部が走査した前記画像用光線を前記瞳孔に反射するミラーを備え、前記制御部は、前記ミラー上の座標系において、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と逆の方向に前記第２範囲が移動するように前記投影部を制御する構成とすることができる。
　上記構成において、前記投影部は、第１範囲の画像データのうち前記第１範囲より小さい第２範囲の画像データにより前記画像を形成し、前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御する構成とすることができる。
　上記構成において、前記投影部は、前記ユーザの前記眼球において前記画像用光線が照射される第１領域から離れた第２領域に前記画像用光線と同じ光源から出射された検出用光線を照射し、前記検出部は、前記検出用光線が前記ユーザの前記眼球で反射した反射光の検出結果に基づき前記ユーザの顔に対し前記瞳孔の動いた方向を検出する構成とすることができる。
　上記構成において、前記投影部は、互いに離れた位置に複数の検出用光線を出射し、前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向に前記画像が移動するように前記投影部を制御する構成とすることができる。
　上記構成において、前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向および移動量を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向および移動量に前記画像が移動するように前記投影部を制御する構成とすることができる。
　本発明によれば、ユーザの網膜に画像を適切に統制することができる。
図１は、実施例１に係る画像投影装置の上視図である。 図２は、図１の投射部近傍を拡大した図である。 図３（ａ）は、第１ミラーの振動を示す図、図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートである。 図４は、検出用光線の照射位置を示す眼球の正面図である。 図５は、反射光を検出する検出タイミングを示すタイミングチャートである。 図６（ａ）および図６（ｂ）は、投射部および眼球の上視図である。 図７は、実施例１における制御部の動作を示すフローチャートである。 図８（ａ）から図８（ｄ）は、実施例１における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図９（ａ）および図９（ｂ）は、実施例１におけるユーザが視認する座標系における網膜に投影された画像を示す図である。 図１０（ａ）および図１０（ｂ）は、画像用光線と検出用光線の眼球への投射位置の変化を説明する図である。 図１１は、画像用光線と検出用光線の眼球への投射位置の変化を説明する図である。 図１２（ａ）および図１２（ｂ）は、実施例３における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図１３は、実施例３における第１ミラーの走査の範囲を示す図である。 図１４（ａ）および図１４（ｂ）は、実施例４における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図１５は、実施例４における画像データ範囲を示す図である。 図１６（ａ）は、実施例５において制御部が有するテーブルを示す図、図１６（ｂ）は、制御部および検出部の動作を示すフローチャートである。
　以下、図面を参照しつつ、本発明の実施例について説明する。
　図１は、実施例１に係る画像投影装置の上視図である。図２は、図１の投射部近傍を拡大した図である。なお、実施例１の画像投影装置１００は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球３６の網膜３８に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。
　実施例１の画像投影装置１００は、図１のように、光検出器１８、制御部２０、投影部２４および検出部２６を備える。投影部２４は、光源１２、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、投射部１６、位置調整部２２を備える。光源１２は、メガネ型フレームのツル３０に配置されている。光源１２は、制御部２０の指示の下、例えば単一又は複数の波長の光線３４を出射する。この光線３４には、ユーザの眼球３６の網膜３８に画像を投影するための画像用光線と、ユーザの眼球３６の瞳孔４０の位置及びユーザの瞼の開閉の少なくとも一方を検出するための検出用光線と、が含まれる。検出用光線は、画像用光線と同じ光源１２から出射されることから、画像用光線と同じく可視光である。光源１２は、例えば赤色レーザ光（波長：６１０ｎｍ～６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ～５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ～４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する光源１２として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。
　第１ミラー１４は、メガネ型フレームのツル３０に配置されている。第１ミラー１４は、光源１２から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第１ミラー１４は、光源１２から出射された検出用光線を反射する。第１ミラー１４は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。なお、光源１２から出射された光線３４は、例えば第２ミラー１５及び第３ミラー１７で反射されて、第１ミラー１４に入射する。
　図３（ａ）は、第１ミラーの振動を示す図である。画像用光線と検出用光線とについて説明する。第１ミラー１４によって画像用光線を走査して網膜３８に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法（例えばラスタースキャン）がある。図３（ａ）のように、第１ミラー１４は、画像用光線３４ａを走査するために、網膜３８に投影する画像の範囲（図３（ａ）の破線範囲）よりも大きく、水平方向（第１方向）と垂直方向（第１方向に交差する第２方向）とに振動する。第１ミラー１４の振動を符号５０で示している。
　第１ミラー１４が大きく振れた箇所で画像用光線３４ａを走査して網膜３８に画像を投影する場合、画像の歪みが大きくなることから、画像用光線３４ａは、第１ミラー１４の振れが小さい箇所で走査される。一方、検出用光線３４ｂは、第１ミラー１４の振動５０のうち、画像用光線３４ａが走査されないタイミングで、第１ミラー１４に入射する。言い換えると、光源１２は、第１ミラー１４の振動５０において、網膜３８に投影する画像の範囲に相当する期間では画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検出用光線３４ｂを第１ミラー１４に出射する。
　図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートであり、第１ミラー１４が図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線３４ａと検出用光線３４ｂの光源１２からの出射タイミングである。なお、検出用光線３４ｂの光強度は、画像用光線３４ａと同じであってもよいし、異なっていてもよい。検出用光線３４ｂの光強度は、後述する光検出器１８で反射光４６が検出できる程度の光強度であればよい。
　第１ミラー１４には、１又は複数の検出用光線３４ｂが入射される。図３（ａ）及び図３（ｂ）では、６つの検出用光線３４ｂが第１ミラー１４に入射される場合を例に示している。検出用光線３４ｂは、単一波長の光線でよく、網膜３８に投影する画像の１画素又は数画素相当の光線でよい。なお、図３（ａ）では、画像用光線３４ａは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。
　図１及び図２のように、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、第４ミラー４４によって、メガネ型フレームのレンズ３２に向かって反射される。投射部１６が、レンズ３２の眼球３６側の面に配置されているため、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、投射部１６に入射する。投射部１６は、画像用光線３４ａが入射される第１領域１６ａでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部１６に入射された画像用光線３４ａは、眼球３６の瞳孔４０近傍で収束した後に網膜３８に投射される。よって、ユーザは、画像用光線３４ａで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部１６は、検出用光線３４ｂが入射される第２領域１６ｂでは、第１領域１６ａと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、眼球３６の虹彩４２に投射される。このように、画像用光線３４ａが投射される眼球３６の表面領域を第１表面領域３６ａとした場合に、検出用光線３４ｂは、眼球３６の第１表面領域３６ａから離れた第２表面領域３６ｂに投射される。
　図４は、検出用光線の照射位置を示す眼球の正面図であり、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射について説明する図である。図４のように、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０の中心近傍を通過して網膜３８に投射される場合に、虹彩４２に投射される。投射部１６の第２領域１６ｂが第１領域１６ａに光学的に不連続となっているため、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、検出用光線３４ｂが虹彩４２に投射されることが可能となる。また、画像用光線３４ａと検出用光線３４ｂは、第１ミラー１４の振動に対して所定のタイミングで光源１２から出射される。すなわち、画像用光線３４ａと検出用光線３４ｂの相対的な出射タイミングは固定されている。このため、画像用光線３４ａと検出用光線３４ｂは、相対的な位置関係が固定されて、眼球３６に投射される。また、図３（ａ）のように、複数の検出用光線３４ｂは、第１ミラー１４の振動５０の異なる位置で反射された光であることから、虹彩４２の異なる位置に異なる時間（異なるタイミング）で投射される。すなわち、複数の検出用光線３４ｂは、虹彩４２の異なる位置に順々に投射される。
　図１及び図２のように、光検出器１８が、レンズ３２のフレームに配置されている。光検出器１８は、例えばフォトディテクタである。光検出器１８は、検出用光線３４ｂが虹彩４２で反射した反射光４６を検出する。図５は、反射光を検出する検出タイミングを示すタイミングチャートであり、制御部２０が光検出器１８を用いて反射光４６を検出する検出タイミングを説明する図である。図５のように、制御部２０は、光源１２から検出用光線３４ｂを出射させたタイミングで、光検出器１８を用いて反射光４６の検出を行う。これにより、複数の検出用光線３４ｂのうちのどの検出用光線３４ｂの反射光４６が検出されていないかが分かる。なお、光検出器１８の性能などを考慮し、反射光４６の検出の時間に幅を持たせてもよい。
　なお、図１及び図２では、光検出器１８が、レンズ３２の中央近傍に配置された場合を例に示したが、反射光４６を検出できる場所であれば、例えばレンズ３２のツル３０近傍や鼻パッド（不図示）近傍などに配置されてもよい。なお、複数の検出用光線３４ｂが虹彩４２に投射される場合であっても、上述したように、複数の検出用光線３４ｂは虹彩４２に順々に投射されることから、１つの光検出器１８で複数の検出用光線３４ｂの反射光４６を検出することができる。
　ＣＰＵ（Central Processing Unit）等のプロセッサ、およびＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリは制御部２０および検出部２６として機能する。プロセッサおよびメモリは、外部装置（例えば携帯端末など）に設けられている。プロセッサは、メモリに記憶されたプログラムに従って、制御部２０および検出部２６として機能する。制御部２０と検出部２６は異なるプロセッサにより機能してもよいし、同じプロセッサにより機能してもよい。
制御部２０は投影部２４を制御する。制御部２０は、入力された画像データに基づく画像用光線３４ａと、瞳孔４０の位置を検出するための検出用光線３４ｂと、を光源１２から出射させる。また、制御部２０は、光検出器１８での検出結果に基づいて、光源１２及び第１ミラー１４などを含む光学系の少なくとも一方を制御する。例えば、制御部２０は、光源１２からの画像用光線３４ａ及び／又は検出用光線３４ｂを含む光線の出射を制御する。例えば、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる制御を行う。
　検出部２６は、光検出器１８の検出結果に基づき瞳孔の動いた方向を検出する。図６（ａ）および図６（ｂ）を用いて、光検出器１８を用いた反射光４６の検出について説明する。図６（ａ）および図６（ｂ）は、投射部および眼球の上視図である。図６（ａ）は、画像用光線３４ａが瞳孔４０を通過し、検出用光線３４ｂが虹彩４２に投射される場合を示す図である。図６（ｂ）は、眼球３６が回転したことで、検出用光線３４ｂの一部が瞳孔４０を通過して網膜３８に投射される場合を示す図である。
　図６（ａ）のように、検出用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じる。一方、図６（ｂ）のように、眼球３６の回転によって検出用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合、反射光４６が生じ難い。つまり、図６（ａ）の場合には、光検出器１８は比較的大きな反射光４６を検出するが、図６（ｂ）の場合には、光検出器１８は反射光４６を検出しないことが起こる。したがって、ユーザが眼球３６を動かした場合には、光検出器１８は複数の検出用光線３４ｂのうちの一部の検出用光線３４ｂの反射光４６を検出しなくなる。このように、光検出器１８は、ユーザの眼球において反射した検出用光線３４ｂの反射光を検出する。図４において、画像用光線３４ａが照射された位置から反射光４６を検出しなくなった検出用光線３４ｂに対応する位置への方向は、瞳孔４０が動いた方向に相当する。そこで、検出部２６は、この方向をユーザの顔に対する瞳孔４０が動いた方向（すなわち眼球３６の回転方向）として検出する。瞳孔４０の位置によりユーザの視線がわかる。なお、上述の記載から明らかなように、光検出器１８が反射光４６を検出しないとは、所定値以上の大きさの反射光４６を検出しないことをいう。すなわち、光検出器１８が検出する反射光４６の強度は所定値以下のとき、検出部２６は、反射光４６を検出しないと判定できる。
　実施例１における制御部２０および検出部２６の動作について説明する。図７は、実施例１における制御部２０および検出部２６の動作を示すフローチャートである。図８（ａ）から図８（ｄ）は、実施例１における眼球３６の動きと画像用光線３４ａの制御を示す眼球３６の上視図である。図９（ａ）および図９（ｂ）は、実施例１におけるユーザが視認する座標系における網膜３８に投影された画像を示す図である。図９（ａ）および図９（ｂ）は、それぞれ瞳孔が動く前および瞳孔が動いた後を示す。
　図８（ａ）に示すように、瞳孔４０が動く前において、制御部２０は、瞳孔４０内で画像用光線３４ａが収束し、網膜３８に画像用光線３４ａが照射されるように、投影部２４を制御する。画像用光線３４ａは瞳孔４０のほぼ正面から入射しかつ瞳孔４０のほぼ中心を通過する。図９（ａ）に示すように、ユーザが視認する座標系（投射部１６をユーザが視認した座標系に相当する）では、画像８０の中心（網膜３８の位置Ｑに相当する位置）に画素Ｐ１、画像８０の左側に画素Ｐ２が位置している。このとき、ユーザの画像８０上の視線の位置は画素Ｐ１である。図８（ａ）のように、網膜３８の位置Ｑには、画素Ｐ１に相当する画像用光線３４ａが照射される。位置Ｑの右側に画素Ｐ２に相当する画像用光線３４ａが照射される。
　図７に示すように、光検出器１８が検出用光線を検出することで、検出部２６は、ユーザの顔に対し瞳孔４０の動いた方向を検出する（ステップＳ１０）。図８（ｂ）に示すように、瞳孔４０は左方向５２に動いている。画像投影装置１００は、ツル３０によりユーザの頭に固定されている。よって、瞳孔４０は、ユーザの頭および／または顔に対し動いている。これにより、画像用光線３４ａの少なくとも一部が虹彩４２に照射されてしまい、画像用光線３４ａの少なくとも一部は網膜３８に照射されない。
　図７に示すように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように、投影部２４を制御する（ステップＳ１２）。図８（ｃ）に示すように、制御部２０は、矢印５６のように、画像用光線３４ａの照射位置を瞳孔４０の動いた方向５２に移動させる。これにより、画像用光線３４ａは瞳孔４０のほぼ中心を通過する。さらに、制御部２０は、矢印５８のように、画像用光線３４ａの照射方向を瞳孔４０が動いた方向に傾斜させる。これにより、画像用光線３４ａは瞳孔４０のほぼ正面から入射する。網膜３８の位置Ｑに画像８０の画素Ｐ１が照射され、位置Ｑの右側に画素Ｐ２が照射される。よって、ユーザは、図９（ａ）のように、瞳孔４０が動く前と同じ画像８０が視認できる。
　しかし、ユーザは眼球３６を回転させ瞳孔４０を動かすことで、画像８０の左側に視線が動くことを期待している。例えば、ユーザは、図９（ａ）の画素Ｐ１を画像８０の中心として視認している。瞳孔４０を動かすことにより画素Ｐ２を画像８０の中心として視認することを期待している。よって、ユーザは画像８０に違和感を覚えてしまう。
　そこで、図７のように、制御部２０は画像８０を移動させる（ステップＳ１４）。図９（ｂ）に示すように、制御部２０は、ユーザが視認する座標系において、瞳孔４０の動いた方向５２の反対の方向５４に画像８０を移動させる。これにより、画素Ｐ２が画像８０の中心となり、画素Ｐ１が画像８０の右側となる。図８（ｄ）に示すように、網膜３８の中心の位置Ｑに画素Ｐ２の画像用光線３４ａが照射され、位置Ｑの左側に画素Ｐ１が照射される。すなわち、ユーザの画像８０上の視線は画素Ｐ２となる。よって、ユーザは視認することを期待した画素Ｐ２が中心の画像８０を視認することができる。以上、瞳孔４０が左右方向に動いた場合を例に説明したが、瞳孔４０が上下方向または斜め方向に動いた場合も同様である。また、制御部２０は、ステップＳ１４、Ｓ１２の順番で実行してもよいし、ステップＳ１２とＳ１４を同時に実行してもよい。
　以上のように、実施例１によれば、投影部２４は、画像８０を形成する画像用光線３４ａをユーザの眼球３６の瞳孔４０に照射することにより、眼球３６の網膜３８に画像８０を投影する。図７のステップＳ１０のように、検出部２６はユーザの顔に対し瞳孔４０の動いた方向を検出する。ステップＳ１２のように、制御部２０は、検出された瞳孔の動いた方向５２に基づき、投影部２４に、瞳孔４０に画像用光線３４ａを照射させる。図９（ａ）および図９（ｂ）、図７のステップＳ１４のように、制御部２０は、投影部２４にユーザが視認する座標系において瞳孔４０が動く前に画像８０が投影された位置に対し瞳孔の動いた方向５２と逆の方向５４に画像８０を移動させる。これにより、ユーザは違和感なく、ユーザの網膜３８に画像８０を適切に投影することができる。
　また、図８（ｃ）のように、制御部２０は、矢印５６のように眼球３６において画像用光線３４ａを照射する位置を瞳孔が動いた方向５２に移動させる。制御部２０は、矢印５８のように画像用光線３４ａが眼球３６に入射する方向を瞳孔が動いた方向５２に傾斜させる。これにより、画像用光線３４ａを適切に網膜３８に照射できる。
　さらに、制御部２０は、瞳孔４０が動く前の画像８０の中心位置の画素Ｐ１が照射されている網膜３８内の位置Ｑに、瞳孔４０が動くことによりユーザが視認した画像８０内のユーザの視線の位置の画素Ｐ２が照射されるように投影部２４を制御する。これにより、ユーザは違和感なく、ユーザの網膜３８に画像８０を適切に投影することができる。
　実施例１では、図４のように、投影部２４は、ユーザの眼球３６において画像用光線３４ａが照射される第１領域から離れた第２領域に検出用光線３４ｂを照射する。検出用光線３４ｂは画像用光線３４ａと同じ光源１２から出射される。検出部２６は、検出用光線３４ｂがユーザの眼球３６で反射した反射光の検出結果に基づきユーザの顔に対し瞳孔の動いた方向５２を検出する。これにより、検出用光線３４ｂと画像用光線３４ａとで光源１２等の光学系を共有できる。よって、画像投影装置の小型化が可能となる。
　実施例１においては、瞳孔４０の動いた方向を、画像用光線３４ａと同じ光源１２から出射された検出用光線３４ｂの反射光に基づき検出している。瞳孔４０の動いた方向はその他の方法で検出してもよい。例えば、検出用光線３４ｂは赤外線等画像用光線３４ａと別の光源１２から出射された光でもよい。
　実施例２は、図７のステップＳ１２の具体的な例である。実施例２に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。上述したように、制御部２０は、光検出器１８による検出用光線３４ｂの反射光４６の検出結果に基づいて、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる。これにより、画像用光線３４ａの走査の原点を移動させることができる。画像用光線３４ａの走査の原点が移動することで、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置を移動させることができる。このことについて、図１０（ａ）から図１１を用いて説明する。
　図１０（ａ）から図１１は、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置の変化を説明する図である。なお、図１１は、図１０（ａ）と図１０（ｂ）を合わせた状態を図示していて、図１０（ａ）の状態を点線で、図１０（ｂ）の状態を実線で示している。
　図１０（ａ）の実線及び図１１の点線は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図１０（ａ）の実線及び図１１の点線の状態から、図１０（ｂ）及び図１１の実線のように、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点がＯからＯ´に移動する。なお、走査の原点が移動しても、網膜３８に投影される画像の中央部に対応する画像用光線３４ａの投射部１６への入射位置はほとんど変化しないようにする。これは、網膜３８に投影される画像の品質の劣化や、検出用光線３４ｂの投射部１６への入射位置の変化などを抑制するためである。
　このような画像用光線３４ａの走査の原点の移動によって、画像用光線３４ａ及び検出用光線３４ｂの投射部１６への入射角度が変化し、その結果、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置が移動する。画像用光線３４ａと検出用光線３４ｂは、互いの眼球３６への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、図１０（ａ）の実線及び図１１の点線のように、画像用光線３４ａが瞳孔４０の中心近傍を通過していた状態から、図１０（ｂ）及び図１１の実線のように、画像用光線３４ａが瞳孔４０の中心よりも端側を通過する状態に変化する。このように、位置調整部２２によって第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させて、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。なお、第１ミラー１４などは円弧状に移動する場合が好ましいが、図１０の矢印方向及び図１０の紙面に垂直方向（前記矢印に垂直方向）に直線状に移動する場合でもよい。この場合、位置調整部２２として、２軸方向への移動を可能とする２軸アクチュエータ（例えば超音波アクチュエータ）を用いることができる。
　実施例３は、図７のステップＳ１４の具体的な例である。実施例３に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１２（ａ）および図１２（ｂ）は、実施例３における眼球３６の動きと画像用光線３４ａの制御を示す眼球３６の上視図である。図１３は、実施例３における第１ミラー１４の走査の範囲を示す図である。画像範囲６２ａ内の画素Ｐ１およびＰ２を丸で示し、画像範囲６２ｂ内の画素Ｐ１およびＰ２を三角で示す。
　図１２（ａ）に示すように、瞳孔４０が動く前において、画素Ｐ１に相当する画像用光線３４ａは網膜３８の位置Ｑに照射され、画素Ｐ２に相当する画像用光線３４ａは位置Ｑの右側に照射されている。図１３に示すように、走査範囲６０は、図３（ａ）において第１ミラー１４が振動する範囲であり、投射部１６上に照射される画像を眼球３６側から見た座標系である。なお、光源１２が光線を出射しないタイミングでは投射部１６に光線は照射されないが、光線が照射されていると仮想して示している。画像範囲６２ａおよび６２ｂは、光源１２の画像用光線３４ａの出射と、第１ミラー１４の走査と、のタイミングを異ならせることにより、走査範囲６０の任意の位置に設定できる。図１２（ａ）のように瞳孔４０が正面を向いているとき、図１３のように、例えば画像範囲６２ａは走査範囲６０のほぼ中央に位置している。
　図１２（ｂ）に示すように、図７のステップＳ１０のように、検出部２６は瞳孔４０が方向５２に動いたこと検出する。図７のステップＳ１２のように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように投影部２４を制御する。例えば、実施例２の方法を用いる。図７のステップＳ１４において、図１３のように、制御部２０は、投影部２４に画像範囲６２ａを画像範囲６２ｂに移動させる。画像範囲の移動方向６４は、瞳孔が動いた方向に対応する方向５２ａとは反対方向である。例えば画像範囲６２ａにおいて画素Ｐ１が位置していた走査範囲６０内の位置に、画像範囲６２ｂの画素Ｐ２が位置するように画像範囲を移動させる。図１２（ｂ）のように、網膜３８内の位置Ｑに画素Ｐ２に相当する画像用光線３４ａが照射される。これにより、ユーザが視認する画像上の視線は画素Ｐ２に位置し、ユーザには画素Ｐ２を中心に画像を視認できる。
　実施例３によれば、図１３のように、第１ミラー１４（走査部）は光源１２が出射する光線を走査し、光線が走査可能な走査範囲（第１範囲）より小さい画像範囲（第２範囲）に画像が形成されるように画像用光線３４ａを走査する。制御部２０は、走査範囲６０内において瞳孔が動いた方向に対応する方向５２ａと逆の方向６４に画像範囲が移動するように投影部２４を制御する。例えば、制御部２０は、投射部１６（ミラー）上の座標系において、方向５２ａと逆の方向に画像範囲を移動する。これにより、図７のステップＳ１４の動作を行なうことができる。よって、ユーザが見た方向の画像を網膜３８に投影することができる。
　実施例４は、図７のステップＳ１４の具体的な別の例である。実施例４に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１４（ａ）および図１４（ｂ）は、実施例４における眼球３６の動きと画像用光線３４ａの制御を示す眼球の上視図である。図１５は、実施例４における画像データ範囲７０を示す図である。
　図１４（ａ）は、図１２（ａ）と同じであり説明を省略する。図１５に示すように、画像データ範囲７０は、制御部２０に入力される画像データの範囲である。画像範囲７２ａおよび７２ｂは、画像データ範囲７０内で制御部２０が任意に設定した画像範囲である。図１４（ａ）のように瞳孔４０が正面を向いているとき、例えば画像範囲７２ａは画像データ範囲７０のほぼ中央に位置している。
　図１４（ｂ）に示すように、図７のステップＳ１２のように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように投影部２４を制御する。例えば、実施例２の方法を用いる。図７のステップＳ１４において、図１５のように、制御部２０は、画像範囲７２ａを画像範囲７２ｂに移動させる。画像範囲の移動方向７４は、瞳孔４０が動いた方向に対応する方向５２ａと同じ方向である。例えば、画像範囲７２ａでは、画素Ｐ１が中央に位置している。画像範囲７２ｂでは、画素Ｐ２が中央に位置している。図１４（ｂ）のように、網膜３８内の位置Ｑに画素Ｐ２に相当する画像用光線３４ａが照射される。これにより、ユーザの視認する画像上の視線は画素Ｐ２に位置し、ユーザには画素Ｐ２を中心に画像を視認できる。
　実施例４によれば、図１５のように、投影部２４は、画像データ範囲７０（第１範囲）の画像データのうち画像データ範囲７０より小さい画像範囲７２ａおよび７２ｂ（第２範囲）の画像データにより画像を形成する。制御部２０は、画像データ範囲内において瞳孔が動いた方向に対応する方向５２ａと同じ方向７４に画像範囲を移動させる。これにより、図７のステップＳ１４の動作を行なうことができる。よって、ユーザが見た方向の画像を網膜３８に投影することができる。
　画像範囲７２ａおよび７２ｂが画像データ範囲７０に含まれる例を説明したが、画像範囲７２ａおよび／または７２ｂの一部は画像データ範囲７０に含まれていなくてもよい。この場合、画像範囲７２ａおよび／または７２ｂの一部は網膜３８に投影されない。しかし、例えば画像範囲７２ａおよび／または７２ｂの半分以上が網膜３８に投影されれば、ユーザは大きな違和感をもたない。
　図１６（ａ）は、実施例５において制御部が有するテーブルを示す図、図１６（ｂ）は、制御部および検出部の動作を示すフローチャートである。実施例５に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１６（ａ）に示すように、複数の検出用光線３４ｂに対応した画像を移動させる移動方向および移動量を予め定めておく。例えば検出用光線３４ｂがＡおよびＢに対応し移動方向がそれぞれＡＡおよびＢＢ並びに移動量がそれぞれａａおよびｂｂである。図１６（ａ）のテーブルは、例えば制御部２０内または外のメモリ等に記憶されている。複数の検出用光線３４ｂは、例えば図３（ａ）および図４のように互いに離れた位置に照射されている。移動方向は、例えば図９（ｂ）の方向５４であり、移動量は図９（ｂ）において画像を移動させる量である。
　図１６（ｂ）に示すように、検出部２６は、複数の検出用光線３４ｂのうち反射されない検出用光線３４ｂを検出する（ステップＳ２０）。反射光が検出されない検出用光線３４ｂは、瞳孔４０に照射されていると考えられる。すなわち、反射光が検出されない検出用光線３４ｂの位置に瞳孔４０が位置していると考えられる。そこで、制御部２０は、図１６（ａ）のテーブルから対応する移動方向および移動量を取得する（ステップＳ２２）。制御部２０は、取得した移動方向および移動量に画像が移動するように投影部２４を制御する（ステップＳ２４）。画像の移動方法は、例えば実施例３および実施例４の方法を用いる。
　実施例５によれば、図１６（ａ）のように、制御部２０は、複数の検出用光線３４ｂに対応し予め定めた画像の移動方向を有する。ステップＳ２４のように、制御部２０は、複数の検出用光線３４ｂのうち眼球３６で反射されない検出用光線に対応する画像の移動方向に画像が移動するように投影部２４を制御する。このように、検出用光線３４ｂに対応し、画像の移動方向を予め定めておくことにより、画像の移動の制御を簡単に行なうことができる。
　また、図１６（ａ）のように、制御部２０は、複数の検出用光線３４ｂに対応し予め定めた画像の移動方向および移動量を有する。ステップＳ２４において、制御部２０は、眼球３６で反射されない検出用光線に対応する画像の移動方向および移動量に画像が移動するように投影部２４を制御してもよい。
　実施例５では、異なる位置に照射される複数の検出用光線３４ｂのうち１つが検出されないとき、対応する移動方向および移動量に画像を移動させる例を説明した。例えば、複数の検出用光線３４ｂのうち２つまたは２以上が検出されないとき、検出されない検出用光線３４ｂの間に瞳孔が動いたと仮定し、対応する移動方向および移動量に画像を移動させてもよい。
　画像投影装置としてめがね型のＨＭＤを例に説明したが、ＨＭＤ以外の画像投影装置でもよい。片方の眼球３６の網膜３８に画像を投影させる例を示したが、両方の眼球３６の網膜３８に画像を投影させてもよい。走査部として第１ミラー１４を例に説明したが、走査部は光線を走査可能であればよい。例えば、走査部として、電気光学材料であるタンタル酸ニオブ酸カリウム（ＫＴＮ）結晶等、その他の部品を用いてもよい。光線としてレーザ光を例に説明したが、レーザ光以外の光でもよい。
　以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　１０　ツル
　１２　光源
　１４　第１ミラー
　１８　光検出器
　２０　制御部
　２２　位置調整部
　２４　投影部
　２６　検出部
　３６　眼球
　３８　網膜
　４０　瞳孔
　４２　虹彩
　３４ａ　画像用光線
　３４ｂ　検出用光線

Claims (9)

  1. 　画像を形成する画像用光線をユーザの眼球の瞳孔に照射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    　前記ユーザの顔に対し前記瞳孔の動いた方向を検出する検出部と、
    　検出された前記瞳孔の動いた方向に基づき、前記瞳孔に前記画像用光線が照射され、かつ前記ユーザが視認する座標系において前記瞳孔が動く前に前記画像が投影された位置に対し前記瞳孔の動いた方向と逆の方向に前記画像が移動するように前記投影部を制御する制御部と、
    を具備することを特徴とする画像投影装置。
  2. 　前記制御部は、前記眼球において前記画像用光線を照射する位置を前記瞳孔が動いた方向に移動させ、前記画像用光線が前記眼球に入射する方向を前記瞳孔が動いた方向に傾斜させることにより、前記瞳孔に前記画像用光線を照射させることを特徴とする請求項１記載の画像投影装置。
  3. 　前記制御部は、前記瞳孔が動く前の前記画像の中心位置が照射されている前記網膜内の位置に、前記瞳孔が動くことにより前記ユーザが視認した前記画像内の前記ユーザの視線の位置が照射されるように前記投影部を制御することを特徴とする請求項１または２記載の画像投影装置。
  4. 　前記投影部は、前記画像用光線を出射する光源と、前記光源が出射する光線を走査し、前記光線が走査可能な第１範囲より小さい第２範囲に前記画像が形成されるように前記画像用光線を走査する走査部と、を備え、
    　前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と逆の方向に前記第２範囲が移動するように前記投影部を制御することを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
  5. 　前記投影部は、前記眼球の正面に設けられ、前記走査部が走査した前記画像用光線を前記瞳孔に反射するミラーを備え、
    　前記制御部は、前記ミラー上の座標系において、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と逆の方向に前記第２範囲が移動するように前記投影部を制御することを特徴とする請求項４記載の画像投影装置。
  6. 　前記投影部は、第１範囲の画像データのうち前記第１範囲より小さい第２範囲の画像データにより前記画像を形成し、
    　前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御することを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
  7. 　前記投影部は、前記ユーザの前記眼球において前記画像用光線が照射される第１領域から離れた第２領域に前記画像用光線と同じ光源から出射された検出用光線を照射し、
    　前記検出部は、前記検出用光線が前記ユーザの前記眼球で反射した反射光の検出結果に基づき前記ユーザの顔に対し前記瞳孔の動いた方向を検出することを特徴とする請求項1から６のいずれか一項記載の画像投影装置。
  8. 　前記投影部は、互いに離れた位置に複数の検出用光線を出射し、
    　前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向に前記画像が移動するように前記投影部を制御することを特徴とする請求項７記載の画像投影装置。
  9. 　前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向および移動量を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向および移動量に前記画像が移動するように前記投影部を制御することを特徴とする請求項８記載の画像投影装置。
PCT/JP2016/085121 2015-12-22 2016-11-28 画像投影装置 Ceased WO2017110370A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16878264.7A EP3396435A4 (en) 2015-12-22 2016-11-28 IMAGE PROJECTION DEVICE
US16/062,384 US10634904B2 (en) 2015-12-22 2016-11-28 Image projection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015250285A JP6231545B2 (ja) 2015-12-22 2015-12-22 画像投影装置
JP2015-250285 2015-12-22

Publications (1)

Publication Number Publication Date
WO2017110370A1 true WO2017110370A1 (ja) 2017-06-29

Family

ID=59089285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085121 Ceased WO2017110370A1 (ja) 2015-12-22 2016-11-28 画像投影装置

Country Status (4)

Country Link
US (1) US10634904B2 (ja)
EP (1) EP3396435A4 (ja)
JP (1) JP6231545B2 (ja)
WO (1) WO2017110370A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090173A1 (ja) * 2021-11-22 2023-05-25 株式会社Ｑｄレーザ 画像投影装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
WO2018098579A1 (en) * 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
DE102017211914A1 (de) 2017-07-12 2019-01-17 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Projektionsvorrichtung für eine Datenbrille sowie Projektionsvorrichtung für eine Datenbrille zur Durchführung eines Verfahrens.
CN112334815B (zh) * 2018-07-02 2022-11-18 华为技术有限公司 视网膜显示设备和方法
JP7117768B2 (ja) * 2018-07-18 2022-08-15 株式会社Ｑｄレーザ 視野視力検査装置及び視野視力検査方法
JP6949389B2 (ja) 2020-03-11 2021-10-13 国立大学法人福井大学 網膜走査型表示装置および画像表示システム
DE102020203638A1 (de) * 2020-03-20 2021-09-23 Robert Bosch Gesellschaft mit beschränkter Haftung Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
JP7781613B2 (ja) * 2021-11-26 2025-12-08 キヤノン株式会社 画像投影装置及び画像投影装置の制御方法
US11808939B2 (en) * 2021-11-30 2023-11-07 Heru Inc. Pupil characteristic detection and spectacles correction/adjustment based thereon

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JPH09284676A (ja) * 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
JP2003029198A (ja) * 2001-07-16 2003-01-29 Denso Corp スキャン型ディスプレイ装置
WO2006019028A1 (ja) * 2004-08-19 2006-02-23 Brother Kogyo Kabushiki Kaisha 瞳孔検出装置およびそれを備えた画像表示装置
WO2014192479A1 (ja) * 2013-05-31 2014-12-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
JP2016014768A (ja) * 2014-07-02 2016-01-28 セイコーエプソン株式会社 画像表示装置および画像表示装置の表示制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JP2008046253A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像表示装置
JP4829765B2 (ja) * 2006-12-08 2011-12-07 キヤノン株式会社 画像表示装置及び画像表示システム
CN102289073B (zh) 2007-11-21 2014-01-15 松下电器产业株式会社 显示装置
JP2011075956A (ja) 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
JP5990998B2 (ja) 2012-04-23 2016-09-14 セイコーエプソン株式会社 虚像表示装置
US9525817B2 (en) * 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
US10437071B2 (en) * 2015-10-12 2019-10-08 North Inc. Adjustable pupil distance wearable display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JPH09284676A (ja) * 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
JP2003029198A (ja) * 2001-07-16 2003-01-29 Denso Corp スキャン型ディスプレイ装置
WO2006019028A1 (ja) * 2004-08-19 2006-02-23 Brother Kogyo Kabushiki Kaisha 瞳孔検出装置およびそれを備えた画像表示装置
WO2014192479A1 (ja) * 2013-05-31 2014-12-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
JP2016014768A (ja) * 2014-07-02 2016-01-28 セイコーエプソン株式会社 画像表示装置および画像表示装置の表示制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3396435A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090173A1 (ja) * 2021-11-22 2023-05-25 株式会社Ｑｄレーザ 画像投影装置
JP2023076137A (ja) * 2021-11-22 2023-06-01 株式会社Ｑｄレーザ 画像投影装置
JP7437048B2 (ja) 2021-11-22 2024-02-22 株式会社Ｑｄレーザ 画像投影装置

Also Published As

Publication number Publication date
US10634904B2 (en) 2020-04-28
EP3396435A4 (en) 2019-02-20
JP2017116669A (ja) 2017-06-29
EP3396435A1 (en) 2018-10-31
US20180373024A1 (en) 2018-12-27
JP6231545B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
JP6231545B2 (ja) 画像投影装置
JP6231541B2 (ja) 画像投影装置
JP6231585B2 (ja) 画像投影装置
JP6227177B1 (ja) 画像投影装置
US11079601B2 (en) Eye projection system and method
US9261959B1 (en) Input detection
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2011075956A (ja) ヘッドマウントディスプレイ
JP2017078756A (ja) ヘッドマウントディスプレイ装置
JP5272813B2 (ja) ヘッドマウントディスプレイ
CN206696529U (zh) 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置
JP2010091944A (ja) 画像表示装置及び画像表示システム
WO2016208266A1 (ja) 画像投影装置
JP2011075954A (ja) ヘッドマウントディスプレイ
CN108663806A (zh) 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置
JP4926300B1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP5163535B2 (ja) ヘッドマウントディスプレイ
JP6394165B2 (ja) 虚像表示装置及び方法
EP4439154A1 (en) Image projection device
WO2023157481A1 (ja) 表示装置及び表示システム
TWM547127U (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
US12153728B2 (en) Optical system for a virtual retina display and a gesture detection of a user of the virtual retina display
TWI634869B (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
JP2025088543A (ja) 画像投影装置
JP2025041328A (ja) 画像投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE