WO2018056198A1 - 表示システム - Google Patents
表示システム Download PDFInfo
- Publication number
- WO2018056198A1 WO2018056198A1 PCT/JP2017/033419 JP2017033419W WO2018056198A1 WO 2018056198 A1 WO2018056198 A1 WO 2018056198A1 JP 2017033419 W JP2017033419 W JP 2017033419W WO 2018056198 A1 WO2018056198 A1 WO 2018056198A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- light
- display system
- displayed
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/23—Optical features of instruments using reflectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/333—Lasers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/334—Projection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/347—Optical elements for superposition of display information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/60—Structural details of dashboards or instruments
- B60K2360/66—Projection screens or combiners
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
- B60K35/53—Movable instruments, e.g. slidable
Definitions
- the present invention relates to a display system used for an on-vehicle head-up display.
- the head-up display (hereinafter referred to as HUD: Head-Up Display) is a device that displays basic information about driving on the windshield.
- the HUD can display various sensors mounted on the vehicle and information obtained from the outside in an augmented reality (AR) form on the windshield.
- AR augmented reality
- Patent Document 1 discloses a head-up display device that visually provides various types of information such as instrument information to a driver of an automobile or the like.
- two holographic optical elements are arranged and adhered to the inner surface of the front window, and the pilot is allowed to observe the diffracted light that is diffracted when light is projected from different projectors onto these optical elements. .
- Patent Document 2 discloses an image projection apparatus that realizes high-luminance display using a laser light source.
- the apparatus of Patent Document 2 changes the projected area of the screen projected onto the windshield by controlling the scanning angle of the laser light in accordance with the ambient light quantity and moving speed.
- Patent Document 3 discloses an in-vehicle head-up display device that allows a driver to visually recognize a display image reflected by a translucent reflecting means as a virtual image in front of a windshield.
- the apparatus of Patent Document 3 selectively displays two display images on a single display surface, reflects one display image toward the first reflection surface by the first reflecting means, and displays the other display image. Is reflected toward the second reflecting surface by the second reflecting means.
- the apparatus of Patent Literature 3 includes an optical path switching unit that switches an optical path in accordance with a selected display image.
- Patent Document 4 discloses an in-vehicle projector that projects a display image on a display area of a windshield of an automobile.
- the apparatus of Patent Document 4 forms a modulated light beam phase-modulated by a phase modulation array on a screen as a hologram image.
- the apparatus of Patent Document 4 reflects a first projection mirror that reflects light including a hologram image formed on a screen, and a second that reflects projection light reflected by the first projection mirror toward a display area. And a projection mirror.
- the hologram image formed on the screen is enlarged by the first projection mirror and the second projection mirror, and the distortion of the display image due to the inclination of the display area with respect to the driver's line of sight is corrected.
- the apparatus of Patent Document 1 information can be provided to a wide range of pilots by diffracting images projected by two projectors by using two adjacent holographic optical elements.
- the apparatus of Patent Document 1 has a problem in that it has a sense of incongruity during normal times when images are not projected because two holographic optical elements having different characteristics are attached to the front window. Further, the apparatus of Patent Document 1 has a problem that two projectors are required.
- the apparatus of Patent Document 2 since the size and brightness of the screen can be changed in accordance with the amount of ambient light and the moving speed, it is possible to provide an easy-to-view screen and image.
- the apparatus of Patent Document 2 has a problem that the screen is shaken due to vibration caused by traveling of the vehicle because the size and brightness of the screen are changed by moving the scanning unit.
- a driver can visually recognize the same amount of information as when two display surfaces are used using a single display surface.
- the apparatus of Patent Document 3 needs to switch the optical path in a short period within the afterimage time in synchronization with selectively displaying different display images on a single display surface, the shutter for switching the optical path. There was a problem that the mechanism had to be operated at high speed.
- An object of the present invention is to provide a display system that displays a high-definition image with low power without providing a movable part that is easily affected by vibration in order to solve the above-described problems.
- a display system of the present invention includes a phase modulation type spatial light modulation element, a light source that irradiates light to a display unit of the spatial light modulation element, a spatial light modulation element, and a control circuit that controls the light source, and includes spatial light.
- the control device includes a projection device that projects the reflected light of the display unit of the modulation element, and a reflecting mirror that reflects the projection light of the projection device, and the control circuit includes a first pattern and a second pattern corresponding to display information having different definition levels.
- a pattern is displayed on the display unit of the spatial light modulation element, and the reflecting mirror receives a reflected light of a portion where the first pattern is displayed and reflects the light toward the first display region; , And a second reflection region that receives the reflected light of the portion where the second pattern is displayed and reflects the reflected light toward the second display region.
- FIG. 1 is a conceptual diagram illustrating an application example of the display system 1 according to the present embodiment.
- FIG. 2 is a conceptual diagram showing the configuration of the display system 1 according to the present embodiment.
- the size, shape, positional relationship and the like of each component are conceptual, and the actual size, shape, and positional relationship are not accurately represented.
- the display system 1 of the present embodiment includes a projection device 10 and a reflecting mirror 20.
- the light projected from the projection device 10 is reflected by the reflecting mirror 20 and projected onto the windshield 100 as projection light from the display system 1.
- the windshield 100 reflects light reflected by the reflecting mirror 20 toward a driver who drives a vehicle such as an automobile. In the present embodiment, it is assumed that there is a driver's seat on the right side of the vehicle. A film for facilitating reflection of the projected light may be attached to the surface of the windshield 100.
- the driver recognizes the real image seen through the windshield 100 and the virtual image reflected by the windshield 100 in a superimposed manner. Therefore, for the driver who uses the display system 1, virtual display information is visually recognized according to the real image.
- the display system 1 can be installed on a vehicle dashboard or front panel.
- the display system 1 may be installed between the driver seat and the passenger seat, behind the driver seat, and in the vicinity of the rear seat. Further, the display system 1 may be installed in the vicinity of a rearview mirror, a steering, or the like.
- the reflecting mirror 20 has at least two reflecting surfaces including a first reflecting surface and a second reflecting surface.
- FIG. 1 shows an example in which the reflecting mirror 20 includes a first reflecting mirror 21 having a first reflecting surface and a second reflecting mirror 22 having a second reflecting surface.
- the projection light 201 reflected by the first reflecting mirror 21 is projected toward the first display area 101 (also referred to as the first display area) of the windshield 100.
- the projection light 202 reflected by the reflecting mirror 22 by the second reflecting mirror 22 is projected toward the second display area 102 (also referred to as the second display area) of the windshield 100.
- the first display area 101 is a wide area over the entire surface of the windshield 100
- the second display area 102 is a narrow area of a part of the windshield 100.
- a low-precision image is projected on the first display area 101, and a high-precision image is projected on the second display area 102. That is, the low-accuracy image projected on the first display area 101 is reflected by the first reflecting mirror 21, and the high-accuracy image projected on the second display area 102 is reflected by the second reflecting mirror 22. It has been done.
- the second display region is configured to be located at the lower right of the windshield 100 where the driver's viewpoint is easy to concentrate. If the driver's seat is not on the right side, the position where the second display area 102 is displayed may be changed according to the position of the driver's seat or the viewpoint of the driver.
- the first reflecting mirror 21 and the second reflecting mirror 22 are preferably configured with different shapes and properties.
- FIG. 1 in order to emphasize the difference between the first reflecting mirror 21 and the second reflecting mirror 22, the difference in shape and size is illustrated.
- the first display area 101 targeted by the first reflecting mirror 21 is a wide area, it may be configured with a mirror having a large curvature.
- the second display area 102 to be projected by the second reflecting mirror 22 is a narrow range, it may be constituted by a mirror having a small curvature.
- a special lens having a free curved surface or an aspherical surface can be used for the first reflecting mirror 21, and a general plane mirror can be used for the second reflecting mirror 22.
- the first reflecting mirror 21 that reflects a low-accuracy image may be less expensive than the second reflecting mirror 22 that reflects a high-accuracy image.
- FIG. 3 is a conceptual diagram showing the configuration of the projection device of the display system 1.
- the projection apparatus 10 includes a light source 11, a spatial light modulation element 12, a projection optical system 13, a control circuit 14, and a light source drive power supply 15.
- FIG. 3 is conceptual, and does not accurately represent the positional relationship between the components or the light irradiation direction.
- the light source 11 emits light 110 having a specific wavelength.
- a laser light source can be used as the light source 11.
- the light 110 emitted from the light source 11 is preferably coherent light having the same phase.
- the light source 11 is configured to emit light in the visible region.
- the light source 11 may be configured to emit light other than the visible region such as the infrared region and the ultraviolet region.
- the light source 11 may emit light other than laser light, such as a light emitting diode, an incandescent bulb, or a discharge tube.
- the color of the display information can be changed by changing the wavelength of the light emitted from the light source 11. Further, if the light source 11 is configured to emit light of different wavelengths at the same time, display information consisting of a plurality of colors can be displayed.
- the spatial light modulator 12 displays a pattern for generating display information to be displayed in each display area on its display unit under the control of the control circuit 14.
- the light 110 is irradiated on the display unit in a state where a predetermined pattern is displayed on the display unit of the spatial light modulator 12.
- the spatial light modulator 12 emits modulated light 120 obtained by modulating the light 110 toward the projection optical system 13.
- a pattern for forming a display image with different accuracy on the projection surface is displayed on the display unit of the spatial light modulator 12.
- the display unit of the spatial light modulator 12 has a phase distribution (also referred to as a first pattern) corresponding to display information displayed in the first display area 101 and a phase corresponding to display information displayed in the second display area 102. Distribution (also referred to as second pattern) is displayed.
- the spatial light modulation element 12 can be realized by a phase modulation type spatial light modulation element that receives incident coherent light 110 having the same phase and modulates the phase of the incident light 110. Since the phase modulation type spatial light modulation element 12 is focus-free, there is no need to change the focus for each distance even when light is projected onto a display area set to a plurality of projection distances.
- the spatial light modulation element 12 may be an element of a system different from the phase modulation type as long as the display information can be displayed in each display region. However, in the following, the spatial light modulation element 12 is phase modulated. It is assumed that the element is a mold element.
- the phase distribution of display information to be displayed in each display area is displayed on the display unit of the phase modulation type spatial light modulation element 12.
- the modulated light 120 reflected from the display region of the spatial light modulator 12 becomes an image in which a kind of diffraction grating forms an aggregate, and the display information is collected so that the light diffracted by the diffraction grating is collected. It is formed.
- the spatial light modulation element 12 is realized by a spatial light modulation element using, for example, a ferroelectric liquid crystal, a homogeneous liquid crystal, a vertical alignment liquid crystal, or the like.
- the spatial light modulator 12 can be realized by LCOS (Liquid Crystal Crystal on Silicon).
- the spatial light modulation element 12 may be realized by, for example, MEMS (Micro Electro Mechanical System).
- phase modulation type spatial light modulation element 12 If the phase modulation type spatial light modulation element 12 is used, the energy can be concentrated on the display information portion by sequentially switching the region where the projection light is projected. Therefore, according to the phase modulation type, if the output of the light source is the same, the display information can be displayed brighter than that of the method of projecting light over the entire display area.
- Projection optical system 13 is an optical system that projects modulated light 120 modulated by spatial light modulator 12 as projection light 130.
- the modulated light 120 modulated by the spatial light modulator 12 is projected as projection light 130 by the projection optical system 13.
- the control circuit 14 is a circuit that performs control to display a pattern for generating display information displayed in each display area on the display unit of the spatial light modulator 12 or to drive the light source driving power source 15.
- the control circuit 14 displays a phase distribution (also referred to as a first pattern) corresponding to display information to be displayed in the first display area 101 on the display unit of the spatial light modulator 12.
- the control circuit 14 causes the display unit of the spatial light modulator 12 to display a phase distribution (also referred to as a second pattern) corresponding to display information to be displayed in the second display area 102.
- control circuit 14 controls the timing and output of the light 110 emitted from the light source 11 by controlling the light source drive power supply 15.
- the light source driving power source 15 is a power source for driving the light source 11 under the control of the control circuit 14 and emitting the light 110 from the light source 11.
- FIG. 4 is a conceptual diagram including the configuration of the projection optical system 13 of the projection apparatus 10.
- the light emitted from the light source 11 is converted into light 110 having the same phase by the collimator 111.
- the projection optical system 13 includes a Fourier transform lens 31, an aperture 32, and a projection lens 33.
- the Fourier transform lens 31 is an optical lens for forming an image formed when the modulated light 120 reflected by the display unit of the spatial light modulator 12 is projected at infinity at a focal point in the vicinity.
- the focal point is formed at the position of the aperture 32.
- the aperture 32 has a function of shielding the higher order light contained in the light focused by the Fourier transform lens 31 and specifying the display area.
- the opening of the aperture 32 is opened smaller than the outermost periphery of the display area at the position of the aperture 32 and is set so as to block the peripheral area of the display information at the position of the aperture 32.
- the opening of the aperture 32 is formed in a rectangular shape or a circular shape.
- the aperture 32 is preferably installed at the focal position of the Fourier transform lens 31, but may be shifted from the focal position as long as the function of erasing high-order light can be exhibited.
- the projection lens 33 is an optical lens that magnifies and projects the light focused by the Fourier transform lens 31.
- the projection lens 33 projects the projection light 130 toward the reflecting mirror 20 so that display information corresponding to the phase distribution input to the spatial light modulator 12 is displayed in each display region.
- the projection light 130 projected from the projection optical system 13 is not uniformly projected on each display area, but is a character constituting display information. It is projected intensively on parts such as symbols and frames.
- the amount of light 110 emitted can be substantially reduced, so that the overall light output can be suppressed. That is, since the display system 1 can be configured with a small-sized and low-power light source 11, the light source driving power source 15 that drives the light source 11 can be reduced in output, and the overall power consumption can be reduced.
- the reflecting mirror 20 is disposed at a position where the projection light 130 projected from the projection lens 33 is imaged.
- the magnification of the reflected light by the second reflecting mirror 22 is smaller than the magnification of the reflected light by the first reflecting mirror 21.
- the component of the projection light 130 projected to the reflection surface of the first reflecting mirror 21 (hereinafter referred to as the first component) is projected as the projection light 201 on the first display area 101.
- An image formed by the projection light 201 projected on the first display area 101 has low accuracy.
- the component of the projection light 130 projected to the reflecting surface of the second reflecting mirror 22 (hereinafter referred to as the second component) is projected as the projection light 202 on the second display area 102.
- An image formed by the projection light 202 projected on the second display area 102 is highly accurate.
- the incident angle of the light 110 is set non-perpendicular to the display unit of the spatial light modulator 12. That is, in the present embodiment, the emission axis of the light 110 from the light source 11 is inclined with respect to the display unit of the spatial light modulator 12. If the emission axis of the light 110 is set obliquely with respect to the display unit of the spatial light modulation element 12, the light 110 can be incident on the display unit of the spatial light modulation element 12 without using a beam splitter, thereby improving efficiency. .
- FIG. 5 shows a configuration example in which the zero-order light is removed at the location of the aperture 32.
- the light absorbing member 35 is disposed on the optical path of the 0th-order light at the aperture opening.
- the light absorbing member 35 may be fixed to the aperture with a transparent member.
- FIG. 6 is a configuration example in which a gap is provided between the first reflecting mirror 21 and the second reflecting mirror 22 to allow the 0th-order light to pass through.
- the first reflecting mirror 21 and the second reflecting mirror 22 are illustrated as being spaced apart from each other.
- a gap may be provided in a portion corresponding to the optical path of the 0th-order light.
- the zero-order light that has passed through the gap between the first reflecting mirror 21 and the second reflecting mirror 22 may be absorbed by the light absorbing member 25.
- the 0th-order light can be removed from the projection light 130.
- 5 and 6 are examples, and the zero-order light removal mechanism is not limited to that described here.
- FIG. 7 is a block diagram illustrating a configuration of the control circuit 14 of the display system 1.
- the control circuit 14 includes a communication circuit 41, a control condition generation circuit 42, a storage circuit 43, a light source control circuit 44, and a modulation element control circuit 45.
- the communication circuit 41 is an interface that connects another system, device, sensor, or the like in the vehicle to the display system 1.
- the communication circuit 41 acquires information about display information to be displayed on the display system 1 from another system, device, sensor, or the like in the vehicle. For example, the communication circuit 41 acquires information on a running car or a road.
- the communication circuit 41 outputs the acquired information to the control condition generation circuit 42.
- the control condition generation circuit 42 acquires, from the storage circuit 43, a basic pattern that constitutes a pattern for displaying display information in each display area based on the information acquired from the communication circuit 41.
- the control condition generation circuit 42 generates a pattern to be displayed on the display unit of the spatial light modulator 12 by moving or synthesizing the basic pattern stored in the storage circuit 43.
- the spatial light modulation element 12 is configured by a phase modulation type element, the pattern displayed on the display unit of the spatial light modulation element 12 is a phase distribution corresponding to the display information.
- the control condition generation circuit 42 generates a control condition for projecting appropriate display information to an appropriate display area at an appropriate timing.
- the control condition includes a modulation element control condition for projecting an appropriate pattern toward an appropriate display area, and a light source control condition for projecting at an appropriate timing.
- the control condition generation circuit 42 outputs the modulation element control condition to the modulation element control circuit 45 and outputs the light source control condition to the light source control circuit 44.
- control condition generation circuit 42 projects the display information to be displayed on the first display area 101 toward the first reflecting mirror 21 and the display information to be displayed on the second display area 102 toward the second reflecting mirror 22. Edit the pattern to be projected.
- FIG. 8 is a conceptual diagram showing an example of display information (outlined circle) projected on the reflecting mirror 20.
- Display information to be displayed on the first display area 101 is projected onto the first reflecting mirror 21, and display information to be displayed on the second display area 102 is projected onto the second reflecting mirror 22.
- the control condition generation circuit 42 may generate a control condition such that the display information projected onto the first reflecting mirror 21 has low definition and the display information projected onto the second reflecting mirror 22 has high definition.
- Good. 8 conceptually reflects display information displayed in the first display area 101 on the first reflecting mirror 21 and reflects display information displayed on the second display area 102 on the second reflecting mirror 22. It is shown. For this reason, the sizes of the first reflecting mirror 21 and the second reflecting mirror 22 are not accurately represented.
- FIG. 9 is a conceptual diagram showing an example in which the display information (open circles) projected on the reflecting mirror 20 is displayed on the windshield 100 as shown in FIG.
- the display information displayed in the first display area 101 and the display information displayed in the second display area 102 have different degrees of definition.
- the display information displayed in the first display area 101 is low definition, while the display information displayed in the second display area 102 is high definition. Since the light reflected by the first reflecting mirror 21 is projected at a wide projection angle on the first display area 101 in a wide range, the light diffuses and the definition becomes low.
- the light reflected by the second reflecting mirror 22 is projected at a narrow projection angle on the second display region 102 in a narrow range, so that the light is not diffused and the definition becomes high.
- FIG. 9 exaggerates the difference in display information, it does not represent display information that is actually displayed.
- the focus position varies depending on the distance between the projection device and the projection surface. Therefore, low-definition display information is displayed in a low-definition display region, and high-definition display region It is difficult to set the display information to be displayed.
- a focus-free phase modulation type projection optical system since a focus-free phase modulation type projection optical system is used, the focus is determined even if the distance between the projection apparatus and the projection surface is different. Therefore, a low-definition display area and a high-definition display are provided. The area can be easily set.
- the storage circuit 43 stores a basic pattern constituting a pattern for displaying desired display information in each display area.
- the storage circuit 43 may store a basic pattern for generating display information in advance.
- the storage circuit 43 may store not only basic patterns but also patterns obtained by combining basic patterns and more complicated patterns.
- the storage circuit 43 In the storage circuit 43, a pattern corresponding to the information acquired by the control condition generation circuit 42 is stored.
- the display system 1 acquires the traveling speed of the vehicle from another system and displays the traveling speed in the second display area 102.
- the memory circuit 43 may store patterns corresponding to numbers 0 to 9.
- the control condition generation circuit 42 acquires the travel speed of the vehicle
- the control condition generation circuit 42 acquires a pattern corresponding to a number included in the travel speed from the storage circuit 43.
- the control condition generation circuit 42 may generate a control condition for displaying the pattern itself or the combination on the display unit of the spatial light modulator 12.
- the display system 1 displays a sign of a running road in the second display area.
- the memory circuit 43 may store a pattern corresponding to the road sign to be displayed in association with the position information.
- the control condition generation circuit 42 acquires a traveling position from a GPS (Global Positioning System) or a sensor, and acquires a pattern corresponding to a road sign associated with the position from the storage circuit 43.
- the control condition generation circuit 42 may generate a control condition for displaying the acquired pattern on the display unit of the spatial light modulator 12.
- restrictions such as speed limit and parking prohibition.
- the display system 1 displays display information related to the navigation system in the second display area.
- the storage circuit 43 may store a pattern corresponding to display information used in the navigation system in association with the position information.
- the control condition generation circuit 42 acquires the position of the traveling vehicle from the GPS or sensor, and acquires a pattern corresponding to the navigation information associated with the position of the vehicle from the storage circuit 43.
- the control condition generation circuit 42 may generate a control condition for displaying the acquired pattern on the display unit of the spatial light modulator 12.
- the display system 1 can display display information related to any system, device, or sensor. Can be displayed.
- the display system 1 may display sign information relating to the road on which the vehicle is traveling.
- the display system 1 may display the warning information, priority sign, prohibition restriction sign, special restriction sign, information / facility / service sign, direction / position / indication sign, sign information regarding an additional display board, and the like.
- the display system 1 may display a warning light that informs the passenger of a vehicle abnormality.
- the display system 1 includes an ABS (Antilock Brake System) warning light, an AT (Automatic Transmission) warning light, a fuel filter warning light, an engine warning light, a brake warning light, an exhaust temperature warning light, a water temperature warning light, a fuel warning light, etc. May be displayed.
- the display system 1 may display an air bag warning light, a seat belt warning light, a washer liquid warning light, a security warning light, a charging warning light, a hydraulic pressure warning light, a door warning light, and the like.
- the display system 1 may display warning lights such as an EV (Electric Vehicle) system warning light, a remaining battery level warning light, and an output limit indication light.
- EV Electric Vehicle
- the light source control circuit 44 controls ON / OFF of the light source drive power supply 15 and the drive voltage based on the light source control condition acquired from the control condition generation circuit 42.
- the light source drive power supply 15 responds to the control of the light source control circuit 44, an appropriate display pattern can be displayed in each display area.
- the modulation element control circuit 45 displays a pattern for generating display information displayed in each display area on the display unit of the spatial light modulation element 12. For example, when the modulation element control circuit 45 drives the phase modulation type element, the phase of the light 110 applied to the display unit of the spatial light modulation element 12 and the phase of the modulation light 120 reflected by the display unit The spatial light modulation element 12 is driven so that the parameter that determines the difference between the spatial light modulation element 12 changes.
- Parameters that determine the difference between the phase of the light 110 applied to the display unit of the phase modulation type spatial light modulator 12 and the phase of the modulated light 120 reflected by the display unit include, for example, a refractive index and an optical path length. It is a parameter related to optical characteristics.
- the modulation element control circuit 45 changes the refractive index of the display unit by changing the voltage applied to the display unit of the spatial light modulation element 12. As a result, the light 110 irradiated on the display unit is appropriately diffracted based on the refractive index of the display unit. That is, the phase distribution of the light 110 irradiated to the phase modulation type spatial light modulator 12 is modulated according to the optical characteristics of the display unit. Note that the method for driving the spatial light modulator 12 by the modulator control circuit 45 is not limited to the above.
- control board 400 for realizing the control system of the display system 1 according to the present embodiment will be described with reference to FIG.
- the control board 400 of FIG. 10 is an example for realizing the display system 1 of the present embodiment, and does not limit the scope of the present invention.
- the control board 400 includes a processor 401, a main storage device 402, an auxiliary storage device 403, an input / output interface 405, and a network adapter 406.
- the interface is abbreviated as I / F (Interface).
- the processor 401, main storage device 402, auxiliary storage device 403, input / output interface 405, and network adapter 406 are connected to each other via a bus 409.
- the processor 401, the main storage device 402, the auxiliary storage device 403, and the input / output interface 405 are connected to a network such as an intranet or the Internet via a network adapter 406.
- the control board 400 is connected to another system, device, or sensor via a network. Further, the control board 400 may be connected to a host system or a server via a wireless network.
- the processor 401 is a central processing unit that expands a program stored in the auxiliary storage device 403 or the like in the main storage device 402 and executes the expanded program. In the present embodiment, a configuration using a software program installed on the control board 400 may be used. The processor 401 executes arithmetic processing and control processing by the control circuit 14.
- the main storage device 402 has an area where the program is expanded.
- the main storage device 402 may be a volatile memory such as DRAM (Dynamic Random Access Memory). Further, a nonvolatile memory such as MRAM (MagnetoresistiveesisRandom Access Memory) may be configured and added as the main storage device 402.
- DRAM Dynamic Random Access Memory
- MRAM Magnetic Random Access Memory
- the auxiliary storage device 403 is means for storing data such as the phase distribution of display information.
- the auxiliary storage device 403 is configured as a local disk such as a hard disk or a flash memory. Note that the main storage device 402 may be configured to store data, and the auxiliary storage device 403 may be omitted.
- the input / output interface 405 is a device that connects the control board 400 and peripheral devices based on a connection standard.
- the control board 400 may be configured so that input devices such as a keyboard, a mouse, and a touch panel can be connected as necessary. These input devices are used for inputting information and settings.
- input devices such as a keyboard, a mouse, and a touch panel
- the display screen of the display device may be a touch panel display that also serves as an interface of the input device.
- Data exchange between the processor 401 and the input device may be mediated by the input / output interface 405.
- the network adapter 406 is an interface for connecting to a network such as the Internet or an intranet based on standards or specifications.
- the input / output interface 405 and the network adapter 406 may be shared as an interface for connecting to an external device.
- the display system 1 is connected to another system, device, sensor or the like via the input / output interface 405 or the network adapter 406.
- the display system 1 is connected to a system, a device, and a sensor that handle engine control, chassis control, safety / comfort control, and communication.
- the display system 1 is connected to a navigation system, a speed measurement device, a vehicle approach notification device, a headlight, a drive recorder, an in-vehicle camera, an airbag, an audio device, a radio, a speaker, and the like.
- the display system 1 is connected to an air flow meter, a vacuum sensor, various gas sensors, an oil temperature sensor, a knock sensor, a steering sensor, a vehicle speed sensor, a yaw rate sensor, an airbag sensor, an ultrasonic sensor, a radar sensor, and the like.
- the display system 1 is connected to an accelerator position sensor, a slot position sensor, a crank position sensor, a cam position sensor, a vehicle height control sensor, an electric power steering torque sensor, a tire air pressure sensor, an engine control temperature sensor, and the like.
- the display information formed by the single pattern displayed on the display unit of the spatial light modulation element is reflected by the two reflecting mirrors having different reflection characteristics. It can be displayed in different display areas. That is, according to the display system according to the present embodiment, display information with different definition is displayed in different display areas on the same projection surface, so that display information that is visually recognized by the user is displayed with high definition and low power. Can be made.
- a position where display information is displayed can be set without using a movable part by using a phase modulation type spatial light modulation element. Therefore, in the case of in-vehicle use, the display information is less likely to be blurred compared to the case where there is a movable part. That is, according to the display system according to the present embodiment, it is possible to provide a display system that displays a high-definition image with low power without providing a movable part.
- FIG. 11 is a conceptual diagram showing an application example of the display system 1-2 according to the present modification.
- FIG. 12 is a conceptual diagram showing the configuration of the optical system of the display system 1-2 according to this modification.
- the display system 1-2 is different from the display system 1 in FIG. 1 in that a reflecting mirror 20-2 different from the reflecting mirror 20 is used.
- the first reflection region 211 and the second reflection region 221 are provided on the reflection surface of the single reflecting mirror 20-2.
- the first reflecting area 211 corresponds to the first reflecting mirror 21
- the second reflecting area 221 corresponds to the second reflecting mirror 22. That is, the reflecting mirror 20-2 is a single mirror but has different reflecting areas. For example, the curvature may be changed between the first reflection region 211 and the second reflection region 221.
- the first reflection region 211 and the second reflection region 221 can be realized by forming regions having different curvatures and materials on the surface of the same reflector 20-2.
- the first reflection area 211 reflects display information toward the wide first display area 101.
- the second reflection area 221 reflects display information toward the narrow second display area 102. Therefore, low-precision display information is displayed in the first display area 101, and high-precision display information is displayed in the second display area 102.
- the reflecting surface of the reflecting mirror 20-2 is made uniform, the display information displayed in the first display area 101 in the vicinity of the second display area 102 and the second display area 102 in the vicinity of the first display area 101 are displayed. The difference from the display information displayed on is not always clear.
- the curvature of the first reflection area 211 may be increased, the curvature of the second reflection area 212 may be decreased, and the difference in displayed display information may be clarified.
- the second reflection region 221 may be made finer than the first reflection region 211, or the shapes of the first reflection region 211 and the second reflection region 221 may be changed.
- this modification the same effect as the display system of the first embodiment can be obtained by a single reflecting mirror.
- this modification is suitable for the case where it is not necessary to clarify the difference in definition of display information displayed in the two display areas.
- FIG. 13 is a conceptual diagram showing an application example of the display system 2 according to the present embodiment.
- a diffractive optical element hereinafter referred to as DOE
- DOE diffractive optical element
- the DOE 51 is disposed in the direction of light reflection by the first reflecting mirror 21.
- the configuration other than the DOE 51 is the same as that of the first embodiment.
- the DOE 51 is an element that changes the traveling direction of light using a light diffraction phenomenon.
- a high-definition image set in advance can be projected by applying an image like a point (hereinafter referred to as spot light) to the DOE 51.
- the spot light diffracted by the DOE 51 is imaged as an image on the projection surface.
- the DOE 51 of the present embodiment can form different images (diffraction patterns) depending on the irradiation position of the spot light using the image forming ability of the DOE 51 itself.
- the DOE 51 emits a diffraction pattern corresponding to the incident position of the spot light.
- the display information itself is not drawn on the DOE 51.
- spot light is irradiated to a position where the display information is recorded, display information corresponding to the position is displayed. What is necessary is just to set the magnitude
- the light reflected by the first reflecting mirror 21 has a low resolution, a dot pattern corresponding to the spot light can be made. Therefore, if the DOE 51 is used, a high-resolution image can be formed even with low-resolution spot light.
- FIG. 13 illustrates an example in which display information is displayed on the windshield 100 using one DOE 51
- a plurality of DOEs 51 may be arranged in accordance with the position of the windshield 100.
- a plurality of DOEs 51 corresponding to a plurality of regions such as the upper, lower, left, and right sides of the windshield 100 may be used.
- FIG. 14 and FIG. 15 are examples in which the position and shape of display information displayed on the windshield 100 are changed by changing the irradiation position of the spot light on the DOE 51.
- an oval or star mark is displayed as display information on the windshield 100 so as to be superimposed on an object visible to the driver sitting in the driver's seat.
- position A1 In order to display an elliptical mark at a position (referred to as position A1) on the windshield 100 shown in FIG. 14, from the first reflecting mirror 21 toward the position of DOE 51 (referred to as position A2) shown in FIG. Reflect light.
- the control circuit 14 of the projection apparatus 10 displays a pattern in which spot light is formed at a position (referred to as position A3) on the first reflecting mirror 21 shown in FIG. 14 on the display unit of the spatial light modulator 12. To control. Then, the reflected light of the spot light formed at the position A3 on the first reflecting mirror 21 is irradiated to the position A2 of the DOE 51, and an elliptical mark is displayed at the position A1 on the windshield 100 as shown in FIG. Is done.
- the mark When the object on which the mark is superimposed moves, the mark may be moved on the windshield 100 in accordance with the movement of the object.
- the mark In the display system 2, the mark can be moved on the windshield 100 by changing the irradiation position of the light applied to the DOE 51.
- FIG. 15 shows an example in which a star mark is displayed by moving the oval mark of FIG.
- position B1 In order to display a star-shaped mark at a position (referred to as position B1) on the windshield 100 shown in FIG. 15, from the first reflecting mirror 21 toward the position of DOE 51 (referred to as position B2) shown in FIG. Reflects spot light.
- the control circuit 14 of the projection device 10 displays a pattern in which spot light is formed at a position on the first reflecting mirror 21 (referred to as position B3) shown in FIG. 15 on the display unit of the spatial light modulator 12. To control. If it does so, the reflected light of the spot light formed in position B3 on the 1st reflective mirror 21 will be irradiated to position B2 of DOE51, and a star-shaped mark will be displayed on position B1 on windshield 100 like FIG. Is done.
- the display system 2 can change the position where the mark is displayed from the position A1 to the position B1 on the windshield 100. That is, the display system 2 can move and change display information on the windshield 100 without moving the movable part.
- the pattern corresponding to the display information is not displayed on the display unit of the spatial light modulation element 12, but a pattern in which light is irradiated at a specific position of the DOE 51 may be displayed. Therefore, the display system 2 can display on the windshield 100 display information having the same luminance and lower power than the display system 1 of the first embodiment.
- FIG. 16 is an example in which display information of various shapes is displayed on the windshield 100 using the DOE 51.
- Display information via the DOE 51 is displayed in the partial display area 105 of the first display area 101 in FIG.
- the outer frame (dashed line) of the first display area 101, the outer frame (dashed line) of the second display area 102, and the outer frame (two-dot chain line) of the partial display area 105 indicate virtual boundary lines. Actually, it is not displayed on the windshield 100.
- the light reflected by the first reflecting mirror 21 is displayed as low-definition display information on the first display area 101, and the light reflected by the second reflecting mirror 22 is high on the second display area 102. Displayed as fine display information.
- a part of the light reflected by the first reflecting mirror 21 is displayed in the partial display area 105 via the DOE 51.
- the definition of the light projected through the DOE 51 is due to the characteristics of the DOE 51. Therefore, high-definition display information can be displayed in the partial display area 105 by using the DOE 51 that can project an image with high definition.
- the DOE 51 When the DOE 51 is used, it is difficult to give a fine change that moves the display information in units of dots. However, when a limited type of display information is used, the display information can be moved smoothly by making the grid of the DOE 51 fine. Can show.
- a pattern in which spots are located for each lattice of the DOE 51 may be used.
- a pattern in which a light spot is formed at the positions of these gratings may be stored in the storage circuit 43.
- the spot pattern may be moved by storing a spot-shaped basic pattern in the storage circuit 43 and performing an operation for moving the basic pattern in the control circuit 14.
- FIG. 17 a modification of the display system 2 of FIG. 13 is shown in FIG.
- the DOE 52 is arranged in the direction in which light is reflected by the second reflecting mirror 22.
- the DOE 52 has the same configuration as the DOE 51.
- the display information displayed in the first display area 101 is refined using the DOE 51.
- the display information displayed in the second display area 102 is made highly accurate using the DOE 52. For example, if the display information is fixed like a road sign or the like, it is more efficient to increase the definition using the DOE 52.
- the same effects as those of the first embodiment can be obtained, and high-definition display information can be displayed with lower power than in the first embodiment. it can.
- FIG. 18 is a conceptual diagram illustrating an application example of the display system 3 according to the present embodiment.
- FIG. 19 is a conceptual diagram showing the configuration of the projection device of the display system 3 according to this embodiment.
- the display system 3 includes an imaging device 16 in addition to the projection device 10-3.
- the display system 3 includes an imaging device 16 that images outside the vehicle.
- FIG. 18 shows an example in which the imaging device 16 is installed on the dashboard, the installation location of the imaging device 16 is arbitrary.
- the imaging device 16 may be installed behind the rearview mirror, may be installed on the ceiling above the driver seat or the passenger seat, or may be installed above the driver seat or the passenger seat. Good.
- the imaging device 16 may be installed outside the vehicle.
- the imaging device 16 may image not only the front of the vehicle but also a range including the side and the rear.
- the imaging device 16 is connected to the control circuit 14-3 of the projection device 10-3. Note that the imaging device 16 may be directly connected to the control circuit 14-3, or may be connected to the control circuit 14-3 via another interface, circuit, or device.
- FIG. 20 is a block diagram illustrating a configuration of the imaging device 16. As illustrated in FIG. 20, the imaging device 16 includes an imaging device 61, an image processor 62, an internal memory 63, and an output circuit 64.
- the imaging element 61 is an element for acquiring imaging data by imaging outside the vehicle, for example.
- the image sensor 61 is a photoelectric conversion element in which semiconductor parts are integrated.
- the image sensor 61 can be realized by a solid-state image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
- the imaging element 61 is configured by an element that captures light in the visible region, but may be configured by an element that can capture and detect electromagnetic waves such as infrared rays, ultraviolet rays, X-rays, gamma rays, radio waves, and microwaves.
- the image processing processor 62 performs integrated processing for performing image processing such as dark current correction, interpolation calculation, color space conversion, gamma correction, aberration correction, noise reduction, and image compression on the image data captured by the image sensor 61. Circuit. Note that when the image information is output without being processed, the image processor 62 may be omitted.
- the internal memory 63 is a storage element that temporarily stores image information that cannot be processed when image processing is performed by the image processor 62 and processed image information. Note that the image information captured by the image sensor 61 may be temporarily stored in the internal memory 63.
- the internal memory 63 may be configured by a general memory.
- the output circuit 64 outputs the image information processed by the image processor 62 to the control circuit 14-3.
- FIG. 21 is a block diagram showing the configuration of the control circuit 14-3.
- the control circuit 14-3 in FIG. 21 has a configuration in which an imaging control circuit 46 and an analysis circuit 47 are added to the control circuit 14 in FIG. It should be noted that a detailed description of the control circuit 14-3 in FIG. 21 that is included in the control circuit 14 is omitted.
- the imaging control circuit 46 is a circuit that causes the imaging device 16 to image.
- the imaging control circuit 46 controls the imaging device 16 so that imaging is performed at a predetermined timing.
- the predetermined timing may be a fixed interval or may be changed according to the situation.
- the imaging control circuit 46 performs control so that the imaging device 16 captures images in a short cycle such as several times to several tens of times per second.
- the image capture control circuit 46 may control the image capture device 16 so that it captures images at a longer period than during traveling, captures images at an appropriate timing, or stops them.
- the imaging device 16 outputs the captured image data to the control circuit 14-3 under the control of the imaging control circuit 46.
- the imaging control circuit 46 acquires image data captured by the imaging device 16 and outputs the image data to the analysis circuit 47.
- the analysis circuit 47 analyzes the image data captured by the imaging device 16 and detects a detection target from the image data. When the driver views the detection target through the windshield 100, the analysis circuit 47 specifies a position on the windshield 100 where the display information is superimposed on the detection target. The analysis circuit 47 generates position information that matches the specified position on the windshield 100 with a two-dimensional coordinate system set on the windshield 100. The analysis circuit 47 outputs the generated position information to the control condition generation circuit 42.
- the control condition generation circuit 42 generates a control condition for displaying display information at a position corresponding to the position information generated by the analysis circuit 47. Then, the control condition generation circuit 42 outputs the generated control condition.
- FIG. 22 is a block diagram showing a configuration of the analysis circuit 47.
- the analysis circuit 47 includes an image processing circuit 471, a target detection circuit 472, a target position specifying circuit 473, and an output circuit 474.
- the image processing circuit 471 performs image processing on the image data acquired by the imaging control circuit 46 to convert the detection target into data that can be easily detected.
- the image processing circuit 471 is configured as an integrated circuit that performs image processing such as dark current correction, interpolation calculation, color space conversion, gamma correction, aberration correction, noise reduction, and image compression on the acquired imaging data. do it.
- the image processing circuit 471 outputs image data subjected to image processing (hereinafter, processed data) to the target detection circuit 472.
- the object detection circuit 472 acquires processed data from the image processing circuit 471 and detects a detection target from the acquired processed data.
- the target detection circuit 472 detects a detection target using a predetermined algorithm.
- the target detection circuit 472 compares continuous processed data and extracts a background from each processed data.
- the object detection circuit 472 may detect the object included in the data obtained by subtracting the background from the processed data as the detection object.
- the target detection circuit 472 may detect an object showing a large movement with respect to the background as a detection target. If the detection target is a human, the target detection circuit 472 may use an algorithm for detecting a characteristic movement of the body by human walking or running or a human detection algorithm. In the case of an automobile, the object detection circuit 472 may use an algorithm that detects the shape and movement of the automobile and an algorithm that extracts a relative change between the automobile and the road surface. In addition, the target detection circuit 472 prepares standard background data (standard data) from a plurality of processed data, prepares the background data, calculates a difference between the processed data and the standard data, and detects a detection target. May be.
- standard background data standard data
- the target detection circuit 472 When the detection target is detected from the processed data, the target detection circuit 472 outputs the position of the detection target on the processed data to the target position specifying circuit 473.
- the target position specifying circuit 473 specifies a position where display information displayed on the windshield 100 is superimposed on the detection target when the driver views the detection target through the windshield 100.
- the target detection circuit 472 outputs the specified position information to the output circuit 474.
- the target position specifying circuit 473 may store correspondence information such as a table or an arithmetic expression that associates the position on the windshield 100 viewed from the driver's viewpoint with the position on the processed data. Then, if the target position specifying circuit 473 acquires the position of the detection target on the processed data, the position on the windshield 100 viewed from the viewpoint of the driver can be derived based on the correspondence information. However, since the position on the windshield 100 and the position on the processed data are shifted depending on the distance between the display system 3 and the detection target, it is preferable to cooperate with a system that measures the distance to the detection target.
- the output circuit 474 outputs the position information of the detection target specified by the target position specifying circuit 473 to the control condition generation circuit 42.
- the analysis circuit 47 may include a circuit that tracks the detection target detected by the target detection circuit 472.
- a detection target once detected may be able to reduce the amount of calculation by tracking using a specific algorithm rather than continuously detecting from the image data each time.
- the analysis circuit 47 can track the detection target using a technique such as Camshift or Meanshift.
- the analysis circuit 47 may track the detection target using a feature extraction method such as SIFT (Scale-Invariant Feature Transform) or HOG (Histograms of Oriented Gradients).
- the analysis circuit 47 may track the detection target using a feature extraction method such as SURF (Speed (Up Robust Features).
- the detection target that may affect the traveling of the vehicle is detected and superimposed on the detection target.
- the displayed display information can be displayed on the windshield.
- (Application example) 23 to 25 are specific examples for explaining the display system according to the embodiment of the present invention.
- FIG. 23 is an example of the field of view viewed from the driver's seat of the vehicle. At night, it is difficult to visually recognize an object that is not exposed to light.
- a person who rides a bicycle, a person who is running, a person walking on a sidewalk, a vehicle coming out of a gas station, or the like is a target having danger potential.
- FIG. 24 is an example in which display information is displayed on the windshield 100 by a general head-up display (hereinafter, HUD: Head-Up Display).
- HUD Head-Up Display
- basic information related to driving such as speed limit, traveling speed, and instructions from the navigation system is displayed in front of the driver's seat.
- basic information indicating that the speed limit is 50 kilometers per hour and the traveling speed is 45 kilometers per hour, and instruction information (arrow) that recommends turning left are displayed in front of the driver's seat.
- display information (elliptical mark) superimposed on a target having a dangerous potential is displayed on the entire surface of the windshield 100.
- display information with different definition is displayed in the first display area 101 and the second display area 102 using the display system of the present embodiment.
- the outer frame (dashed line) of the first display area 101 and the outer frame (dashed line) of the second display area 102 indicate the boundary lines of each area, and are not actually displayed.
- the first display area 101 not close to the driver's seat, display information superimposed on a running person or a pedestrian is displayed with low definition.
- the second display area 102 close to the driver's seat display information superimposed on the person or vehicle riding the bicycle, instructions from the navigation system, display information regarding the speed limit and the traveling speed are displayed in high definition.
- the driver needs to drive while paying attention to the danger from the side while gazing ahead. Therefore, while the driver only looks at the side, the time for viewing the display information displayed in front of the driver's seat becomes longer. For this reason, there is a high demand for the definition of the display information in front of the driver's seat, whereas the display information displayed in the area outside the front of the driver's seat is not required to have so much definition.
- low-definition display information is displayed in the first display area 101, and high-definition display information is displayed in the second display area 102.
- the visibility of display information by the driver can be improved even when a light source having a low output is used as compared with a general HUD.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
Abstract
本発明の表示システムは、位相変調型の空間光変調素子と、空間光変調素子の表示部に光を照射する光源と、空間光変調素子および光源を制御する制御回路とを有し、空間光変調素子の表示部の反射光を投射する投射装置(10)と、投射装置(10)の投射光を反射する反射鏡(20)とを備え、制御回路は、精細度の異なる表示情報に対応する第1のパターンと第2のパターンとを空間光変調素子の表示部に表示させ、反射鏡(20)は、第1のパターンが表示された部分の反射光を入射して第1の表示領域(101)に向けて反射する第1の反射領域(21)と、第2のパターンが表示された部分の反射光を入射して第2の表示領域(102)に向けて反射する第2の反射領域(22)とを有する。
Description
本発明は、車載用のヘッドアップディスプレイに用いる表示システムに関する。
ヘッドアップディスプレイ(以下、HUD:Head-Up Display)は、運転に関する基本的な情報をフロントガラスに表示する装置である。HUDは、車に搭載される色々なセンサや外部から得られた情報をフロントガラスに拡張現実(AR:Augmented Reality)的に表示することができる。
特許文献1には、自動車などの操縦者に対して計器情報などの各種情報を視覚的に提供するヘッドアップディスプレイ装置について開示されている。特許文献1の装置では、フロントウィンドウの内面に2枚のホログラフィック光学素子を並べて貼着し、それらの光学素子に異なるプロジェクタから光を投影した際に回折される回折光を操縦者に観察させる。
特許文献2には、レーザ光源を使用して高輝度の表示を実現する画像投影装置について開示されている。特許文献2の装置は、周囲の光量や移動速度に対応させてレーザ光の走査角を制御することによって、フロントガラスに投影される画面の投影面積を変化させる。
特許文献3には、透光性反射手段によって反射した表示像を、ウインドシールドの前方に虚像として運転者に視認させる車載用ヘッドアップディスプレイ装置について開示されている。特許文献3の装置は、単一の表示面に2つの表示像を選択的に表示させ、一方の表示像を第1の反射手段によって第1の反射面に向けて反射させ、他方の表示像を第2の反射手段によって第2の反射面に向けて反射させる。特許文献3の装置は、選択されている表示像に合わせて光路を切り替える光路切替手段を備える。
特許文献4には、自動車のウインドシールドの表示領域に表示画像を投影する車載用投影装置について開示されている。特許文献4の装置は、位相変調アレイで位相変調された変調光束をホログラム画像としてスクリーンに結像させる。特許文献4の装置は、スクリーンに結像されたホログラム画像を含む光を反射する第1の投影ミラーと、第1の投影ミラーで反射された投影光を表示領域に向けて反射する第2の投影ミラーとを有する。特許文献4の装置は、第1の投影ミラーと第2の投影ミラーとで、スクリーンに結像したホログラム画像が拡大されるとともに、運転者の視線に対する表示領域の傾きによる表示画像の歪みの補正が、第1の投影ミラーと第2の投影ミラーとで分担されている。
特許文献1の装置によれば、2つのプロジェクタが投影する映像を、隣接する2つのホログラフィック光学素子によって回折させることによって、操縦者に対して広範にわたって情報を提供することができる。しかしながら、特許文献1の装置には、特性が異なる2つのホログラフィック光学素子をフロントウィンドウに貼ることになるため、映像を投影しない通常時に違和感があるという問題点があった。また、特許文献1の装置には、プロジェクタが2台必要になるという問題点があった。
特許文献2の装置によれば、周囲の光量や移動速度に対応させて画面の大きさや輝度を変化させることができるため、観察者に見やすい画面や画像を提供することができる。しかしながら、特許文献2の装置は、走査部を動かして画面の大きさや輝度を変更するため、車両が走行することに起因する振動などによって画面がぶれてしまうという問題点があった。
特許文献3の装置によれば、単一の表示面を用いて、二つの表示面を用いた場合と同等の情報量を運転手に視認させることができる。しかしながら、特許文献3の装置には、単一の表示面に異なる表示像を選択的に表示させるのに同期させて、残像時間内という短周期で光路を切り替える必要があるため、光路を切り替えるシャッタ機構を高速で動作させる必要があるという問題点があった。
本発明の目的は、上述した課題を解決するため、振動の影響を受けやすい可動部を設けることなしに、高精細な画像を低電力で表示させる表示システムを提供することにある。
本発明の表示システムは、位相変調型の空間光変調素子と、空間光変調素子の表示部に光を照射する光源と、空間光変調素子および光源を制御する制御回路とを有し、空間光変調素子の表示部の反射光を投射する投射装置と、投射装置の投射光を反射する反射鏡とを備え、制御回路は、精細度の異なる表示情報に対応する第1のパターンと第2のパターンとを空間光変調素子の表示部に表示させ、反射鏡は、第1のパターンが表示された部分の反射光を入射して第1の表示領域に向けて反射する第1の反射領域と、第2のパターンが表示された部分の反射光を入射して第2の表示領域に向けて反射する第2の反射領域とを含む。
本発明によれば、振動の影響を受けやすい可動部を設けることなしに、高精細な画像を低電力で表示させる表示システムを提供することが可能になる。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由が無い限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
(第1の実施形態)
まず、本発明の第1の実施形態に係る表示システムについて図面を用いて説明する。図1は、本実施形態に係る表示システム1の適用例を示す概念図である。図2は、本実施形態に係る表示システム1の構成を示す概念図である。なお、以下の説明で参照する図面において、各構成要素の大きさや形状、位置関係などは概念的なものを示しており、実際の大きさや形状、位置関係を正確に表しているわけではない。
まず、本発明の第1の実施形態に係る表示システムについて図面を用いて説明する。図1は、本実施形態に係る表示システム1の適用例を示す概念図である。図2は、本実施形態に係る表示システム1の構成を示す概念図である。なお、以下の説明で参照する図面において、各構成要素の大きさや形状、位置関係などは概念的なものを示しており、実際の大きさや形状、位置関係を正確に表しているわけではない。
図1および図2のように、本実施形態の表示システム1は、投射装置10と、反射鏡20とを備える。投射装置10から投射された光は、反射鏡20によって反射され、表示システム1からの投射光としてフロントガラス100に投射される。
フロントガラス100は、自動車などの車両を運転する運転手に向けて、反射鏡20によって反射された光を反射する。なお、本実施形態においては、車両の右側に運転席があると想定する。フロントガラス100の表面には、投射光を反射させやすくするためのフィルムを貼着させておいてもよい。
本実施形態の表示システム1によれば、運転手は、フロントガラス100を通して見える実像と、フロントガラス100によって反射された虚像とを重畳して認識する。そのため、表示システム1を利用する運転手にとっては、実像に合わせてバーチャルな表示情報が視認される。
表示システム1は、車両のダッシュボードやフロントパネルなどに設置できる。また、表示システム1は、運転席と助手席との間や、運転席の後方、後部座席近傍に設置してもよい。また、表示システム1は、バックミラーやステアリングなどの近傍に設置してもよい。
反射鏡20は、第1の反射面および第2の反射面を含む少なくとも二つの反射面を有する。図1には、反射鏡20が、第1の反射面を有する第1反射鏡21と、第2の反射面を有する第2反射鏡22とによって構成される例を示す。第1反射鏡21によって反射された投射光201は、フロントガラス100の第1表示領域101(第1の表示領域ともよぶ)に向けて投射される。第2反射鏡22によって反射鏡によって反射された投射光202は、フロントガラス100の第2表示領域102(第2の表示領域ともよぶ)に向けて投射される。第1表示領域101はフロントガラス100全面にわたる広範囲な領域であり、第2表示領域102はフロントガラス100の一部の狭範囲な領域である。
本実施形態においては、第1表示領域101に低精度の画像を投射し、第2表示領域102に高精度の画像を投射する。すなわち、第1表示領域101に投射される低精度の画像は第1反射鏡21によって反射されたものであり、第2表示領域102に投射される高精度の画像は第2反射鏡22によって反射されたものである。
本実施形態においては、運転席が右側にあることを想定しているため、運転手の視点が集中しやすいフロントガラス100の右下に第2表示領域が位置するように構成する。なお、運転席が右側にない場合は、運転席の位置や運転手の視点に合わせて第2表示領域102が表示される位置を変更すればよい。
第1反射鏡21と、第2反射鏡22とは、異なる形状や性質をもつもので構成することが好ましい。なお、図1においては、第1反射鏡21と第2反射鏡22との違いを強調するために形状や大きさの相違を強調して図示している。
例えば、第1反射鏡21が投射対象とする第1表示領域101は広範囲であるため、曲率の大きな鏡で構成すればよい。それに対し、第2反射鏡22が投射対象とする第2表示領域102は狭範囲であるため、曲率の小さな鏡で構成すればよい。例えば、第1反射鏡21には自由曲面や非球面をもつ特殊なレンズを用い、第2反射鏡22には一般的な平面鏡を用いることができる。実際には、表示システム1からフロントガラス100に投射光を投射する際には、投射距離を短くするために第2反射鏡22にも自由曲面や非球面の特殊なレンズを用いることが好ましい。また、低精度の画像を反射する第1反射鏡21には、高精度の画像を反射する第2反射鏡22よりも安価なものを用いてもよい。
(投射装置)
次に、表示システム1の投射装置10の構成について詳細に説明する。図3は、表示システム1の投射装置の構成を示す概念図である。
次に、表示システム1の投射装置10の構成について詳細に説明する。図3は、表示システム1の投射装置の構成を示す概念図である。
図3のように、投射装置10は、光源11、空間光変調素子12、投射光学系13、制御回路14および光源駆動電源15を備える。なお、図3は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。
光源11は、特定波長の光110を出射する。例えば、光源11には、レーザ光源を用いることができる。光源11から出射される光110は、位相がそろったコヒーレントな光であることが好ましい。通常、光源11は、可視領域の光を出射するように構成する。なお、光源11は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、光源11は、発光ダイオードや白熱電球、放電管などのレーザ光以外の光を出射するものであってもよい。
例えば、複数の波長の光を出射するように光源11を構成すれば、光源11から出射する光の波長を変えることによって、表示情報の色を変更することができる。また、異なる波長の光を同時に出射するように光源11を構成すれば、複数の色からなる表示情報を表示することができる。
空間光変調素子12は、制御回路14の制御に応じて、各表示領域に表示される表示情報を生成するためのパターンを自身の表示部に表示する。本実施形態においては、空間光変調素子12の表示部に所定のパターンが表示された状態で、その表示部に光110を照射する。空間光変調素子12は、光110を変調した変調光120を投射光学系13に向けて出射する。
本実施形態においては、空間光変調素子12の表示部に、被投射面において異なる精度で表示像を結像させるためのパターンを表示させる。空間光変調素子12の表示部には、第1表示領域101に表示させる表示情報に対応する位相分布(第1のパターンともよぶ)と、第2表示領域102に表示させる表示情報に対応する位相分布(第2のパターンともよぶ)とを表示させる。
空間光変調素子12は、位相がそろったコヒーレントな光110の入射を受け、入射された光110の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子12は、フォーカスフリーであるため、複数の投射距離に設定された表示領域に光を投射することになっても距離ごとに焦点を変える必要がない。なお、空間光変調素子12は、各表示領域に表示情報を表示できるのであれば、位相変調型とは異なる方式の素子であってもよいが、以下においては、空間光変調素子12が位相変調型の素子であるものとして説明する。
位相変調型の空間光変調素子12の表示部には、各表示領域に表示させる表示情報の位相分布が表示される。この場合、空間光変調素子12の表示領域で反射された変調光120は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように表示情報が形成される。
空間光変調素子12は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子12は、具体的には、LCOS(Liquid Crystal on Silicon)によって実現できる。また、空間光変調素子12は、例えば、MEMS(Micro Electro Mechanical System)によって実現してもよい。
位相変調型の空間光変調素子12を用いれば、投射光を投射する領域を順次切り替えることによって、エネルギーを表示情報の部分に集中することができる。そのため、位相変調型によれば、光源の出力が同じであれば、表示領域全面に光を投射する方式のものよりも表示情報を明るく表示させることができる。
投射光学系13は、空間光変調素子12で変調された変調光120を投射光130として投射する光学系である。空間光変調素子12で変調された変調光120は、投射光学系13によって投射光130として投射される。
制御回路14は、各表示領域に表示される表示情報を生成するためのパターンを空間光変調素子12の表示部に表示させたり、光源駆動電源15を駆動させたりする制御を行う回路である。制御回路14は、空間光変調素子12の表示部に、第1表示領域101に表示させる表示情報に対応する位相分布(第1のパターンともよぶ)を表示させる。また、制御回路14は、空間光変調素子12の表示部に、第2表示領域102に表示させる表示情報に対応する位相分布(第2のパターンともよぶ)を表示させる。
また、制御回路14は、光源駆動電源15を制御することによって、光源11から光110が出射されるタイミングや出力を制御する。
光源駆動電源15は、制御回路14の制御に応じて光源11を駆動させて、光源11から光110を出射させるための電源である。
(投射光学系)
次に、図4を用いて、投射装置10の投射光学系13の詳細について説明する。
次に、図4を用いて、投射装置10の投射光学系13の詳細について説明する。
図4は、投射装置10の投射光学系13の構成を含む概念図である。図4においては、光源11から出射された光がコリメータ111によって位相がそろった光110に変換される。図4のように、投射光学系13は、フーリエ変換レンズ31、アパーチャ32および投射レンズ33を有する。
フーリエ変換レンズ31は、空間光変調素子12の表示部で反射された変調光120を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図4では、アパーチャ32の位置に焦点が形成されている。
アパーチャ32は、フーリエ変換レンズ31によって集束された光に含まれる高次光を遮蔽し、表示領域を特定する機能を有する。アパーチャ32の開口部は、アパーチャ32の位置における表示領域の最外周よりも小さく開口され、アパーチャ32の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ32の開口部は、矩形状や円形状に形成される。アパーチャ32は、フーリエ変換レンズ31の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。
投射レンズ33は、フーリエ変換レンズ31によって集束された光を拡大して投射する光学レンズである。投射レンズ33は、空間光変調素子12に入力された位相分布に対応する表示情報が各表示領域に表示されるように、反射鏡20に向けて投射光130を投射する。
単純な記号などの線画を投射する用途に表示システム1を用いる場合、投射光学系13から投射された投射光130は、各表示領域に均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのような場合、表示システム1によれば、光110の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、表示システム1は、小型かつ低電力な光源11で構成できるため、その光源11を駆動する光源駆動電源15を低出力にでき、全体的な消費電力を低減できる。
図4の例では、投射レンズ33から投射された投射光130が結像される位置に反射鏡20を配置する。第2反射鏡22による反射光の拡大率は、第1反射鏡21による反射光の拡大率よりも小さい。
第1反射鏡21の反射面に向けて投射された投射光130の成分(以下、第1成分)は、第1表示領域101に投射光201として投射される。第1表示領域101に投射された投射光201によって形成される画像は低精度である。
第2反射鏡22の反射面に向けて投射された投射光130の成分(以下、第2成分)は、第2表示領域102に投射光202として投射される。第2表示領域102に投射された投射光202によって形成される画像は高精度である。
図4の例では、空間光変調素子12の表示部に対して光110の入射角を非垂直にする。すなわち、本実施形態においては、光源11からの光110の出射軸を空間光変調素子12の表示部に対して斜めにする。空間光変調素子12の表示部に対して光110の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間光変調素子12の表示部に光110を入射できるため、効率が向上する。
実用的には、投射光130に含まれる0次光を除去する必要がある。そのため、投射光130から0次光を除去するための機構が求められる。
図5は、アパーチャ32の箇所で0次光を除去する構成例である。図5の例では、アパーチャの開口部における0次光の光路上に光吸収部材35を配置する。光吸収部材35は、透明な部材でアパーチャに固定すればよい。
図6は、第1反射鏡21と第2反射鏡22との間に隙間を設け、0次光を通過させる構成例である。図6の例では、第1反射鏡21と第2反射鏡22とを離して配置しているように図示しているが、実際には0次光の光路に当たる部分に隙間を設ければよい。第1反射鏡21と第2反射鏡22との間の隙間を通過した0次光は、光吸収部材25によって吸収させればよい。
以上の図5および図6のような構成にすれば、投射光130から0次光を除去できる。なお、図5および図6は一例であって、0次光の除去機構はここで挙げた限りではない。
(制御回路)
次に、制御回路14について詳細に説明する。図7は、表示システム1の制御回路14の構成を示すブロック図である。図7のように、制御回路14は、通信回路41、制御条件生成回路42、記憶回路43、光源制御回路44、変調素子制御回路45を有する。
次に、制御回路14について詳細に説明する。図7は、表示システム1の制御回路14の構成を示すブロック図である。図7のように、制御回路14は、通信回路41、制御条件生成回路42、記憶回路43、光源制御回路44、変調素子制御回路45を有する。
通信回路41は、車内の別のシステムや装置、センサなどと表示システム1とを接続するインターフェースである。通信回路41は、車内の別のシステムや装置、センサなどから、表示システム1に表示させる表示情報に関する情報を取得する。例えば、通信回路41は、走行中の車や道路に関する情報などを取得する。通信回路41は、取得した情報を制御条件生成回路42に出力する。
制御条件生成回路42は、通信回路41から取得した情報に基づいて、各表示領域に表示情報を表示させるためのパターンを構成する基本パターンを記憶回路43から取得する。制御条件生成回路42は、記憶回路43に記憶された基本パターンを移動させたり、合成したりすることによって、空間光変調素子12の表示部に表示させるパターンを生成する。なお、空間光変調素子12を位相変調型素子で構成する場合、空間光変調素子12の表示部に表示させるパターンは、その表示情報に対応する位相分布である。
制御条件生成回路42は、適切な表示情報を適切なタイミングで適切な表示領域に向けて投射するための制御条件を生成する。制御条件は、適切なパターンを適切な表示領域に向けて投射するための変調素子制御条件と、適切なタイミングで投射するための光源制御条件とを含む。制御条件生成回路42は、変調素子制御条件を変調素子制御回路45に出力し、光源制御条件を光源制御回路44に出力する。
また、制御条件生成回路42は、第1表示領域101に表示させる表示情報が第1反射鏡21に向けて投射され、第2表示領域102に表示させる表示情報が第2反射鏡22に向けて投射されるようにパターンを編集する。
図8は、反射鏡20に投射された表示情報(白抜きの円)の一例を示す概念図である。第1反射鏡21には第1表示領域101に表示させる表示情報が投射され、第2反射鏡22には第2表示領域102に表示させる表示情報が投射されている。反射鏡20の位置においては、第1反射鏡21および第2反射鏡22に投射される表示情報の精細度を変える必要はない。ただし、制御条件生成回路42は、第1反射鏡21に投射する表示情報が低精細度であり、第2反射鏡22に投射する表示情報が高精細であるような制御条件を生成してもよい。なお、図8は、第1表示領域101に表示させる表示情報を第1反射鏡21に反射させ、第2表示領域102に表示させる表示情報を第2反射鏡22に反射させることを概念的に示すものである。そのため、第1反射鏡21および第2反射鏡22の大きさを正確に表しているわけではない。
図9は、図8のように反射鏡20に投射された表示情報(白抜きの円)をフロントガラス100に表示させる一例を示す概念図である。フロントガラス100に表示される段階では、第1表示領域101に表示される表示情報と、第2表示領域102に表示される表示情報とでは精細度が異なっている。第1表示領域101に表示される表示情報は低精細であるのに対し、第2表示領域102に表示される表示情報は高精細になっている。第1反射鏡21に反射された光は、広範囲の第1表示領域101に広投射角で投射されるため、光が拡散して精細度が低くなる。それに対し、第2反射鏡22に反射された光は、狭範囲の第2表示領域102に狭投射角で投射されるため、光が拡散せずに精細度が高くなる。ただし、図9は、表示情報の相違を誇張して図示しているため、実際に表示される表示情報を表しているわけではない。
位相変調型ではない投射装置では、投射装置と被投射面との距離に応じてフォーカス位置が異なるため、低精細の表示領域に低精細の表示情報を表示させ、高精細の表示領域に高精細の表示情報を表示させるように設定することは難しい。それに対し、本実施形態では、フォーカスフリーの位相変調型の投射光学系を用いるため、投射装置と被投射面との距離が異なってもフォーカスが定まるので、低精細の表示領域と高精細の表示領域とを容易に設定することができる。
記憶回路43には、所望の表示情報を各表示領域に表示させるためのパターンを構成する基本パターンを記憶させておく。例えば、記憶回路43には、表示情報を生成するための基本パターンを事前に記憶させておけばよい。なお、記憶回路43には、基本パターンのみならず、基本パターンを組み合わせたパターンや、さらに複雑なパターンを記憶させておいてもよい。
記憶回路43には、制御条件生成回路42が取得した情報に応じたパターンを記憶させておく。
例えば、表示システム1は、別のシステムから車両の走行速度を取得し、その走行速度を第2表示領域102に表示させる。この場合、記憶回路43には、0~9の数字に対応するパターンを記憶させておけばよい。制御条件生成回路42は、車両の走行速度を取得すると、その走行速度に含まれる数字に対応するパターンを記憶回路43から取得する。そして、制御条件生成回路42は、そのパターン自体や組み合わせを空間光変調素子12の表示部に表示させる制御条件を生成すればよい。
例えば、表示システム1は、走行中の道路の標識を第2表示領域に表示させる。この場合、記憶回路43には、表示させる道路標識に対応するパターンを位置情報などに関連付けて記憶させておけばよい。制御条件生成回路42は、走行中の位置をGPS(Global Positioning System)やセンサから取得し、その位置に関連付けられた道路標識に対応するパターンを記憶回路43から取得する。そして、制御条件生成回路42は、取得したパターンを空間光変調素子12の表示部に表示させる制御条件を生成すればよい。なお、表示させる道路標識は、制限速度や駐車禁止などの規制に関して任意に設定すればよい。
例えば、表示システム1は、ナビゲーションシステムに関連する表示情報を第2表示領域に表示させる。この場合、記憶回路43には、ナビゲーションシステムで用いられる表示情報に対応するパターンを位置情報などに関連付けて記憶させておけばよい。制御条件生成回路42は、走行中の車両の位置をGPSやセンサから取得し、車両の位置に関連付けられたナビゲーション情報に対応するパターンを記憶回路43から取得する。そして、制御条件生成回路42は、取得したパターンを空間光変調素子12の表示部に表示させる制御条件を生成すればよい。
その他にも、車両に搭載された別のシステムや装置、センサに関する表示情報に対応するパターンを記憶回路43に記憶させておけば、表示システム1は、任意のシステムや装置、センサに関する表示情報を表示させることができる。
また、表示システム1は、車両が走行中の道路に関する標識情報を表示させてもよい。例えば、表示システム1は、危険警告標識や優先標識、禁止制限標識、特別規制標識、情報・施設・サービス標識、方向・位置・指示標識、追加表示板などに関する標識情報を表示させればよい。
表示システム1は、車両の異常を搭乗者に知らせる警告灯を表示させてもよい。例えば、表示システム1は、ABS(Antilock Brake System)警告灯、AT(Automatic Transmission)警告灯、燃料フィルタ警告灯、エンジン警告灯、ブレーキ警告灯、排気温警告灯、水温警告灯、燃料警告灯などを表示させればよい。また、例えば、表示システム1は、エアバッグ警告灯、シートベルト警告灯、ウオッシャー液警告灯、セキュリティ警告灯、充電警告灯、油圧警告灯、ドア警告灯などを表示させてもよい。また、ハイブリッド車や電気自動車であれば、表示システム1は、EV(Electric Vehicle)システム警告灯やバッテリー残量警告灯、出力制限表示灯などの警告灯を表示させてもよい。
光源制御回路44は、制御条件生成回路42から取得した光源制御条件に基づいて、光源駆動電源15のON/OFFや、駆動電圧を制御する。光源駆動電源15が光源制御回路44の制御に応じることによって、適切な表示パターンを各表示領域に表示させることができる。
変調素子制御回路45は、各表示領域に表示される表示情報を生成するためのパターンを空間光変調素子12の表示部に表示させる。例えば、変調素子制御回路45は、位相変調型素子を駆動させる際には、空間光変調素子12の表示部に照射される光110の位相と、表示部で反射される変調光120の位相との差分を決定づけるパラメータが変化するように空間光変調素子12を駆動する。
位相変調型の空間光変調素子12の表示部に照射される光110の位相と、表示部で反射される変調光120の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子制御回路45は、空間光変調素子12の表示部に印加する電圧を変化させることによって、表示部の屈折率を変化させる。その結果、表示部に照射された光110は、表示部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子12に照射された光110の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子制御回路45による空間光変調素子12の駆動方法はここで挙げた限りではない。
(ハードウェア)
ここで、図10を用いて、本実施形態に係る表示システム1の制御系統を実現するハードウェア(制御基板400)について説明する。なお、図10の制御基板400は、本実施形態の表示システム1を実現するための一例であって、本発明の範囲を限定するものではない。
ここで、図10を用いて、本実施形態に係る表示システム1の制御系統を実現するハードウェア(制御基板400)について説明する。なお、図10の制御基板400は、本実施形態の表示システム1を実現するための一例であって、本発明の範囲を限定するものではない。
図10のように、制御基板400は、プロセッサ401、主記憶装置402、補助記憶装置403、入出力インターフェース405およびネットワークアダプター406を備える。なお、図10においては、インターフェースをI/F(Interface)と略して表記している。プロセッサ401、主記憶装置402、補助記憶装置403、入出力インターフェース405およびネットワークアダプター406は、バス409を介して互いに接続される。また、プロセッサ401、主記憶装置402、補助記憶装置403および入出力インターフェース405は、ネットワークアダプター406を介して、イントラネットやインターネットなどのネットワークに接続される。制御基板400は、ネットワークを介して、別のシステムや装置、センサに接続される。また、制御基板400は、無線ネットワークを介して、上位システムやサーバに接続されてもよい。
プロセッサ401は、補助記憶装置403等に格納されたプログラムを主記憶装置402に展開し、展開されたプログラムを実行する中央演算装置である。本実施形態においては、制御基板400にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ401は、制御回路14による演算処理や制御処理を実行する。
主記憶装置402は、プログラムが展開される領域を有する。主記憶装置402は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置402として構成・追加してもよい。
補助記憶装置403は、表示情報の位相分布などのデータを記憶させる手段である。補助記憶装置403は、ハードディスクやフラッシュメモリなどのローカルディスクとして構成される。なお、主記憶装置402にデータを記憶させる構成とし、補助記憶装置403を省略することも可能である。
入出力インターフェース405は、制御基板400と周辺機器とを接続規格に基づいて接続する装置である。
制御基板400には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねるタッチパネルディスプレイとすればよい。プロセッサ401と入力機器との間のデータ授受は、入出力インターフェース405に仲介させればよい。
ネットワークアダプター406は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。入出力インターフェース405およびネットワークアダプター406は、外部機器と接続するインターフェースとして共通化してもよい。
表示システム1は、入出力インターフェース405やネットワークアダプター406を介して、別のシステムや装置、センサなどに接続される。例えば、表示システム1は、エンジン制御やシャシー制御、安全・快適制御、通信を受け持つシステムや装置、センサに接続される。
例えば、表示システム1は、ナビゲーションシステムや速度計測装置、車両接近通報装置、ヘッドライト、ドライブレコーダ、車載カメラ、エアバッグ、オーディオ装置、ラジオ、スピーカなどに接続される。また、表示システム1は、エアフローメータ、バキュームセンサ、各種ガスセンサ、油温センサ、ノックセンサ、ステアリングセンサ、車両速度センサ、ヨーレートセンサ、エアバッグ用センサ、超音波センサ、レーダーセンサなどに接続される。また、例えば、表示システム1は、アクセル位置センサ、スロット位置センサ、クランク位置センサ、カム位置センサ、車高制御センサ、電動パワーステアリング用トルクセンサ、タイヤ空気圧センサ、エンジン制御用温度センサなどに接続される。
以上のように、本実施形態に係る表示システムによれば、空間光変調素子の表示部に表示させた単一のパターンによって形成された表示情報を、反射特性の異なる二つの反射鏡によって反射させることによって異なる表示領域に表示させることができる。すなわち、本実施形態に係る表示システムによれば、同一の被投射面上の異なる表示領域に異なる精細度の表示情報を表示させるため、利用者が視認する表示情報を高精細かつ低電力で表示させることができる。
また、本実施形態に係る表示システムにおいては、位相変調型の空間光変調素子を用いることによって、可動部を用いることなしに、表示情報が表示される位置を設定することができる。そのため、車載用途の場合、可動部がある場合と比べて表示情報のぶれが発生しにくい。すなわち、本実施形態に係る表示システムによれば、可動部を設けることなしに、高精細な画像を低電力で表示させる表示システムを提供することが可能となる。
(変形例)
ここで、第1の実施形態に係る表示システム1の変形例について説明する。図11は、本変形例に係る表示システム1-2の適用例を示す概念図である。図12は、本変形例に係る表示システム1-2の光学系の構成を示す概念図である。
ここで、第1の実施形態に係る表示システム1の変形例について説明する。図11は、本変形例に係る表示システム1-2の適用例を示す概念図である。図12は、本変形例に係る表示システム1-2の光学系の構成を示す概念図である。
表示システム1-2は、反射鏡20とは異なる反射鏡20-2を用いる点が図1の表示システム1と異なる。表示システム1-2においては、単一の反射鏡20-2の反射面に、第1の反射領域211と第2の反射領域221とを設ける。反射鏡20-2と反射鏡20とを対応させると、第1の反射領域211が第1反射鏡21に相当し、第2の反射領域221が第2反射鏡22に相当する。すなわち、反射鏡20-2は、単一の鏡でありながら、異なる反射領域を有する。例えば、第1の反射領域211と第2の反射領域221とにおいて曲率を変えればよい。第1の反射領域211と第2の反射領域221とは、同一の反射鏡20-2の表面に、曲率や材質が異なる領域を形成することによって実現できる。 第1の反射領域211は、広範囲な第1表示領域101に向けて表示情報を反射する。第2の反射領域221は、狭範囲な第2表示領域102に向けて表示情報を反射する。そのため、第1表示領域101には低精度な表示情報が表示され、第2表示領域102には高精度な表示情報が表示される。ただし、反射鏡20-2の反射面を一様にすると、第2表示領域102の近傍の第1表示領域101に表示された表示情報と、第1表示領域101の近傍の第2表示領域102に表示された表示情報との違いが明確になるとは限らない。そのため、例えば、第1の反射領域211の曲率を大きくし、第2の反射領域212の曲率を小さくし、表示される表示情報の差を明確にしてもよい。また、第1の反射領域211よりも第2の反射領域221の方をきめ細かくしたり、第1の反射領域211と第2の反射領域221との形状を変えたりしてもよい。
本変形例によれば、単一の反射鏡によって、第1の実施形態の表示システムと同等の効果が得られる。ただし、本変形例は、二つの表示領域に表示させる表示情報の精細度の差を明確にしなくてもよい場合に適している。
(第2の実施形態)
次に、本発明の第2の実施形態に係る表示システム2について図面を参照しながら説明する。図13は、本実施形態に係る表示システム2の適用例を示す概念図である。本実施形態においては、反射鏡20によって反射された光と、少なくともいずれかの表示領域との間に回折光学素子(以下、DOE:Diffractive Optical Element)を配置する。
次に、本発明の第2の実施形態に係る表示システム2について図面を参照しながら説明する。図13は、本実施形態に係る表示システム2の適用例を示す概念図である。本実施形態においては、反射鏡20によって反射された光と、少なくともいずれかの表示領域との間に回折光学素子(以下、DOE:Diffractive Optical Element)を配置する。
本実施形態の表示システム2では、第1反射鏡21による光の反射方向にDOE51を配置する。なお、DOE51以外の構成は、第1の実施形態と同様である。
DOE51は、光の回折現象を利用して光の進行方向を変える素子である。DOE51を用いれば、点のような画像(以下、スポット光)をDOE51に当てることにより、あらかじめ設定された高精細の画像を投射することができる。
DOE51によって回折されたスポット光は、被投射面に画像として結像される。例えば、本実施形態のDOE51は、DOE51自体の画像形成能力を利用し、スポット光の照射位置によって異なる画像(回折パターン)を形成させることができる。DOE51は、スポット光の入射位置に応じた回折パターンを出射する。DOE51には、表示情報そのものが描いてあるわけではなく、表示情報が記録された位置にスポット光を照射すると、その位置に対応する表示情報が表示される。各表示情報に対応する個々の格子の大きさは、DOE51に当てるスポット光のスポット径に合わせて設定すればよい。
第1反射鏡21によって反射された光は低解像度ではあるものの、スポット光に相当するドットのパターンを作ることはできる。そのため、DOE51を用いれば、低解像度のスポット光であっても高解像度の画像を形成できる。
なお、図13においては、一つのDOE51を用いてフロントガラス100に表示情報を表示させる例を図示したが、フロントガラス100の位置に合わせて複数のDOE51を配置してもよい。例えば、フロントガラス100の上方や下方、左方、右方などの複数の領域に対応させた複数のDOE51を用いてもよい。
図14および図15は、DOE51へのスポット光の照射位置を変えることによって、フロントガラス100に表示される表示情報の位置や形状を変える例である。図14および図15の例では、運転席に座る運転手から見える対象物に重畳するように、フロントガラス100に楕円形や星型のマークを表示情報として表示させている。
図14に示すフロントガラス100上の位置(位置A1と呼ぶ)に楕円形のマークを表示させるためには、図14に示すDOE51の位置(位置A2と呼ぶ)に向けて第1反射鏡21から光を反射させる。そのためには、投射装置10の制御回路14は、図14に示す第1反射鏡21上の位置(位置A3と呼ぶ)にスポット光が形成されるパターンを空間光変調素子12の表示部に表示させる制御をする。そうすれば、第1反射鏡21上の位置A3に形成されたスポット光の反射光がDOE51の位置A2に照射され、図14のようにフロントガラス100上の位置A1に楕円形のマークが表示される。
マークを重畳させる対象が移動する場合は、対象の移動に合わせて、フロントガラス100上でマークを移動させればよい。表示システム2では、DOE51に照射する光の照射位置を変えることによってフロントガラス100上でマークを移動することができる。図15は、図14の楕円形のマークを移動させて星型のマークを表示させる例を示す。
図15に示すフロントガラス100上の位置(位置B1と呼ぶ)に星形のマークを表示させるためには、図15に示すDOE51の位置(位置B2と呼ぶ)に向けて第1反射鏡21からスポット光を反射させる。そのためには、投射装置10の制御回路14は、図15に示す第1反射鏡21上の位置(位置B3と呼ぶ)にスポット光が形成されるパターンを空間光変調素子12の表示部に表示させる制御をする。そうすれば、第1反射鏡21上の位置B3に形成されたスポット光の反射光がDOE51の位置B2に照射され、図15のようにフロントガラス100上の位置B1に星形のマークが表示される。
その結果、表示システム2は、フロントガラス100上において、位置A1から位置B1にマークの表示される位置を変更することができる。すなわち、表示システム2は、可動部を動かすことなく、フロントガラス100上で表示情報を移動・変更させることができる。DOE51を用いる場合、空間光変調素子12の表示部には、表示情報に対応するパターンを表示させるのではなく、DOE51の特定位置に光が照射されるパターンを表示させればよい。そのため、表示システム2は、第1の実施形態の表示システム1と比べて低電力で同じ輝度の表示情報をフロントガラス100に表示させることができる。
図16は、DOE51を用いて、フロントガラス100に色々な形状の表示情報を表示させる例である。DOE51を介した表示情報は、図16の第1表示領域101の部分表示領域105に表示される。なお、第1表示領域101の外枠(破線)、第2表示領域102の外枠(一点鎖線)および部分表示領域105の外枠(二点鎖線)は、仮想的な境界線を示しており、実際にはフロントガラス100に表示されない。
図16のように、第1反射鏡21に反射された光は第1表示領域101に低精細の表示情報として表示され、第2反射鏡22に反射された光は第2表示領域102に高精細の表示情報として表示される。図16の例では、第1反射鏡21に反射された光の一部がDOE51を介して部分表示領域105に表示される。DOE51を介して投射された光の精細度は、DOE51の特性に起因する。そのため、精細度が高い画像を投射できるDOE51を用いれば、部分表示領域105に高精細の表示情報を表示できる。
DOE51を用いる場合、表示情報をドット単位で動かすような細かな変化は与えにくいが、限られた種類の表示情報を用いる場合には、DOE51の格子を細かくすることによって表示情報の移動を滑らかに見せることができる。
また、DOE51を用いる場合、DOE51の格子ごとにスポットが位置するパターンを用いればよい。例えば、DOE51が100個の格子を有する場合、それらの格子の位置に光スポットが形成されるパターンを記憶回路43に記憶させておけばよい。また、スポット形状の基本パターンを記憶回路43に記憶させておき、その基本パターンを移動させる演算を制御回路14で行うことによって、スポットが移動するようにしてもよい。
ここで、図13の表示システム2の変形例を図17に示す。図17の変形例は、第2反射鏡22による光の反射方向にDOE52を配置する。DOE52は、DOE51と同様の構成である。
図14~図16の例では、DOE51を用いて第1表示領域101に表示される表示情報を高精細化する例を示した。図17の変形例では、DOE52を用いて第2表示領域102に表示される表示情報を高精度化する。例えば、道路標識などのように固定された表示情報であれば、DOE52を用いて高精細化した方が効率的である。
以上のように、本実施形態に係る表示システムによれば、第1の実施形態と同様の効果が得られるとともに、第1の実施形態よりも低電力で高精細な表示情報を表示させることができる。
(第3の実施形態)
次に、本発明の第3の実施形態に係る表示システム3について図面を参照しながら説明する。図18は、本実施形態に係る表示システム3の適用例を示す概念図である。図19は、本実施形態に係る表示システム3の投射装置の構成を示す概念図である。表示システム3は、投射装置10-3に加えて撮像装置16を備える。
次に、本発明の第3の実施形態に係る表示システム3について図面を参照しながら説明する。図18は、本実施形態に係る表示システム3の適用例を示す概念図である。図19は、本実施形態に係る表示システム3の投射装置の構成を示す概念図である。表示システム3は、投射装置10-3に加えて撮像装置16を備える。
図18のように、表示システム3は、車外を撮像する撮像装置16を備える。図18においては、ダッシュボード上に撮像装置16を設置する例を示しているが、撮像装置16の設置場所は任意である。例えば、撮像装置16は、バックミラーの裏側に設置してもよいし、運転席や助手席の上方の天井に設置してもよいし、運転席や助手席の座席の上方に設置してもよい。また、撮像装置16は、車外に設置してもよい。さらに、撮像装置16は、車両の前方のみならず、側方や後方を含む範囲を撮像するようにしてもよい。
図19のように、撮像装置16は、投射装置10-3の制御回路14-3に接続される。なお、撮像装置16は、制御回路14-3に直接接続してもよいし、別のインターフェースや回路、装置を介在させて制御回路14-3に接続してもよい。
図20は、撮像装置16の構成を示すブロック図である。図20のように、撮像装置16は、撮像素子61、画像処理プロセッサ62、内部メモリ63および出力回路64を有する。
撮像素子61は、例えば、車外を撮像して、撮像データを取得するための素子である。撮像素子61は、半導体部品が集積回路化された光電変換素子である。撮像素子61は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)などの固体撮像素子によって実現できる。通常、撮像素子61は、可視領域の光を撮像する素子によって構成するが、赤外線や紫外線、X線、ガンマ線、電波、マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。
画像処理プロセッサ62は、撮像素子61によって撮像された撮像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ62を省略してもよい。
内部メモリ63は、画像処理プロセッサ62によって画像処理を行う際に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子61によって撮像された画像情報を内部メモリ63に一時的に記憶するように構成してもよい。内部メモリ63は、一般的なメモリによって構成すればよい。
出力回路64は、画像処理プロセッサ62によって処理された画像情報を制御回路14-3に出力する。
図21は、制御回路14-3の構成を示すブロック図である。図21の制御回路14-3は、図7の制御回路14に、撮像制御回路46および解析回路47を追加した構成を有する。なお、図21の制御回路14-3のうち制御回路14に含まれるものについては詳細な説明を省略する。
撮像制御回路46は、撮像装置16に撮像させる回路である。撮像制御回路46は、所定のタイミングで撮像させるように撮像装置16を制御する。所定のタイミングは、一定の間隔であってもよいし、状況に応じて間隔を変更するようにしてもよい。車両の走行期間においては、撮像制御回路46は、一秒間に数回~数十回などの短周期で撮像装置16に撮像させるように制御することが好ましい。車の停止期間や駐車期間においては、撮像制御回路46は、走行中よりも長周期で撮像させたり、適当なタイミングで撮像させたり、停止させたりするように撮像装置16を制御すればよい。
撮像装置16は、撮像制御回路46の制御に応じて撮像した画像データを制御回路14-3に出力する。
撮像制御回路46は、撮像装置16によって撮像された画像データを取得し、その画像データを解析回路47に出力する。
解析回路47は、撮像装置16によって撮像された画像データを解析し、その画像データから検出対象を検出する。解析回路47は、フロントガラス100越しに運転手が検出対象を見た際に、フロントガラス100上においてその検出対象に表示情報が重畳される位置を特定する。解析回路47は、特定したフロントガラス100上の位置を、フロントガラス100上に設定した2次元座標系に合わせた位置情報を生成する。解析回路47は、生成した位置情報を制御条件生成回路42に出力する。
制御条件生成回路42は、解析回路47が生成した位置情報に相当する位置に表示情報を表示させるための制御条件を生成する。そして、制御条件生成回路42は、生成した制御条件を出力する。
次に、図22を用いて、解析回路47の詳細構成について説明する。図22は、解析回路47の構成を示すブロック図である。図22のように、解析回路47は、画像処理回路471、対象検出回路472、対象位置特定回路473および出力回路474を有する。
画像処理回路471は、撮像制御回路46が取得した画像データに画像処理を加え、検出対象を検出しやすいデータに変換する。例えば、画像処理回路471は、取得した撮像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行する集積回路として構成すればよい。画像処理回路471は、画像処理を加えた画像データ(以下、処理済データ)を対象検出回路472に出力する。
対象検出回路472は、画像処理回路471から処理済データを取得し、取得した処理済データから検出対象を検出する。対象検出回路472は、所定のアルゴリズムを用いて検出対象を検出する。
例えば、対象検出回路472は、連続した処理済データを比較していき、各処理済データから背景を抽出する。対象検出回路472は、処理済データから背景を差し引いたデータに含まれる対象物を検出対象として検出すればよい。
事故などを防ぐ目的であれば、対象検出回路472は、背景に対して大きな動きを示す物体を検出対象として検出すればよい。検出対象が人間であれば、対象検出回路472は、人間の歩行やランニングによる体の特徴的な動きを検出するアルゴリズムや人検出のアルゴリズムを用いればよい。自動車であれば、対象検出回路472は、自動車の形状や動きを検出するアルゴリズムや、自動車と路面との相対的な変化を抽出するアルゴリズムを用いればよい。また、対象検出回路472は、複数の処理済データから標準的な背景データ(標準データ)を作成して準備しておき、処理済データと標準データとの差分を計算して検出対象を検出してもよい。
対象検出回路472は、処理済データから検出対象を検出すると、処理済データ上における検出対象の位置を対象位置特定回路473に出力する。
対象位置特定回路473は、フロントガラス100越しに運転手が検出対象を見た際に、フロントガラス100に表示される表示情報が検出対象に重畳して視認される位置を特定する。対象検出回路472は、特定した位置情報を出力回路474に出力する。
例えば、対象位置特定回路473は、運転手の視点から見たフロントガラス100上の位置と、処理済データ上の位置とを対応付けるテーブルや演算式などの対応情報を格納しておけばよい。そうすれば、対象位置特定回路473は、処理済データ上における検出対象の位置を取得すれば、運転手の視点から見たフロントガラス100上の位置を対応情報に基づいて導出できる。ただし、表示システム3と検出対象との距離によって、フロントガラス100上の位置と処理済データ上の位置とがずれるので、検出対象との距離を測定するシステムと協働することが好ましい。
出力回路474は、対象位置特定回路473によって特定された検出対象の位置情報を制御条件生成回路42に出力する。
また、解析回路47は、対象検出回路472が検出した検出対象を追跡する回路を有していてもよい。一度検出された検出対象は、画像データからその都度検出し続けるよりも、特定のアルゴリズムを用いて追跡する方が計算量を小さくできる場合がある。例えば、解析回路47は、CamshiftやMeanshiftなどの手法を用いて検出対象を追跡することができる。また、解析回路47は、SIFT(Scale-Invariant Feature Transform)やHOG(Histograms of Oriented Gradients)などの特徴抽出法を用いて検出対象を追跡してもよい。また、解析回路47は、SURF(Speed Up Robust Features)などの特徴抽出法を用いて検出対象を追跡してもよい。
以上のように、本実施形態に係る表示システムによれば、表示システムを搭載する車両の走行に合わせて、その車両の走行に影響を与えるおそれのある検出対象を検出し、その検出対象に重畳させた表示情報をフロントガラスに表示することができる。
(適用例)
図23~図25は、本発明の実施形態に係る表示システムを説明するための具体例である。
図23~図25は、本発明の実施形態に係る表示システムを説明するための具体例である。
図23は、車両の運転席から見た視界の一例である。夜間においては、光が当たっていない対象物を視認しにくくなる。図23の例では、自転車に乗った人やランニングしている人歩道を歩く人、ガソリンスタンドから出てくる車両などが、危険となるポテンシャルをもつ対象となる。
図24は、一般的なヘッドアップディスプレイ(以下、HUD:Head-Up Display)によってフロントガラス100に表示情報を表示させる例である。
図24の例では、制限速度や走行速度、ナビゲーションシステムからの指示などの運転に関する基本情報を運転席前方に表示させる。具体的には、制限速度が毎時50キロメートルであり、走行速度が毎時45キロメートルであることを示す基本情報や、左折することを勧める指示情報(矢印)運転席前方に表示させている。また、図24の例では、危険となるポテンシャルをもつ対象に重畳する表示情報(楕円形のマーク)をフロントガラス100の全面に表示させている。
一般的なHUDでは、フロントガラス100全面に均一に光を照射するため、高精細の表示情報を表示させるためには光源の出力を大きくする必要がある。すなわち、一般的なHUDでは、光源の出力を小さくすると表示情報の精細度が低下してしまうため、光源の低電力化することと、表示情報の精細度を高めることとの間にトレードオフが発生する。
図25の例は、本実施形態の表示システムを用いて、第1表示領域101と第2表示領域102とで精細度が異なる表示情報を表示させる。なお、図25において、第1表示領域101の外枠(破線)および第2表示領域102の外枠(一点鎖線)は各領域の境界線を示しており、実際には表示されない。
運転席に近くない第1表示領域101には、ランニングする人や歩行者に重畳する表示情報を低精細で表示させる。一方、運転席に近い第2表示領域102には、自転車に乗った人や車両に重畳する表示情報や、ナビゲーションシステムからの指示、制限速度および走行速度に関する表示情報を高精細で表示させる。
一般に、運転者は、前方を注視しつつ、側方からの危険性に注意して運転を行う必要がある。したがって、運転者は、側方についてはちらちらと見る程度であるのに対し、運転席前方に表示された表示情報を見ている時間が長くなる。そのため、運転席前方の表示情報に対する精細度の要求が高いのに対し、運転席前方から外れた領域に表示される表示情報に関してはそれほど精細度を要求されない。
本実施形態の表示システムでは、第1表示領域101に低精細の表示情報を表示させ、第2表示領域102に高精細の表示情報を表示させる。その結果、本実施形態によれば、一般的なHUDと比べて低出力な光源を用いても、運転手による表示情報の視認性を向上することができる。
以上、本発明の実施形態及び実施例について説明した。しかしながら、本発明は、上述した各実施形態や実施例に記載した内容に限定されるものではなく、その構成及び動作は、その要旨を逸脱しない範囲で様々な変形が可能である。
この出願は、2016年9月21日に出願された日本出願特願2016-184074を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1、2、3 表示システム
10 投射装置
11 光源
12 空間光変調素子
13 投射光学系
14 制御回路
15 光源駆動電源
16 撮像装置
20 反射鏡
21 第1反射鏡
22 第2反射鏡
31 フーリエ変換レンズ
32 アパーチャ
33 投射レンズ
41 通信回路
42 制御条件生成回路
43 記憶回路
44 光源制御回路
45 変調素子制御回路
46 撮像制御回路
47 解析回路
51、52 DOE
61 撮像素子
62 画像処理プロセッサ
63 内部メモリ
64 出力回路
111 コリメータ
400 制御基板
401 プロセッサ
402 主記憶装置
403 補助記憶装置
405 入出力インターフェース
406 ネットワークアダプター
471 画像処理回路
472 対象検出回路
473 対象位置特定回路
474 出力回路
10 投射装置
11 光源
12 空間光変調素子
13 投射光学系
14 制御回路
15 光源駆動電源
16 撮像装置
20 反射鏡
21 第1反射鏡
22 第2反射鏡
31 フーリエ変換レンズ
32 アパーチャ
33 投射レンズ
41 通信回路
42 制御条件生成回路
43 記憶回路
44 光源制御回路
45 変調素子制御回路
46 撮像制御回路
47 解析回路
51、52 DOE
61 撮像素子
62 画像処理プロセッサ
63 内部メモリ
64 出力回路
111 コリメータ
400 制御基板
401 プロセッサ
402 主記憶装置
403 補助記憶装置
405 入出力インターフェース
406 ネットワークアダプター
471 画像処理回路
472 対象検出回路
473 対象位置特定回路
474 出力回路
Claims (10)
- 位相変調型の空間光変調素子と、前記空間光変調素子の表示部に光を照射する光源と、前記空間光変調素子および前記光源を制御する制御手段とを有し、前記空間光変調素子の表示部の反射光を投射する投射手段と、
前記投射手段の投射光を反射する反射鏡とを備え、
前記制御手段は、
精細度の異なる表示情報に対応する第1のパターンと第2のパターンとを前記空間光変調素子の表示部に表示させ、
前記反射鏡は、
前記第1のパターンが表示された部分の反射光を入射して第1の表示領域に向けて反射する第1の反射領域と、
前記第2のパターンが表示された部分の反射光を入射して第2の表示領域に向けて反射する第2の反射領域とを含む表示システム。 - 前記第2のパターンは前記第1のパターンよりも精細度の高い表示情報に対応し、
前記第2の表示領域は、第1の表示領域よりも視認されやすい領域に設定される請求項1に記載の表示システム。 - 前記第1の表示領域は、前記第2の表示領域よりも広い領域に設定され、
前記第2の反射領域が反射した光の拡大率は、前記第1の反射領域が反射した光の拡大率よりも小さくなるように設定される請求項2に記載の表示システム。 - 前記反射鏡は、
前記第1の反射領域を含む第1反射鏡と、前記第2の反射領域を含む第2反射鏡とを組み合わせて構成される請求項1乃至3のいずれか一項に記載の表示システム。 - 前記空間光変調素子の反射光に含まれる0次光の光路上に光吸収部材を配置する請求項1乃至4のいずれか一項に記載の表示システム。
- 前記反射鏡が反射した光が入射される位置に配置され、光の入射位置に応じた回折パターンを出射する少なくとも一つの回折光学素子を備え、
前記制御手段は、
前記回折光学素子への光の入射位置を前記空間光変調素子の表示部に表示されるスポット光の位置によって設定する請求項1乃至5のいずれか一項に記載の表示システム。 - 前記第1の反射領域および前記第2の反射領域のうち少なくとも一方に対応付けられる複数の前記回折光学素子を含む請求項6に記載の表示システム。
- 車両のフロントガラスに表示情報を表示させる表示システムであって、
前記車両の外部を撮像する撮像手段を備え、
前記制御手段は、
前記撮像手段によって撮像された画像データを解析して前記画像データに含まれる検出対象を検出する請求項1乃至7のいずれか一項に記載の表示システム。 - 前記制御手段は、
前記車両を運転する運転手の視点から見た前記フロントガラス上の位置と、前記撮像手段によって撮像された前記画像データ上の位置とを対応付ける対応情報を有し、
前記検出対象が検出された際に、前記画像データ上の前記検出対象の位置に対応する前記フロントガラス上の位置を前記対応情報に基づいて特定し、特定した前記フロントガラス上の前記検出対象の位置に所望の表示情報が表示されるように前記空間光変調素子の表示部に表示されるパターンを設定する請求項8に記載の表示システム。 - 請求項1乃至9のいずれか一項に記載の表示システムを備える車両。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018541034A JP6724995B2 (ja) | 2016-09-21 | 2017-09-15 | 表示システム |
| US16/334,500 US11237390B2 (en) | 2016-09-21 | 2017-09-15 | Display system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016184074 | 2016-09-21 | ||
| JP2016-184074 | 2016-09-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018056198A1 true WO2018056198A1 (ja) | 2018-03-29 |
Family
ID=61689566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/033419 Ceased WO2018056198A1 (ja) | 2016-09-21 | 2017-09-15 | 表示システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11237390B2 (ja) |
| JP (1) | JP6724995B2 (ja) |
| WO (1) | WO2018056198A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020149078A1 (ja) * | 2019-01-17 | 2020-07-23 | マクセル株式会社 | 車両用情報表示システムおよび情報表示装置 |
| CN113168794A (zh) * | 2018-11-27 | 2021-07-23 | 株式会社小糸制作所 | 车辆用显示装置 |
| WO2023026520A1 (ja) * | 2021-08-27 | 2023-03-02 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、および記録媒体 |
| WO2023026521A1 (ja) * | 2021-08-27 | 2023-03-02 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、および記録媒体 |
| WO2024219307A1 (ja) * | 2023-04-20 | 2024-10-24 | ソニーグループ株式会社 | 投影装置 |
| WO2025187222A1 (ja) * | 2024-03-04 | 2025-09-12 | ソニーグループ株式会社 | 投影装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7095291B2 (ja) | 2018-01-30 | 2022-07-05 | トヨタ自動車株式会社 | 車両用表示装置 |
| CN110221430B (zh) * | 2018-03-02 | 2022-02-18 | 蒋晶 | Hud系统和多屏拼接式衍射显示系统 |
| JP7052786B2 (ja) * | 2018-12-14 | 2022-04-12 | 株式会社デンソー | 表示制御装置および表示制御プログラム |
| DE102019200632B4 (de) * | 2019-01-18 | 2021-11-25 | Audi Ag | Bediensystem mit portabler Schnittstelleneinheit sowie Kraftfahrzeug mit dem Bediensystem |
| JP7439563B2 (ja) * | 2020-02-26 | 2024-02-28 | トヨタ自動車株式会社 | 走行支援装置 |
| CN114423637B (zh) * | 2020-04-28 | 2024-05-28 | 三菱自动车工业株式会社 | 车辆状态显示装置以及车辆状态显示方法 |
| US12459358B2 (en) * | 2023-03-20 | 2025-11-04 | GM Global Technology Operations LLC | Graphics projector for use in a vehicle |
| US12272277B1 (en) * | 2024-01-25 | 2025-04-08 | Fca Us Llc | Selectively operational heads-up display system for a vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015087594A (ja) * | 2013-10-31 | 2015-05-07 | アルプス電気株式会社 | 車載用投影装置 |
| US20160054564A1 (en) * | 2014-08-22 | 2016-02-25 | Hyundai Motor Company | Integrated cluster and head-up display device for vehicle |
| JP2016045252A (ja) * | 2014-08-20 | 2016-04-04 | 日本精機株式会社 | 投影装置及びヘッドアップディスプレイ装置 |
| WO2016103869A1 (ja) * | 2014-12-26 | 2016-06-30 | アルプス電気株式会社 | 画像処理装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4871459B2 (ja) | 2001-07-17 | 2012-02-08 | 矢崎総業株式会社 | 車載用ヘッドアップディスプレイ装置 |
| US7619825B1 (en) * | 2004-09-27 | 2009-11-17 | Rockwell Collins, Inc. | Compact head up display with wide viewing angle |
| US7874689B2 (en) * | 2006-10-03 | 2011-01-25 | Denso Corporation | Display device |
| JP2010139688A (ja) | 2008-12-11 | 2010-06-24 | Panasonic Corp | 画像投影装置 |
| JP5333782B2 (ja) | 2010-02-26 | 2013-11-06 | 株式会社エクォス・リサーチ | ヘッドアップディスプレイ装置 |
| DE102015101687A1 (de) * | 2015-02-05 | 2016-08-11 | Carl Zeiss Jena Gmbh | Verfahren und Vorrichtungen zur Dateneinspiegelung |
| JP6354633B2 (ja) * | 2015-03-25 | 2018-07-11 | マツダ株式会社 | ヘッドアップディスプレイ装置 |
| GB201510523D0 (en) * | 2015-06-16 | 2015-07-29 | Jaguar Land Rover Ltd | Vehicle information display assembly, system and method |
-
2017
- 2017-09-15 US US16/334,500 patent/US11237390B2/en active Active
- 2017-09-15 JP JP2018541034A patent/JP6724995B2/ja active Active
- 2017-09-15 WO PCT/JP2017/033419 patent/WO2018056198A1/ja not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015087594A (ja) * | 2013-10-31 | 2015-05-07 | アルプス電気株式会社 | 車載用投影装置 |
| JP2016045252A (ja) * | 2014-08-20 | 2016-04-04 | 日本精機株式会社 | 投影装置及びヘッドアップディスプレイ装置 |
| US20160054564A1 (en) * | 2014-08-22 | 2016-02-25 | Hyundai Motor Company | Integrated cluster and head-up display device for vehicle |
| WO2016103869A1 (ja) * | 2014-12-26 | 2016-06-30 | アルプス電気株式会社 | 画像処理装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11900835B2 (en) | 2018-11-27 | 2024-02-13 | Koito Manufacturing Co., Ltd. | Vehicular display device |
| CN113168794A (zh) * | 2018-11-27 | 2021-07-23 | 株式会社小糸制作所 | 车辆用显示装置 |
| EP3889948A4 (en) * | 2018-11-27 | 2022-08-10 | Koito Manufacturing Co., Ltd. | VEHICLE DISPLAY DEVICE |
| CN113168794B (zh) * | 2018-11-27 | 2023-10-27 | 株式会社小糸制作所 | 车辆用显示装置 |
| JP2020115158A (ja) * | 2019-01-17 | 2020-07-30 | マクセル株式会社 | 車両用情報表示システムおよび情報表示装置 |
| JP7202191B2 (ja) | 2019-01-17 | 2023-01-11 | マクセル株式会社 | 車両用情報表示システム |
| US11586040B2 (en) | 2019-01-17 | 2023-02-21 | Maxell, Ltd. | In-vehicle information display system and information display apparatus |
| US12493183B2 (en) | 2019-01-17 | 2025-12-09 | Maxell, Ltd. | In-vehicle information display system and information display apparatus |
| US12038580B2 (en) | 2019-01-17 | 2024-07-16 | Maxell, Ltd. | In-vehicle information display system and information display apparatus |
| WO2020149078A1 (ja) * | 2019-01-17 | 2020-07-23 | マクセル株式会社 | 車両用情報表示システムおよび情報表示装置 |
| JP2023033325A (ja) * | 2019-01-17 | 2023-03-10 | マクセル株式会社 | 情報表示装置 |
| JP2023032469A (ja) * | 2021-08-27 | 2023-03-09 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、およびプログラム |
| JP7440466B2 (ja) | 2021-08-27 | 2024-02-28 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、およびプログラム |
| WO2023026521A1 (ja) * | 2021-08-27 | 2023-03-02 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、および記録媒体 |
| JP7623249B2 (ja) | 2021-08-27 | 2025-01-28 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、およびプログラム |
| WO2023026520A1 (ja) * | 2021-08-27 | 2023-03-02 | Necプラットフォームズ株式会社 | 投射装置、投射制御方法、および記録媒体 |
| WO2024219307A1 (ja) * | 2023-04-20 | 2024-10-24 | ソニーグループ株式会社 | 投影装置 |
| WO2025187222A1 (ja) * | 2024-03-04 | 2025-09-12 | ソニーグループ株式会社 | 投影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6724995B2 (ja) | 2020-07-15 |
| US11237390B2 (en) | 2022-02-01 |
| US20210341736A1 (en) | 2021-11-04 |
| JPWO2018056198A1 (ja) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6724995B2 (ja) | 表示システム | |
| US12314006B2 (en) | Lighting device for vehicles | |
| JP7019636B2 (ja) | 映像投射装置 | |
| US11447065B2 (en) | Timing control unit for controlling an illumination device with coherent light source | |
| US11003137B2 (en) | Holographic lidar system and method | |
| CN110654302B (zh) | 图像投射装置和图像投射方法 | |
| JP6175589B2 (ja) | 投写型表示装置及び投写表示方法 | |
| JP7065383B2 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
| WO2017011799A1 (en) | Head-up display | |
| CN114466761A (zh) | 平视显示器及图像显示系统 | |
| JP2005538656A (ja) | 自動車用の立体的暗視装置 | |
| JP2016159656A (ja) | 車両用表示装置 | |
| KR102891476B1 (ko) | 헤드업 디스플레이 보정 | |
| KR20180046567A (ko) | 차량용 헤드 업 디스플레이 제어 장치 및 방법 | |
| JP2018167669A (ja) | ヘッドアップディスプレイ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17852971 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2018541034 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17852971 Country of ref document: EP Kind code of ref document: A1 |