[go: up one dir, main page]

WO2014192103A1 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
WO2014192103A1
WO2014192103A1 PCT/JP2013/064927 JP2013064927W WO2014192103A1 WO 2014192103 A1 WO2014192103 A1 WO 2014192103A1 JP 2013064927 W JP2013064927 W JP 2013064927W WO 2014192103 A1 WO2014192103 A1 WO 2014192103A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
display
user
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/064927
Other languages
English (en)
French (fr)
Inventor
幹郎 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to US14/783,828 priority Critical patent/US20160054795A1/en
Priority to CN201380076824.0A priority patent/CN105229584A/zh
Priority to KR1020157036710A priority patent/KR20160016907A/ko
Priority to JP2015519547A priority patent/JPWO2014192103A1/ja
Priority to PCT/JP2013/064927 priority patent/WO2014192103A1/ja
Priority to EP13885922.8A priority patent/EP3007048A4/en
Publication of WO2014192103A1 publication Critical patent/WO2014192103A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to an information display device that superimposes and displays information provided to a user on a real-world image or video.
  • AR Augmented Reality
  • Google glass promoted by Google registered trademark
  • This device using AR technology generates information on objects in the field of view or objects that cannot be detected by the eye in the field of view that is directly viewed by humans or captured by the camera. This presents support for human perception.
  • Patent Document 1 discloses a technique that makes it easy for a user to understand a character by displaying information about the person appearing in the field of view in a theater while being superimposed on the video. is doing.
  • an image in a field of view is divided into quadrants, and it is determined whether information can be displayed based on whether a person can be detected in each quadrant, and information is displayed in an area where no person is detected.
  • Non-Patent Document 1 discloses a “peripheral visual field region information presentation method by gaze measurement for an augmented reality environment”.
  • a gaze recognition device is used to detect a user's gazing point, the periphery of the detected gazing point is a central visual field, and the outer region is a peripheral visual field, and information is presented to the peripheral visual field. This prevents the user's view from being obstructed.
  • the visual field recognition device is used to divide the visual field into a central visual field and a peripheral visual field and present information to the peripheral visual field. Prevents the field of vision from being obstructed. However, depending on the shape of the object that the user is looking at, the object may enter the peripheral visual field, and what the user is looking at may be blocked by the presented information.
  • This invention is made in order to solve such a problem, and it aims at providing the information display apparatus which can display the information provided to a user, without interrupting what the user sees. To do.
  • an image input unit that inputs an image corresponding to the user's field of view, and a line of sight that detects a gaze point that represents the position of the line of sight within the user's field of view.
  • a detection unit an object recognition unit that extracts a region in the image of the object including the gazing point detected by the line-of-sight detection unit as an image from the image input from the image input unit, and the object recognition unit.
  • the display position determination unit Based on the information about the first region, the display position determination unit that determines the position where the user's line of sight is not in the visual field as the display position, and the display position determined by the display position determination unit And an information display unit that displays information to be presented.
  • information is displayed in a region in the field of view where the user's line of sight is not hit, so that information provided to the user can be displayed without blocking what the user is looking at. it can.
  • FIG. 1 is a diagram showing an information display device according to Embodiment 1 of the present invention.
  • FIG. 1 (a) is a block diagram showing an electrical configuration of the information display device
  • FIG. 1 (b) is an information display. It is a figure which shows the image of the structure at the time of applying an apparatus to spectacles.
  • the information display device includes an image input unit 1, a line-of-sight detection unit 2, an object recognition unit 3, a timer 4, a display position determination unit 5, and an information display unit 6.
  • the image input unit 1 is configured by a camera, for example, and inputs an image corresponding to the field of view obtained by photographing the user's field of view.
  • the image input by the image input unit 1 is sent to the object recognition unit 3.
  • the line-of-sight detection unit 2 detects a line of sight indicating which part of the field of view the user is viewing.
  • the position (gaze point) of the line of sight detected by the line-of-sight detection unit 2 is sent to the object recognition unit 3.
  • the object recognition unit 3 recognizes and extracts an object including a gazing point sent from the line-of-sight detection unit 2 from the image sent from the image input unit 1. That is, the object recognition unit 3 extracts a region (first region) in the image of the object including the gazing point.
  • the object recognition unit 3 recognizes the shape and area of the object by performing, for example, contour extraction.
  • Information representing the object recognized and extracted by the object recognition unit 3 is sent to the display position determination unit 5.
  • an existing technique as shown in Non-Patent Document 2 can be used.
  • Timer 4 measures a certain time, for example, several seconds.
  • the timer 4 is started by an instruction from the display position determining unit 5, and when the set time has elapsed, the timer 4 notifies the display position determining unit 5 and then stops.
  • the display position determination unit 5 determines the display position, that is, in which area in the field of view, the information is displayed based on the information from the object recognition unit 3. Information indicating the display position determined by the display position determination unit 5 is sent to the information display unit 6. At this time, the display position determination unit 5 starts the timer 4 and fixes the information indicating the display position until receiving a notification from the timer 4 that a predetermined time has elapsed. In other words, the display position determination unit 5 notifies the information display unit 6 not to change the display position until a notification that the predetermined time has elapsed is received from the timer 4.
  • the reason why the information indicating the display position is fixed and the information display is maintained for a certain time is as follows. That is, when the information display position is determined based on the gazing point from the line-of-sight detection unit 2, the information display position also changes when the line of sight moves. In this situation, the user may not be able to see the displayed information. Therefore, once the information is displayed, the display position determination unit 5 starts the timer 4 so that the display position of the displayed information is not changed for a certain period of time. Thereby, even when the user's line of sight moves, the display position of the information is fixed for a certain period of time, so that the user can confirm the presented information more reliably.
  • the information display unit 6 displays information at the display position indicated by the information sent from the display position determination unit 5.
  • information is projected into the field of view using a lens unit of spectacles as a screen.
  • FIG. 2 is a flowchart showing the operation of the information display device when information provided to the user is displayed in the field of view.
  • the process is started, first, the user's line of sight is detected (step ST11). That is, the line-of-sight detection unit 2 detects a portion (gaze point) that the user in the field of view is looking at.
  • FIG. 3 shows an example in which a gazing point is placed on the lower left automobile in the field of view.
  • the gazing point detected by the line-of-sight detection unit 2 is sent to the object recognition unit 3 as a coordinate value (x, y) in the image, for example.
  • the object recognizing unit 3 includes the coordinate value (x, y) that is an example of the position information of the gazing point sent from the line-of-sight detecting unit 2 from the image sent from the image input unit 1.
  • the region is recognized as an object that the user is looking at, and the region where the object exists is extracted as indicated by a broken line in FIG. That is, the object recognition unit 3 extracts a region in the image of the object including the gazing point.
  • information representing the region of the object for example, a point sequence (x1, y1), (x2, y2),..., (Xn, yn) indicating the contour of the region is obtained.
  • Information representing the area of the object is sent to the display position determination unit 5.
  • the display position of the information is determined (step ST13). That is, the display position determination unit 5 determines in which area (position) in the field of view information is displayed. At this time, the display position is determined so as to display at a position in the field of view corresponding to an area (second area) different from the area (first area) that the user is viewing.
  • Various algorithms can be used to determine which part of the area that the user does not see to use for displaying information. For example, the following method can be used simply. .
  • the region different from the region viewed by the user may include a portion of the region viewed by the user as long as the display object does not obstruct the object viewed by the user.
  • the area of each region can be expressed by the following equation.
  • the display position determination unit 5 obtains the area using these equations, selects the largest region as the display region, and sends information on the selected region to the information display unit 6 as the display position.
  • step ST14 information is displayed (step ST14). That is, the information display unit 6 displays information at the display position sent from the display position determination unit 5 as shown in FIG.
  • the information display unit 6 can be configured to perform display after performing processing such as shifting the display position.
  • the user in the field of view is based on the information about the object region (first region) in the image extracted by the object recognition unit 3. Since the information is displayed at a position where the line of sight is not hit, it is possible to display good information without the information blocking the object viewed by the user.
  • the information display device may be applied to a driver seat of a car, for example.
  • a line-of-sight detection unit 2 that captures the driver's line of sight is installed in the instrument panel portion
  • an image input unit (camera) 1 is installed outside so as to capture the driver's field of view
  • the information display unit 6 is a front screen. It is composed of a head-up display that displays information. With this configuration, the driver can receive information according to the surrounding situation.
  • Embodiment 2 In the information display device according to the second embodiment of the present invention, the determination of the display position of the information presented to the user is simplified as compared with the first embodiment.
  • the configuration of the information display device is the same as the configuration of the information display device according to the first embodiment shown in FIG. 1 except for the operation of the display position determination unit 5.
  • the display position determination unit 5 of the information display device has an algorithm for determining which part of the field in the field of view that the user does not see is used for displaying information. Different from that of 1. That is, in the first embodiment, the display position determination unit 5 determines the largest area among the upper, lower, left, and right areas of the object recognized by the object recognition unit 3 as the information display position. The display position of the object recognized by the object recognition unit 3 is determined so as to display information to be presented to the user at a far position on the opposite side of the center of the field of view. That is, the display position determination unit 5 determines the position in the field of view corresponding to the region opposite to the region viewed by the user as the display position with respect to the center in the image corresponding to the field of view.
  • step ST11 the user's line of sight is detected (step ST11).
  • step ST12 the region of the object that the user is looking at is extracted (step ST12).
  • step ST13 the information display position is determined (step ST13). That is, as shown in FIG. 7, the display position determination unit 5 displays the information presented to the user with respect to the object extracted by the object recognition unit 3 in step ST12, that is, on the opposite side of the center of view, that is, the user
  • the display position is determined so as to display at a position far from the area where the user is viewing. In other words, an area having the base point at the farthest position P1 passing through the center of the field of view from the object is determined as the display position. Thereafter, information is displayed (step ST14).
  • information is displayed at the farthest place from the object the user is looking at.
  • Good information can be displayed without obstructing information on the object.
  • it is not necessary to obtain the areas of the upper, lower, left, and right regions of the object in order to determine the information display position, so that the processing time until the display position is determined can be shortened.
  • the information is displayed at a position farthest from the “object” that the user is looking at.
  • the information is further simplified, and the information is displayed at a position farthest from the “gaze point” of the user. It can be modified to display information.
  • FIG. 8 is a block diagram showing a configuration of an information display device according to a modification of the second embodiment.
  • This information display device is configured to remove the object recognition unit 3 from the information display device according to Embodiment 1 and to send the image obtained by the image input unit 1 directly to the display position determination unit 5. Yes.
  • the display position determination unit 5 determines the display position, that is, in which area the information is displayed, based on the image from the image input unit 1 and the information from the line-of-sight detection unit 2. Specifically, the display position determination unit 5 displays the information to be presented to the user at a distant position on the opposite side of the center of the field of view with respect to the gazing point detected by the line-of-sight detection unit 2. Is determined. In other words, the display position determination unit 5 determines the position in the field of view corresponding to the region on the opposite side of the user's gaze point as the display position with respect to the center in the image corresponding to the field of view.
  • step ST11 the user's line of sight is detected (step ST11).
  • step ST13 the information display position is determined (step ST13). That is, the display position determination unit 5 uses the information presented to the user as shown in FIG. 9 on the opposite side of the center of the field of view to the gazing point detected by the line-of-sight detection unit 2 in step ST11, that is, use
  • the display position is determined so as to be displayed at a position far from the area the person is looking at. In other words, the region having the base point at the farthest position P2 passing through the center of the field of view from the gazing point is determined as the display position. Thereafter, information is displayed (step ST14).
  • information is displayed at a position farthest from the user's point of sight, so that the user can see it. It is possible to display good information without obstructing information on the object.
  • information display device As described above, according to the information display device according to the modification of the second embodiment, as shown in FIG. 9, information is displayed at a position farthest from the user's point of sight, so that the user can see it. It is possible to display good information without obstructing information on the object.
  • there is no need to recognize the object further reducing the processing time until the information display position is determined. it can.
  • the information when the display position is determined, the information may be displayed by shifting the display position if display is difficult due to the size of the displayed information. Can be configured to display.
  • Embodiment 3 In the information display device according to Embodiment 3 of the present invention, in the information display device according to Embodiment 1, the display position (area) of information to be presented to the user is further narrowed down so that the field of view is not hindered as much as possible. Is.
  • the configuration of the information display device is the same as the configuration of the information display device according to the first embodiment shown in FIG. 1 except for the operations of the object recognition unit 3 and the display position determination unit 5.
  • the object recognition unit 3 recognizes and extracts an object including a gazing point sent from the line-of-sight detection unit 2 from the image sent from the image input unit 1, and further, An object existing in the display area determined by the display position determination unit 5 is recognized and extracted. Information indicating the region of the object recognized by the object recognition unit 3 is sent to the display position determination unit 5.
  • the display position determination unit 5 further includes an object recognition unit as shown as a region surrounded by a broken line in FIG. 10A in the region (display region) having the largest area determined in the same manner as in the first embodiment. An empty area other than the object area (third area) extracted in 3 is determined as a display position. Information indicating the display position determined by the display position determination unit 5 is sent to the information display unit 6.
  • the processing is started, first, the user's line of sight is detected (step ST11). Next, the region of the object that the user is looking at is extracted (step ST12). Next, the information display position is determined (step ST13). That is, the display position determination unit 5 determines in which area (position) in the field of view information is displayed. At this time, the display position is determined as follows, for example, so as to display in an area different from the area that the user is viewing.
  • the display position determination unit 5 determines the largest region among the upper, lower, left, and right regions of the object recognized by the object recognition unit 3 as an information display region.
  • the object recognition unit 3 recognizes and extracts an object region existing in the display region determined by the display position determination unit 5.
  • an existing technique as shown in Non-Patent Document 2 can be used.
  • the display position determination unit 5 determines an empty area other than the object recognized by the object recognition unit 3 as the display position.
  • the display position determination unit 5 is a position in the field of view corresponding to a region different from the region (third region) where the object exists in the display region (second region) extracted by the object recognition unit 3. Is determined as the display position.
  • the region determined may partially include a region where an object exists (third region).
  • Information indicating the display position determined by the display position determination unit 5 is sent to the information display unit 6. Thereafter, information is displayed (step ST14).
  • a region having the largest area around the object is specified, and within the specified region, Further, an area having no object is specified, and then, as shown in FIG. 10B, the specified area is determined as an information display area and information is displayed. Therefore, it is possible to display good information without obstructing the object the user is looking at.
  • the user since information is displayed so as not to obstruct objects other than the user's gaze within the field of view, the user can view the information while grasping the status of the object other than the object being gaze within the field of view. It becomes. Note that if display is difficult in the area due to the size of the information to be displayed, the display position can be shifted to display the information.
  • Embodiment 4 FIG.
  • the information display apparatus according to Embodiment 4 of the present invention controls the display of information in accordance with the movement of the user's point of gaze.
  • the configuration of the information display device is the same as the configuration of the information display device according to the first embodiment shown in FIG. 1 except for the operation of the display position determination unit 5.
  • the display position determination unit 5 controls the position of the displayed information so as not to change for a certain period of time based on the information from the timer 4.
  • the display position determination unit 5 moves the viewpoint of the user. Accordingly, the display position of information is made variable.
  • the operation of the information display device is the same as that of the information display device according to the first embodiment shown in the flowchart of FIG. 2 except for the operation of the display position determination unit 5.
  • the description will be focused on the parts different from the first embodiment with reference to the flowchart shown in FIG. 2, and the description of the same parts will be simplified.
  • step ST11 the user's line of sight is detected (step ST11).
  • step ST12 the region of the object that the user is looking at is extracted (step ST12).
  • step ST13 the information display position is determined (step ST13). That is, the display position determination unit 5 determines in which area (position) in the field of view information is displayed. At this time, the display position is determined so as to display in an area different from the area the user is viewing. Information indicating the display position determined by the display position determination unit 5 is sent to the information display unit 6. Thereafter, information is displayed (step ST14).
  • the display position determination unit 5 determines that the user is looking at the information when the user's gazing point moves to the information display area within a certain time measured by the timer 4. The display position of the information is not changed unless the gazing point sent from the line-of-sight detection unit 2 is separated from the information display area. At this time, the timer 4 is reset.
  • the display position determination unit 5 starts the timer 4 when the user's point of interest moves away from the information display area, and allows the display position of the information to be changed after a predetermined time, for example, several seconds have elapsed. .
  • a predetermined time for example, several seconds have elapsed.
  • the timer 4 is reset and the information display position is maintained.
  • the information display position can be changed after a certain period of time, if the amount of movement of the gazing point is small, for example, smaller than a predetermined threshold, the information display position is changed. It can also be configured to perform processing such as not changing.
  • the information display device since the display position of information is changed according to the movement of the user's point of sight, it is possible to display good information. Become.
  • FIG. 11 is a block diagram showing the configuration of the information display apparatus according to the fifth embodiment.
  • This information display device is configured by adding an acceleration sensor 11, a position information sensor 12, an operation state detection unit 13, and a display control unit 14 to the information display device according to the first embodiment shown in FIG.
  • the acceleration sensor 11 detects the acceleration of the information display device.
  • the acceleration sensor 11 for example, an equivalent sensor used in a mobile phone or the like can be used.
  • Information indicating the acceleration detected by the acceleration sensor 11 is sent to the operation state detection unit 13.
  • the position information sensor 12 for example, a GPS (Global Positioning System) equivalent to a mobile phone or the like can be used.
  • the position information sensor 12 detects the position of the information display device on the earth by receiving a signal from a satellite. Information indicating the position detected by the position information sensor 12 is sent to the operation state detection unit 13.
  • the operation state detection unit 13 determines the physical operation state of the information display device based on information from the acceleration sensor 11 and the position information sensor 12, and sends information related to the operation state to the display control unit 14.
  • the display control unit 14 generates information instructing whether or not to display information according to the information on the operation status from the operation state detection unit 13, and sends the information to the information display unit 6. Thereby, the information display part 6 displays the information provided to a user, or stops a display.
  • the operation of the information display device configured as described above will be described.
  • the description will focus on the control of information display timing. For example, when the user is walking, if the information is displayed on the user to obstruct the field of view, a dangerous situation may occur.
  • the operation state detection unit 13 determines the operation states of the information display device and the user, and controls information display.
  • the operation state detection unit 13 determines whether the user is walking or running based on information from the acceleration sensor 11. If a state such as walking or running is detected, information indicating that is sent to the display control unit 14.
  • the display control unit 14 When the display control unit 14 receives information related to the operation status from the operation state detection unit 13, the display control unit 14 determines whether the status is appropriate for information display, and displays information to stop the information display if the status is inappropriate. Instruct the unit 6. In response to this instruction, the information display unit 6 stops displaying information.
  • the operation state detection unit 13 detects a stopped state based on information from the acceleration sensor 11 and sends the information to the display control unit 14.
  • the display control unit 14 determines that the state is suitable for information display, and instructs the information display unit 6 to display information.
  • the display control unit 14 has been described with the condition settings such as “unsuitable for information display when walking or running” and “appropriate for information display when stopped”.
  • the condition setting can be performed in detail. For example, it is possible to set a condition such as “the stopped and depressed state is appropriate for information display”.
  • the user can set these conditions so that they can be stored in the information display device.
  • it can be configured to stop displaying information when it is detected that there are many vehicles in the vicinity.
  • it can be judged by using the positional information and map data of the positional information sensor 12 whether a vehicle exists around. For example, when the position of the user is near a road on the map, it can be determined that there is a vehicle around.
  • the map data may be stored in the information display device or acquired from an external device such as a server.
  • the information display device since it is configured to control whether or not information can be displayed according to the operation status of the user, the user can pay attention to the information. Avoid dangerous situations.
  • FIG. 12 is a block diagram showing a configuration of the information display apparatus according to the sixth embodiment.
  • This information display device removes the acceleration sensor 11, the position information sensor 12, the operation state detection unit 13, and the display control unit 14 from the information display device according to the fifth embodiment shown in FIG.
  • a voice recognition unit 22 and a display control unit 23 are added.
  • the voice input unit 21 is composed of, for example, a microphone, and the voice input from the voice input unit 21 for inputting the user's voice is sent to the voice recognition unit 22 as voice information.
  • the voice recognition unit 22 recognizes voice from the voice information sent from the voice input unit 21.
  • the voice recognition result obtained by the voice recognition unit 22 is sent to the display control unit 23.
  • the display control unit instructs the information display unit 6 whether to display information according to the voice recognition result sent from the voice recognition unit 22. Thereby, the information display part 6 displays the information provided to a user, or stops a display.
  • the voice input unit 21 inputs the voice around the user or the voice of the user and sends it to the voice recognition unit 22.
  • the voice recognition unit 22 determines what is the voice input from the voice input unit 21 and sends the determination result to the display control unit 23 as a voice recognition result. For example, when an emergency vehicle passes around the user, the voice recognition unit 22 recognizes the emergency vehicle from the sound of the emergency vehicle input from the voice input unit 21, and displays the voice recognition result as a display control unit. 23.
  • the display control unit 23 determines that the situation is inappropriate for information display, and instructs the information display unit 6 to stop the information display. .
  • the information display can be directly controlled by recognizing the voice uttered by the user in the voice recognition unit 22. For example, when the user utters a voice such as “information display stop”, the voice recognition unit 22 detects the instruction and notifies the display control unit 23 that “information display stop” has been recognized. Thereby, the display control unit 23 determines that the information display is inappropriate, and instructs the information display unit 6 to stop the information display. It can also be instructed by voice that information can be displayed.
  • the information display device since it is configured to control whether or not information can be displayed according to the surrounding voice, it is possible to display good information according to the surrounding situation. Is possible.
  • FIG. 13 is a block diagram illustrating a configuration of the information display device according to the seventh embodiment.
  • This information display device includes a command determination unit 31 instead of the display control unit 23 of the information display device according to Embodiment 6 shown in FIG. 12, and further includes a communication device 32 and an image search device 33. Has been.
  • the command determination unit 31 acquires an image to be searched based on information from the object recognition unit 3 and the line-of-sight detection unit 2 when the voice recognition result sent from the voice recognition unit 22 indicates a search command. To the communication device 32. Further, the command determination unit 31 sends the search result information received from the communication device 32 to the information display unit 6.
  • the communication device 32 sends the search target image sent from the command determination unit 31 to the image search device 33 and requests image search. Further, the communication device 32 sends the search result information sent from the image search device 33 to the command determination unit 31.
  • the image search device 33 performs an image search based on the search target image sent from the communication device 32, and sends the search result information to the communication device 32.
  • the user makes an utterance such as “search for what he / she sees” by voice while matching the viewpoint to the object to be searched for images.
  • the voice input unit 21 inputs a voice uttered by the user and sends it to the voice recognition unit 22.
  • the voice recognition unit 22 informs the command determination unit 31 that the voice input from the voice input unit 21 is a line-of-sight search command.
  • the command determination unit 31 has a series of necessary processing information corresponding to the information from the voice recognition unit 22, and starts a series of processing related to the line-of-sight search from the information that it is a line-of-sight search command. That is, the command determination unit 31 obtains gaze point information from the line-of-sight detection unit 2 and causes the object recognition unit 3 to extract the region of the object at that position.
  • the operation of the object recognition unit 3 is the same as that described in the first embodiment. As illustrated in FIG. 14, when the object recognition unit 3 extracts an area of the object that the user is viewing, the command determination unit 31 acquires an image of the area and searches for an image via the communication device 32. The image is sent to the apparatus 33 and an image search is requested.
  • a Google image search site can be used as the image search device 33.
  • the image search device 33 sends information related to the searched image to the communication device 32 as search result information.
  • the communication device 32 sends the search result information from the image search device 33 to the command determination unit 31.
  • the command determination unit 31 acquires search result information from the communication device 32 and sends the information to the information display unit 6.
  • the information display unit 6 receives the information indicating the display position from the display position determination unit 5 and the search result information from the command determination unit 31 and displays the information in an appropriate area.
  • information related to the image viewed by the user is acquired from the image search device 33 according to the voice uttered by the user. Since the acquired information is displayed in an appropriate area, information desired by the user can be provided.
  • the present invention can be used for, for example, a car navigation system for displaying various information in an actual field of view viewed by a user through a window.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

　この発明は、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる情報表示装置を提供するために、利用者の視界に対応する画像を入力する画像入力部１と、利用者の視界内における視線の位置を表す注視点を検知する視線検知部２と、画像入力部１から入力された画像から、視線検知部２で検知された注視点を含む物体の画像内における領域を第１の領域として抽出する物体認識部３と、物体認識部３で抽出された第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部５と、表示位置決定部５で決定された表示位置に、利用者に提示する情報を表示する情報表示部６とを備えている。

Description

情報表示装置
　この発明は、実世界の画像または映像に、利用者に提供する情報を重畳して表示する情報表示装置に関するものである。
　近年、人間が知覚する実世界に対し、コンピュータによって情報の追加や強調を行うことにより、人間を取り巻く実世界を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術が用いられるようになってきている。このＡＲ技術を用いた機器として、例えば、Ｇｏｏｇｌｅ（登録商標）社が進めているＧｏｏｇｌｅグラスのような、カメラと小型の表示装置を備えたデバイスが知られている。
　このＡＲ技術を用いたデバイスは、人間が直接に見ている視界またはカメラで捉えた現実の映像などの中に、視界の中のオブジェクトまたは目に捉えることができないオブジェクトなどに対する情報をコンピュータで生成して提示し、これにより人間の知覚を支援する。
　このような技術として、例えば、特許文献１は、劇場内で視界内に登場する人物に関する情報を、映像に重畳して表示することにより利用者に対して登場人物を理解しやすくする技術を開示している。この技術では、視界内の画像を象限に区切り、各象限内で人物を検出できるかどうかによって情報表示が可能かどうかを判断し、人物が検出されない領域に情報を表示する。
　しかしながら、この特許文献１に開示された技術のように、利用者に提示する情報を現実の空間にそのまま重畳して視界内に表示すると、利用者の視界を遮る場合があり、利用者の視界が妨げられるという問題がある。この問題を解消するために、非特許文献１は、「拡張現実感環境のための視線計測による周辺視野領域情報提示手法」を開示している。この周辺視野領域情報提示手法では、視線認識装置を用いて利用者の注視点を検知し、その検知した注視点の周辺を中心視野、その外側の領域を周辺視野とし、周辺視野に情報の提示を行うことにより利用者の視界が妨げられることを防いでいる。
特開２０１２－１０８７９３号公報
「拡張現実感環境のための視線計測による周辺視野領域情報提示手法」、石黒祥生、暦本純一、情報処理学会論文誌、Ｖｏｌ．５３　Ｎｏ．４、ｐｐ１３２８－１３３７（Ａｐｒ．２０１２） 「色の類似性に基づいた形状特徴量CS-HOGの提案」、後藤 雄飛，山内 悠嗣，藤吉 弘亘、画像センシングシンポジウム(SSII2012)，IS3-04，2012．
　上述したように、非特許文献１に開示された周辺視野領域情報提示手法では、視線認識装置を用いて視界を中心視野と周辺視野に分割し、周辺視野に情報の提示を行うことにより利用者の視界が妨げられることを防いでいる。しかしながら、利用者が見ているオブジェクトの形状によっては、そのオブジェクトが周辺視野に入ってしまい、利用者が見ているものが、提示された情報によって遮られてしまう場合がある。
　この発明は、このような問題を解決するためになされたものであり、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる情報表示装置を提供することを課題とする。
　この発明に係る情報表示装置では、上記課題を解決するために、利用者の視界に対応する画像を入力する画像入力部と、利用者の視界内における視線の位置を表す注視点を検知する視線検知部と、画像入力部から入力された画像から、視線検知部で検知された注視点を含む物体の画像内における領域を第１の領域として抽出する物体認識部と、物体認識部で抽出された第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部と、表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部とを備えることを特徴とする。
　この発明に係る情報表示装置によれば、視界内の利用者の視線があたっていない領域に情報を表示するので、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる。
この発明の実施の形態１に係る情報表示装置を示す図である。 この発明の実施の形態１に係る情報表示装置の動作を示すフローチャートである。 この発明の実施の形態１に係る情報表示装置で使用される注視点を説明するための図である。 この発明の実施の形態１に係る情報表示装置において物体が存在する領域を抽出する様子を示す図である。 この発明の実施の形態１に係る情報表示装置において情報を表示する領域を決定する様子を説明するための図である。 この発明の実施の形態１に係る情報表示装置を運転席に適用した場合のイメージを示す図である。 この発明の実施の形態２に係る情報表示装置において情報の表示位置を決定する動作を説明するための図である。 この発明の実施の形態２の変形例に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態２の変形例に係る情報表示装置において情報の表示位置を決定する動作を説明するための図である。 この発明の実施の形態３に係る情報表示装置の動作を説明するための図である。 この発明の実施の形態５に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態６に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態７に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態７に係る情報表示装置の動作を説明するための図である。
　以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る情報表示装置を示す図であり、図１（ａ）は情報表示装置の電気的な構成を示すブロック図、図１（ｂ）は、情報表示装置を眼鏡に適用した場合の構造のイメージを示す図である。情報表示装置は、画像入力部１、視線検知部２、物体認識部３、タイマ４、表示位置決定部５および情報表示部６を備えている。
　画像入力部１は、例えばカメラによって構成されており、利用者の視界を撮影することにより得られた視界に対応する画像を入力する。この画像入力部１で入力された画像は、物体認識部３に送られる。
　視線検知部２は、利用者が視界内のどの部分を見ているのかを示す視線を検知する。この視線検知部２によって検知された視線の視界内の位置（注視点）は、物体認識部３に送られる。
　物体認識部３（物体抽出部３）は、画像入力部１から送られてきた画像から、視線検知部２から送られてきた注視点を含む物体を認識して抽出する。つまり、物体認識部３は、注視点を含む物体の画像内における領域（第１の領域）を抽出する。この物体認識部３は、例えば、輪郭抽出を行って物体の形状や領域を認識する。この物体認識部３で認識して抽出された物体を表す情報は、表示位置決定部５に送られる。なお、画像から領域を抽出する画像処理、例えば画像からの物体検出に関しては非特許文献２に示すような既存の技術を用いることができる。
　タイマ４は、一定時間、例えば数秒を計測する。このタイマ４は、表示位置決定部５からの指示により始動され、設定された時間が経過すると、その旨を表示位置決定部５に通知し、その後に停止する。
　表示位置決定部５は、物体認識部３からの情報に基づき、表示位置、つまり視界内のどの領域に情報を表示するのかを決定する。この表示位置決定部５によって決定された表示位置を示す情報は情報表示部６に送られる。この際、表示位置決定部５は、タイマ４を始動させ、このタイマ４から一定時間が経過した旨の通知を受け取るまで表示位置を示す情報を固定する。つまり、表示位置決定部５は、一定時間が経過した旨の通知をタイマ４から受け取るまで表示位置を変化させないよう情報表示部６に通知する。
　表示位置を示す情報を固定して情報表示を一定時間維持するのは次の理由による。すなわち、視線検知部２からの注視点に基づいて情報の表示位置が決定される場合、視線が移動すると情報の表示位置も変化してしまう。この状況では、利用者は表示された情報を見ることができない場合がある。そこで、一旦情報を表示すると、表示位置決定部５においてタイマ４を始動させ、一定時間は表示した情報の表示位置を変更しないようにしている。これにより、利用者の視線が移動した場合であっても、一定時間は情報の表示位置が固定されるので、利用者は提示された情報をより確実に確認することができるようになる。
　情報表示部６は、表示位置決定部５から送られてきた情報によって示された表示位置に情報を表示する。この情報表示部６では、例えば、眼鏡のレンズ部をスクリーンとして視界内に情報が投影される。
　次に、上記のように構成される実施の形態１に係る情報表示装置の動作を説明する。図２は、利用者に提供する情報を視界内に表示する場合の情報表示装置の動作を示すフローチャートである。処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。すなわち、視線検知部２は、視界内の利用者が見ている箇所（注視点）を検知する。図３は、視界内の左下の自動車に対して注視点が置かれている例を示している。この視線検知部２で検知された注視点は、例えば画像内における座標値（ｘ，ｙ）として物体認識部３に送られる。
　次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。すなわち、物体認識部３は、画像入力部１から送られてきた画像の中から、視線検知部２から送られてきた注視点の位置情報の一例である座標値（ｘ，ｙ）が含まれる領域を、利用者が見ている物体として認識し、図４に破線で示すように、その物体が存在する領域を抽出する。つまり、物体認識部３は、注視点を含む物体の画像内における領域を抽出する。これにより、物体の領域を表す情報、例えば領域の輪郭を示す点列（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）が得られる。この物体の領域を表す情報は、表示位置決定部５に送られる。
　次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域（第１の領域）とは異なる領域（第２の領域）に対応する視界内の位置に表示するように表示位置が決定される。利用者が見ていない領域の中の、どの部分を情報の表示に使用するかという決定には様々なアルゴリズムを用いることができるが、例えば、簡易的に下記のような方法を用いることができる。なお、利用者が見ている領域とは異なる領域には、利用者の見ている物体を表示情報により阻害しない程度であれば、利用者が見ている領域が一部含まれてもよい。
　すなわち、領域の輪郭を示す点列データから、ｘ，ｙの最大値および最小値を求め、それらをｘｍａｘ，ｙｍａｘ，ｘｍｉｎ，ｙｍｉｎとすると、領域を取り囲む矩形領域が、図５（ａ）に示すように、（ｘｍｉｎ，ｙｍｉｎ）－（ｘｍａｘ，ｙｍｉｎ）－（ｘｍａｘ，ｙｍａｘ）－（ｘｍｉｎ，ｙｍａｘ）と定まる。したがって、矩形の上下左右の領域のうち、もっとも面積の大きな領域を表示領域とする。
　図５（ａ）に示すように、視界のサイズを横Ｘｗ、縦Ｙｈとした場合に、各領域の面積は下式で表すことができる。表示位置決定部５は、これらの式を用いて面積を求め、最も大きい領域を表示領域として選択し、その選択した領域の情報を表示位置として情報表示部６に送る。
　上領域：Ｘｗ・ｙｍｉｎ
　下領域：Ｘｗ・（Ｙｈ－ｙｍａｘ）
　左領域：ｘｍｉｎ・Ｙｈ
　右領域：（Ｘｗ－ｘｍａｘ）・Ｙｈ
　次いで、情報が表示される（ステップＳＴ１４）。すなわち、情報表示部６は、図５（ｂ）に示すように、表示位置決定部５から送られてきた表示位置に情報を表示する。なお、表示される情報のサイズなどにより、その表示位置で表示が難しい場合は、情報表示部６は、表示位置をずらすなどの処理を行った後に表示を行うように構成できる。
　以上説明したように、実施の形態１に係る情報表示装置によれば、物体認識部３で抽出した画像内における物体の領域（第１の領域）についての情報に基づいて、視界内の利用者の視線があたっていない位置に情報を表示するように構成したので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。
　なお、上述した例では、情報表示装置を眼鏡に適用した場合について説明したが、図６に示すように、例えば自動車の運転席に適用することもできる。この場合、インパネ部分に、運転者の視線を捉える視線検知部２を設置し、画像入力部（カメラ）１は運転者の視界を撮影できるように外側に設置し、情報表示部６はフロントスクリーンに情報を表示するヘッドアップディスプレイにより構成する。この構成により、運転者は、周囲の状況に応じた情報の提示を受けることができる。
実施の形態２．
　この発明の実施の形態２に係る情報表示装置は、利用者に提示する情報の表示位置の決定を、実施の形態１に較べて、簡略化したものである。この情報表示装置の構成は、表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。
　この実施の形態２に係る情報表示装置の表示位置決定部５は、利用者が見ていない視界内の領域の中の、どの部分を情報の表示に使用するかを決定するアルゴリズムが実施の形態１のそれと異なる。すなわち、実施の形態１では、表示位置決定部５は、物体認識部３で認識された物体の上下左右の領域のうち最も大きい領域を情報の表示位置に決定するが、この実施の形態２では、物体認識部３で認識された物体に対して、視界の中央の反対側の遠い位置に、利用者に提示する情報を表示するように表示位置が決定される。つまり、表示位置決定部５は、視界に対応する画像内の中央に対して、利用者が見ている領域とは反対側の領域に対応する視界内の位置を表示位置として決定する。
　次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１３の表示位置決定処理の内容を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。
　処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、利用者に提示する情報を、図７に示すように、ステップＳＴ１２で物体認識部３によって抽出された物体に対して、視界の中央の反対側、つまり利用者が見ている領域から遠い位置に表示するべく表示位置を決定する。換言すれば、物体から視界の中央を通り最も遠い位置Ｐ１を基点とする領域を表示位置に決定する。その後、情報が表示される（ステップＳＴ１４）。
　以上説明したように、実施の形態２に係る情報表示装置によれば、図７に示すように、利用者が見ている物体から最も遠いところに情報が表示されるので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。しかも、実施の形態１のように、情報の表示位置を決定するために物体の上下左右の領域の面積を求める必要がないので、表示位置を決定するまでの処理時間を短縮できる。
　なお、この実施の形態２では、利用者が見ている「物体」から最も遠いところに情報を表示するように構成したが、さらに簡略化して、利用者の「注視点」から最も遠いところに情報を表示するように変形することができる。
　図８は、この実施の形態２の変形例に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、実施の形態１に係る情報表示装置から物体認識部３を除去するとともに、画像入力部１で得られた画像は直接に表示位置決定部５に送られるように構成されている。
　表示位置決定部５は、画像入力部１からの画像および視線検知部２からの情報に基づき、表示位置、つまりどの領域に情報を表示するのかを決定する。具体的には、表示位置決定部５は、視線検知部２で検知された注視点に対して、視界の中央の反対側の遠い位置に、利用者に提示する情報を表示するように表示位置が決定される。換言すると、表示位置決定部５は、視界に対応する画像内の中央に対して、利用者の注視点とは反対側の領域に対応する視界内の位置を表示位置として決定する。
　次に、上記のように構成される実施の形態２の変形例に係る情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１２の物体の領域を抽出する処理が除去されるとともに、ステップＳＴ１３の処理内容が変更されている点を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。
　処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、利用者に提示する情報を、図９に示すように、ステップＳＴ１１で視線検知部２によって検知された注視点に対して、視界の中央の反対側、つまり利用者が見ている領域から遠い位置に表示するべく表示位置を決定する。換言すれば、注視点から視界の中央を通り最も遠い位置Ｐ２を基点とする領域を表示位置に決定する。その後、情報が表示される（ステップＳＴ１４）。
　以上説明したように、実施の形態２の変形例に係る情報表示装置によれば、図９に示すように、利用者の注視点から最も遠いところに情報が表示されるので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。しかも、利用者が見ている「物体」から最も遠いところに情報を表示する場合と比較して、物体を認識する処理も必要なくなるので、情報の表示位置を決定するまでの処理時間をさらに短縮できる。
　なお、上述した実施の形態２および実施の形態２の変形例において、表示位置を決定するにあたり、表示される情報のサイズなどにより、その位置で表示が難しい場合は表示位置をずらすなどして情報を表示するように構成できる。
実施の形態３．
　この発明の実施の形態３に係る情報表示装置は、実施の形態１に係る情報表示装置において、利用者に提示する情報の表示位置（領域）をさらに絞り込み、できるだけ視界が妨げられないようにしたものである。この情報表示装置の構成は、物体認識部３および表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。
　物体認識部３は、実施の形態１と同様に、画像入力部１から送られてきた画像から、視線検知部２から送られてきた注視点を含む物体を認識して抽出するとともに、さらに、表示位置決定部５で決定された表示領域に存在する物体を認識して抽出する。この物体認識部３で認識された物体の領域を示す情報は、表示位置決定部５に送られる。
　表示位置決定部５は、実施の形態１と同様にして決定した面積の最も大きい領域（表示領域）内において、さらに、図１０（ａ）の破線で囲んだ領域として示すように、物体認識部３で抽出された物体の領域（第３の領域）以外の何もない領域を表示位置として決定する。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。
　次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１３の表示位置決定処理の内容を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。
　処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域とは異なる領域に表示するように、例えば以下のようにして表示位置が決定される。
　まず、表示位置決定部５は、実施の形態１と同様に、物体認識部３で認識された物体の上下左右の領域のうち最も大きい領域を情報の表示領域に決定する。次いで、物体認識部３は、図１０（ａ）に示すように、表示位置決定部５によって決定された表示領域内に存在する物体の領域を認識して抽出を行う。これらの画像処理には、非特許文献２に示したような既存の技術を用いることができる。その後、表示位置決定部５は、物体認識部３で認識された物体以外の何もない領域を表示位置として決定する。換言すると、表示位置決定部５は、物体認識部３で抽出された表示領域（第２の領域）内の物体が存在する領域（第３の領域）とは異なる領域に対応する視界内の位置を表示位置として決定する。なお、ここで決定された領域には、一部、物体が存在する領域（第３の領域）が含まれていてもよい。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。その後、情報が表示される（ステップＳＴ１４）。
　以上説明したように、実施の形態３に係る情報表示装置によれば、図１０（ａ）に示すように、例えば物体の周囲の面積の最も大きな領域が特定され、その特定された領域内でさらに物体が何も無い領域が特定され、その後、図１０（ｂ）に示すように、特定された領域が情報の表示領域として決定されて情報が表示される。したがって、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。また、視界内で利用者の注視する物体以外の物体を遮らないように情報表示するので、利用者は、視界内で注視する物体以外の物体の状況を把握しつつ情報を閲覧することが可能となる。なお、表示される情報のサイズなどにより、その領域で表示が難しい場合は表示位置をずらすなどして情報を表示するように構成できる。
実施の形態４．
　この発明の実施の形態４に係る情報表示装置は、利用者の注視点の動きに応じて情報の表示を制御するようにしたものである。この情報表示装置の構成は、表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。
　表示位置決定部５は、実施の形態１では、タイマ４からの情報により、表示した情報の位置を一定時間だけ変更しないように制御したが、実施の形態４では、利用者の視点の移動に応じて、情報の表示位置を可変にする。
　次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、表示位置決定部５の動作を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。
　処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域とは異なる領域に表示するように表示位置が決定される。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。その後、情報が表示される（ステップＳＴ１４）。
　上記の状態において、表示位置決定部５は、タイマ４によって計測された一定時間内に利用者の注視点が情報の表示領域に移動してきた場合、利用者が情報を見ていると判断して、視線検知部２から送られてくる注視点が情報の表示領域から離れない限りは情報の表示位置を変更しない。この際、タイマ４はリセットされる。
　また、表示位置決定部５は、利用者の注視点が情報の表示領域から離れると、タイマ４を始動させ、一定時間、例えば数秒間が経過した後、情報の表示位置の変更を可能とする。一定時間内に利用者の注視点が再び情報の表示領域に戻ってきた場合はタイマ４をリセットし、情報の表示位置を維持する。
　なお、一定時間の後、情報の表示位置の変更が可能になった場合であっても、注視点の移動量が小さい場合、例えば所定のしきい値よりも小さい場合には情報の表示位置を変化させないといった処理を行うように構成することもできる。
　以上説明したように、実施の形態４に係る情報表示装置によれば、利用者の注視点の動きに応じて情報の表示位置を変更するように構成したので、良好な情報の表示が可能となる。
実施の形態５．
　この発明の実施の形態５に係る情報表示装置は、利用者の動作状態に応じて情報の表示を制御するようにしたものである。図１１は、実施の形態５に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１に示した実施の形態１に係る情報表示装置に加速度センサ１１、位置情報センサ１２、動作状態検知部１３および表示制御部１４が追加されて構成されている。
　加速度センサ１１は、情報表示装置の加速度を検知する。加速度センサ１１としては、例えば携帯電話などで利用されているものと同等のものを使用できる。加速度センサ１１で検知された加速度を示す情報は、動作状態検知部１３に送られる。
　位置情報センサ１２としては、例えば携帯電話などに搭載されているＧＰＳ（Global Positioning System）と同等のものを使用できる。この位置情報センサ１２は、衛星からの信号を受信することにより、地球上における情報表示装置の位置を検出する。この位置情報センサ１２で検出された位置を示す情報は、動作状態検知部１３に送られる。
　動作状態検知部１３は、加速度センサ１１および位置情報センサ１２からの情報に基づき情報表示装置の物理的な動作状態を判断し、その動作状況に関する情報を表示制御部１４に送る。
　表示制御部１４は、動作状態検知部１３からの動作状況に関する情報に応じて、情報の表示の可否を指示する情報を生成し、情報表示部６に送る。これにより、情報表示部６は、利用者に提供する情報を表示し、または、表示を停止する。
　次に、上記のように構成される情報表示装置の動作を説明する。ここでは、情報表示のタイミングの制御を中心に説明する。利用者が例えば歩行中である場合、利用者に対して情報表示を行って視界を妨げると危険な状況になる場合がある。この状況を避けるために、動作状態検知部１３は、情報表示装置および利用者の動作状態を判断し、情報表示の制御を行う。
　具体的には、動作状態検知部１３は、加速度センサ１１からの情報に基づき、利用者が歩いているまたは走っているかどうかを判定する。もし、歩いているまたは走っているなどの状態を検知すると、その旨を示す情報を表示制御部１４に送る。
　表示制御部１４は、動作状態検知部１３から動作状況に関する情報を受け取ると、その状況が情報表示に適切かどうかを判断し、もし不適切な状況である場合は情報表示を停止するよう情報表示部６に指示する。この指示に応じて、情報表示部６は、情報表示を停止する。
　利用者が停止した状態になると、動作状態検知部１３は、加速度センサ１１からの情報に基づき停止している状況を検知し、その情報を表示制御部１４に送る。表示制御部１４は、利用者が停止した状態にあることを検知すると情報表示に適した状態であると判断し、情報表示部６に情報表示を指示する。
　上述した例では表示制御部１４において「歩行中または走行中が情報表示に不適切」、「停止中が情報表示に適切」といった条件設定で説明したが、加速度センサ１１や位置情報センサ１２からの情報によって、より詳細な状態判断を行うことができる場合は、条件設定を詳細に行うように構成できる。例えば、「停止中かつうつむいている状態が情報表示に適切」などの条件設定を行うことができる。また、これらの条件を利用者が設定できるようにして、情報表示装置の内部に記憶できるように構成することもできる。さらに、周囲に多くの車両が存在することを検知した場合に、情報表示を停止するように構成することもできる。なお、周囲に車両が存在するか否かについては、位置情報センサ１２の位置情報及び地図データを用いることにより判断できる。例えば、利用者の位置が地図における道路付近にある場合は周囲に車両が存在すると判断できる。地図データについては、情報表示装置内に記憶されるようにしてもよいし、サーバ等の外部装置から取得するようにしてもよい。
　以上説明したように、実施の形態５に係る情報表示装置によれば、利用者の動作状況に応じて情報の表示の可否を制御するように構成したので、利用者が情報を注視することによって危険な状況になることを避けることができる。
実施の形態６．
　この発明の実施の形態６に係る情報表示装置は、周囲の音声の状態に応じて情報の表示を制御するようにしたものである。図１２は、実施の形態６に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１１に示した実施の形態５に係る情報表示装置から加速度センサ１１、位置情報センサ１２、動作状態検知部１３および表示制御部１４を除去するとともに、音声入力部２１、音声認識部２２および表示制御部２３を追加して構成されている。
　音声入力部２１は、例えばマイクロフォンなどにより構成されており、利用者の音声を入力する、この音声入力部２１から入力された音声は、音声情報として音声認識部２２に送られる。
　音声認識部２２は、音声入力部２１から送られてきた音声情報から音声を認識する。この音声認識部２２において得られた音声認識結果は、表示制御部２３に送られる。
　表示制御部は、音声認識部２２から送られてくる音声認識結果に応じて、情報表示の可否を情報表示部６に指示する。これにより、情報表示部６は、利用者に提供する情報を表示し、または、表示を停止する。
　次に、上記のように構成される情報表示装置の動作を説明する。ここでは、情報表示のタイミングの制御を中心に説明する。音声入力部２１は、利用者の周りの音声または利用者の音声などを入力し、音声認識部２２に送る。音声認識部２２は、音声入力部２１から入力された音声が何であるかを判定し、判定結果を音声認識結果として表示制御部２３に送る。例えば、利用者の周りで緊急車両が通過した場合、音声認識部２２は、音声入力部２１から入力された緊急車両の音から緊急車両であることを認識し、その音声認識結果を表示制御部２３に送る。表示制御部２３は、音声認識部２２からの音声認識結果に基づき緊急車両が近辺にいる場合は情報表示に不適切な状況であると判断し、情報表示部６に情報表示の停止を指示する。
　なお、音声認識部２２で利用者が発した音声を認識することにより直接的に情報表示を制御するように構成することもできる。例えば、利用者が「情報表示停止」などの音声を発声することにより音声認識部２２がその指示を検出し、表示制御部２３に「情報表示停止」を認識した旨を伝える。これにより、表示制御部２３は、情報表示に不適切であることを判定し、情報表示部６に情報表示の停止を指示する。また、情報表示が可能であることを音声により指示することもできる。
　以上説明したように、実施の形態６に係る情報表示装置によれば、周囲の音声に応じて情報の表示の可否を制御するように構成したので、周囲の状況に応じた良好な情報の表示が可能となる。
実施の形態７．
　この発明の実施の形態７に係る情報表示装置は、実施の形態６に係る情報表示装置に画像検索機能を追加したものである。図１３は、実施の形態７に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１２に示した実施の形態６に係る情報表示装置の表示制御部２３に代えてコマンド判定部３１を設け、さらに、通信装置３２および画像検索装置３３を追加して構成されている。
　コマンド判定部３１は、音声認識部２２から送られてくる音声認識結果が検索のコマンドを示している場合に、物体認識部３および視線検知部２からの情報に基づき検索対象となる画像を取得し、通信装置３２に送る。また、コマンド判定部３１は、通信装置３２から受け取った検索結果情報を情報表示部６に送る。
　通信装置３２は、コマンド判定部３１から送られてきた検索対象の画像を画像検索装置３３に送り、画像検索を依頼する。また、通信装置３２は、画像検索装置３３から送られてきた検索結果情報をコマンド判定部３１に送る。
　画像検索装置３３は、通信装置３２から送られてきた検索対象の画像に基づき画像検索を行い、検索結果情報を通信装置３２に送る。
　次に、上記のように構成される情報表示装置の動作を説明する。利用者は、視界の中で、画像検索の対象となる物体に視点を合わせながら音声により、例えば「見ているものを検索」といった発話を行う。音声入力部２１は、利用者の発話による音声を入力し、音声認識部２２に送る。音声認識部２２は、音声入力部２１から入力された音声が視線検索のコマンドであることをコマンド判定部３１に伝える。
　コマンド判定部３１は、音声認識部２２からの情報に対応して、必要な一連の処理の情報を持っており、視線検索のコマンドであるという情報から視線検索に関する一連の処理を開始する。すなわち、コマンド判定部３１は、視線検知部２から注視点の情報を得て、物体認識部３に対し、その位置にある物の領域を抽出させる。物体認識部３の動作は実施の形態１で説明したものと同様である。図１４に示すように、物体認識部３により利用者が見ている物体の領域が抽出されると、コマンド判定部３１は、その領域の画像を取得し、通信装置３２を経由して画像検索装置３３に送って画像検索を依頼する。
　この画像検索装置３３としては、例えばＧｏｏｇｌｅの画像検索サイトを用いることができる。画像検索装置３３は、検索した画像に関連する情報を検索結果情報として通信装置３２に送る。通信装置３２は、画像検索装置３３からの検索結果情報をコマンド判定部３１に送る。コマンド判定部３１は、通信装置３２から検索結果情報を取得し、その情報を情報表示部６に送る。情報表示部６は、表示位置決定部５からの表示位置を示す情報とコマンド判定部３１からの検索結果情報を受け取って適切な領域に情報表示を行う。これらの一連の処理によって、利用者は自分が視界の中で注目しているものに関する情報を検索し、その結果を参照することができる。
　以上説明したように、実施の形態７に係る情報表示装置によれば、利用者が発話する音声に応じて、利用者が見ている画像に関連する情報を画像検索装置３３から取得し、この取得した情報を適切な領域に表示するように構成したので、利用者が所望する情報を提供できる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明は、利用者がウインドウを介して見る実際の視界内に種々の情報を表示する、例えばカーナビゲーションシステムなどに利用できる。
　１　画像入力部、２　視線検知部、３　物体認識部、４　タイマ、５　表示位置決定部、６　情報表示部、１１　加速度センサ、１２　位置情報センサ、１３　動作状態検知部、１４　表示制御部、２１　音声入力部、２２　音声認識部、２３　表示制御部、３１　コマンド判定部、３２　通信装置、３３　画像検索装置。

Claims (9)

  1. 　利用者の視界に対応する画像を入力する画像入力部と、
    　利用者の視界内における視線の位置を表す注視点を検知する視線検知部と、
    　前記画像入力部から入力された画像から、前記視線検知部で検知された前記注視点を含む物体の前記画像内における領域を第１の領域として抽出する物体認識部と、
    　前記物体認識部で抽出された前記第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部と、
    　前記表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部
    とを備えた情報表示装置。
  2. 　前記表示位置決定部は、前記画像内のうち前記第１の領域とは異なる第２の領域に対応する視界内の位置を前記表示位置として決定する
    ことを特徴とする請求項１に記載の情報表示装置。
  3. 　前記物体認識部は、前記第２の領域内に存在する物体の領域を第３の領域として抽出し、
    　前記表示位置決定部は、前記第２の領域内であって前記第３の領域とは異なる領域に対応する視界内の位置を前記表示位置として決定する
    ことを特徴とする請求項２に記載の情報表示装置。
  4. 　時間を計測するタイマを備え、
    　前記表示位置決定部は、前記タイマにおいて設定された時間が計測されるまで前記表示位置を維持する
    ことを特徴とする請求項１乃至３のいずれかに記載の情報表示装置。
  5. 　前記表示位置決定部は、前記視線検知部で検知された利用者の前記注視点の移動に応じて、情報の前記表示位置を制御する
    ことを特徴とする請求項１乃至４のいずれかに記載の情報表示装置。
  6. 　加速度を検出する加速度センサおよび位置を検出する位置情報センサからの情報に基づき利用者の動作状態を検知する動作状態検知部と、
    　前記動作状態検知部で検知された利用者の動作状態に基づき情報表示の可否を指示する表示制御部とを備え、
    　前記情報表示部は、前記表示制御部からの指示に基づき情報表示を行う
    ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
  7. 　周囲の音声を入力する音声入力部と、
    　前記音声入力部で入力された音声を認識する音声認識部と、
    　前記音声認識部からの音声認識結果に応じて、情報表示の可否を指示する表示制御部とを備え、
    　前記情報表示部は、前記表示制御部からの指示に基づき情報表示を行う
    ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
  8. 　周囲の音声を入力する音声入力部と、
    　前記音声入力部で入力された音声を認識する音声認識部と、
    　前記音声認識部からの音声認識結果が検索のコマンドを示している場合に、前記物体認識部および前記視線検知部からの情報に基づき検索対象となる画像を取得して、該画像検索を依頼するコマンド判定部と、
    　前記コマンド判定部から受け取った画像に関連する情報を検索し、検索結果を前記コマンド判定部に送る画像検索装置とを備え、
    　前記コマンド判定部は、前記画像検索装置から受け取った検索結果の情報を前記情報表示部に送り、
    　前記情報表示部は、前記コマンド判定部から受け取った検索結果の情報に基づき情報表示を行う
    ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
  9. 　前記表示位置決定部は、前記画像内の中央に対して前記第１の領域とは反対側の領域に対応する視界内の位置を前記表示位置として決定する
    ことを特徴とする請求項１記載の情報表示装置。
PCT/JP2013/064927 2013-05-29 2013-05-29 情報表示装置 Ceased WO2014192103A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/783,828 US20160054795A1 (en) 2013-05-29 2013-05-29 Information display device
CN201380076824.0A CN105229584A (zh) 2013-05-29 2013-05-29 信息显示装置
KR1020157036710A KR20160016907A (ko) 2013-05-29 2013-05-29 정보 표시 장치
JP2015519547A JPWO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置
PCT/JP2013/064927 WO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置
EP13885922.8A EP3007048A4 (en) 2013-05-29 2013-05-29 Information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/064927 WO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置

Publications (1)

Publication Number Publication Date
WO2014192103A1 true WO2014192103A1 (ja) 2014-12-04

Family

ID=51988176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064927 Ceased WO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置

Country Status (6)

Country Link
US (1) US20160054795A1 (ja)
EP (1) EP3007048A4 (ja)
JP (1) JPWO2014192103A1 (ja)
KR (1) KR20160016907A (ja)
CN (1) CN105229584A (ja)
WO (1) WO2014192103A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161734A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2018501562A (ja) * 2015-01-05 2018-01-18 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイス、情報要求を増補する方法、および情報要求を増補するためのコンピュータ・プログラム製品
JP2018049528A (ja) * 2016-09-23 2018-03-29 富士ゼロックス株式会社 情報処理装置、画像形成装置およびプログラム
JP2019515361A (ja) * 2016-04-27 2019-06-06 ロヴィ ガイズ， インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
WO2019187487A1 (ja) * 2018-03-28 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2021149594A1 (ja) * 2020-01-21 2021-07-29
US11353949B2 (en) 2016-04-27 2022-06-07 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
WO2023100637A1 (ja) * 2021-11-30 2023-06-08 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
KR102154912B1 (ko) * 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
JP6264870B2 (ja) * 2013-12-13 2018-01-24 富士通株式会社 情報提供装置、プログラム、及びシステム
US10444930B2 (en) * 2014-08-05 2019-10-15 Lg Electronics Inc. Head-mounted display device and control method therefor
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
WO2016121883A1 (ja) 2015-01-29 2016-08-04 京セラ株式会社 電子機器
US10618528B2 (en) * 2015-10-30 2020-04-14 Mitsubishi Electric Corporation Driving assistance apparatus
US9851792B2 (en) 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN106274689B (zh) * 2016-08-18 2019-01-11 青岛海信移动通信技术股份有限公司 倒车影像中的信息显示方法、装置及终端
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
US20190271843A1 (en) * 2016-11-02 2019-09-05 Sharp Kabushiki Kaisha Terminal apparatus, operating method, and program
EP4235382A3 (en) * 2016-12-21 2023-10-11 InterDigital VC Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
US10354153B2 (en) * 2017-03-02 2019-07-16 Ricoh Company, Ltd. Display controller, display control method, and recording medium storing program
EP3537712B1 (en) * 2018-03-09 2025-11-26 Bayerische Motoren Werke Aktiengesellschaft Method, system and computer program product for controlling a video call while driving a vehicle
CN109670456A (zh) * 2018-12-21 2019-04-23 北京七鑫易维信息技术有限公司 一种内容推送方法、装置、终端和存储介质
CN110347261A (zh) * 2019-07-11 2019-10-18 Oppo广东移动通信有限公司 信息显示方法、装置、存储介质及增强现实设备
CN115152203A (zh) * 2020-02-21 2022-10-04 麦克赛尔株式会社 信息显示装置
JP7380365B2 (ja) * 2020-03-19 2023-11-15 マツダ株式会社 状態推定装置
CN112506345B (zh) * 2020-12-10 2024-04-16 北京达佳互联信息技术有限公司 一种页面显示方法、装置、电子设备及存储介质
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
CN116092058B (zh) * 2022-11-01 2025-08-22 合肥工业大学 基于视线方向对比学习的驾驶员分心行为检测方法
CN116380061B (zh) * 2022-12-15 2025-09-09 中国科学院上海微系统与信息技术研究所 一种移动机器人视听觉融合感知与导航方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2010081012A (ja) * 2008-09-24 2010-04-08 Casio Computer Co Ltd 撮像装置、撮像制御方法及びプログラム
JP2012108793A (ja) 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0422500D0 (en) * 2004-10-09 2004-11-10 Ibm Method and system for re-arranging a display
JP4691071B2 (ja) * 2007-07-05 2011-06-01 ヤフー株式会社 ページアクション起動装置、ページアクション起動制御方法、および、ページアクション起動制御プログラム
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP5656457B2 (ja) * 2010-06-01 2015-01-21 シャープ株式会社 商品情報提供端末装置および商品情報提供システム
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
CN102749991B (zh) * 2012-04-12 2016-04-27 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2010081012A (ja) * 2008-09-24 2010-04-08 Casio Computer Co Ltd 撮像装置、撮像制御方法及びプログラム
JP2012108793A (ja) 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP3007048A4
YOSHIO ISHIGURO; JUNICHI REKIMOTO: "Peripheral Vision Annotation: Noninterference Information Presentation Method by Using Gaze Information", IPSJ (INFORMATION PROCESSING SOCIETY OF JAPAN) JOURNAL, vol. 53, no. 4, April 2012 (2012-04-01), pages 1328 - 1337
YUHI GOTO; YUJI YAMAUCHI; HIRONOBU FUJIYOSHI: "Proposal of Shape Feature Amount CS-HOG Based on Color Similarity", SYMPOSIUM ON SENSING VIA IMAGE INFORMATION (SSII2012, 2012, pages IS3 - 04

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018501562A (ja) * 2015-01-05 2018-01-18 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイス、情報要求を増補する方法、および情報要求を増補するためのコンピュータ・プログラム製品
JP2016161734A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US11353949B2 (en) 2016-04-27 2022-06-07 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP2019515361A (ja) * 2016-04-27 2019-06-06 ロヴィ ガイズ， インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
US12050724B2 (en) 2016-04-27 2024-07-30 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP2018049528A (ja) * 2016-09-23 2018-03-29 富士ゼロックス株式会社 情報処理装置、画像形成装置およびプログラム
WO2019187487A1 (ja) * 2018-03-28 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021149594A1 (ja) * 2020-01-21 2021-07-29 パイオニア株式会社 情報提供装置、情報提供方法、情報提供プログラム及び記憶媒体
JP2023111989A (ja) * 2020-01-21 2023-08-10 パイオニア株式会社 情報提供装置
JPWO2021149594A1 (ja) * 2020-01-21 2021-07-29
JP2025105844A (ja) * 2020-01-21 2025-07-10 パイオニア株式会社 情報提供装置、情報提供方法、情報提供プログラム及び記憶媒体
WO2023100637A1 (ja) * 2021-11-30 2023-06-08 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム
JP2023081010A (ja) * 2021-11-30 2023-06-09 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム
JP7316344B2 (ja) 2021-11-30 2023-07-27 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム

Also Published As

Publication number Publication date
US20160054795A1 (en) 2016-02-25
EP3007048A1 (en) 2016-04-13
JPWO2014192103A1 (ja) 2017-02-23
EP3007048A4 (en) 2017-01-25
CN105229584A (zh) 2016-01-06
KR20160016907A (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
WO2014192103A1 (ja) 情報表示装置
US11868517B2 (en) Information processing apparatus and information processing method
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
JP6848881B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101430614B1 (ko) 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
EP2891953A1 (en) Eye vergence detection on a display
US10475439B2 (en) Information processing system and information processing method
CN109643208B (zh) 显示装置、存储介质、显示方法及控制装置
US10061995B2 (en) Imaging system to detect a trigger and select an imaging area
CN113590070A (zh) 导航界面的显示方法、装置、终端及存储介质
US10771707B2 (en) Information processing device and information processing method
JP2020166542A (ja) 運転支援装置、運転支援方法、運転支援プログラム及び車両
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
JP2005313772A (ja) 車両用ヘッドアップ・ディスプレイ装置
JP2014174880A (ja) 情報提供装置、及び情報提供プログラム
EP2831702B1 (en) Information processing device, information processing method and program
JP2014174879A (ja) 情報提供装置、及び情報提供プログラム
JP2014174091A (ja) 情報提供装置、及び情報提供プログラム
JP6673567B2 (ja) 情報表示装置、情報表示システム及び情報表示方法
JP6371589B2 (ja) 車載システム、視線入力受付方法及びコンピュータプログラム
US11487355B2 (en) Information processing apparatus and information processing method
US12339730B2 (en) Head mounted display apparatus
US20240402503A1 (en) Automatic Display Adjustment
HK40055355A (en) Method and apparatus for displaying navigation interface, terminal and storage medium
JP4926301B1 (ja) 画像描画装置、画像描画方法及び画像描画プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380076824.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13885922

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015519547

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013885922

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14783828

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20157036710

Country of ref document: KR

Kind code of ref document: A