[go: up one dir, main page]

WO2024034053A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2024034053A1
WO2024034053A1 PCT/JP2022/030568 JP2022030568W WO2024034053A1 WO 2024034053 A1 WO2024034053 A1 WO 2024034053A1 JP 2022030568 W JP2022030568 W JP 2022030568W WO 2024034053 A1 WO2024034053 A1 WO 2024034053A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
walking
information processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/030568
Other languages
English (en)
French (fr)
Inventor
展明 甲
義憲 岡田
眞弓 中出
仁 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2024540154A priority Critical patent/JPWO2024034053A1/ja
Priority to CN202280098964.7A priority patent/CN119678119A/zh
Priority to PCT/JP2022/030568 priority patent/WO2024034053A1/ja
Publication of WO2024034053A1 publication Critical patent/WO2024034053A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to an information processing device and an information processing method that display virtual objects together with objects in real space.
  • Augmented Reality which visually augments the real world by superimposing virtual objects in a virtual space made of digital information created with CG (Computer Graphics) etc.
  • CG Computer Graphics
  • information processing devices that can easily recognize virtual objects while recognizing objects in real space have become widespread.
  • Examples include a head mounted display (HMD) that is worn on the head, and AR glasses, which are glasses-type digital devices that are a form of HMD.
  • HMDs and AR glasses real objects in real space or virtual objects are displayed on the display section installed in front of the head (so-called video see-through type), or virtual objects are displayed on the display section and the objects in front of the eyes are displayed.
  • a virtual object is generated from digital information consisting of various types of display items such as text characters, icons, and moving images, and is visualized by being displayed in front of the user's eyes.
  • Patent Document 1 describes a method for "displaying display items determined according to environmental information or user information using a change in the user's behavior as a trigger.”
  • An information processing apparatus including a display control section that controls the presence or absence of the display item on the display section based on the order.
  • Patent Document 1 Although it is shown in Patent Document 1 that the influence on the user's field of vision is reduced by controlling whether or not display items that are virtual objects are displayed while walking, display items that are virtual objects while walking are There is a possibility that the AR technology may not be displayed, which poses a problem that it becomes difficult for the user to always use the AR technology.
  • the present invention takes the above-mentioned problems into consideration and provides an information processing device and an information processing method that display display items within the visual display range as virtual objects in an easy-to-see display mode along with the scenery in front of the user while walking.
  • the present invention is an information processing apparatus worn by a user, which includes a display processing device that displays an augmented reality object within a viewing display range, a walking detection sensor that detects the walking state of the user, and a processor.
  • the processor determines whether the user is walking based on sensor information of the walking detection sensor, and when determining that the user is walking, magnifies the augmented reality object and displays the enlarged object.
  • the present invention is characterized in that control is executed to display an augmented reality object within the visual field display range.
  • the present invention also provides an information processing apparatus worn by a user, which includes a display processing device that displays an augmented reality object within a visual display range, a walking detection sensor that detects the walking state of the user, and a processor.
  • the visual field display range includes a central area including a center point of the visual field display range and a peripheral area located at an outer edge of the central area, and the processor detects the user based on sensor information of the walking detection sensor. It is characterized in that it is determined whether the user is walking, and if it is determined that the user is walking, display control is executed to move the augmented reality object displayed in the central area to the peripheral area.
  • the present invention also provides an information processing method executed by an information processing device worn by a user, which determines whether the user is walking based on sensor information of a walking detection sensor that detects the walking state of the user. a walking determination step of determining that the user is walking; an enlarging step of enlarging the augmented reality object compared to when the user is stationary; and displaying the enlarged augmented reality object on a display processing device. and a display step.
  • FIG. 1 is an example of a diagram schematically illustrating the appearance of an embodiment of an information processing apparatus according to the present embodiment
  • FIG. 2 is an example of a diagram illustrating a front landscape screen and a visual field display range when a user is stationary in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. 2 is an example of a diagram illustrating a case where all displayed items are displayed in an enlarged manner when a user walks in the information processing apparatus according to the embodiment described in FIG. 1
  • FIG. FIG. 2 is an example of a diagram illustrating a case where display items in the periphery are greatly enlarged and displayed when a user walks in the information processing apparatus according to the embodiment described in FIG.
  • FIG. 1 This is an example of a diagram illustrating a case where display items in the peripheral area are greatly enlarged and display items in the central area are slightly enlarged when the user walks in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. 2 is an example of a diagram illustrating a case where a display item that moves to a peripheral area is displayed in a large enlarged manner when walking diagonally to the left in the information processing apparatus according to the embodiment described in FIG. 1;
  • FIG. 2 is an example of a diagram illustrating a case where a display item that moves to a peripheral area is displayed in a large enlarged manner when walking diagonally to the right in the information processing apparatus according to the embodiment described in FIG. 1;
  • FIG. 1 This is an example of a diagram illustrating a case where display items in the peripheral area are greatly enlarged and display items in the central area are slightly enlarged when the user walks in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. 2 is an example of a diagram illustrating a case where a
  • FIG. 2 is an example of a diagram illustrating a case where the user turns his or her head to the left side while walking in front of the information processing apparatus according to the embodiment described in FIG. 1; 2 is another example of a diagram illustrating a case where the user turns his or her head to the left side while walking forward in the information processing apparatus according to the embodiment described in FIG. 1; FIG. 2 is an example of a diagram illustrating a case where the information processing apparatus according to the embodiment described in FIG. 1 turns the head toward the upper left while walking diagonally to the right. 2 is an example of a diagram illustrating the relationship between the front landscape screen, visual field display range, and central area, first peripheral area, and second peripheral area when the user is stationary in the information processing apparatus according to the embodiment described in FIG. 1; FIG. FIG.
  • FIG. 2 is an example of a diagram illustrating a case where a display item in a central area is moved to a first peripheral area when a user walks in the information processing apparatus according to the embodiment described in FIG. 1;
  • FIG. 2 is an example of a diagram illustrating a case in which a display item in a central area is moved to a first peripheral area and enlarged when a user walks in the information processing apparatus according to the embodiment described in FIG. 1;
  • FIG. 2 is an example of a diagram illustrating a case where a display item in a central area is moved to a second peripheral area and enlarged when a user walks in the information processing apparatus according to the embodiment described in FIG.
  • FIG. 1; 2 is an example of a diagram showing the relationship between walking speed and display size of display items in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. 2 is an example of a diagram showing a relationship between walking speed and a movement destination of a display item in a central area in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. 2 is an example of a diagram illustrating a case where an operation menu is displayed in a stationary state in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. This is an example of a flowchart (first half) explaining the operation of the information processing apparatus according to the present embodiment.
  • This is an example of a flowchart (second half) explaining the operation of the information processing apparatus according to the present embodiment.
  • FIG. 2 is a block diagram showing an example of the configuration of AR glasses as an example of the information processing device according to the present embodiment.
  • 2 is an example of a diagram illustrating a case where a screen of a smartphone or a smart watch is displayed as a display item when a user is stationary in the information processing apparatus according to the embodiment described in FIG. 1.
  • FIG. FIG. 2 is an example of a diagram illustrating a case where the information processing apparatus according to the embodiment described in FIG. 1 displays the screen of a smartphone or smart watch as a display item when a user walks.
  • the present invention can provide an information processing device and method that contributes to both improving the visibility of augmented reality objects while walking and improving the visibility of the front scenery, so it is suitable for labor-intensive industries.
  • technologies can be expected to improve, there will be a wide variety of industries, mainly industries that increase the value of products and services and labor-intensive industries (Sustainable Development Goals 8.2 (SDGs) advocated by the United Nations). It can be expected to contribute to increasing economic productivity through economic development, technological improvements, and innovation.
  • FIG. 1 is an example of a diagram schematically explaining the external appearance of an embodiment of an information processing apparatus according to the present embodiment
  • FIGS. It is an example of a diagram explaining a display screen within a range.
  • AR glasses 100 are attached to the head of a user 10, and the AR glasses 100 include a left-eye line-of-sight sensor 101 that detects the line-of-sight of the left and right eyes of the user 10, a right-eye line-of-sight sensor 102, and a right eye line-of-sight sensor 102 that photographs the outside world. It is equipped with a camera 103 and an acceleration sensor 104 that detects acceleration, which is a change in speed per unit time.
  • the user 10 visually recognizes a tangible object within the field of view around the front with his or her eyes, while in the case of the video see-through type, the camera 103 photographs the solid object within the field of view around the front. Display the image of the object on the display.
  • the AR glasses 100 generate various types of display items such as text characters, icons, and images as augmented reality objects, and display them by placing them within the visual display range of the user 10.
  • text characters and icons such as ⁇ Train to Tokyo is delayed. It's raining tonight'', ⁇ ** Teacher'', and ⁇ Turn right at 8m station'' are placed in a real space consisting of real objects such as buildings, roads, and passersby. This shows a case where display items 111, 112, and 113 represented by , etc. are virtually arranged.
  • the field of view display range is a range in which the display items 111, 112, and 113 of real objects and virtual objects are displayed in an overlapping manner through the AR glasses 100.
  • the user's line of sight may be detected from the movement of the user's eyeballs, and the user's visual field may be set as the visual field display range.
  • the visual field display range may be an area that includes the visual field when the user is looking at a far distance in front of the user, as well as the visual field when the user moves the eyeballs up and down and left and right.
  • the AR glasses 100 photograph the front and left and right feet 11 and 12 of the user 10 using the camera 103 included in the AR glasses 100, capture the walking state of the user from the feet of both photographed feet, and record the walking motion, walking direction, In addition to the walking speed, user walking information such as the relative positional relationship between the user's 10's feet and body and the AR glasses 100 is acquired.
  • the AR glasses 100 measure acceleration in three-dimensional directions using an acceleration sensor 104 included in the AR glasses 100, and provide movement information such as the position, direction, tilt, and vibration of the user's head wearing the AR glasses 100. Analyze and detect.
  • the AR glasses 100 can capture the user's walking state from the analyzed and detected movement information of the user's head, and can acquire user walking information such as walking motion, walking direction, and walking speed.
  • the AR glasses 100 use the camera 103 that photographs the user's feet and the acceleration sensor 104 that measures the three-dimensional acceleration of the user's head to monitor the walking motion, walking direction, walking speed, etc. of the user wearing the AR glasses 100.
  • a walking detection sensor is configured and provided to detect walking information.
  • the AR glasses 100 also include a head movement detection sensor that detects movements of the user's head wearing the AR glasses 100 using an acceleration sensor 104 that measures the acceleration of the user's head in three-dimensional directions. .
  • the user's 10's line of sight can be detected by the left eye line of sight sensor 101 and the right eye line of sight sensor 102.
  • FIG. 2 shows a user when the user 10 wearing the AR glasses 100 is in the state shown in FIG. , a front scenery 201, a visual field display range 202 of the AR glasses 100, and a user 10 wearing the AR glasses 100 are schematically shown.
  • the display items 211, 212, 213 can be displayed within the visual display range without making it difficult to read even if the display items 111, 112, 113 have a small display size. It can be visually recognized as such.
  • the head up, down, left, and right can be grasped.
  • FIG. 3 shows an example of a display when the user 10 starts walking from the resting state shown in FIG. 2.
  • the walking detection sensor that analyzes the output of the camera 103 and the acceleration sensor 104 determines that the user 10 is walking
  • the display items 211, 212, and 213, which are virtual objects are enlarged as shown in FIG. It is enlarged and displayed as display items 311, 312, and 313.
  • the user can easily see and read the display item that is displayed in a large size, and the visibility of the display item, which is a virtual object, can be greatly improved.
  • the display item may be enlarged by enlarging the display item as it is, or by enlarging the characters or icons within the display item. If enlarging the displayed item would result in too large an area that obstructs the field of view, the amount of displayed information may be reduced by limiting the number of characters, or the character spacing may be narrowed.
  • FIG. 4 A second embodiment will be described using FIG. 4. Components having similar features to those in FIGS. 2 and 3 are given the same numbers, and detailed explanations will be omitted.
  • the user's line of sight is directed mainly toward the central region 250 of the visual field display range 202 in which the user is walking, avoiding concentrating on the periphery, taking into consideration the safety of the front in the walking direction and the feet. Therefore, within the field of view display range 202, the central region 250 has relatively good user visibility, but the display items in the peripheral region 260 are more difficult to see than the display items in the central region 250.
  • the display items 212 and 213 in FIG. 2 in the central area 250 of the visual field display range 202 are left as they are, and the display items 211 in FIG. 2 in the peripheral area 260 in the visual field display range 202 are Similarly, it is enlarged and displayed as a display item 311.
  • This makes it possible to improve the visibility of display items in the peripheral area 260, which is harder for the user's line of sight to reach than the central area 250 of the visual field display range 202 as the user walks. It becomes possible to visually recognize the displayed items on a par with the displayed items at 250.
  • the central region 250 and the peripheral region 260 have a predetermined range including the center point of the visual field display range 202 as the central region 250, and a region around the central region 250 as the peripheral region 260.
  • the above-mentioned "predetermined range” may be determined in advance, or the width of the predetermined range may be changed depending on the walking condition. For example, if the walking speed is relatively fast, the "predetermined range” may be made relatively narrow, and if the walking speed is relatively slow, the "predetermined range” may be made relatively wide.
  • the display items in the central area 250 are enlarged, the large display items 312 and 313 largely block the front view when walking, and the user may find it difficult to see.
  • the size of the display item in the central area 250 is kept unchanged to minimize the influence on the front view, and the display item in the peripheral area 260 is enlarged to improve visibility. effective.
  • FIG. 5 A third embodiment will be described using FIG. 5. Components having similar features to those in FIGS. 2, 3, and 4 are given the same numbers, and detailed explanations will be omitted.
  • FIGS. 3 and 4 The difference from the embodiments in FIGS. 3 and 4 is the display size of the display items 212 and 213 in FIG. 2 located in the central area 250 within the visual display range 202.
  • display items 312 and 313 are enlarged, and in FIG. 4, display items 212 and 213 are not enlarged, but in FIG. This is the point.
  • FIG. 5 shows two-stage switching of the display item size between the central area and the peripheral area, it may also be switched in multiple stages from the center to the periphery within the field of view display range, or the display size may be smoothly controlled. Multi-stage and smooth display size control can further reduce landscape occlusion effects and ensure visibility.
  • FIG. 6A shows the visual field display range 602 of the AR glasses 100 and the display state of display items when the user walks diagonally to the left
  • FIG. 6B shows the display state of display items when the user walks diagonally to the right.
  • the field of view display range 604 of the AR glasses 100 and the display state of display items are shown.
  • the parts shown in FIG. 4 and given the same reference numerals have the same operations as those already explained in FIG. 4, so a detailed explanation thereof will be partially omitted.
  • FIG. 6A when walking with the head turned diagonally to the left as shown by an arrow 601, the visual field display range of the AR glasses 100 moves to the left by an amount corresponding to the direction of diagonally left walking, and the visual field display range 602.
  • the positions of the central area 650 and peripheral area 660 within the visual field display range 602 also change. Therefore, when standing still or walking forward, the display item 213 in FIGS. 2 and 4, which was in the central area 250 of the visibility display range 202 (for example, FIG. 5), is moved to the peripheral area within the visibility display range 602, where the user's line of sight is difficult to reach. Move to 660.
  • the display item 213 that has come to be located in the peripheral area 660 when walking diagonally to the left is greatly enlarged and displayed as the display item 613. That is, when walking diagonally to the left, display items that have moved to the peripheral area 660 can be greatly enlarged and displayed, thereby improving the visibility of the display items that have moved to the peripheral area 660.
  • FIG. 6B shows the case of walking diagonally to the right.
  • the visual field display range of the AR glasses 100 is the same as the direction of walking diagonally to the right. It moves to the right and becomes indicated by the visual field display range 604.
  • the positions of the central area 651 and peripheral area 661 within the visual field display range 604 also change. Therefore, the display item 212 that has come to be located in the peripheral area 661 when walking diagonally to the right is greatly enlarged and displayed as the display item 612. Thereby, when walking diagonally to the right, it is possible to improve the visibility of display items that have been moved to the peripheral area 661.
  • FIGS. 6A and 6B in addition to when standing still or walking forward, when walking diagonally to the left, the display items 211 in the peripheral areas 660 and 661 of the visual field display ranges 602 and 604 are greatly enlarged and displayed. 311 to improve the visibility of this display item.
  • FIG. 7A is an example in which the user 10 walks forward and turns his head to the left. It has moved to the left from the visual field display range 202 in FIG. 4 to the visual field display range 701. Therefore, the display item 713 in the peripheral area 760 of the visual field display range 701 is displayed in a larger display size than the display item 213 in the central area 250 in the visual field display range 202 in FIG.
  • the display item 212 was in the center area 250 of the visual field display range 202 in FIG. 4, it remains in the central area 750 in the visual field display range 701 in FIG. 7A, so there is no change in the display size.
  • FIG. 7A shows an example in which the user 10 stops and only turns his head to the left
  • another display control may be performed if the user changes the direction of his head while walking.
  • FIG. 7B is an example.
  • the user 10 When the user 10 turns his head left, right, up, down, etc. while walking and there is a movement in the user's head, the user 10 becomes interested and turns his head, for example, to the left, so at this time, the central area within the visual field display range 701 It can be said that the user's awareness of viewing, reading, and visually recognizing the display items located in the right peripheral area 760 opposite to the moving direction of the display 750 can be said to be very low. Therefore, it is considered that there is little need to intentionally enlarge and display a display item that would cause the user to turn his head and move to the peripheral area 760 within the visual field display range 701.
  • the display state such as the display size and display position of display items changes according to the movement of the head
  • the user may become distracted and become distracted without concentrating on the direction in which the head is turned.
  • the display state of display items changes when the head moves, although the scenery in the field of view does not change, the screen within the field of view becomes noisy, which adversely affects the user's visual recognition.
  • the center By maintaining the area 250 and the display state of the display item (that is, the same central area and display state as in FIG. 4), changes in the display state of the display item are suppressed.
  • the user 10 When the user 10 turns his or her head to the left with respect to the front direction of walking, the user moves to the field of view display range 701 in contrast to the view display range 202 of the embodiment shown in FIG. .
  • the display item 713 is displayed in a large size in FIG. 7A
  • the display item 213 is displayed in the same display size as in FIG. 4 in FIG. 7B.
  • the display size is not changed when the walking direction is maintained, a stable display can be provided without drawing unnecessary attention from the user due to a change in display size.
  • FIG. 7C shows an example in which the user 10 turns his head toward the upper left while walking diagonally to the right.
  • the visual field display range moves from the visual field display range 604 to the upper center of the front scenery 201 and This results in a visual field display range 702 shown in 7C.
  • a visual field display range 702 shown in 7C.
  • display items 311, 612, and 213 in the peripheral area 761 of the visual field display range 702 may be displayed in an enlarged manner.
  • the display size of FIG. 6B is maintained when the head is turned diagonally to the right while walking, and only the visual field display range is changed to the visual field of FIG. 6B. It is moved from the display range 604 to the visibility display range 702 in FIG. 7C. Therefore, the display items 311 and 612 located in the peripheral area 661 within the visual field display range 604 when the head is turned in the walking direction are displayed in an enlarged manner, and the display item 213 located in the central area 651 of the visual field display range 604 in FIG. 6B is displayed in an enlarged manner. It has not been.
  • FIGS. 7B and 7C are the front visual field display range when the head is turned in the walking direction.
  • FIGS. 4, 5, 6A, and 6B the head is facing in the walking direction, so the actual visual field display range and the front visual field display range match.
  • the user may be able to switch whether the display size determination criterion is the actual visual field display range or the front visual field display range.
  • the front view display range will be used as the standard, and if there is a mismatch, for example, "crab walking" (moving the body sideways while facing forward), the actual field of view will be Automatic switching may be performed based on the display range.
  • the predetermined time may be controlled to become shorter as the predetermined angle becomes larger.
  • FIGS. 8A, 8B, 8C, and 8D An information processing device that divides the peripheral area within the visual display range into multiple peripheral areas, and displays the display items in the central area of the visual display range by moving them to the divided peripheral area and enlarging them while walking.
  • the display item display operation will be explained using FIGS. 8A, 8B, 8C, and 8D.
  • the parts shown in FIGS. 3 and 4 and given the same reference numerals have the same operations as those already described, so detailed explanation thereof will be omitted.
  • FIG. 8A shows, as an example of dividing the peripheral area, a central area 850 is an area surrounded by a broken line frame 801 closest to the center, and a first peripheral area 860 is an area outside the broken line frame 801 and inside the broken line frame 802. , the second peripheral area 870 is outside the broken line frame 802 and inside the visual field display range 202.
  • the display item 212 is displayed in the central area 850, the display item 813 is displayed in the first peripheral area 860, and the display item 211 is displayed in the second peripheral area 870.
  • FIG. 8B the display item 212 that was in the central area 850 of FIG. 8A is moved to the first peripheral area 860 and displayed as the display item 812, thereby ensuring visibility in front of the user while walking.
  • the display item 813 in the first peripheral area 860 is displayed without being enlarged as in FIG. 8A, and the display item 211 in the second peripheral area 870 in FIG. 8A is enlarged and displayed as the display item 511. In this way, while ensuring the visibility of the scenery in the walking direction, the size of the surrounding display items is increased to increase the visibility of the display items.
  • FIG. 8C is an example in which the display items located in the first peripheral area 860 from FIG. 8B are displayed in an enlarged manner to ensure visibility in front of the user while walking and to improve visibility of the display items.
  • the display item 212 that was in the central area 850 of FIG. 8A is moved to the first peripheral area 860 and further enlarged to the display item 822.
  • the display item 813 that was displayed in the first peripheral area 860 in FIG. 8A is enlarged to the display item 823, and the display item 211 that was displayed in the second peripheral area 870 in FIG. 8A is enlarged to the display item 511.
  • the display items 822 and 823 in the first peripheral area 860 larger than the display item 511 in the second peripheral area 870, the visibility of the scenery in the walking direction and the visibility of large display items in the vicinity are improved. I am raising it and balancing it out.
  • FIG. 8D is an example in which the display item 212 in the central area 850 of FIG. 8A is moved to the second peripheral area 870 and further enlarged to the display item 832.
  • This is an example in which the display item 832 is displayed in the same size as the display item 511 displayed in the second peripheral area 870.
  • the size of the display item may be changed in stages depending on the surrounding area of the movement destination, thereby improving the visibility of the scenery in the walking direction and the visibility of large display items in the vicinity.
  • FIG. 9A is an example of a diagram showing the relationship between walking speed and display size of display items.
  • the faster the walking speed the harder it becomes to see and read the display items displayed as virtual objects within the visual display range, leading to a decrease in the visibility of the display items.
  • the faster the walking speed of the user 10 when walking the more the display items within the visual display range can be enlarged and displayed, thereby improving the visibility of the display items.
  • the enlarged display size of the display item may be gradually increased according to the walking speed of the user 10 when walking.
  • the enlarged display size of the display item may be switched in multiple stages according to the walking speed of the user 10 when walking.
  • the display size of the display item does not change even if the walking speed slightly changes within a certain level stage, and it is possible for the user 10 to stably view the display item. You can get the effect of becoming.
  • multi-step switching when display size switching occurs, the display tends to become unstable, so it is preferable to provide hysteresis to prevent critical display size switching, as shown by a broken line 1003.
  • FIG. 9B is an example of a diagram showing the relationship between walking speed and the movement destination of display items in the central area.
  • the display item in the central area 850 is moved to the first peripheral area 860, and the walking speed of the user is If the user is fast and walking at a fast pace, the displayed item in the central area 850 is moved to the second peripheral area 870, as shown in FIG. 8D. Furthermore, as the walking speed increases, the displayed items in the central area 850 come closer to the user's field of vision, and the displayed items tend to obstruct the user's view of the scenery ahead.
  • FIG. 9B the user 10 is It is possible to reduce visual obstruction to the scenery ahead due to display items caused by walking speed.
  • FIG. 9B is also preferably provided with hysteresis to prevent movement of critical display items.
  • the display position of the display item is set in multiple stages according to the walking speed of the user 10 when walking, that is, the movement destination is further subdivided than the movement between the central area 850, the first peripheral area 860, and the second peripheral area 870. It is also possible to switch by changing the When the display position of the display item is switched to multiple stages, the display position of the display item does not change even if the walking speed slightly changes within a certain level stage, making it possible for the user 10 to stably view the display item. You can get the effect of
  • the central region 850 of the visual field display range depending on the walking speed or moving speed.
  • the size of this central region 850 may also be controlled in the same way as the walking speed vs. display size in FIG. 9A.
  • the central area 850 is widened from the shoulder width of the user 10 to about 10 degrees in front and left and right, making it a trapezoidal area of about 3 m in front, and when the user is walking at 5 km/h, it is widened to about 5 m in front, and when riding a 10 km bicycle.
  • the distance in front may be increased to 10 m depending on the moving speed.
  • the front left and right opening angles may be widened depending on the traveling speed.
  • FIG. 10 is an example of a case where the operation menu 1101 is displayed within the visual display range when the user is stationary.
  • the parts shown in FIG. 2 and given the same reference numerals have the same operations as those already explained in FIG. 2, so a detailed explanation thereof will be partially omitted.
  • an operation menu 1101 for inputting and setting the display state such as the display size and display position of display items is displayed within the visual field display range 202, and when the user 10 walks, the operation menu 1101 is displayed.
  • the desired display size and display position of the display item are input and set from 1101
  • the display size and display position of the display item are controlled according to the setting input information that has been input and set while walking.
  • the operation menu 1101 By operating the operation menu 1101 with the hand or line of sight, it is possible to input settings such as the display size and display position of display items that are optimal for the user 10.
  • the input setting operation using the line of sight is performed by detecting the line of sight of the user 10 using the left eye line of sight sensor 101 and the right eye line of sight sensor 102, and by pointing the line of sight to the input setting button position on the operation menu 1101. Therefore, the left eye line of sight sensor 101 and the right eye line of sight sensor 102 constitute a line of sight input device that selects the operation menu 1101.
  • manual input setting operations are also possible by pointing the hand to the input setting button position on the operation menu 1101. For example, if the user 10 with poor eyesight inputs and sets the display size in the operation menu 1101 so that the displayed item is enlarged and displayed larger than the standard, the visibility of the displayed item can be improved when walking.
  • the optimal display position that matches the visual acuity of the user 10 may be set and input in the operation menu 1101, and the display item may be moved from the central area to the peripheral area of the visual field display range 202.
  • the visibility of the front scenery and the display item itself in the central area opened by movement can be improved.
  • input setting operations using the line of sight may be restricted by erasing the display of the operation menu 1101 in which input settings are performed using the line of sight, or by stopping input setting operations using the line of sight in the operation menu 1101. good. This prevents the user 10 from directing his/her line of sight toward the operation menu 1101, and allows the user's 10's line of sight to concentrate on the front scenery or the display item, which is a virtual object, within the field of view display range 202.
  • the display of the operation menu 1101, including operation menus other than input settings may be suppressed when the walking speed exceeds a predetermined speed, such as 1 km/h, so that the user's attention is not distracted by the direction of the walk when the user inputs the line of sight while walking. .
  • a predetermined speed such as 1 km/h
  • the user 10 wears the AR glasses 100 and is about to start walking. Before the user starts walking, that is, in a stationary state (S1201), a display item is displayed within the visual display range (S1202: Yes). In this state, the processor 1320 determines whether the user is walking based on sensor information from the walking detection sensor (S1203: walking determination step).
  • the AR glasses 100 control the display size of the display item and adjust the display item according to the position of the display item displayed within the visual display range. or a combination thereof (S1204). For example, display items located in the peripheral area within the visual field display range may be enlarged and displayed (corresponding to the enlargement step), or display items located in the central area of the visual field display range may be moved to the peripheral area (display position movement step). ), display (corresponds to the display step).
  • the AR glasses 100 maintain the controlled display size and display position of the display item for the time being, as shown in FIG. 11B. (S1206).
  • step S1208 is shown to be executed following step S1207, but step S1207 and step S1208 may be performed in the reverse order, or they may be processed in parallel, and an affirmative determination is made in either step.
  • the configuration may be such that the process proceeds to step S1209.
  • the display state of the display item during walking is maintained for the time being, and after a predetermined control maintenance period or by input operation by the user, the display state of the display item during walking is maintained. to return to the original display state of the display item when it is at rest.
  • the display state consisting of the display size, display position, or a combination thereof of the display item changes suddenly at that moment, making it difficult to see or read the display item. It is possible to reduce bad situations in which the user feels strange or abrupt.
  • the display state of the display item may be gradually returned to the original display state of the display item at rest at a gentle pace; in this case, , it becomes possible to further reduce the sense of strangeness and suddenness that the user feels.
  • the display state of display items that were displayed during the previous average walking may be maintained as is. It is possible to suppress frequent changes in display size and display position, and reduce and eliminate difficulty in viewing display items.
  • FIG. 12 is a block diagram illustrating a configuration example of AR glasses, which are a form of HMD, as an example of the information processing device according to the present embodiment.
  • the parts shown in FIG. 1 etc. and given the same reference numerals have the same operations as those already explained in FIG. 1 etc., so a detailed explanation thereof will be partially omitted.
  • the AR glasses 100 include a left eye gaze sensor 101, a right eye gaze sensor 102, a camera 103, an acceleration sensor 104, a geomagnetic sensor 1304, a gyro sensor 1305, a ranging sensor 1306, an operation input interface 1307, a display processing device 1308, and a processor. 1320, a storage 1330 for storing programs 1331 and information data 1332, a vibrator 1341, a microphone 1342, a speaker 1343, a communication device 1344, a timer 1345, and a RAM 1325. Each component is interconnected via a bus 1350. It is connected to the.
  • the camera 103 is for photographing the field of view around the front of the camera, and converts the light incident from the lens into an electrical signal using an image sensor to obtain a camera-captured image.
  • the camera 103 photographs the scenery in front of the user 10 as well as the feet of the user 10. Therefore, the walking state of the user 10 can be analyzed from the photographed foot state of the user 10, and is used as a walking detection sensor that detects the user's walking motion, walking direction, and walking speed. Note that by photographing the user's feet with a camera, it is possible to analyze not only the walking state of the user but also when the user is moving his or her feet while riding a bicycle or kickboard, making it possible to control the display state such as enlarging the displayed items.
  • the camera 103 photographs a real object in the real space, ie, the scenery in front of the user, and the image of the photographed physical object is displayed on the display processing device 1308.
  • the left-eye line-of-sight sensor 101 and the right-eye line-of-sight sensor 102 are capable of detecting the movement and direction of the left eye and right eye, respectively, and capturing the line of sight of the user 10.
  • the process of detecting the movement of the eyeballs can be performed by using a well-known technique that is generally used as an eye tracking process.
  • an infrared LED Light Emitting Diode
  • the acceleration sensor 104 is a sensor that detects acceleration, which is a change in speed per unit time, and can detect movements, vibrations, shocks, etc.
  • the AR glasses 100 are attached to the head of the user 10, and movement information such as rotation, tilt, and vibration of the user's 10 head is analyzed and acquired from acceleration data detected by the acceleration sensor 104 provided in the AR glasses 100. can do.
  • the acceleration sensor 104 is used as a head movement detection sensor that detects the movement of the user's head, and can detect the state in which the user 10 turns his or her head left, right, up, down, etc. Note that the relative relationship between the head and body (orientation of the feet) cannot be directly detected with just an acceleration sensor attached to the head, so it is possible to attach an acceleration sensor to the body, or use a camera built into the AR glasses 100 to detect the body and legs. You may also obtain it by photographing it.
  • sensor information from the head movement detection sensor is analyzed to detect the movement of the user's head, and the walking direction and walking speed of the user wearing the AR glasses 100 are also detected. Therefore, it can also be used as a walking detection sensor.
  • the AR glasses 100 alone are limited to detecting the average walking direction and walking speed, it does not matter at that level.
  • the gyro sensor 1305 is a sensor that detects the angular velocity in the rotational direction, and can capture the state of vertical, horizontal, and diagonal postures.
  • the acceleration sensor 104 and gyro sensor 1305 of a smartphone or smart watch placed in the user's pocket or the like may be used together to improve accuracy.
  • the geomagnetic sensor 1304 is a sensor that detects the earth's magnetic force, and detects the direction in which the AR glasses 100 are facing. It is also possible to detect the movement of the AR glasses 100 by using a three-axis type device that detects geomagnetism in the vertical direction as well as in the front-back and left-right directions, and by capturing changes in the geomagnetic field with respect to the movement of the AR glasses 100. As a result, it is possible to more accurately analyze and acquire the movement of the head of the user wearing the AR glasses 100 and the walking state of the user.
  • the distance sensor 1306 is a sensor that can measure the distance and angle to an object and capture the shape of the object, such as an object, as a three-dimensional object.
  • LiDAR Light Detection and Ranging
  • TOF Time of Flight
  • sensors measure distance by measuring the reflection time of the irradiated pulsed light for each pixel, emit millimeter wave radio waves, capture the reflected waves, and measure the distance to the reflected object.
  • Millimeter wave radar and the like are used to detect the state of the target object.
  • the distance sensor 1306 measures the distance and direction to a real object in the front scenery, and based on the measurement information, for example, display items related to the real object can be virtually installed in a space near the real object. It becomes possible.
  • the processor 1320 is composed of a CPU and the like.
  • the storage 1330 is composed of a non-volatile storage device, etc., and stores various programs 1331 and information data 1332 handled by the processor 1320 and the like. As the information data 1332, display item information 1335, walking information 1336, head movement information 1337, input setting information 1338, etc. are stored.
  • the processor 1320 loads an operating system (OS) 1333 stored in the storage 1330 and an application program 1334 for motion control into the RAM 1325 and executes the walking state detection processing unit 1321 and head movement.
  • OS operating system
  • a detection processing section 1322, a display item display form control processing section 1323, and an operation menu processing section 1324 are configured to realize functions such as an OS, middleware, applications, and other functions.
  • the display processing device 1308 includes a projection device that projects display items and notification information to the user, and a transparent device that displays the projected display items and the like in an image form in front of the user's eyes. Consists of a half mirror.
  • the user 10 can visually recognize the imaged display item together with the tangible object in the field of vision in front of him in a floating manner.
  • a display such as a liquid crystal panel that displays a combination of the real object in front of the eyes photographed by the camera 103 and display items.
  • the user 10 can visually recognize the real object in the field of view image in front of him and the display item etc. in an overlapping manner.
  • the operation input interface 1307 is an input means using, for example, a line of sight, a hand, a pointer, a keyboard, a key button, a touch key, etc., and is used to set and input information that the user 10 wants to input.
  • An input operation screen such as the operation menu 1101 may be displayed on the display screen of the display processing device 1308, and input operation information may be captured depending on the position on the input operation screen where the line of sight is directed, or the input operation information may be captured by moving the hand or pointer on the input operation screen.
  • the input operation information may be inputted by displaying the screen and operating the hand or pointer using the operation input interface 1307.
  • keyboard in the case of input using a keyboard, key buttons, touch keys, etc., it may be provided in a position and form that makes it easy for the user 10 to perform input operations within the AR glasses 100, or it may be separated from the main body of the AR glasses 100 and used in a wired or wireless manner. It may also be connected with
  • the user 10 may utter a voice indicating an input operation, and the microphone 1342 may collect the sound to capture the input operation information.
  • the microphone 1342 collects external sounds and the user's own utterances, and converts them into audio data consisting of digital data using an A/D converter (not shown). Instruction information in the form of vocalizations from the user 10 can be taken into the AR glasses 100, and operations in response to the instruction information can be executed with ease.
  • the speaker 1343 outputs audio based on the audio data, and can notify the user 10 of notification information in audio. For example, information such as the direction in which the user 10 is running, the direction in which the user is turning his head, enlarged display of display items, and positional movement is emitted by voice.
  • the vibrator 1341 generates vibrations under the control of the processor 1320, and converts the notification instruction information sent by the AR glasses 100 to the user 10 into vibrations.
  • the vibrator 1341 transmits vibrations to the user's head wearing the AR glasses 100 to notify the user 10 of the notification instruction information, thereby improving usability.
  • the communication device 1344 is a communication interface that performs wireless communication with other devices using short-range wireless communication such as Bluetooth (registered trademark) or ZigBee (registered trademark).
  • the communication device 1344 includes a communication processing circuit, an antenna, etc. corresponding to various predetermined communication interfaces, and transmits and receives various information, control signals, and the like. Note that a telephone communication network may also be included.
  • the timer 1345 measures time, and measures the elapse of a predetermined control maintenance period after detection of stopping walking.
  • the walking state detection processing unit 1321 analyzes the walking state of the user 10 from the image taken by the camera 103 of the feet, and detects the walking direction and walking speed. Furthermore, the walking state of the user 10 is analyzed from the head movement information detected by the acceleration sensor 104, and the walking direction and walking speed are detected. In addition to the acceleration sensor 104, a geomagnetic sensor 1304 and a gyro sensor 1305 may also be used.
  • the head movement detection processing unit 1322 detects the movement of the user's 10 head using the acceleration sensor 104, and analyzes and obtains the state in which the user 10 turns his or her head left, right, up, down, etc.
  • a geomagnetic sensor 1304 and a gyro sensor 1305 may also be used.
  • the display item display form control processing unit 1323 controls the display size of the display item and the display position of the display item according to the position of the display item displayed as a virtual object within the visual display range 202, 602, 604, 701, 702. , or a combination thereof.
  • display items located in the peripheral areas 660, 760, 761, 860, and 870 within the visual display range may be enlarged and displayed, or display items located in the central area 650, 750, 751, and 850 of the visual display range may be displayed in the peripheral area. 660, 760, 761, 860, 870 and enlarged display.
  • the operation menu processing unit 1324 displays an operation menu 1101 for inputting display conditions such as the display size and display position of display items, operation instructions for the AR glasses 100, etc. Information desired to be input is set and input by the user 10's line of sight, hands, etc.
  • the display item display form control processing section 1323 when the walking state detection processing section 1321 detects the walking of the user 10, the display item display form control processing section 1323 generates and displays display items within the visual field display range of the user. You can enlarge and display the display items in the peripheral areas 660, 760, 761, 860, 870 within the visibility display ranges 202, 602, 604, 701, 702, , 604, 701, 702, display items in the peripheral areas 660, 760, 761, 860, 870 are enlarged and displayed larger than the enlarged display items in the central areas 650, 750, 751, 850. can do.
  • the walking state detection processing section 1321 detects the walking of the user 10
  • the head movement detection processing section 1322 detects the movement of the user's head
  • the display item display form The control processing unit 1323 can maintain the display size and display position of the display item before the head movement occurs, and display the display item in the maintained display state.
  • the display item display form control processing unit 1323 displays the display items in the central areas 650, 750, 751, and 850 of the visual field display range.
  • the item can be moved to a peripheral area outside the central area 650, 750, 850 of the visual display range and displayed in an enlarged manner.
  • the visibility display range 202 is divided into a first peripheral area 860 adjacent to the outside of the central area 850 and forming a peripheral part, and a second peripheral area 870 adjacent to the outside of the first peripheral area 860 and forming a peripheral part.
  • the display item display form control processing unit 1323 moves the display item in the central area 850 to the first peripheral area 860 and displays it at a slightly enlarged display size or at the same display size, or A certain display item can be moved to the second peripheral area 870 and displayed at a greatly enlarged display size.
  • display items in the central area 850 can also be moved outside the visual field display range 202.
  • the walking state detection processing unit 1321 detects the walking speed of the user 10 while walking, and the display item display form control processing unit 1323 changes the display items according to the detected walking speed of the user 10. Display can be performed by controlling the display size, display position, or a combination thereof. In this case, it is also possible to switch and control the display size or display position of the display item, or a combination thereof, in multiple stages according to the user's walking speed.
  • the operation menu processing unit 1324 sets and inputs the information that the user 10 wants to input by operating the user's gaze or hand toward the displayed operation menu 1101, and the display item display form control processing unit 1323 inputs the information to be input.
  • the display size and display position of display items can be controlled according to the input setting information.
  • the operation menu processing unit 1324 can be stopped and input operations to the operation menu using the user's line of sight can be prohibited.
  • the display item display form control processing unit 1323 maintains the display size and display position of the display item, and After the control maintenance period or by an input operation by the user, the maintained display size and display position of the display item when walking can be shifted to the original display size and display position of the display item when the display item is stationary.
  • a screen transmitted from a smartphone or smart watch may be displayed on the AR glasses 100 as a display item.
  • the smartphone screen 1401 and smart watch screen 1402 are displayed as display items in the peripheral area 260 within the visual field display range 202, when the user is walking, as shown in FIG. 13B, Then, the screen is enlarged to a large display size and displayed within the visual display range 202 as a smartphone screen 1411 and a smart watch screen 1412.
  • the parts shown in FIGS. 2 and 4 and labeled with the same reference numerals have the same operations as those already described, so a detailed explanation thereof will be partially omitted.
  • the AR glasses 100 may enlarge the screen transmitted from the smartphone or smart watch and display it on the AR glasses, or detect that the user 10 has started walking and display the enlarged screen on the smartphone or smart watch.
  • the enlarged screen may be received upon request and displayed on the AR glasses 100.
  • the smartphone or smart watch needs to have the function of receiving an enlarged screen instruction and transmitting the enlarged screen, and it is preferable to authenticate with the AR glasses 100 in advance that it has the same function.
  • the text characters of display items may be made bold in bright places to increase brightness, and the text characters of display items may be made thin in dark places to reduce glare.
  • the AR glasses 100 which is a form of HMD, have been explained as a specific example of the information processing device, but the target is all devices having similar functions, and the display of virtual objects in the user's field of view is applicable. It goes without saying that similar actions and effects can be obtained with an information processing device that displays items and visually recognizes them along with the scenery in front of them.
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the above-described embodiments have been described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be partially or entirely realized in hardware by, for example, designing an integrated circuit, a general-purpose processor, or a specific-purpose processor.
  • a processor includes transistors and other circuits and is considered a circuit or processing circuit.
  • each of the configurations, functions, etc. described above may be realized by software by a processor interpreting and executing programs for realizing the respective functions.
  • Information such as programs, tables, files, etc. that realize each function may be stored in a memory, a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. However, it may also be stored in a device on a communication network.
  • the control lines and information lines are shown to be necessary for explanation purposes, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.
  • the embodiment includes the following aspects.
  • An information processing device worn on the user's head that has a function of allowing the user to see the field of view in front of the user and generating and displaying display items such as text characters and icons as virtual objects.
  • the device is equipped with a walking detection sensor that detects walking conditions such as the user's walking motion, walking direction, and walking speed,
  • the information processing apparatus is characterized in that when the walking detection sensor detects the user's walking, the display item generated and displayed within the user's visual display range is enlarged and displayed.
  • the information processing device when the walking detection sensor detects the user's walking, the information processing device enlarges display items in the peripheral area within the visual field display range.
  • This is an information processing device characterized by displaying the following information.
  • the information processing device when the walking detection sensor detects the user's walking, displays display items in the peripheral area within the visual field display range.
  • the information processing apparatus is characterized in that the display item is enlarged and displayed larger than the enlarged display item in the central area of the display range.
  • the information processing device includes a head movement detection sensor that detects movement of the head of a user wearing the information processing device, In the information processing device, if the head movement detection sensor detects a movement of the user's head when the walking detection sensor detects the user's walking, the display before the head movement is detected.
  • the information processing apparatus is characterized in that the display state such as the display size of the item is maintained as it is, and the display item is displayed in the maintained display state.
  • the information processing device detects the walking speed of the user using the walking detection sensor, and detects the walking speed of the user detected by the walking detection sensor.
  • the information processing apparatus is characterized by controlling the display size of display items that are displayed in an enlarged manner.
  • the information processing device adjusts the display size of the display item enlarged and displayed in multiple stages according to the walking speed of the user detected by the walking detection sensor.
  • This information processing device is characterized in that it performs switching control.
  • the information processing device includes an operation menu through which the user sets and inputs the display state such as the display size and display position of the display item when walking;
  • the information processing apparatus is characterized in that the display size of display items during walking is controlled in accordance with setting input information input through the operation menu.
  • the information processing device includes an operation menu and a line-of-sight input device for selecting the operation menu
  • the information processing apparatus is characterized in that when the walking detection sensor detects the user's walking, input operations to the operation menu by the user's line of sight are restricted.
  • the information processing device maintains the display size of the display item during walking even if the walking detection sensor detects that the user has stopped walking while walking.
  • Information characterized in that, after a predetermined control maintenance period after stopping walking or by an input operation by the user, the maintained display size of the display item when walking is changed to the original display size of the display item when the display item is stationary. It is a processing device.
  • An information processing device worn on the user's head that has a function of allowing the user to see the field of view in front of the user and generating and displaying display items such as text characters and icons as virtual objects;
  • the device is equipped with a walking detection sensor that detects walking conditions such as the user's walking motion, walking direction, and walking speed,
  • the information processing apparatus is characterized in that when the walking detection sensor detects the user's walking, the display item located in the center area of the visual field display range is moved to the outside of the central area of the visual field display range. It is a device.
  • the information processing device when walking, moves the display item located in the central area of the visual field display range to a peripheral area within the visual field display range and displays it in an enlarged manner.
  • This is an information processing device characterized by the following.
  • the peripheral area within the visual field display range includes a first peripheral area constituting a peripheral area adjacent to the outside of the central area of the visual field display range; and a second peripheral area constituting a peripheral area adjacent to the outside of the peripheral area, and in the information processing device, the display item is moved to the second peripheral area when the walking of the user is detected by the walking detection sensor.
  • the information processing apparatus is characterized in that the enlargement ratio is made larger than that of the display item that has been moved to the first peripheral area.
  • the information processing device detects the walking speed of the user using the walking detection sensor, and detects the walking speed of the user detected by the walking detection sensor.
  • the information processing apparatus is characterized by controlling the display position of a display item that is displayed in an enlarged manner.
  • the information processing device controls switching of the display position of the display item in multiple stages according to the walking speed of the user detected by the walking detection sensor.
  • the information processing device is provided with an operation menu through which the user sets and inputs the display state such as the display size and display position of the display item when walking;
  • the information processing apparatus is characterized in that the display position of display items during walking is controlled in accordance with setting input information input through the operation menu.
  • the information processing device includes an operation menu and a line-of-sight input device for selecting the operation menu
  • the information processing apparatus is characterized in that when the walking detection sensor detects the user's walking, input operations to the operation menu by the user's line of sight are restricted.
  • the display position of the display item during walking remains unchanged.
  • the display item is maintained, and after a predetermined control maintenance period after stopping walking or by an input operation by the user, the display position of the display item during the maintained walking state is shifted to the original display position of the display item when the display item is at rest. It is an information processing device.
  • a walking detection sensor that has the function of visually checking the field of view in front of the user and generating and displaying display items such as text characters and icons as virtual objects, and detects the user's walking status such as walking motion, walking direction, and walking speed.
  • An information processing method in an information processing device worn on a user's head comprising: detecting the user's walking with the walking detection sensor; When the walking of the user is detected by the walking detection sensor, the display item generated and displayed within the visual display range of the user is enlarged and displayed or moved outside the central area within the visual display range.
  • An information processing device worn by a user comprising: a display processing device that displays an augmented reality object within a viewing display range; a walking detection sensor that detects a walking state of the user; and a processor; The processor determines whether the user is walking based on sensor information of the walking detection sensor, and when determining that the user is walking, magnifies the augmented reality object and displays the enlarged augmented reality object.
  • the information processing apparatus is characterized in that the information processing apparatus executes control for displaying the image within the visual field display range.
  • An information processing device worn by a user comprising: a display processing device that displays an augmented reality object within a viewing display range; a walking detection sensor that detects a walking state of the user; and a processor;
  • the visual field display range includes a central area including the center point of the visual field display range and a peripheral area located at the outer edge of the central area, and the processor detects when the user is walking based on sensor information of the walking detection sensor.
  • the information processing apparatus is characterized in that if it is determined that the object is walking, display control is executed to move the augmented reality object displayed in the central area to the peripheral area.
  • An information processing method executed by an information processing device worn on a user the method determining whether the user is walking based on sensor information of a walking detection sensor that detects the walking state of the user. a determining step; when determining that the user is walking, an enlarging step of enlarging the augmented reality object compared to when the user is stationary; and a displaying step of displaying the enlarged augmented reality object on a display processing device.
  • An information processing method characterized by including the following.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザに装着された情報処理装置であって、拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、ユーザの歩行状態を検出する歩行検出センサと、プロセッサと、を備え、プロセッサは、歩行検出センサのセンサ情報に基づいてユーザが歩行しているかを判断し、ユーザが歩行していると判断すると、拡張現実オブジェクトを拡大し、拡大された拡張現実オブジェクトを視界表示範囲内に表示する制御を実行する。

Description

情報処理装置および情報処理方法
　本発明は、現実空間の物体とともに仮想物体を表示する情報処理装置および情報処理方法に関する。
　近年、ＣＧ（Computer　Graphics）などで作られたデジタル情報からなる仮想空間上の仮想物体（仮想オブジェクト）を現実空間に重ね合わせて現実世界を視覚的に拡張していく拡張現実（Augmented　Reality：ＡＲ）技術が広く利用され、現実空間の物体を認識しつつ仮想オブジェクトも併せて手軽に視認できる情報処理装置が普及している。一例としては、頭部に装着されるヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ）や、ＨＭＤの一形態としてメガネ型のデジタルデバイスであるＡＲグラスが挙げられる。ＨＭＤやＡＲグラスでは、現実空間の実体物や仮想オブジェクトを頭部前面に設けられた表示部で表示して（所謂、ビデオシースルー型）、或いは仮想オブジェクトを表示部で表示しつつ目の前の実体物をユーザに視認させて（所謂、光学シースルー型）、あたかも現実世界のその場に仮想の物体が存在するかのような体験を行わせることができる。仮想オブジェクトは、テキスト文字、アイコン、動画像など様々な種類の表示アイテムからなるデジタル情報で生成され、ユーザの眼前に表示されることで可視化される。
　ここで、ＨＭＤやＡＲグラスを装着したユーザが外などで出歩いている歩行中には、前方の視界とともに仮想オブジェクトである表示アイテムも容易く視認できることが望まれる。一方で、仮想オブジェクトである表示アイテムがユーザの視界全体の妨げとなるような影響を与えると、ユーザは煩わしさを感じ、ＡＲ技術を体験する上で不快感が生じてしまうという課題があった。この課題に対し、表示アイテムがユーザの視界に与える影響を低減する方法として、特許文献１には、「ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える、情報処理装置」が記載されている。
特開２０１９－１０１７４３号公報
　前記特許文献１では、歩行中に仮想オブジェクトである表示アイテムの表示の有無を制御することでユーザの視界に与える影響を低減させることは示されているものの、歩行中に仮想オブジェクトである表示アイテムが表示されなくなる可能性が生じてしまい、ユーザはＡＲ技術を常に欠かさず得ることが困難になるという課題があった。
　本発明は、前記課題を考慮し、歩行時に、前方風景とともに、視界表示範囲内にある表示アイテムを仮想オブジェクトとして見やすい表示態様で表示する情報処理装置および情報処理方法を提供するものである。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば次の通りである。
　すなわち、本発明は、ユーザに装着された情報処理装置であって、拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、ユーザの歩行状態を検出する歩行検出センサと、プロセッサと、を備え、前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、前記ユーザが歩行していると判断すると、前記拡張現実オブジェクトを拡大し、拡大された前記拡張現実オブジェクトを前記視界表示範囲内に表示する制御を実行する、ことを特徴とする。
　また、本発明は、ユーザに装着された情報処理装置であって、拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、ユーザの歩行状態を検出する歩行検出センサと、プロセッサと、を備え、前記視界表示範囲は、当該視界表示範囲の中心点を含む中央領域及び当該中央領域の外縁に位置する周辺領域を含み、前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、歩行していると判断すると、前記中央領域に表示された前記拡張現実オブジェクトを前記周辺領域に移動させる表示制御を実行する、ことを特徴とする。
　また本発明は、ユーザに装着された情報処理装置で実行される情報処理方法であって、前記ユーザの歩行状態を検出する歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断する歩行判断ステップと、前記ユーザが歩行していると判断すると、静止時と比較して拡張現実オブジェクトを拡大する拡大ステップと、表示処理デバイスに対して、拡大された前記拡張現実オブジェクトを表示させる表示ステップと、を含む、ことを特徴とする。
　本発明の技術を用いることにより、前方風景とともに、視界表示範囲内にある表示アイテムを仮想オブジェクトとして見やすい表示態様で表示する情報処理装置および情報処理方法を実現できるという効果がある。また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本実施形態に係る情報処理装置の実施形態例を外観模式的に説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ静止時の前方風景画面、視界表示範囲を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時に全表示アイテムを拡大表示する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時に周辺部の表示アイテムを大きく拡大表示する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時に周辺部の表示アイテムを大きく拡大表示し、中央領域の表示アイテムはやや拡大する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、斜め左への歩行時、周辺部に位置移動する表示アイテムを大きく拡大表示する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、斜め右への歩行時、周辺部に位置移動する表示アイテムを大きく拡大表示する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ正面歩行時、頭を左側に振り向けた場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ正面歩行時、頭を左側に振り向けた場合を説明する図の他の例である。 図１で説明した実施形態に係る情報処理装置で、斜め右への歩行時、頭を左上方に振り向けた場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ静止時の前方風景画面、視界表示範囲と、中央領域・第１周辺領域・第２周辺領域の関係説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時、中央領域の表示アイテムを第１周辺領域に移動させた場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時、中央領域の表示アイテムを第１周辺領域に移動させて拡大する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時、中央領域の表示アイテムを第２周辺領域に移動させて拡大する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、歩行速度と表示アイテムの表示サイズとの関係を示す図の例である。 図１で説明した実施形態に係る情報処理装置で、歩行速度と中央領域内の表示アイテムの移動先との関係を示す図の例である。 図１で説明した実施形態に係る情報処理装置で、静止状態で操作メニューを表示する場合を説明する図の例である。 本実施形態に係る情報処理装置の動作を説明するフローチャート（前半）の例である。 本実施形態に係る情報処理装置の動作を説明するフローチャート（後半）の例である。 本実施形態に係る情報処理装置の例として、ＡＲグラスの構成例を示すブロック図である。 図１で説明した実施形態に係る情報処理装置で、ユーザ静止時にスマートフォン、スマートウォッチの画面を表示アイテムとして表示する場合を説明する図の例である。 図１で説明した実施形態に係る情報処理装置で、ユーザ歩行時にスマートフォン、スマートウォッチの画面を表示アイテムとして表示する場合を説明する図の例である。
　本発明は、歩行時のおける拡張現実オブジェクトの視認性の向上と前方風景の視認性の向上との両立に資する情報処理装置及び方法を提供することができるので、労働集約型の産業のための技術の向上が見込めることから、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の８．２（商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる）に貢献することが期待できる。
　また、表示アイテムの視認性の向上させることで視力が弱い人へのサポートが期待できることから、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の目標３の「すべての人に健康と福祉を」に貢献することが期待できる。
＜実施形態１＞
　以下、本発明の実施形態の例を、図面を用いて説明する。本実施形態に係る情報処理装置の具体例として、ユーザ頭部に装着され現実空間や仮想空間の情報を表示して視認するＨＭＤの一形態であるメガネ型のＡＲグラスを例にとり説明する。図１は、本実施形態に係る情報処理装置の実施形態例を外観模式的に説明する図の例であり、図２、図３は、本実施形態に係る情報処理装置の前方風景や視界表示範囲内の表示画面を説明する図の例である。
　図１において、ユーザ１０の頭部にはＡＲグラス１００が装着されており、ＡＲグラス１００は、ユーザ１０の左右の目の視線を検出する左目視線センサ１０１、右目視線センサ１０２、外界を撮影するカメラ１０３、単位時間当たりの速度の変化である加速度を検出する加速度センサ１０４を具備している。
　ＡＲグラス１００は、主体の光学シースルー型ではユーザ１０が直接目で前方周囲の視界内の実体物を視認し、一方ビデオシースルー型ではカメラ１０３により前方周囲の視界内の実体物を撮影し、撮影された実体物の画像をディスプレイで表示する。
　加えて、ＡＲグラス１００は、実体物に加え、拡張現実オブジェクトとしてテキスト文字、アイコン、画像など様々な種類の表示アイテムを生成し、ユーザ１０の視界表示範囲内に配置して表示する。図１では、実体物である建物、道路、通行人からなる現実空間に、「東京方面の電車が遅延。今夜雨」、「＊＊教師」、「右折８ｍ駅」というようなテキスト文字やアイコンなどで表された表示アイテム１１１、１１２、１１３が仮想的に配置された場合を示している。
　視界表示範囲は、ＡＲグラス１００を通して実体物と仮想オブジェクトの表示アイテム１１１、１１２、１１３を重畳して表示する範囲である。
　ユーザの眼球の動きからユーザの視線を検出して、ユーザの視野を視界表示範囲としてもよい。また、ユーザが正面遠方を見ている時の視野に加え、眼球を上下左右に動かした時の視野を加えた領域を、視界表示範囲としてもよい。
　ＡＲグラス１００は、ＡＲグラス１００に具備されたカメラ１０３によりユーザ１０の前方や左右の足１１、１２を撮影し、撮影された両足の足元からユーザの歩行状態を捉え、歩行動作、歩行方向、歩行速度に加え、ユーザ１０の足や体とＡＲグラス１００との相対位置関係などのユーザ歩行情報を取得する。
　また、ＡＲグラス１００は、ＡＲグラス１００に具備された加速度センサ１０４によって３次元方向の加速度を計測し、ＡＲグラス１００を装着しているユーザ頭部の位置や方向、傾き、振動などの動き情報を分析検出する。
　更に、ＡＲグラス１００は、分析検出したユーザ頭部の動き情報からユーザの歩行状態を捉え、歩行動作、歩行方向、歩行速度などのユーザ歩行情報を取得することが可能である。
　よって、ＡＲグラス１００は、ユーザの足元を撮影するカメラ１０３やユーザ頭部の３次元方向の加速度を計測する加速度センサ１０４により、ＡＲグラス１００を装着したユーザの歩行動作、歩行方向、歩行速度などの歩行情報を検出する歩行検出センサを構成し具備している。
　また、ＡＲグラス１００は、ユーザ頭部の３次元方向の加速度を計測する加速度センサ１０４により、ＡＲグラス１００を装着したユーザ頭部の動きを検出する頭部動き検出センサを構成し具備している。
　また、ＡＲグラス１００では、左目視線センサ１０１、右目視線センサ１０２によりユーザ１０の視線を検出できる。
　図２は、ＡＲグラス１００を装着したユーザ１０が図１に示すような状態にあって、カメラ１０３や加速度センサ１０４によってユーザは歩行しておらず静止していることが判別された場合のユーザの前方風景２０１、ＡＲグラス１００の視界表示範囲２０２、およびＡＲグラス１００装着のユーザ１０を模式的に示している。
　図２において、ユーザ１０は歩行を停止しているので、表示アイテム１１１、１１２、１１３が小さな表示サイズであっても読みづらさを感じることなく、視界表示範囲内で表示アイテム２１１、２１２、２１３として造作なく視認することができる。
　さらに、頭部を上下左右に動かして視界表示範囲２０２を移動させることによって、前方風景２０１の全容を把握できる。
　図３は、ユーザ１０が、図２に示した静止状態からユーザが歩行開始した時の表示例を示している。
　矢印３００で示す正面方向に歩行する時、歩行で進んでいる方向にある視界表示範囲２０２の風景を主体に視認しつつ、表示アイテム２１１、２１２、２１３にも目を配ることとなり、視界表示範囲２０２内の表示アイテムが小さな表示サイズであればあるほど、見たり読んだりすることがし辛くなり、視界表示範囲内の表示アイテムの視認性が悪化してしまう。
　そこで、ユーザ１０が歩行していることをカメラ１０３や加速度センサ１０４の出力を分析する歩行検出センサによって判別したときには、図３に示すように、仮想オブジェクトである表示アイテム２１１、２１２、２１３を大きく拡大して表示アイテム３１１、３１２、３１３として表示する。これにより、ユーザ歩行時に、ユーザは大きく拡大表示された表示アイテムを容易く見たり読んだりすることができ、仮想オブジェクトである表示アイテムの視認性を大幅に向上させることができる。
　尚、表示アイテムの拡大は、表示アイテムをそのまま拡大でもよいし、表示アイテム内の文字やアイコンの拡大としてもよい。表示アイテムを拡大すると視野をさえぎる面積が大きくなりすぎる場合は、文字数を制限して表示情報量を削減したり、文字間隔を狭めてもよい。
＜実施形態２＞
　第２の実施形態を、図４を用いて説明する。図２や図３と同様な特徴を持つものは同じ番号を付与して、詳細説明は省略する。
　ユーザ歩行時には、歩行方向の前方や足元の安全性を配慮し、ユーザ視線は周辺部への集中を避け歩行で進んでいる視界表示範囲２０２の中央領域２５０を主体に向けられる。よって、視界表示範囲２０２の内、中央領域２５０は比較的ユーザ視認性がよいが、周辺領域２６０の表示アイテムは中央領域２５０の表示アイテムより視認しにくい。
　そこで、ユーザ歩行時、視界表示範囲２０２の中央領域２５０にある図２の表示アイテム２１２、２１３はそのままにして、視界表示範囲２０２内の周辺領域２６０にある図２の表示アイテム２１１は、図３と同様に拡大表示して表示アイテム３１１として表示する。これにより、ユーザ歩行に伴って視界表示範囲２０２の中央領域２５０よりもユーザ視線が届きにくくなる周辺領域２６０にある表示アイテムの視認性を高めることができ、周辺領域２６０にある表示アイテムを中央領域２５０にある表示アイテムと遜色なく視認することが可能になる。
　なお、中央領域２５０及び周辺領域２６０は、視界表示範囲２０２の中心点を含む所定範囲の領域を中央領域２５０とし、その周囲に存在する領域を周辺領域２６０としている。上記「所定範囲」は、予め定めておいてもよいし、歩行状態に応じて所定範囲の広狭を変えてもよい。例えば歩行速度が相対的に速い場合は相対的に「所定範囲」を相対的に狭くし、歩行速度が相対的に遅い場合は相対的に「所定範囲」を相対的に広くしてもよい。
　図３の実施形態では中央領域２５０の表示アイテムを拡大するため、大きな表示アイテム３１２や３１３で歩行時の正面風景を大きく遮ってしまい、ユーザに見づらさを感じることがある。これに対して図４の実施形態では、中央領域２５０の表示アイテムの大きさはそのままにして正面風景への影響を最小限にして、周辺領域２６０の表示アイテムを拡大して視認性を向上させる効果がある。
＜実施形態３＞
　第３の実施形態を、図５を用いて説明する。図２や図３、図４と同様な特徴を持つものは同じ番号を付与して、詳細説明は省略する。
　図３や図４の実施形態と異なる点は、視界表示範囲２０２内の中央領域２５０にある図２の表示アイテム２１２と２１３の表示サイズである。図３は表示アイテム３１２や３１３のように拡大し、図４は拡大しない表示アイテム２１２と２１３としていたが、図５では周辺領域の表示アイテム３１１に比べて拡大率を下げた表示アイテム５１２と５１３としている点である。
　ユーザ歩行時の表示アイテム視認性は周辺領域２６０で大きく、中央領域２５０では少ないが、動体視力が静止視力に比べて下がる傾向にある。この特徴を活かし、ユーザ歩行時、視界表示範囲２０２内の中央領域２５０における風景遮蔽をおさえつつ、中央領域２５０における表示アイテムの拡大により、視認性確保を両立させることができる。
　図５は、表示アイテムのサイズを、中央領域と周辺領域の２段階切換を示したが、視界表示範囲内の中心から周辺にかけて多段階に切換えや、スムースに表示サイズ制御をしてもよい。多段階やスムースな表示サイズ制御で、風景遮蔽効果の抑制と視認性確保の効果を一層発揮できる。
＜実施形態４＞
　正面への歩行時を説明した図４の実施形態に対して、静止時や正面への歩行開始後から斜め左右に向けて歩行する場合の情報処理装置の表示アイテム表示動作について、図６Ａと図６Ｂを用いて説明する。
　ユーザ静止時の前方風景２０１に対して、図６Ａは斜め左に向けて歩行するときのＡＲグラス１００の視界表示範囲６０２や表示アイテムの表示状態を、図６Ｂは斜め右に向けて歩行するときのＡＲグラス１００の視界表示範囲６０４や表示アイテムの表示状態を示している。図６Ａと図６Ｂにおいて、図４に示され同一の符号を付された部分は、図４で既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。
　図６Ａにおいて、矢印６０１で示すように頭部を斜め左に向けて歩行すると、ＡＲグラス１００の視界表示範囲は、斜め左への歩行の向きに応じた分だけ左側に移動し、視界表示範囲６０２で示されるようになる。これに伴い視界表示範囲６０２内の中央領域６５０、周辺領域６６０の位置も変化する。このため、静止時や正面への歩行時には視界表示範囲２０２（例えば図５）の中央領域２５０にあった図２や図４の表示アイテム２１３はユーザ視線が届きにくい視界表示範囲６０２内の周辺領域６６０に位置移動する。
　従って、斜め左への歩行時には、周辺領域６６０に位置移動した表示アイテム２１３をそのままの相対的に小さな表示サイズで表示すると視認しにくくなってしまう。
　そこで実施形態４では、斜め左への歩行時に周辺領域６６０に位置するようになった表示アイテム２１３を大きく拡大して表示アイテム６１３として表示する。即ち、斜め左への歩行時に、周辺領域６６０に位置移動することになった表示アイテムを大きく拡大して表示し、周辺領域６６０に位置移動した表示アイテムの視認性を向上させることができる。
　なお、表示アイテム２１２は、視界表示範囲６０２内の中央領域６５０に含まれているので表示アイテム２１２の表示サイズは変化していない。
　図６Ｂは、斜め右に向けて歩行する場合であり、矢印６０３で示すように斜め右に向けて歩行すると、ＡＲグラス１００の視界表示範囲は、斜め右への歩行の向きに応じた分だけ右側に移動し、視界表示範囲６０４で示されるようになる。これに伴い視界表示範囲６０４内の中央領域６５１、周辺領域６６１の位置も変化する。このため、斜め右への歩行時に周辺領域６６１に位置するようになった表示アイテム２１２を大きく拡大して表示アイテム６１２として表示する。これにより、斜め右への歩行時、周辺領域６６１に位置移動することになった表示アイテムの視認性を向上させることができる。
　一方、表示アイテム２１３は、視界表示範囲６０４内の中央領域６５１に含まれているので表示アイテム２１３の表示サイズは変化していない。
　また、図６Ａ、図６Ｂにおいて、静止時や正面への歩行時に加え、斜め左への歩行時にも視界表示範囲６０２、６０４の周辺領域６６０、６６１にある表示アイテム２１１を大きく拡大して表示アイテム３１１として表示し、この表示アイテムの視認性の向上を図ることができる。
　以上、図６Ａと図６Ｂを用いて説明したように、正面への歩行時や斜め左右への歩行時に、視界表示範囲内の周辺領域に位置する表示アイテムを大きく拡大して表示することにより、視界周辺部への視線集中を避けつつ、仮想オブジェクトとして視界表示範囲の周辺部に位置する表示アイテムを見やすい形で容易く視認することが可能になる。
＜実施形態５＞
　次に、歩行時にユーザが頭を左右上下などに振り向けて頭部に動きがある場合の情報処理装置の視界表示範囲内の表示動作について、図７Ａと図７Ｂ、図７Ｃを例示して説明する。図７Ａと図７Ｂ、図７Ｃにおいて、図４や図６Ｂに示され同一の符号を付された部分は、図４や図７Ｂで既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。
　図７Ａは、ユーザ１０が正面へ歩行し、頭部を左側に振り向けた例である。図４の視界表示範囲２０２から、視界表示範囲７０１と左側に移動している。このため、視界表示範囲７０１の周辺領域７６０にある表示アイテム７１３は、図４の視界表示範囲２０２で中央領域２５０にあった表示アイテム２１３よりも大きな表示サイズで表示している。
　なお、表示アイテム２１２は、図４の視界表示範囲２０２の中央領域２５０にあったが、図７Ａの視界表示範囲７０１でも中央領域７５０にとどまるので表示サイズに変更はない。
　図７Ａは、ユーザ１０が止まって頭だけを左に向けた例であったが、ユーザが歩行中に頭の向きが変わる場合は別の表示制御を行ってもよい。図７Ｂはその例である。
　歩行時にユーザ１０が頭を左右上下などに振り向けてユーザ頭部に動きがある場合、まずは、ユーザ１０は興味を持って頭を例えば左側に振り向けるので、このとき視界表示範囲７０１内の中央領域７５０の移動方向とは反対となる右側の周辺領域７６０に位置することになる表示アイテムを見たり読んだりして視認するというユーザ意識は非常に薄いと言える。したがって、頭を振り向いて視界表示範囲７０１内の周辺領域７６０に位置移動することになる表示アイテムをあえて拡大して表示する必要性は低いと考えられる。
　また、頭の動きに応じて表示アイテムの表示サイズや表示位置などの表示状態が変わるとそれに気を取られてしまい、頭を振り向いた方向への意識が集中せず散漫になる場合が生じる。更には、頭が動いたとき視界の風景は変化しないのに表示アイテムの表示状態に変化があると、視界表示範囲内の画面が騒々しくなり、ユーザ視認に悪影響を与えることとなる。
　そこで、図７Ｂに示す実施形態では、歩行時に頭部動き検出センサである加速度センサ１０４によってユーザ頭部の動きが検出されても歩行方向が維持される場合、頭部の動きが生じる前の中央領域２５０と表示アイテムの表示状態（すなわち図４と同じ中央領域と表示状態）をそのまま維持することによって、表示アイテムの表示状態の変化を抑える。
　歩行する正面方向に頭部を向けていた図４の実施形態の視界表示範囲２０２に対して、歩行する正面方向に対してユーザ１０が頭を左側に振り向けた場合は視界表示範囲７０１に移動する。図７Ａでは表示アイテム７１３を大きく表示していたが、図７Ｂは、図４と同様の表示サイズで表示アイテム２１３を表示している。
　本実施形態によれば、歩行方向を維持している場合に表示サイズを変えないので、表示サイズ変化によるユーザの余計な注意を引くことなく、安定した表示を提供できる。
　図７Ｃは、斜め右方向への歩行時にユーザ１０が頭を左上方に振り向ける例を示している。
　図６Ｂに示すように斜め右方向への歩行している時に、ユーザ１０が頭を左上方に振り向けると、視界表示範囲は、視界表示範囲６０４から前方風景２０１の中央上部に移動して図７Ｃに示す視界表示範囲７０２となる。図７Ａと同様に、視界表示範囲７０２の中央領域７５１に表示アイテムは無く、視界表示範囲７０２の周辺領域７６１にある表示アイテム３１１と６１２、２１３が拡大表示してもよい。
　しかし、図７Ｃでは、頭の動きによる表示状態変化を抑えるために、歩行する斜め右方向へ頭を向ける場合を示す場合の図６Ｂの表示サイズを維持し、視界表示範囲だけを図６Ｂの視界表示範囲６０４から図７Ｃの視界表示範囲７０２に移動させる。従って頭を歩行方向に向けた時の視界表示範囲６０４内の周辺領域６６１にある表示アイテム３１１、６１２が拡大表示され、図６Ｂの視界表示範囲６０４の中央領域６５１にある表示アイテム２１３は拡大表示されていない。
　すなわち、歩行方向を維持して頭部のみ動かした場合、表示アイテムの表示サイズを決める基準となる中央領域と周辺領域の判別基準を、図７Ａは頭部の動きに連動した視界表示範囲７０１である実視界表示範囲としているが、図７Ｂや図７Ｃは頭部を歩行方向に向けた時の正面視界表示範囲としている差異がある。ちなみに、図４と図５、図６Ａ、図６Ｂはいずれも歩行方向に頭部が向いているので、実視界表示範囲と正面視界表示範囲が一致する場合である。
　表示サイズ判別基準を実視界表示範囲とするか、正面視界表示範囲とするかは、ユーザにより切換設定できるようにしてもよい。
　体や足の向きと歩行方向が一致している場合は、正面視界表示範囲を基準とし、不一致と判断される、例えば“カニ歩き”（正面を向いたまま体を横に移動）では実視界表示範囲を基準とするように自動切換えしてもよい。
　また、頭を歩行方向または体の正面例えば略１０度以上などの所定角度ずらす場合は、ユーザが敢えて歩行方向以外を見る意思を尊重して、略０．５秒などの所定時間経過後に実視界表示範囲基準を優先とするように切換えてもよい。さらに、上記の所定角度が大きくなるほど所定時間が小さくなるように制御してもよい。
＜実施形態６＞
　視界表示範囲内の周辺領域を複数の周辺領域に分割区分けし、歩行時に視界表示範囲の中央領域にある表示アイテムを区分けされた周辺領域に移動させ拡大などして表示する場合の情報処理装置の表示アイテム表示動作について、図８Ａ、図８Ｂ 、図８Ｃ、図８Ｄを用いて説明する。これらの図において、図３と図４に示され同一の符号を付された部分は、既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。
　図８Ａは、周辺領域の分割区分け例として、中央領域８５０は最も中心寄りにある破線枠８０１に囲まれた領域、第１周辺領域８６０が破線枠８０１の外側、かつ破線枠８０２の内側の領域、第２周辺領域８７０が破線枠８０２の外側で視界表示範囲２０２の内側である。
　図８Ａに示すように、ユーザ静止状態では、中央領域８５０に表示アイテム２１２、第１周辺領域８６０に表示アイテム８１３、第２周辺領域８７０に表示アイテム２１１が表示されている。
　ユーザ１０が静止状態から正面方向への歩行を行ったとき、歩行方向の障害物などを視認しやすいように中央領域８５０の表示アイテムを消去または移動させるのが望ましい。そこで図８Ｂは、図８Ａの中央領域８５０にあった表示アイテム２１２を第１周辺領域８６０へ移動させて表示アイテム８１２として表示し、歩行前方の視界を確保する。
　第１周辺領域８６０の表示アイテム８１３は図８Ａと同じように拡大することなく表示し、図８Ａの第２周辺領域８７０にあった表示アイテム２１１は拡大して表示アイテム５１１として表示する。このように、歩行方向の風景視認性を確保しながら、周辺の表示アイテムのサイズを大きく表示して表示アイテムの視認性を高めている。
　図８Ｃは、図８Ｂから第１周辺領域８６０に位置する表示アイテムを拡大表示して歩行前方の視界確保と、表示アイテム視認性を向上させる例である。
　図８Ａの中央領域８５０にあった表示アイテム２１２を第１周辺領域８６０へ移動させ、さらに表示アイテム８２２に拡大する。図８Ａの第１周辺領域８６０に表示されていた表示アイテム８１３は表示アイテム８２３に拡大し、図８Ａの第２周辺領域８７０にあった表示アイテム２１１は表示アイテム５１１に拡大する。この時、第１周辺領域８６０の表示アイテム８２２、８２３よりも、第２周辺領域８７０の表示アイテム５１１よりも大きくすることで、歩行方向の風景視認性と、周辺の大きな表示アイテムの視認性を高めて両立させている。
　図８Ｄは、図８Ａの中央領域８５０にあった表示アイテム２１２を第２周辺領域８７０へ移動させ、さらに表示アイテム８３２に拡大する例である。表示アイテム８３２は第２周辺領域８７０に表示されている表示アイテム５１１と同様な大きさで表示した例である。このように、移動先の周辺領域によって表示アイテムの大きさを段階的に変化させて、歩行方向の風景視認性と、周辺の大きな表示アイテムの視認性を高めて両立させてもよい。
＜実施形態７＞
　ユーザの歩行時の歩行速度に応じて視界表示範囲内の表示アイテムの拡大表示サイズを制御する場合の情報処理装置の表示アイテム表示動作について、図９Ａ、図９Ｂを用いて説明する。図９Ａは、歩行速度と表示アイテムの表示サイズの関係を示す図の例である。
　ＡＲグラス１００を頭部に装着して歩行するユーザ１０にとって、歩行速度が速くなるほど、視界表示範囲内に仮想オブジェクトとして表示された表示アイテムは見づらく読みにくくなり、表示アイテムの視認性の低下を招く傾向にある。そこで、ユーザ１０の歩行時の歩行速度が速いほど、視界表示範囲内の表示アイテムをより拡大して表示して、表示アイテムの視認性を改善できる。
　図９Ａの実線１００２のように、ユーザ１０の歩行時の歩行速度に応じて表示アイテムの拡大表示サイズを徐々に大きくしてもよい。また別例として図９に示した破線１００３のように、ユーザ１０の歩行時の歩行速度に応じて表示アイテムの拡大表示サイズを多段階に切り換えてもよい。表示アイテムの拡大表示サイズを多段階に切り換えると、歩行速度があるレベル段階内で多少変化しても表示アイテムの表示サイズは変化せず、ユーザ１０にとって表示アイテムを安定的に視認することが可能になるという効果が得られる。多段階切換では、表示サイズ切換が生じると表示が不安定になりやすいので、破線１００３で示したように、ヒステリシスを持たせてクリティカルな表示サイズ切換を防ぐとよい。
　図９Ｂは、歩行速度と中央領域内の表示アイテムの移動先の関係を示す図の例である。
　例えば、ユーザ歩行時の歩行速度があまり速くない普通の歩行の場合には、図８Ｃに示すように、中央領域８５０にある表示アイテムを第１周辺領域８６０に移動させ、ユーザ歩行時の歩行速度が速く速足歩行の場合には、図８Ｄに示すように、中央領域８５０にある表示アイテムを第２周辺領域８７０に移動させる。また、歩行速度が速くなるほど中央領域８５０にある表示アイテムはユーザの視界内に迫ってきて、前方風景への視認に対して表示アイテムが妨害になりやすい傾向にある。
　そこで、図９Ｂに示すように、歩行速度が速いほど中央領域８５０にある表示アイテムをより外側にある第１周辺領域８６０、第２周辺領域８７０に移動させるように制御することにより、ユーザ１０の歩行速度に相まって生じる表示アイテムによる前方風景への視認妨害を軽減することができる。図９Ｂも、図９Ａと同様、ヒステリシスを持たせてクリティカルな表示アイテムの移動を防ぐとよい。
　また、ユーザ１０の歩行時の歩行速度に応じて表示アイテムの表示位置を多段階、即ち、中央領域８５０、第１周辺領域８６０、第２周辺領域８７０の領域間移動よりも更に移動先を細分化して切り換えてもよい。表示アイテムの表示位置を多段階に切り換えると、歩行速度があるレベル段階内で多少変化しても表示アイテムの表示位置は変化せず、ユーザ１０にとって表示アイテムを安定的に視認することが可能になるという効果が得られる。
　また、ユーザ１０の歩行時の歩行が走行や自転車に切換るなど、速い移動において、移動方向前方の視界確保領域を大きくとりたい場合がある。このため、歩行速度や移動速度に応じて、視界表示範囲の中央領域８５０を広げるとよい。この中央領域８５０の大きさも図９Ａの歩行速度対表示サイズと同様な制御とすればよい。
　例えば、時速４ｋｍでユーザ歩行時の中央領域８５０をユーザ１０の肩幅から前方左右の開き１０度程度に広げたで前方３ｍ程度の台形領域とし、時速５ｋｍ走行時は前方５ｍ程度に広げ、１０ｋｍ自転車走行時は前方１０ｍと移動速度に応じて前方距離をのばしてもよい。走行速度に応じて前方左右の開き角度を広げてもよい。
＜実施形態８＞
　ユーザ１０の歩行に際し、表示アイテムの表示サイズや表示位置等の表示状態を入力設定する場合の情報処理装置の入力操作について、図１０を用いて説明する。図１０は、ユーザ静止状態で視界表示範囲内に操作メニュー１１０１が表示されている場合の例である。図１０において、図２に示され同一の符号を付された部分は、図２で既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。
　ユーザ１０には視力の弱い人や視界の狭い人などもいて、視力が低下したユーザにとっては歩行時に前方風景や表示アイテムを視認しづらい場合がある。そこで、ＡＲグラス１００では、図１０に示すように、表示アイテムの表示サイズや表示位置等の表示状態を入力設定する操作メニュー１１０１を視界表示範囲２０２内に表示し、ユーザ１０が歩行に際して操作メニュー１１０１から望ましい表示アイテムの表示サイズや表示位置を入力設定すると、歩行時には入力設定された設定入力情報に応じて表示アイテムの表示サイズや表示位置を制御する。
　操作メニュー１１０１への手や視線による操作により、ユーザ１０にとって最適な表示アイテムの表示サイズや表示位置等の入力設定が可能である。視線による入力設定操作は、左目視線センサ１０１、右目視線センサ１０２によりユーザ１０の視線先を検出し、その視線先が操作メニュー１１０１上の入力設定ボタン位置を指し示すことにより行われる。よって、左目視線センサ１０１、右目視線センサ１０２は、操作メニュー１１０１を選択する視線入力装置を構成している。
　更に、手が操作メニュー１１０１上の入力設定ボタン位置を指し示すことにより手による入力設定操作も可能である。例えば、視力の弱いユーザ１０では、表示アイテムを標準より大き目に拡大して表示するように操作メニュー１１０１で表示サイズを入力設定すると、歩行時に表示アイテムの視認性を高めることができる。
　また、視界表示範囲２０２の中央領域から周辺領域に移動する表示アイテムの表示位置として、ユーザ１０の視力に合った最適な表示位置を操作メニュー１１０１で設定入力してもよく、歩行時に表示アイテムの移動によって開けた中央領域の前方風景や表示アイテム自体の視認性を向上させることができる。
　更に、歩行中は、視線によって入力設定が行なわれる操作メニュー１１０１の表示を消去したり、操作メニュー１１０１での視線による入力設定操作を停止したりして、視線による入力設定操作を制限してもよい。これにより、ユーザ１０の視線が操作メニュー１１０１に向かわなくなり、視界表示範囲２０２内の前方風景や仮想オブジェクトである表示アイテムに視線を集中させることができる。
　更に、入力設定以外の操作メニューも含め、歩行時に視線入力すると歩行先への注意力散漫にならないように、例えば時速１ｋｍなどの所定以上の歩行速度では操作メニュー１１０１の表示を抑制してもよい。
＜上記各実施形態に係る処理フロー＞
　歩行開始と歩行停止における表示アイテムの表示動作について、図１１Ａ、図１１Ｂに示したフローチャートを用いて説明する。
　図１１Ａに示すように、ユーザ１０がＡＲグラス１００を装着してこれから歩行を開始しようとする。ユーザが歩行開始前、即ち静止状態で（Ｓ１２０１）、表示アイテムが視界表示範囲内に表示される（Ｓ１２０２：Ｙｅｓ）。この状態でプロセッサ１３２０は歩行検出センサのセンサ情報に基づいてユーザが歩行しているか否かを判断する（Ｓ１２０３：歩行判断ステップ）。
　プロセッサ１３２０が、ユーザ１０は歩行していると判断すると（Ｓ１２０３：Ｙｅｓ）、ＡＲグラス１００では、視界表示範囲内に表示された表示アイテムの位置に応じて表示アイテムの表示サイズの制御、表示アイテムの表示位置、又はこれらの組み合わせを制御する（Ｓ１２０４）。例えば、視界表示範囲内の周辺領域にある表示アイテムを拡大して表示したり（拡大ステップに相当する。）、視界表示範囲の中央領域にある表示アイテムを周辺領域に移動させ（表示位置移動ステップに相当する。）、表示する（表示ステップに相当する。）。
　この後、歩行検出センサによって歩行の停止が検出されると（Ｓ１２０５：Ｙｅｓ）、図１１Ｂに示すように、ＡＲグラス１００では制御された表示アイテムの表示サイズおよび表示位置の状態をひとまずそのまま維持する（Ｓ１２０６）。
　ここで、維持された表示アイテムの表示サイズ、表示位置、又はこれらの組み合わせからなる表示状態を、静止時の表示アイテムの表示状態に移行復帰することを示す入力操作がユーザ１０によって行われると（Ｓ１２０７：Ｙｅｓ）、 静止時の表示アイテムの表示状態に移行復帰する（Ｓ１２０９）。
　移行復帰することを示す入力操作が行われない場合であっても（Ｓ１２０７：Ｎｏ）、歩行停止の検出後所定の制御維持期間が経過すると（Ｓ１２０８：Ｙｅｓ）、ＡＲグラス１００では、維持された表示アイテムの表示状態から、制御される前の表示アイテムの表示状態、即ち静止時の表示アイテムの表示状態に移行復帰する（Ｓ１２０９）。
　図１１Ｂでは、説明の便宜のため、ステップＳ１２０７に続いてステップＳ１２０８を実行すると図示したが、ステップＳ１２０７とステップＳ１２０８は逆順でもよいし、並列処理を行い、どちらかのステップで肯定と判断されるとステップＳ１２０９へ進むように構成してもよい。
　静止時の表示アイテムの表示状態に移行復帰後、引き続きユーザ歩行時の表示アイテムの表示を続ける場合には（Ｓ１２１０：Ｎｏ）、シーケンスＳ１２０２の表示アイテムの表示確認に戻り、表示アイテムの表示を続けないときは（Ｓ１２１０：Ｙｅｓ）シーケンスを終了する。
　以上の動作により、歩行を停止した際、歩行時の表示アイテムの表示状態をひとまずそのまま維持し、所定の制御維持期間の後またはユーザによる入力操作によって、維持された歩行時の表示アイテムの表示状態から元の静止時の表示アイテムの表示状態に移行復帰する。
　これにより、歩行中に歩行が停止した際に、表示アイテムの表示サイズ、表示位置、又はそれらの組み合わせからなる表示状態がその瞬間に急激に変化して、表示アイテムを見たり読んだりしているユーザが違和感や唐突感を抱くような悪い事態を軽減することができる。
　また、ユーザ操作が行われた後、または所定の制御維持期間の後に表示アイテムの表示状態を徐々になだらかなペースで元の静止時の表示アイテムの表示状態に移行復帰させてもよく、この場合、ユーザが抱く違和感や唐突感を一層少なくすることが可能になる。
　また、歩行時でも、水たまりをさけるときやデコボコ道歩行などの際には、その前の平均的な歩行時に表示された表示アイテムの表示状態をそのまま維持してもよく、この場合、表示アイテムの表示サイズや表示位置の頻繁な変化を抑制し、表示アイテムの見づらさを軽減解消することができる。
　本実施形態に係る情報処理装置の構成例について、図１２を用いて説明する。図１２は、本実施形態に係る情報処理装置の例としてＨＭＤの一形態であるＡＲグラスの構成例を示すブロック図である。図１２において、図１などに示され同一の符号を付された部分は、図１などで既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。
　図１２において、ＡＲグラス１００は、左目視線センサ１０１、右目視線センサ１０２、カメラ１０３、加速度センサ１０４、地磁気センサ１３０４、ジャイロセンサ１３０５、測距センサ１３０６、操作入力インタフェース１３０７、表示処理デバイス１３０８、プロセッサ１３２０、プログラム１３３１と情報データ１３３２を記憶するストレージ１３３０、バイブレータ１３４１、マイク１３４２、スピーカ１３４３、通信デバイス１３４４、タイマー１３４５、及びＲＡＭ１３２５を適宜用いて構成され、各構成要素はそれぞれバス１３５０を介して相互に接続されている。
　カメラ１０３は、カメラ前方周囲の視界を撮影するもので、レンズから入射した光を撮像素子で電気信号に変換してカメラ撮影画像を取得する。
　カメラ１０３は、ユーザ１０の目の前の風景とともにユーザ１０の足元を撮影する。よって、撮影されたユーザ１０の足元状態からユーザ１０の歩行状態を分析でき、ユーザの歩行動作、歩行方向、歩行速度を検出する歩行検出センサとして用いられる。なお、足元のカメラ撮影により、ユーザの歩行状態だけでなく、足を動かしながら自転車やキックボードなどに乗っている場合も分析でき、表示アイテムの拡大等の表示状態制御を可能にできる。
　一方、電車やバス等に乗っていて足が動いていない場合も分析でき、加速度センサ１０４等でユーザ１０の移動が検出されていても、ユーザ静止時と判断して、表示アイテムの表示状態制御をしない。
　足元だけでなく、手元も撮影していれば、自動車運転中かどうかも判別でき、運転中は表示アイテムを表示させないこともできる。
　また、ビデオシースルー型のＡＲグラスでは、カメラ１０３により目の前の風景という現実空間の実体物を撮影し、撮影された実体物の画像を表示処理デバイス１３０８に表示する。
　左目視線センサ１０１、右目視線センサ１０２は、それぞれ左目、右目の動きや向きを検出し、ユーザ１０の視線先を捉えることが可能である。なお、眼球の動きを検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよく、例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて眼球の動きや視線を検出する技術が知られている。
　加速度センサ１０４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。ＡＲグラス１００はユーザ１０の頭部に装着されており、ＡＲグラス１００に設けられた加速度センサ１０４で検出した加速度データから、ユーザ１０の頭部の回転や傾き、振動などの動き情報を分析取得することができる。
　加速度センサ１０４はユーザの頭部の動きを検出する頭部動き検出センサとして用いられ、ユーザ１０が頭を左右上下などに振り向いた状態を検出できる。なお、頭部と体（足の向き）の相対関係は頭部につけた加速度センサだけでは直接検知できないので、体にも加速度センサをつけるとか、ＡＲグラス１００に内蔵されたカメラで体や足を撮影して取得してもよい。
　また、ユーザが同じ方向を向いて歩行する場合、頭部動き検出センサのセンサ情報を分析してユーザ頭部の動きを検出すると共に、ＡＲグラス１００を装着したユーザの歩行方向、歩行速度も検出できるので、歩行検出センサとしても使用できる。
　ＡＲグラス１００単体では平均的な歩行方向、歩行速度の検出に限定されるが、そのレベルでも構わない。
　また、ジャイロセンサ１３０５は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。ユーザのポケット等に入れたスマホやスマートウォッチの加速度センサ１０４、ジャイロセンサ１３０５を併用して精度をあげてもよい。
　地磁気センサ１３０４は、地球の磁力を検出するセンサであり、ＡＲグラス１００が向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＡＲグラス１００の動きに対する地磁気変化を捉まえることにより、ＡＲグラス１００の動きを検出することも可能である。これらにより、ＡＲグラス１００を装着しているユーザ頭部の動きやユーザの歩行状態をより一層正確に分析取得することができる。
　測距センサ１３０６は、対象物までの距離や角度を測定し、物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなどが用いられる。測距センサ１３０６で前方風景にある実体物までの距離や方向を計測し、その計測情報をもとに、例えば、実体物に関係する表示アイテムを実体物近傍の空間に仮想設置することなどが可能になる。
　プロセッサ１３２０は、ＣＰＵ等で構成される。
　ストレージ１３３０は、不揮発性記憶装置等で構成され、プロセッサ１３２０等が扱う各種のプログラム１３３１や情報データ１３３２を記憶する。情報データ１３３２としては、表示アイテム情報１３３５、歩行情報１３３６、頭部動き情報１３３７、入力設定情報１３３８、などが格納される。
　プロセッサ１３２０がストレージ１３３０に記憶格納されているオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）１３３３や動作制御用などのアプリケーションプログラム１３３４をＲＡＭ１３２５にロードして実行することにより、歩行状態検出処理部１３２１、頭部動き検出処理部１３２２、表示アイテム表示形態制御処理部１３２３、操作メニュー処理部１３２４が構成され、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能が実現する。
　表示処理デバイス１３０８は、光学シースルー型のＡＲグラスの場合には、表示アイテムやユーザへの通知情報などを投影する投影装置と、投影された表示アイテム等を目の前で結像表示させる透明なハーフミラーを含んで構成される。
　これにより、ユーザ１０は、目の前の視界範囲の実体物とともに、結像された表示アイテムを浮かんでいるような形で両者合わせて視認することができる。
　また、ビデオシースルー型のＡＲグラスの場合には、カメラ１０３で撮影された目の前の実体物と表示アイテム等を合わせて表示する液晶パネル等のディスプレイを含んで構成される。
　これにより、ユーザ１０は、目の前の視界画像内の実体物と表示アイテム等を重ねて視認することができる。
　操作入力インタフェース１３０７は、例えば視線、手、ポインタ、更にはキーボードやキーボタン、タッチキー等による入力手段であり、ユーザ１０が入力したい情報を設定入力するものである。
　表示処理デバイス１３０８の表示画面内に操作メニュー１１０１などの入力操作画面を表示させ、視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよいし、手やポインタを入力操作画面上に表示させ操作入力インタフェース１３０７により手、ポインタを操作して入力操作情報を取り込んでもよい。
　また、キーボードやキーボタン、タッチキー等による入力の場合、ＡＲグラス１００内でユーザ１０が入力操作を行いやすい位置や形態に設ければよいし、或いはＡＲグラス１００の本体から分離し有線や無線で接続された形態でもよい。
　また、ユーザ１０が入力操作を示す音声を発声し、マイク１３４２で集音して入力操作情報を取り込んでもよい。
　マイク１３４２は、外部からの音声やユーザ自身の発声を集音し、不図示のＡ／Ｄ変換器によりデジタルデータからなる音声データに変換する。ユーザ１０からの発声音による指示情報をＡＲグラス１００内に取り込み、指示情報に対する動作を使い勝手よく実行することができる。
　スピーカ１３４３は、音声データに基づいて音声を出力するもので、ユーザ１０への通知情報を音声で知らしめることができる。例えば、ユーザ１０が走行している方向、頭を向けている方向、表示アイテムの拡大表示や位置移動などの情報を音声で発する。
　バイブレータ１３４１は、プロセッサ１３２０からの制御によって振動を発生させるもので、ＡＲグラス１００で発信されたユーザ１０への通知指示情報を振動に変換する。バイブレータ１３４１によりＡＲグラス１００を装着しているユーザ頭部に振動を伝えて、通知指示情報をユーザ１０に知らしめることができ、使い勝手の向上を図ることができる。
　通信デバイス１３４４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などの近距離無線通信により、他の機器との間で無線通信を行う通信インタフェースである。通信デバイス１３４４は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含み、各種の情報、制御信号などの送受信を行う。なお、電話通信網を含んでいてもよい。
　タイマー１３４５は、時間を計測するもので、歩行停止の検出後所定の制御維持期間が経過するのを計測する。
　歩行状態検出処理部１３２１は、カメラ１０３による足元の撮影画像からユーザ１０の歩行状態を分析し、歩行方向、歩行速度を検出する。また、加速度センサ１０４よって検出された頭部の動き情報からユーザ１０の歩行状態を分析し、歩行方向、歩行速度を検出する。加速度センサ１０４の他、地磁気センサ１３０４、ジャイロセンサ１３０５も用いてもよい。
　頭部動き検出処理部１３２２は、加速度センサ１０４よってユーザ１０の頭部の動きを検出し、ユーザ１０が頭を左右上下などに振り向いた状態を分析取得する。加速度センサ１０４の他、地磁気センサ１３０４、ジャイロセンサ１３０５も用いてもよい。
　表示アイテム表示形態制御処理部１３２３は、仮想オブジェクトとして視界表示範囲２０２、６０２、６０４、７０１、７０２内に表示された表示アイテムの位置等に応じて、表示アイテムの表示サイズ、表示アイテムの表示位置、又はこれらの組み合わせを制御する。例えば、視界表示範囲内の周辺領域６６０、７６０、７６１、８６０、８７０にある表示アイテムを拡大して表示したり、視界表示範囲の中央領域６５０、７５０、７５１、８５０にある表示アイテムを周辺領域６６０、７６０、７６１、８６０、８７０に移動させ拡大表示したりする。
　操作メニュー処理部１３２４では、表示アイテムの表示サイズや表示位置等の表示状態やＡＲグラス１００の動作指示などを設定入力するための操作メニュー１１０１を表示し、表示された操作メニュー１１０１に向けて、ユーザ１０の視線、手などにより入力したい情報が設定入力される。
　以上の構成により、ＡＲグラス１００では、歩行状態検出処理部１３２１によってユーザ１０の歩行が検出されたとき、表示アイテム表示形態制御処理部１３２３により、ユーザの視界表示範囲内に生成表示された表示アイテムを拡大表示したり、視界表示範囲２０２、６０２、６０４、７０１、７０２内の周辺領域６６０、７６０、７６１、８６０、８７０にある表示アイテムを拡大して表示したり、また視界表示範囲２０２、６０２、６０４、７０１、７０２内の周辺領域６６０、７６０、７６１、８６０、８７０にある表示アイテムを中央領域６５０、７５０、７５１、８５０にあって拡大表示された表示アイテムよりも大き目に拡大して表示することができる。
　また、ＡＲグラス１００では、歩行状態検出処理部１３２１によってユーザ１０の歩行が検出されたときに、頭部動き検出処理部１３２２でユーザ頭部の動きが検出された場合には、表示アイテム表示形態制御処理部１３２３により、頭部の動きが生じる前の表示アイテムの表示サイズや表示位置の状態をそのまま維持し、維持された表示状態で表示アイテムを表示することができる。
　また、ＡＲグラス１００では、歩行状態検出処理部１３２１によってユーザ１０の歩行が検出されたとき、表示アイテム表示形態制御処理部１３２３により、視界表示範囲の中央領域６５０、７５０、７５１、８５０にある表示アイテムを視界表示範囲の中央領域６５０、７５０、８５０よりも外側の周辺領域に移動させて拡大表示することができる。
　視界表示範囲２０２の中央領域８５０の外側に隣接して周辺部を構成する第１周辺領域８６０と、第１周辺領域８６０の外側に隣接して周辺部を構成する第２周辺領域８７０とに分割した場合、表示アイテム表示形態制御処理部１３２３により、中央領域８５０にある表示アイテムを第１周辺領域８６０に移動させて少し拡大した表示サイズで或いはそのままの表示サイズで表示したり、中央領域８５０にある表示アイテムを第２周辺領域８７０に移動させて大きく拡大した表示サイズで表示したりすることができる。更には、中央領域８５０にある表示アイテムを視界表示範囲２０２の外側に移動させることもできる。
　また、ＡＲグラス１００では、歩行状態検出処理部１３２１によってユーザ１０の歩行時の歩行速度を検出し、表示アイテム表示形態制御処理部１３２３により、検出されたユーザ１０の歩行速度に応じて表示アイテムの表示サイズ、又は表示位置、又はそれらの組み合わせを制御して表示することができる。この場合、ユーザの歩行速度に応じて表示アイテムの表示サイズ、又は表示位置、又はそれらの組み合わせを多段階に切換制御することも可能である。
　ＡＲグラス１００では、操作メニュー処理部１３２４によって、表示された操作メニュー１１０１に向けたユーザ１０の視線、手などの操作により入力したい情報が設定入力され、表示アイテム表示形態制御処理部１３２３により、入力された設定入力情報に応じて表示アイテムの表示サイズおよび表示位置を制御することができる。
　また、歩行状態検出処理部１３２１によってユーザ１０の歩行が検出されたとき、操作メニュー処理部１３２４を停止し、ユーザ視線による操作メニューへの入力操作を禁止するができる。
　加えて、ＡＲグラス１００では、歩行状態検出処理部１３２１によってユーザ１０の歩行停止が検出されたとき、表示アイテム表示形態制御処理部１３２３により、表示アイテムの表示サイズや表示位置をそのまま維持し、所定の制御維持期間の後またはユーザによる入力操作によって、維持された歩行時の表示アイテムの表示サイズや表示位置から元の静止時の表示アイテムの表示サイズや表示位置に移行させることができる。
　而して、歩行時に、歩行方向の前方や足元等の安全性に配慮して視界周辺部への視線集中を避けつつ、前方風景とともに、仮想オブジェクトとして視界表示範囲内にある表示アイテムを見やすい形で容易く視認できる情報処理装置および情報処理方法を実現できる。
＜実施形態９＞
　表示アイテムとしてスマートフォンやスマートウォッチから伝送された画面をＡＲグラス１００に表示してもよい。例えば、ユーザ静止時、図１３Ａに示すように、視界表示範囲２０２内の周辺領域２６０にスマートフォン画面１４０１、スマートウォッチ画面１４０２が表示アイテムとして表示している場合、ユーザ歩行時には、図１３Ｂに示すように、大きな表示サイズに拡大されてスマートフォン画面１４１１、スマートウォッチ画面１４１２として視界表示範囲２０２内に表示する。なお、図１３Ａ、図１３Ｂにおいて、図２や図４に示され同一の符号を付された部分は、既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。
　これにより、歩行時、ユーザの視線が届きにくい周辺領域に仮想オブジェクトとして表示されているスマートフォン画面、スマートウォッチ画面を視認しやすくすることができる。
　ＡＲグラス１００は、スマートフォンやスマートウォッチから伝送された画面を拡大してＡＲグラスに表視させてもよいし、ユーザ１０が歩行を始めたことを検知して、スマートフォンやスマートウォッチへ拡大画面を要求して拡大画面を受信してＡＲグラス１００へ表示してもよい。
　この場合、スマートフォンやスマートウォッチは拡大画面指示を受信し、拡大画面を送信する機能が必要であり、あらかじめＡＲグラス１００との間で同機能を持っていることを認証するとよい。
　また、光学シースルー型のＡＲグラスの場合、明るい場所では表示アイテムのテキスト文字を太字にして明るさを稼ぎ、暗い場所では表示アイテムのテキスト文字を細字にしてまぶしさを軽減してもよい。
　以上の説明では、ＨＭＤの一形態であるＡＲグラス１００を情報処理装置の具体例として説明したが、同様の機能を有する全てのデバイスが対象であり、ユーザの視界表示範囲に仮想オブジェクトである表示アイテムを表示して前方風景とともに視認する情報処理装置では、同様の作用、効果が得られることは言うまでもない。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路や汎用プロセッサ、特定用途プロセッサで設計する等によりハードウェアで実現してもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　前記実施形態は、以下の形態を含む。
　（１）前方の視界をユーザに視認させるとともに仮想オブジェクトとしてテキスト文字やアイコンなどの表示アイテムを生成表示する機能を有し、ユーザの頭部に装着された情報処理装置にあって、該情報処理装置はユーザの歩行動作、歩行方向、歩行速度などの歩行状態を検出する歩行検出センサを具備し、
　該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、ユーザの視界表示範囲内に生成表示された表示アイテムを拡大して表示することを特徴とする情報処理装置である。
　（２）（１）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、視界表示範囲内の周辺領域にある表示アイテムを拡大して表示することを特徴とする情報処理装置である。
　（３）（２）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、視界表示範囲内の周辺領域にある表示アイテムを、視界表示範囲の中央領域にあって拡大表示された表示アイテムよりも、大き目に拡大して表示することを特徴とする情報処理装置である。
　（４）（２）に記載の情報処理装置にあって、該情報処理装置は該情報処理装置を装着したユーザの頭部の動きを検出する頭部動き検出センサを具備し、
　該情報処理装置では、歩行検出センサによってユーザの歩行が検出されたときに該頭部動き検出センサでユーザ頭部の動きが検出された場合には、頭部の動きが検出される前の表示アイテムの表示サイズなどの表示状態をそのまま維持し、維持された表示状態で表示アイテムを表示することを特徴とする情報処理装置である。
　（５）（２）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサでユーザの歩行速度を検出し、該歩行検出センサで検出されたユーザの歩行速度に応じて拡大表示される表示アイテムの表示サイズを制御することを特徴とする情報処理装置である。
　（６）（５）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサで検出されたユーザの歩行速度に応じて拡大表示される該表示アイテムの表示サイズを多段階に切換制御することを特徴とする情報処理装置である。
　（７）（２）に記載の情報処理装置にあって、該情報処理装置はユーザが歩行時の表示アイテムの表示サイズや表示位置等の表示状態を設定入力する操作メニューを具備し、
　該情報処理装置では、該操作メニューで設定入力された設定入力情報に応じて、歩行時の表示アイテムの表示サイズを制御することを特徴とする情報処理装置である。
　（８）（１）に記載の情報処理装置にあって、該情報処理装置は操作メニューと該操作メニューを選択する視線入力装置を具備し、
　該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、操作メニューへのユーザ視線による入力操作を制限することを特徴とする情報処理装置である。
　（９）（１）に記載の情報処理装置にあって、該情報処理装置では、歩行中に該歩行検出センサによってユーザの歩行停止が検出されても歩行時の表示アイテムの表示サイズをそのまま維持し、歩行停止から所定の制御維持期間の後またはユーザによる入力操作によって、維持された歩行時の表示アイテムの表示サイズから元の静止時の表示アイテムの表示サイズに移行させることを特徴とする情報処理装置である。
　（１０）前方の視界をユーザに視認させるとともに仮想オブジェクトとしてテキスト文字やアイコンなどの表示アイテムを生成表示する機能を有し、ユーザの頭部に装着された情報処理装置にあって、該情報処理装置はユーザの歩行動作、歩行方向、歩行速度などの歩行状態を検出する歩行検出センサを具備し、
　該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、視界表示範囲の中央領域にある表示アイテムを視界表示範囲の中央領域よりも外側に移動させることを特徴とする情報処理装置である。
　（１１）（１０）に記載の情報処理装置にあって、該情報処理装置では、歩行時に視界表示範囲の中央領域にある表示アイテムを視界表示範囲内の周辺領域に移動させ拡大して表示することを特徴とする情報処理装置である。
　（１２）（１１）に記載の情報処理装置にあって、視界表示範囲内の周辺領域を、視界表示範囲の中央領域の外側に隣接して周辺部を構成する第１周辺領域と、第１周辺領域の外側に隣接して周辺部を構成する第２周辺領域とに区分けし、該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されて第２周辺領域に移動させた表示アイテムを第１周辺領域に移動させた表示アイテムよりも拡大率を大きくすることを特徴とする情報処理装置である。
　（１３）（１０）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサでユーザの歩行速度を検出し、該歩行検出センサで検出されたユーザの歩行速度に応じて拡大表示される表示アイテムの表示位置を制御することを特徴とする情報処理装置である。
　（１４）（１３）に記載の情報処理装置にあって、該情報処理装置では、該歩行検出センサで検出されたユーザの歩行速度に応じて表示アイテムの表示位置を多段階に切換制御することを特徴とする情報処理装置である。
　（１５）（１０）に記載の情報処理装置にあって、該情報処理装置はユーザが歩行時の表示アイテムの表示サイズや表示位置等の表示状態を設定入力する操作メニューを具備し、
　該情報処理装置では、該操作メニューで設定入力された設定入力情報に応じて、歩行時の表示アイテムの表示位置を制御することを特徴とする情報処理装置である。
　（１６）（１０）に記載の情報処理装置にあって、該情報処理装置は操作メニューと該操作メニューを選択する視線入力装置を具備し、
　該情報処理装置では、該歩行検出センサによってユーザの歩行が検出されたとき、操作メニューへのユーザ視線による入力操作を制限することを特徴とする情報処理装置である。
　（１７）（１０）に記載の情報処理装置にあって、該情報処理装置では、歩行中に該歩行検出センサによってユーザの歩行停止が検出されたても歩行時の表示アイテムの表示位置をそのまま維持し、歩行停止から所定の制御維持期間の後またはユーザによる入力操作によって、維持された歩行時の表示アイテムの表示位置から元の静止時の表示アイテムの表示位置に移行させることを特徴とする情報処理装置である。
　（１８）前方の視界を視認するとともに仮想オブジェクトとしてテキスト文字やアイコンなどの表示アイテムを生成表示する機能を有し、ユーザの歩行動作、歩行方向、歩行速度などの歩行状態を検出する歩行検出センサを具備して、ユーザの頭部に装着された情報処理装置における情報処理方法にあって、
　該歩行検出センサによってユーザの歩行を検出するステップと、
　該歩行検出センサによってユーザの歩行が検出されたとき、ユーザの視界表示範囲内に生成表示された表示アイテムを拡大して表示したり、視界表示範囲内の中央領域よりも外側に移動させるステップと、を有する情報処理方法である。
　（１９）（１８）に記載の情報処理方法にあって、該歩行検出センサによってユーザの歩行が検出されたとき、視界表示範囲内の周辺領域にある表示アイテムを拡大して表示するステップ、を有する情報処理方法である。
　（２０）ユーザに装着された情報処理装置であって、拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、ユーザの歩行状態を検出する歩行検出センサと、プロセッサと、を備え、前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、前記ユーザが歩行していると判断すると、前記拡張現実オブジェクトを拡大し、拡大された前記拡張現実オブジェクトを前記視界表示範囲内に表示する制御を実行する、ことを特徴とする情報処理装置である。
　（２１）ユーザに装着された情報処理装置であって、拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、ユーザの歩行状態を検出する歩行検出センサと、プロセッサと、を備え、前記視界表示範囲は、当該視界表示範囲の中心点を含む中央領域及び当該中央領域の外縁に位置する周辺領域を含み、前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、歩行していると判断すると、前記中央領域に表示された前記拡張現実オブジェクトを前記周辺領域に移動させる表示制御を実行する、ことを特徴とする情報処理装置である。
　（２２）ユーザに装着された情報処理装置で実行される情報処理方法であって、前記ユーザの歩行状態を検出する歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断する歩行判断ステップと、前記ユーザが歩行していると判断すると、静止時と比較して拡張現実オブジェクトを拡大する拡大ステップと、表示処理デバイスに対して、拡大された前記拡張現実オブジェクトを表示させる表示ステップと、を含む、ことを特徴とする情報処理方法である。
１０　　　：ユーザ
１１　　　：足
１２　　　：足
１００　　：ＡＲグラス
１０１　　：左目視線センサ
１０２　　：右目視線センサ
１０３　　：カメラ
１０４　　：加速度センサ
１１１　　：表示アイテム
１１２　　：表示アイテム
１１３　　：表示アイテム
２０１　　：前方風景
２０２　　：視界表示範囲
２１１　　：表示アイテム
２１２　　：表示アイテム
２１３　　：表示アイテム
２５０　　：中央領域
２６０　　：周辺領域
３００　　：矢印
３１１　　：表示アイテム
３１２　　：表示アイテム
３１３　　：表示アイテム
５１１　　：表示アイテム
５１２　　：表示アイテム
６０１　　：矢印
６０２　　：視界表示範囲
６０３　　：矢印
６０４　　：視界表示範囲
６１２　　：表示アイテム
６１３　　：表示アイテム
６５０　　：中央領域
６５１　　：中央領域
６６０　　：周辺領域
６６１　　：周辺領域
７０１　　：視界表示範囲
７０２　　：視界表示範囲
７１３　　：表示アイテム
７５０　　：中央領域
７５１　　：中央領域
７６０　　：周辺領域
７６１　　：周辺領域
８０１　　：破線枠
８０２　　：破線枠
８１２　　：表示アイテム
８１３　　：表示アイテム
８２２　　：表示アイテム
８２３　　：表示アイテム
８３２　　：表示アイテム
８５０　　：中央領域
８６０　　：第１周辺領域
８７０　　：第２周辺領域
１００２　：実線
１００３　：破線
１１０１　：操作メニュー
１３０４　：地磁気センサ
１３０５　：ジャイロセンサ
１３０６　：測距センサ
１３０７　：操作入力インタフェース
１３０８　：表示処理デバイス
１３２０　：プロセッサ
１３２１　：歩行状態検出処理部
１３２２　：頭部動き検出処理部
１３２３　：表示アイテム表示形態制御処理部
１３２４　：操作メニュー処理部
１３２５　：ＲＡＭ
１３３０　：ストレージ
１３３１　：プログラム
１３３２　：情報データ
１３３４　：アプリケーションプログラム
１３３５　：表示アイテム情報
１３３６　：歩行情報
１３３７　：頭部動き情報
１３３８　：入力設定情報
１３４１　：バイブレータ
１３４２　：マイク
１３４３　：スピーカ
１３４４　：通信デバイス
１３４５　：タイマー
１３５０　：バス
１４０１　：スマートフォン画面
１４０２　：スマートウォッチ画面
１４１１　：スマートフォン画面
１４１２　：スマートウォッチ画面
 

Claims (15)

  1. 　ユーザに装着された情報処理装置であって、
    　拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、
    　ユーザの歩行状態を検出する歩行検出センサと、
    　プロセッサと、を備え、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、前記ユーザが歩行していると判断すると、前記拡張現実オブジェクトを拡大し、
    　拡大された前記拡張現実オブジェクトを前記視界表示範囲内に表示する制御を実行する、
    　ことを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置にあって、
    　前記視界表示範囲は、当該視界表示範囲の中心点を含む中央領域及び当該中央領域の外縁に位置する周辺領域を含み、
    　前記プロセッサは、前記周辺領域に表示される前記拡張現実オブジェクトは拡大し、前記中央領域に表示される前記拡張現実オブジェクトは拡大しない、
    　ことを特徴とする情報処理装置。
  3. 　請求項２に記載の情報処理装置にあって、
    　前記プロセッサは、前記周辺領域に表示される前記拡張現実オブジェクトの表示サイズを、前記中央領域に表示される前記拡張現実オブジェクトの表示サイズよりも大きいサイズに拡大する、
    　ことを特徴とする情報処理装置。
  4. 　請求項２に記載の情報処理装置にあって、
    　前記情報処理装置は前記情報処理装置を装着したユーザの頭部の動きを検出する頭部動き検出センサを更に備え、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが静止中と判断した際に前記頭部動き検出センサのセンサ情報に基づいて前記ユーザの頭部の動きを検出すると、当該頭部の動きに追従して前記視界表示範囲の位置を移動し、移動後の視界表示範囲内の前記周辺領域に表示される前記拡張現実オブジェクトは拡大し、移動後の視界表示範囲内の前記中央領域に表示される前記拡張現実オブジェクトは拡大しない、
    　ことを特徴とする情報処理装置。
  5. 　請求項４に記載の情報処理装置にあって、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行中と判断した際に前記頭部動き検出センサのセンサ情報に基づいて前記ユーザの頭部の動きを検出すると、前記頭部の動きが検出される前と後の前記拡張現実オブジェクトの表示サイズを変更しない、
    　ことを特徴とする情報処理装置。
  6. 　請求項２に記載の情報処理装置にあって、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザの歩行速度を検出し、当該歩行速度に応じて前記拡張現実オブジェクトを拡大する表示サイズを制御する、
    　ことを特徴とする情報処理装置。
  7. 　請求項１に記載の情報処理装置にあって、
    　前記プロセッサは、前記拡張現実オブジェクトの表示サイズを設定入力する操作メニューを前記視界表示範囲内に表示制御する、
    　ことを特徴とする情報処理装置。
  8. 　ユーザに装着された情報処理装置であって、
    　拡張現実オブジェクトを視界表示範囲内に表示する表示処理デバイスと、
    　ユーザの歩行状態を検出する歩行検出センサと、
    　プロセッサと、を備え、
    　前記視界表示範囲は、当該視界表示範囲の中心点を含む中央領域及び当該中央領域の外縁に位置する周辺領域を含み、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断し、歩行していると判断すると、前記中央領域に表示された前記拡張現実オブジェクトを前記周辺領域に移動させる表示制御を実行する、
    　ことを特徴とする情報処理装置。
  9. 　請求項８に記載の情報処理装置にあって、
    　前記プロセッサは、前記中央領域に表示された前記拡張現実オブジェクトを拡大して前記周辺領域に移動させる表示制御を実行する、
    　ことを特徴とする情報処理装置。
  10. 　請求項９に記載の情報処理装置にあって、
    　前記視界表示範囲内の周辺領域は、前記中央領域の外側に隣接する第１周辺領域と、当該第１周辺領域の外側に隣接する第２周辺領域とに区分けされ、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザが歩行していると判定し、前記第２周辺領域に移動させた前記拡張現実オブジェクトの拡大率は、前記第１周辺領域に移動させた前記拡張現実オブジェクトの拡大率よりも大きくする、
    　ことを特徴とする情報処理装置。
  11. 　請求項１０に記載の情報処理装置にあって、
    　前記プロセッサは、前記歩行検出センサのセンサ情報に基づいて前記ユーザの歩行速度を検出し、当該歩行速度に応じて前記拡張現実オブジェクトの表示位置を制御する、
    　ことを特徴とする情報処理装置。
  12. 　請求項８に記載の情報処理装置にあって、
    　前記プロセッサは、前記拡張現実オブジェクトの表示サイズを設定入力する操作メニューを前記視界表示範囲内に表示制御する、
    　ことを特徴とする情報処理装置。
  13. 　請求項１に記載の情報処理装置にあって、
    　前記歩行検出センサは、前記ユーザの足元を撮影するカメラ、加速度センサ、地磁気センサ、及びジャイロセンサの少なくとも一つであり、
    　前記頭部動き検出センサは、前記加速度センサ、地磁気センサ、及びジャイロセンサの少なくとも一つである、
    　ことを特徴とする情報処理装置。
  14. 　ユーザに装着された情報処理装置で実行される情報処理方法であって、
    　前記ユーザの歩行状態を検出する歩行検出センサのセンサ情報に基づいて前記ユーザが歩行しているかを判断する歩行判断ステップと、
    　前記ユーザが歩行していると判断すると、静止時と比較して拡張現実オブジェクトを拡大する拡大ステップと、
    　表示処理デバイスに対して、拡大された前記拡張現実オブジェクトを表示させる表示ステップと、
    を含む、
    　ことを特徴とする情報処理方法。
  15. 　請求項１４に記載の情報処理方法であって、
    　前記ユーザが歩行していると判断すると、前記表示処理デバイスにおける視界表示範囲内において、前記拡張現実オブジェクトの表示位置を移動する表示位置移動ステップと、を含み、
    　前記視界表示範囲は、当該視界表示範囲の中心点を含む中央領域及び当該中央領域の外縁に位置する周辺領域を含み、
    　前記表示位置移動ステップにおいて、前記中央領域に表示された前記拡張現実オブジェクトを前記周辺領域に移動させる、
    　ことを特徴とする情報処理方法。
     
PCT/JP2022/030568 2022-08-10 2022-08-10 情報処理装置および情報処理方法 Ceased WO2024034053A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024540154A JPWO2024034053A1 (ja) 2022-08-10 2022-08-10
CN202280098964.7A CN119678119A (zh) 2022-08-10 2022-08-10 信息处理装置以及信息处理方法
PCT/JP2022/030568 WO2024034053A1 (ja) 2022-08-10 2022-08-10 情報処理装置および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/030568 WO2024034053A1 (ja) 2022-08-10 2022-08-10 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
WO2024034053A1 true WO2024034053A1 (ja) 2024-02-15

Family

ID=89851271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030568 Ceased WO2024034053A1 (ja) 2022-08-10 2022-08-10 情報処理装置および情報処理方法

Country Status (3)

Country Link
JP (1) JPWO2024034053A1 (ja)
CN (1) CN119678119A (ja)
WO (1) WO2024034053A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213226A (ja) * 2014-05-02 2015-11-26 コニカミノルタ株式会社 ウエアラブルディスプレイ及びその表示制御プログラム
JP2019038413A (ja) * 2017-08-25 2019-03-14 アルパイン株式会社 表示制御装置および表示制御方法
JP2019217790A (ja) * 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213226A (ja) * 2014-05-02 2015-11-26 コニカミノルタ株式会社 ウエアラブルディスプレイ及びその表示制御プログラム
JP2019217790A (ja) * 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置
JP2019038413A (ja) * 2017-08-25 2019-03-14 アルパイン株式会社 表示制御装置および表示制御方法

Also Published As

Publication number Publication date
CN119678119A (zh) 2025-03-21
JPWO2024034053A1 (ja) 2024-02-15

Similar Documents

Publication Publication Date Title
US9552676B2 (en) Wearable computer with nearby object response
US11194388B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN111886564B (zh) 信息处理装置、信息处理方法和程序
KR102058891B1 (ko) 헤드 장착식 디스플레이를 위한 반응성 사용자 인터페이스
US10082940B2 (en) Text functions in augmented reality
US9164588B1 (en) Wearable computing device with gesture recognition
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
US9041741B2 (en) User interface for a head mounted display
US20160252956A1 (en) Imaging Method
CN112213856A (zh) 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6339887B2 (ja) 画像表示装置
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
KR20250021572A (ko) 헤드 마운트 웨어러블 디바이스에서의 콘텐츠 출력 관리
JP2025076493A (ja) 情報処理システム、情報処理装置及び画像表示装置
WO2024034053A1 (ja) 情報処理装置および情報処理方法
US20260038209A1 (en) Information processing device and information processing method
JP7538886B2 (ja) 画像表示装置および画像表示方法
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
WO2023248381A1 (ja) 映像表示システム、映像制御方法、及び映像制御プログラム
KR20240028897A (ko) HMD(head mounted display) 장치에서 가상키보드를 표시하는 방법 및 장치
KR20250048040A (ko) 가상 마커들과 상관되는 확대된 오버레이들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22954970

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024540154

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280098964.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202280098964.7

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22954970

Country of ref document: EP

Kind code of ref document: A1