[go: up one dir, main page]

WO2017104579A1 - 情報処理装置および操作受付方法 - Google Patents

情報処理装置および操作受付方法 Download PDF

Info

Publication number
WO2017104579A1
WO2017104579A1 PCT/JP2016/086795 JP2016086795W WO2017104579A1 WO 2017104579 A1 WO2017104579 A1 WO 2017104579A1 JP 2016086795 W JP2016086795 W JP 2016086795W WO 2017104579 A1 WO2017104579 A1 WO 2017104579A1
Authority
WO
WIPO (PCT)
Prior art keywords
icons
icon
user
virtual space
menu screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/086795
Other languages
English (en)
French (fr)
Inventor
河村 大輔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to US15/780,003 priority Critical patent/US10620791B2/en
Publication of WO2017104579A1 publication Critical patent/WO2017104579A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Definitions

  • the present invention relates to an information processing apparatus that performs information processing by interaction with a user and an operation reception method that is performed by the information processing apparatus.
  • a game in which a user's body and marker are photographed with a camera, the area of the image is replaced with another image, and displayed on a display.
  • the technology for analyzing the measured values by attaching and gripping various sensors to the user and reflecting them in information processing such as games depends on the scale, from small game machines to leisure facilities. It is used in a wide range of fields.
  • a system has been developed in which a panoramic image is displayed on a head-mounted display, and a panoramic image corresponding to the line-of-sight direction is displayed when a user wearing the head-mounted display rotates his head.
  • a head-mounted display By using a head-mounted display, it is possible to enhance the sense of immersion in the video and improve the operability of applications such as games.
  • a walk-through system has been developed in which a user wearing a head-mounted display can physically walk around in a space displayed as an image by physically moving.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of achieving both the world view expressed by the virtual space and the operability in the display of the operation reception screen.
  • the information processing apparatus is an information processing apparatus that generates a menu screen including a plurality of icons and receives a selection operation from a user, and includes an icon arrangement unit that arranges the plurality of icons in a virtual space, and a posture of the user's head
  • a display device that obtains information and determines a visual field plane for the virtual space based on the information, and generates a menu screen on which a projected image of the virtual space on the visual field is drawn and a cursor representing the user's viewpoint is superimposed and displayed.
  • An image generation unit that outputs the image, an image of an icon or other object drawn on the menu screen, and an operation determination unit that specifies the operation content based on the positional relationship with the cursor.
  • a plurality of icons are arranged such that the center of at least one icon has a vertical displacement from the center of the other icons. Characterized in that for arranging down.
  • the operation reception method is an operation reception method by an information processing apparatus that generates a menu screen including a plurality of icons and receives a selection operation from a user, the step of arranging a plurality of icons in a virtual space, and a user's head
  • the step of outputting to the device, the step of specifying the operation content based on the positional relationship between the image drawn on the menu screen and icons and other objects, and the cursor, and arranging the icons is a virtual space In the horizontal direction, the center of at least one icon is shifted vertically from the center of other icons. Characterized in that for arranging the plurality of icons to.
  • FIG. 6 is a flowchart illustrating a processing procedure in which the information processing apparatus generates a menu screen and accepts a selection operation in the present embodiment.
  • a screen for accepting a selection operation such as a menu screen is displayed while changing the visual field according to the movement of the user's line of sight.
  • the type of device that displays an image is not particularly limited, and any of a wearable display, a flat panel display, a projector, and the like may be used.
  • a head-mounted display will be described as an example of a wearable display.
  • the user's line of sight can be estimated approximately by a built-in motion sensor.
  • the user can detect the line of sight by wearing a motion sensor on the head or by detecting infrared reflection using a gaze point detection device.
  • the user's head may be attached with a marker, and the line of sight may be estimated by analyzing an image of the appearance, or any of those techniques may be combined.
  • FIG. 1 is an external view of the head mounted display 100.
  • the head mounted display 100 includes a main body portion 110, a forehead contact portion 120, and a temporal contact portion 130.
  • the head mounted display 100 is a display device that is worn on the user's head and enjoys still images and moving images displayed on the display, and listens to sound and music output from the headphones.
  • Posture information such as the rotation angle and inclination of the head of the user wearing the head mounted display 100 can be measured by a motion sensor built in or externally attached to the head mounted display 100.
  • the head mounted display 100 is an example of a “wearable display device”.
  • the wearable display device is not limited to the head-mounted display 100 in a narrow sense, but includes glasses, glasses-type displays, glasses-type cameras, headphones, headsets (headphones with microphones), earphones, earrings, ear-mounted cameras, hats, hats with cameras, Any wearable display device such as a hair band is included.
  • FIG. 2 is a functional configuration diagram of the head mounted display 100.
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data.
  • the input interface 20 receives operation signals and setting signals from the user and supplies them to the control unit 10.
  • the output interface 30 receives the image signal from the control unit 10 and displays it on the display.
  • the backlight 32 supplies a backlight to the liquid crystal display.
  • the communication control unit 40 transmits data input from the control unit 10 to the outside by wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside via wired or wireless communication via the network adapter 42 or the antenna 44 and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data, parameters, operation signals, and the like processed by the control unit 10.
  • the motion sensor 64 detects posture information such as the rotation angle and tilt of the main body 110 of the head mounted display 100.
  • the motion sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.
  • the external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the clock unit 80 sets time information according to a setting signal from the control unit 10 and supplies time data to the control unit 10.
  • the control unit 10 can supply the image and text data to the output interface 30 to be displayed on the display, or can supply the image and text data to the communication control unit 40 to be transmitted to the outside.
  • FIG. 3 is a configuration diagram of the information processing system according to the present embodiment.
  • the head mounted display 100 is connected to the information processing apparatus 200 through an interface 300 for connecting peripheral devices such as wireless communication or USB.
  • the information processing apparatus 200 may be further connected to a server via a network.
  • the server may provide the information processing apparatus 200 with an online application such as a game that allows a plurality of users to participate via a network.
  • the head mounted display 100 may be connected to a computer or a mobile terminal instead of the information processing apparatus 200.
  • the image displayed on the head-mounted display 100 may be a 360-degree panoramic still image or a panoramic video imaged in advance, or an artificial panoramic image such as a game space. Further, it may be a live video of a remote place distributed via a network.
  • the present embodiment is not intended to be limited to panoramic images, and whether or not to make a panoramic image may be appropriately determined depending on the type of display device.
  • FIG. 4 shows the internal circuit configuration of the information processing apparatus 200.
  • the information processing apparatus 200 includes a CPU (Central Processing Unit) 222, a GPU (Graphics Processing Unit) 224, and a main memory 226. These units are connected to each other via a bus 230. An input / output interface 228 is further connected to the bus 230.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the input / output interface 228 includes a peripheral device interface such as USB or IEEE1394, a communication unit 232 including a wired or wireless LAN network interface, a storage unit 234 such as a hard disk drive or a nonvolatile memory, and a display device such as the head mounted display 100.
  • An output unit 236 that outputs data to the head, an input unit 238 that inputs data from the head mounted display 100, and a recording medium driving unit 240 that drives a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory are connected.
  • the CPU 222 controls the entire information processing apparatus 200 by executing an operating system stored in the storage unit 234.
  • the CPU 222 also executes various programs read from the removable recording medium and loaded into the main memory 226 or downloaded via the communication unit 232.
  • the GPU 224 has a function of a geometry engine and a function of a rendering processor, performs a drawing process according to a drawing command from the CPU 222, and stores a display image in a frame buffer (not shown). Then, the display image stored in the frame buffer is converted into a video signal and output to the output unit 236.
  • the main memory 226 includes a RAM (Random Access Memory) and stores programs and data necessary for processing.
  • FIG. 5 shows functional blocks of the information processing apparatus 200 in the present embodiment.
  • the information processing apparatus 200 changes the field of view by the movement of the line of sight, and receives a screen for receiving an input for selecting one of a plurality of options by the line of sight (hereinafter referred to as “menu screen”). Call). Then, a selection input for the screen is accepted, and processing corresponding to the input is executed.
  • the processing performed according to the selection is not particularly limited, but here, as an example, processing of electronic content such as a game or a moving image is assumed. An array of icons representing each electronic content is displayed on the menu screen.
  • At least a part of the functions of the information processing apparatus 200 shown in FIG. 5 may be mounted on the control unit 10 of the head mounted display 100.
  • at least a part of the functions of the information processing apparatus 200 may be mounted on a server connected to the information processing apparatus 200 via a network.
  • a function for generating a menu screen and accepting a selection input may be provided as a menu screen control device separately from a device for processing electronic content.
  • This figure is a block diagram mainly focusing on the function related to the control of the menu screen among the functions of the information processing apparatus 200.
  • These functional blocks can be realized in terms of hardware by the configuration of the CPU, GPU, and various memories shown in FIG. 4, and in terms of software, the data input function and data retention loaded from the recording medium to the memory. It is realized by a program that exhibits various functions such as a function, an image processing function, and a communication function. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the information processing apparatus 200 stores a position / posture acquisition unit 712 that acquires the position and posture of the head-mounted display 100, a visual field control unit 714 that controls the visual field of a display image based on the user's line of sight, and information related to icons to be displayed.
  • An icon information storage unit 720 an icon arrangement unit 722 that determines an icon arrangement in the virtual space, an operation determination unit 718 that determines that an operation has been performed due to a change in line of sight, a content processing unit 728 that processes the selected electronic content,
  • An image generation unit 716 that generates display image data, a content information storage unit 724 that stores information related to the content to be selected, and an output unit 726 that outputs the generated data.
  • the position / posture acquisition unit 712 acquires the position and posture of the user's head wearing the head mounted display 100 at a predetermined rate based on the detection value of the motion sensor 64 of the head mounted display 100.
  • the position / orientation acquisition unit 712 further acquires the position and orientation of the head based on an image captured by an imaging apparatus (not shown) connected to the information processing apparatus 200, and integrates the result with information from the motion sensor. Also good.
  • the visual field control unit 714 sets a visual field surface (screen) for the three-dimensional space to be drawn based on the position and posture of the head acquired by the position / posture acquisition unit 712.
  • a plurality of icons to be displayed are expressed as if they are floating in the hollow of the virtual space. Therefore, the visual field control unit 714 holds information on a virtual three-dimensional space for arranging the icon.
  • the thing represented in the space other than the icon is not particularly limited.
  • a surface representing a background or an object is defined in a global coordinate system similar to general computer graphics.
  • an omnidirectional background object having a size that encompasses an icon floating in the air and the user's head may be arranged. This creates a sense of depth in the space and makes it more impressive that the icon is floating in the air.
  • the visual field control unit 714 sets screen coordinates with respect to the global coordinate system at a predetermined rate based on the attitude of the head mounted display 100.
  • the orientation of the user's face is determined by the posture of the head mounted display 100, that is, the Euler angle of the user's head.
  • the visual field control unit 714 sets the screen coordinates corresponding to at least the direction in which the face faces, so that the virtual space is drawn on the screen plane with the visual field according to the direction in which the user faces.
  • the normal vector of the user's face is estimated as the direction of the line of sight.
  • line-of-sight information can be obtained by using a device that detects a gazing point by infrared reflection or the like.
  • the direction in which the user is looking which is estimated or detected regardless of the derivation method, is generally referred to as the “line of sight” direction.
  • the visual field control unit 714 may prevent the image from being unintentionally blurred by ignoring the detected change in the angle until the change in the posture of the user's head exceeds a predetermined value.
  • the sensitivity of the head angle detection may be adjusted based on the zoom magnification.
  • the icon arrangement unit 722 determines the arrangement of icons representing each electronic content. As described above, the icons are represented as floating in the virtual space. More specifically, the icons are arranged in the horizontal direction on or in the same horizontal plane as the line of sight when the user is facing the front (horizontal direction). As a result, the icon can be selected based on the operation of shaking the head sideways.
  • the icon is an object such as a sphere representing a thumbnail image of each electronic content.
  • the icon information storage unit 720 stores information related to the shape of the icon and the electronic content on which the icon is to be displayed.
  • the icon arrangement unit 722 specifies the number of icons to be displayed based on the information stored in the icon information storage unit 720, and optimizes the arrangement pattern and the range covered by the arrangement accordingly. Although a specific example will be described later, in consideration of the range in which icons can be arranged in the virtual space and the number of icons to be displayed, optimization is performed by shifting the center position of the icons up and down. Thereby, even if it is many icons, it enables it to select efficiently, maintaining an appropriate space
  • the icon arrangement unit 722 further displaces such an icon arrangement in the virtual space while maintaining the permutation in accordance with a user operation. That is, the array itself is displaced in the global coordinate system. Thereby, even if it is an arrangement
  • the icon arrangement unit 722 associates the content identification information with the arrangement information of the icon representing the content, and supplies the information to the image generation unit 716.
  • the operation determination unit 718 determines whether any operation other than a change in the visual field of the menu screen has been performed based on the movement of the user's line of sight.
  • the operations determined here include selection of an icon, playback of electronic content corresponding to the selected icon, processing start, download, information display, transition to display on the corresponding website, display of help information, and the like. . For example, when the line of sight reaches one icon in the icon array, it is determined that the icon is selected. In response to this, an operation button for selecting a specific operation content for the corresponding content is additionally displayed, and when the line of sight is moved to this, it is determined that the operation has been performed.
  • the operation determination unit 718 holds determination information for performing such processing and setting information related to processing to be performed accordingly. When it is determined that an operation has been performed and it is to display an additional object such as an operation button on the menu screen, the operation determination unit 718 notifies the image generation unit 716 of a request to that effect. In other cases where processing is completed in the virtual space for the menu screen, for example, when an operation for displaying an overview of the selected content is performed, or when an operation for displaying help information for the menu screen is performed, The operation determination unit 718 notifies the image generation unit 716 of a processing request to that effect.
  • the operation determination unit 718 When an operation for switching the display from the virtual space for the menu screen is performed, such as playback / processing start of electronic content or transition to display on a website, the operation determination unit 718 notifies the content processing unit 728 of a request to that effect. To do. The operation determination unit 718 further determines whether or not an operation for displacing the icon array has been performed, and if so, notifies the icon arrangement unit 722 of a request to that effect.
  • the image generation unit 716 draws an image to be displayed as a menu screen at a predetermined rate by projecting a virtual space including the icon arrangement determined by the icon arrangement unit 722 onto the screen determined by the visual field control unit 714. As described above, things other than the icon array such as background objects may exist in the virtual space.
  • the image generation unit 716 may switch the texture image of the background object so that the thumbnail image of the icon in the selected state, that is, the line of sight is displayed on the entire background.
  • the image generation unit 716 may generate an image of the menu screen so that the head mounted display 100 can be viewed stereoscopically. That is, parallax images for the left eye and right eye for displaying the screen of the head-mounted display 100 in respective regions divided into right and left may be generated.
  • the image generation unit 716 further changes the image in response to a request from the operation determination unit 718. For example, an icon in a selected state is enlarged and an operation button for accepting a specific operation is displayed near such an icon.
  • the content information storage unit 724 stores panoramic image data created for each electronic content or created for the menu screen. Keep it.
  • a panoramic image is an example of an image of a surrounding space centered on a fixed point.
  • the surrounding space panoramic space
  • the background image may be a moving image or still image content created in advance, or may be rendered computer graphics.
  • the content processing unit 728 processes electronic content corresponding to the selected icon in response to a request from the operation determination unit 718. That is, a moving image or a still image is played or a game is started. Data and programs for that purpose are stored in the content information storage unit 724 in association with content identification information.
  • the image generation unit 716 also generates an image for content display such as a moving image or a game screen in accordance with a request from the content processing unit 728. Since a general technique can be applied to specific processing of content, description thereof is omitted here.
  • the output unit 726 sends the image data generated by the image generation unit 716 to the head mounted display 100 at a predetermined rate.
  • the output unit 726 may also output audio data such as audio for menu screen music and various contents.
  • FIG. 6 illustrates a menu screen displayed on the head mounted display 100.
  • the menu screen 500 represents an object in the visual field corresponding to the user's line of sight in the virtual space constructed around the user. Therefore, among the plurality of icons arranged by the icon arrangement unit 722, some icons 502a to 502g within the field of view are displayed. Above each of the icons 502a to 502g, the title of the content represented by the icon is displayed as character information. The user can move his / her line of sight and, consequently, the field of view by shaking his / her head in the horizontal direction, and can also view other icons.
  • An object representing the background is also drawn behind the icons 502a to 502g.
  • the texture image pasted on it is expressed with a sense of depth.
  • the icons 502a to 502g can be rendered as if they are floating in the space encompassed by the background object.
  • the icons 502a to 502g are spherical objects obtained by texture mapping thumbnail images of the respective electronic contents. However, this is not intended to limit the shape of the icon.
  • the menu screen 500 further displays a cursor 504 representing the point where the image plane and the user's line of sight intersect, that is, the user's viewpoint on the menu screen.
  • the visual field of the menu screen 500 changes according to the movement of the line of sight.
  • the cursor 504 representing the viewpoint is placed at the approximate center of the menu screen 500 regardless of the movement of the line of sight. That is, when the direction of the user's line of sight changes, the field of view also changes, so that the cursor 504 is at a fixed position on the screen, and the virtual world including the icon array and the background object is displaced in the opposite direction.
  • the cursor 504 informs the user of the position that the information processing apparatus 200 recognizes as the viewpoint, and the user intuitively adjusts the swing width of the neck using this as a clue, so that a desired icon or operation button can be accurately displayed. It will be possible to operate. As long as that is the case, the cursor 504 may not exactly match the user's viewpoint. Further, it may be off the center of the screen depending on the speed of movement of the line of sight.
  • the menu screen 500 may further display other objects not shown.
  • an operation button for displaying help information may be arranged below the virtual space, and may appear on the screen by directing the line of sight downward to accept the operation.
  • FIG. 7 schematically shows an example of a virtual space constructed when generating a menu image.
  • icons are arranged in the virtual space in the horizontal direction with reference to a horizontal plane that crosses the head of the user 516, for example, a horizontal plane that includes a line-of-sight vector when the user 516 faces the front.
  • icons for example, icons 514a and 514b
  • a spherical surface 510 centered on the position of the head of the user 516 is set as a background object. Then, the direction of the user's face (face normal vector 517) is specified as a line of sight, and a screen 518 is set on a vertical plane centered on the line of sight to project an object in the virtual space. Thereby, the menu screen 500 as shown in FIG. 6 is drawn.
  • the icon arrangement unit 722 optimizes the icon arrangement according to the situation as described above. In the simplest case, it can be considered that all the icons are arranged in a line (one round) so that the centers of the icons are located on the circumference 512. All icons may be arranged at equal intervals, or may be preferentially arranged in a range corresponding to the front of the user.
  • the upper limit of the number of icons that can be displayed is increased by arranging the centers of at least one icon so as to have a vertical difference from the centers of other icons.
  • icons 514a whose centers represented by x marks are above the circumference 512 and icons 514b below are alternately arranged. That is, the vertical position is alternately changed.
  • the upper limit of the number of icons that can be displayed can be increased by about 50% even if the radius Z is not changed and the interval between the icons is kept at the same level as compared with the case where they are arranged in a line. it can.
  • FIG. 8 exemplifies the transition of the menu screen according to the movement of the line of sight.
  • the portion of the icon arrangement in the menu screen is shown on the left side, and the state when the user's head at that time is viewed from the left side is shown on the right side.
  • an array of icons 520 displayed as described above and a cursor 522 representing the user's viewpoint are displayed on the upper screen (a).
  • the icon 520 in the virtual space is arranged so as to surround the head at the height of the line of sight when the user faces the front.
  • the center of the icon array in the vertical direction is substantially the same height as the cursor 522 representing the viewpoint.
  • the cursor 522 since the cursor 522 does not overlap the icon 520, all icons are in a non-selected state and have the same size. Note that since the virtual distance from the user becomes farther toward the center of the screen, the icon 520 is displayed in a size corresponding to such a distance, but is ignored here. The same applies to the subsequent drawings.
  • the field of view of the screen moves to the right accordingly.
  • the position of the cursor 522 in the screen does not change, but the icon arrangement moves relatively to the left.
  • the icon array moves to the right in the screen.
  • an operation button is additionally displayed below the icon 524.
  • the operation buttons may vary depending on the type of content represented by the icon, but in the figure, assuming the moving image content, the information display button 526a, the reproduction start button 526b, the corresponding website display button 526c (hereinafter collectively referred to as “operation button 526”). 3) is displayed. In this state, when the user moves his gaze downward with nodding, the field of view of the screen moves downward accordingly.
  • the position of the cursor 522 in the screen does not change, but the icon array moves relatively upward.
  • an operation corresponding to the operation button is accepted.
  • a playback start operation of the moving image content represented by the icon 524 in the selected state is accepted, and playback processing is started.
  • the content processing unit 728 performs the control.
  • the display is switched to character information that outlines a moving image in the same virtual space as the menu screen.
  • the display is switched to the website display by connecting to the server that provides the website.
  • a button for downloading the electronic content represented by the selected icon may be displayed.
  • Some conditions may be set in order to validate the operation on the operation button and start the corresponding processing.
  • the operation may be determined to be valid on the condition that a predetermined time has elapsed after the cursor 522 overlaps the operation button.
  • an indicator indicating the remaining time until the operation is validated may be separately displayed.
  • one of the arranged icons can be selected by swinging left and right, and various operations on the content represented by the icon can be performed with nodding.
  • swinging left and right or nodding is less burdensome than looking up, regardless of posture. Therefore, by arranging the icons horizontally according to the swinging of the left and right with a wider variable range, and displaying the operation buttons below only when the operation is intended, more icons can be selected and there is no difficulty Intuitive operation is possible.
  • FIG. 9 schematically shows the relationship between icon arrangement and viewpoint movement.
  • the circular icons represent a part of the arrangement in the virtual space, and may actually be arranged on a circumference surrounding the user's head as shown in FIG.
  • the locus of the cursor with respect to the icon arrangement by swinging left and right is indicated by a dotted arrow.
  • (a) in the upper stage shows a state in which icons are arranged in a line. In this case, all the icons can be sequentially selected by simply turning the face to the right or left.
  • (b) in the middle row shows a case where the center position of the icon is shifted up and down as described above, and particularly shows a case where the icons in the upper and lower rows are alternately arranged.
  • more icons can be arranged in the same range than in the case of (a).
  • the radius r of the icon and the vertical displacement ⁇ C of the upper and lower icons are determined so that all the icons intersect with the same horizontal plane. That is, 2r> ⁇ C> 0 is satisfied. However, if the icon is not a sphere, the radius r is replaced with half the length of the icon in the vertical direction.
  • the upper and lower icons are alternately arranged, but the effect is the same even if they are not alternated as shown in (c) of the lower part of the figure.
  • (b) has the largest number of icons that can be displayed at one time.
  • the icon arrangement unit 722 arranges icon arrangements by combining icon display patterns, that is, combinations of (a) to (c) in FIG. You may optimize. For example, when the number of icons to be displayed is small, the icons are arranged in order from the front of the user in the pattern (a).
  • the icons When the icons increase and the display range reaches 360 ° around the user and the icons increase, the icons are increased and displayed in front of the user in the pattern (b). Or you may arrange
  • FIG. 10 exemplifies the transition of the menu screen including the operation for moving the icon array.
  • the portion of the icon arrangement in the menu screen is shown on the left side, and the state in which the user orientation at that time and the icon arrangement in the virtual space are looked down is shown on the right side.
  • the field of view on the screen changes as the user turns his / her face to the right or left, and the icon on which the cursor 530 overlaps is enlarged and displayed.
  • a state in which an operation button is displayed below is shown.
  • the icons 534 are arranged on a circle centering on the user's head, and the icon in the field of view is the display target.
  • icons to be displayed are indicated by thick circles
  • icons not to be displayed are indicated by dotted circles
  • the user's line of sight is indicated by white arrows.
  • the visual field control unit 714 further arranges displacement buttons 536a and 536b for displacing the icon arrangement on the circumference where the icons are arranged.
  • the displacement buttons 536a and 536b are arranged at both ends of the angle range ⁇ on which the user can easily face his face on the circumference of the icon array.
  • the angle range ⁇ is a range wider than the viewing angle of the menu screen with the direction corresponding to the front of the user as the center.
  • the displacement buttons 536a and 536b are out of the field of view and are not displayed. For example, when the user swings his head to the right, as shown in (b) in the middle of the figure, one displacement button 536a eventually enters the field of view. By disposing the displacement button 536a on the user side from the icon array, the display overlaps the icon.
  • the icon array continues to rotate while the cursor 530 is over the displacement button 536a.
  • the icon 538 located behind the user in the state (b) can be moved forward in the state (c).
  • the figure shows a case where the head is swung to the right, but the same applies to the case of the left.
  • the user can select icons arranged around 360 ° only by the movement of the neck without twisting the body or changing the direction of standing.
  • an angle at which the line of sight can be changed without difficulty is obtained by experiments or the like.
  • the angle range ⁇ may be varied for each assumed user state, such as whether or not the user is seated.
  • the cursor 530 is superimposed on the displacement button 536a, and the icon that has passed through the displacement button 536a can be selected during the period in which the icon array is displaced. At this time, regarding the icon on which the displacement button 536a overlaps and the icon following the icon, the selection is invalid by making it semi-transparent.
  • an invalid icon is represented by a darker shade than a valid icon.
  • the desired icon enters the field of view and becomes valid as a result of such displacement of the icon arrangement, the desired icon is selected as shown in the screen of (b) by removing the cursor 530 from the displacement button 536a. Can be in a state. Note that the operation of removing the cursor 530 from the displacement button 536a is performed by moving the cursor in the direction opposite to that when the cursor 530 is superimposed on the displacement button 536a, that is, by swinging the head to the left in the example of FIG.
  • FIG. 11 is a flowchart illustrating a processing procedure in which the information processing apparatus 200 generates a menu screen and receives a selection operation. This flowchart is started when the user wears the head mounted display 100 and turns on the information processing apparatus 200, for example.
  • the icon arrangement unit 722 of the information processing device 200 specifies the number of contents on which icons are to be displayed based on the icon information stored in the icon information storage unit 720, and determines the icon arrangement in the virtual space accordingly ( S10).
  • the visual field control unit 714 defines a virtual space including a background object and determines a visual field plane (screen) for the virtual space based on the position and orientation of the user's head.
  • the image generation unit 716 draws a menu screen by projecting a virtual space including the icon arrangement on the screen (S12).
  • a general computer graphics technique can be applied to the drawing process itself.
  • the image generation unit 716 superimposes and displays a cursor representing the user's viewpoint on the menu screen.
  • the visual field control unit 714 changes the screen according to the change in the posture of the head, and the image generation unit 716 repeats the process of drawing an image on the screen at a predetermined rate.
  • the output unit 726 sequentially outputs the generated image data to the head mounted display 100, so that the menu screen is dynamically expressed according to the movement of the line of sight.
  • the image generation unit 716 enlarges and displays the icon as a selected state (S16). Then, a predetermined operation button is displayed below the enlarged icon (S18). At the same time, the background object image may be updated to one corresponding to the icon in the selected state.
  • the operation determination unit 718 selects the operation target. Processing is requested to the image generation unit 716 or the content processing unit 728 depending on the type of button. Thereby, a corresponding process is performed (S24).
  • the icon arrangement unit 722 continues to displace (rotate) the icon array, and the image generation unit 716 continues to draw the pattern (S32, S12).
  • the image generation unit 716 draws the icon arrangement only in accordance with the visual field change (N in S14, N in S30, and S12).
  • the image generation unit 716 restarts the drawing process of the menu screen (Y in S26, S12). If the operation for returning to the menu screen is not performed, the image generation unit 716 or the content processing unit 728 continues the processing so far (N in S26, N in S28, and S24). However, in the process, if it is necessary to end the process by a user operation or the like, the information processing apparatus 200 ends the entire process (Y in S28).
  • the menu screen that accepts selection inputs from a plurality of icons is expressed as a virtual space whose field of view changes according to the change in the face direction and line of sight of the user.
  • the icons are arranged in parallel to the horizontal plane of the virtual space so that the icons can be selected by the movement of the line of sight by swinging left and right, and operation buttons for receiving detailed operations on the selected icons are Display below the icon.
  • the icon arrangement has a vertical shift, enabling a unique effect of floating icons so as to surround the user, while allowing more icons to be easily viewed.
  • the array pattern and the range covered by the array can be optimized according to the number of icons to be displayed.
  • the icon radius and the shift width are determined so that the upper and lower icons intersect the same horizontal plane.
  • the icons are sequentially selected by a simple operation of swinging their heads to the left and right, as in the case of arranging them in a line, so that it is easy to understand the operation method.
  • only the upper icon or only the lower icon can be selected by adjusting the angle of the neck slightly in the vertical direction, and the selection efficiency is improved.
  • an operation for rotating the icon array itself is accepted.
  • an icon at a position where the user is difficult to face, such as behind can be moved to a favorable range, and the burden can be further reduced.
  • the displacement buttons for performing such operations as objects as in the case of the icon arrangement, it is possible to perform an easy displacement operation as an extension of the icon selection without having to separately acquire an operation method.
  • an advanced selection operation can be performed by the movement of the line of sight with respect to the virtual space, it is particularly effective when it is difficult to operate the input device such as a head-mounted display.
  • the selection operation can be performed with an expression suitable for the world view of the content.
  • control unit 20 input interface, 30 output interface, 32 backlight, 40 communication control unit, 42 network adapter, 44 antenna, 50 storage unit, 64 motion sensor, 70 external input / output terminal interface, 72 external memory, 80 clock unit , 100 head mounted display, 200 information processing device, 222 CPU, 224 GPU, 226 main memory, 712 position / attitude acquisition unit, 714 visual field control unit, 716 image generation unit, 718 operation determination unit, 720 icon information storage unit, 722 Icon placement unit, 724 content information storage unit, 726 output unit, 728 content processing unit.
  • the present invention can be used for game machines, information processing apparatuses, image display apparatuses, and systems including any of them.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

仮想空間において、ユーザ516が正面を向いたときの視線ベクトルを含む水平面にあり頭部を中心とする円周512と交差するように、アイコン514a、514bを配列させる。このとき中心位置が円周512より上にあるアイコン514aと、下にあるアイコン514bとを交互に配置する。頭部の姿勢情報に基づき、ユーザの顔面の法線ベクトル517を視線として特定し、それを中心とする垂直面にスクリーン518を設定して仮想空間のオブジェクトを投影することによりメニュー画面を描画する。

Description

情報処理装置および操作受付方法
 この発明は、ユーザとのインタラクションにより情報処理を実施する情報処理装置およびそれが実施する操作受付方法に関する。
 ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている。撮影画像のみならず、各種センサをユーザに装着させたり把持させたりしてその計測値を解析し、ゲームなどの情報処理に反映させる技術は、小型のゲーム機からレジャー施設まで、その規模によらず幅広い分野で利用されている。
 その一例として、ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
 ユーザがヘッドマウントディスプレイなどのウェアラブルディスプレイを装着した状態では特に、コントローラやキーボードなどの入力デバイスを用いてシステムに対し操作入力を行うことは難しい。また表示装置の種類によらず、動画やゲームなどの電子コンテンツ表示時に、パノラマ画像や立体視により仮想空間への没入感を与えるような高度な画像表現を実現しても、当該電子コンテンツを選択するメニュー画面や設定画面で上記のような入力デバイスを必要としたり簡素な画面構成としたりすれば、ユーザの興味がそがれてしまう。したがってそのような操作受付画面の表示においても、仮想空間が表現する世界観を維持しつつ、操作性も損なわない技術が求められている。
 本発明はこうした課題に鑑みてなされたものであり、その目的は、操作受付画面の表示において、仮想空間が表現する世界観と操作性とを両立できる技術を提供することにある。
 上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける情報処理装置であって、仮想空間に複数のアイコンを配列させるアイコン配置部と、ユーザの頭部の姿勢情報を取得し、それに基づき仮想空間に対する視野面を決定する視野制御部と、視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する画像生成部と、メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、カーソルとの位置関係に基づき、操作内容を特定する操作判定部と、を備え、アイコン配置部は、仮想空間の水平方向に、少なくとも1つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように複数のアイコンを配列させることを特徴とする。
 本発明の別の態様は、操作受付方法に関する。この操作受付方法は、複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける、情報処理装置による操作受付方法であって、仮想空間に複数のアイコンを配列させるステップと、ユーザの頭部の姿勢情報を取得し、それに基づき仮想空間に対する視野面を決定するステップと、視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力するステップと、メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、カーソルとの位置関係に基づき、操作内容を特定するステップと、を含み、アイコンを配列させるステップは、仮想空間の水平方向に、少なくとも1つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように複数のアイコンを配列させることを特徴とする。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
 本発明によれば、仮想空間が表現する世界観と操作性とを両立した操作受付画面を提供できる。
本実施の形態のヘッドマウントディスプレイの外観図である。 本実施の形態のヘッドマウントディスプレイの機能構成図である。 本実施の形態の情報処理システムの構成図である。 本実施の形態の情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックを示す図である。 本実施の形態で表示されるメニュー画面を例示する図である。 本実施の形態においてメニュー画像を生成する際に構築される仮想空間の例を模式的に示す図である。 本実施の形態における、視線の動きに応じたメニュー画面の変遷を例示する図である。 本実施の形態のアイコン配列と視点の動きの関係を模式的に示す図である。 本実施の形態における、アイコン配列を変位させる操作を含むメニュー画面の変遷を例示する図である。 本実施の形態において情報処理装置がメニュー画面を生成し選択操作を受け付ける処理手順を示すフローチャートである。
 本実施の形態では、メニュー画面など選択操作を受け付ける画面を、ユーザの視線の動きに応じて視野を変化させつつ表示する。その限りにおいて、画像を表示させる装置の種類は特に限定されず、ウェアラブルディスプレイ、平板型のディスプレイ、プロジェクタなどのいずれでもよいが、ここではウェアラブルディスプレイのうちヘッドマウントディスプレイを例に説明する。
 ウェアラブルディスプレイの場合、ユーザの視線は内蔵するモーションセンサによりおよそ推定できる。その他の表示装置の場合、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線の反射を検出したりすることで視線を検出できる。あるいはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより視線を推定してもよいし、それらの技術のいずれかを組み合わせてもよい。
 図1は、ヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、および側頭部接触部130を含む。ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ100に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ100を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
 ヘッドマウントディスプレイ100は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドホン、ヘッドセット(マイクつきヘッドホン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。
 図2は、ヘッドマウントディスプレイ100の機能構成図である。制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、ユーザからの操作信号や設定信号を受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。バックライト32は、液晶ディスプレイにバックライトを供給する。
 通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。
 モーションセンサ64は、ヘッドマウントディスプレイ100の本体部110の回転角や傾きなどの姿勢情報を検出する。モーションセンサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
 時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させたりすることができる。
 図3は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ100は、無線通信またはUSBなどの周辺機器を接続するインタフェース300で情報処理装置200に接続される。情報処理装置200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置200に提供してもよい。ヘッドマウントディスプレイ100は、情報処理装置200の代わりに、コンピュータや携帯端末に接続されてもよい。
 ヘッドマウントディスプレイ100に表示される画像は、あらかじめ撮影された360度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。ただし本実施の形態をパノラマ画像に限定する主旨ではなく、表示装置の種類によって、パノラマ画像とするか否かを適宜決定してよい。
 図4は情報処理装置200の内部回路構成を示している。情報処理装置200は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続されている。バス230にはさらに入出力インタフェース228が接続されている。
 入出力インタフェース228には、USBやIEEE1394などの周辺機器インタフェースや、有線又は無線LANのネットワークインタフェースからなる通信部232、ハードディスクドライブや不揮発性メモリなどの記憶部234、ヘッドマウントディスプレイ100などの表示装置へデータを出力する出力部236、ヘッドマウントディスプレイ100からデータを入力する入力部238、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部240が接続される。
 CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することにより情報処理装置200の全体を制御する。CPU222はまた、リムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラムを実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部236に出力する。メインメモリ226はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
 図5は、本実施の形態における情報処理装置200の機能ブロックを示している。本実施の形態における情報処理装置200は、上述のとおり視線の動きにより視野が変化するとともに、当該視線によって複数の選択肢から1つを選択する入力を受け付けるための画面(以後、「メニュー画面」と呼ぶ)を生成する。そして当該画面に対する選択入力を受け付け、それに対応する処理を実行する。選択に応じてなされる処理は特に限定されないが、ここでは一例として、ゲームや動画などの電子コンテンツの処理を想定する。そして各電子コンテンツを表象するアイコンの配列をメニュー画面に表す。
 なお図5で示した情報処理装置200の機能のうち少なくとも一部を、ヘッドマウントディスプレイ100の制御部10に実装してもよい。あるいは、情報処理装置200の少なくとも一部の機能を、ネットワークを介して情報処理装置200に接続されたサーバに実装してもよい。またメニュー画面を生成し選択入力を受け付ける機能をメニュー画面制御装置として、電子コンテンツを処理する装置と別に設けてもよい。
 同図は情報処理装置200が有する機能のうち、主にメニュー画面の制御に係る機能に着目したブロック図を描いている。これらの機能ブロックは、ハードウェア的には、図4に示したCPU、GPU、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
 情報処理装置200は、ヘッドマウントディスプレイ100の位置や姿勢を取得する位置・姿勢取得部712、ユーザの視線に基づき表示画像の視野を制御する視野制御部714、表示対象のアイコンに係る情報を記憶するアイコン情報記憶部720、仮想空間におけるアイコン配列を決定するアイコン配置部722、視線の変化により操作がなされたことを判定する操作判定部718、選択された電子コンテンツを処理するコンテンツ処理部728、表示画像のデータを生成する画像生成部716、選択対象のコンテンツに係る情報を記憶するコンテンツ情報記憶部724、および、生成されたデータを出力する出力部726を備える。
 位置・姿勢取得部712は、ヘッドマウントディスプレイ100のモーションセンサ64の検出値に基づいて、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢を所定のレートで取得する。位置・姿勢取得部712はさらに、情報処理装置200に接続した図示しない撮像装置による撮影画像に基づき、頭部の位置や姿勢を取得したり、その結果をモーションセンサによる情報と統合したりしてもよい。
 視野制御部714は、位置・姿勢取得部712により取得された頭部の位置や姿勢に基づいて、描画対象の3次元空間に対する視野面(スクリーン)を設定する。本実施の形態のメニュー画面では、表示対象の複数のアイコンを、仮想空間の中空に浮かんでいるように表現する。したがって視野制御部714は、当該アイコンを配置するための仮想的な3次元空間の情報を保持している。
 アイコン以外で当該空間に表す物は特に限定されないが、例えば背景を表す面やオブジェクトなどを、一般的なコンピュータグラフィクスと同様のグローバル座標系に定義する。例えば空中に浮かぶアイコンとユーザの頭部を包含するような大きさの全天球状の背景オブジェクトを配置してもよい。これにより空間に奥行き感が生じ、アイコンが空中に浮いている状態をより印象づけられる。そして視野制御部714は、当該グローバル座標系に対するスクリーン座標を、ヘッドマウントディスプレイ100の姿勢に基づいて所定のレートで設定する。
 ヘッドマウントディスプレイ100の姿勢、すなわちユーザ頭部のオイラー角によってユーザの顔面の向く方向が判明する。視野制御部714は少なくとも、当該顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザが向く方向に応じた視野で仮想空間がスクリーン平面に描画されるようにする。この場合、ユーザの顔面の法線ベクトルをおよそ視線の方向と推定していることになる。
 なお赤外線の反射などにより注視点を検出する装置を用いればさらに詳細な視線情報を得ることができる。以後の説明では、導出手法によらず推定あるいは検出された、ユーザが見ている方向を総じて「視線」の方向と称する。視野制御部714は、ユーザ頭部の姿勢の変化が所定の値を超えるまでは検出された角度の変化を無視するようにして、意図せず画像がぶれるのを防いでもよい。また表示画像のズーム操作を受け付けるような場合は、ズーム倍率に基づいて頭部の角度検出の感度を調整してもよい。
 アイコン配置部722は、各電子コンテンツを表象するアイコンの配列を決定する。上述のとおりアイコンは仮想空間に浮いているように表す。より具体的には、ユーザが正面(水平方向)を向いているときの視線と同一水平面上あるいはその近傍に、水平方向にアイコンを配列させる。これにより、首を横に振る動作を基本としてアイコンを選択できるようにする。アイコンは各電子コンテンツのサムネイル画像を表す球体などのオブジェクトとする。
 アイコン情報記憶部720には、アイコンの形状や、アイコンを表示すべき電子コンテンツに係る情報が格納されている。アイコン配置部722は、アイコン情報記憶部720に格納された情報に基づき、表示すべきアイコンの数を特定し、それに応じて配置パターンや配列の及ぶ範囲を最適化する。具体例は後に述べるが、仮想空間においてアイコンを配列できる範囲と、表示すべきアイコンの数を考慮して、アイコンの中心位置を上下にずらすなどして最適化する。これにより、多くのアイコンであっても適切な間隔を保ちつつ効率的な選択ができるようにする。
 アイコン配置部722はさらに、ユーザの操作に応じて、そのようなアイコン配列を、順列を保ったまま仮想空間内で変位させる。つまりグローバル座標系において配列自体を変位させる。これにより、多数のアイコンを含む配列であっても、ユーザの前方など容易に見ることのできる範囲に所望のアイコンを引き寄せることができる。アイコン配置部722は、コンテンツの識別情報と、当該コンテンツを表すアイコンの配置情報を対応づけて、画像生成部716に供給する。
 操作判定部718は、ユーザの視線の動きにより、メニュー画面の視野変化以外の何らかの操作がなされたか否かを判定する。ここで判定される操作とは、アイコンの選択、選択されたアイコンに対応する電子コンテンツの再生、処理開始、ダウンロード、情報表示、対応するウェブサイトへの表示の移行、ヘルプ情報の表示などである。例えば、アイコン配列のうち1つのアイコンに視線が到達したとき、当該アイコンが選択されたと判定する。これに応じて、対応するコンテンツへの具体的な操作内容を選択するための操作ボタンを追加で表示させ、それに視線が移されたら当該操作がなされたと判定する。
 操作判定部718は、そのような処理を実施するための判定基準とそれに応じてなすべき処理に係る設定情報を保持している。操作がなされたと判定され、それが操作ボタン等、追加のオブジェクトをメニュー画面に表示させるべきものである場合は、操作判定部718はその旨の要求を画像生成部716に通知する。メニュー画面用の仮想空間内で処理が完結するその他の場合、例えば選択状態のコンテンツに係る概説を表示する操作がなされた場合や、メニュー画面に対するヘルプ情報を表示する操作がなされた場合なども、操作判定部718はその旨の処理要求を画像生成部716に通知する。
 電子コンテンツの再生・処理開始や、ウェブサイトへの表示の移行など、メニュー画面用の仮想空間から表示を切り替える操作がなされた場合、操作判定部718はその旨の要求をコンテンツ処理部728に通知する。操作判定部718はさらに、アイコン配列を変位させる操作がなされたか否かを判定し、なされた場合はその旨の要求をアイコン配置部722に通知する。
 画像生成部716は、アイコン配置部722が決定したアイコン配列を含む仮想空間を、視野制御部714が決定したスクリーンに投影することにより、メニュー画面として表示させる画像を所定のレートで描画する。上述のとおり仮想空間には、背景オブジェクトなどアイコン配列以外の物が存在していてもよい。画像生成部716は、選択状態にある、すなわち視線が向いているアイコンのサムネイル画像が背景全体に表されるように、背景オブジェクトのテクスチャ画像を切り替えてもよい。
 画像生成部716は、ヘッドマウントディスプレイ100において立体視できるようにメニュー画面の画像を生成してもよい。すなわちヘッドマウントディスプレイ100の画面を左右に分割してなる領域にそれぞれ表示するための、左眼用、右眼用の視差画像を生成してもよい。画像生成部716はさらに、操作判定部718からの要求に応じて画像に変化を与える。例えば、選択状態のアイコンを拡大表示させたり、そのようなアイコンの近傍に、具体的な操作を受け付けるための操作ボタンを表示させたりする。
 あるいはコンテンツを概説する文字情報やメニュー画面に対するヘルプ情報などを表示する。各コンテンツについての文字情報や、アイコンや背景の描画に用いるサムネイル画像などのデータは、コンテンツの識別情報に対応づけてコンテンツ情報記憶部724に格納しておく。あるいはネットワークを介して接続されたサーバから直接取得してもよい。上述のように全天球の背景オブジェクトを配置する場合、コンテンツ情報記憶部724には、各電子コンテンツに対応して作成された、あるいはメニュー画面用に作成された、パノラマ画像のデータを格納しておく。
 パノラマ画像は、定点を中心とする周囲の空間の画像の一例であり、全天球のパノラマ画像の場合、周囲の空間(パノラマ空間)は球で表される。なお背景の画像は、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。
 コンテンツ処理部728は、操作判定部718からの要求に応じて、選択されたアイコンに対応する電子コンテンツを処理する。すなわち動画や静止画を再生したり、ゲームを開始させたりする。そのためのデータやプログラムは、コンテンツの識別情報に対応づけてコンテンツ情報記憶部724に格納しておく。画像生成部716は、コンテンツ処理部728からの要求に従い、動画像やゲーム画面などコンテンツ表示のための画像も生成する。コンテンツの具体的な処理については一般的な技術を適用できるため、ここでは説明を省略する。
 出力部726は、画像生成部716が生成した画像のデータを、ヘッドマウントディスプレイ100に所定のレートで送出する。出力部726はさらに、メニュー画面用の音楽や各種コンテンツに含まれる音声などの音響データも出力してよい。
 図6は、ヘッドマウントディスプレイ100に表示されるメニュー画面を例示している。メニュー画面500は、ユーザの周囲に構築された仮想空間のうち、ユーザの視線に対応する視野内にある物を表現している。したがって、アイコン配置部722が配列させた複数のアイコンのうち、当該視野内にある一部のアイコン502a~502gが表示されている。各アイコン502a~502gの上方には、アイコンが表すコンテンツのタイトル等を文字情報として表示する。ユーザは首を横方向に振ることにより、視線、ひいては視野を移動させ、そのほかのアイコンも閲覧することができる。
 アイコン502a~502gの背後には、背景を表すオブジェクトも描画される。上述のように全天空を表す背景オブジェクトとした場合、それに貼り付けられたテクスチャ画像が奥行き感を伴い表現される。これによりアイコン502a~502gは、背景オブジェクトで包含された空間に浮いているように演出できる。図示する例では、アイコン502a~502gは、各電子コンテンツのサムネイル画像をテクスチャマッピングした球形のオブジェクトである。ただしアイコンの形状をこれに限定する主旨ではない。
 メニュー画面500にはさらに、画像平面とユーザの視線が交差する点、すなわちメニュー画面におけるユーザの視点を表すカーソル504を表示する。上述のようにメニュー画面500の視野は、視線の動きに応じて変化する。結果として視点を表すカーソル504は、視線の動きによらず、メニュー画面500の略中央に据え置かれることになる。すなわちユーザの視線の方向が変化すると視野も同様に変化するため、画面上ではカーソル504は定位置にあり、相対的にアイコン配列および背景オブジェクトを含む仮想世界が逆方向に変位することになる。
 カーソル504は、情報処理装置200が視点と認識している位置をユーザ自身に知らしめ、ユーザがそれを手がかりに首の振り幅を直感的に調整することにより、所望のアイコンや操作ボタンを正確に操作できるようにするものである。その限りにおいては、カーソル504は厳密にユーザの視点と一致していなくてもよい。また視線の動きの速さなどによって、画面の中心から外れることがあってもよい。
 なおメニュー画面500にはさらに、図示しないその他のオブジェクトを表示させてもよい。例えばヘルプ情報を表示させるための操作ボタンを仮想空間における下方に配置し、視線を下に向けることにより画面に出現させてその操作を受け付けるようにしてもよい。
 図7は、メニュー画像を生成する際に構築される仮想空間の例を模式的に示している。上述のとおり仮想空間には、ユーザ516の頭部を横切る水平面、例えばユーザ516が正面を向いたときの視線ベクトルを含む水平面を基準として水平方向にアイコンを配列させる。同図の例では、ユーザの頭部を中心とし、所定の半径Zを有する円周512と交差するように、アイコン(例えばアイコン514a、514b)を規則的に配列させている。
 さらにユーザ516の頭部の位置を中心とする球面510を設定し、背景オブジェクトとしている。そしてユーザの顔面の向く方向(顔面の法線ベクトル517)を視線として特定し、それを中心とする垂直面にスクリーン518を設定して仮想空間のオブジェクトを投影する。これにより、図6で示したようなメニュー画面500が描画される。
 アイコン配置部722は上述のとおり、状況に応じてアイコンの配列を最適化する。最も単純には、全てのアイコンの中心が円周512上に位置するように一列(一周)に並べることが考えられる。アイコンは全て等間隔で配列させてもよいし、ユーザの前方に対応する範囲に優先的に配置してもよい。
 一方で、このように頭部の周囲にアイコンを配列させる態様では、配列可能な範囲が円周512の長さで決まるため、自ずと一度に表示できるアイコンの数が制限される。半径Zを大きくすると円周が長くなり、より多くのアイコンを配列させられるが、それに応じてアイコンの見かけ上のサイズや、文字情報の表示可能領域が小さくなり見づらくなってしまう。
 そこで少なくとも1つのアイコンの中心が、他のアイコンの中心と上下方向に差を有するように配列させることにより、表示できるアイコン数の上限を増やす。図示する例では、×印で表記した中心が、円周512より上にあるアイコン514aと、下にあるアイコン514bとを交互に配置している。つまり垂直方向の位置を交互に変化させている。このようにすることで、一列に並べる場合と比較して、半径Zを変化させず、またアイコン同士の間隔を同程度に保っても、表示できるアイコンの数の上限を50%程度増やすことができる。
 図8は、視線の動きに応じたメニュー画面の変遷を例示している。同図では、メニュー画面のうちアイコン配列の部分のみを左側に示すとともに、そのときのユーザの頭部を左側面から見た状態を右側に示している。まず上段の(a)の画面では、これまで述べたようにして表示されるアイコン520の配列と、ユーザの視点を表すカーソル522が表示されている。図7を参照して説明したように、仮想空間においてアイコン520は、ユーザが正面を向いたときの視線の高さで、頭部を取り囲むように配置されている。
 結果として、同図右側に示すように正面を向いた状態において、アイコン配列の縦方向の中心は、視点を表すカーソル522と略同じ高さになる。(a)の状態では、カーソル522がアイコン520と重なっていないため、全てのアイコンが非選択状態であり同じ大きさとなっている。なおアイコン520は画面中央ほどユーザからの仮想的な距離が遠くなるため、厳密にはそのような距離に応じたサイズで表示されるがここでは無視している。以後の図でも同様である。
 ここでユーザが首を微少量、右方に振ると、すなわち右方に視線を移動させると、それに応じて画面の視野が右方に移動する。結果として中段の(b)に示すように、画面内でのカーソル522の位置は変化しないが、アイコン配列が相対的に左方へ移動する。当然、左方に視線を動かせば画面内でアイコン配列が右方へ移動する。このような動きにより、あるアイコン524にカーソル522が重なったら、当該アイコンが524を拡大表示することで選択状態であることを表す。
 アイコンが選択状態となったら、当該アイコン524の下方に操作ボタンを追加で表示する。操作ボタンはアイコンが表すコンテンツの種類によって様々でよいが、同図では動画コンテンツを想定し、情報表示ボタン526a、再生開始ボタン526b、対応ウェブサイト表示ボタン526c(以後、「操作ボタン526」と総称する場合がある)の3つを表示している。この状態でユーザがうなずくようにして視線を下方に動かすと、それに応じて画面の視野が下方に移動する。
 結果として下段の(c)に示すように、画面内でのカーソル522の位置は変化しないが、アイコン配列が相対的に上方へ移動する。これによりカーソル522が操作ボタン526のいずれかと重なったら、当該操作ボタンに対応する操作を受け付ける。図示する例では再生開始ボタン526bと重なっているため、選択状態のアイコン524が表す動画コンテンツの再生開始操作を受け付け、再生処理を開始する。この場合、表示中のメニュー画面から動画へ表示が切り替わるため、その制御はコンテンツ処理部728が行う。
 なおカーソル522が情報表示ボタン526aと重なった場合は、メニュー画面と同じ仮想空間内で動画を概説する文字情報へ表示を切り替える。カーソル522が対応ウェブサイト表示ボタン526cと重なった場合は、当該ウェブサイトを提供するサーバへ接続することによりウェブサイトの表示へ切り替える。操作ボタンとしてはこのほか、選択状態のアイコンが表す電子コンテンツをダウンロードするボタンなどを表示させてもよい。
 図示するように操作ボタン526を選択状態のアイコン524の下方近傍に出現させることにより、より少ない労力で、かつアイコン選択との連続性を保ちながら各種操作が可能になる。結果として操作ボタン526が、選択状態にない他のアイコンと重なる可能性が生じるが、操作ボタンを表示している期間は他のアイコンの選択を無効とすることにより、操作ボタンに対する操作を優先させる。
 操作ボタンに対する操作を有効とし、それに対応する処理を開始するために、何らかの条件を設定してもよい。例えばカーソル522が操作ボタンに重なってから所定時間が経過したことを条件に、操作を有効と判定してもよい。この場合、カーソル522が操作ボタンに重なった時点で、操作が有効とされるまでの残り時間を表すインジケータを別途、表示してもよい。このようにすることで、首の微妙な動きで偶然、操作ボタンにカーソルがかかってしまい、意図しない処理が頻繁に開始されてしまうといった不具合を解消できる。また意図してカーソル522を操作ボタンに移動させたとしても、処理が開始されるまでにキャンセルの余地を与えることができる。
 図8で示した構成とすることで、配列した多数のアイコンから左右の首振りにより1つを選択状態とし、さらにうなずく動きで、当該アイコンが表すコンテンツに対する各種操作が可能となる。一般的に、左右の首振りやうなずく動きは、体勢によらず、上方を仰ぎ見る動きより負担が少ない。したがって、より可変範囲が広い左右の首振りに合わせてアイコンを水平に配列させ、操作を意図したときのみ下方に操作ボタンを表示させることにより、より多くのアイコンを選択肢とできるとともに、無理のない直感的な操作が可能になる。
 図9は、アイコン配列と視点の動きの関係を模式的に示している。同図において円形で示したアイコンは仮想空間における配列の一部を表しており、実際には図7に示すように、ユーザの頭部を取り巻くような円周上に配置してよい。さらに同図では、左右の首振りによる、アイコン配列に対するカーソルの軌跡を点線矢印で示している。まず上段の(a)は、アイコンを一列に並べた状態を示している。この場合、単純に顔を右方あるいは左方に向けていくのみで、全てのアイコンを順次選択状態にできる。
 一方、中段の(b)は、上述のようにアイコンの中心位置を上下にずらした場合であり、特に上段、下段のアイコンを交互に配置した場合を示している。このようにすることで、(a)の場合に比べ、同じ範囲により多くのアイコンを配置できる。さらに図示するように、全てのアイコンが同一水平面と交わるように、アイコンの半径rおよび上下のアイコンの縦方向のずれ量ΔCを決定する。すなわち2r>ΔC>0を満たすようにする。ただしアイコンを球形としない場合、半径rはアイコンの縦方向の長さの半分で置き換える。
 このようにすることで、(a)の場合と同様、右方あるいは左方に顔を向けていくのみで全てのアイコンを順次選択状態にできる(軌跡M)。一方、首を微少量上向きとして右方または左方に顔を向けていけば、上段のアイコンのみを対象として順次選択状態にでき(軌跡U)、首を微少量下向きとして右方または左方に顔を向けていけば、下段のアイコンのみを対象として順次選択状態にできる(軌跡L)。当然、軌跡U、M、Lの途中で斜め方向に視線を移動させ、別の軌跡へ移行することもできる。つまり(b)のような配列によれば、表示可能なアイコンの数を増やせるとともに、縦方向の首の僅かな動きで選択対象を絞り込め、効率的に所望のアイコンを選択状態にできる。
 (b)は上段、下段のアイコンを交互に配置したが、同図下段の(c)のように、交互にせずとも効果は同様である。ただし一度に表示できるアイコンの数は(b)が最も多くなる。アイコン配置部722は、表示すべきアイコンの数に基づき、アイコンの表示パターン、すなわち同図の(a)~(c)等とアイコン同士の間隔、およびアイコンの表示範囲との組み合わせでアイコン配列を最適化してもよい。例えば表示すべきアイコンの数が少ないうちは(a)のパターンで、ユーザの前方から順にアイコンを配列させていく。
 アイコンが増加して表示範囲がユーザの周囲360°に到達し、なおアイコンが増える場合、(b)のパターンでユーザの前方に詰めて表示させる。あるいは配置しきれなくなったアイコンのみを(c)のパターンでずらして配置してもよい。ただし本実施の形態をこれに限る主旨ではなく、当初より(b)のパターンとしてもよい。なおアイコンを上段とするか下段とするかを、アイコンが表すコンテンツの種類によって決定してもよい。また、場合によっては3段以上の配列としてもよい。
 これまで述べたように本実施の形態においては、仮想空間におけるユーザの頭部の周囲にアイコンを配置することにより、より多くのコンテンツを一度に選択肢とできるため、複雑な情報体系を組むよりシンプルかつ直感的な操作が可能になる。一方、ユーザの背後にアイコンを配置させた場合、それを視認するには後ろを振り向く必要が生じる。ユーザが着座している場合などは、そのような体勢が負担になることも考えられる。そこで本実施の形態ではさらに、仮想空間におけるアイコン配列自体を変位させる操作を可能にする。
 図10は、アイコン配列を変位させる操作を含むメニュー画面の変遷を例示している。同図では、メニュー画面のうちアイコン配列の部分のみを左側に示すとともに、そのときのユーザの向きと仮想空間におけるアイコン配列を俯瞰した状態を右側に示している。まず上段の(a)の画面は、これまで述べたように、ユーザが顔を右方や左方に向けることにより画面上の視野が変化するとともに、カーソル530が重なったアイコンが拡大表示され、その下に操作ボタンが表示されている様子を示している。
 このときの仮想空間を俯瞰すると、ユーザの頭部を中心とした円周上にアイコン534が配列し、そのうち視野に入ったアイコンが表示対象となっている。なお俯瞰図においては、表示対象のアイコンを太線丸印で、表示対象外のアイコンを点線丸印で示し、ユーザの視線を白抜き矢印で示している。ここで視野制御部714は仮想空間を構築する際、アイコンを配列させる円周上に、さらにアイコン配列を変位させるための変位ボタン536a、536bを配置しておく。変位ボタン536a、536bは例えば、アイコン配列の円周上、ユーザが容易に顔を向けることができる角度範囲θの両端に配置する。
 この場合、当該角度範囲θは、ユーザの正面に対応する方向を中心とし、メニュー画面の視野角より広い範囲である。(a)の状態では、ユーザはほぼ正面を向いていることを想定しているため、変位ボタン536a、536bは視野外にあり表示されていない。例えばユーザが右方に首を振っていくと、やがて同図中段の(b)に示すように、一方の変位ボタン536aが視野に入ってくる。変位ボタン536aをアイコン配列よりユーザ側に配置することにより、表示上はアイコン上に重なることになる。
 (b)の状態では、カーソル530は変位ボタン536aに到達していないため、(a)の場合と同様、それより左側にあるアイコンの選択操作を可能とする。そしてさらに右方に首を振り、同図下段の(c)に示すように、カーソル530が変位ボタン536aに重なったとき、変位操作を有効とし、アイコンの配列自体を変位させる。より詳細にはアイコンの配列を、ユーザの頭部を中心として同一水平面上で回転させる。
 カーソル530が変位ボタン536aに重なっている期間、アイコン配列の回転を継続する。その結果、例えば俯瞰図において黒丸で示したように、(b)の状態ではユーザの背後に位置するアイコン538を、(c)の状態でユーザの前方に移動させることができる。同図は右方へ首を振る場合であるが、左方の場合も同様である。その結果、ユーザは体をひねったり立つ向きを変えたりすることなく、首の動きのみで周囲の360°に配置されたアイコンを選択することができる。
 変位ボタン536a、536bを配置する角度範囲θとして、無理なく視線を変化させられる角度を実験等により求めておく。着座しているか否かなど、想定されるユーザの状態ごとに角度範囲θを異ならせてもよい。(c)の画面のように、変位ボタン536a上にカーソル530が重なり、アイコン配列が変位している期間においては、変位ボタン536aを通過したアイコンについては選択を可能とする。このとき変位ボタン536aが重なっているアイコンおよびその後続にあるアイコンについては、半透明などとすることにより選択が無効であることを示す。
 図10では有効なアイコンより濃い網掛けで無効なアイコンを表している。そのようにアイコン配列を変位させた結果、所望のアイコンが視野に入り有効となった時点で、カーソル530を変位ボタン536aから外すことで、(b)の画面のように当該所望のアイコンを選択状態にできる。なおカーソル530を変位ボタン536aから外す操作は、変位ボタン536aにカーソル530を重ねたときと逆方向にカーソルを移動させることにより行う、すなわち図10の例では左側に首を振ることで実現させる。
 次に、以上の構成により実現できる、メニュー画像生成装置の動作について説明する。図11は、情報処理装置200がメニュー画面を生成し選択操作を受け付ける処理手順を示すフローチャートである。このフローチャートは、例えばユーザがヘッドマウントディスプレイ100を装着し、情報処理装置200の電源を投入したときなどに開始される。まず情報処理装置200のアイコン配置部722は、アイコン情報記憶部720に格納されるアイコン情報に基づき、アイコンを表示すべきコンテンツの個数を特定し、それに応じて仮想空間におけるアイコン配列を決定する(S10)。
 一方、視野制御部714は、背景オブジェクトなどを含む仮想空間を定義したうえ、ユーザの頭部の位置や姿勢に基づき仮想空間に対する視野面(スクリーン)を決定する。画像生成部716は、当該スクリーンに、アイコン配列を含む仮想空間を投影することにより、メニュー画面を描画する(S12)。描画処理自体には、一般的なコンピュータグラフィックス技術を適用できる。画像生成部716はさらに、ユーザの視点を表すカーソルをメニュー画面上に重畳表示する。
 以後、視野制御部714が頭部の姿勢の変化に応じてスクリーンを変化させ、画像生成部716が当該スクリーンに対し画像を描画する処理を所定のレートで繰り返すことを基本とする。出力部726が、生成された画像のデータをヘッドマウントディスプレイ100に順次出力することにより、メニュー画面が視線の動きに応じて動的に表現される。
 このような状態において、カーソルがアイコンに重なったことを操作判定部718が判定したら(S14のY)、画像生成部716は、当該アイコンを選択状態として拡大表示する(S16)。そして拡大表示したアイコンの下方に所定の操作ボタンを表示する(S18)。このとき同時に、背景オブジェクトの画像を、選択状態にあるアイコンに対応するものに更新してもよい。
 その状態でユーザがうなずくことによりカーソルが操作ボタンに移動し(S20のY)、そのまま所定時間が経過するなど当該操作を有効と判定したら(S22のY)、操作判定部718は、操作対象のボタンの種類に応じて画像生成部716あるいはコンテンツ処理部728に処理を要求する。これにより対応する処理が実施される(S24)。
 操作ボタンが表示されてもカーソルがそこに移動しなかった場合や(S18、S20のN)、カーソルが操作ボタン上に移動したものの有効とされずに外れた場合は(S20のY、S22のN)、S12の描画処理のみを継続する。なおカーソルが操作ボタンのみならず、S14で重なっていたアイコンからも外れた場合は、S16、S18の処理を元に戻す(図示せず)。すなわち操作ボタンを非表示とし、アイコンのサイズを元に戻す。
 カーソルがアイコンに重なる都度、当該アイコンに対しS16、S18の処理がセットでなされる。結果として、図9で示したようにアイコン配列を横切るように視線を動かすと、大きくなっては小さくなるアイコンの変化が配列順に連鎖するような変化が表される。ユーザの首の振り幅が大きくなり、カーソルが変位ボタンに到達したら(S14のN、S30のY)、操作判定部718がそれを判定することにより、アイコン配置部722が仮想空間においてアイコンの配列を変位させる(S32)。
 カーソルが変位ボタン上にある限り(S14のN、S30のY)、アイコン配置部722はアイコン配列を変位(回転)させ続け、画像生成部716はその模様を描画し続ける(S32、S12)。カーソルがアイコン、操作ボタン、変位ボタンのいずれにもない場合は、画像生成部716はアイコン配列を視野変化のみに応じて描画する(S14のN、S30のN、S12)。
 一方、S24で操作ボタンに対応する処理を実施したあと、メニュー画面へ戻る操作がなされた場合は、画像生成部716はメニュー画面の描画処理を再開する(S26のY、S12)。メニュー画面へ戻る操作がなされなければ、画像生成部716あるいはコンテンツ処理部728がそれまでの処理を継続する(S26のN、S28のN、S24)。ただしその過程で、ユーザ操作などにより処理を終了させる必要が生じた場合は、情報処理装置200は全体の処理を終了する(S28のY)。
 以上述べた本実施の形態によれば、複数のアイコンからの選択入力を受け付けるメニュー画面を、ユーザの顔の向きや視線の変化に応じて視野が変化する仮想空間として表現する。このとき、仮想空間の水平面に平行にアイコンを配列させて、左右の首振りによる視線の動きでアイコンを選択できるようにするとともに、選択状態のアイコンに対する詳細な操作を受け付けるための操作ボタンを、当該アイコンより下方に表示する。これにより、多数のアイコンを一瞥して選択できるとともに、無理のない動きで操作が可能となる。
 このとき、水平面と平行とする原則のもと、上下にずれのあるアイコン配列とすることにより、ユーザを取り囲むようにアイコンが浮かぶ独特の演出を可能にしつつ、より多くのアイコンを視認しやすい距離で並べることができる。また表示すべきアイコンの数に応じて、配列パターンや配列が及ぶ範囲を最適化することができる。さらに、上下にずらすパターンにおいて、上段のアイコンも下段のアイコンも同一水平面に交差するようにアイコンの半径とずらし幅を決定する。これにより一列に並べた場合と同様、左右に首を振っていくシンプルな動作で、順次アイコンが選択状態となるため、操作方法の理解が容易となる。また上下にずらした場合は、首の上下方向の僅かな角度調整により、上段のアイコンのみ、あるいは下段のアイコンのみを選択対象とすることもでき、選択の効率性も向上する。
 さらに、ユーザを取り囲むようなアイコン配列とした場合、アイコン配列自体を回転させる操作を受け付ける。これにより、背後などユーザが向きづらい位置にあるアイコンを良好な範囲に移動させることができ、負担をより軽減できる。またそのような操作を行うための変位ボタンをも、アイコン配列と同様にオブジェクトとして配置することにより、別途、操作方法を習得する必要なく、アイコン選択の延長として容易な変位操作が可能となる。
 以上のように、仮想空間に対する視線の動きで高度な選択操作が可能となるため、ヘッドマウンドディスプレイのように入力装置の操作がしづらい場合は特に有効である。また、そのようにして選択したコンテンツが没入感を伴うものである場合は、当該コンテンツの世界観に適合した表現で選択操作が可能となる。
 以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
 10 制御部、 20 入力インタフェース、 30 出力インタフェース、 32 バックライト、 40 通信制御部、 42 ネットワークアダプタ、 44 アンテナ、 50 記憶部、 64 モーションセンサ、 70 外部入出力端子インタフェース、 72 外部メモリ、 80 時計部、 100 ヘッドマウントディスプレイ、 200 情報処理装置、 222 CPU、 224 GPU、 226 メインメモリ、 712 位置・姿勢取得部、 714 視野制御部、 716 画像生成部、 718 操作判定部、 720 アイコン情報記憶部、 722 アイコン配置部、 724 コンテンツ情報記憶部、 726 出力部、 728 コンテンツ処理部。
 以上のように本発明は、ゲーム機、情報処理装置、画像表示装置や、それらのいずれかを含むシステムなどに利用可能である。

Claims (10)

  1.  複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける情報処理装置であって、
     仮想空間に複数のアイコンを配列させるアイコン配置部と、
     ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定する視野制御部と、
     前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する画像生成部と、
     前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定する操作判定部と、
     を備え、
     前記アイコン配置部は、仮想空間の水平方向に、少なくとも1つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とする情報処理装置。
  2.  前記アイコン配置部は、全てのアイコンが同一水平面と交わるように、前記ずれ量を決定することを特徴とする請求項1に記載の情報処理装置。
  3.  前記アイコン配置部は、仮想空間においてユーザの頭部を中心とした円周と交差するように前記複数のアイコンを配列させることを特徴とする請求項1または2に記載の情報処理装置。
  4.  前記アイコン配置部は、所定のずれ量を有するように上下に位置するアイコンを交互に配列させることを特徴とする請求項1から3のいずれかに記載の情報処理装置。
  5.  前記アイコン配置部は、アイコン配列に上下方向のずれ量を生じせしめるか否かをアイコンの数に応じて決定することを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6.  前記視野制御部は、前記複数のアイコンが配列する水平方向における所定の位置に、当該配列を仮想空間内で変位させる操作を受け付けるための変位ボタンを配置し、
     前記操作判定部は、前記カーソルが前記変位ボタンに重なっているとき、前記変位させる操作がなされていると判定し、
     前記アイコン配置部は、前記変位させる操作がなされている期間において、前記配列を所定方向に変位させることを特徴とする請求項1から5のいずれかに記載の情報処理装置。
  7.  前記視野制御部は、前記複数のアイコンが仮想空間においてユーザの頭部を中心とした円周と交差するように配列しているとき、当該円周上で、ユーザの正面に対応する方向を中心とする所定の角度範囲の両端に前記変位ボタンを配置し、
     前記アイコン配置部は、前記カーソルが重なっている前記変位ボタンより外側にあるアイコンが前記角度範囲に入るように、前記配列をユーザの頭部を中心に回転させることを特徴とする請求項6に記載の情報処理装置。
  8.  前記操作判定部は、前記カーソルが前記複数のアイコンの1つに重なったとき、当該アイコンの選択操作がなされたと判定し、
     前記画像生成部は、選択されたアイコンの下方に、当該アイコンが表象するコンテンツに対する操作を受け付けるための操作ボタンを追加で表示することを特徴とする請求項1から7のいずれかに記載の情報処理装置。
  9.  複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付ける、情報処理装置による操作受付方法であって、
     仮想空間に複数のアイコンを配列させるステップと、
     ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定するステップと、
     前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力するステップと、
     前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定するステップと、を含み、
     前記アイコンを配列させるステップは、仮想空間の水平方向に、少なくとも1つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とする操作受付方法。
  10.  複数のアイコンを含むメニュー画面を生成しユーザからの選択操作を受け付けるコンピュータに、
     仮想空間に複数のアイコンを配列させる機能と、
     ユーザの頭部の姿勢情報を取得し、それに基づき前記仮想空間に対する視野面を決定する機能と、
     前記視野面に対する仮想空間の投影画像を描画したうえ、ユーザの視点を表すカーソルを重畳表示したメニュー画面を生成し表示装置に出力する機能と、
     前記メニュー画面に描画されるアイコンおよびその他のオブジェクトの像と、前記カーソルとの位置関係に基づき、操作内容を特定する機能と、を実現させ、
     前記アイコンを配列させる機能は、仮想空間の水平方向に、少なくとも1つのアイコンの中心が他のアイコンの中心と上下方向にずれ量を有するように前記複数のアイコンを配列させることを特徴とするコンピュータプログラム。
PCT/JP2016/086795 2015-12-17 2016-12-09 情報処理装置および操作受付方法 Ceased WO2017104579A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/780,003 US10620791B2 (en) 2015-12-17 2016-12-09 Information processing apparatus and operation reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-246485 2015-12-17
JP2015246485A JP6560974B2 (ja) 2015-12-17 2015-12-17 情報処理装置および操作受付方法

Publications (1)

Publication Number Publication Date
WO2017104579A1 true WO2017104579A1 (ja) 2017-06-22

Family

ID=59056615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086795 Ceased WO2017104579A1 (ja) 2015-12-17 2016-12-09 情報処理装置および操作受付方法

Country Status (3)

Country Link
US (1) US10620791B2 (ja)
JP (1) JP6560974B2 (ja)
WO (1) WO2017104579A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160730A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Curved display of content in mixed reality

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD795887S1 (en) * 2015-04-09 2017-08-29 Sonos, Inc. Display screen with icon
JP6236691B1 (ja) * 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Cygames プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
WO2019176910A1 (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 情報表示装置、情報表示方法および情報表示プログラム
US11907417B2 (en) * 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
USD914745S1 (en) * 2019-11-18 2021-03-30 Citrix Systems, Inc. Display screen or portion thereof with animated graphical user interface
USD914746S1 (en) * 2019-11-18 2021-03-30 Citrix Systems, Inc. Display screen or portion thereof with animated graphical user interface
USD923049S1 (en) * 2019-11-18 2021-06-22 Citrix Systems, Inc. Display screen or portion thereof with icon
USD914054S1 (en) * 2019-11-18 2021-03-23 Citrix Systems, Inc. Display screen or portion thereof with animated graphical user interface
USD973100S1 (en) 2021-04-22 2022-12-20 Meta Platforms, Inc. Display screen with a graphical user interface
US11949636B1 (en) 2021-04-22 2024-04-02 Meta Platforms, Inc. Systems and methods for availability-based streaming
US11516171B1 (en) 2021-04-22 2022-11-29 Meta Platforms, Inc. Systems and methods for co-present digital messaging
USD973097S1 (en) * 2021-04-22 2022-12-20 Meta Platforms, Inc. Display screen with an animated graphical user interface
USD975731S1 (en) 2021-04-22 2023-01-17 Meta Platforms, Inc. Display screen with a graphical user interface
USD974404S1 (en) 2021-04-22 2023-01-03 Meta Platforms, Inc. Display screen with a graphical user interface
US12135471B2 (en) 2021-09-10 2024-11-05 Tectus Corporation Control of an electronic contact lens using eye gestures
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
EP4503591A4 (en) * 2022-03-29 2026-01-07 Sony Interactive Entertainment Inc INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING DEVICE CONTROL METHOD, AND PROGRAM
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JPH0997162A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JP2003196017A (ja) * 2001-12-25 2003-07-11 Gen Tec:Kk データ入力方法及び同装置等
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2014072576A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898435A (en) 1995-10-02 1999-04-27 Sony Corporation Image controlling device and image controlling method
JP4032649B2 (ja) * 1998-08-24 2008-01-16 株式会社日立製作所 マルチメディア情報の表示方法
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP2010218195A (ja) * 2009-03-17 2010-09-30 Cellius Inc 画像生成システム、プログラム、情報記憶媒体、及びサーバシステム
US9329746B2 (en) * 2009-11-27 2016-05-03 Lg Electronics Inc. Method for managing contents and display apparatus thereof
JP5790255B2 (ja) * 2011-07-29 2015-10-07 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
TWI566134B (zh) * 2013-02-05 2017-01-11 財團法人工業技術研究院 摺疊式顯示器、可撓式顯示器及電腦圖像之控制方法
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
JPH0997162A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JP2003196017A (ja) * 2001-12-25 2003-07-11 Gen Tec:Kk データ入力方法及び同装置等
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2014072576A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160730A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Curved display of content in mixed reality
US10585294B2 (en) 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
CN111742283A (zh) * 2018-02-19 2020-10-02 微软技术许可有限责任公司 混合现实中内容的弯曲显示

Also Published As

Publication number Publication date
JP2017111669A (ja) 2017-06-22
JP6560974B2 (ja) 2019-08-14
US20180348969A1 (en) 2018-12-06
US10620791B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
JP6560974B2 (ja) 情報処理装置および操作受付方法
EP3396511B1 (en) Information processing device and operation reception method
JP6511386B2 (ja) 情報処理装置および画像生成方法
EP3321776B1 (en) Operation input device and operation input method
CN111630478B (zh) 高速交错双眼跟踪系统
US11317072B2 (en) Display apparatus and server, and control methods thereof
JP2018523326A (ja) 全球状取込方法
JP2022531599A (ja) 視点回転の方法、装置、端末およびコンピュータプラグラム
JP2020024417A (ja) 情報処理装置
US10369468B2 (en) Information processing apparatus, image generating method, and program
US11882172B2 (en) Non-transitory computer-readable medium, information processing method and information processing apparatus
JP6262283B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
EP3600578B1 (en) Zoom apparatus and associated methods
JP6266823B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP7030075B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2017228322A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP7777474B2 (ja) 情報処理装置および床面高さ調整方法
US20250321632A1 (en) Information processing apparatus capable of properly controlling virtual object, method of controlling information processing apparatus, and storage medium
CN119002682A (zh) 基于扩展现实的控制方法、装置、电子设备和存储介质
WO2025094265A1 (ja) コンテンツサーバおよびコンテンツ処理方法
WO2025094264A1 (ja) 画像処理装置および画像処理方法
JP2018163642A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018098697A (ja) コンテンツを提示するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16875559

Country of ref document: EP

Kind code of ref document: A1