[go: up one dir, main page]

WO2019142621A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019142621A1
WO2019142621A1 PCT/JP2018/047616 JP2018047616W WO2019142621A1 WO 2019142621 A1 WO2019142621 A1 WO 2019142621A1 JP 2018047616 W JP2018047616 W JP 2018047616W WO 2019142621 A1 WO2019142621 A1 WO 2019142621A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
virtual object
input method
information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/047616
Other languages
English (en)
French (fr)
Inventor
遼 深澤
茜 近藤
慧 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US16/960,403 priority Critical patent/US20200348749A1/en
Priority to CN201880086177.4A priority patent/CN111566597A/zh
Publication of WO2019142621A1 publication Critical patent/WO2019142621A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • HMD head mounted display
  • the HMD has a display located in front of the user's eye when worn on the user's head, and displays, for example, a virtual object in front of the user.
  • the display may be transmissive or non-transmissive.
  • the transmissive HMD of the display the virtual object is superimposed and displayed on a real space that can be viewed through the display.
  • the user's operation input to the HMD can be realized based on, for example, sensing by a sensor provided in the HMD.
  • a sensor provided in the HMD.
  • a technology is disclosed in which a user wearing the HMD makes the camera (an example of a sensor) provided with the HMD sense with various hands using his / her hand and manipulates the HMD by gesture recognition. ing.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that can improve usability by determining an operation input method based on the arrangement of virtual objects.
  • an information processing apparatus includes an input method determination unit configured to determine an operation input method related to the virtual object based on arrangement information related to the arrangement of virtual objects arranged in a real space.
  • an information processing method including: a processor determining an operation input method related to the virtual object based on arrangement information related to the arrangement of a virtual object arranged in a real space.
  • FIG. 1 is a diagram for describing an overview of an information processing device 1 according to a first embodiment of the present disclosure. It is a block diagram showing an example of composition of information processor 1 concerning the embodiment. It is a flowchart figure which shows the operation example of the information processing apparatus 1 which concerns on the embodiment.
  • FIG. 7 is an explanatory view showing an example in the case where a touch operation is determined as an operation input method according to the embodiment.
  • FIG. 11 is an explanatory view showing an example in the case where a pointing operation is determined as an operation input method according to the embodiment. It is an explanatory view showing an example in case command operation is determined as an operation input method concerning the embodiment.
  • FIG. 17 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the embodiment. It is an explanatory view for explaining the 1st example of arrangement control concerning the embodiment. It is an explanatory view for explaining the 2nd example of arrangement control concerning the embodiment. It is an explanatory view for explaining the 2nd example of arrangement control concerning the embodiment. It is an explanatory view for explaining the 3rd example of arrangement control concerning the embodiment. It is an explanatory view for explaining the 3rd example of arrangement control concerning the embodiment.
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different alphabets to the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • FIG. 1 is a diagram for explaining an outline of an information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment is realized by, for example, a glasses-type head mounted display (HMD) mounted on the head of the user U.
  • the display unit 13 corresponding to the spectacle lens portion positioned in front of the user U at the time of wearing may be transmissive or non-transmissive.
  • the information processing apparatus 1 can present the display object in front of the line of sight of the user U by displaying the display object on the display unit 13.
  • HMD which is an example of the information processing apparatus 1 is not limited to what presents an image
  • the HMD may be a one-eye type provided with a display unit 13 for displaying an image on one eye.
  • the information processing apparatus 1 is provided with an outward camera 110 which captures an eye direction of the user U, that is, an outward direction when the information processing apparatus 1 is attached.
  • the information processing apparatus 1 is provided with various sensors such as an inward camera and a microphone (hereinafter, referred to as a “microphone”) that capture an eye of the user U at the time of wearing.
  • a plurality of outward cameras 110 and a plurality of inward cameras may be provided.
  • a plurality of outward facing cameras 110 it is possible to obtain a depth image (distance image) by parallax information, and it is possible to three-dimensionally sense the surrounding environment.
  • the shape of the information processing apparatus 1 is not limited to the example shown in FIG.
  • the information processing apparatus 1 is a headband type (a type mounted with a band that goes around the entire circumference of the head. There may be a band that passes not only the side but also the top of the head). It may be an HMD (the visor portion of the helmet corresponds to the display).
  • the information processing apparatus 1 is a wristband type (for example, a smart watch, with or without a display), a headphone type (without a display), or a neck phone type (with a neck type, with or without a display). May be realized by a wearable device such as
  • the information processing device 1 is realized by the wearable device as described above, and can be worn by the user U. Therefore, in addition to the buttons and switches, voice input, gesture input by hand or head, eye gaze You may provide various operation input systems, such as input.
  • a virtual object related to the operation input may be displayed on the display unit 13.
  • the user U can perform a touch operation touching a virtual object, a pointing operation pointing the virtual object with an operation object such as a finger, or an audio command operation by issuing an audio command indicated by the virtual object. Good.
  • the information processing apparatus 1 arranges the virtual object in the real space based on the information of the real space obtained by the photographing of the camera 110 and locates the real object. It is possible to display so as to be visually recognized by the user U.
  • an operation input method predetermined by an application or the like is often adopted for a displayed virtual object.
  • the virtual object is arranged in the real space, it may be difficult to perform an operation input by a predetermined operation input method depending on the position of the virtual object, and there is a risk of reducing usability. there were.
  • the user can freely change the arrangement of virtual objects, it is considered that the arrangement of virtual objects not suitable for the predetermined operation input method is likely to occur.
  • the information processing apparatus 1 improves usability by determining an operation input method based on the arrangement of virtual objects.
  • the configuration of the present embodiment having such an effect will be described in detail.
  • FIG. 2 is a block diagram showing a configuration example of the information processing device 1 according to the present embodiment.
  • the information processing apparatus 1 includes a sensor unit 11, a control unit 12, a display unit 13, a speaker 14, a communication unit 15, an operation input unit 16, and a storage unit 17.
  • the sensor unit 11 has a function of acquiring various information related to the user or the surrounding environment.
  • the sensor unit 11 includes an outward camera 110, an inward camera 111, a microphone 112, a gyro sensor 113, an acceleration sensor 114, an azimuth sensor 115, a position measurement unit 116, and a living body sensor 117.
  • the specific example of the sensor part 11 mentioned here is an example, and this embodiment is not limited to this.
  • each sensor may be plural.
  • the outward camera 110 and the inward camera 111 are obtained by a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, etc., a drive system for performing a focus operation and a zoom operation on the lens system, and a lens system.
  • the imaging light is photoelectrically converted to generate an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a charge coupled device (CCD) sensor array or a complementary metal oxide semiconductor (CMOS) sensor array.
  • the microphone 112 picks up the user's voice and the surrounding environmental sound, and outputs it to the control unit 12 as voice data.
  • the gyro sensor 113 is realized by, for example, a three-axis gyro sensor, and detects an angular velocity (rotational speed).
  • the acceleration sensor 114 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor), and detects an acceleration at the time of movement.
  • a 3-axis acceleration sensor also referred to as a G sensor
  • the azimuth sensor 115 is realized by, for example, a three-axis geomagnetic sensor (compass), and detects an absolute direction (azimuth).
  • the position measurement unit 116 has a function of detecting the current position of the information processing device 1 based on an externally obtained signal.
  • the position positioning unit 116 is realized by a GPS (Global Positioning System) positioning unit, receives radio waves from GPS satellites, and detects and detects the position where the information processing apparatus 1 is present. The position information is output to the control unit 12. Further, the position measurement unit 116 detects the position by transmission / reception with, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile phone, PHS, smart phone, etc. in addition to GPS, or by short distance communication, etc. It may be.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile phone PHS
  • smart phone smart phone
  • the biometric sensor 117 detects biometric information of the user. Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc. can be detected.
  • biometric information of the user Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc.
  • Control unit 12 The control unit 12 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Further, as shown in FIG. 2, the control unit 12 according to the present embodiment functions as a recognition unit 120, a placement control unit 122, an input method determination unit 124, an operation input reception unit 126, and an output control unit 128.
  • the recognition unit 120 has a function of performing recognition on a user or recognition on a surrounding situation using various types of sensor information sensed by the sensor unit 11.
  • the recognition unit 120 may include the position and orientation of the head of the user (including the orientation or inclination of the face with respect to the body), the position and orientation of the user's arms, hands, and fingers, the user's gaze, the user's voice, You may recognize an action etc.
  • the recognition unit 120 may recognize a three-dimensional position or shape of a real object (including the ground, a floor, a wall, and the like) existing in the surrounding real space.
  • the recognition unit 120 provides the placement control unit 122, the input method determination unit 124, the operation input reception unit 126, and the output control unit 128 with the recognition result regarding the user and the recognition result regarding the surrounding situation.
  • the placement control unit 122 controls placement of virtual objects placed in the real space, and provides placement information on placement of virtual objects to the input method determination unit 124 and the output control unit 128.
  • the placement control unit 122 may control the placement of the virtual object in the real space based on the setting relating to the placement of the virtual object determined in advance.
  • a setting for arranging a virtual object to be in contact with a real object around the user, a setting for arranging a virtual object in the air in front of the user's eyes, and the like may be predetermined.
  • a plurality of settings may be predetermined with a priority, and the placement control unit 122 determines whether or not placement is possible in each setting in descending order of priority, and it is determined that placement is possible
  • the placement of virtual objects may be controlled based on The placement control unit 122 may obtain the setting relating to the placement of the virtual object from, for example, the storage unit 17 or from another device via the communication unit 15.
  • placement control of virtual objects by the placement control unit 122 is not limited to such an example.
  • Another example of the placement control by the placement control unit 122 will be described later as a modified example.
  • the input method determination unit 124 determines the operation input method related to the virtual object based on the arrangement information provided from the arrangement control unit 122.
  • the input method determination unit 124 may determine the operation input method based on the recognition result on the user provided from the recognition unit 120 or the recognition result on the surrounding situation.
  • the input method determination unit 124 determines whether the user can touch the virtual object based on the recognition result on the user (whether the virtual object is arranged in a range where the user can virtually touch) Or not may be determined, and the operation input method may be determined based on the determination.
  • the determination as to whether or not the user can touch the virtual object may be made based on, for example, the recognition result of the user's hand, or based on the distance between the head position of the user and the virtual object. It may be done.
  • the input method determination unit 124 may determine the touch operation as the operation input method.
  • the touch operation in the present specification is an operation by virtually touching (touching) a virtual object with, for example, a finger or a hand.
  • the touch operation capable of more direct operation is determined as the operation input method, thereby improving the usability.
  • the input method determination unit 124 determines whether or not the real object present in the real space is in contact with the virtual object based on the recognition result regarding the surrounding situation, and determines the operation input method based on the determination. May be The determination as to whether or not the real object and the virtual object are in contact with each other may be performed based on the recognition result of the positions and shapes of the real objects in the vicinity and the arrangement information of the virtual object.
  • the input method determination unit 124 may determine the pointing operation as the operation input method when the real object present in the real space is in contact with the virtual object.
  • the pointing operation in the present specification is, for example, an operation input method in which a virtual object is pointed with an operation object such as a finger or a hand.
  • the operation object may be a finger of the user, a hand of the user, or a real object held by the user.
  • pointing may be performed according to the line of sight of the user.
  • the input method determination unit 124 may determine both the pointing operation by the operation object or the pointing operation by the line of sight as the operation input method, or may determine either one as the operation input method.
  • the user can easily focus on the virtual object and easily grasp the position of the virtual object and the distance to the virtual object, so pointing operation can be performed more easily. .
  • the input method determination unit 124 performs a voice command operation or a command by the operation input unit 16 described later.
  • the operation may be determined as the operation input method.
  • a touch operation or pointing operation on a virtual object placed in the air is difficult to grasp a sense of distance. Also, reaching into the air without real objects leads to user fatigue.
  • voice command operation or command operation by the operation input unit 16 there is an effect that the physical load on the user is small.
  • the input method determination unit 124 may determine the touch operation as the operation input method. According to such a configuration, the user can perform operation input by directly touching the real object, and tactile feedback to the user's hand or finger is substantially performed, and usability can be further improved. Become.
  • the operation input receiving unit 126 receives an operation input from the user, and outputs operation input information to the output control unit 128.
  • the operation input reception unit 126 may receive an operation input according to the operation input method determined by the input method determination unit 124, and the operation input reception unit 126 may perform the operation determined by the input method determination unit 124.
  • the user's operation input relating to the virtual object may be received using information corresponding to the input method. That is, the information used by the operation input reception unit 126 to receive the user's operation input may be different according to the operation input method determined by the input method determination unit 124.
  • the operation input reception unit 126 uses captured image information by the outward camera 110. Further, when the pointing method by the sight line is determined as the operation input method by the input method determination unit 124, the operation input reception unit 126 uses gyro sensor information, acceleration information, direction information, and captured image information by the inward camera 111. . Further, when the voice command operation is determined as the operation input method by the input method determination unit 124, the operation input reception unit 126 uses the voice data from the microphone 112. Further, when the command operation by the operation input unit 16 is determined as the operation input method by the input method determination unit 124, the operation input reception unit 126 uses the information provided from the operation input unit 16.
  • the output control unit 128 controls the display by the display unit 13 described later and the audio output by the speaker 14.
  • the output control unit 128 causes the display unit 13 to display the virtual object in accordance with the arrangement information of the virtual object provided from the arrangement control unit 122.
  • the display unit 13 is realized by, for example, a lens unit (an example of a transmissive display unit) that performs display using a hologram optical technology, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or the like.
  • the display unit 13 may be transmissive, semi-transmissive or non-transmissive.
  • the speaker 14 reproduces an audio signal according to the control of the control unit 12.
  • the communication unit 15 is a communication module for transmitting and receiving data to and from another device by wired or wireless communication.
  • the communication unit 15 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity (registered trademark), infrared communication, Bluetooth (registered trademark), short distance / non-contact communication, etc. Communicate directly with or wirelessly through a network access point.
  • the storage unit 17 stores programs and parameters for the control unit 12 to execute each function.
  • the storage unit 17 stores a three-dimensional shape of a virtual object, settings relating to a predetermined arrangement of the virtual object, and the like.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above, but the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • at least a part of the functions of the control unit 12 of the information processing device 1 may exist in another device connected via the communication unit 15.
  • the operation input unit 16 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • FIG. 3 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment.
  • sensing is performed by the sensor unit 11, and the recognition unit 120 performs recognition on the user and recognition on the surrounding situation using the various sensor information sensed (S102).
  • the placement control unit 122 controls the placement of the virtual object (S104).
  • the input method determination unit 124 determines whether the real object present in the real space is in contact with the virtual object (S106).
  • the input method determination unit 124 determines whether or not the user can touch the virtual object ( S108). When it is determined that the user can touch the virtual object (YES in S108), the input method determination unit 124 determines the touch operation as the operation input method (S110). On the other hand, when it is determined that the user can not touch the virtual object (NO in S108), the input method determination unit 124 determines the pointing operation as the operation input method (S112).
  • the input method determination unit 124 determines the command operation as the operation input method (S114).
  • the output control unit 128 causes the display unit 13 to display (output) the virtual object according to the placement control of the virtual object by the placement control unit 122 (S116). Steps S102 to S116 described above may be sequentially repeated.
  • FIGS. 4 to 6 the user U wears the information processing apparatus 1 which is a glasses-type HMD as shown in FIG. Further, the display unit 13 of the information processing apparatus 1 located in front of the user U is transparent, and the virtual objects V11 to V14 displayed on the display unit 13 are viewed by the user U as if they exist in real space. Be done.
  • FIG. 4 is an explanatory view showing an example in which a touch operation is determined as the operation input method.
  • the virtual objects V11 to V14 are arranged to be in contact with the desk 3 (an example of a real object) at hand of the user U, and can be touched by the user U. Therefore, the input method determination unit 124 determines the touch operation as the operation input method.
  • the user U performs an operation input by touching the virtual object V ⁇ b> 12 using the finger UH.
  • FIG. 5 is an explanatory view showing an example in the case where a pointing operation is determined as the operation input method.
  • the virtual objects V11 to V14 are arranged in contact with the floor 7 (an example of a real object) which the user U can not reach (the user U can not touch). Therefore, the input method determination unit 124 determines the pointing operation as the operation input method.
  • the user U performs an operation input by pointing the virtual object V ⁇ b> 12 using the finger UH.
  • the output control unit 128 may cause the display unit 13 to display a pointer V16 indicating the position pointed by the finger UH of the user U, as shown in FIG. .
  • FIG. 6 is an explanatory view showing an example in which a command operation is determined as the operation input method.
  • a command operation is determined as the operation input method.
  • virtual objects V11 to V14 are arranged in the air. Therefore, the input method determination unit 124 determines a command operation as the operation input method.
  • the user U utters the voice command “AA” indicated by the virtual object V ⁇ b> 11 to perform operation input.
  • the input method determination unit 124 may determine the operation input method according to the density of virtual objects. For example, when the density of virtual objects is high and they are densely arranged, it is easy to perform an operation input contrary to the user's intention in a touch operation or a pointing operation. It may be determined as On the other hand, when the density of virtual objects is low, the input method determination unit 124 may determine the touch operation or the pointing operation as the operation input method.
  • the input method determination unit 124 may determine whether a moving object such as a person is present in the vicinity based on the recognition result of the surrounding situation by the recognition unit 120, and may determine the operation input method based on the determination. If a moving object exists around the user, the user's line of sight may be taken away by the moving object, or the pointing operation may be inhibited due to shielding by the moving object, etc., so the input method determination unit 124 uses command operation as the operation input method. You may decide.
  • the placement control unit 122 may control the placement of virtual objects in the real space based on the operation input method determined by the input method determination unit 124.
  • the placement control unit 122 may control the interval between virtual objects according to the operation input method. For example, since a touch operation can be performed with higher accuracy than a pointing operation, when a touch operation is determined as an operation input method, a virtual object is compared to when a pointing operation is determined as an operation input method. The distance between them may be narrow. Further, since the command operation is less affected by the interval between virtual objects, when the command operation is determined as the operation input method, the intervals between virtual objects may be narrower, for example, they may be in contact with each other.
  • the arrangement control unit 122 may control the arrangement direction of the virtual object according to the operation input method. For example, when the virtual object is arranged in the vertical direction with respect to the user, touch operation and pointing operation may be difficult. Therefore, when the touch operation or the pointing operation is determined as the operation input method, the placement control unit 122 may control the placement such that the virtual object is placed in the lateral direction with respect to the user. Further, since the command operation is less affected by the arrangement direction between virtual objects, when the command operation is determined as the operation input method, the virtual objects may be arranged vertically or horizontally. Good. For example, when a command operation is determined as the operation input method, the placement control unit 122 may select a more compact displayable direction as the placement direction.
  • the placement control unit 122 may control placement of the virtual object in the real space based on the distance between the virtual object and the user. For example, when the pointing operation is determined as the operation input method, the pointing accuracy may be lowered as the distance between the virtual object and the user is larger. Therefore, when the pointing operation is determined as the operation input method, the placement control unit 122 controls the placement of the virtual objects so that the distance between the virtual objects becomes wider as the distance between the virtual object and the user is larger. Good. According to the configuration, even when the distance between the virtual object and the user is large, the user can easily perform the pointing operation, and usability can be further improved.
  • the placement control unit 122 may control the placement of virtual objects in the real space based on the user's operation input. For example, it may be possible for the user to move one or more virtual objects freely. According to such a configuration, it is possible for the user to freely arrange virtual objects.
  • Second embodiment >> ⁇ 2-1. Overview> Subsequently, a second embodiment of the present disclosure will be described. Note that the second embodiment is partially the same as the first embodiment, and thus will be described while being omitted as appropriate. Hereinafter, about the same composition as composition explained by a 1st embodiment, explanation is omitted by attaching the same numerals.
  • FIG. 7 is an explanatory view for explaining an outline of the present embodiment.
  • the left hand HL of the user is used as a display object, and the virtual objects V21 to V23 are displayed on the display unit 13 (as viewed by the user) as arranged on the left hand HL. Ru.
  • the display unit 13 may be transmissive.
  • the user can perform a touch operation using the finger FR of the right hand HR as an operation object.
  • the user can perform a touch operation with the left hand HL as a touch screen.
  • the finger FR is on both the virtual object V22 and the virtual object V23. There is a risk that it will be recognized as touched. That is, there is a possibility that an operation input for selecting the virtual object V22 which the user originally did not intend may be performed.
  • the arrangement of the virtual objects is controlled based on the information on the recognition of the operation object or the recognition of the display object, thereby suppressing the operation input against the user's intention.
  • the configuration of the present embodiment having such an effect will be described in detail.
  • FIG. 8 is a block diagram showing an example of the configuration of an information processing apparatus 1-2 according to the second embodiment of the present disclosure.
  • the components given the same reference numerals as the components shown in FIG. 2 are the same as the components shown in FIG.
  • the information processing apparatus 1-2 according to the present embodiment relates to the first embodiment in that the function of the control unit 12-2 is partially different from that of the control unit 12 shown in FIG. It differs from the information processing apparatus 1.
  • control unit 12-2 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 1-2 according to various programs. Further, as shown in FIG. 8, the control unit 12-2 according to the present embodiment functions as a recognition unit 120, an object information generation unit 121, an arrangement control unit 123, an operation input reception unit 126, and an output control unit 128. That is, the control unit 12-2 differs from the control unit 12 shown in FIG. 2 in that it functions as the object information generation unit 121 and the arrangement control unit 123 and does not function as the input method determination unit. The functions of the object information generation unit 121 and the arrangement control unit 123 of the control unit 12-2 will be described below.
  • the object information generation unit 121 generates operation object information on the operation object used for the operation input and display object information on the display object used for the display of the virtual object based on the recognition result by the recognition unit 120.
  • the operation object is the finger of one hand of the user
  • the display object is the other hand of the user.
  • the operation object and the display object are not limited to such examples, and various real objects may be used for operation input or display.
  • the object information generation unit 121 may generate the operation object information and the display object information by using one of the user's hands recognized by the recognition unit 120 as the operation object and the other hand as the display object.
  • a hand of a predetermined type (right hand or left hand) may be an operation object
  • the other hand may be a display object.
  • the more open hand may be used as the display object.
  • the object information generation unit 121 may generate, for example, operation object information including movement information on movement of the operation object.
  • the movement information of the operation object may be information of a past movement history of the operation object, or may be information of a future movement locus predicted based on the movement history.
  • the object information generation unit 121 may generate display object information including information on the type of display object.
  • the information on the type of display object may be, for example, information indicating whether the display object is the left hand or the right hand.
  • the object information generation unit 121 may generate display object information including information on the angle of the display object.
  • the information on the angle of the display object may be, for example, information indicating the angle of the display object with respect to the head posture of the user.
  • the object information generation unit 121 may generate display object information including information on the state of the display object.
  • the information related to the state of the display object may be, for example, information indicating whether the hand that is the display object is in the open state or the closed state, or it is the display object. It may be information indicating whether the hand is front or back.
  • the arrangement control unit 123 controls the arrangement of virtual objects arranged in the real space, as in the arrangement control unit 122 according to the first embodiment, and inputs arrangement information on arrangement of virtual objects to the input method determination unit 124, It is provided to the output control unit 128. Further, the arrangement control unit 123 may control the arrangement of virtual objects in the real space based on the setting related to the arrangement of virtual objects determined in advance, similarly to the arrangement control unit 122 according to the first embodiment. .
  • the arrangement control unit 123 controls the arrangement of virtual objects based on the operation object information generated by the object information generation unit 121 or the display object information.
  • the arrangement control unit 123 according to the present embodiment arranges the virtual object in the real space based on the setting related to the arrangement of the virtual object determined in advance, and then, based on the operation object information or the display object information.
  • the arrangement of virtual objects may be changed.
  • placement control by the placement control unit 123 will be described later with reference to FIGS. 10 to 17.
  • control unit 12-2 does not have a function as an input method determination unit.
  • the operation input method may be fixed to, for example, a touch operation.
  • FIG. 9 is a flowchart showing an operation example of the information processing apparatus 1-2 according to the present embodiment.
  • sensing is performed by the sensor unit 11, and the recognition unit 120 performs recognition on the user and recognition on the surrounding situation using the various sensor information sensed (S202).
  • the object information generation unit 121 generates operation object information and display object information (S204).
  • the arrangement control unit 123 controls the arrangement of the virtual object based on the operation object information and the display object information generated in step S204 (S206).
  • S206 A specific example of the arrangement control process of step S206 will be described later with reference to FIGS. 10 to 17.
  • the process of step S206 may be repeated according to the number of types of operation object information and display object information generated by the arrangement control unit 123 in step S204.
  • the output control unit 128 causes the display unit 13 to display (output) the virtual object according to the placement control of the virtual object by the placement control unit 123 (S208). Note that steps S202 to S208 described above may be sequentially repeated.
  • FIGS. 10 to 17 the user U wears the information processing apparatus 1-2 which is a glasses-type HMD as shown in FIG.
  • the virtual objects V21 to V23 displayed on the transmissive display unit 13 of the information processing device 1 located in front of the user U's eye are disposed on the display object and viewed by the user U.
  • FIG. 10 is an explanatory diagram for describing a first example of placement control.
  • the left hand HL of the user is used as a display object, and virtual objects V21 to V23 are arranged on the left hand HL (visible by the user Is displayed on the display unit 13).
  • the user performs the touch operation using the finger FR of the right hand HR as the operation object.
  • the object information generation unit 121 predicts the future movement locus T1 of the finger FR based on the past movement history D1 of the finger FR, and generates operation object information including the movement locus T1 as movement information. Then, based on the movement trajectory T1 (movement information), the placement control unit 123 performs a virtual operation so that the finger FR does not touch a plurality of virtual objects when the finger FR moves according to the movement trajectory T1 as shown in FIG. Control the arrangement of the objects V21 to V23. With such a configuration, it is possible to suppress an operation input contrary to the user's intention.
  • FIGS. 11 and 12 are explanatory diagrams for explaining a second example of placement control.
  • the display unit 13 is used so that the user's left hand HL is used as a display object and the virtual objects V21 to V23 are arranged on the left hand HL (as viewed by the user). Is displayed on. Further, in the example illustrated in FIGS. 11 and 12, the user performs the touch operation using the finger FR of the right hand HR as the operation object.
  • the object information generation unit 121 generates operation object information including the past movement history D21 and movement history D22 of the finger FR as movement information.
  • operation object information including the past movement history D21 and movement history D22 of the finger FR as movement information.
  • the arrangement control unit 123 controls the virtual objects V21 to V23 to be arranged along the axis X1 perpendicular to the direction of the movement history D21 as shown in FIG. . Further, based on the movement history D22 (movement information), the arrangement control unit 123 controls the virtual objects V21 to V23 to be arranged along the axis X2 perpendicular to the direction of the movement history D22 as shown in FIG. .
  • the arrangement control unit 123 controls the virtual objects V21 to V23 to be arranged along the axis X2 perpendicular to the direction of the movement history D22 as shown in FIG.
  • the arrangement control unit 123 may not change the arrangement when the difference between the current arrangement of the virtual objects V21 to V23 and the arrangement based on the movement history is small. According to such a configuration, it is possible to reduce the sense of discomfort felt by the user due to the change in arrangement.
  • FIG. 13 and FIG. 14 are explanatory diagrams for explaining the third arrangement control example.
  • the display unit 13 is used so that the user's left hand HL is used as a display object and the virtual objects V21 to V23 are arranged on the left hand HL (as viewed by the user). Is displayed on.
  • the object information generation unit 121 generates display object information including information on the angle of the left hand HL that is a display object. Then, the placement control unit 123 places the virtual objects V21 to V23 at positions that can be easily viewed according to the angle of the left hand HL. According to such a configuration, the user can grasp the virtual object in more detail and perform operation input.
  • FIGS. 15 to 17 are explanatory diagrams for explaining a fourth example of arrangement control.
  • the left hand HL of the user is used as a display object, and the virtual objects V21 to V23 are displayed on the display unit 13 (as viewed by the user) as arranged on the left hand HL. Ru.
  • the user performs the touch operation using the finger FR of the right hand HR as the operation object.
  • the user's right hand HR is used as a display object, and the virtual objects V21 to V23 are arranged on the right hand HR (as viewed by the user) on the display unit 13. Is displayed. Further, in the example illustrated in FIG. 16, the user performs the touch operation using the finger FL of the left hand HL as an operation object.
  • virtual objects V21 to V23 are arranged according to (for example, initial setting) arrangement range W51 similar to the arrangement range W41 shown in FIG. As a result, the virtual objects V21 to V23 are arranged in a state in which it is difficult for the finger FL of the left hand HL to perform an operation input, which may cause an operation input contrary to the user's intention.
  • the object information generation unit 121 generates display object information including information on the type of display object (left hand or right hand), and the arrangement control unit 123 controls arrangement of virtual objects based on the type of display object.
  • the angle of the arrangement range W52 is changed based on the display object being the right hand HR, and the virtual objects V21 to V23 are arranged according to the arrangement range W52. With such a configuration, for example, it is possible to suppress an operation input contrary to the user's intention.
  • the control unit 12-2 does not have a function as an input method determination unit, and in the present embodiment, the operation input method is fixed to, for example, a touch operation. .
  • the control unit 12-2 may have a function as the input method determination unit 124 as in the control unit 12 according to the first embodiment.
  • the placement control unit 123 may control the placement of the virtual object further based on the distance between the operation object and the display object.
  • the arrangement control unit 123 may change the strength of the arrangement change based on the operation object information or the display object information, based on the distance between the operation object and the display object. For example, if the distance between the operation object and the display object is small, the arrangement change strength may be reduced based on the operation object information or the display object information, for example, the arrangement may be large immediately before the touch operation is performed. It is possible to avoid being changed.
  • the placement control unit 123 may control the placement of the virtual object further based on the distance between the sensor unit 11 and the display object. For example, when the distance between the sensor unit 11 and the display object is smaller than a predetermined distance, the arrangement control unit 123 controls the virtual object to be arranged at a place other than the display object. It is also good.
  • the placement control unit 123 may control the placement of the virtual object so that the virtual object is displayed in the display area of the display unit 13.
  • FIG. 18 and FIG. 19 are explanatory diagrams for explaining this modification.
  • the left hand HL of the user is used as a display object
  • the virtual objects V21 to V23 are displayed on the display unit 13 (as viewed by the user) as arranged on the left hand HL. Ru.
  • the arrangement control unit 123 controls the virtual objects V21 to V23 to be arranged at positions along the movable axis X3 (for example, the axis of the left hand HL) so that the virtual objects are displayed in the display area. It is also good. Such a configuration makes it difficult for the user to lose sight of the virtual object.
  • FIG. 20 and FIG. 21 are explanatory diagrams for explaining the present modification.
  • a virtual object is arranged based on the real object when the real object is first recognized. Thereafter, even if the real object has moved, the virtual object is fixed in the real space. Thereafter, the user uses the real object as an operation object to perform an operation input. For example, in the case where the real object is a hand, an operation input may be performed in which a selection is made by a gesture that holds the virtual object.
  • the arrangement control unit 123 may control the arrangement of virtual objects based on the range of motion of the real object.
  • the placement control unit 123 may place all virtual objects within the range of the range of motion of the real object.
  • the movable range is specified based on the type of the real object (left hand or right hand) and the position and posture of the current hand or arm. Is possible.
  • the user's left hand HL is used as an operation object and a display object, and, for example, the placement control unit 123 determines the range of motion M1 of the left hand HL when the left hand HL is first recognized.
  • the virtual objects V21 to V23 are arranged.
  • the user's right hand HR is used as an operation object and a display object
  • the placement control unit 123 is based on the movable range M2 of the right hand HR when the right hand HR is first recognized. And arrange the virtual objects V21 to V23.
  • the second embodiment of the present disclosure has been described above. According to the present embodiment, it is possible to suppress the operation input against the user's intention by controlling the arrangement of the virtual object based on the information on the recognition of the operation object or on the recognition of the display object. is there.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 22 can realize, for example, the information processing apparatus 1 and the information processing apparatus 1-2.
  • Information processing by the information processing apparatus 1 and the information processing apparatus 1-2 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903 and a host bus 904a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 12 and the control unit 12-2.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 13 and the speaker 14.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 17.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the communication unit 15.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900, such as the attitude and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the sensor 915 may form, for example, the sensor unit 11.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level of the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the present technology is not limited to the example.
  • the virtual object can be superimposed and displayed on the image of the real space obtained by the shooting of the camera 110, and the same effect as the above-described effect can be obtained. It is. Further, even when the display unit 13 is a projector, it is possible to realize the same effect as the above-described effect by projecting the virtual object in the real space.
  • steps in the above embodiment do not necessarily have to be processed chronologically in the order described as the flowchart diagram.
  • each step in the process of the above embodiment may be processed in an order different from the order described as the flowchart diagram, or may be processed in parallel.
  • An information processing apparatus comprising: an input method determination unit configured to determine an operation input method related to the virtual object based on arrangement information on the arrangement of virtual objects arranged in a real space.
  • an input method determination unit configured to determine an operation input method related to the virtual object based on arrangement information on the arrangement of virtual objects arranged in a real space.
  • the input method determination unit determines the operation input method based on a recognition result on a user or a recognition result on a surrounding situation.
  • the input method determination unit determines whether the user can touch the virtual object based on a recognition result regarding the user, and determines the operation input method based on the determination.
  • the information processing apparatus according to 2).
  • the input method determination unit determines whether or not the real object present in the real space is in contact with the virtual object based on the recognition result regarding the surrounding situation, and the operation input method is determined based on the determination.
  • the information processing apparatus according to any one of (2) to (4), which controls.
  • the information processing apparatus according to any one of the items.
  • the information processing apparatus according to any one of (1) to (7), further including: a placement control unit that controls placement of the virtual object.
  • the information processing apparatus wherein the arrangement control unit controls the arrangement of the virtual object based on the operation input method determined by the input method determination unit.
  • the information processing apparatus (10) The information processing apparatus according to (8) or (9), wherein the placement control unit controls the placement of the virtual object based on a user's operation input.
  • the placement control unit controls placement of the virtual object based on a distance between the virtual object and a user.
  • the arrangement control unit controls arrangement of the virtual object based on operation object information on an operation object used for an operation input by a user or display object information on a display object used for display of the virtual object.
  • the information processing apparatus according to any one of (8) to (11).
  • the operation object information includes movement information on movement of the operation object, The information processing apparatus according to (12), wherein the arrangement control unit controls the arrangement of the virtual object based on the movement information.
  • the display object information includes at least one of information on the type of display object, information on the angle of the display object, and information on the state of the display object.
  • the information processing apparatus according to (12) or (13), wherein the arrangement control unit controls the arrangement of the virtual object based on the display object information.
  • the arrangement control unit controls the arrangement of the virtual object such that the virtual object is displayed in a display area of a display unit that displays the virtual object.
  • the operation object and the display object are the same real object,
  • the information processing apparatus according to (12), wherein the placement control unit controls the placement of the virtual object based on a range of motion of the real object.
  • An information processing method including: a processor determining an operation input method related to the virtual object based on arrangement information on arrangement of a virtual object arranged in a real space; (20) On the computer A program for realizing a function of determining an operation input method related to the virtual object based on arrangement information on arrangement of a virtual object arranged in a real space.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザビリティを向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する入力方式決定部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、センサを備えたヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）が開発されている。ＨＭＤは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、例えばユーザの前方に仮想オブジェクトを表示する。このようなＨＭＤには、ディスプレイが透過型のものと非透過型のものがある。ディスプレイが透過型のＨＭＤでは、ディスプレイを介して視認し得る実空間に重なって上記仮想オブジェクトが重畳表示される。
　ＨＭＤに対するユーザの操作入力は、例えばＨＭＤが備えるセンサによるセンシングに基づいて実現され得る。例えば、下記特許文献１にＨＭＤを装着したユーザが、自身の手を用いて様々なジェスチャを当該ＨＭＤが備えるカメラ（センサの一例）にセンシングさせ、ジェスチャ認識により当該ＨＭＤを操作する技術が開示されている。
特開２０１４－１８６３６１号公報
　しかし、三次元的な実空間に配置される仮想オブジェクトを用いて、ユーザが操作入力を行う場合、仮想オブジェクトの位置によっては、予め定められた操作入力方式では操作入力を行うことが困難な場合があり、ユーザビリティを低下させる恐れがあった。
　そこで、本開示では、仮想オブジェクトの配置に基づいて操作入力方式を決定することで、ユーザビリティを向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する入力方式決定部を備える、情報処理装置が提供される。
　また、本開示によれば、実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、プロセッサが前記仮想オブジェクトに係る操作入力方式を決定すること、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する機能を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、仮想オブジェクトの配置に基づいて操作入力方式を切り替えることで、ユーザビリティを向上させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置１の概要を説明する図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 同実施形態に係る操作入力方式としてタッチ操作が決定される場合の例を示す説明図である。 同実施形態に係る操作入力方式としてポインティング操作が決定される場合の例を示す説明図である。 同実施形態に係る操作入力方式としてコマンド操作が決定される場合の例を示す説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 本開示の第２の実施形態に係る情報処理装置１－２の構成例を示すブロック図である。 同実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。 同実施形態に係る第１の配置制御例を説明するための説明図である。 同実施形態に係る第２の配置制御例を説明するための説明図である。 同実施形態に係る第２の配置制御例を説明するための説明図である。 同実施形態に係る第３の配置制御例を説明するための説明図である。 同実施形態に係る第３の配置制御例を説明するための説明図である。 同実施形態に係る第４の配置制御例を説明するための説明図である。 同実施形態に係る第４の配置制御例を説明するための説明図である。 同実施形態に係る第４の配置制御例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　　＜１－２．構成＞
　　＜１－３．動作＞
　　＜１－４．操作入力方式の例＞
　　＜１－５．変形例＞
　　＜１－６．効果＞
　＜＜２．第２の実施形態＞＞
　　＜２－１．概要＞
　　＜２－２．構成＞
　　＜２－３．動作＞
　　＜２－４．配置制御の例＞
　　＜２－５．変形例＞
　　＜２－６．効果＞
　＜＜３．ハードウェア構成例＞＞
　＜＜４．むすび＞＞
　＜＜１．第１の実施形態＞＞
　　＜１－１．概要＞
　まず、本開示の第１の実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。情報処理装置１は、表示部１３に表示オブジェクトを表示することで、ユーザＵの視線の前方に表示オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に映像を提示するものに限定されず、片眼のみに映像を表示するものであってもよい。例えばＨＭＤは、片方の眼に映像を表示する表示部１３が設けられた片目タイプのものであってもよい。
　また、情報処理装置１には、装着時にユーザＵの視線方向、すなわち外方向を撮影する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮影する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。なお外向きカメラ１１０が複数設けられている場合、視差情報によりデプス画像（距離画像）を得ることができ、周囲の環境を三次元的にセンシングすることが可能である。
　なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
　また、本実施形態による情報処理装置１は、上述したようなウェアラブル装置により実現され、ユーザＵに装着され得るため、ボタンやスイッチ等の他、音声入力や、手または頭部によるジェスチャ入力、視線入力等の様々な操作入力方式を備えてもよい。
　また、表示部１３には、操作入力に係る仮想オブジェクトが表示されてもよい。例えば、ユーザＵは、仮想オブジェクトに触れるタッチ操作、仮想オブジェクトを指等の操作オブジェクトでポインティングするポインティング操作、または仮想オブジェクトが示す音声コマンドを発することによる音声コマンド操作を行うことが可能であってもよい。
　また、例えば表示部１３が透過型である場合には、情報処理装置１は、カメラ１１０の撮影により得られる実空間の情報に基づいて、仮想オブジェクトを実空間に配置し、実空間に位置するようにユーザＵに視認されるように表示させることが可能である。
　ところで、情報処理装置１のように様々な操作入力方式を備える場合、表示される仮想オブジェクトに対して、例えばアプリケーション等により予め定められた操作入力方式が採用されることが多かった。しかし、上述したように仮想オブジェクトが実空間に配置される場合、仮想オブジェクトの位置によっては、予め定めされた操作入力方式では操作入力を行うことが困難な場合があり、ユーザビリティを低下させる恐れがあった。特に、ユーザが自由に仮想オブジェクトの配置を変更することが可能な場合には、予め定められた操作入力方式に適さない仮想オブジェクトの配置が発生し易いと考えられる。
　そこで、本実施形態による情報処理装置１は、仮想オブジェクトの配置に基づいて操作入力方式を決定することで、ユーザビリティを向上させる。以下、このような効果を有する本実施形態の構成について詳細に説明する。
　　＜１－２．構成＞
　以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。図２は、本実施形態による情報処理装置１の構成例を示すブロック図である。図２に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
　（センサ部１１）
　センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
　外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
　ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
　加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
　方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
　位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
　（制御部１２）
　制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図２に示すように、認識部１２０、配置制御部１２２、入力方式決定部１２４、操作入力受付部１２６、及び出力制御部１２８として機能する。
　認識部１２０は、センサ部１１によりセンシングされた各種センサ情報を用いてユーザに関する認識、または周辺状況に関する認識を行う機能を有する。例えば、認識部１２０は、ユーザの頭部の位置と姿勢（身体に対する顔の向きまたは傾きを含む）、ユーザの腕、手、及び指の位置と姿勢、ユーザの視線、ユーザの音声、ユーザの行動等を認識してもよい。また、認識部１２０は、周辺の実空間に存在する実オブジェクト（地面、床、壁等を含む）の三次元的な位置や形状を認識してもよい。認識部１２０は、ユーザに関する認識結果、及び周辺状況に関する認識結果を配置制御部１２２、入力方式決定部１２４、操作入力受付部１２６、及び出力制御部１２８へ提供する。
　配置制御部１２２は、実空間に配置される仮想オブジェクトの配置を制御し、仮想オブジェクトの配置に関する配置情報を入力方式決定部１２４、及び出力制御部１２８へ提供する。
　例えば、配置制御部１２２は予め定められた仮想オブジェクトの配置に係る設定に基づいて実空間における仮想オブジェクトの配置を制御してもよい。ユーザ周辺の実オブジェクトと接するように仮想オブジェクトを配置する設定や、ユーザの目の前の空中に仮想オブジェクトを配置する設定等が予め定められていてもよい。
　また、複数の設定が優先度付きで予め定められていてもよく、配置制御部１２２は、優先度が高い順に各設定で配置可能か否かを判定し、配置可能であると判定された設定に基づいて仮想オブジェクトの配置を制御してもよい。なお、配置制御部１２２は、仮想オブジェクトの配置に係る設定を、例えば記憶部１７から取得してもよいし、通信部１５を介して他の装置から取得してもよい。
　また、本実施形態に係る配置制御部１２２による仮想オブジェクトの配置制御は係る例に限定されない。配置制御部１２２による配置制御の他の例については、変形例として後述する。
　入力方式決定部１２４は、配置制御部１２２から提供される配置情報に基づいて、仮想オブジェクトに係る操作入力方式を決定する。入力方式決定部１２４は、認識部１２０から提供されるユーザに関する認識結果、または周辺状況に関する認識結果に基づいて、操作入力方式を決定してもよい。
　例えば、入力方式決定部１２４は、ユーザに関する認識結果に基づいて仮想オブジェクトにユーザが触れることが可能であるか否か（ユーザが仮想的に触れることが可能な範囲に仮想オブジェクトが配置されているか否か）を判定し、当該判定に基づいて操作入力方式を決定してもよい。仮想オブジェクトに当該ユーザが触れることが可能であるか否かの判定は、例えばユーザの手の認識結果に基づいて行われてもよいし、ユーザの頭部位置と仮想オブジェクトとの距離に基づいて行われてもよい。
　さらに、入力方式決定部１２４は、仮想オブジェクトにユーザが触れることが可能である場合に、タッチ操作を操作入力方式として決定してもよい。なお、本明細書におけるタッチ操作は、例えば指や手等で仮想オブジェクトへ仮想的に触れる（タッチする）ことによる操作である。
　係る構成により、ユーザが直接触れることが可能な範囲に仮想オブジェクトが配置されている場合には、より直接的な操作が可能なタッチ操作が操作入力方式として決定されるため、ユーザビリティが向上する。
　また、入力方式決定部１２４は、周辺状況に関する認識結果に基づいて、実空間に存在する実オブジェクトと仮想オブジェクトとが接しているか否かを判定し、当該判定に基づいて操作入力方式を決定してもよい。実オブジェクトと仮想オブジェクトとが接しているか否かの判定は、周辺の実オブジェクトの位置や形状の認識結果と、仮想オブジェクトの配置情報とに基づいて行われ得る。
　さらに、入力方式決定部１２４は、実空間に存在する実オブジェクトと仮想オブジェクトとが接している場合に、ポインティング操作を操作入力方式として決定してもよい。なお、本明細書におけるポインティング操作は、例えば指や手等の操作用オブジェクトで仮想オブジェクトをポインティングする操作入力方式である。操作用オブジェクトはユーザの指であってもよいし、ユーザの手であってもよいし、ユーザに把持される実オブジェクトであってもよい。また、ユーザの視線によりポインティングが行われてもよい。入力方式決定部１２４は、操作用オブジェクトによるポインティング操作、または視線によるポインティング操作の両方を操作入力方式として決定してもよいし、いずれか一方を操作入力方式として決定してもよい。
　仮想オブジェクトが実オブジェクトと接している場合には、ユーザは仮想オブジェクトへ焦点を合わせやすく、また仮想オブジェクトの位置や仮想オブジェクトまでの距離を把握し易くなるため、より容易にポインティング操作が可能である。
　また、入力方式決定部１２４は、実空間に存在する実オブジェクトと仮想オブジェクトとが接していない（空中に仮想オブジェクトが配置される）場合に、音声コマンド操作、または後述する操作入力部１６によるコマンド操作を操作入力方式として決定してもよい。空中に配置された仮想オブジェクトへのタッチ操作やポインティング操作は距離感をつかむことが困難である。また、実オブジェクトのない空中へ手を伸ばすことはユーザの疲労に繋がる。一方、音声コマンド操作、または操作入力部１６によるコマンド操作であればユーザの身体的負荷が小さいという効果がある。
　なお、上述した操作入力方式の決定は組み合わせられてもよい。例えば、入力方式決定部１２４は、仮想オブジェクトが実オブジェクトと接し、かつ、当該仮想オブジェクトにユーザが触れることが可能である場合に、タッチ操作を操作入力方式として決定してもよい。係る構成によれば、ユーザは実オブジェクトを直接触れることにより操作入力を行うことが可能であり、実質的にユーザの手や指への触覚フィードバックが行われ、ユーザビリティをより向上させることが可能となる。
　操作入力受付部１２６は、ユーザによる操作入力を受け付けて、操作入力情報を出力制御部１２８に出力する。本実施形態に係る操作入力受付部１２６は、入力方式決定部１２４により決定された操作入力方式による操作入力を受け付けてもよく、操作入力受付部１２６は、入力方式決定部１２４により決定された操作入力方式に応じた情報を用いて、仮想オブジェクトに係るユーザの操作入力を受け付けてもよい。すなわち、操作入力受付部１２６がユーザの操作入力を受け付けるのに用いる情報は、入力方式決定部１２４により決定された操作入力方式に応じて異なってもよい。
　例えば、入力方式決定部１２４により、タッチ操作、または操作用オブジェクトによるポインティング操作が操作入力方式として決定されている場合、操作入力受付部１２６は外向きカメラ１１０による撮像画像情報を用いる。また、入力方式決定部１２４により、視線によるポインティング操作が操作入力方式として決定されている場合、操作入力受付部１２６はジャイロセンサ情報、加速度情報、方位情報、内向きカメラ１１１による撮像画像情報を用いる。また、入力方式決定部１２４により、音声コマンド操作が操作入力方式として決定されている場合、操作入力受付部１２６はマイク１１２による音声データを用いる。また、入力方式決定部１２４により、操作入力部１６によるコマンド操作が操作入力方式として決定されている場合、操作入力受付部１２６は操作入力部１６から提供される情報を用いる。
　出力制御部１２８は、後述する表示部１３による表示、及びスピーカー１４による音声出力を制御する。本実施形態に係る出力制御部１２８は、配置制御部１２２から提供される仮想オブジェクトの配置情報に従って、仮想オブジェクトを表示部１３に表示させる。
　（表示部１３）
　表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
　（スピーカー１４）
　スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
　（通信部１５）
　通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　（記憶部１７）
　記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部１７には、仮想オブジェクトの三次元形状や、予め定められた仮想オブジェクトの配置に係る設定等が記憶されている。
　以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
　（操作入力部１６）
　操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
　　＜１－３．動作＞
　以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作について図３を参照して説明する。図３は本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
　まず、センサ部１１によりセンシングが行われ、センシングされた各種センサ情報を用いて認識部１２０がユーザに関する認識、及び周辺状況に関する認識を行う（Ｓ１０２）。続いて、配置制御部１２２が仮想オブジェクトの配置を制御する（Ｓ１０４）。さらに、入力方式決定部１２４が、実空間に存在する実オブジェクトと仮想オブジェクトとが接しているか否かを判定する（Ｓ１０６）。
　実空間に存在する実オブジェクトと仮想オブジェクトとが接していると判定された場合（Ｓ１０６においてＹＥＳ）、入力方式決定部１２４はユーザが仮想オブジェクトに触れることが可能であるか否かを判定する（Ｓ１０８）。ユーザが仮想オブジェクトに触れることが可能であると判定された場合（Ｓ１０８においてＹＥＳ）、入力方式決定部１２４はタッチ操作を操作入力方式として決定する（Ｓ１１０）。一方、ユーザが仮想オブジェクトに触れることが可能ではないと判定された場合（Ｓ１０８においてＮＯ）、入力方式決定部１２４はポインティング操作を操作入力方式として決定する（Ｓ１１２）。
　一方、実空間に存在する実オブジェクトと仮想オブジェクトとが接していないと判定された場合（Ｓ１０６においてＮＯ）、入力方式決定部１２４はコマンド操作を操作入力方式として決定する（Ｓ１１４）。
　最後に、出力制御部１２８が、配置制御部１２２による仮想オブジェクトの配置制御に従って、仮想オブジェクトを表示部１３に表示（出力）させる（Ｓ１１６）。なお、以上説明したステップＳ１０２～Ｓ１１６は、順次繰り返されてもよい。
　　＜１－４．操作入力方式の例＞
　続いて、本実施形態による操作入力方式の例について、図４～図６を参照して具体的に説明する。図４～図６において、ユーザＵは図１に示したようなメガネ型のＨＭＤである情報処理装置１を装着している。また、ユーザＵの眼前に位置する情報処理装置１の表示部１３は透過型であり、表示部１３に表示される仮想オブジェクトＶ１１～Ｖ１４は、実空間に存在するかのようにユーザＵに視認される。
　（タッチ操作）
　図４は、操作入力方式としてタッチ操作が決定される場合の例を示す説明図である。図４に示す例では仮想オブジェクトＶ１１～Ｖ１４は、ユーザＵの手元の机３（実オブジェクトの一例）に接するように配置されており、ユーザＵが触れることが可能である。そのため、入力方式決定部１２４は、操作入力方式としてタッチ操作を決定する。図４に示す例では、ユーザＵが指ＵＨを用いて仮想オブジェクトＶ１２に触れることで、操作入力を行っている。
　（ポインティング操作）
　図５は、操作入力方式としてポインティング操作が決定される場合の例を示す説明図である。図５に示す例では仮想オブジェクトＶ１１～Ｖ１４は、ユーザＵの手が届かない（ユーザＵが触れることができない）床７（実オブジェクトの一例）に接するように配置されている。そのため、入力方式決定部１２４は、操作入力方式としてポインティング操作を決定する。図５に示す例では、ユーザＵが指ＵＨを用いて仮想オブジェクトＶ１２をポインティングすることで、操作入力を行っている。なお、操作入力方式としてポインティング操作が決定された場合、出力制御部１２８は図５に示すように、ユーザＵの指ＵＨによりポインティングされた位置を示すポインタＶ１６を表示部１３に表示させてもよい。
　（コマンド操作）
　図６は、操作入力方式としてコマンド操作が決定される場合の例を示す説明図である。図６に示す例では仮想オブジェクトＶ１１～Ｖ１４は、空中に配置されている。そのため、入力方式決定部１２４は、操作入力方式としてコマンド操作を決定する。図６に示す例では、仮想オブジェクトＶ１１が示す音声コマンド「ＡＡ」をユーザＵが発話することで、操作入力を行っている。
　　＜１－５．変形例＞
　以上、本開示の第１の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　（変形例１－１）
　入力方式決定部１２４は、仮想オブジェクトが複数存在する場合に、仮想オブジェクトの密集度に応じて操作入力方式を決定してもよい。例えば、仮想オブジェクトの密集度が高く、密集して配置される場合、タッチ操作やポインティング操作ではユーザの意図に反した操作入力が行われやすいため、入力方式決定部１２４はコマンド操作を操作入力方式として決定してもよい。一方、仮想オブジェクトの密集度が低い場合、入力方式決定部１２４はタッチ操作またはポインティング操作を操作入力方式として決定してもよい。
　（変形例１－２）
　入力方式決定部１２４は、認識部１２０による周辺状況の認識結果に基づき、周辺に人等の動体が存在するか否かを判定し、当該判定に基づいて操作入力方式を決定してもよい。ユーザの周辺に動体が存在する場合、ユーザの視線が動体に奪われたり、動体による遮蔽等によりポインティング操作が阻害されたりする恐れがあるため、入力方式決定部１２４はコマンド操作を操作入力方式として決定してもよい。
　（変形例１－３）
　また、上記では、配置制御部１２２が予め定められた仮想オブジェクトの配置に係る設定に基づいて実空間における仮想オブジェクトの配置を制御する例を説明したが、本実施形態は係る例に限定されない。
　配置制御部１２２は、入力方式決定部１２４により決定された操作入力方式に基づいて、実空間における仮想オブジェクトの配置を制御してもよい。
　例えば、配置制御部１２２は、操作入力方式に応じて、仮想オブジェクト間の間隔を制御してもよい。例えばタッチ操作はポインティング操作に比べ、高精度に操作入力可能であるため、操作入力方式としてタッチ操作が決定された場合には、操作入力方式としてポインティング操作が決定された場合に比べて、仮想オブジェクト間の間隔は狭くてもよい。また、コマンド操作は仮想オブジェクト間の間隔による影響が小さいため、操作入力方式としてコマンド操作が決定された場合には、仮想オブジェクト間の間隔はより狭くてもよく、例えば互いに接していてもよい。
　また、配置制御部１２２は、操作入力方式に応じて、仮想オブジェクトの配置方向を制御してもよい。例えばユーザに対して縦方向に仮想オブジェクトが配置されると、タッチ操作、及びポインティング操作が困難となる恐れがある。そこで、操作入力方式としてタッチ操作、またはポインティング操作が決定された場合、配置制御部１２２は仮想オブジェクトがユーザに対して横方向に配置されるように配置を制御してもよい。また、コマンド操作は仮想オブジェクト間の配置方向による影響が小さいため、操作入力方式としてコマンド操作が決定された場合には、仮想オブジェクトは縦方向に配置されてもよいし横方向に配置されてもよい。例えば、操作入力方式としてコマンド操作が決定された場合には、配置制御部１２２は、よりコンパクトに表示可能な方向を配置方向として選択してもよい。
　さらに、配置制御部１２２は、仮想オブジェクトとユーザとの距離に基づいて実空間における仮想オブジェクトの配置を制御してもよい。例えば、操作入力方式としてポインティング操作が決定された場合、仮想オブジェクトとユーザとの距離が大きい程、ポインティング精度は低下し得る。そこで、配置制御部１２２は、操作入力方式としてポインティング操作が決定された場合、仮想オブジェクトとユーザとの距離が大きい程、仮想オブジェクト間の間隔が広くなるように仮想オブジェクトの配置を制御してもよい。係る構成によれば、仮想オブジェクトとユーザとの距離が大きい場合であっても、ユーザは容易にポインティング操作を行うことが可能であり、ユーザビリティがより向上し得る。
　また、配置制御部１２２は、ユーザの操作入力に基づいて実空間における仮想オブジェクトの配置を制御してもよい。例えば、ユーザが自由に１または複数の仮想オブジェクトを移動させることが可能であってもよい。係る構成によれば、ユーザが自由に仮想オブジェクトを配置することが可能となる。
　　＜１－６．効果＞
　以上、本開示の第１の実施形態について説明した。本実施形態によれば、仮想オブジェクトの配置に基づいて操作入力方式を決定することで、ユーザビリティを向上させることが可能である。
　＜＜２．第２の実施形態＞＞
　　＜２－１．概要＞
　続いて、本開示の第２の実施形態について説明する。なお、第２の実施形態は、一部において第１の実施形態と同様であるため、適宜省略しながら説明する。以下、第１の実施形態で説明した構成と同様の構成については、同一の符号を付すことで、説明を省略する。
　本開示の第２の実施形態では、仮想オブジェクトが表示用オブジェクト（例えばユーザの手）に基づいて配置される。図７は、本実施形態の概要を説明するための説明図である。図７に示す例では、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。なお、本実施形態において、表示部１３は透過型であってもよい。
　また、図７に示す例では、ユーザは右手ＨＲの指ＦＲを操作用オブジェクトとして用いてタッチ操作を行うことが出来る。係る構成により、ユーザは、左手ＨＬをタッチスクリーンに見立てたタッチ操作が可能である。
　ここで、例えばユーザが仮想オブジェクトＶ２３を選択する操作入力を行うために、図７に示す移動軌跡Ｔ１のように指ＦＲを移動させた場合、仮想オブジェクトＶ２２及び仮想オブジェクトＶ２３の両方に指ＦＲが触れた(タッチした)と認識される恐れがある。つまり、本来ユーザが意図しなかった仮想オブジェクトＶ２２を選択する操作入力が行われてしまう恐れがある。
　そこで、以下に説明する本実施形態では、操作用オブジェクトの認識に関する情報、または表示用オブジェクトの認識に関するに基づいて仮想オブジェクトの配置を制御することで、ユーザの意図に反した操作入力を抑制する。以下、このような効果を有する本実施形態の構成について詳細に説明する。
　　＜２－２．構成＞
　図８は、本開示の第２の実施形態に係る情報処理装置１－２の構成例を示すブロック図である。図８に示した構成のうち、図２に示した構成と同一の符号を付された構成は、図２に示した構成と同様であるため、説明を省略する。図８に示すように、本実施形態に係る情報処理装置１－２は、制御部１２－２の機能が図２に示した制御部１２と一部異なる点で、第１の実施形態に係る情報処理装置１と異なる。
　制御部１２－２は、第１の実施形態に係る制御部１２と同様、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１－２内の動作全般を制御する。また、本実施形態による制御部１２－２は、図８に示すように、認識部１２０、オブジェクト情報生成部１２１、配置制御部１２３、操作入力受付部１２６、及び出力制御部１２８として機能する。つまり、制御部１２－２は、オブジェクト情報生成部１２１、配置制御部１２３として機能する点、及び入力方式決定部として機能しない点において図２に示した制御部１２と異なる。以下では、制御部１２－２のオブジェクト情報生成部１２１、及び配置制御部１２３としての機能について説明する。
　オブジェクト情報生成部１２１は、認識部１２０による認識結果に基づき、操作入力に用いられる操作用オブジェクトに関する操作用オブジェクト情報、及び仮想オブジェクトの表示に用いられる表示用オブジェクトに関する表示用オブジェクト情報を生成する。
　本実施形態において、操作用オブジェクトはユーザの一方の手の指であり、表示用オブジェクトは、ユーザの他方の手である。なお、操作用オブジェクト、及び表示用オブジェクトは係る例に限定されず、多様な実オブジェクトが操作入力、または表示に用いられてよい。
　オブジェクト情報生成部１２１は、認識部１２０により認識されたユーザの手の一方を操作用オブジェクト、他方の手を表示用オブジェクトとし、操作用オブジェクト情報、及び表示用オブジェクト情報を生成してもよい。例えば、予め決められた種類（右手または左手）の手を操作用オブジェクト、他方の手を表示用オブジェクトとしてもよい。または、手の状態に応じて、より開かれている方の手を表示用オブジェクトとしてもよい。
　オブジェクト情報生成部１２１は、例えば、操作用オブジェクトの移動に関する移動情報を含む操作用オブジェクト情報を生成してもよい。操作用オブジェクトの移動情報は、操作用オブジェクトの過去の移動履歴の情報であってもよいし、当該移動履歴に基づいて予測される未来の移動軌跡の情報であってもよい。
　また、オブジェクト情報生成部１２１は、表示用オブジェクトの種類に関する情報を含む表示用オブジェクト情報を生成してもよい。本実施形態において、表示用オブジェクトの種類に関する情報は、例えば表示用オブジェクトが左手であるか、右手であるかを示す情報であってもよい。
　また、オブジェクト情報生成部１２１は、表示用オブジェクトの角度に関する情報を含む表示用オブジェクト情報を生成してもよい。本実施形態において、表示用オブジェクトの角度に関する情報は、例えばユーザの頭部姿勢に対する表示用オブジェクトの角度を示す情報であってもよい。
　また、オブジェクト情報生成部１２１は、表示用オブジェクトの状態に関する情報を含む表示用オブジェクト情報を生成してもよい。本実施形態において、表示用オブジェクトの状態に関する情報は、例えば表示用オブジェクトである手が開いた状態であるか、閉じた状態であるかを示す情報であってもよいし、表示用オブジェクトである手が表であるか裏であるかを示す情報であってもよい。
　配置制御部１２３は、第１の実施形態に係る配置制御部１２２と同様に、実空間に配置される仮想オブジェクトの配置を制御し、仮想オブジェクトの配置に関する配置情報を入力方式決定部１２４、及び出力制御部１２８へ提供する。また、配置制御部１２３は、第１の実施形態に係る配置制御部１２２と同様に、予め定められた仮想オブジェクトの配置に係る設定に基づいて実空間における仮想オブジェクトの配置を制御してもよい。
　ただし、本実施形態に係る配置制御部１２３は、オブジェクト情報生成部１２１により生成された操作用オブジェクト情報、または表示用オブジェクト情報に基づいて、仮想オブジェクトの配置を制御する点で第１の実施形態に係る配置制御部１２２と異なる。例えば、本実施形態に係る配置制御部１２３は、予め定められた仮想オブジェクトの配置に係る設定に基づいて仮想オブジェクトを実空間に配置した後に、操作用オブジェクト情報、または表示用オブジェクト情報に基づいて仮想オブジェクトの配置を変更してもよい。
　なお、配置制御部１２３による配置制御の具体例については、図１０～図１７を参照して後述する。
　なお、図８に示した通り、本実施形態に係る制御部１２－２は、入力方式決定部としての機能を有しない。本実施形態において、操作入力方式は例えばタッチ操作に固定されてもよい。
　　＜２－３．動作＞
　以上、本実施形態に係る情報処理装置１－２の構成例について説明した。続いて、本実施形態に係る情報処理装置１－２の動作について図９を参照して説明する。図９は本実施形態に係る情報処理装置１－２の動作例を示すフローチャート図である。
　まず、センサ部１１によりセンシングが行われ、センシングされた各種センサ情報を用いて認識部１２０がユーザに関する認識、及び周辺状況に関する認識を行う（Ｓ２０２）。続いて、オブジェクト情報生成部１２１が操作用オブジェクト情報、及び表示用オブジェクト情報を生成する（Ｓ２０４）。
　さらに、配置制御部１２３がステップＳ２０４で生成された操作用オブジェクト情報、及び表示用オブジェクト情報に基づいて、仮想オブジェクトの配置を制御する（Ｓ２０６）。ステップＳ２０６の配置制御処理の具体例については、図１０～図１７を参照して後述する。なお、配置制御部１２３がステップＳ２０４で生成された操作用オブジェクト情報、及び表示用オブジェクト情報の種類数に応じて、ステップＳ２０６の処理は繰り返されてよい。
　最後に、出力制御部１２８が、配置制御部１２３による仮想オブジェクトの配置制御に従って、仮想オブジェクトを表示部１３に表示（出力）させる（Ｓ２０８）。なお、以上説明したステップＳ２０２～Ｓ２０８は、順次繰り返されてもよい。
　　＜２－４．配置制御の例＞
　続いて、本実施形態による配置制御の例について、図１０～図１７を参照して具体的に説明する。図１０～図１７において、ユーザＵは図１に示したようなメガネ型のＨＭＤである情報処理装置１－２を装着している。また、ユーザＵの眼前に位置する情報処理装置１の透過型の表示部１３に表示される仮想オブジェクトＶ２１～Ｖ２３は、表示用オブジェクトの上に配置されてユーザＵに視認される。
　（第１の配置制御例）
　図１０は、第１の配置制御例を説明するための説明図である。図１０に示す例では、図７に示した例と同様、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。また、図１０に示す例では、図７に示した例と同様、ユーザは右手ＨＲの指ＦＲを操作用オブジェクトとして用いてタッチ操作を行う。
　ここで、オブジェクト情報生成部１２１は、指ＦＲの過去の移動履歴Ｄ１に基づいて、指ＦＲの未来の移動軌跡Ｔ１を予測し、移動軌跡Ｔ１を移動情報として含む操作オブジェクト情報を生成する。そして、配置制御部１２３は、当該移動軌跡Ｔ１（移動情報）に基づき、図１０に示すように指ＦＲが移動軌跡Ｔ１に従って移動した場合に指ＦＲが複数の仮想オブジェクトに触れないように、仮想オブジェクトＶ２１～Ｖ２３の配置を制御する。係る構成により、ユーザの意図に反した操作入力を抑制することが可能である。
　（第２の配置制御例）
　図１１、図１２は、第２の配置制御例を説明するための説明図である。図１１、図１２に示す例では、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。また、図１１、図１２に示す例では、ユーザは右手ＨＲの指ＦＲを操作用オブジェクトとして用いてタッチ操作を行う。
　図１１、及び図１２に示す例において、オブジェクト情報生成部１２１は、それぞれ指ＦＲの過去の移動履歴Ｄ２１、及び移動履歴Ｄ２２を移動情報として含む操作オブジェクト情報を生成する。ここで、例えば各移動履歴の方向に沿って仮想オブジェクトが配置されてしまうと、図７を参照して説明した例と同様に、ユーザの意図に反した操作入力が行われ易くなってしまう。
　そして、配置制御部１２３は、移動履歴Ｄ２１（移動情報）に基づき、図１１に示すように移動履歴Ｄ２１の方向と垂直な軸Ｘ１に沿って仮想オブジェクトＶ２１～Ｖ２３が配置されるように制御する。また、配置制御部１２３は、移動履歴Ｄ２２（移動情報）に基づき、図１２に示すように移動履歴Ｄ２２の方向と垂直な軸Ｘ２に沿って仮想オブジェクトＶ２１～Ｖ２３が配置されるように制御する。係る構成により、例えばユーザの意図に反した操作入力を抑制することが可能である。
　なお、配置制御部１２３は、仮想オブジェクトＶ２１～Ｖ２３の現在の配置と、移動履歴に基づく配置との差が小さい場合には、配置の変更を行わなくてもよい。係る構成によれば、配置の変更によりユーザが受ける違和感を軽減することが可能である。
　（第３の配置制御例）
　図１３、図１４は、第３の配置制御例を説明するための説明図である。図１３、図１４に示す例では、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。
　図１３、及び図１４に示す例において、オブジェクト情報生成部１２１は、表示用オブジェクトである左手ＨＬの角度に関する情報を含む表示オブジェクト情報を生成する。そして、配置制御部１２３は、左手ＨＬの角度に応じて見やすい位置に仮想オブジェクトＶ２１～Ｖ２３を配置する。係る構成により、ユーザは仮想オブジェクトをより詳細に把握して、操作入力を行うことが可能となる。
　（第４の配置制御例）
　図１５～図１７は、第４の配置制御例を説明するための説明図である。図１５に示す例では、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。また、図１５に示す例では、ユーザは右手ＨＲの指ＦＲを操作用オブジェクトとして用いてタッチ操作を行う。
　一方、図１６に示す例において、ユーザの右手ＨＲが表示用オブジェクトとして用いられ、右手ＨＲ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。また、図１６に示す例では、ユーザは左手ＨＬの指ＦＬを操作用オブジェクトとして用いてタッチ操作を行う。ここで、図１６では、図１５に示す配置範囲Ｗ４１と同様の(例えば初期設定の)配置範囲Ｗ５１に従って仮想オブジェクトＶ２１～Ｖ２３が配置されている。その結果、左手ＨＬの指ＦＬでは操作入力し難い状態に仮想オブジェクトＶ２１～Ｖ２３が配置され、ユーザの意図に反した操作入力が発生する恐れがある。
　そこで、オブジェクト情報生成部１２１は、表示用オブジェクトの種類（左手又は右手）に関する情報を含む表示オブジェクト情報を生成し、配置制御部１２３は、表示用オブジェクトの種類に基づいて仮想オブジェクトの配置を制御してもよい。図１７に示す例では、表示オブジェクトが右手ＨＲであることに基づいて配置範囲Ｗ５２の角度が変更され、配置範囲Ｗ５２に従って仮想オブジェクトＶ２１～Ｖ２３が配置されている。係る構成により、例えばユーザの意図に反した操作入力を抑制することが可能である。
　　＜２－５．変形例＞
　以上、本開示の第２の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　（変形例２－１）
　図８に示した通り、本実施形態に係る制御部１２－２は、入力方式決定部としての機能を有しておらず、本実施形態において、操作入力方式は例えばタッチ操作に固定されている。しかし、制御部１２－２は第１の実施形態に係る制御部１２と同様に入力方式決定部１２４としての機能を有してもよい。
　（変形例２－２）
　また、配置制御部１２３は、操作用オブジェクトと表示用オブジェクトとの間の距離にさらに基づいて仮想オブジェクトの配置を制御してもよい。例えば、配置制御部１２３は、操作用オブジェクトと表示用オブジェクトとの間の距離に基づいて、操作用オブジェクト情報、または表示用オブジェクト情報に基づく配置変更の強度を変更してもよい。操作用オブジェクトと表示用オブジェクトとの間の距離が小さい場合には、操作用オブジェクト情報、または表示用オブジェクト情報に基づく配置変更の強度を弱めることで、例えばタッチ操作が行われる直前に配置が大きく変更されることを避けることが可能である。
　（変形例２－３）
　また、配置制御部１２３は、センサ部１１と、表示用オブジェクトとの間の距離にさらに基づいて仮想オブジェクトの配置を制御してもよい。例えば、配置制御部１２３は、センサ部１１と、表示用オブジェクトとの間の距離が所定の距離より小さい場合には、表示用オブジェクト上ではない場所に仮想オブジェクトが配置されるように制御してもよい。
　（変形例２－４）
　また、配置制御部１２３は、表示部１３の表示領域内に仮想オブジェクトが表示されるように、仮想オブジェクトの配置を制御してもよい。図１８、図１９は本変形例を説明するための説明図である。図１８に示す例では、ユーザの左手ＨＬが表示用オブジェクトとして用いられ、左手ＨＬ上に仮想オブジェクトＶ２１～Ｖ２３が配置されているように（ユーザに視認されるように）表示部１３に表示される。
　ここで、図１８に示す状態から図１９に示す状態に左手ＨＬが移動した場合、左手ＨＬの移動に伴って仮想オブジェクトＶ２１～Ｖ２３を移動させてしまうと、表示部１３の表示領域内に仮想オブジェクトが表示されなくなってしまう。そこで、配置制御部１２３は、表示領域内に仮想オブジェクトが表示されるように、可動軸Ｘ３（例えば左手ＨＬの軸）に沿った位置に仮想オブジェクトＶ２１～Ｖ２３が配置されるように制御してもよい。係る構成により、ユーザは仮想オブジェクトを見失いにくくなる。
　（変形例２－５）
　また、操作用オブジェクトと表示用オブジェクトは同一の実オブジェクトであってもよい。図２０、図２１は本変形例を説明するための説明図である。本変形例では、例えば、当該実オブジェクトが最初に認識された際の当該実オブジェクトに基づいて、仮想オブジェクトが配置される。以後、当該実オブジェクトが移動した場合であっても、仮想オブジェクトは実空間に固定される。その後、ユーザは実オブジェクトを操作用オブジェクトとして用いて、操作入力を行う。例えば、実オブジェクトが手である場合には、仮想オブジェクトをつかむようなジェスチャにより選択する操作入力が行われてもよい。
　ここで、本変形例に係る配置制御部１２３は、実オブジェクトの可動域に基づいて、仮想オブジェクトの配置を制御してもよい。例えば、配置制御部１２３は、実オブジェクトの可動域の範囲内に、全ての仮想オブジェクトを配置してもよい。
　なお、操作用オブジェクトかつ表示用オブジェクトとして用いられる実オブジェクトが手である場合、可動域は実オブジェクトの種類（左手または右手）や、現在の手や腕の位置及び姿勢等に基づいて特定することが可能である。
　図２０に示す例では、ユーザの左手ＨＬが操作用オブジェクトかつ表示用オブジェクトとして用いられ、例えば配置制御部１２３は、左手ＨＬが最初に認識された際の左手ＨＬの可動域Ｍ１に基づいて、仮想オブジェクトＶ２１～Ｖ２３を配置する。
　また、図２１に示す例では、ユーザの右手ＨＲが操作用オブジェクトかつ表示用オブジェクトとして用いられ、例えば配置制御部１２３は、右手ＨＲが最初に認識された際の右手ＨＲの可動域Ｍ２に基づいて、仮想オブジェクトＶ２１～Ｖ２３を配置する。
　係る構成により、操作用オブジェクトと表示用オブジェクトが同一の実オブジェクトである場合であっても、ユーザビリティを向上させることが可能である。
　　＜２－６．効果＞
　以上、本開示の第２の実施形態について説明した。本実施形態によれば、操作用オブジェクトの認識に関する情報、または表示用オブジェクトの認識に関するに基づいて仮想オブジェクトの配置を制御することで、ユーザの意図に反した操作入力を抑制することが可能である。
　＜＜３．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。最後に、図２２を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２２は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２２に示す情報処理装置９００は、例えば、情報処理装置１、情報処理装置１－２を実現し得る。本実施形態に係る情報処理装置１、情報処理装置１－２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２２に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２、制御部１２－２を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカー及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３、スピーカー１４を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜４．むすび＞＞
　以上説明したように、本開示の実施形態によれば、ユーザビリティを向上させることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、表示部１３が透過型である例を主に説明したが、本技術は係る例に限定されない。例えば、表示部１３が非透過型である場合にも、カメラ１１０の撮影により得られる実空間の画像に仮想オブジェクトを重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部１３がプロジェクタである場合にも、実空間に仮想オブジェクトを投影することで上述した効果と同様の効果を実現することが可能である。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する入力方式決定部を備える、情報処理装置。
（２）
　前記入力方式決定部は、ユーザに関する認識結果、または周辺状況に関する認識結果に基づいて、前記操作入力方式を決定する、前記（１）に記載の情報処理装置。
（３）
　前記入力方式決定部は、前記ユーザに関する認識結果に基づいて前記仮想オブジェクトに前記ユーザが触れることが可能であるか否かを判定し、当該判定に基づいて前記操作入力方式を決定する、前記（２）に記載の情報処理装置。
（４）
　前記入力方式決定部は、前記仮想オブジェクトに前記ユーザが触れることが可能である場合に、タッチ操作を前記操作入力方式として決定する、前記（３）に記載の情報処理装置。
（５）
　前記入力方式決定部は、前記周辺状況に関する認識結果に基づいて、実空間に存在する実オブジェクトと前記仮想オブジェクトとが接しているか否かを判定し、当該判定に基づいて、前記操作入力方式を制御する、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記入力方式決定部は、前記実オブジェクトと前記仮想オブジェクトとが接している場合に、ポインティング操作を前記操作入力方式として決定する、前記（５）に記載の情報処理装置。
（７）
　前記入力方式決定部により決定された前記操作入力方式に応じた情報を用いて、前記仮想オブジェクトに係るユーザの操作入力を受け付ける操作入力受付部をさらに備える、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記仮想オブジェクトの配置を制御する配置制御部をさらに備える、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記配置制御部は、前記入力方式決定部により決定された前記操作入力方式に基づいて、前記仮想オブジェクトの配置を制御する、前記（８）に記載の情報処理装置。
（１０）
　前記配置制御部は、ユーザの操作入力に基づいて前記仮想オブジェクトの配置を制御する、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記配置制御部は、前記仮想オブジェクトとユーザとの距離に基づいて前記仮想オブジェクトの配置を制御する、前記（８）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記配置制御部は、ユーザによる操作入力に用いられる操作用オブジェクトに関する操作用オブジェクト情報、または前記仮想オブジェクトの表示に用いられる表示用オブジェクトに関する表示用オブジェクト情報、に基づいて前記仮想オブジェクトの配置を制御する、前記（８）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記操作用オブジェクト情報は、前記操作用オブジェクトの移動に関する移動情報を含み、
　前記配置制御部は、前記移動情報に基づいて前記仮想オブジェクトの配置を制御する、前記（１２）に記載の情報処理装置。
（１４）
　前記表示用オブジェクト情報は、前記表示用オブジェクトの種類に関する情報、前記表示用オブジェクトの角度に関する情報、前記表示用オブジェクトの状態に関する情報、のうち少なくともいずれか一つを含み、
　前記配置制御部は、前記表示用オブジェクト情報に基づいて前記仮想オブジェクトの配置を制御する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記配置制御部は、前記操作用オブジェクトと前記表示用オブジェクトとの間の距離にさらに基づいて前記仮想オブジェクトの配置を制御する、前記（１２）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記配置制御部は、前記仮想オブジェクトを表示する表示部の表示領域内に前記仮想オブジェクトが表示されるように、前記仮想オブジェクトの配置を制御する、前記（１２）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記操作用オブジェクトと前記表示用オブジェクトは同一の実オブジェクトであり、
　前記配置制御部は、前記実オブジェクトの可動域に基づいて前記仮想オブジェクトの配置を制御する、前記（１２）に記載の情報処理装置。
（１８）
　前記仮想オブジェクトを透過型の表示部に表示させる出力制御部をさらに備える、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、プロセッサが前記仮想オブジェクトに係る操作入力方式を決定すること、を含む情報処理方法。
（２０）
　コンピュータに、
　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する機能を実現させるための、プログラム。
　１、１－２　情報処理装置
　１１　センサ部
　１２、１２－２　制御部
　１３　表示部
　１４　スピーカー
　１５　通信部
　１６　操作入力部
　１７　記憶部
　１１０　外向きカメラ
　１１１　内向きカメラ
　１１２　マイク
　１１３　ジャイロセンサ
　１１４　加速度センサ
　１１５　方位センサ
　１１６　位置測位部
　１１７　生体センサ
　１２０　認識部
　１２１　オブジェクト情報生成部
　１２２、１２３　配置制御部
　１２４　入力方式決定部
　１２６　操作入力受付部
　１２８　出力制御部

Claims (20)

  1. 　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する入力方式決定部を備える、情報処理装置。
  2. 　前記入力方式決定部は、ユーザに関する認識結果、または周辺状況に関する認識結果に基づいて、前記操作入力方式を決定する、請求項１に記載の情報処理装置。
  3. 　前記入力方式決定部は、前記ユーザに関する認識結果に基づいて前記仮想オブジェクトに前記ユーザが触れることが可能であるか否かを判定し、当該判定に基づいて前記操作入力方式を決定する、請求項２に記載の情報処理装置。
  4. 　前記入力方式決定部は、前記仮想オブジェクトに前記ユーザが触れることが可能である場合に、タッチ操作を前記操作入力方式として決定する、請求項３に記載の情報処理装置。
  5. 　前記入力方式決定部は、前記周辺状況に関する認識結果に基づいて、実空間に存在する実オブジェクトと前記仮想オブジェクトとが接しているか否かを判定し、当該判定に基づいて、前記操作入力方式を制御する、請求項２に記載の情報処理装置。
  6. 　前記入力方式決定部は、前記実オブジェクトと前記仮想オブジェクトとが接している場合に、ポインティング操作を前記操作入力方式として決定する、請求項５に記載の情報処理装置。
  7. 　前記入力方式決定部により決定された前記操作入力方式に応じた情報を用いて、前記仮想オブジェクトに係るユーザの操作入力を受け付ける操作入力受付部をさらに備える、請求項１に記載の情報処理装置。
  8. 　前記仮想オブジェクトの配置を制御する配置制御部をさらに備える、請求項１に記載の情報処理装置。
  9. 　前記配置制御部は、前記入力方式決定部により決定された前記操作入力方式に基づいて、前記仮想オブジェクトの配置を制御する、請求項８に記載の情報処理装置。
  10. 　前記配置制御部は、ユーザの操作入力に基づいて前記仮想オブジェクトの配置を制御する、請求項８に記載の情報処理装置。
  11. 　前記配置制御部は、前記仮想オブジェクトとユーザとの距離に基づいて前記仮想オブジェクトの配置を制御する、請求項８に記載の情報処理装置。
  12. 　前記配置制御部は、ユーザによる操作入力に用いられる操作用オブジェクトに関する操作用オブジェクト情報、または前記仮想オブジェクトの表示に用いられる表示用オブジェクトに関する表示用オブジェクト情報、に基づいて前記仮想オブジェクトの配置を制御する、請求項８に記載の情報処理装置。
  13. 　前記操作用オブジェクト情報は、前記操作用オブジェクトの移動に関する移動情報を含み、
    　前記配置制御部は、前記移動情報に基づいて前記仮想オブジェクトの配置を制御する、請求項１２に記載の情報処理装置。
  14. 　前記表示用オブジェクト情報は、前記表示用オブジェクトの種類に関する情報、前記表示用オブジェクトの角度に関する情報、前記表示用オブジェクトの状態に関する情報、のうち少なくともいずれか一つを含み、
    　前記配置制御部は、前記表示用オブジェクト情報に基づいて前記仮想オブジェクトの配置を制御する、請求項１２に記載の情報処理装置。
  15. 　前記配置制御部は、前記操作用オブジェクトと前記表示用オブジェクトとの間の距離にさらに基づいて前記仮想オブジェクトの配置を制御する、請求項１２に記載の情報処理装置。
  16. 　前記配置制御部は、前記仮想オブジェクトを表示する表示部の表示領域内に前記仮想オブジェクトが表示されるように、前記仮想オブジェクトの配置を制御する、請求項１２に記載の情報処理装置。
  17. 　前記操作用オブジェクトと前記表示用オブジェクトは同一の実オブジェクトであり、
    　前記配置制御部は、前記実オブジェクトの可動域に基づいて前記仮想オブジェクトの配置を制御する、請求項１２に記載の情報処理装置。
  18. 　前記仮想オブジェクトを透過型の表示部に表示させる出力制御部をさらに備える、請求項１に記載の情報処理装置。
  19. 　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、プロセッサが前記仮想オブジェクトに係る操作入力方式を決定すること、を含む情報処理方法。
  20. 　コンピュータに、
    　実空間に配置される仮想オブジェクトの配置に関する配置情報に基づいて、前記仮想オブジェクトに係る操作入力方式を決定する機能を実現させるための、プログラム。
PCT/JP2018/047616 2018-01-18 2018-12-25 情報処理装置、情報処理方法、及びプログラム Ceased WO2019142621A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/960,403 US20200348749A1 (en) 2018-01-18 2018-12-25 Information processing apparatus, information processing method, and program
CN201880086177.4A CN111566597A (zh) 2018-01-18 2018-12-25 信息处理设备、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018006525 2018-01-18
JP2018-006525 2018-01-18

Publications (1)

Publication Number Publication Date
WO2019142621A1 true WO2019142621A1 (ja) 2019-07-25

Family

ID=67301705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047616 Ceased WO2019142621A1 (ja) 2018-01-18 2018-12-25 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200348749A1 (ja)
CN (1) CN111566597A (ja)
WO (1) WO2019142621A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021086548A (ja) * 2019-11-29 2021-06-03 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP2023017438A (ja) * 2021-07-26 2023-02-07 株式会社ダイヘン 表示画像生成装置
US12482204B2 (en) 2020-04-08 2025-11-25 Samsung Electronics Co., Ltd. Method and device for generating image for arranging objects

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118445759B (zh) * 2024-07-01 2024-08-27 南京维赛客网络科技有限公司 在vr设备中识别用户意图的方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008078603A1 (ja) * 2006-12-22 2008-07-03 Panasonic Corporation ユーザインターフェイス装置
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008078603A1 (ja) * 2006-12-22 2008-07-03 Panasonic Corporation ユーザインターフェイス装置
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANAFIAH ET AL.: "Understanding inexplicit utterances for helper robots using vision", PROCEEDING OF IEICE, vol. J88- DII, no. 3, 1 March 2005 (2005-03-01), pages 605 - 618, XP010724072 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021086548A (ja) * 2019-11-29 2021-06-03 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP7427937B2 (ja) 2019-11-29 2024-02-06 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
US12482204B2 (en) 2020-04-08 2025-11-25 Samsung Electronics Co., Ltd. Method and device for generating image for arranging objects
JP2023017438A (ja) * 2021-07-26 2023-02-07 株式会社ダイヘン 表示画像生成装置

Also Published As

Publication number Publication date
CN111566597A (zh) 2020-08-21
US20200348749A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US10175753B2 (en) Second screen devices utilizing data from ear worn device system and method
CN107037876B (zh) 系统及控制其的方法
US20170111723A1 (en) Personal Area Network Devices System and Method
US11803233B2 (en) IMU for touch detection
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
KR20160056133A (ko) 이미지 표시 제어 방법 및 이를 지원하는 장치
US20180254038A1 (en) Information processing device, information processing method, and program
WO2019142621A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US12158992B1 (en) Systems for interpreting thumb movements of in-air hand gestures for controlling user interfaces based on spatial orientations of a user's hand, and method of use thereof
US20210160150A1 (en) Information processing device, information processing method, and computer program
WO2019021566A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019021573A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022103741A1 (en) Method and device for processing user input for multiple devices
US11240482B2 (en) Information processing device, information processing method, and computer program
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
JP2024516755A (ja) 親指圧力感知を有するハンドヘルドコントローラ
US12287927B2 (en) Multi-input for rotating and translating crown modules
US20230196765A1 (en) Software-based user interface element analogues for physical device elements
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域
CN116802589A (zh) 基于手指操纵数据和非系留输入的对象参与

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18901787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18901787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP