[go: up one dir, main page]

WO2016129154A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016129154A1
WO2016129154A1 PCT/JP2015/080946 JP2015080946W WO2016129154A1 WO 2016129154 A1 WO2016129154 A1 WO 2016129154A1 JP 2015080946 W JP2015080946 W JP 2015080946W WO 2016129154 A1 WO2016129154 A1 WO 2016129154A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
reflector
processing apparatus
present
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/080946
Other languages
English (en)
French (fr)
Inventor
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2016129154A1 publication Critical patent/WO2016129154A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a corneal reflection method using a cornea reflection image (also referred to as a “Purkinje image”) in which light from a light source such as an IR LED (InfraRed Light Emitting Diode) is reflected on the cornea is used.
  • a technique related to the detection of the line of sight using the corneal reflection method for example, a technique described in Patent Document 1 below can be cited.
  • an infrared light pattern is displayed, and a pupil is captured from a captured image in which a range including the eye of a subject on which a cornea reflection image of the infrared light pattern is reflected is captured. And a cornea reflection image are extracted. Further, when the technique described in Patent Document 1 is used, the display position of the infrared light pattern is moved, and the corneal curvature center position is extracted using the corneal reflection image extracted from the captured image captured after the movement. Is calculated.
  • the display position of the infrared light pattern is determined by the difference between the center position of the pupil extracted from the captured image and the position of the reference point of the corneal reflection image. It is moved by moving the light emission position of the light source.
  • Patent Document 1 even if the technique described in Patent Document 1 is used, it is impossible to estimate the position of an object that is not directly imaged, such as the light source related to the display of an infrared light pattern.
  • a new and improved information processing apparatus, information processing method, and program capable of estimating the position of an object that is not directly captured based on a captured image in which the object is indirectly captured Propose.
  • an information processing apparatus including an estimation unit that estimates a position of an object based on a plurality of captured images in which a reflector in which an object whose position is to be estimated is captured is captured from different angles.
  • the information processing apparatus includes a step of estimating the position of the object based on a plurality of captured images in which a reflector in which the object whose position is to be estimated is captured is captured from different angles An information processing method executed by is provided.
  • the position of an object that is not directly imaged can be estimated based on a captured image in which the object is indirectly imaged.
  • a line of sight is detected using the corneal reflection method
  • a plurality of corneal reflection images (hereinafter, sometimes referred to as “bright spots”) are provided.
  • a three-dimensional position of the corneal center can be obtained based on the captured image.
  • the position of the pupil or the center of the cornea is obtained with an accuracy of 0.1 [mm]
  • the position of the pupil or the center of the cornea is calculated.
  • information (data) of the relative position of the light source with respect to the imaging device hereinafter sometimes referred to as “Camera” is used.
  • the relative position of the light source with respect to the imaging device as described above depends on the position where the light source is installed, and the position where the light source is installed may cause an error with respect to the design position. Therefore, it is desirable to obtain the position of the light source with respect to the imaging device after the light source is installed.
  • calibration there is a method for performing calibration (hereinafter sometimes referred to as “calibration”) regarding the position and orientation of the imaging device and the objects around the imaging apparatus.
  • calibration between two imaging devices such as so-called stereo camera calibration
  • the existing light source as described above is used.
  • the method related to calibration cannot be used.
  • the information processing apparatus estimates the position of an object that is not directly captured by the imaging device based on a captured image in which the object is captured indirectly.
  • the information processing apparatus estimates the position of the object based on a plurality of captured images taken from different angles of the reflector in which the object whose position is to be estimated is reflected. (Estimation process)
  • examples of the object whose position is to be estimated according to the present embodiment include a light source such as an IR LED that is used when a line of sight is detected using a cornea reflection method.
  • the object whose position is to be estimated according to the present embodiment is not limited to the light source as described above.
  • the target object whose position is to be estimated according to the present embodiment includes any object or living thing that can be reflected on the reflector according to the present embodiment.
  • the object whose position is to be estimated according to the present embodiment is a light source such as an IR LED will be described as an example.
  • the object whose position is to be estimated according to the present embodiment may be simply indicated as “object” or “LED”.
  • examples of the reflector according to the present embodiment include a planar reflector on which a predetermined pattern is represented, and a color-coded spherical reflector.
  • FIGS. 1 to 3 are explanatory views for explaining an example of the information processing method according to the present embodiment.
  • FIGS. 1 to 3 illustrate a captured image obtained by capturing an image of a reflector Reff in which a light source is reflected by the imaging device in an eyeglass-type device in which an imaging device and a plurality of light sources are arranged. This shows a case where the position of the light source is estimated based on.
  • 4 shows the reflector Ref shown in FIG. 3, A in FIG. 4 shows the front of the color-coded spherical reflector, and B in FIG. 4 shows the color-coded spherical reflection. Shows the side of the body.
  • Examples of the reflector according to the present embodiment include the following examples.
  • a flat mirror on which a predetermined pattern is printed (reflector Ref shown in FIG. 1; an example of a flat reflector on which a predetermined pattern is represented)
  • Display screen of a display device on which a predetermined pattern is displayed (reflector Ref shown in FIG. 2; an example of a flat reflector on which a predetermined pattern is represented)
  • Color-coded spherical mirror (reflector Ref shown in FIG. 3; an example of a color-coded spherical reflector)
  • the predetermined pattern according to the present embodiment is a pattern for extracting the characteristics of the planar reflector used for estimating the position and orientation of the planar reflector.
  • the information processing apparatus determines the corner point of the pattern (corner point) Extracted as the characteristics of the reflector.
  • the reflector according to the present embodiment is the display screen of the display device as shown in FIG. 2, the positional relationship between the corners of the pattern depends on the screen size, pixel pitch, etc. of the display device. Can change. Therefore, when the reflector according to the present embodiment is a display screen of a display device as illustrated in FIG. 2, the information processing apparatus according to the present embodiment performs a predetermined pattern in the pattern based on information about the display screen. Extract position.
  • the information processing apparatus is displayed via a communication unit (described later) included in the information processing apparatus according to the present embodiment or an external communication device connected to the information processing apparatus according to the present embodiment. Get information about the display screen by communicating with the device. Then, the information processing apparatus according to the present embodiment specifies a screen size, a pixel pitch, and the like of the display screen using the acquired information about the display screen, and extracts a predetermined position in a predetermined pattern.
  • the information related to the display screen according to the present embodiment is data indicating, for example, the screen size and the pixel pitch.
  • Information relating to the display screen according to the present embodiment includes data that directly indicates a screen size, a pixel pitch, and the like.
  • the information processing apparatus according to the present embodiment refers to the data to display the display screen. Specify screen size, pixel pitch, etc.
  • the information regarding the display screen according to the present embodiment is not limited to the example described above.
  • the information regarding the display screen according to the present embodiment may be identification information (data) indicating the display device, such as the ID or model number of the display device.
  • the information processing apparatus corresponds to, for example, identification information and data that directly indicates a screen size, a pixel pitch, or the like.
  • the screen size or pixel pitch of the display screen is specified using the attached table (or database).
  • the information processing apparatus communicates with an external device such as a server via a communication unit (described later), and the screen size or pixel pitch based on the identification information is transmitted from the external device. It is also possible to specify the screen size, the pixel pitch, etc. of the display screen by acquiring data directly indicating.
  • the information processing apparatus By specifying the screen size, pixel pitch, and the like of the display screen using information related to the display screen according to the present embodiment, the information processing apparatus according to the present embodiment more accurately specifies a predetermined position in a predetermined pattern. be able to.
  • the information processing apparatus displays, for example, on the display screen as illustrated in FIG.
  • the estimation process according to the present embodiment may be performed by operating a button that has been set.
  • the reflector according to the present embodiment is a display screen of a display device as shown in FIG. 2, an operation procedure related to the estimation process according to the present embodiment or a display screen according to the present embodiment is displayed on the display screen.
  • the progress status of the estimation process may be displayed.
  • the predetermined pattern according to the present embodiment is not limited to the example shown in FIGS. 1 and 2.
  • the predetermined pattern according to the present embodiment may have an arbitrary shape capable of extracting a feature capable of estimating the position and orientation of a planar reflector.
  • the reflector according to the present embodiment is a spherical mirror, as shown in FIG. 4 as a paint portion, a part of the spherical mirror is colored to be color-coded.
  • the reflector according to the present embodiment is a color-coded spherical reflector such as a color-coded spherical mirror
  • the information processing apparatus extracts the outline of the spherical reflector as a feature. To do.
  • the method of color-coding in the spherical reflector which concerns on this embodiment is not restricted to the example shown in FIG. 3, FIG.
  • the spherical reflector according to the present embodiment may be arbitrarily colored so that a feature capable of estimating the position of the spherical reflector can be extracted.
  • the spherical reflector according to the form may be provided with an arbitrary pattern capable of extracting a feature capable of estimating the position of the spherical reflector.
  • the information processing apparatus processes a plurality of captured images in which a reflector as illustrated in FIGS. 1 to 4 in which a target object whose position is to be estimated is captured is captured from different angles, Estimate the position of an object
  • the information processing apparatus calculates “a vector from an object reflected on a reflector to an object” from each of a plurality of captured images.
  • the information processing apparatus estimates the position of the object based on vectors calculated from the plurality of captured images.
  • the information processing apparatus estimates an intersection of a plurality of vectors calculated from a plurality of captured images or a nearest point of the plurality of vectors as an object position.
  • a plurality of vectors calculated from a plurality of captured images intersect at one point in an ideal state where there is no vector calculation error or the like. That is, by using a plurality of vectors respectively calculated from a plurality of captured images, the one point (for example, in the case of the ideal state) or the nearest point of the plurality of vectors (for example, in the case of the non-ideal state). By determining, the position of the object can be estimated.
  • the information processing apparatus indirectly captures the position of an object that is not directly imaged, that is, a captured image in which a reflector that reflects the object is captured from a different angle, that is, the object is captured indirectly. It can be estimated based on the captured image.
  • the information processing apparatus includes, for example, the following (1) detection processing, (2) extraction processing, and ( 3) Perform a first estimation process, (4) a calculation process, and (5) a second estimation process.
  • the information processing apparatus detects an object for each captured image.
  • the information processing apparatus is an arbitrary image that can detect an object from a captured image, such as a method of detecting an object from a captured image using dictionary data in which object characteristics are recorded. An object is detected for each captured image using a recognition technique.
  • the dictionary data as described above is stored in, for example, a storage unit (described later) included in the information processing apparatus according to the present embodiment or an external recording medium connected to the information processing apparatus according to the present embodiment. Is done.
  • the information processing apparatus appropriately reads dictionary data from a storage unit (described later) or the like and uses it for processing.
  • the detection processing according to the present embodiment is not limited to being performed using the image recognition technology as described above.
  • the position where the object is present in the captured image is designated by a user operation, it is also possible to detect the object present at the designated position.
  • the information processing apparatus extracts the characteristics of the reflector for each captured image.
  • the information processing apparatus When the reflector is a planar reflector on which a predetermined pattern is represented, the information processing apparatus according to the present embodiment, for example, the corner portion of the predetermined pattern included in the captured image as described above. A point (corner point) is extracted as a feature of the reflector.
  • the reflector is a display screen of a display device as shown in FIG. 2, the information processing apparatus according to the present embodiment extracts points at the corners of the pattern based on information about the display screen. To do.
  • the information processing apparatus extracts, for example, the outline of the spherical reflector as a feature of the reflector as described above. .
  • the information processing apparatus which concerns on this embodiment estimates the position of a reflector, or the position and attitude
  • the information processing apparatus estimates the position and orientation of the reflector based on the extracted features.
  • the information processing apparatus estimates the position of the reflector based on the extracted features. A specific example of the first estimation process according to the present embodiment will be described later.
  • the information processing apparatus converts, for each captured image, from an object reflected in a reflector to an object based on the estimation result of the process (3) (first estimation process).
  • a vector (hereinafter referred to as “vector R”) is calculated.
  • vector R A specific example of the calculation process according to the present embodiment will be described later.
  • the information processing apparatus is calculated by performing the process (1) (detection process) to the process (4) (calculation process) on each captured image. Based on the vector R, the position of the object is estimated. A specific example of the calculation process according to the present embodiment will be described later.
  • the information processing apparatus performs the processing of (1) (detection processing) to (5) (second estimation processing), for example, to determine the position of an object that is not directly captured. Estimation is performed based on a captured image (a captured image in which the object is indirectly captured) captured from different angles of the reflector on which the object is reflected.
  • the process (1) (detection process) to the process (5) (second estimation process) described above are obtained by separating the estimation process related to the information processing method according to the present embodiment for convenience. Therefore, in the estimation process according to the information processing method according to the present embodiment, for example, the process (1) (detection process) to the process (5) (second estimation process) can be regarded as one process. Is possible.
  • the estimation process according to the information processing method according to the present embodiment includes, for example, the process (1) (detection process) to the process (5) (second estimation process) (depending on an arbitrary separation method). It can also be regarded as two or more processes.
  • the reflector is a planar reflector representing a predetermined pattern
  • the reflector is a planar reflector representing a predetermined pattern
  • FIG. 5 is an explanatory diagram for explaining an example of processing according to the information processing method according to the present embodiment.
  • the reflector is a plane mirror on which a predetermined pattern is printed (a plane on which the predetermined pattern is represented). The principle of the estimation of the position of the object in the case of the reflector of FIG.
  • the information processing apparatus detects, for each captured image, a point (an example of a predetermined position in the pattern) of a corner of a predetermined pattern included in the captured image using an arbitrary image processing technique.
  • a point an example of a predetermined position in the pattern
  • the characteristics of the reflector are extracted.
  • the corner points of the predetermined pattern are referred to as “feature points”.
  • the information processing apparatus includes, for example, feature point position information (data) indicating the position of a feature point, imaging device parameters (for example, data indicating an angle of view and a magnification), and the above (2). Based on the information (data) indicating the position of the feature point extracted in the process (extraction process), the position and orientation of the plane mirror are estimated.
  • the information processing apparatus includes, for example, a storage unit (described later) included in the information processing apparatus according to the present embodiment or an external recording medium connected to the information processing apparatus according to the present embodiment.
  • the feature point position information stored in is used.
  • the information processing apparatus according to the present embodiment uses information indicating the parameters of the imaging device stored in a storage unit (described later), for example. Note that the information processing apparatus according to the present embodiment may estimate the parameters of the imaging device from the captured image, and use the estimated parameters.
  • the information processing apparatus calculates, for example, a three-dimensional plane equation based on the position and orientation of the plane mirror estimated in the process (3) (first estimation process). Then, the three-dimensional plane of the plane mirror is specified.
  • the information processing apparatus calculates the position of the object on the specified three-dimensional plane based on, for example, a plane equation.
  • the information processing apparatus according to the present embodiment is calculated from, for example, the plane equation and the position of the LED reflected on the plane mirror (for example, represented by coordinates in the u and v coordinate systems) shown in FIG.
  • the position of the object on the three-dimensional plane is calculated by obtaining the intersection with the vector L ′′ from the imaging device to the object reflected on the reflector.
  • the information processing apparatus for example, based on the identified normal vector of the three-dimensional plane (for example, the vector N shown in B of FIG. 5) and the position of the object on the three-dimensional plane, Vector R is calculated.
  • the information processing apparatus calculates the vector R by the following formula 1 using, for example, the law of reflection.
  • R shown in Equation 1 below is a vector R from the object reflected in the reflector to the object
  • L shown in Equation 1 below is reflected in the reflector from the imaging device.
  • N shown in Equation 1 below is a normal vector N of the specified three-dimensional plane.
  • the information processing apparatus repeats the above-described processing (1) (detection processing) to processing (4) (calculation processing) as described above for a plurality of captured images.
  • the information processing apparatus records the position of the object on the three-dimensional plane and the vector R obtained based on each captured image in a storage unit (described later) or the like.
  • the information processing apparatus includes an intersection of a plurality of vectors R calculated from a plurality of captured images by the process (1) (detection process) to the process (4) (calculation process).
  • the nearest point of the plurality of vectors R is estimated as the position of the object.
  • the information processing apparatus When estimating the intersection of a plurality of vectors R as the position of the object, the information processing apparatus according to the present embodiment, for example, among the intersections of the plurality of vectors R, the position of the intersection having the largest number of vectors R passing over the intersection Is estimated as the position of the object. When there are a plurality of intersections having the largest number of vectors R passing through the intersection, the information processing apparatus according to the present embodiment selects one intersection by an arbitrary selection method such as selecting at random, The position of the selected intersection may be estimated as the position of the object.
  • the information processing apparatus calculates the nearest point using, for example, the least square method, The position is estimated as the position of the object.
  • a point on the vector R shown in FIG. 5B is “L ⁇ i ”
  • a point on the normal vector N is “d ⁇ i ”
  • an LED (object's reflection) reflected in a plane mirror (an example of a reflector) is shown.
  • placing and the position of the example) "C ⁇ i" point L ⁇ i on the vector R is represented by, for example, equation 2 below.
  • “i” shown in Equation 2 below indicates the number assigned to the captured image
  • t i ” shown in Equation 2 below is a set parameter. Parametric t i may be a fixed value or may be a configurable variable values based on the user operation or the like.
  • the distance between the LED position p ⁇ and the point L ⁇ i on the vector R is expressed by, for example, Equation 3 below.
  • the information processing apparatus obtains, for example, a point that minimizes the sum of squares of the distance to the point Li for all i, and the position of the LED (an example of an object) that estimates the obtained point Let p ⁇ .
  • the information processing apparatus solves, for example, n + 1 simultaneous equations (n is a positive integer) shown in the following Equation 4, and obtains the value of p ⁇ .
  • “F” shown in Equation 4 below is expressed by Equation 5 below, for example.
  • the information processing apparatus includes, for example, the above (I) The position of the object is estimated by performing the process shown in FIG.
  • the information processing apparatus when a plurality of objects are reflected on the reflector, the information processing apparatus according to the present embodiment performs, for example, the processing shown in (I) to the processing shown in (V) for each object. Thus, it is possible to estimate the position of each object.
  • estimation processing according to the present embodiment is not limited to the processing shown in (I) to (V).
  • the information processing apparatus can also estimate the position of the object based on the set constraint condition.
  • FIG. 6 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
  • 6A shows an example of the constraint condition
  • FIG. 6B shows another example of the constraint condition.
  • Constraint conditions according to the present embodiment include, for example, the following (a) to (e). Needless to say, the constraint conditions according to the present embodiment are not limited to the following (a) to (e).
  • A The object and the imaging device exist on the same set plane (A in FIG. 6).
  • B A plurality of objects exist on the same set plane (B in FIG. 6).
  • C A distance between each of the plurality of objects is set.
  • D The positional relationship between all the objects is set, and the postures of the objects are different between the coordinate system related to the imaging device and the coordinate system of the object.
  • E A constraint condition in which two or more of the constraint conditions (a) to (d) above are combined.
  • FIG. 7 is an explanatory diagram for explaining an example of processing according to the information processing method according to the present embodiment, and the reflector is a color-coded spherical mirror (an example of a color-coded spherical reflector). Shows the case.
  • FIG. 7A illustrates an example of a captured image obtained by capturing a color-coded spherical mirror (reflector Ref illustrated in FIG. 3) in which an LED (an example of an object) is reflected.
  • FIG. 7B shows the principle of estimating the position of the object when the reflector is a color-coded spherical mirror.
  • the information processing apparatus processes the captured images captured from a plurality of different angles by the spherical mirror on which the LEDs are reflected, for example, as shown in (i) to (v) below.
  • the information processing apparatus extracts the feature of the reflector by detecting the contour of the color-coded spherical mirror for each captured image.
  • the information processing apparatus according to the present embodiment detects the contour of the spherical mirror by detecting a colored region from the captured image, for example.
  • the method of detecting the contour of the spherical mirror is not limited to the above, and the information processing apparatus according to the present embodiment can use any method that can detect the contour of the spherical mirror from the captured image, for example. It is.
  • the information processing apparatus includes, for example, information (data) indicating the size of the spherical mirror, imaging device parameters (for example, data indicating the angle of view and magnification), and the process (extraction) of (2) above.
  • the position of the spherical mirror is estimated based on the information (data) indicating the outline of the spherical mirror extracted in the processing.
  • the information processing apparatus includes, for example, a storage unit (described later) included in the information processing apparatus according to the present embodiment or an external recording medium connected to the information processing apparatus according to the present embodiment.
  • the information indicating the size of the spherical mirror stored in the table is used.
  • the information processing apparatus according to the present embodiment uses information indicating the parameters of the imaging device stored in a storage unit (described later), for example. Note that the information processing apparatus according to the present embodiment may estimate the parameters of the imaging device from the captured image, and use the estimated parameters.
  • the information processing apparatus calculates a spherical equation based on the position of the spherical mirror estimated in the process (3) (first estimation process), for example, Identify the sphere.
  • the spherical equation is obtained by, for example, using the contour of the spherical mirror extracted based on the captured image (for example, “the contour of the sphere” shown in FIG. 8A) and performing the circle fitting to obtain the center coordinates and the radius of the sphere, It is calculated by obtaining the three-dimensional position and radius of the sphere in the camera coordinate system.
  • the information processing apparatus calculates the position of the object on the specified spherical surface based on, for example, a spherical equation.
  • the information processing apparatus according to the present embodiment is calculated from, for example, the spherical equation and the position of the LED shown in the spherical mirror (for example, represented by coordinates of u and v coordinate systems) shown in FIG.
  • the position of the object on the spherical surface is calculated by obtaining the intersection with the vector L ′′ from the imaging device to the object reflected on the reflector.
  • the information processing apparatus specifies the normal vector of the specified spherical surface (for example, the vector shown in B of FIG. 7). N) and the position of the object on the spherical surface, the vector R is calculated using the law of reflection.
  • the information processing apparatus performs, for example, the processing shown in (i) above.
  • the position of the object is estimated by performing the process shown in (v) as the estimation process.
  • the information processing apparatus when a plurality of objects are reflected on the reflector, the information processing apparatus according to the present embodiment performs, for example, the processes shown in (i) to (v) for each object. Thus, it is possible to estimate the position of each object.
  • estimation processing according to the second example is not limited to the processing shown in (i) to (v).
  • the information processing apparatus can estimate the position of the object based on the set constraint condition, similarly to the estimation process according to the first example.
  • the effects produced by performing the estimation process according to the information processing method according to the present embodiment are not limited to the examples shown below.
  • -Highly accurate positioning of peripheral objects with respect to the imaging device is realized. Since there is no need to compensate the positioning accuracy of the peripheral object with respect to the imaging device with the mounting accuracy, it becomes easy to manufacture an apparatus (for example, eyewear) that can detect the line of sight using the corneal reflection method, for example. Even when the positional relationship between the imaging device and the peripheral object is shifted after the position of the peripheral object is estimated, the position of the peripheral object can be estimated again.
  • a reflector such as a plane mirror or a spherical mirror
  • positioning of the reflector with respect to the imaging device is unnecessary.
  • a user of an apparatus such as a smartphone can perform an operation related to the information processing method according to the present embodiment. It becomes.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an imaging unit 102 and a control unit 104.
  • the information processing apparatus 100 communicates with a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and an external device wirelessly or by wire. You may provide the communication part (not shown) for performing, the operation part (not shown) which a user can operate, the display part (not shown) which displays a various screen on a display screen, etc.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit (not shown) is a storage unit included in the information processing apparatus 100, and includes, for example, dictionary data, feature point position information, information indicating imaging device parameters, and data indicating an estimation result (for example, a vector R). Data, etc.), various data such as image data indicating captured images, applications, and the like are stored.
  • examples of the storage unit include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • Examples of the communication unit include a communication interface described later.
  • the operation input device mentioned later is mentioned, for example.
  • the display device mentioned later is mentioned, for example.
  • FIG. 9 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, an imaging device 166, and an IR. LED 168.
  • the information processing apparatus 100 connects each component with a bus 170 as a data transmission path, for example.
  • the MPU 150 includes, for example, one or more processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. . Further, the MPU 150 plays a role of, for example, an estimation unit 110 described later in the information processing apparatus 100.
  • MPU Micro Processing Unit
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and includes various data such as data related to the information processing method according to the present embodiment such as data indicating an estimation result, image data indicating a captured image, and applications.
  • data related to the information processing method according to the present embodiment such as data indicating an estimation result, image data indicating a captured image, and applications.
  • Examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse), a display device, or an imaging device as an external device of the information processing apparatus 100.
  • an operation input device for example, a keyboard or a mouse
  • a display device for example, a liquid crystal display
  • an imaging device as an external device of the information processing apparatus 100.
  • the display device 162 may be a device capable of display and user operation, such as a touch device.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and via a network (or directly) an external device such as an external imaging device or an external display device, an external device such as a server, It functions as a communication unit (not shown) for performing wireless or wired communication.
  • Examples of the communication interface 164 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication), or Examples include LAN (Local Area Network) terminals and transmission / reception circuits (wired communication).
  • the communication unit (not shown) has a configuration corresponding to an arbitrary standard capable of communication such as a USB (Universal Serial Bus) terminal and a transmission / reception circuit, or an arbitrary communication capable of communicating with an external device via a network. It may be a configuration.
  • an arbitrary standard capable of communication such as a USB (Universal Serial Bus) terminal and a transmission / reception circuit, or an arbitrary communication capable of communicating with an external device via a network. It may be a configuration.
  • a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Wireless Wide Area Area).
  • a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • the imaging device 166 is an imaging unit included in the information processing apparatus 100 and functions as the imaging unit 102 that generates an image (captured image) by imaging.
  • the information processing apparatus 100 can perform processing according to the information processing method according to the present embodiment, for example, based on a captured image generated by imaging in the imaging device 166.
  • the imaging device 166 includes, for example, a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the IR LED 168 is a light source provided in the information processing apparatus 100, and includes, for example, a plurality of IR LEDs.
  • the IR LED 168 is a light source used to estimate the user's line of sight by the cornea reflection method
  • the IR LED 168 is provided at a position where light is irradiated to the user's eyes, for example.
  • the light source provided in the information processing apparatus 100 is not limited to the IR LED.
  • the IR LED 168 may correspond to a target object whose position is estimated by the information processing method according to the present embodiment, for example.
  • the object whose position is to be estimated by the information processing method according to the present embodiment is not limited to the light source such as the IR LED 168.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. 9. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 9.
  • the information processing apparatus 100 may not include the imaging device 166.
  • the information processing apparatus 100 may not include the communication interface 164 if the information processing apparatus 100 is configured to perform stand-alone processing, for example. Further, the information processing apparatus 100 may be configured not to include the recording medium 156, the operation input device 160, the display device 162, and the IR LED 168.
  • the imaging unit 102 generates an image (captured image) by imaging.
  • An example of the imaging unit 102 is an imaging device 166.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100. Moreover, the control part 104 is provided with the estimation part 110, for example, and fulfill
  • the estimation unit 110 plays a leading role in performing estimation processing according to the information processing method according to the present embodiment, and a plurality of captured images in which a reflector on which a target object whose position is to be estimated is captured is captured from different angles. Based on the above, the position of the object is estimated.
  • FIG. 10 is a block diagram for explaining an example of processing in the estimation unit 110 included in the information processing apparatus 100 according to the present embodiment.
  • FIG. 10 shows an example of processing when the estimation unit 110 performs the processing (1) (detection processing) to (5) (second estimation processing).
  • the estimation unit 110 includes, for example, a detection unit 120, an extraction unit 122, a first estimation processing unit 124, a calculation unit 126, and a second estimation processing unit 128.
  • the detection unit 120 plays a role of leading the process (1) (detection process), and detects an object for each captured image.
  • the detection unit 120 performs, for example, the process shown in (I) above and the process shown in (i) above.
  • the extraction unit 122 plays a leading role in performing the process (2) (extraction process), and extracts the characteristics of the reflector for each captured image. For example, the extraction unit 122 performs the process shown in (II) above and the process shown in (ii) above.
  • the first estimation processing unit 124 plays a leading role in performing the process (3) (first estimation process), and for each captured image, the position of the reflector based on the features extracted by the extraction unit 122. Alternatively, the position and posture of the reflector are estimated.
  • the first estimation processing unit 124 performs, for example, the process shown in (III) above and the process shown in (iii) above.
  • the calculation unit 126 plays a leading role in performing the process (calculation process) of (4) above, and for each captured image, based on the estimation result in the first estimation processing unit 124, from the object reflected in the reflector. A vector R to the object is calculated.
  • the calculation unit 126 performs, for example, the process shown in (IV) above and the process shown in (iv) above.
  • the second estimation processing unit 128 plays a leading role in performing the process (5) (second estimation process), and estimates the position of the object based on the vector R calculated from each of the plurality of captured images. .
  • the second estimation processing unit 128 performs the processing shown in (V) above and the processing shown in (v) above.
  • the estimation unit 110 includes, for example, the detection unit 120, the extraction unit 122, the first estimation processing unit 124, the calculation unit 126, and the second estimation processing unit 128, so that the estimation processing according to the information processing method according to the present embodiment is performed. To lead.
  • the configuration of the estimation unit 110 is not limited to the configuration illustrated in FIG.
  • the process (1) (detection process) to the process (5) (second estimation process) are separated from the estimation process according to the information processing method according to the present embodiment for convenience. It is. Therefore, the configuration for realizing the estimation processing according to the information processing method according to the present embodiment includes the detection unit 120, the extraction unit 122, the first estimation processing unit 124, the calculation unit 126, and the second estimation processing illustrated in FIG.
  • the estimation unit 110 is not limited to the unit 128, and can be configured according to the method of dividing the estimation process according to the information processing method according to the present embodiment.
  • the control unit 104 for example, includes the estimation unit 110, thereby leading the processing related to the information processing method according to the present embodiment.
  • the information processing apparatus 100 has, for example, the configuration illustrated in FIG. 8, an estimation process (for example, the process (1) (detection process) to the process (5) (second estimation) according to the information processing method according to this embodiment. Process)).
  • an estimation process for example, the process (1) (detection process) to the process (5) (second estimation) according to the information processing method according to this embodiment. Process
  • the information processing apparatus 100 can estimate the position of an object that is not directly imaged based on a captured image in which the object is indirectly imaged, for example, with the configuration illustrated in FIG.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above, for example.
  • the information processing apparatus can include the estimation unit 110 illustrated in FIG. 8 separately from the control unit 104 (for example, realized by another processing circuit).
  • the information processing apparatus 100 may not include the imaging unit 102.
  • the information processing apparatus may further include other components such as a communication unit (not shown).
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • This embodiment is, for example, a computer such as a PC (Personal Computer) or a server, a device that is used by being mounted on a user's head such as an eyewear or an HMD, a communication device such as a mobile phone or a smartphone, or a tablet-type device.
  • the present invention can be applied to various devices capable of performing the processing related to the information processing method according to the present embodiment.
  • this embodiment can also be applied to, for example, one or more ICs (Integrated Circuits) that can be incorporated into the above devices.
  • ICs Integrated Circuits
  • the information processing apparatus is applied to a system including one or two or more apparatuses that are premised on connection to a network (or communication between apparatuses) such as cloud computing. May be. That is, the information processing apparatus according to this embodiment described above can be realized as an information processing system including a plurality of apparatuses, for example.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment for example, the process (1) (detection process) to the process (5) (second estimation process) according to the present embodiment.
  • a program capable of executing an estimation process related to an information processing method is executed by a processor or the like in a computer, so that a captured image obtained by indirectly capturing the position of an object that is not directly captured Can be estimated.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • An information processing apparatus comprising: an estimation unit configured to estimate a position of the object based on a plurality of captured images obtained by imaging a reflector on which an object whose position is to be estimated is captured from different angles.
  • the estimation unit includes A detection unit for detecting the object for each captured image; For each captured image, an extraction unit that extracts the characteristics of the reflector; A first estimation processing unit configured to estimate the position of the reflector or the position and orientation of the reflector based on the extracted feature for each captured image; For each captured image, a calculation unit that calculates a vector from the object reflected in the reflector to the object based on an estimation result; A second estimation processing unit configured to estimate the position of the object based on the vectors respectively calculated from the plurality of captured images;
  • the information processing apparatus including: (3) The reflector is a planar reflector on which a predetermined pattern is represented, The extraction unit extracts a predetermined position in the pattern as the feature, The first estimation processing unit estimates the position and orientation of the reflector based on a predetermined position in the extracted pattern, The calculation unit specifies a three-dimensional plane of the reflector based on the estimated position and orientation of the reflector on the plane, calculates the position of the object on the specified three-dimensional plane, The
  • the reflector is a spherical reflector that is color-coded
  • the extraction unit extracts the color-coded outline of the reflector as the feature
  • the first estimation processing unit estimates the position of the reflector based on the extracted outline of the reflector
  • the calculation unit specifies a spherical surface of the reflector based on the estimated position of the spherical reflector, calculates a position of the object on the specified spherical surface, and a normal vector of the spherical surface
  • the information processing apparatus according to (2), wherein the vector is calculated based on a position of the object on the spherical surface.
  • the second estimation processing unit estimates an intersection of the plurality of vectors calculated from a plurality of the captured images or a nearest point of the plurality of vectors as the position of the object. (2) to (6) ).
  • the information processing apparatus estimates a position of the object for each object.
  • the estimation unit estimates the position of the object based on a set constraint condition.
  • An information processing method executed by an information processing apparatus comprising: a step of estimating a position of the object based on a plurality of captured images obtained by imaging a reflector on which a target object whose position is to be estimated is captured from different angles.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　視線の検出に用いられる手法としては、例えば、ＩＲ　ＬＥＤ（InfraRed　Light　Emitting　Diode）などの光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を用いる角膜反射法を利用する方法がある。角膜反射法を利用した視線の検出に係る技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。
特開２０１４－１８８３２２号公報
　例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンを表示させ、当該赤外光パターンの角膜反射像が映った対象者の眼を含む範囲が撮像された撮像画像から瞳孔と角膜反射像が抽出される。また、特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置を移動させ、移動後に撮像された撮像画像から抽出された角膜反射像を用いて、角膜の曲率中心位置が算出される。ここで、例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置は、撮像画像から抽出された瞳孔の中心位置と角膜反射像の基準点の位置とのずれによって、光源の発光位置を移動させることによって移動される。
　しかしながら、例えば特許文献１に記載の技術を用いたとしても、赤外光パターンの表示に係る上記光源のような、直接的に撮像されないオブジェクトの位置を推定することはできない。
　本開示では、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。
　また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法が提供される。
　また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラムが提供される。
　本開示によれば、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理装置が備える推定部における処理の一例を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
［１］本実施形態に係る情報処理方法の概要
　角膜反射法を利用して視線の検出が行われる場合には、複数の角膜反射像（以下、「輝点」と示す場合がある。）が撮像された撮像画像に基づいて、角膜中心（角膜曲率中心）の３次元位置を求めることが可能である。ここで、角膜反射法を利用して視線の検出が行われる場合には、例えば、瞳孔や角膜中心の位置が０．１［ｍｍ］精度で求められ、瞳孔や角膜中心の位置の算出に係る計算では、撮像デバイス（以下、「Ｃａｍｅｒａ」と示す場合がある。）に対する光源の相対位置の情報（データ）が利用される。
　上記のような撮像デバイスに対する光源の相対位置は、光源が設置される位置に依存し、光源が設置される位置には、設計上の位置に対して誤差が生じうる。そのため、光源が設置された後に、撮像デバイスに対する光源の位置を求めることが、望ましい。
　ここで、例えば、撮像デバイスと、当該撮像装置の周辺のオブジェクトとの位置や姿勢に関する較正（以下、「キャリブレーション」と示す場合がある。）を行う方法が存在する。例えば、いわゆるステレオカメラキャリブレーションのような、２つの撮像装置同士におけるキャリブレーションは、例えば、チェッカーボードなどの形状が既知のオブジェクトを、２つの撮像装置それぞれで同時に撮像することによって、実現することが可能である。
　しかしながら、角膜反射法を利用して視線の検出が行われる場合に用いられる光源は、一般的に、撮像デバイスでは直接的に撮像することができない位置に配置されるので、上記のような既存のキャリブレーションに係る方法を用いることはできない。
　そこで、本実施形態に係る情報処理装置は、撮像デバイスにより直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定する。
　より具体的には、本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する（推定処理）。
　ここで、本実施形態に係る位置を推定する対象のオブジェクトとしては、例えば、角膜反射法を利用して視線の検出が行われる場合に用いられる、ＩＲ　ＬＥＤなどの光源が挙げられる。なお、本実施形態に係る位置を推定する対象のオブジェクトは、上記のような光源に限られない。例えば、本実施形態に係る位置を推定する対象のオブジェクトは、本実施形態に係る反射体に映ることが可能な、任意の物や生物などが挙げられる。
　以下では、本実施形態に係る位置を推定する対象のオブジェクトが、ＩＲ　ＬＥＤなどの光源である場合を例に挙げる。また、以下では、本実施形態に係る位置を推定する対象のオブジェクトを、単に「オブジェクト」、または「ＬＥＤ」と示す場合がある。
　また、本実施形態に係る反射体としては、例えば、所定のパターンが表されている平面の反射体や、色分けされている球状の反射体が挙げられる。
　図１～図４は、本実施形態に係る情報処理方法の一例を説明するための説明図である。図１～図３は、撮像デバイスと複数の光源とが配置されている眼鏡型の装置において、当該撮像デバイスにより光源が映っている反射体Ｒｅｆｅｆを撮像し、反射体Ｒｅｆが撮像された撮像画像に基づいて光源の位置が推定される場合を示している。また、図４は、図３に示す反射体Ｒｅｆを示しており、図４のＡは、色分けされている球状の反射体の正面を示し、図４のＢは、色分けされている球状の反射体の側面を示している。
　本実施形態に係る反射体としては、例えば下記に示す例が挙げられる。
　　・所定のパターンが印刷されている平面鏡（図１に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
　　・所定のパターンが表示されている表示デバイスの表示画面（図２に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
　　・色分けされている球面鏡（図３に示す反射体Ｒｅｆ。色分けされている球状の反射体の一例）
　本実施形態に係る所定のパターンとは、平面の反射体の位置および姿勢を推定するために用いられる平面の反射体の特徴を、抽出するためのパターンである。
　本実施形態に係る所定のパターンとしては、図１の反射体Ｒｅｆや、図２の反射体Ｒｅｆに示すように、格子状のパターンが挙げられる。本実施形態に係る所定のパターンが図１や図２に示すような格子状のパターンである場合、本実施形態に係る情報処理装置は、当該パターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。
　ここで、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示デバイスの画面サイズやピクセルピッチなどによって、パターンの角の部分の点の位置関係が変わりうる。よって、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンにおける所定の位置を抽出する。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理装置が備える通信部（後述する）、または本実施形態に係る情報処理装置に接続されている外部の通信デバイスを介して、表示デバイスと通信を行うことによって、表示画面に関する情報を取得する。そして、本実施形態に係る情報処理装置は、取得された表示画面に関する情報を用いて、表示画面の画面サイズやピクセルピッチなどを特定して、所定のパターンにおける所定の位置を抽出する。
　本実施形態に係る表示画面に関する情報とは、例えば、画面サイズやピクセルピッチなどを示すデータである。本実施形態に係る表示画面に関する情報としては、画面サイズやピクセルピッチなどを直接的に示すデータが挙げられる。本実施形態に係る表示画面に関する情報が、画面サイズやピクセルピッチなどを直接的に示すデータである場合には、本実施形態に係る情報処理装置は、当該データを参照することによって、表示画面の画面サイズやピクセルピッチなどを特定する。
　なお、本実施形態に係る表示画面に関する情報は、上記に示す例に限られない。例えば、本実施形態に係る表示画面に関する情報は、表示デバイスのＩＤや型番など、表示デバイスを示す識別情報（データ）であってもよい。
　本実施形態に係る表示画面に関する情報が上記識別情報である場合には、本実施形態に係る情報処理装置は、例えば、識別情報と、画面サイズやピクセルピッチなどを直接的に示すデータとが対応付けられているテーブル（または、データベース）を用いて、表示画面の画面サイズやピクセルピッチなどを特定する。また、本実施形態に係る情報処理装置は、例えば、通信部（後述する）などを介してサーバなどの外部装置と通信を行い、当該外部装置から、上記識別情報に基づく画面サイズやピクセルピッチなどを直接的に示すデータを取得することによって、表示画面の画面サイズやピクセルピッチなどを特定することも可能である。
　本実施形態に係る表示画面に関する情報を用いて表示画面の画面サイズやピクセルピッチなどを特定することによって、本実施形態に係る情報処理装置は、所定のパターンにおける所定の位置をより正確に特定することができる。
　なお、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置では、例えば図２に示すような表示画面上に表示されているボタンが操作されることによって、本実施形態に係る推定処理が行われてもよい。
　また、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示画面に、本実施形態に係る推定処理に係る操作手順や、本実施形態に係る推定処理の進捗状況が表示されてもよい。
　なお、本実施形態に係る所定のパターンは、図１や図２に示す例に限られない。例えば、本実施形態に係る所定のパターンは、平面の反射体の位置および姿勢を推定することが可能な特徴を抽出することが可能な、任意の形状であってもよい。
　また、本実施形態に係る反射体が、球面鏡である場合には、図４においてペイント部分と示されているように、球面鏡の一部が色づけされることにより、色分けがされる。本実施形態に係る反射体が、色分けされている球面鏡のような色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、球状の反射体の輪郭を、特徴として抽出する。
　なお、本実施形態に係る球状の反射体における色分けの仕方は、図３、図４に示す例に限られない。例えば、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の色付けがされていてもよく、また、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の模様が付されていてもよい。
　本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている、図１～図４に示すような反射体が異なる角度から撮像された複数の撮像画像を処理することによって、オブジェクトの位置を推定する
　より具体的には、本実施形態に係る情報処理装置は、複数の撮像画像それぞれから“反射体に映っているオブジェクトからオブジェクトへのベクトル”を算出する。そして、本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出されたベクトルに基づいて、オブジェクトの位置を推定する。本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出された複数のベクトルの交点、または、複数のベクトルの最近傍点を、オブジェクトの位置として推定する。
　ここで、オブジェクトの位置が変わらない場合、ベクトルの算出誤差などがない理想的な状態では、複数の撮像画像からそれぞれ算出された複数のベクトルは、一点で交わる。つまり、複数の撮像画像からそれぞれ算出された複数のベクトルを用いて、上記一点（例えば上記理想的な状態の場合）、または複数のベクトルの最近傍点（例えば上記理想的な状態ではない場合）を求めることによって、オブジェクトの位置を推定することが可能である。
　よって、本実施形態に係る情報処理装置は、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像、すなわち、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　以下、本実施形態に係る情報処理方法に係る推定処理について、より具体的に説明する。
［２］本実施形態に係る情報処理方法に係る処理
　本実施形態に係る情報処理装置は、本実施形態に係る推定処理として、例えば、下記の（１）検出処理、（２）抽出処理、（３）第１推定処理、（４）算出処理、および（５）第２推定処理を行う。
（１）検出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、オブジェクトを検出する。
　本実施形態に係る情報処理装置は、例えば、オブジェクトの特徴が記録されている辞書データを用いて撮像画像からオブジェクトを検出する方法など、撮像画像からオブジェクトを検出することが可能な、任意の画像認識技術を用いて、撮像画像ごとに、オブジェクトを検出する。ここで、上記のような辞書データは、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶される。本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などから辞書データを適宜読み出して処理に用いる。
　なお、本実施形態に係る検出処理は、上記に示すような画像認識技術を用いて行われることに限られない。
　例えば、撮像画像においてオブジェクトが存在する位置が、ユーザ操作により指定される場合には、指定された位置に存在するオブジェクトを検出することも可能である。
（２）抽出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、反射体の特徴を抽出する。
　反射体が、所定のパターンが表されている平面の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、撮像画像に含まれる所定のパターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。また、反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンの角の部分の点を抽出する。
　また、反射体が、色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、球状の反射体の輪郭を、反射体の特徴として抽出する。
（３）第１推定処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。
　反射体が、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置および姿勢を推定する。また、反射体が、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置を推定する。本実施形態に係る第１推定処理の具体例については、後述する。
（４）算出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトル（以下、「ベクトルＲ」と示す）を算出する。本実施形態に係る算出処理の具体例については、後述する。
（５）第２推定処理
　本実施形態に係る情報処理装置は、撮像画像それぞれに対して上記（１）の処理（検出処理）～上記（４）の処理（算出処理）が行われることにより算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。本実施形態に係る算出処理の具体例については、後述する。
　本実施形態に係る情報処理装置は、例えば上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を行うことによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像（当該オブジェクトが間接的に撮像された撮像画像）に基づいて推定する。
　なお、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
　以下、本実施形態に係る推定処理の一例を示す。
［２－１］推定処理の第１の例：反射体が、所定のパターンが表されている平面の反射体である場合
　まず、反射体が、所定のパターンが表されている平面の反射体である場合における推定処理の一例について説明する。以下では、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
　図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）である場合における、オブジェクトの位置の推定の原理を示している。
　本実施形態に係る情報処理装置は、例えば図５のＡに示す“ｔａｋｅ１”、“ｔａｋｅ２”、および“ｔａｋｅ３”のように、ＬＥＤが映っている平面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（Ｉ）～（Ｖ）に示すように処理する。
（Ｉ）上記（１）の処理（検出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。
（ＩＩ）上記（２）の処理（抽出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、撮像画像に含まれる所定のパターンの角の部分の点（パターンにおける所定の位置の一例）を、任意の画像処理技術を利用して検出することによって、反射体の特徴を抽出する。以下では、所定のパターンの角の部分の点を、「特徴点」と示す。
（ＩＩＩ）上記（３）の処理（第１推定処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴であるパターンにおける所定の位置に基づいて、平面鏡の位置および姿勢を推定する。
　本実施形態に係る情報処理装置は、例えば、特徴点の位置を示す特徴点位置情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された特徴点の位置を示す情報（データ）とに基づいて、平面鏡の位置および姿勢を推定する。
　ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている特徴点位置情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
（ＩＶ）上記（４）の処理（算出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図５のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された平面鏡の位置および姿勢に基づいて、３次元の平面方程式を算出して、平面鏡の三次元平面を特定する。
　また、本実施形態に係る情報処理装置は、例えば、平面方程式に基づいて、特定された三次元平面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、平面方程式と、図５のＢに示す“平面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、三次元平面上のオブジェクトの位置を算出する。
　そして、本実施形態に係る情報処理装置は、例えば、特定された三次元平面の法線ベクトル（例えば図５のＢに示すベクトルＮ）と、三次元平面上のオブジェクトの位置とに基づいて、ベクトルＲを算出する。
　本実施形態に係る情報処理装置は、例えば、反射の法則を利用し、下記の数式１によって、ベクトルＲを算出する。ここで、下記の数式１に示す“Ｒ”は、反射体に映っているオブジェクトからオブジェクトへのベクトルＲであり、下記の数式１に示す“Ｌ”は、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬである。また、下記の数式１に示す“Ｎ”は、特定された三次元平面の法線ベクトルＮである。
Figure JPOXMLDOC01-appb-M000001
　本実施形態に係る情報処理装置は、上述したような上記（１）の処理（検出処理）～上記（４）の処理（算出処理）を、複数の撮像画像分繰り返す。また、本実施形態に係る情報処理装置は、各撮像画像に基づき求められた、三次元平面上のオブジェクトの位置と、ベクトルＲとを、記憶部（後述する）などに記録させる。
（Ｖ）上記（５）の処理（第２推定処理）
　本実施形態に係る情報処理装置は、上記（１）の処理（検出処理）～上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
　複数のベクトルＲの交点をオブジェクトの位置として推定する場合、本実施形態に係る情報処理装置は、例えば、複数のベクトルＲの交点のうち、交点上を通るベクトルＲの数が最も多い交点の位置を、オブジェクトの位置として推定する。また、交点上を通るベクトルＲの数が最も多い交点が複数存在する場合には、本実施形態に係る情報処理装置は、ランダムに選択するなど任意の選択方法によって、１つの交点を選択し、選択された交点の位置をオブジェクトの位置として推定してもよい。
　また、複数のベクトルＲの最近傍点をオブジェクトの位置として推定する場合には、本実施形態に係る情報処理装置は、例えば、最小二乗法を用いて最近傍点を算出し、算出された最近傍点の位置を、オブジェクトの位置として推定する。
　ここで、図５のＢに示すベクトルＲ上の点を“Ｌ→ ｉ”、法線ベクトルＮ上の点を“ｄ→ ｉ”、平面鏡（反射体の一例）に映っているＬＥＤ（オブジェクトの一例）の位置を“Ｃ→ ｉ”とおくと、ベクトルＲ上の点Ｌ→ ｉは、例えば下記の数式２で表される。ここで、下記の数式２に示す“ｉ”は、撮像画像に付されている番号を示しており、また、下記の数式２に示す“ｔｉ”は、設定されている媒介変数である。媒介変数ｔｉは、固定値であってもよいし、ユーザ操作などに基づき設定可能な可変値であってもよい。
Figure JPOXMLDOC01-appb-M000002
　また、推定するＬＥＤ（オブジェクトの一例）の位置を“ｐ→”とおくと、ＬＥＤの位置ｐ→とベクトルＲ上の点Ｌ→ ｉとの距離は、例えば下記の数式３で表される。
Figure JPOXMLDOC01-appb-M000003
　本実施形態に係る情報処理装置は、例えば全てのｉに対して点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を、推定するＬＥＤ（オブジェクトの一例）の位置ｐ→とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式４に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐ→の値を求める。ここで、下記の数式４に示す“Ｆ”は、例えば下記の数式５で表される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　反射体が、図１に示す反射体Ｒｅｆのような、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
　また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
　なお、本実施形態に係る推定処理は、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理に限られない。
　例えば、本実施形態に係る情報処理装置は、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
　図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図６のＡは、拘束条件の一例を示しており、図６のＢは、拘束条件の他の例を示している。
　本実施形態に係る拘束条件としては、例えば下記に示す（ａ）～（ｅ）が挙げられる。なお、本実施形態に係る拘束条件が、下記にに示す（ａ）～（ｅ）に限られないことは、言うまでもない。
　（ａ）オブジェクトと撮像デバイスとが、設定されている同一の平面上に存在する（図６のＡ）。
　（ｂ）複数のオブジェクトが、設定されている同一の平面上に存在する（図６のＢ）。
　（ｃ）複数のオブジェクトそれぞれの間の距離が、設定されている。
　（ｄ）全てのオブジェクト同士の位置関係が設定されており、撮像デバイスに係る座標系とオブジェクトの座標系とにおける、オブジェクトの姿勢が異なる。
　（ｅ）上記（ａ）～上記（ｄ）の拘束条件のうちの、２以上を組み合わせた拘束条件。
　例えば、上記（ａ）～（ｅ）に示すような拘束条件が設定されることによって、例えば、オブジェクトの位置の推定精度の向上を図ることができる。
［２－２］推定処理の第２の例：反射体が、色分けされている球状の反射体である場合
　次に、反射体が、色分けされている球状の反射体である場合における推定処理の一例について説明する。以下では、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
　図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）である場合を示している。図７のＡは、ＬＥＤ（オブジェクトの一例）が映っている色分けされている球面鏡（図３に示す反射体Ｒｅｆ）が撮像された撮像画像の一例を示している。また、図７のＢは、反射体が、色分けされている球面鏡である場合における、オブジェクトの位置の推定の原理を示している。
　本実施形態に係る情報処理装置は、ＬＥＤが映っている球面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（ｉ）～（ｖ）に示すように処理する。
（ｉ）上記（１）の処理（検出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。ここで、（ｉ）における処理は、上記第１の例に係る（Ｉ）の処理と同様である。
（ｉｉ）上記（２）の処理（抽出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、色分けされた球面鏡の輪郭を検出することによって、反射体の特徴を抽出する。本実施形態に係る情報処理装置は、例えば、撮像画像から色が付されている領域を検出することによって、球面鏡の輪郭を検出する。なお、球面鏡の輪郭を検出する方法は、上記に限られず、本実施形態に係る情報処理装置は、例えば、撮像画像から球面鏡の輪郭を検出することが可能な、任意の方法を用いることが可能である。
（ｉｉｉ）上記（３）の処理（第１推定処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴である球面鏡の輪郭に基づいて、球面鏡の位置を推定する。
　本実施形態に係る情報処理装置は、例えば、球面鏡のサイズを示す情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された球面鏡の輪郭を示す情報（データ）とに基づいて、球面鏡の位置を推定する。
　ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている、球面鏡のサイズを示す情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
（ｉｖ）上記（４）の処理（算出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図７のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された球面鏡の位置に基づいて、球面方程式を算出して、球面鏡の球面を特定する。ここで、球面方程式は、例えば、撮像画像に基づき抽出された球面鏡の輪郭（例えば図８のＡに示す“球の輪郭”）を用い、円フィッティングを行って球の中心座標と半径を求め、球のカメラ座標系における３次元位置と半径を求めることによって算出される。
　また、本実施形態に係る情報処理装置は、例えば、球面方程式に基づいて、特定された球面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、球面方程式と、図７のＢに示す“球面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、球面上のオブジェクトの位置を算出する。
　そして、本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（ＩＶ）の処理と同様に、特定された球面の法線ベクトル（例えば図７のＢに示すベクトルＮ）と、球面上のオブジェクトの位置とに基づいて、反射の法則を利用して、ベクトルＲを算出する。
（ｖ）上記（５）の処理（第２推定処理）
　本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（Ｖ）の処理と同様に、上記（１）の処理（検出処理）～上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
　反射体が、図３に示す反射体Ｒｅｆのような、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理～上記（ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
　また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理～上記（ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
　なお、第２の例に係る推定処理は、上記（ｉ）に示す処理～上記（ｖ）に示す処理に限られない。
　例えば、本実施形態に係る情報処理装置は、上記第１の例に係る推定処理と同様に、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果
　本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理））が行われることによって、直接的に撮像されないオブジェクトの位置を推定することができる。
　よって、本実施形態に係る情報処理方法に係る推定処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る推定処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
　　・撮像デバイスに対する周辺物体の高精度な位置決めが実現される。
　　・撮像デバイスに対する周辺物体の位置決め精度を取り付け精度で補償する必要がなくなるので、例えば角膜反射法を利用して視線を検出することが可能な装置（例えばアイウェアなど）の製造が容易になる。
　　・撮像デバイスと周辺物体の位置関係が、当該周辺物体の位置の推定後にずれた場合でも、再度当該周辺物体の位置を推定し直すことができる。
　　・平面鏡や球面鏡などの反射体の位置や姿勢を、撮像画像に基づき特定することが可能であるので、撮像デバイスに対する反射体の位置決めが不要である。
　　・図２に示すような表示画面を反射体として利用することによって、例えばスマートフォンなどの装置（表示デバイスの一例）のユーザが、本実施形態に係る情報処理方法に係る操作を実施することが可能となる。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
　図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、辞書データや、特徴点位置情報、撮像デバイスのパラメータを示す情報、推定結果を示すデータ（例えばベクトルＲを示すデータなど）など、本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ　ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する推定部１１０の役目を果たす。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、推定結果を示すデータなどの本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
　記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや外部の表示デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal　Serial　Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
　また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless　Wide　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
　撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
　撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　ＩＲ　ＬＥＤ１６８は、情報処理装置１００が備える光源であり、例えば複数のＩＲ　ＬＥＤで構成される。ここで、ＩＲ　ＬＥＤ１６８が、角膜反射法によりユーザの視線を推定するために用いられる光源である場合には、ＩＲ　ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ　ＬＥＤに限られないことは、言うまでもない。
　また、ＩＲ　ＬＥＤ１６８は、例えば、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトに該当しうる。なお、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトは、ＩＲ　ＬＥＤ１６８などの光源に限られず、例えば、本実施形態に係る反射体に映ることが可能な、任意の物や生物などであってもよい。
　情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。
　例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像デバイス１６６を備えていなくてもよい。
　また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２、ＩＲ　ＬＥＤ１６８を備えない構成をとることも可能である。
　再度、図８を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、撮像により画像（撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば推定部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　推定部１１０は、本実施形態に係る情報処理方法に係る推定処理を主導的に行う役目を果たし、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する。
　図１０は、本実施形態に係る情報処理装置１００が備える推定部１１０における処理の一例を説明するためのブロック図である。図１０は、推定部１１０が、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を行う場合の処理の一例を示している。
　推定部１１０は、例えば、検出部１２０と、抽出部１２２と、第１推定処理部１２４と、算出部１２６と、第２推定処理部１２８とを有する。
　検出部１２０は、上記（１）の処理（検出処理）を主導的に行う役目を果たし、撮像画像ごとに、オブジェクトを検出する。検出部１２０は、例えば、上記（Ｉ）に示す処理や、上記（ｉ）に示す処理を行う。
　抽出部１２２は、上記（２）の処理（抽出処理）を主導的に行う役目を果たし、撮像画像ごとに、反射体の特徴を抽出する。抽出部１２２は、例えば、上記（ＩＩ）に示す処理や、上記（ｉｉ）に示す処理を行う。
　第１推定処理部１２４は、上記（３）の処理（第１推定処理）を主導的に行う役目を果たし、撮像画像ごとに、抽出部１２２において抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。第１推定処理部１２４は、例えば、上記（ＩＩＩ）に示す処理や、上記（ｉｉｉ）に示す処理を行う。
　算出部１２６は、上記（４）の処理（算出処理）を主導的に行う役目を果たし、撮像画像ごとに、第１推定処理部１２４における推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトルＲを算出する。算出部１２６は、例えば、上記（ＩＶ）に示す処理や、上記（ｉｖ）に示す処理を行う。
　第２推定処理部１２８は、上記（５）の処理（第２推定処理）を主導的に行う役目を果たし、複数の撮像画像からそれぞれ算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。第２推定処理部１２８は、例えば、上記（Ｖ）に示す処理や、上記（ｖ）に示す処理を行う。
　推定部１１０は、例えば、検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８を有することによって、本実施形態に係る情報処理方法に係る推定処理を主導的に行う。
　なお、推定部１１０の構成は、図１０に示す構成に限られない。
　例えば、上述したように、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理を実現するための構成は、図１０に示す検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８に限られず、推定部１１０は、本実施形態に係る情報処理方法に係る推定処理の切り分け方に応じた構成をとることが可能である。
　制御部１０４は、例えば、推定部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
　情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理））を行う。
　したがって、情報処理装置１００は、例えば図８に示す構成によって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　また、例えば図８に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図８に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図８に示す推定部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像部１０２を備えていなくてもよい。
　また、本実施形態に係る情報処理装置は、例えば通信部（図示せず）など、他の構成要素をさらに備えていてもよい。
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal　Computer）やサーバなどのコンピュータや、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated　Circuit）に適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）など、本実施形態に係る情報処理方法に係る推定処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
（２）
　前記推定部は、
　前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
　前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
　前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
　前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
　複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
　を有する、（１）に記載の情報処理装置。
（３）
　前記反射体は、所定のパターンが表されている平面の反射体であり、
　前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
　前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
　前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（４）
　前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、（３）に記載の情報処理装置。
（５）
　前記反射体が前記表示画面である場合、
　前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、（４）に記載の情報処理装置。
（６）
　前記反射体は、色分けされている球状の反射体であり、
　前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
　前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
　前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（７）
　前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、（２）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記反射体に複数の前記オブジェクトが映っている場合、
　前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、（１）～（７）のいずれか１つに記載の情報処理装置。
（１０）
　前記オブジェクトは、光源である、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
（１２）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
　１００　　情報処理装置
　１０２　　撮像部
　１０４　　制御部
　１１０　　推定部
　１２０　　検出部
　１２２　　抽出部
　１２４　　第１推定処理部
　１２６　　算出部
　１２８　　第２推定処理部

Claims (12)

  1. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
  2. 　前記推定部は、
    　前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
    　前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
    　前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
    　前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
    　複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
    　を有する、請求項１に記載の情報処理装置。
  3. 　前記反射体は、所定のパターンが表されている平面の反射体であり、
    　前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
    　前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
    　前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
  4. 　前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、請求項３に記載の情報処理装置。
  5. 　前記反射体が前記表示画面である場合、
    　前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、請求項４に記載の情報処理装置。
  6. 　前記反射体は、色分けされている球状の反射体であり、
    　前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
    　前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
    　前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
  7. 　前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、請求項２に記載の情報処理装置。
  8. 　前記反射体に複数の前記オブジェクトが映っている場合、
    　前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
  9. 　前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
  10. 　前記オブジェクトは、光源である、請求項１に記載の情報処理装置。
  11. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
  12. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
PCT/JP2015/080946 2015-02-13 2015-11-02 情報処理装置、情報処理方法、およびプログラム Ceased WO2016129154A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015026457A JP2016148622A (ja) 2015-02-13 2015-02-13 情報処理装置、情報処理方法、およびプログラム
JP2015-026457 2015-02-13

Publications (1)

Publication Number Publication Date
WO2016129154A1 true WO2016129154A1 (ja) 2016-08-18

Family

ID=56615385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080946 Ceased WO2016129154A1 (ja) 2015-02-13 2015-11-02 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2016148622A (ja)
WO (1) WO2016129154A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
WO2022070407A1 (ja) * 2020-10-02 2022-04-07 日本電気株式会社 位置推定システム、位置推定方法、及びコンピュータプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 ３次元計測装置及び方法並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 ３次元計測装置及び方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYASHI ET AL.: "Humanoid Self-correction of Posture Using Mirror, Proceedings of IROS2013", 2013 IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, 3 November 2013 (2013-11-03), pages 1614 - 1619, XP032537380, DOI: doi:10.1109/IROS.2013.6696565 *

Also Published As

Publication number Publication date
JP2016148622A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US20180267323A1 (en) Information processing apparatus, information processing method, and program
US8699749B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8718325B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8625898B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8571266B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
WO2017169158A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017163516A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019077863A1 (ja) 識別装置及び電子機器
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106663412B (zh) 信息处理设备、信息处理方法及程序
CN107608541B (zh) 三维姿态定位方法、装置及电子设备
CN107704106B (zh) 姿态定位方法、装置及电子设备
US20180061135A1 (en) Image display apparatus and image display method
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
US8705869B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
JP2017041125A (ja) 情報処理装置、情報処理方法、およびプログラム
US20250037289A1 (en) Information processing device, robot control system, and non-transitory computer-readable recording medium
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN110826375B (zh) 显示方法、装置、终端设备及存储介质
CN110120062A (zh) 图像处理方法及装置
JP6335696B2 (ja) 入力装置
WO2016199508A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882028

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882028

Country of ref document: EP

Kind code of ref document: A1