[go: up one dir, main page]

WO2016199508A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016199508A1
WO2016199508A1 PCT/JP2016/062869 JP2016062869W WO2016199508A1 WO 2016199508 A1 WO2016199508 A1 WO 2016199508A1 JP 2016062869 W JP2016062869 W JP 2016062869W WO 2016199508 A1 WO2016199508 A1 WO 2016199508A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
information
processing
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/062869
Other languages
English (en)
French (fr)
Inventor
雅貴 豊浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2016199508A1 publication Critical patent/WO2016199508A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a process for detecting an object from a space such as a process for detecting an object from a captured image obtained by capturing the space, is assumed.
  • processing related to detection a process for extracting an area considered to contain the object to be detected from the captured image (hereinafter sometimes referred to as “area extraction process”) is performed as a pre-process for the process related to the detection, and the extracted area is
  • area extraction process a process for extracting an area considered to contain the object to be detected from the captured image
  • a process related to detection may be performed.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of assisting in identifying a space to be processed.
  • a space dividing unit that divides the peripheral space around the processing target and an association indicating the sensing result of the peripheral space
  • An information processing unit comprising: an association unit that associates target information with a divided space obtained by dividing the surrounding space; and a priority setting unit that sets a priority for the surrounding space based on the sensor information.
  • the step of dividing the peripheral space around the processing target based on the sensor information indicating the sensing result obtained by sensing the matter related to the processing target, and the association indicating the sensing result of the peripheral space Information processing executed by an information processing apparatus comprising: associating target information with a divided space obtained by dividing the surrounding space; and setting a priority for the surrounding space based on the sensor information A method is provided.
  • the step of dividing the peripheral space around the processing target based on the sensor information indicating the sensing result obtained by sensing the matter related to the processing target, the association target indicating the sensing result of the peripheral space There is provided a program for causing a computer to execute a step of associating information with a divided space obtained by dividing the peripheral space, and a step of setting a priority for the peripheral space based on the sensor information.
  • a process related to detection may be performed using a result of the area extraction process performed as a pre-process of the process to be detected.
  • a region extraction process performed as a pre-process of a process for detecting an object from a captured image
  • the following process can be considered.
  • -Extraction of areas based on the appearance features of the detection target object such as extraction of areas based on background differences and extraction focusing on color areas-Appearance of detection target objects and backgrounds stored in the recording medium
  • Processing to extract a region by using characteristic feature data for example, texture data
  • a captured image that is a target of the region extraction process may include a region having an appearance characteristic similar to that of the object in a region other than the object that is a detection target.
  • the region extraction processing is performed based on the appearance feature of the detection target object, the captured image includes a region having the same appearance feature as the detection target object. In such a case, erroneous detection of an area where the object to be detected is considered to exist may occur.
  • the area used as a background needs to be composed of a stationary object.
  • a dynamic object is included in the area used as the background, it cannot be distinguished from the object to be detected, and the area used as the background can be noise.
  • the other area when extracting an area where the object to be detected exists using color information, if the color of the object to be detected is included in another area, the other area becomes a detection target. It is indistinguishable from the object, and the other area can become noise.
  • a color range is defined and an area including a color included in the range is extracted.
  • the color of the object to be detected can be variously changed according to a change in illumination conditions or an angle of the object to be detected with respect to the imaging device. Therefore, when the color of the object to be detected changes as described above, texture data (an example of appearance feature data) corresponding to the object to be detected stored in the recording medium may be used. It is not always possible to extract a region where an object to be detected exists.
  • the object to be detected is an object whose color or pattern cannot be specified (for example, a person or an animal wearing clothes), extracting an area using appearance feature data Have difficulty.
  • a case of detecting a human hand region (an example of an object to be detected) from a captured image in order to detect a human hand gesture existing in front of the imaging device will be described.
  • a human hand region an example of an object to be detected
  • a human hand region is simply extracted from the captured image, not only the person to be detected existing in front of the imaging device but also the imaging device.
  • a skin color area of a person other than the detection target existing in the distance of the image may be extracted from the captured image.
  • the region becomes noise.
  • Patent Document 1 discloses that an obstacle is detected by grouping observation data of a laser radar.
  • the information processing apparatus performs “processing according to the information processing method according to the present embodiment” as processing related to the information processing method according to the present embodiment.
  • processing performed on the space for example, object detection
  • Process for specifying a space to be subjected to processing ”.
  • Examples of the device to be processed according to the information processing method according to the present embodiment include a robot that operates autonomously or by an external operation, a wearable device that is used by being worn on the user's body, and the like. .
  • Examples of the robot according to the present embodiment include a robot that can move on the ground and the floor, and a flying robot.
  • the wearable device includes, for example, a hand, arm, neck, foot, and the like, such as a “clock-type device and accessory-type devices such as a ring type, a bracelet type, a collar type, and a nail type” Devices that are worn on the user's site ”,“ devices that are worn on the head, such as eyeglass-type devices and head-mounted displays ”,“ clothes, shoes, socks, and hats ” Type device ".
  • the device to be processed in the information processing method according to the present embodiment is not limited to the robot or the wearable device.
  • processing target an apparatus that is a target of processing according to the information processing method according to the present embodiment is referred to as a “processing target”.
  • the processing target according to the present embodiment may be the information processing apparatus according to the present embodiment, or may be an external device of the information processing apparatus according to the present embodiment.
  • peripheral space the space around the processing target is indicated as “peripheral space”.
  • examples of the processing related to the information processing method according to the present embodiment include the following (1) division processing, (2) association processing, and (3) priority setting processing.
  • the information processing apparatus divides the peripheral space in consideration of the situation where the processing target is placed (division processing).
  • division processing each of the spaces into which the peripheral space is divided.
  • the information processing apparatus associates each space in which the surrounding space is divided with the sensing result of the surrounding space (association processing).
  • association processing A specific example of the sensing result of the surrounding space according to the present embodiment will be described later.
  • the surrounding space around the processing target takes into account the situation where the processing target is placed, and the sensing results of the peripheral space correspond to each divided space Attached.
  • the information processing apparatus sets the priority in the peripheral space in consideration of the situation where the processing target is placed (priority setting process).
  • the priority according to the present embodiment refers to a device that performs a process performed on a space, such as a process of detecting an object from a captured image obtained by capturing the space (the information processing apparatus according to the present embodiment or the present embodiment).
  • An external device of the information processing apparatus according to the embodiment is an index for determining a space in which the process is preferentially performed. An example of processing using priority according to the present embodiment will be described later.
  • the priority is set in the peripheral space around the processing target in consideration of the situation where the processing target is placed.
  • the information processing apparatus can perform the priority setting process independently of the division process and the association process. Therefore, the information processing apparatus according to the present embodiment may perform the priority setting process, the division process, and the association process in parallel, or after one process (or process group) is performed. The other process (or process group) may be performed.
  • the information processing apparatus includes, for example, the processing (1) (division processing), the processing (2) (association processing), and ( The process 3) (priority setting process) is performed.
  • the divided space is a space obtained by dividing the peripheral space around the processing target in consideration of the situation where the processing target is placed. Therefore, the information processing apparatus according to the present embodiment can obtain the divided space without depending on the objects existing around the processing target and the appearance features of the background.
  • information indicating a divided space information indicating the divided space associated with the sensing result of the surrounding space, obtained by the processing according to the information processing method according to the present embodiment.
  • an apparatus that performs processing performed on a space can perform processing on each divided space.
  • information indicating the divided space according to the present embodiment for example, the sensing results of the divided space and the peripheral space associated with the divided space are grouped for each divided space by an arbitrary format such as a table format. Data (or data group).
  • an apparatus that performs processing performed for a space performs processing using information indicating a divided space. For example, the following effects can be obtained. -By dividing and processing the captured image area by the divided space associated with the sensing results of the surrounding space, areas that do not need to be processed in the captured image, such as the area of the ceiling part where no object exists Processing can be performed except.
  • the information processing apparatus is performed by performing the processing (1) (division processing) and the processing (2) (association processing) as processing related to the information processing method according to the present embodiment. Can assist in specifying the space to be processed.
  • an apparatus that performs processing performed for a space performs processing using information indicating a divided space. For example, the following effects can be further exhibited. ⁇ By dividing the area of the captured image by the divided space associated with the sensing results of the surrounding space, it is possible to perform processing corresponding to the divided space for each area of the captured image corresponding to each divided space. Become.
  • the processing target is placed in the peripheral space around the processing target by performing the processing (3) (priority setting processing).
  • the priority is set after taking the situation into account.
  • an apparatus that performs processing performed for a space can perform processing based on the priority. Therefore, an apparatus that performs processing performed for a space can perform the following effects by performing processing using priority.
  • processing according to the priority it is possible to improve the responsiveness of the process for the divided space having a higher priority.
  • -By performing the process for the divided space according to the result of the threshold processing using the priority it becomes possible to not perform the process for the divided space whose priority is lower than the threshold (or the divided space whose priority is equal to or lower than the threshold). .
  • the process (3) (priority setting process) is performed as the process related to the information processing method according to the present embodiment
  • the information processing apparatus according to the present embodiment performs processing in the space to be processed. Can assist with identification.
  • the information processing apparatus performs the processing (1) (division processing) and processing (2) (association processing) performed in consideration of the situation where the processing target is placed. ) "And” Process (priority setting process) in (3) above "can assist in specifying the space to be processed.
  • the information processing apparatus performs the processing (1) (division processing), the processing (2) (association processing), and the processing as the processing related to the information processing method according to the present embodiment.
  • the process (3) priority setting process
  • processing according to information processing method according to this embodiment includes the processing (1) (division processing) and the processing (2). (Association process) and the process (priority setting process) of (3) above are not limited.
  • the information processing apparatus is associated with the sensing results of the peripheral space obtained as a result of the process (1) (division process) and the process (2) (association process). “Division space (division space associated with association target information to be described later)” and “priority set for the peripheral space obtained as a result of the process (3) (priority setting process)” Processing may be performed based on (execution processing). An example of the execution process according to the present embodiment will be described later.
  • the process according to the information processing method according to the present embodiment includes, for example, “the process (1) (division process), the process (2) (association process), and the process (3) (priority). Degree setting process) "," (1) process (division process), (2) process (association process), (3) process (priority setting process), and execution process " It is also possible to regard each of these as two or more processes (depending on an arbitrary separation method).
  • FIG. 1 is a block diagram showing an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a space division unit 102, an association unit 104, a priority setting unit 106, and a processing unit 108.
  • the information processing apparatus 100 includes, for example, a control unit (not shown), a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), a communication.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • the control unit (not shown) is configured by one or two or more processors configured by an arithmetic circuit such as an MPU (Micro Processing Unit), various processing circuits, and the like, and controls the information processing apparatus 100 as a whole.
  • the control unit serves as one or more of the space division unit 102, the association unit 104, the priority setting unit 106, and the processing unit 108, for example. Also good.
  • One or more of the space division unit 102, the association unit 104, the priority setting unit 106, and the processing unit 108 are the space division unit 102, the association unit 104, the priority setting unit 106, and the processing unit. 108 may be configured by a dedicated (or general-purpose) circuit (for example, a processor separate from the control unit (not shown)) capable of realizing each processing.
  • a dedicated (or general-purpose) circuit for example, a processor separate from the control unit (not shown) capable of realizing each processing.
  • ROM (not shown) stores control data such as programs and calculation parameters used by a control unit (not shown).
  • a RAM (not shown) temporarily stores programs executed by a control unit (not shown).
  • the storage unit (not shown) is a storage unit included in the information processing apparatus 100.
  • the storage unit (not shown) is an information processing method according to the present embodiment, such as data indicating an action history used to acquire action information described later.
  • data and various data such as various applications are stored.
  • the behavior history data includes, for example, data indicating the behavior history of the processing target (for example, when the processing target is a robot), and data indicating the behavior history of the processing target user (for example, the processing target is a wearable device). (If any).
  • examples of the storage unit include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • Examples of the communication unit include a communication interface described later.
  • the operation input device mentioned later is mentioned, for example.
  • the display part is mentioned.
  • FIG. 2 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • FIG. 2 illustrates an example of a hardware configuration when the information processing apparatus 100 is a processing target.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, an imaging device 166, and a distance.
  • a sensor 168, a state acquisition sensor 170, and an environment sensor 172 are provided.
  • the information processing apparatus 100 connects each component with a bus 174 as a data transmission path, for example.
  • the MPU 150 includes, for example, one or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as a control unit (not illustrated) that controls the entire information processing apparatus 100.
  • the MPU 150 serves as, for example, a space division unit 102, an association unit 104, a priority setting unit 106, and a processing unit 108.
  • One or more of the space division unit 102, the association unit 104, the priority setting unit 106, and the processing unit 108 perform the processes of the association unit 104, the priority setting unit 106, and the processing unit 108, respectively. It may be configured by a realizable dedicated (or general purpose) circuit (for example, a processor separate from the MPU 150).
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores, for example, data related to the information processing method according to the present embodiment such as data indicating an action history, and various data such as various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is a communication for performing wireless or wired communication with an external apparatus such as a processing target apparatus or server via a network (or directly). Functions as a unit (not shown).
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the imaging device 166 functions as an imaging unit (not shown) that generates a captured image (moving image or still image) by imaging.
  • the imaging device 166 includes, for example, a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the distance sensor 168 is a sensor for measuring the distance between the information processing apparatus 100 and an object existing in the surrounding space of the information processing apparatus 100. For example, by using the sensing result of the distance sensor 168, the information processing apparatus 100 can specify the surrounding space of the information processing apparatus 100, for example.
  • Examples of the distance sensor 168 include a TOF (Time Of Flight) type device including a light source such as an infrared light emitting diode and an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • a TOF Time Of Flight
  • CMOS Complementary Metal Oxide Semiconductor
  • the distance sensor 168 is not limited to the example shown above.
  • the distance sensor 168 relates to an arbitrary method capable of measuring a distance from an object such as a configuration including a stereo camera and performing stereo matching, a configuration including an infrared camera, and a configuration including a laser range finder. It may be a configuration.
  • the state acquisition sensor 170 is a sensor for acquiring the state of the information processing apparatus 100 such as the moving speed and the moving direction of the information processing apparatus 100, for example.
  • the state acquisition sensor 170 examples include a sensor capable of directly sensing a moving speed, a moving direction, and the like such as a rotary encoder and an acceleration sensor.
  • the state acquisition sensor 170 is a sensor that indirectly senses a moving speed, a moving direction, or the like, such as a sensor that calculates a moving speed, a moving direction, or the like by performing image processing on a captured image captured by an imaging device. There may be.
  • the environment sensor 172 is, for example, a sensor for sensing the environment of the surrounding space of the information processing apparatus 100, and corresponds to a sensor for sensing the state of the surrounding space of the information processing apparatus 100.
  • Examples of the environmental sensor 172 include a sensor that includes a microphone array and identifies a sound generation source, and a sensor that senses heat in the space around the information processing apparatus 100 such as a far-infrared sensor.
  • the environment sensor 172 may be any sensor capable of sensing the environment in which the information processing apparatus 100 exists, such as an illuminance sensor that senses the amount of light around the information processing apparatus 100, for example. .
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG.
  • the information processing apparatus 100 may be configured not to include the imaging device 166 illustrated in FIG.
  • the information processing apparatus 100 may be configured not to include one of the state acquisition sensor 170 and the environment sensor 172, for example.
  • the information processing apparatus 100 when the information processing apparatus 100 performs processing using the sensing results of the external distance sensor, the external state acquisition sensor, and the external environment sensor connected to the information processing apparatus 100, the information processing apparatus 100 The device 100 may not include a sensor corresponding to the sensor connected to the information processing device 100.
  • the information processing apparatus 100 includes one or more of the imaging device 166, the distance sensor 168, the state acquisition sensor 170, and the environment sensor 172. May not be provided.
  • the information processing apparatus 100 can be configured not to include the recording medium 156, the operation input device 160, the display device 162, and the communication interface 164, for example.
  • the configuration shown in FIG. 2 may be realized by one or two or more ICs (Integrated Circuits).
  • Space division unit 102 plays a role of performing the processing (1) (division processing) as described above.
  • the space dividing unit 102 divides the peripheral space around the processing target based on the sensor information.
  • the space division unit 102 may divide the peripheral space around the processing target based on, for example, sensor information and behavior information.
  • the sensor information according to the present embodiment is, for example, data indicating a sensing result obtained by sensing a matter related to a processing target.
  • matters related to the processing target according to the present embodiment include one or more of the following examples.
  • -Objects existing in the surrounding space for example, walls, ceilings, floors in the surrounding space, humans and objects existing in the surrounding space, etc.
  • -Status of the processing target-Status of the processing target peripheral space environmentmental status of the processing target peripheral space
  • the sensor information according to the present embodiment includes, for example, data indicating a result sensed by a distance sensor (an example of information indicating a result of sensing an object existing in the surrounding space), and a result sensed by a state acquisition sensor. 1 of the data (an example of information indicating the result of sensing the state of the processing target) and the data (an example of information indicating the result of sensing the state of the surrounding space) indicating the result of sensing by the environmental sensor Or 2 or more are mentioned.
  • the space division unit 102 uses data indicating sensing results of various sensors provided as sensor information. Further, for example, when an external device of the information processing apparatus 100 is a processing target, the space division unit 102 uses sensor information acquired via a communication unit (not shown) or a connected external communication device. .
  • the behavior information according to the present embodiment is data indicating what kind of behavior the processing target is performing, for example.
  • the space division unit 102 estimates the action taken by the information processing apparatus 100 using the sensing result of the physical sensor and indicates the estimated action state. Use data.
  • the space division unit 102 estimates an action by performing an arbitrary action estimation process using the action history, for example, using data indicating the action history stored in the recording medium 156, and the estimated action state You may use the data which show.
  • the space dividing unit 102 can estimate the behavior based on the purpose of the behavior set in the information processing apparatus 100 by a user operation, for example, and can use data indicating the estimated behavior state. is there.
  • the space division unit 102 uses action information acquired via a communication unit (not shown) or a connected external communication device.
  • FIG. 3 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of the peripheral space divided by the space dividing unit 102.
  • T shown in FIG. 3 indicates a processing target
  • FIG. 3 shows an example in which the processing target T is a robot. 3 indicates the camera field of view of the imaging device included in the processing target T.
  • FIG. 3A shows an example of a state of the peripheral space of the processing target at the horizontal viewpoint viewed from the processing target T
  • FIG. 3B shows the processing target at the vertical viewpoint viewed from the processing target T.
  • An example of a state of dividing the surrounding space is shown.
  • the space dividing unit 102 divides the peripheral space to be processed into a three-dimensional voxel shape by dividing each of the surrounding spaces in the depth direction and the height direction.
  • FIG. 3 shows an example in which the peripheral space of the processing target T is divided into nine parts in the depth direction and the height direction, with the center direction of the camera viewing direction V of the processing target T as a reference. Further, when the processing target T moves, division may be performed in each of the depth direction and the height direction with reference to the moving direction of the processing target T.
  • the space division unit 102 can dynamically change one or both of the number of divisions of the surrounding space and the size of the division space based on sensor information (or sensor information and behavior information). .
  • the shape of the divided space is not limited to the voxel shape.
  • the divided space may be a space having an arbitrary shape obtained by dividing the surrounding space.
  • the divided space according to the present embodiment is a voxel-like space as illustrated in FIG. 3 will be described as an example.
  • FIG. 4 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of dynamic division in the space division unit 102.
  • T shown in FIG. 4 indicates a processing target
  • FIG. 4 shows an example in which the processing target T is a robot as in FIG.
  • V shown in FIG. 4 has shown the camera visual field of the imaging device with which the process target T is provided similarly to FIG.
  • FIG. 4 shows an example of how the peripheral space to be processed is divided in the depth direction for convenience of explanation.
  • the method of dividing the processing target peripheral space in the height direction is the same as the method of dividing the processing target peripheral space in the depth direction.
  • the processing target T is low speed (for example, when the moving speed indicated by the sensor information is smaller than a set threshold value, or when the moving speed is equal to or lower than the threshold value, the same applies hereinafter).
  • An example of the division of the surrounding space when moving at is shown.
  • the processing target T is at a high speed (for example, when the moving speed indicated by the sensor information is equal to or higher than a set threshold value, or when the moving speed is higher than the threshold value. The same applies hereinafter. Shows an example of the division of the surrounding space when moving.
  • the space dividing unit 102 divides the peripheral space into nine parts with the moving direction of the processing target T as the center.
  • the space dividing unit 102 divides the surrounding space into 16 parts, and the number of divisions is higher than when moving at a low speed. Increase.
  • the processing target T when the processing target T is moving at a high speed and obliquely as viewed from the moving direction shown in FIG.
  • the size of the divided space is changed so that the granularity of the set distance-separated position in the moving direction becomes fine.
  • the reason why the size of the divided space is changed as shown in FIG. 4B is that, when the processing target T moves at a high speed, the processing target T is more likely to deal with the space where the processing target T passes immediately. This is because it is more likely that dealing with the destination space will be more important.
  • the space dividing unit 102 may, for example, “various sensor information and a table (or database) in which one or both of the setting of the number of divisions and the setting of the size of the divided space are associated” Based on the sensor information, one or both of the number of divisions of the surrounding space and the size of the division space is determined by the “any algorithm that calculates one or both of the number of divisions and the size of the division space based on the information”. , Change dynamically.
  • the space dividing unit 102 can dynamically change one or both of the number of divisions of the surrounding space and the size of the divided space based on the behavior information.
  • the space dividing unit 102 is Then, the space near the tip of the robot arm is divided finely.
  • the space dividing unit 102 divides the peripheral space around the processing target based on sensor information (or sensor information and action information) as described above, for example. Needless to say, an example of processing in the space division unit 102 is not limited to the above-described example.
  • Association unit 104 plays a role of leading the process (association process) of (2). For example, the associating unit 104 associates associating target information with a divided space obtained by dividing the surrounding space.
  • the association target information according to the present embodiment is data indicating the sensing result of the processing target peripheral space.
  • the association target information according to the present embodiment includes, for example, a captured image obtained by imaging the surrounding space, thermal information indicating a result of sensing the heat of the surrounding space, and sound indicating a result of sensing the sound of the surrounding space.
  • One or more of the information may be mentioned.
  • the association target information according to the present embodiment may serve as sensor information.
  • (II-1) First example of association processing: when the association target information includes a captured image in which the surrounding space is captured If the association target information includes a captured image in which the peripheral space is captured, The attaching unit 104 associates the divided space divided by the space dividing unit 102 with the captured image.
  • FIG. 5 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in the associating unit 104.
  • 5A shows a captured image (an example of association target information) obtained from the imaging device
  • FIG. 5B shows a depth image (an example of sensor information) obtained from a distance sensor.
  • C in FIG. 5 shows an example of the peripheral space to be processed.
  • T shown in FIG. 5 indicates a processing target
  • FIG. 5 shows an example in which the processing target T is a robot as in FIG.
  • V shown in FIG. 5 has shown the camera visual field of the imaging device with which the process target T is provided similarly to FIG.
  • FIG. 6 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an outline of an example of processing shown in FIG.
  • the associating unit 104 collates a captured image acquired from the imaging device illustrated in A of FIG. 5 with a depth image acquired from the distance sensor illustrated in B of FIG. It is determined at which position three-dimensionally from the processing target T.
  • three-dimensional coordinate information indicating the three-dimensional coordinates in each pixel of the captured image is obtained.
  • the three-dimensional coordinates in each pixel of the captured image are represented by, for example, coordinates in a three-dimensional coordinate system with an arbitrary position to be processed as an origin.
  • the three-dimensional coordinate system related to the three-dimensional coordinates in each pixel of the captured image is not limited to the example shown above.
  • the associating unit 104 applies the three-dimensional coordinate information obtained as a result of the comparison between the captured image and the depth image to each divided space. Then, as shown in FIG. 6D, for example, the association unit 104 groups pixels included in the same divided space as the same group, and extracts an image area for each divided area from the captured image.
  • the three-dimensional coordinate information is applied to each of the divided spaces, in each of the extracted image regions, subjects included in the image region for the processing target T (for example, walls and ceilings existing in the surrounding space, It is possible to specify the relative position of an object existing in the peripheral space of the processing target T, such as a floor or a person or an object existing in the peripheral space.
  • the associating unit 104 associates the divided space divided by the space dividing unit 102 with the captured image by performing, for example, the processing described above.
  • the associating unit 104 collates the divided space divided by the space dividing unit 102 with the heat information acquired from the far infrared sensor, and associates the divided space with the heat information.
  • the associating unit 104 associates the divided space and the heat information by any method capable of collating the divided space and the heat information, for example.
  • the matching unit 104 collates the divided space and the heat information, so that in what space of the surrounding space to be processed and how much heat (for example, a wall, ceiling, floor, and surroundings existing in the surrounding space) Whether there are humans or objects that exist in the space).
  • association target information includes sound information indicating a result of sensing sounds in the surrounding space Result of sensing sounds in the surrounding space in association target information Is included, the associating unit 104 associates the divided space divided by the space dividing unit 102 with the sound information.
  • the associating unit 104 collates the divided space divided by the space dividing unit 102 with the sound source indicated by the sound information acquired from the microphone array, and associates the divided space with the sound information.
  • the associating unit 104 associates the divided space with the sound information by an arbitrary method capable of collating the divided space with the sound information, for example.
  • the associating unit 104 collates the divided space and the sound information, so that in which space of the processing target peripheral space, what frequency band sound is generated (for example, a wall or ceiling existing in the peripheral space) , The presence of humans or objects existing on the floor or the surrounding space).
  • the association unit 104 performs processing related to the first example shown in (II-1) to processing related to the third example shown in (II-3). It is also possible to perform a process combining two or more of the processes.
  • the associating unit 104 performs, for example, any one of the process according to the first example shown in (II-1) to the process according to the fourth example shown in (II-4) as described above.
  • the target information is associated with the divided space obtained by dividing the surrounding space.
  • the processing in the associating unit 104 is not limited to the processing shown in the above-described example.
  • Priority setting unit 106 plays a leading role in performing the process (3) (priority setting process), and sets a priority for the surrounding space based on the sensor information.
  • the priority setting unit 106 uses, for example, a depth image (an example of sensor information) acquired from a distance sensor as illustrated in B of FIG. 5 for each three-dimensional position of the peripheral space to be processed. Set.
  • the priority setting unit 106 can associate the three-dimensional position and the priority with each three-dimensional position and the priority, for example, a table format or a method using the three-dimensional position as the priority metadata.
  • the three-dimensional position of the peripheral space is represented by, for example, coordinates of a three-dimensional coordinate system having an arbitrary position to be processed as an origin. Needless to say, the three-dimensional coordinate system for specifying the three-dimensional position of the processing target peripheral space is not limited to the example shown above.
  • the priority setting unit 106 sets, for example, a priority that is weighted based on sensor information.
  • FIG. 7 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of priority weighting set by the priority setting unit 106.
  • T shown in FIG. 7 indicates a processing target
  • FIG. 7 shows an example in which the processing target T is a robot as in FIG.
  • V shown in FIG. 7 has shown the camera visual field of the imaging device with which the process target T is provided similarly to FIG.
  • the priority setting unit 106 specifies the relative position between the processing target T and the subject included in the captured image, the moving speed of the processing target T, and the processing target T specified based on the sensor information.
  • An example is shown in which weighted priorities are set based on the moving direction.
  • FIG. 7A shows an example of priority set when the processing target T is moving at low speed
  • FIG. 7B is set when the processing target T is moving at high speed.
  • An example of priority is shown.
  • FIG. 7 shows an example of setting priority for the processing target peripheral space in the depth direction for convenience of explanation.
  • FIG. 7 illustrates an example in which the priority is set for each set region including one or two or more three-dimensional positions in the surrounding space.
  • An example of how to set the priority for the surrounding space to be processed in the height direction is to lighten the weight of a high space such as a ceiling.
  • a high space such as a ceiling.
  • one of the priority set in the depth direction and the priority set in the height direction is used. Is used.
  • priority is given to the average value of the priority set in the depth direction and the priority set in the height direction. For example, both the priority set in the depth direction and the priority set in the height direction may be used.
  • the priority setting unit 106 weights the region closer to the processing target T in the traveling direction of the processing target T. Set the priority so that. Further, when the processing target T is moving at a low speed, the priority setting unit 106 sets the priority so that the weight becomes lower in the region where the angle with the traveling direction of the processing target T becomes larger.
  • the priority setting unit 106 sets the distance between the processing target T and the processing target T in the traveling direction.
  • the priority is set so that an area within a certain range is most weighted. Further, the priority setting unit 106 sets the priority so that, for example, the weight is smaller as the area is farther from the area within the range where the distance to the processing target T is set.
  • the priority setting unit 106 reduces the weighting for an area that is close to the processing target T in the traveling direction of the processing target T. Set the priority to.
  • the reason why the weighting is reduced for the region where the distance to the processing target T in the traveling direction of the processing target T is small is, for example, for the space to which the processing target T is directed rather than for the space where the processing target T passes immediately. This is because the countermeasure is likely to be more important.
  • the priority setting unit 106 sets priorities weighted based on sensor information, for example, as shown in FIG.
  • priority setting method in the priority setting unit 106 is not limited to the example described above.
  • FIG. 7 shows an example in which priorities with four levels of weighting are set, but the priority weights may be two, three, or five or more levels.
  • the areas with different weights may be further subdivided than the example shown in FIG.
  • the priority setting unit 106 can set priority weighting for each area in a format such as a histogram.
  • the priority setting unit 106 for example, information on the motion state indicating whether each region includes a moving object or in which direction the moving object is included, and a sound generation source.
  • the priority weighting may be changed based on information on various environments outside the processing target T, such as information indicating the light emission state and information indicating the light emission state.
  • the priority setting unit 106 uses data acquired from the environment sensor as environment information.
  • Processing unit 108 plays a leading role in performing the execution process, and performs processing based on the divided space associated with the association target information and the priority set for the peripheral space.
  • the processing unit 108 performs processing in order from, for example, a divided space including a region having a higher priority set.
  • the processing unit 108 for example, a divided space in which the size of the region for which the priority is set is larger or randomly Processing is performed in order from the divided space selected according to the set rule, such as the selected divided space.
  • the processing unit 108 may determine a region with a low priority by comparing the priority with a predetermined threshold, and may not perform a process for a region with a low priority based on the determination result. For example, the processing unit 108 does not process a region whose priority is smaller than a predetermined threshold (or a region whose priority is equal to or lower than the predetermined threshold).
  • the predetermined threshold value according to the present embodiment may be a fixed value set in advance, or may be a variable value that can be changed based on a user operation or the like.
  • processing unit 108 performs processing corresponding to the divided space for each divided space, for example.
  • Examples of processing performed in the processing unit 108 include processing for detecting an object from a captured image in which a space is captured.
  • the processing unit 108 performs a process of detecting an object from the captured image based on the priority. Therefore, for example, the processing unit 108 can improve the responsiveness to an important region, and can perform calculation by not performing processing for a region with a low priority (that is, a region that does not require processing). Cost can be reduced.
  • the processing (3) (priority setting processing) according to the information processing method according to the present embodiment has a smaller processing load than processing for detecting an object from a captured image, for example. Even if there is no region where it is determined that the process is low, the processing load on the entire information processing apparatus 100 does not increase so much as a processing delay occurs.
  • the processing unit 108 when performing processing for detecting an object from a captured image, performs processing corresponding to the divided space for each divided space.
  • the processing unit 108 since the divided space is associated with the captured image by the processing in the associating unit 104, the processing unit 108 in each image region of the captured image, as described above, of the subject included in the image region for the processing target. It is possible to specify the relative position.
  • the processing unit 108 can perform processing using a template according to the distance from the processing target corresponding to the divided space. That is, in the processing unit 108, for example, when performing image recognition using a template when detecting an object, a template used for a space far from the processing target and a processing target are used for each divided region. There is no need to perform processing using a plurality of templates corresponding to the distance, such as a template used for a short-distance space.
  • the processing unit 108 can reduce the calculation cost related to image recognition using the template by performing processing corresponding to the divided space for each divided space.
  • the process performed in the process part 108 is not restricted to the process which detects an object from the captured image by which the above space was imaged.
  • the processing unit 108 may be any process that can be performed on a space, such as an object detection process from a space using thermal information or a voice recognition process that targets the space.
  • the processing unit 108 When performing processing for detecting an object from a space using thermal information, for example, the processing unit 108 detects an object by processing the divided space associated with the thermal information for each divided region. .
  • the processing unit 108 uses an arbitrary method capable of detecting an object using thermal information, such as a method of detecting an object by estimating the shape of the object from a temperature distribution obtained from the thermal information. Detect objects.
  • the processing unit 108 when performing processing for detecting an object from a space using thermal information, performs processing in order from a higher priority area based on the priority, for example.
  • the processing unit 108 when performing speech recognition processing for a space, performs direct sound collection by beam forming, for example, in order from higher priority areas based on priority levels. , Perform voice recognition. For example, the processing unit 108 controls the beam forming for each divided region so as to correspond to each divided region. Therefore, the processing unit 108 can perform voice recognition with higher accuracy according to the situation.
  • the information processing apparatus 100 has, for example, the configuration shown in FIG. 1 and processes related to the information processing method according to the present embodiment (for example, the process (1) (division process) and the process (2) (association process).
  • the process (3) (priority setting process) and the execution process) are performed.
  • the information processing apparatus according to the present embodiment may not include the processing unit 108 illustrated in FIG.
  • the information processing apparatus according to the present embodiment indicates a divided space to the external apparatus via, for example, a communication unit (not shown) or an external communication device.
  • Information and information indicating priority are transmitted.
  • information indicating the priority for example, a table in which the three-dimensional position of the peripheral space to be processed and the priority are associated with each other, the three-dimensional position of the peripheral space to be processed and the priority are associated with each other.
  • the information processing apparatus according to the present embodiment may transmit, for example, a processing command for performing execution processing to the external apparatus.
  • the information processing apparatus includes the process (1) (division process), the process (2) (association process), and the process (3). (Priority setting process) can be performed.
  • the information processing apparatus according to the present embodiment can assist in specifying the space to be processed in the external apparatus that performs the execution process, for example. .
  • the information processing apparatus according to the present embodiment exhibits the effects that are achieved by performing the processing according to the information processing method according to the present embodiment described above. Can do.
  • the process (1) (division process), the process (2) (association process), and the process (3) (priority setting process)” and “the above (for the sake of convenience, each of the processing (1) (division processing), the processing (2) (association processing), the processing (3) (priority setting processing), and the execution processing ” will be described in the present embodiment.
  • the processing related to the information processing method is separated. Therefore, the configuration for realizing the processing related to the information processing method according to the present embodiment is not limited to the space division unit 102, the association unit 104, the priority setting unit 106, and the processing unit 108 illustrated in FIG. It is possible to adopt a configuration according to the method of dividing the process according to the information processing method according to the embodiment.
  • FIG. 8 is a flowchart showing an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in the information processing apparatus 100 shown in FIG.
  • step S102 shown in FIG. 8 corresponds to the process (3) (priority setting process).
  • step S104 shown in FIG. 8 corresponds to the above process (1) (division process)
  • the process of step S106 shown in FIG. 8 corresponds to the above process (2) (association process).
  • process of step S108 shown in FIG. 8 corresponds to the said execution process.
  • the information processing apparatus 100 performs the process (3) (priority setting process) in the process (1) (division process) and process (2) ( This can be performed independently of the association process.
  • the information processing apparatus 100 may perform the process of step S102 illustrated in FIG. 8 and the processes of step S104 and step S106 illustrated in FIG. 8 in parallel.
  • the information processing apparatus 100 can also perform the process of step S102 shown in FIG. 8 after the processes of step S104 and step S106 shown in FIG. 8 are performed.
  • the information processing apparatus 100 acquires sensor information, behavior information, and association information corresponding to the processing target (S100).
  • the processing target is the information processing apparatus 100
  • the information processing apparatus 100 acquires various types of information from various sensors included in the information processing apparatus 100, for example.
  • the processing target is an external device of the information processing apparatus 100
  • the information processing apparatus 100 is connected via a network with the external apparatus (or via a communication unit (not shown) or an external communication device) (or, for example).
  • Various information is acquired by performing direct communication (wired communication or wireless communication).
  • the information processing apparatus 100 sets priority in the peripheral space to be processed based on the sensor information acquired in step S100 in the priority setting unit 106 (S102).
  • the information processing apparatus 100 divides the processing target peripheral space in the space division unit 102 based on the sensor information acquired in step S100 or based on the sensor information and behavior information acquired in step S100 ( S104). For example, the information processing apparatus 100 dynamically changes one or both of the number of divisions of the surrounding space and the size of the division space based on the information acquired in step S100.
  • the information processing apparatus 100 associates the divided space set in step S104 with the association target information in the association unit 104 (S106).
  • the information processing apparatus 100 performs, for example, any one of the process according to the first example shown in (II-1) to the process according to the fourth example shown in (II-4).
  • the information processing apparatus 100 performs processing in the processing unit 108 based on the divided space in which the association target information is associated in step S106 and the priority set in step S102 (S108).
  • the information processing apparatus 100 performs, for example, the process illustrated in FIG. 8 as the process related to the information processing method according to the present embodiment.
  • the information processing apparatus 100 when the execution process is performed in an external device, the information processing apparatus 100 does not perform the process of step S108.
  • the information processing apparatus 100 when the execution process is performed in an external device, the information processing apparatus 100, for example, instead of the process in step S108, information indicating the divided space corresponding to the result of the process in step S106 and the process in step S102. You may perform the transmission control process for transmitting the information which shows the priority corresponding to a result with respect to the said external device.
  • the present embodiment is not limited to such an embodiment.
  • This embodiment is, for example, a robot that operates autonomously or by an external operation, a wearable device that is used by being worn on the user's body, a computer such as a PC (Personal Computer) or a server, a tablet device, a portable device
  • the present invention can be applied to various devices that can perform processing related to the information processing method according to the present embodiment, such as a communication device such as a telephone or a smartphone.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to a system including a plurality of apparatuses based on a connection to a network (or communication between apparatuses) such as cloud computing.
  • the information processing apparatus according to the present embodiment described above can be realized as an information processing system that performs processing according to the information processing method according to the present embodiment using a plurality of apparatuses, for example.
  • the process (1) (division processing)
  • the process (2) association process
  • the process (3) priority setting process
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment for example, “the processing (1) (division processing), (2) processing (association processing)”, and (3) above Process (priority setting process) "," process (1) (division process) ", process (2) (association process), process (3) (priority setting process), and execution
  • a program capable of executing the processing related to the information processing method according to the present embodiment is executed by a processor or the like in a computer, thereby assisting in identifying a space to be processed. Can do.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • a space dividing unit that divides a peripheral space around the processing target based on sensor information indicating a sensing result obtained by sensing items related to the processing target;
  • An associating unit associating associating target information indicating a sensing result of the surrounding space with a divided space obtained by dividing the surrounding space;
  • a priority setting unit for setting a priority for the surrounding space based on the sensor information;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the space dividing unit changes the number of divisions of the peripheral space based on the sensor information.
  • the information processing apparatus according to any one of (1) to (3), wherein the space dividing unit further divides the peripheral space based on behavior information indicating the behavior to be processed.
  • the association target information includes a captured image obtained by capturing the surrounding space, The information processing apparatus according to any one of (1) to (4), wherein the association unit associates the divided space with the captured image.
  • the association target information includes thermal information indicating a result of sensing the heat of the surrounding space, The information processing apparatus according to any one of (1) to (5), wherein the association unit associates the divided space with the thermal information.
  • the association target information includes sound information indicating a result of sensing the sound in the surrounding space
  • the sensor information includes information indicating a result of sensing an object existing in the surrounding space, information indicating a result of sensing the state of the processing target, and information indicating a result of sensing the state of the surrounding space
  • the information processing apparatus according to one.
  • (11) The information processing apparatus according to (10), wherein the processing unit performs processing in order from the divided space including the set higher priority area.
  • (12) The processor is Compare the set priority with a predetermined threshold, The information processing apparatus according to (10) or (11), wherein the process is not performed on an area where the priority is smaller than the predetermined threshold or an area where the priority is equal to or lower than the predetermined threshold. .
  • (13) The information processing apparatus according to any one of (10) to (12), wherein the processing unit performs processing corresponding to the divided space for each of the divided spaces.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、処理対象の周辺の周辺空間を分割する空間分割部と、周辺空間のセンシング結果を示す対応付け対象情報と、周辺空間が分割された分割空間とを対応付ける対応付け部と、センサ情報に基づいて、周辺空間に対して優先度を設定する優先度設定部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 撮像画像からオブジェクトを検出する技術が開発されている。計算コストの削減を図りつつ撮像画像からオブジェクトを検出する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2011-150633号公報
 例えば、空間が撮像された撮像画像からオブジェクトを検出する処理のような空間からオブジェクトを検出する処理を想定する。
 撮像画像からオブジェクトを検出する処理を例に挙げると、例えば空間が撮像された撮像画像からのオブジェクトの検出を画像処理によって行うときにおいて、撮像画像全体に対して処理を行う場合には、例えば下記の2つの問題が生じる恐れがある。
  ・検出対象のオブジェクト以外の領域がノイズとして作用し、オブジェクトの誤検出が生じる。
  ・オブジェクトの検出処理は精度に比例して計算コストが増大することが多く、撮像画像全体に対して精度が高い検出処理が行われると、処理時間の増加によりリアルタイム性を維持することが困難となる。
 ここで、上記のような、撮像画像からオブジェクトを検出する処理(以下、「検出に係る処理」と示す場合がある。)が行われる場合に生じうる問題の発生を防止する方法としては、例えば、検出対象のオブジェクトが存在すると考えられる領域を撮像画像から抽出する処理(以下、「領域抽出処理」と示す場合がある。)を、検出に係る処理の前処理として行い、抽出された領域に対して検出に係る処理を行うことが挙げられる。抽出された領域に対して検出に係る処理が行われることによって、例えば、検出対象のオブジェクト以外の領域がノイズとして作用する可能性を低減することによる誤検出の低減、および計算コストの低減を図ることができる可能性がある。
 しかしながら、検出対象のオブジェクトの検出に係る処理の前処理として、上記のような領域抽出処理が行われたとしても、後述するように、検出対象のオブジェクトが存在すると考えられる領域を抽出することができない恐れがある。よって、検出対象のオブジェクトの検出に係る処理の前処理として行われた上記のような領域抽出処理の結果を用いたとしても、検出対象のオブジェクトの誤検出を低減することができるとは限らない。
 本開示では、処理を行う対象となる空間の特定を補助することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、上記処理対象の周辺の周辺空間を分割する空間分割部と、上記周辺空間のセンシング結果を示す対応付け対象情報と、上記周辺空間が分割された分割空間とを対応付ける対応付け部と、上記センサ情報に基づいて、上記周辺空間に対して優先度を設定する優先度設定部と、を備える、情報処理装置が提供される。
 また、本開示によれば、処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、上記処理対象の周辺の周辺空間を分割するステップと、上記周辺空間のセンシング結果を示す対応付け対象情報と、上記周辺空間が分割された分割空間とを対応付けるステップと、上記センサ情報に基づいて、上記周辺空間に優先度を設定するステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
 また、本開示によれば、処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、上記処理対象の周辺の周辺空間を分割するステップ、上記周辺空間のセンシング結果を示す対応付け対象情報と、上記周辺空間が分割された分割空間とを対応付けるステップ、上記センサ情報に基づいて、上記周辺空間に優先度を設定するステップ、をコンピュータに実行させるためのプログラムが提供される。
 本開示によれば、処理を行う対象となる空間の特定を補助することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
[1]
 撮像画像からオブジェクトを検出する処理を例に挙げると、撮像画像からオブジェクトを検出する処理が行われる場合に生じうる問題の発生を防止する方法としては、例えば上述したように、撮像画像からオブジェクトを検出する処理の前処理として行われた領域抽出処理の結果を利用して、検出に係る処理を行うことが挙げられる。
 ここで、撮像画像からオブジェクトを検出する処理の前処理として行われる領域抽出処理としては、下記に示すような処理が考えられる。
  ・背景差分による領域の抽出や、色領域に注目した抽出など、検出対象のオブジェクトの外見的な特徴に基づいて領域を抽出する処理
  ・記録媒体に記憶されている検出対象のオブジェクトや背景の外見的特徴のデータ(例えばテクスチャのデータ)を用いて、領域を抽出する処理
  ・上記2つの処理を組み合わせた処理
 しかしながら、撮像画像からオブジェクトを検出する処理の前処理として、上記のような領域抽出処理が行われたとしても、例えば下記の(a)~(c)に示すように、検出対象のオブジェクトが存在すると考えられる領域を抽出することができるとは限らない。
(a)検出対象のオブジェクトが存在すると考えられる領域の誤検出が生じうることにより、抽出の精度が低下する可能性がある。
 領域抽出処理の対象となる撮像画像には、検出対象となるオブジェクト以外の領域にも、当該オブジェクトと同様の外見的な特徴を有する領域が含まれることがありうる。ここで、領域抽出処理として検出対象のオブジェクトの外見的な特徴に基づいて領域を抽出する処理が行われるときにおいて、撮像画像に検出対象となるオブジェクトと同様の外見的な特徴を有する領域が含まれる場合には、検出対象のオブジェクトが存在すると考えられる領域の誤検出が生じうる。
 具体例を挙げると、例えば背景差分を利用して検出対象のオブジェクトが存在すると考えられる領域を抽出する場合には、背景として利用される領域は静止しているオブジェクトで構成されている必要がある。上記背景として利用される領域に動的なオブジェクトが含まれる場合には、検出対象となるオブジェクトと区別がつかず、上記背景として利用される領域はノイズとなりうる。
 また、例えば色情報を利用して検出対象のオブジェクトが存在すると考えられる領域を抽出する場合には、検出対象のオブジェクトの色が他領域に含まれてしまうと、当該他領域は検出対象となるオブジェクトと区別がつかず、当該他領域はノイズとなりうる。
(b)検出対象のオブジェクトの外見的変化に対応することができない。
 領域抽出処理として外見的特徴のデータを用いて領域を抽出する処理が行われる場合、検出対象のオブジェクトの外見的な特徴が変化するような状況下では、検出対象のオブジェクトが存在する領域を検出することができない。その結果、検出対象のオブジェクトが存在すると考えられる領域の誤検出が生じうる。また、検出対象のオブジェクトの外見的な変化が一意に定められない検出対象のオブジェクトについても、検出対象のオブジェクトが存在すると考えられる領域を抽出することは困難である。
 具体例を挙げると、例えば色情報を利用して検出対象のオブジェクトが存在すると考えられる領域を抽出する場合には、色の範囲を定めて当該範囲に含まれる色が含まれる領域が抽出される。ここで、照明条件の変化や検出対象のオブジェクトの撮像デバイスに対する角度などによって、検出対象のオブジェクトの色は様々に変化しうる。そのため、上記のように検出対象のオブジェクトの色が変化した場合には、記録媒体に記憶されている検出対象のオブジェクトに対応するテクスチャのデータ(外見的特徴のデータの一例)を利用したとしても、検出対象のオブジェクトが存在すると考えられる領域を抽出することができるとは限らない。
 また、検出対象のオブジェクトが色や模様などが特定できないようなオブジェクト(例えば、洋服を着た人物や動物など)である場合には、外見的特徴のデータを用いて領域を抽出することは、困難である。
(c)状況に対応した検出対象のオブジェクトが存在すると考えられる領域の抽出を実現することができない。
 領域抽出処理として、検出対象のオブジェクトの外見的な特徴に基づいて領域を抽出する処理と、外見的特徴のデータを用いて領域を抽出する処理との一方または双方が行われる場合を想定する。上記の場合において、検出対象のオブジェクトと同様の外見的な特徴を有する領域が撮像画像に存在するときには、検出対象のオブジェクトと当該同様の外見的な特徴を有する領域とを区別することは、困難である。
 具体例として、撮像デバイスの正面に存在する人物の手のジェスチャを検出するために、撮像画像から人物の手の領域(検出対象のオブジェクトの一例)を検出する場合を挙げる。例えば、撮像画像から人物の手の領域を検出するときにおいて、単純に撮像画像から肌色の領域の抽出が行われる場合には、撮像デバイスの正面に存在する検出対象の人物だけでなく、撮像デバイスの遠方に存在する検出対象以外の人物が有する肌色の領域も、撮像画像から抽出される恐れがある。上記のような撮像デバイスの遠方に存在する検出対象以外の人物が有する肌色の領域が検出された場合、当該領域は、ノイズとなってしまう。
 上記(a)~(c)に示すように、上記のような領域抽出処理が行われたとしても、検出対象のオブジェクトが存在すると考えられる領域を抽出することができるとは限らない。よって、撮像画像からオブジェクトを検出する処理の前処理として、上記のような領域抽出処理が行われたとしても、撮像画像からオブジェクトを検出する処理における誤検出の低減を図ることができない恐れがある。
 また、例えば特許文献1には、レーザレーダの観測データをグループ化して障害物を検出することが開示されている。
 しかしながら、特許文献1に記載の技術を利用する場合には、検出対象のオブジェクトが壁などに近づいてしまうと、検出対象のオブジェクトと壁とが1つのグループと判別されてしまう。よって、特許文献1に記載の技術を利用したとしても、撮像画像からオブジェクトを検出する処理における誤検出の低減を図ることができるとは限らない。
[2]本実施形態に係る情報処理方法の概要
 そこで、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、“本実施形態に係る情報処理方法に係る処理の対象となる装置が置かれている状況を加味して、本実施形態に係る情報処理方法に係る処理の対象となる装置の周辺の空間から、空間を対象として行われる処理(例えばオブジェクトを検出する処理など)を行うべき対象となる空間を特定するための処理”を行う。
 本実施形態に係る情報処理方法に係る処理の対象となる装置としては、例えば、自律的にまたは外部からの操作によって動作するロボットや、ユーザの身体に装着して用いられるウェアラブル装置などが挙げられる。
 本実施形態に係るロボットとしては、例えば、地面や床を移動することが可能なロボットや、飛行型のロボットなどが挙げられる。
 また、本実施形態に係るウェアラブル装置としては、例えば、“時計型の装置や、指輪型、ブレスレット型、首輪型、ネイル型などのアクセサリ型の装置のような、手や腕、首、足などのユーザの部位に装着される装置”や、“眼鏡型の装置やヘッドマウントディスプレイ(Head Mounted Display)のような、頭部に装着される装置”、“服型、靴型、靴下型、帽子型の装置”などが挙げられる。
 なお、本実施形態に係る情報処理方法に係る処理の対象となる装置が、上記ロボットや上記ウェアラブル装置に限られないことは、言うまでもない。
 以下では、本実施形態に係る情報処理方法に係る処理の対象となる装置を「処理対象」と示す。また、以下では、処理対象が、空間内を移動可能なロボットである場合を主に例に挙げる。本実施形態に係る処理対象は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。
 また、以下では、処理対象の周辺の空間を「周辺空間」と示す。
 具体的には、本実施形態に係る情報処理方法に係る処理としては、例えば、下記の(1)分割処理、(2)対応付け処理、および(3)優先度設定処理が挙げられる。
 本実施形態に係る情報処理装置は、例えば、処理対象が置かれている状況を加味して周辺空間を分割する(分割処理)。以下では、周辺空間が分割された空間それぞれを「分割空間」と示す。
 そして、本実施形態に係る情報処理装置は、周辺空間が分割された空間それぞれと、周辺空間のセンシング結果とを対応付ける(対応付け処理)。本実施形態に係る周辺空間のセンシング結果の具体例については、後述する。
 上記分割処理および上記対応付け処理が行われることによって、処理対象の周辺の周辺空間には、処理対象が置かれている状況が加味された上で、分割空間ごとに周辺空間のセンシング結果が対応付けられる。
 また、本実施形態に係る情報処理装置は、例えば、処理対象が置かれている状況を加味して周辺空間に優先度を設定する(優先度設定処理)。
 本実施形態に係る優先度とは、例えば空間が撮像された撮像画像からオブジェクトを検出する処理などの、空間を対象として行われる処理を行う装置(本実施形態に係る情報処理装置や、本実施形態に係る情報処理装置の外部装置)が、当該処理を優先的に行う空間を判定するための指標である。本実施形態に係る優先度を利用した処理の一例については、後述する。
 上記優先度設定処理が行われることによって、処理対象の周辺の周辺空間には、処理対象が置かれている状況が加味された上で、優先度が設定される。
 ここで、本実施形態に係る情報処理装置は、優先度設定処理を、上記分割処理および上記対応付け処理とは独立に行うことが可能である。よって、本実施形態に係る情報処理装置は、優先度設定処理と、上記分割処理および上記対応付け処理とを、並列に行ってもよいし、一方の処理(または処理群)が行われた後に他方の処理(または処理群)を行ってもよい。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)を行う。
[3]本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果の一例
 本実施形態に係る情報処理方法に係る処理として、上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)が行われることによって、処理対象の周辺の周辺空間には、処理対象が置かれている状況が加味された上で、分割空間ごとに周辺空間のセンシング結果が対応付けられる。
 ここで、分割空間は、処理対象が置かれている状況を加味して処理対象の周辺の周辺空間が分割された空間である。よって、本実施形態に係る情報処理装置は、処理対象の周辺に存在するオブジェクトや背景の外見的特徴に依存せずに、分割空間を得ることができる。
 また、本実施形態に係る情報処理方法に係る処理により得られる、周辺空間のセンシング結果が対応付けられた分割空間を示す情報(以下、「分割空間を示す情報」と示す。)を用いることによって、例えば空間を対象として行われる処理を行う装置は、当該分割空間ごとに処理を行うことが可能となる。本実施形態に係る分割空間を示す情報としては、例えば、分割空間と当該分割空間に対応付けられている周辺空間のセンシング結果とが、テーブル形式などの任意の形式によって分割空間ごとにグループ化されたデータ(または、データ群)が挙げられる。
 よって、空間が撮像された撮像画像からオブジェクトを検出する処理が行われる場合を例に挙げると、空間を対象として行われる処理を行う装置は、分割空間を示す情報を用いて処理を行うことによって、例えば下記に示すような効果を奏することができる。
  ・周辺空間のセンシング結果が対応付けられた分割空間により撮像画像の領域を区分して処理を行うことによって、オブジェクトが存在しない天井部分の領域など、撮像画像において処理を行うことが不要な領域を除いて処理を行うことができる。
 したがって、本実施形態に係る情報処理方法に係る処理として上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)が行われることによって、本実施形態に係る情報処理装置は、処理を行う対象となる空間の特定を補助することができる。
 また、空間が撮像された撮像画像からオブジェクトを検出する処理が行われる場合を例に挙げると、空間を対象として行われる処理を行う装置は、分割空間を示す情報を用いて処理を行うことによって、例えば下記に示すような効果をさらに奏することができる。
  ・周辺空間のセンシング結果が対応付けられた分割空間により撮像画像の領域が区分されることによって、分割空間それぞれに対応する撮像画像の領域ごとに、分割空間に対応する処理を行うことが可能となる。
 また、本実施形態に係る情報処理方法に係る処理として、上記(3)の処理(優先度設定処理)が行われることによって、処理対象の周辺の周辺空間には、処理対象が置かれている状況が加味された上で、優先度が設定される。
 本実施形態に係る情報処理方法に係る処理により得られる優先度を用いることによって、例えば空間を対象として行われる処理を行う装置は、当該優先度に基づき処理を行うことが可能となる。よって、空間を対象として行われる処理を行う装置は、優先度を用いて処理を行うことによって、例えば下記に示すような効果を奏することができる。
  ・優先度に従って処理することによって、優先度がより高い分割空間に対する処理の応答性を高めることができる。
  ・優先度を利用した閾値処理の結果に従って分割空間に対する処理を行うことによって、優先度が閾値よりも小さい分割空間(または優先度が閾値以下の分割空間)に対する処理を行わないことが可能となる。
 したがって、本実施形態に係る情報処理方法に係る処理として上記(3)の処理(優先度設定処理)が行われることによって、本実施形態に係る情報処理装置は、処理を行う対象となる空間の特定を補助することができる。
 上述したように、本実施形態に係る情報処理装置は、処理対象が置かれている状況を加味して行う“上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)”と“上記(3)の処理(優先度設定処理)”とのそれぞれによって、処理を行う対象となる空間の特定を補助することが可能である。
 したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)を行うことによって、処理を行う対象となる空間の特定を補助することができる。
[4]本実施形態に係る情報処理方法に係る処理の他の例
 なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)に限られない。
 例えば、本実施形態に係る情報処理装置は、“上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)の結果得られる、周辺空間のセンシング結果が対応付けられた分割空間(後述する対応付け対象情報と対応付けられた分割空間)”と、“上記(3)の処理(優先度設定処理)の結果得られる、周辺空間に対して設定された優先度”とに基づいて処理を行ってもよい(実行処理)。本実施形態に係る実行処理の一例については、後述する。
 なお、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)”と、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)”と、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理”とのそれぞれを、1つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)”と、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理”とのそれぞれを、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例を説明しつつ、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
 図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、空間分割部102と、対応付け部104と、優先度設定部106と、処理部108とを備える。
 また、情報処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、通信部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
 制御部(図示せず)は、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する。また、制御部(図示せず)は、情報処理装置100において、例えば、空間分割部102、対応付け部104、優先度設定部106、および処理部108のうちの1または2以上の役目を果たしてもよい。
 なお、空間分割部102、対応付け部104、優先度設定部106、および処理部108のうちの1または2以上は、空間分割部102、対応付け部104、優先度設定部106、および処理部108それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、制御部(図示せず)とは別体のプロセッサなど)で構成されていてもよい。
 ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、後述する行動情報を取得するために用いられる行動履歴を示すデータなどの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。上記行動履歴のデータとしては、例えば、処理対象の行動履歴を示すデータ(例えば、処理対象がロボットである場合)や、処理対象のユーザの行動履歴を示すデータ(例えば、処理対象がウェアラブル装置である場合)が挙げられる。
 ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。また、操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
 図2は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。図2は、情報処理装置100が処理対象である場合におけるハードウェア構成の一例を示している。
 情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、撮像デバイス166と、距離センサ168と、状態取得センサ170と、環境センサ172とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス174で各構成要素間を接続する。
 MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部(図示せず)として機能する。また、MPU150は、情報処理装置100において、例えば、空間分割部102、対応付け部104、優先度設定部106、および処理部108の役目を果たす。
 なお、空間分割部102、対応付け部104、優先度設定部106、および処理部108のうちの1または2以上は、対応付け部104、優先度設定部106、および処理部108それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、行動履歴を示すデータなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
 操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
 表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
 なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、処理対象の装置やサーバなどの外部装置と、無線または有線で通信を行うための通信部(図示せず)として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
 撮像デバイス166は、撮像により撮像画像(動画像または静止画像)を生成する撮像部(図示せず)として機能する。
 撮像デバイス166は、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。さらに、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
 距離センサ168は、情報処理装置100と情報処理装置100の周辺空間に存在する対象物との距離を測定するためのセンサである。例えば距離センサ168によるセンシング結果を用いることによって、情報処理装置100は、例えば情報処理装置100の周辺空間を特定することが可能である。
 距離センサ168としては、例えば、赤外線発光ダイオードなどの光源と、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサとを含む、TOF(Time Of Flight)方式のデバイスが挙げられる。
 なお、距離センサ168は、上記に示す例に限られない。例えば、距離センサ168は、ステレオカメラを含みステレオマッチングを行う構成や、赤外線カメラを含む構成、レーザーレンジファインダを含む構成など、対象物との距離を測定することが可能な、任意の方式に係る構成であってもよい。
 状態取得センサ170は、例えば、情報処理装置100の移動速度や移動方向などの、情報処理装置100の状態を取得するためのセンサである。
 状態取得センサ170としては、例えば、ロータリエンコーダや加速度センサなどの移動速度や移動方向などを直接的にセンシングすることが可能なセンサが挙げられる。また、状態取得センサ170は、例えば、撮像デバイスにより撮像された撮像画像を画像処理することにより移動速度や移動方向などを算出するセンサなど、移動速度や移動方向などを間接的にセンシングするセンサであってもよい。
 環境センサ172は、例えば、情報処理装置100の周辺空間の環境をセンシングするためのセンサであり、情報処理装置100の周辺空間の状態をセンシングするセンサに該当する。
 環境センサ172としては、例えば、マイクアレイを含み、音の発生源と特定するセンサや、遠赤外線センサなどの情報処理装置100の周辺空間の熱をセンシングするセンサなどが挙げられる。また、環境センサ172は、例えば、情報処理装置100の周辺の光量をセンシングする照度センサなど、情報処理装置100が存在している環境をセンシングすることが可能な、任意のセンサであってもよい。
 情報処理装置100は、例えば図2に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図2に示す構成に限られない。
 例えば、距離センサ168がステレオカメラや赤外線カメラなどの撮像デバイスを含む構成である場合には、情報処理装置100は、図2に示す撮像デバイス166を備えない構成をとることが可能である。
 また、情報処理装置100は、例えば、状態取得センサ170と環境センサ172とのうちの一方を備えない構成であってもよい。
 また、例えば、情報処理装置100が、情報処理装置100に接続されている外部の距離センサ、外部の状態取得センサ、外部の環境センサそれぞれのセンシング結果を用いて処理を行う場合には、情報処理装置100は、情報処理装置100に接続されているセンサに対応するセンサを備えていなくてもよい。
 また、例えば、処理対象が情報処理装置100の外部装置である場合には、情報処理装置100は、撮像デバイス166、距離センサ168、状態取得センサ170、および環境センサ172のうちの1または2以上を備えていなくてもよい。
 また、情報処理装置100は、例えば、記録媒体156や、操作入力デバイス160、表示デバイス162、通信インタフェース164を備えない構成をとることが可能である。
 また、例えば、図2に示す構成(または変形例に係る構成)は、1または2以上のIC(Integrated Circuit)で実現されてもよい。
 再度図1を参照して、情報処理装置100の構成の一例について説明する。
[I]空間分割部102
 空間分割部102は、上記(1)の処理(分割処理)を主導的に行う役目を果たす。空間分割部102は、例えば、センサ情報に基づいて、処理対象の周辺の周辺空間を分割する。また、空間分割部102は、例えば、センサ情報と行動情報とに基づいて、処理対象の周辺の周辺空間を分割してもよい。
 ここで、本実施形態に係るセンサ情報とは、例えば、処理対象に関する事項がセンシングされたセンシング結果を示すデータである。本実施形態に係る処理対象に関する事項としては、例えば下記に示す例の1または2以上が挙げられる。
  ・周辺空間に存在するオブジェクト(例えば、周辺空間に存在する壁や天井、床や、周辺空間に存在する人間や物など)
  ・処理対象の状態
  ・処理対象の周辺空間の状態(処理対象の周辺空間の環境の状態)
 本実施形態に係るセンサ情報としては、例えば、距離センサによりセンシングされた結果を示すデータ(周辺空間に存在するオブジェクトがセンシングされた結果を示す情報の一例)、状態取得センサによりセンシングされた結果を示すデータ(処理対象の状態がセンシングされた結果を示す情報の一例)、および環境センサによりセンシングされた結果を示すデータ(周辺空間の状態がセンシングされた結果を示す情報の一例)のうちの1または2以上が挙げられる。
 例えば、情報処理装置100が処理対象である場合、空間分割部102は、備えている各種センサのセンシング結果を示すデータを、センサ情報として用いる。また、例えば、情報処理装置100の外部装置が処理対象である場合、空間分割部102は、通信部(図示せず)や接続されている外部の通信デバイスを介して取得されたセンサ情報を用いる。
 また、本実施形態に係る行動情報とは、例えば、処理対象がどのような行動を行っているかを示すデータである。
 例えば、情報処理装置100が処理対象である場合、空間分割部102は、物理的なセンサのセンシング結果を利用して情報処理装置100がとっている行動を推定し、推定された行動状態を示すデータを用いる。また、空間分割部102は、例えば、記録媒体156に記憶されている行動履歴を示すデータを用いて、行動履歴を利用した任意の行動推定処理を行って行動を推定し、推定された行動状態を示すデータを用いてもよい。さらに、空間分割部102は、例えば、ユーザの操作などによって情報処理装置100に設定されている行動の目的に基づいて、行動を推定し、推定された行動状態を示すデータを用いることも可能である。
 例えば、情報処理装置100の外部装置が処理対象である場合、空間分割部102は、通信部(図示せず)や接続されている外部の通信デバイスを介して取得された行動情報を用いる。
 図3は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、空間分割部102において分割される周辺空間の一例を示している。図3に示すTは処理対象を示しており、図3では処理対象Tがロボットである例を示している。また、図3に示すVは、処理対象Tが備える撮像デバイスのカメラ視野を示している。
 図3のAは、処理対象Tからみた水平方向の視点における処理対象の周辺空間の分割の様子の一例を示しており、図3のBは、処理対象Tからみた垂直方向の視点における処理対象の周辺空間の分割の様子の一例を示している。
 例えば図3のA、Bに示すように、空間分割部102は、処理対象の周辺空間を奥行方向および高さ方向でそれぞれ分割することによって、3次元的なボクセル状に分割する。図3では、処理対象Tの周辺空間が、処理対象Tのカメラ視野方向Vの中心方向を基準として、奥行方向および高さ方向でそれぞれ9分割された例を示している。また、処理対象Tが移動する場合には、処理対象Tの移動方向を基準として、奥行方向および高さ方向それぞれで分割がされてもよい。
 なお、空間分割部102における周辺空間の分割例は、図3に示す例に限られない。
 例えば、空間分割部102は、センサ情報(または、センサ情報および行動情報)に基づいて、周辺空間の分割数と、分割空間の大きさとの一方または双方を、動的に変えることが可能である。
 また、分割空間の形状は、ボクセル状に限られず、例えば、分割空間は、周辺空間を分割することにより得られる任意の形状の空間であってもよい。以下では、本実施形態に係る分割空間が、図3に示すようなボクセル状の空間である場合を例に挙げる。
 図4は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、空間分割部102における動的な分割の一例を示している。図4に示すTは処理対象を示しており、図4では、図3と同様に処理対象Tがロボットである例を示している。また、図4に示すVは、図3と同様に処理対象Tが備える撮像デバイスのカメラ視野を示している。
 また、図4では、説明の便宜上、奥行方向における処理対象の周辺空間の分割の様子の一例を示している。なお、高さ方向における処理対象の周辺空間の分割の仕方については、奥行方向における処理対象の周辺空間の分割の仕方と同様である。
 図4のAは、処理対象Tが、低速(例えば、センサ情報が示す移動速度が設定されている閾値より小さい場合、または、当該移動速度が当該閾値以下の場合。以下、同様とする。)で移動している場合における周辺空間の分割の一例を示している。また、図4のBは、処理対象Tが、高速(例えば、センサ情報が示す移動速度が設定されている閾値以上である場合、または、当該移動速度が当該閾値より大きい場合。以下、同様とする。)で移動している場合における周辺空間の分割の一例を示している。
 例えば図4のAに示すように、処理対象Tが低速で周辺空間を移動している場合には、空間分割部102は、処理対象Tの移動方向を中心として周辺空間を9分割する。
 また、例えば図4のBに示すように、処理対象Tが高速で移動している場合には、空間分割部102は、周辺空間を16分割し、低速で移動している場合よりも分割数を増やす。
 また、例えば図4のBに示すように、処理対象Tが高速で、図4のAに示す移動方向からみて斜め方向に移動している場合には、空間分割部102は、処理対象Tの移動方向における設定された距離分離れた位置の粒度が細かくなるように、分割空間の大きさを変える。ここで、図4のBに示すように分割空間の大きさを変える理由は、処理対象Tが高速で移動する場合には、処理対象Tがすぐに通り過ぎる空間に対する対処よりも、処理対象Tが向かう先の空間に対する対処の方が、より重要となる可能性が高いためである。
 空間分割部102は、例えば、“各種センサ情報と、分割数の設定と分割空間の大きさの設定との一方または双方とが対応付けられているテーブル(または、データベース)”や、“各種センサ情報に基づいて、分割数と分割空間の大きさとの一方または双方が算出される任意のアルゴリズム”によって、センサ情報に基づいて、周辺空間の分割数と、分割空間の大きさとの一方または双方を、動的に変える。
 また、空間分割部102は、例えば、さらに行動情報に基づいて、周辺空間の分割数と、分割空間の大きさとの一方または双方を動的に変えることも可能である。
 一例を挙げると、処理対象がロボットであるときにおいてロボットアームが搭載されており、かつ、処理対象の行動情報が、物体を掴もうとしていることを示している場合には、空間分割部102は、ロボットアームの先端部分の近辺の空間を細かく分割する。
 空間分割部102は、例えば上記のように、センサ情報(または、センサ情報および行動情報)に基づいて、処理対象の周辺の周辺空間を分割する。なお、空間分割部102における処理の例が、上述した例に限られないことは、言うまでもない。
[II]対応付け部104
 対応付け部104は、上記(2)の処理(対応付け処理)を主導的に行う役目を果たす。対応付け部104は、例えば、対応付け対象情報と、周辺空間が分割された分割空間とを対応付ける。
 本実施形態に係る対応付け対象情報とは、処理対象の周辺空間のセンシング結果を示すデータである。本実施形態に係る対応付け対象情報としては、例えば、周辺空間が撮像された撮像画像や、周辺空間の熱がセンシングされた結果を示す熱情報、周辺空間の音がセンシングされた結果を示す音情報の1または2以上が挙げられる。ここで、本実施形態に係る対応付け対象情報は、センサ情報の役目を果たしていてもよい。
(II-1)対応付け処理の第1の例:対応付け対象情報に周辺空間が撮像された撮像画像が含まれる場合
 対応付け対象情報に周辺空間が撮像された撮像画像が含まれる場合、対応付け部104は、空間分割部102において分割された分割空間と撮像画像とを対応付ける。
 図5は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、対応付け部104における処理の一例を示している。図5のAは、撮像デバイスから得られる撮像画像(対応付け対象情報の一例)を示しており、図5のBは、距離センサから得られた奥行画像(センサ情報の一例)を示している。また、図5のCは、処理対象の周辺空間の一例を示している。図5に示すTは処理対象を示しており、図5では図3と同様に処理対象Tがロボットである例を示している。また、図5に示すVは、図3と同様に処理対象Tが備える撮像デバイスのカメラ視野を示している。
 また、図6は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、対応付け部104における図5に示す処理の一例の概要を示している。
 対応付け部104は、例えば、図5のAに示す撮像デバイスから取得された撮像画像と、図5のBに示す距離センサから取得された奥行画像とを照合して、撮像画像の各画素が処理対象Tから3次元的にどの位置に存在しているかを判定する。撮像画像と奥行画像との照合によって、撮像画像の各画素における3次元座標を示す3次元座標情報が得られる。ここで、撮像画像の各画素における3次元座標は、例えば、処理対象の任意の位置を原点とする3次元座標系の座標で表される。なお、撮像画像の各画素における3次元座標に係る3次元座標系が、上記に示す例に限られないことは、言うまでもない。
 対応付け部104は、例えば図6のA、B、Cに示すように、撮像画像と奥行画像との照合の結果得られた3次元座標情報を、分割空間それぞれに当てはめる。そして、対応付け部104は、例えば図6のDに示すように、同一の分割空間に含まれる画素を同一のグループとしてグループ化して、撮像画像から分割領域ごとの画像領域を抽出する。
 ここで、分割空間それぞれに対して3次元座標情報が当てはめられているので、抽出された画像領域それぞれにおいて、処理対象Tに対する画像領域に含まれる被写体(例えば、周辺空間に存在する壁や天井、床や、周辺空間に存在する人間や物などの、処理対象Tの周辺空間に存在するオブジェクト)の相対位置を特定することが可能である。
 対応付け部104は、例えば上記のような処理を行うことによって、空間分割部102において分割された分割空間と撮像画像とを対応付ける。
(II-2)対応付け処理の第2の例:対応付け対象情報に周辺空間の熱がセンシングされた結果を示す熱情報が含まれる場合
 対応付け対象情報に周辺空間の熱がセンシングされた結果を示す熱情報が含まれる場合、対応付け部104は、空間分割部102において分割された分割空間と熱情報とを対応付ける。
 対応付け部104は、例えば、空間分割部102において分割された分割空間と、遠赤外線センサから取得された熱情報とを照合して、分割空間と熱情報とを対応付ける。対応付け部104は、例えば分割空間と熱情報とを照合することが可能な任意の方法によって、分割空間と熱情報とを対応付ける。
 対応付け部104が分割空間と熱情報とを照合することによって、処理対象の周辺空間のどの空間に、どの程度の熱を有したオブジェクト(例えば、周辺空間に存在する壁や天井、床や、周辺空間に存在する人間や物など)が存在するかが特定される。
(II-3)対応付け処理の第3の例:対応付け対象情報に周辺空間の音がセンシングされた結果を示す音情報が含まれる場合
 対応付け対象情報に周辺空間の音がセンシングされた結果を示す音情報が含まれる場合、対応付け部104は、空間分割部102において分割された分割空間と音情報とを対応付ける。
 対応付け部104は、例えば、空間分割部102において分割された分割空間と、マイクアレイから取得された音情報が示す音源とを照合して、分割空間と音情報とを対応付ける。対応付け部104は、例えば分割空間と音情報とを照合することが可能な任意の方法によって、分割空間と音情報とを対応付ける。
 対応付け部104が分割空間と音情報とを照合することによって、処理対象の周辺空間のどの空間に、どのような周波数帯の音を発しているオブジェクト(例えば、周辺空間に存在する壁や天井、床や、周辺空間に存在する人間や物など)が存在するかが特定される。
(II-4)対応付け処理の第4の例
 対応付け部104は、上記(II-1)に示す第1の例に係る処理~上記(II-3)に示す第3の例に係る処理のうちの2以上の処理を組み合わせた処理を行うことも可能である。
 対応付け部104は、例えば上記(II-1)に示す第1の例に係る処理~上記(II-4)に示す第4の例に係る処理のいずれかの処理を行うことによって、対応付け対象情報と、周辺空間が分割された分割空間とを対応付ける。なお、対応付け部104における処理が、上述した例に示す処理に限られないことは、言うまでもない。
[III]優先度設定部106
 優先度設定部106は、上記(3)の処理(優先度設定処理)を主導的に行う役目を果たし、センサ情報に基づいて、周辺空間に対して優先度を設定する。
 優先度設定部106は、例えば、図5のBに示すような距離センサから取得された奥行画像(センサ情報の一例)を利用して、処理対象の周辺空間の3次元位置ごとに、優先度を設定する。優先度設定部106は、例えば、3次元位置それぞれと優先度とを、例えばテーブル形式や、3次元位置を優先度のメタデータとする方式など、3次元位置と優先度とを対応付けることが可能な任意の形式によって対応付ける。ここで、周辺空間の3次元位置は、例えば、処理対象の任意の位置を原点とする3次元座標系の座標で表される。なお、処理対象の周辺空間の3次元位置を特定するための3次元座標系が、上記に示す例に限られないことは、言うまでもない。
 また、優先度設定部106は、例えば、センサ情報に基づく重み付けがされた優先度を設定する。
 図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、優先度設定部106により設定される優先度の重み付けの一例を示している。図7に示すTは処理対象を示しており、図7では図3と同様に処理対象Tがロボットである例を示している。また、図7に示すVは、図7と同様に処理対象Tが備える撮像デバイスのカメラ視野を示している。
 また、図7では、優先度設定部106が、センサ情報に基づき特定される、処理対象Tと撮像画像に含まれる被写体との相対的な位置、処理対象Tの移動速度、および処理対象Tの移動方向に基づいて、重み付けがされた優先度を設定する例を示している。
 図7のAは、処理対象Tが低速で移動している場合において設定される優先度の一例を示しており、図7のBは、処理対象Tが高速で移動している場合において設定される優先度の一例を示している。
 図7では、説明の便宜上、奥行方向における処理対象の周辺空間に対する優先度の設定の一例を示している。また、図7では、周辺空間における1または2以上の3次元位置を含む、設定されている領域ごとに、優先度が設定される例を示している。
 なお、高さ方向における処理対象の周辺空間に対する優先度の設定の仕方の一例としては、例えば天井など高所の空間の重みを軽くすることなどが挙げられる。また、奥行方向と高さ方向とで重複して優先度の設定が行われる領域については、例えば、奥行方向において設定された優先度と高さ方向において設定された優先度との一方の優先度が用いられる。また、奥行方向と高さ方向とで重複して優先度の設定が行われる領域については、例えば、奥行方向において設定された優先度と高さ方向において設定された優先度との平均値を優先度とするなど、奥行方向において設定された優先度と高さ方向において設定された優先度との双方の優先度が用いられてもよい。
 例えば図7のAに示すように、処理対象Tが低速で移動している場合には、優先度設定部106は、処理対象Tの進行方向における処理対象Tとの距離が近い領域程、重み付けが大きくなるように優先度を設定する。また、処理対象Tが低速で移動している場合には、優先度設定部106は、処理対象Tの進行方向との角度が大きくなる領域程、重み付けが低くなるように優先度を設定する。
 また、例えば図7のBに示すように、処理対象Tが高速で移動している場合には、優先度設定部106は、処理対象Tの進行方向における処理対象Tとの距離が設定されている範囲内である領域が、最も重み付けが大きくなるように優先度を設定する。また、優先度設定部106は、例えば、上記処理対象Tとの距離が設定されている範囲内である領域から離れる領域程、重み付けが小さくなるように優先度を設定する。
 ここで、処理対象Tが高速で移動している場合には、優先度設定部106は、処理対象Tの進行方向における処理対象Tとの距離が近い領域に対しては、重み付けが小さくなるように優先度を設定する。処理対象Tの進行方向における処理対象Tとの距離が近い領域に対して重み付けを小さくする理由は、例えば、処理対象Tがすぐに通り過ぎる空間に対する対処よりも、処理対象Tが向かう先の空間に対する対処の方が、より重要となる可能性が高いためである。
 優先度設定部106は、例えば図7に示すように、センサ情報に基づく重み付けがされた優先度を設定する。
 なお、優先度設定部106における優先度の設定方法は、上記に示す例に限られない。
 例えば、図7では、4段階の重み付けがされた優先度が設定される例を示しているが、優先度の重み付けは、2段階、3段階、あるいは、5段階以上であってもよい。また、重み付けが異なる領域は、図7に示す例よりもさらに細分化されていてもよい。優先度設定部106では、領域それぞれに対する優先度の重み付けを、ヒストグラムのような形式で設定することも可能である。
 また、優先度設定部106は、例えば、各領域が動体を含んでいるかや、動体が含まれているならばどちらの方向へ動いているのかなどを示す運動状態の情報や、音の発生源を示す情報、発光状態を示す情報など、処理対象Tの外部の様々な環境の情報に基づいて、優先度の重み付けを変えてもよい。優先度設定部106は、例えば、環境センサから取得されるデータを、環境の情報として利用する。
[IV]処理部108
 処理部108は、上記実行処理を主導的に行う役目を果たし、対応付け対象情報と対応付けられた分割空間と、周辺空間に対して設定された優先度とに基づいて処理を行う。
 処理部108は、例えば、設定された優先度がより高い領域を含む分割空間から順に、処理を行う。ここで、優先度が同一の領域が含まれる分割空間が複数存在する場合には、処理部108は、例えば、当該優先度が設定されている領域の大きさがより大きい分割空間や、ランダムに選択された分割空間など、設定されているルールに従って選択された分割空間から順に、処理を行う。
 また、処理部108は、例えば、優先度と所定の閾値とを比較して優先度の低い領域を判定し、判定結果に基づいて優先度の低い領域に対する処理を行わなくてもよい。処理部108は、例えば、優先度が所定の閾値よりも小さい領域(または、優先度が当該所定の閾値以下の領域)に対しては、処理を行わない。
 ここで、本実施形態に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づいて変更可能な可変値であってもよい。
 また、処理部108は、例えば、分割空間ごとに分割空間に対応する処理を行う。
 処理部108において行われる処理としては、例えば、空間が撮像された撮像画像からオブジェクトを検出する処理が挙げられる。
 ここで、処理部108は、優先度に基づいて撮像画像からオブジェクトを検出する処理を行う。よって、処理部108は、例えば、重要な領域に対しての応答性を向上させることができ、また、優先度が低い領域(すなわち、処理が不要な領域)に対する処理を行わないことによって、計算コストを低減することができる。
 なお、全ての領域に対して処理を行ったとしても、処理を行う領域は、処理対象の画像である撮像画像と同一である。よって、仮に、優先度が低いと判定される領域が存在しない場合であっても、処理部108における処理の負荷が、撮像画像全体を処理する場合よりも大きくなることはない。さらに述べれば、本実施形態に係る情報処理方法に係る上記(3)の処理(優先度設定処理)は、例えば撮像画像からオブジェクトを検出する処理と比較すると処理負荷は小さいので、仮に、優先度が低いと判定される領域が存在しない場合であっても、情報処理装置100全体における処理の負荷は、処理の遅延などが生じる程増大しない。
 また、処理部108は、撮像画像からオブジェクトを検出する処理を行う場合、分割空間ごとに分割空間に対応する処理を行う。ここで、分割空間は、対応付け部104における処理により撮像画像と対応付けられるので、処理部108は、上述したように、撮像画像の画像領域それぞれにおいて、処理対象に対する画像領域に含まれる被写体の相対位置を特定することが可能である。
 よって、処理部108は、例えば、オブジェクトの検出の際にテンプレートを用いた画像認識を行う場合において、分割空間に対応する処理対象からの距離に応じたテンプレートを用いた処理を行うことができる。つまり、処理部108では、例えば、オブジェクトの検出の際にテンプレートを用いた画像認識を行う場合において、分割領域それぞれに対して、処理対象から遠距離の空間に対して用いるテンプレート、および処理対象から近距離の空間に対して用いるテンプレートなど、距離に応じた複数のテンプレートを用いた処理を行う必要はない。
 したがって、処理部108は、分割空間ごとに分割空間に対応する処理を行うことによって、テンプレートを用いた画像認識に係る計算コストを低減することができる。
 なお、処理部108において行われる処理は、上記のような空間が撮像された撮像画像からオブジェクトを検出する処理に限られない。
 例えば、処理部108は、熱情報を用いた空間からのオブジェクトの検出処理や、空間を対象とした音声認識処理など、空間を対象として行うことが可能な任意の処理が挙げられる。
 熱情報を用いた空間からのオブジェクトの検出処理を行う場合には、処理部108は、例えば、熱情報と対応付けられている分割空間を、分割領域ごとに処理することによって、オブジェクトを検出する。処理部108は、例えば、熱情報から得られる温度分布からオブジェクトの形状を推定することによってオブジェクトを検出する方法など、熱情報を用いてオブジェクトを検出することが可能な任意の方法を用いて、オブジェクトを検出する。
 また、熱情報を用いた空間からのオブジェクトの検出処理を行う場合、処理部108は、例えば、優先度に基づいてより優先度が高い領域から順に処理を行う。
 また、空間を対象とした音声認識処理を行う場合には、処理部108は、例えば、優先度に基づいてより優先度が高い領域から順に、ビームフォーミングによって指向性のある集音を行わせて、音声認識を実行する。処理部108は、例えば、分割領域ごとに、分割領域それぞれに対応するようにビームフォーミングを制御する。よって、処理部108は、状況に応じたより精度の高い音声認識を行うことができる。
 情報処理装置100は、例えば図1に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理)を行う。
 なお、本実施形態に係る情報処理装置の構成は、図1に示す構成に限られない。
 例えば、上記実行処理が本実施形態に係る情報処理装置の外部装置において行われる場合には、本実施形態に係る情報処理装置は、図1に示す処理部108を備えていなくてもよい。上記実行処理が外部装置において行われる場合には、本実施形態に係る情報処理装置は、例えば、通信部(図示せず)や外部の通信デバイスを介して、当該外部装置に、分割空間を示す情報と優先度を示す情報とを送信する。優先度を示す情報としては、例えば、処理対象の周辺空間の3次元位置と優先度とが対応付けられているテーブルなど、処理対象の周辺空間の3次元位置と優先度とが対応付けられているデータが挙げられる。また、本実施形態に係る情報処理装置は、例えば、実行処理を行わせるための処理命令を、上記外部装置に対して送信してもよい。
 処理部108を備えない構成であっても、本実施形態に係る情報処理装置は、上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)を行うことが可能である。
 よって、処理部108を備えない構成であっても、本実施形態に係る情報処理装置は、例えば、上記実行処理を行う外部装置における、処理を行う対象となる空間の特定を補助することができる。また、処理部108を備えない構成であっても、本実施形態に係る情報処理装置は、上述した本実施形態に係る情報処理方法に係る処理が行われることより奏される効果を、奏することができる。
 また、上述したように、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)”と、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図1に示す空間分割部102、対応付け部104、優先度設定部106、および処理部108に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
[V]本実施形態に係る情報処理装置100における処理の一例
 次に、図1に示す情報処理装置100における処理の一例を挙げる。
 図8は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図1に示す情報処理装置100における処理の一例を示している。
 ここで、図8に示すステップS102の処理は、上記(3)の処理(優先度設定処理)に該当する。また、図8に示すステップS104の処理は、上記(1)の処理(分割処理)に該当し、図8に示すステップS106の処理は、上記(2)の処理(対応付け処理)に該当する。また、図8に示すステップS108の処理は、上記実行処理に該当する。
 なお、上述したように、本実施形態に係る情報処理装置100は、上記(3)の処理(優先度設定処理)を、上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)とは独立に行うことが可能である。
 よって、情報処理装置100は、図8に示すステップS102の処理と、図8に示すステップS104およびステップS106の処理とを、並列に行ってもよい。また、情報処理装置100は、図8に示すステップS104およびステップS106の処理が行われた後に、図8に示すステップS102の処理を行うことも可能である。
 情報処理装置100は、処理対象に対応するセンサ情報、行動情報、および対応付け情報を取得する(S100)。処理対象が情報処理装置100である場合、情報処理装置100は、例えば、情報処理装置100が備える各種センサから各種情報を取得する。また、処理対象が情報処理装置100の外部装置である場合、情報処理装置100は、例えば、通信部(図示せず)や外部の通信デバイスを介して、外部装置とのネットワークを介した(または直接的な)通信(有線通信または無線通信)を行うことによって、各種情報を取得する。
 情報処理装置100は、優先度設定部106において、ステップS100において取得されたセンサ情報に基づいて、処理対象の周辺空間に優先度を設定する(S102)。
 情報処理装置100は、空間分割部102において、ステップS100において取得されたセンサ情報に基づいて、または、ステップS100において取得されたセンサ情報および行動情報に基づいて、処理対象の周辺空間を分割する(S104)。情報処理装置100は、例えば、ステップS100において取得された情報に基づいて、周辺空間の分割数と分割空間の大きさとの一方または双方を、動的に変える。
 情報処理装置100は、対応付け部104において、ステップS104において設定された分割空間と対応付け対象情報とを対応付ける(S106)。情報処理装置100は、ステップS106において、例えば上記(II-1)に示す第1の例に係る処理~上記(II-4)に示す第4の例に係る処理のいずれかの処理を行う。
 情報処理装置100は、処理部108において、ステップS106において対応付け対象情報が対応付けられた分割空間と、ステップS102において設定された優先度とに基づいて、処理を行う(S108)。
 情報処理装置100は、本実施形態に係る情報処理方法に係る処理として、例えば図8に示す処理を行う。
 なお、本実施形態に係る情報処理方法に係る処理は、図8に示す処理に限られない。
 例えば、上記実行処理が外部装置において行われる場合には、情報処理装置100は、ステップS108の処理を行わない。また、上記実行処理が外部装置において行われる場合、情報処理装置100は、例えば、ステップS108の処理の代わりに、ステップS106の処理の結果に対応する分割空間を示す情報と、ステップS102の処理の結果に対応する優先度を示す情報とを、当該外部装置に対して送信するための送信制御処理を、行ってもよい。
[VI]本実施形態に係る情報処理装置の適用例
 以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、自律的にまたは外部からの操作によって動作するロボットや、ユーザの身体に装着して用いられるウェアラブル装置、PC(Personal Computer)やサーバなどのコンピュータ、タブレット型の装置、携帯電話やスマートフォンなどの通信装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
 また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、当該情報処理システムを構成する複数の装置において、“上記(1)の処理(分割処理)および上記(2)の処理(対応付け処理)”と“上記(3)の処理(優先度設定処理)”とが同一のセンサ情報などに基づいて連携して行われるシステムが、挙げられる。
(本実施形態に係るプログラム)
 コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、および上記(3)の処理(優先度設定処理)”や、“上記(1)の処理(分割処理)、上記(2)の処理(対応付け処理)、上記(3)の処理(優先度設定処理)、および上記実行処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、処理を行う対象となる空間の特定を補助することができる。
 また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割する空間分割部と、
 前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付ける対応付け部と、
 前記センサ情報に基づいて、前記周辺空間に対して優先度を設定する優先度設定部と、
 を備える、情報処理装置。
(2)
 前記空間分割部は、前記センサ情報に基づいて前記周辺空間の分割数を変える、(1)に記載の情報処理装置。
(3)
 前記空間分割部は、前記センサ情報に基づいて前記分割空間の大きさを変える、(1)、または(2)に記載の情報処理装置。
(4)
 前記空間分割部は、さらに前記処理対象の行動を示す行動情報に基づいて、前記周辺空間を分割する、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
 前記対応付け対象情報には、前記周辺空間が撮像された撮像画像が含まれ、
 前記対応付け部は、前記分割空間と前記撮像画像とを対応付ける、(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
 前記対応付け対象情報には、前記周辺空間の熱がセンシングされた結果を示す熱情報が含まれ、
 前記対応付け部は、前記分割空間と前記熱情報とを対応付ける、(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
 前記対応付け対象情報には、前記周辺空間の音がセンシングされた結果を示す音情報が含まれ、
 前記対応付け部は、前記分割空間と前記音情報とを対応付ける、(1)~(6)のいずれか1つに記載の情報処理装置。
(8)
 前記優先度設定部は、前記センサ情報に基づく重み付けがされた前記優先度を設定する、(1)~(7)のいずれか1つに記載の情報処理装置。
(9)
 前記センサ情報には、前記周辺空間に存在するオブジェクトがセンシングされた結果を示す情報、前記処理対象の状態がセンシングされた結果を示す情報、および前記周辺空間の状態がセンシングされた結果を示す情報のうちの1または2以上が含まれる、(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
 前記対応付け対象情報と対応付けられた前記分割空間と、前記周辺空間に対して設定された前記優先度とに基づいて処理を行う処理部をさらに備える、(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
 前記処理部は、設定された前記優先度がより高い領域を含む前記分割空間から順に、処理を行う、(10)に記載の情報処理装置。
(12)
 前記処理部は、
 設定された前記優先度と所定の閾値とを比較し、
 前記優先度が前記所定の閾値よりも小さい領域、または、前記優先度が前記所定の閾値以下の領域に対しては、処理を行わない、(10)、または(11)に記載の情報処理装置。
(13)
 前記処理部は、前記分割空間ごとに前記分割空間に対応する処理を行う、(10)~(12)のいずれか1つに記載の情報処理装置。
(14)
 処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割するステップと、
 前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付けるステップと、
 前記センサ情報に基づいて、前記周辺空間に優先度を設定するステップと、
 を有する、情報処理装置により実行される情報処理方法。
(15)
 処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割するステップ、
 前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付けるステップ、
 前記センサ情報に基づいて、前記周辺空間に優先度を設定するステップ、
 をコンピュータに実行させるためのプログラム。
 100  情報処理装置
 102  空間分割部
 104  対応付け部
 106  優先度設定部
 108  処理部

Claims (15)

  1.  処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割する空間分割部と、
     前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付ける対応付け部と、
     前記センサ情報に基づいて、前記周辺空間に対して優先度を設定する優先度設定部と、
     を備える、情報処理装置。
  2.  前記空間分割部は、前記センサ情報に基づいて前記周辺空間の分割数を変える、請求項1に記載の情報処理装置。
  3.  前記空間分割部は、前記センサ情報に基づいて前記分割空間の大きさを変える、請求項1に記載の情報処理装置。
  4.  前記空間分割部は、さらに前記処理対象の行動を示す行動情報に基づいて、前記周辺空間を分割する、請求項1に記載の情報処理装置。
  5.  前記対応付け対象情報には、前記周辺空間が撮像された撮像画像が含まれ、
     前記対応付け部は、前記分割空間と前記撮像画像とを対応付ける、請求項1に記載の情報処理装置。
  6.  前記対応付け対象情報には、前記周辺空間の熱がセンシングされた結果を示す熱情報が含まれ、
     前記対応付け部は、前記分割空間と前記熱情報とを対応付ける、請求項1に記載の情報処理装置。
  7.  前記対応付け対象情報には、前記周辺空間の音がセンシングされた結果を示す音情報が含まれ、
     前記対応付け部は、前記分割空間と前記音情報とを対応付ける、請求項1に記載の情報処理装置。
  8.  前記優先度設定部は、前記センサ情報に基づく重み付けがされた前記優先度を設定する、請求項1に記載の情報処理装置。
  9.  前記センサ情報には、前記周辺空間に存在するオブジェクトがセンシングされた結果を示す情報、前記処理対象の状態がセンシングされた結果を示す情報、および前記周辺空間の状態がセンシングされた結果を示す情報のうちの1または2以上が含まれる、請求項1に記載の情報処理装置。
  10.  前記対応付け対象情報と対応付けられた前記分割空間と、前記周辺空間に対して設定された前記優先度とに基づいて処理を行う処理部をさらに備える、請求項1に記載の情報処理装置。
  11.  前記処理部は、設定された前記優先度がより高い領域を含む前記分割空間から順に、処理を行う、請求項10に記載の情報処理装置。
  12.  前記処理部は、
     設定された前記優先度と所定の閾値とを比較し、
     前記優先度が前記所定の閾値よりも小さい領域、または、前記優先度が前記所定の閾値以下の領域に対しては、処理を行わない、請求項10に記載の情報処理装置。
  13.  前記処理部は、前記分割空間ごとに前記分割空間に対応する処理を行う、請求項10に記載の情報処理装置。
  14.  処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割するステップと、
     前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付けるステップと、
     前記センサ情報に基づいて、前記周辺空間に優先度を設定するステップと、
     を有する、情報処理装置により実行される情報処理方法。
  15.  処理対象に関する事項がセンシングされたセンシング結果を示すセンサ情報に基づいて、前記処理対象の周辺の周辺空間を分割するステップ、
     前記周辺空間のセンシング結果を示す対応付け対象情報と、前記周辺空間が分割された分割空間とを対応付けるステップ、
     前記センサ情報に基づいて、前記周辺空間に優先度を設定するステップ、
     をコンピュータに実行させるためのプログラム。
PCT/JP2016/062869 2015-06-09 2016-04-25 情報処理装置、情報処理方法、およびプログラム Ceased WO2016199508A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015116254 2015-06-09
JP2015-116254 2015-06-09

Publications (1)

Publication Number Publication Date
WO2016199508A1 true WO2016199508A1 (ja) 2016-12-15

Family

ID=57504480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062869 Ceased WO2016199508A1 (ja) 2015-06-09 2016-04-25 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2016199508A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180285A1 (ja) * 2017-03-31 2018-10-04 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014853A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者三次元挙動検出装置
JP2009258058A (ja) * 2008-04-21 2009-11-05 National Institute Of Advanced Industrial & Technology 3次元物体位置計測装置
JP2012164327A (ja) * 2012-03-28 2012-08-30 Hitachi Kokusai Electric Inc ナビゲーション装置、受信装置、及び移動体情報提供装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014853A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者三次元挙動検出装置
JP2009258058A (ja) * 2008-04-21 2009-11-05 National Institute Of Advanced Industrial & Technology 3次元物体位置計測装置
JP2012164327A (ja) * 2012-03-28 2012-08-30 Hitachi Kokusai Electric Inc ナビゲーション装置、受信装置、及び移動体情報提供装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180285A1 (ja) * 2017-03-31 2018-10-04 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2018180285A1 (ja) * 2017-03-31 2020-01-16 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2021144743A (ja) * 2017-03-31 2021-09-24 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体
US11144747B2 (en) 2017-03-31 2021-10-12 Pioneer Corporation 3D data generating device, 3D data generating method, 3D data generating program, and computer-readable recording medium storing 3D data generating program
JP2023095975A (ja) * 2017-03-31 2023-07-06 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
US10198823B1 (en) Segmentation of object image data from background image data
US10217195B1 (en) Generation of semantic depth of field effect
US9785228B2 (en) Detecting natural user-input engagement
US9507437B2 (en) Algorithms, software and an interaction system that support the operation of an on the fly mouse
US9349039B2 (en) Gesture recognition device and control method for the same
JP5077956B2 (ja) 情報端末装置
US9256324B2 (en) Interactive operation method of electronic apparatus
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
US12200466B2 (en) Audio enhanced augmented reality
CN105308538A (zh) 基于所检测到的示意动作执行装置动作的系统和方法
CN105474136A (zh) 信息处理设备、信息处理方法和程序
CN108885496B (zh) 信息处理装置、信息处理方法和程序
CN110008795A (zh) 图像目标追踪方法及其系统与计算机可读取存储介质
US9811916B1 (en) Approaches for head tracking
CN103472907B (zh) 操作区的决定方法与系统
US20180075294A1 (en) Determining a pointing vector for gestures performed before a depth camera
JP2016206995A (ja) 画像処理装置、画像処理方法、及びプログラム
CN105892633A (zh) 手势识别方法及虚拟现实显示输出设备
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6655513B2 (ja) 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
JP2015152940A (ja) 提示制御装置、提示制御方法、およびプログラム
JP2017033556A (ja) 画像処理方法及び電子機器
KR101929471B1 (ko) 마커 트래킹 방법과 이를 수행하기 위한 장치 및 시스템
WO2016199508A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP