[go: up one dir, main page]

CN108028021B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN108028021B
CN108028021B CN201680055031.4A CN201680055031A CN108028021B CN 108028021 B CN108028021 B CN 108028021B CN 201680055031 A CN201680055031 A CN 201680055031A CN 108028021 B CN108028021 B CN 108028021B
Authority
CN
China
Prior art keywords
target object
information processing
center
rider
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055031.4A
Other languages
English (en)
Other versions
CN108028021A (zh
Inventor
青木卓
赤间健人
小柳津秀纪
平泽康孝
近藤雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108028021A publication Critical patent/CN108028021A/zh
Application granted granted Critical
Publication of CN108028021B publication Critical patent/CN108028021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

根据本技术的一个实施例的信息处理设备装配有检测单元、估计单元和预测单元。检测单元从输入图像中检测目标对象。估计单元估计检测到的目标对象的姿势。预测单元基于所估计的姿势来预测目标对象的动作。

Description

信息处理设备、信息处理方法和程序
技术领域
本技术涉及用于例如在驾驶机动车时等引起驾驶员注意的信息处理设备、信息处理方法和程序。
背景技术
紧急情况下的事故避免技术(诸如自动紧急制动和碰撞避免系统)正变得越来越普遍。另外，为了避免事故而引起驾驶员等的注意的系统也被开发出来。例如，在专利文献1中，基于从数据库中读取出的天气信息和道路信息，判断在本车辆前方行驶的自行车是否易于摔倒。在前方的自行车易于摔倒的情况下，向驾驶员发出表示这个意思的警告(专利文献1的说明书中的第[0043]-[0049]段等)。
另外，在专利文献2中，通过分析已由红外相机拍摄的车辆前方的图像来判断步行者是否存在于本车辆行驶的区域中。另外，通过检测行驶区域外部的步行者的移动，判断进入行驶区域的步行者的危险等级。具有窄指向性的警告声音被输出给区域中的步行者或高危险等级的步行者(专利文献2的说明书中的第[0051]、[0052]、[0068]段等)。
引用列表
专利文献
专利文献1：日本专利申请特开第2009-122854号
专利文献2：日本专利申请特开第2014-52883号
发明内容
技术问题
如上所述，存在对能够通过提供用于防止发生事故等的有效信息来引起驾驶员等的注意的技术的需求。
鉴于上述情况，本技术旨在提供能够提供有效信息以便引起注意的信息处理设备、信息处理方法和程序。
问题的解决方案
为了实现上述目的，根据本技术的实施例的信息处理设备包括检测单元、估计单元和预测单元。
检测单元从输入图像中检测目标对象。
估计单元估计检测到的目标对象的姿势。
预测单元基于所估计的姿势来预测目标对象的动作。
在该信息处理设备中，可以基于所估计的姿势高度准确地预测目标对象的动作。作为结果，可以向驾驶员等提供用于防止发生事故等的有效信息，以便引起注意。
检测单元可以能够从输入图像中检测步行者。在这种情况下，预测单元可以基于所估计的步行者的姿势来预测步行者的动作。
因此，可以防止发生例如与步行者的意外接触等。
检测单元可以能够从输入图像中检测两轮车辆及其骑行者。在这种情况下，估计单元可以至少估计骑行者的姿势。此外，预测单元可以基于所估计的骑行者的姿势来预测两轮车辆及其骑行者的动作。
因此，可以防止发生例如与两轮车辆的意外接触等。
估计单元可以估计两轮车辆的姿势。在这种情况下，预测单元可以基于所估计的两轮车辆及其骑行者中的每个的姿势来预测两轮车辆及其骑行者的动作。
因此，可以高度准确地预测两轮车辆及其骑行者的动作。
预测单元可以基于所估计的姿势计算与目标对象有关的特征点，并且基于计算出的特征点的位置来预测目标对象的动作。
因此，可以容易地预测目标对象的动作。
特征点可以是目标对象的重心点。
通过使用重心点的位置，可以高度准确地预测目标对象的动作。
检测单元可以能够从输入图像中检测两轮车辆及其骑行者。在这种情况下，预测单元可以计算骑行者的重心点或两轮车辆及其骑行者的整体重心点作为特征点。
预测单元可以基于所估计的姿势来计算目标对象与路面的一个或多个接触点，并且基于特征点与一个或多个接触点之间的相对位置关系来预测动作。
因此，可以高度准确地预测目标对象的动作。
预测单元可以预测目标对象的移动方向。
因此，可以防止发生与目标对象的意外接触等。
预测单元可以预测目标对象的突然加速。
因此，可以防止发生与目标对象的意外接触等。
估计单元可以估计检测到的目标对象的框架。
因此，可以高度准确地估计目标对象的姿势。
信息处理设备可被安装在移动体设备上，并且信息处理设备还可以包括输出单元，该输出单元基于所预测的目标对象的动作来生成和输出用于避免与移动体设备的驾驶有关的危险的危险避免信息。
因此，可以引起移动体设备的驾驶员的注意并且防止发生与步行者等的意外接触。
输出单元可以判断移动体设备和目标对象彼此接触的可能性，并且输出关于所判断的可能性的信息。
因此，可以引起驾驶员的注意并且防止发生与步行者等的意外接触。
预测单元可以能够预测目标对象的移动方向。在这种情况下，输出单元可以输出包括预测的移动方向的图像。
因此，可以引起例如对接近移动体设备的路径的步行者等的注意，并且防止发生意外接触等。
输出单元可以输出包括危险区域的图像，在所述危险区域中存在移动体设备和目标对象将彼此接触的可能性。
因此，驾驶员可以容易地掌握例如安全路径等。
根据本技术的实施例的信息处理方法是由计算机执行的信息处理方法，该方法包括从输入图像中检测目标对象。
估计检测到的目标对象的姿势。
基于所估计的姿势来预测目标对象的动作。
根据本技术的实施例的程序使计算机执行以下步骤。
从输入图像中检测目标对象的步骤。
估计检测到的目标对象的姿势的步骤。
基于所估计的姿势来预测目标对象的动作的步骤。
发明的有益效果
如上所述，根据本技术，可以提供有效信息以引起注意。应该注意，本文中描述的效果不必是限制性的，并且可以获得本公开中描述的任何效果。
附图说明
图1是示出作为安装有根据第一实施例的危险避免设备的移动体设备的示例的机动车的配置示例的外观图。
图2是示出图1中所示的机动车的配置示例的框图。
图3是示出危险避免设备的功能配置示例的框图。
图4是用于说明框架估计的示例的图。
图5是示出处于静止状态的步行者开始沿预定方向(图中的右手方向)行走时的姿势(框架)的示意图。
图6是示出从静止状态开始行走时的其他图案的姿势的示意图。
图7是示出直行的自行车及其骑行者沿预定方向(图中的右手方向)改变方向时的(框架)的示意图。
图8是示出危险避免设备的处理示例的流程图。
图9是示出预测步行者和自行车的移动方向的操作的示例的流程图。
图10是示出步行者两只脚处理的示例的流程图。
图11是示出步行者一只脚处理的示例的流程图。
图12是示出自行车处理的示例的流程图。
图13是示出由警告输出单元输出的危险避免图像的示例的图。
图14是用于说明动作预测的其他实施例的图。
图15是用于说明自行车及其骑行者的姿势估计的其他实施例的图。
具体实施方式
在下文中，将参考附图描述本技术的实施例。
[第一实施例]
[机动车的配置]
图1是示出作为安装有根据本技术的第一实施例的危险避免设备的移动体设备的示例的机动车的配置示例的外观图。图2是机动车的配置示例的框图。
如图1中所示，机动车100包括距离传感器10、前置相机11和车内拍摄相机12。此外，如图2中所示，机动车100包括转向设备15、制动设备16、车体加速设备17、转向角传感器20、车轮速度传感器21、制动器开关22、加速器传感器23、控制单元30、显示设备35和危险避免设备40。
例如，距离传感器10设置在机动车100的前部的大致中央，并且检测关于机动车100与在机动车100的移动方向上存在的对象之间的距离的信息。距离传感器10例如包括使用毫米波雷达、红外激光等的各种传感器。
前置相机11例如设置在机动车100的车厢或顶篷部分中，并且以预定帧率拍摄机动车100的前方视图。由前置相机11拍摄的拍摄图像经由控制单元30被输出到危险避免设备40，并且预测存在于本车辆前方的目标对象的移动。例如，前置相机11包括使用CMOS、CCD等的图像传感器。
如图1中所示，在本实施例中，作为目标对象1，将举步行者2、自行车3及其骑行者4为例。另外，本技术也可应用于其他两轮车辆(诸如摩托车)、自动三轮车等的骑行者。
车内拍摄相机12设置在机动车100的车厢中，并且以预定的帧频对车厢的内部进行拍摄。例如，可以通过由车内拍摄相机12拍摄的图像来判断乘客的存在或不存在、乘客的乘坐位置等。
应该注意，距离传感器10、前置相机11和车内拍摄相机12可以被配置为使得其输出被供应到如图2中所示的危险避免设备40而不是控制单元30。
转向设备15通常由动力转向设备构成，并且将驾驶员的转向操作传送给转向轮。制动设备16包括附连到每个车轮的制动致动器和用于对制动致动器进行致动的液压回路，并且控制每个车轮的制动力。车体加速设备17包括节气门、燃料喷射设备等，并且控制驱动轮的旋转加速度。
控制单元30控制安装在机动车100上的各个机构的操作。例如，控制单元30基于驾驶员使用方向盘、加速器等的操作来控制机动车100的制动、转向、加速等。例如，控制单元30基于检测驾驶员的转向操作的转向角传感器20的输出来检测转向量和转向方向，从而控制转向设备15。
此外，控制单元30基于设置在所有车轮或一部分车轮上的车轮速度传感器21的输出来计算车辆的车体速度，并且控制制动设备16，使得防止发生车轮的锁定(打滑)。此外，控制单元30基于检测驾驶员的加速器踏板操作量的加速器传感器23的输出来控制车体加速设备17。
制动开关22用于检测驾驶员的制动操作(踩踏制动踏板)，并且在执行ABS控制等时被参考。
控制单元30可以单独地控制转向设备15、制动设备16和车体加速设备17，也可以协作地控制它们中的多个。作为结果，可以在转向(转弯)、制动、加速等期间将机动车100控制到期望的姿势。
另外，控制单元30被配置为能够与上述驾驶员的各种操作无关地控制转向设备15、制动设备16和车体加速设备17。例如，机动车100可以包括自动驾驶功能。在这种情况下，控制单元30基于各个传感器和相机的输出自主地控制各个设备。
显示设备35包括例如使用液晶、EL(电致发光)等的显示单元，并且在显示单元上显示地图信息、导航信息等。此外，显示设备35显示从危险避免设备35输出的危险避免图像。通常，使用汽车导航设备作为显示设备35。此外，还可以使用使AR(增强现实)图像显示在挡风玻璃等的预定位置处的设备。
如稍后将详细描述的，危险避免设备40从由前置相机11拍摄的图像中检测目标对象1，并且预测目标对象1的动作。换言之，预测可能在自从拍摄时间点起的未来进行的目标对象1的下一个动作。例如，可以预测目标对象1的移动方向、突然加速的存在或不存在等。
例如，危险避免设备40对应于根据该实施例的信息处理设备，并且包括计算机所需的硬件(诸如CPU、RAM和ROM)。通过CPU将预先记录在ROM中的根据本技术的程序加载到RAM并且执行该程序来执行根据本技术的危险避免方法(信息处理方法)。
危险避免设备40的具体配置不受限制，并且也可以使用诸如FPGA(现场可编程门阵列)之类的PLD(可编程逻辑器件)以及诸如ASIC(专用集成电路)之类的其他器件。此外，危险避免设备40可以被配置为控制单元30的一部分。
图3是示出危险避免设备40的功能配置示例的框图。危险避免设备40包括图像获取单元41、对象检测单元42、姿势估计单元43、对象移动预测单元44、本车辆移动预测单元45、危险等级判断单元46和警告输出单元47。例如，危险避免设备40的CPU执行预定程序，以便配置每个功能块。
图像获取单元41获取由前置相机11拍摄的图像(在下文中，该图像将被称为输入图像)。对象检测单元42从输入图像中检测步行者2、自行车3及其骑行者4中的每个。步行者2和自行车3的检测可以通过诸如模板匹配和图像扫描的任意图像分析技术来执行。
姿势估计单元43估计检测到的步行者2和骑行者4的姿势。姿势估计单元43包括部位估计单元48和框架检测单元49。换言之，在本实施例中，基于步行者2和骑行者4的框架位置来判断姿势。
图4是用于说明框架估计的示例的图。步行者2和骑行者4中的每个的框架由图4中的白色圆圈50、连接白色圆圈50的线51和头部52表示。在图4中，示出了步行者2和骑行者4中的每个的重心点55、步行者2和自行车3与路面R的接地点56以及xy坐标系统。这些用于预测步行者2等的下一个动作。
框架估计也被称为骨骼估计或骨架估计，并且可以使用众所周知的技术来执行。参考步行者2描述其示例，首先，要计算的框架的模型，即，图4中所示的白色圆圈50的位置和数量、连接白色圆圈50的线51等的模型被预设。
框架模型通常根据人体的实际框架进行设定。例如，设定诸如头部、大腿和腰部的多个主要部位，并且将白色圆圈50设定在部位的重心点和部位的关节部分处。此外，基于各部位的位置来设定连接白色圆圈50的线51。
基于输入图像中的步行者2的图像(部分图像)，部位估计单元48计算如上所述地相对于输入图像中的步行者2设定的每个部位的位置。例如，每个部位在各种姿势下的图像被存储为模板图像。通过将这些模板图像与步行者2的图像进行匹配，可以计算步行者2的每个部位的位置。
框架检测单元49基于计算出的每个部位的位置来设定白色圆圈50、线51和头部52，从而检测步行者2的框架。
应该注意，也可以将深度传感器安装在机动车100的前部，并且可以使用基于由深度传感器获得的步行者2的深度图像(距离图像)通过机器学习获得的参数来估计每个部位的位置。例如，选择步行者2的图像中的一个像素，并且获取包括该像素的预定区域的深度信息(距离信息)。基于该深度信息，使用上述参数判断所选择的像素被包括在哪个部位中。通过对步行者2的图像中的每个像素执行相同的处理，可以计算步行者2的每个部位的位置。相应地，估计步行者2的框架。
代替深度信息，可以使用像素的RGB信息。具体地，可以使用基于所选择的像素的周边的RGB信息通过机器学习获得的参数来判断包括所选择的像素的部位。另外，可以通过诸如使用立体相机的方法之类的任意技术来执行框架估计。应该注意，也可以类似地估计自行车3的骑行者4的框架。
对象移动预测单元44根据所估计的姿势(即图4中所示的框架)，预测步行者2和自行车3的骑行者4的动作。应该注意，在自行车3及其骑行者4被检测为目标对象1的情况下，基于自行车3及其骑行者4的姿势来预测自行车3及其骑行者4的动作。
这里，可以基于例如骑行者4的姿势、或者自行车3的姿势、或者他们两者来估计自行车3及其骑行者4的姿势。此外，自行车3及其骑行者4的下一个动作包括骑行者4的动作(诸如转向操作和踏板操作)和自行车3的动作(诸如直行、转弯和突然加速)两者。在下文中，可以在只参考仅骑行者4或自行车3(诸如骑行者4的姿势和自行车3的动作)的同时描述自行车3及其骑行者4的姿势和动作。
本车辆移动预测单元45预测机动车100的下一个动作。通常，本车辆移动预测单元45计算机动车100将前进的预测路径。例如，根据当前车辆速度、转向量、转向方向、驱动轮的旋转加速度等来计算预测路径。替选地，可以基于关于在导航设备等中设定的目的地的信息、由GPS等获取的当前位置信息、地图信息、道路交通信息等来计算预测路径。应该注意，也可以预测机动车100的其他动作。
危险等级判断单元46基于由对象移动预测单元44预测的目标对象1的动作、由本车辆移动预测单元45预测的预测路径等来判断危险等级。通常，判断在步行者1或自行车3(骑行者4)与机动车100之间发生意外接触、碰撞事故等的可能性。例如，在机动车100的预测路径与步行者2等的预测移动方向的前方(延长线)重叠或者非常接近的情况下，判断危险等级高。
此外，还可以基于步行者2等的预测移动方向等来计算步行者2等的预测路径，并且在该预测路径与机动车100的预测路径重叠或非常接近的情况下判断危险等级高。可以由对象移动预测单元44来计算步行者2等的预测路径。
在预测到自行车3等的突然加速并且突然加速的方向指向机动车100的预测路径的情况下，也可以将危险等级判断为高。应该注意，在将机动车100被预测为要前进的整个道路设定为预测路径的情况下，可以执行与上述同样的危险等级判断。
代替预测路径，可以分别预测在未来的预定时刻(通常是紧接在拍摄之后的时刻)的机动车100的位置和目标对象1的位置，以便判断危险等级。
警告输出单元47基于所判断的危险等级输出用于避免与机动车100的驾驶有关的危险的危险避免信息。具体地，输出用于避免与步行者2等的意外接触等的信息。危险避免信息例如通过图像、音频等输出。危险等级判断单元46和警告输出单元47实现本实施例的输出单元。
[目标对象的动作的预测]
将详细描述基于姿势的下一个动作的预测。例如，步行者2和自行车3可以采取各种行动，诸如，当直行时向左或向右方向改变、在转弯动作期间向其他方向改变、以及静态/动态状态改变(诸如突然加速和突然停止)。在诸如上述方向改变和突然加速之类的动作被切换时(即，在即将开始下一个动作之前)的步行者2等的姿势将被验证。另外，对于各种动作，提取与在切换到下一个动作时的姿势有关的特征，从而实现本实施例的动作预测。
因此，本发明的发明人关注于目标对象1的重心点55和作为与路面R的接触点的接地点56。具体地，发现了在切换到下一个动作时，重心点55的位置以及重心点55与接地点56之间的相对位置关系改变。通过提取重心点55的位置的变化等作为与在切换到下一个动作时的姿势有关的特征，设计了下面描述的根据本技术的动作预测。
图5是示出处于静止状态的步行者2开始沿预定方向(图中的右手方向)行走时的姿势(构架)的示意图。在每个姿势下计算重心点55、左脚FL与路面R之间的接地点56L以及右脚FR与路面R之间的接地点56R。应该注意，接地点线L1和L2被分别设定在从接地点56L和56R起的垂直方向上。
图5中的P1示出步行者2双脚站立静止的状态。图5中的P5示出右脚FR(关于移动方向的后侧脚)向前移动一步的状态，即，开始行走的状态。图5中的P2至P4示出在从静止状态向行走状态的切换期间的姿势，即，在即将开始行走之前的姿势。
在图5的P1中，重心点55被包括在接地点线L1和L2之间的区域中。应该注意，接地点线L1上的位置和接地点线L2上的位置也在上述区域内。在P2中，重心点55在接地点线L1和L2之间的区域中向右手侧(即，在行走方向上)移动。在P3中，右脚FR(后侧脚)被抬起，因此存在一个接地点56。重心点55大致位于左脚FL(前侧脚)的接地点56L的上方，即，在接地点线L1上。
在图5的P4中，体重随着右脚FR在移动方向上移动而移动，并且重心点55比接地点线L1更向右手侧(前侧)移动。在P5中，右脚FR前进一步，因此重心点55被包括在接地点线L1和L2之间的区域中。
图6是示出从静止状态开始行走时的其他图案的姿势的示意图。图6A是示出姿势从双脚站立的状态向移动方向(图中的右手方向)倾斜的情况的图，并且重心点55从接地点线L1和L2之间的区域向右手侧移出。换言之，重心点55沿着移动方向偏离接地点线L1和L2之间的区域。
图6B是示出左脚(前侧脚)从双脚站立的状态前进一步的情况的图。当左脚FL从路面R抬起时，接地点56的数量变为1，并且重心点55偏向接地点线L2的右手侧。
图6C是示出姿势从仅左脚FL站立的状态沿着移动方向(图中的右手方向)倾斜的情况的图，并且重心点55比接地点线L1更向右手侧移动。
在图5中的P4和图6A至图6C的基础上，关于从静止状态开始的行走，本发明人发现了以下各点作为在即将开始行走之前的姿势的特征。
接地点56的数量为两个(双脚站立的状态)，并且重心点55偏离接地点线L1和L2之间的区域。在这种情况下，步行者2开始向重心点55所偏离的一侧行走。
接地点56的数量为一个(一只脚站立的状态)，以及重心点55不在接地点线(L1或L2)上并且偏离接地点线。在这种情况下，步行者2开始向重心点55所偏离的一侧行走。
应该注意，尽管在上面的描述中已描述了在图中的右手方向上行走的情况，但是在图中的左手方向上行走的情况下同样如此。另外，本技术不限于从静止状态开始行走的情况，并且在垂直于纸面的方向上直行的步行者2向左转或向右转的情况下也可以类似地执行预测。
图7是示出当直行的自行车3及其骑行者4沿着预定方向(图中的右手方向)改变方向时的(框架)的示意图。在每个姿势下计算重心点55、和车轮3a与路面R之间的接地点56。接地点56可以基于例如从输入图像中检测到的自行车3的图像来计算。从接地点56起设定沿垂直方向延伸的接地点线L。
图7的P1示出自行车3在垂直于纸面的方向上向前侧直行的状态。图7的P4示出将把手3b转向右手侧(即，从骑行者4观看时的左手侧)的状态，并且是方向开始在右手方向上转向的状态。图7的P2和P3示出在切换到从向前方向改变方向的状态时的姿势，并且是在即将转动把手3b之前的姿势。
在图7的P1中，重心点55基本上位于接地点线L上。从图中的P2到P3，体重向移动方向(图中的右手方向)移动，并且重心点55比接地点线L更向右手侧移动。即使在P4的把手3b开始被转动的状态下，重心点55也比接地点线L更靠右手侧。
基于图7的P2至P4，作为刚好在自行车3的方向改变之前的姿势的特征，本发明人发现了重心点55沿着移动方向偏离接地点线L。应该注意，对于向左手方向的方向改变同样如此。也可以以类似的方式预测向纸面的背面直行的自行车3的方向改变。
图8是示出危险避免设备40的处理示例的流程图。由对象移动预测单元44预测步行者2和自行车3(骑行者4)中的每个的移动方向(步骤101)。本车移动预测单元45预测机动车100的移动方向(预测路径)(步骤102)。危险等级判断单元46判断碰撞等的危险等级，并且警告输出单元47输出危险避免信息(步骤103)。
图9是示出预测步行者2和自行车3的移动方向的操作的示例的流程图。首先，对象检测单元42检测步行者2和自行车3中的每个(步骤201)。接下来，姿势估计单元43估计步行者2和自行车3中的每个的姿势(步骤202)。
重心点55被计算为步行者2和骑行者4中的每个的特征点(步骤203)。参考图4，重心点55的坐标(xave，yave)通过以下表达式来计算。
[表达式1]
Figure BDA0001604325710000131
Figure BDA0001604325710000132
应该注意，参数如下。
N...在估计框架时设定的部位的数量
Wi...每个部位的质量
(xi，yi)...每个部位的位置坐标
W...步行者和骑行者的总质量(＝W1+...+WN)
每个部位的质量Wi和总质量W是预先设定的。例如，使用人体的每个部位的平均质量。应该注意，还可以将男性、女性、成人、儿童等彼此区分并且存储各个部位的每个质量。例如，根据输入图像判断步行者2的类型，并且读取出每个对应部位的质量。
基于通过姿势估计而估计的部位的位置来计算每个部位的位置坐标，并且通常使用每个部位的重心点的位置。应该注意，可以基于表示框架的白色圆圈51的位置坐标来计算每个部位的位置坐标。例如，可以使用部位两端的接合部分处的白色圆圈51的中心点作为该部位的位置坐标。
计算步行者2等与路面R的接触点，即接地点56(步骤204)。对于步行者2，所估计的框架的最低点被计算为接地点56。对于自行车3，车轮3a的最低点被计算为接地点56。
判断检测到的目标对象1是否为步行者2(步骤205)。在目标对象1是步行者2的情况下(在步骤205中为“是”)，判断步行者2是否双脚站立(步骤206)，并且在“是”的情况下，执行步行者双脚处理(步骤207)。在步行者2一只脚站立的情况下(步骤206中为“否”)，执行步行者一只脚处理(步骤208)。
在步骤206中判断目标对象1不是步行者2的情况下(否)，执行自行车处理(步骤209)。
图10是示出步行者双脚处理的示例的流程图。首先，判断重心是否在双脚之间，即，图5等中所示的重心点55是否被包括在接地点线L1和L2之间的区域中(步骤301)。在重心位于双脚之间的情况下(步骤301中为“是”)，判断步行者2静止(步骤302)。
应该注意，在步行者2正在直行的情况下，当可以基于过去的输入图像掌握步行者2的移动历史时等，可以判断直行移动已在步骤302中继续。
如果重心不在双脚之间(步骤301中为“否”)，则判断重心是否在双脚的左手侧，即重心点55是否相对于接地点线L1和L2之间的区域偏向左手侧(步骤303)。在重心偏向左手侧的情况下(步骤303中为“是”)，判断步行者2将向左转(步骤304)。
应该注意，在从前置相机11拍摄步行者2的方向看见(即在机动车100的前视图中)时，判断步行者2将向左转。在步行者2朝向汽车100侧行走的情况下，步行者2自己将向右转。
在重心偏向右手侧的情况下(步骤303中为“否”)，判断步行者2将向右转(步骤305)。换言之，判断步行者2将在机动车100的前视图中向右转。
当使用坐标表示时，上述处理变为如下。
在xground_r≤xave≤xground_l的情况下，判断为静止状态
在xave<xground_r的情况下，判断为沿左手方向移动
在xave>xground_l的情况下，判断为沿右手方向移动
应该注意，xground_l和xground_r分别是两只脚的接地点56L和56R的x坐标。
图11是示出步行者一只脚处理的示例的流程图。首先，判断重心是否在路面R上的脚上方，即，图5等中所示的重心点55是否在接地点线(L1或L2)上(步骤401)。应该注意，本发明不限于重心点55严格地位于接地点线上的情况，并且在重心接近于接地点线的情况下也可以判断重心在脚上方。
例如，设定如下接地点区域，该接地点区域包括预定宽度(沿x方向的尺寸)并且围绕接地点线在y轴方向上延伸。在重心点55被包括在接地点区域中的情况下，判断重心在脚上方。
在重心在脚上方的情况下(步骤401中为“是”)，判断步行者2静止(步骤402)。在重心不在脚上方的情况下(步骤401中为“否”)，判断重心是否在地面上的脚的左手侧，即重心点55是否相对于接地点线(或接地点区域)偏向左手侧(步骤403)。在重心偏向左手侧的情况下(步骤403中为“是”)，判断步行者2将向左转(步骤404)。在重心偏向右手侧的情况下(步骤403中为“否”)，判断步行者2将向右转(步骤405)。
当使用坐标表示时，上述处理变为如下。
在xave＝Xground的情况下，判断为静止状态
在xave<xground的情况下，判断为沿左手方向移动
在xave>xground的情况下，判断为沿右手方向移动
应该注意，xground是一只脚接地点(56L或56R)的x坐标。此外，在设定了接地点区域的情况下，使用接地点区域的最小x坐标和最大x坐标作为参考来执行判断。
图12是示出自行车处理的示例的流程图。首先，判断重心是否在车轮的接地点56上方，即，图7等中所示的重心点55是否在接地点线L上(步骤501)。应该注意，本发明不限于重心点55严格地位于接地点线L上的情况，并且在重心接近于接地点线L的情况下也可以判断重心在接地点56上方。换言之，可以设定上述接地点区域。
在重心在接地点上方的情况下(步骤501中为“是”)，判断自行车3正在直行(步骤502)。在重心不在接地点56上方的情况下(步骤501中为“否”)，判断重心是否在接地点56的左手侧，即重心点55是否相对于接地点线L1(或接地点区域)偏向左手侧(步骤503)。在重心偏向左手侧的情况下(步骤503中为“是”)，判断自行车3将向左转(步骤504)。在重心偏向右手侧的情况下(步骤503中为“否”)，判断自行车3将向右转(步骤505)。
当使用坐标表示时，上述处理变为如下。
在xave＝Xground的情况下，判断为静止状态
在xave<xground的情况下，判断为沿左手方向移动
在xave>xground的情况下，判断为沿右手方向移动
应该注意，xground是车轮接地点56的x坐标。另外，在设定了接地点区域的情况下，使用接地点区域的最小x坐标和最大x坐标作为参考来执行判断。
通过以这种方式关注于目标对象1的重心点55的位置以及重心点55与接地点56之间的相对位置关系，可以容易且高度准确地预测目标对象1的动作。
图13是示出由警告输出单元47输出的作为危险避免信息的危险避免图像的示例的图。在危险避免图像60中，显示每个目标对象1(步行者2/自行车3)的类型、与每个目标对象1的接触可能性、每个目标对象1的移动方向61、存在接触可能性的危险区域62以及危险避免路径63。
在图13中所示的示例中，倾斜的右下方向被显示为自行车3及其骑行者4的移动方向61。例如，不仅可以计算如步行者2的移动方向61那样的水平方向作为移动方向61，而且还可以计算倾斜方向作为移动方向61。例如，可以基于重心点55的位置、车轮的方向等来计算特定的移动方向。
应该注意，可以从输入图像计算车轮的方向。此外，还可以通过稍后将描述的自行车3的框架估计来计算车轮的方向。此外，可以适当地使用可以基于过去的输入图像所计算的自行车的移动历史。
危险区域62是在自行车3等沿着预测的移动方向61移动的情况下可能与机动车100接触的区域。例如，危险区域62的尺寸是对于步行者2和自行车3中的每个预设的，并且围绕自行车3等设定危险区域62。替选地，也可以基于对自行车3等的移动速度、加速度等的预测来动态地设定危险区域62。
危险避免路径63是示出用于避免危险区域62的路线的图像，该危险区域62针对可能碰撞的每个目标对象1显示。例如，使用由本车辆移动预测单元45预测的预测路径作为参考来计算安全避免路径63。为了计算危险避免路径63，可以适当地使用导航信息、当前位置信息、道路信息等。
通过显示危险避免图像60，可以使机动车100的驾驶员注意可能碰撞的自行车3等，并且防止发生意外接触等。此外，通过显示危险区域62和危险避免路径63，驾驶员可以容易地掌握安全路径等。应该注意，可以通过音频向驾驶员通知每个目标对象1的移动方向、接触可能性、危险避免路径63等。
如上所述，在本实施例的危险避免设备40中，可以基于所估计的姿势高度准确地预测步行者2和自行车3(骑行者4)的动作。因此，可以向机动车100的驾驶员等提供用于防止事故等的有效的危险避免信息，从而引起注意。作为结果，即使在例如关于步行者2或自行车3发生方向的突然改变等的情况下，也可以防止发生意外接触等。
<其他实施例>
本技术不限于上述实施例，并且可以实现各种其他实施例。
例如，在上面的描述中，已经以向左和向右的方向改变为例描述了基于所估计的姿势预测下一个动作。本技术不限于此，并且可以在各种动作中关注于重心点的位置以及重心点与接地点之间的相对位置关系的同时执行动作预测。
图14是用于说明动作预测的其他实施例的图。例如，在步行者2等突然加速的情况下，在突然加速之前身体的重心降低，并且身体在很多情况下蹲伏。具体地，重心点55如图14的P1和P2中所示地向下降低，并且在P3中立即突然加速。关注于该突然加速之前的姿势的特征，在重心点55降低的情况下，预测将执行突然加速。
为了判断重心正在降低，可以代替重心点55的位置或除了重心点55的位置之外，还判断腿部F或背部B的框架的位置。具体地，可以判断腿是否弯曲或者背部是否弯曲以蹲伏身体。通过结合重心点55的向左和向右移动来判断，也可以预测突然加速的方向。作为结果，可以防止发生与突然开始移动的步行者2、自行车3等的意外接触。
此外，可以计算连接重心点55和接地点56的直线相对于路面R的倾斜角。可以使用例如中心点55的坐标(xave，yave)和接地点56的坐标(xground，yground)来计算倾斜角θ。在倾斜角θ小的情况下，判断身体充分倾斜，因此可以预测将执行突然加速或突然的方向改变。
在步行者2很大地张开他/她的腿的情况下，也可以预测突然加速或突然的方向改变。
尽管上面已经描述了，但是可以通过从过去的输入图像获取目标对象的动作的历史并且将其用于预测下一个动作来高度准确地预测动作。
图15是用于说明自行车3及其骑行者4的姿势估计的其他实施例的图。如图15中所示，不仅可以检测骑行者4的框架，而且也可以检测自行车3的框架。例如，为自行车3预先设定多个部位，并且基于输入图像来估计自行车3的每个部位的位置。此时，可以使用与步行者2、骑行者4等的框架估计类似的技术。
如果估计了自行车3的每个部位的位置，则设定与各个部位对应地预设的白色圆圈51和线52。因此，可以估计自行车3的姿势。基于所估计的自行车3及其骑行者4中的每个的姿势，可以高度准确地估计自行车3及其骑行者4的整体姿势。
在预测下一个动作时，计算自行车3及其骑行者4的整体重心点95。此外，基于自行车3的框架，其最低点被检测为与路面R的接地点56。基于这些重心点95和接地点56，可以高度准确地预测动作。例如，可以基于自行车3的车轮部分处的白色圆圈51a至51e来估计把手3b的转向量，并且具体地预测移动方向等。此外，基于骑行者4的姿势和自行车3的姿势的组合，可以进行极高准确度的动作预测。
在以上描述中，目标对象的重心点被计算为用于执行动作预测的特征点。本技术不限于此，并且头部或腰部的重心点可以用作特征点。
可以基于由左手侧和右手侧的侧面相机、后置相机等拍摄的拍摄图像来预测存在于机动车的左手侧或右手侧或后面的目标对象的动作。
包括机动车和根据本技术的危险避免设备的系统对应于根据本技术的危险避免系统的一个实施例，该机动车包括各种相机(诸如前置相机)、传感器、制动设备和转向设备。当然，本技术不限于这些配置。
本技术不仅可应用于机动车，而且还可应用于诸如两轮车辆和自动三轮车辆的各种移动体设备，并且还可应用于诸如其模拟设备和游戏的各种技术领域。此外，本技术不仅可应用于移动体设备，而且还可应用于监控系统等。例如，可以预测在桥、平台等上行走的步行者等的行为，并且在有坠落等危险的情况下通知该人或周围的人们。
上述根据本技术的特征部分中的至少两个可以被组合。换言之，各个实施例中描述的各个特征部分可以被任意组合，而不用将这些实施例彼此区分。而且，上述各种效果仅仅是示例，并且不应限于此，还可以发挥其他效果。
应该注意，本技术也可以采取以下配置。
(1)一种信息处理设备，包括：
检测单元，所述检测单元从输入图像中检测目标对象；
估计单元，所述估计单元估计所检测到的目标对象的姿势；以及
预测单元，所述预测单元基于所估计的姿势预测所述目标对象的动作。
(2)根据(1)所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测步行者，以及
所述预测单元基于所估计的步行者的姿势预测步行者的动作。
(3)根据(1)或(2)所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测两轮车辆及其骑行者，
所述估计单元至少估计骑行者的姿势，以及
所述预测单元基于所估计的骑行者的姿势预测两轮车辆及其骑行者的动作。
(4)根据(3)所述的信息处理设备，其中，
所述估计单元估计两轮车辆的姿势，以及
所述预测单元基于所估计的两轮车辆及其骑行者中的每个的姿势预测两轮车辆及其骑行者的动作。
(5)根据(1)至(4)中任一项所述的信息处理设备，其中，
所述预测单元基于所估计的姿势计算与所述目标对象有关的特征点，并且基于计算出的特征点的位置预测所述目标对象的动作。
(6)根据(5)所述的信息处理设备，其中，
所述特征点是所述目标对象的重心点。
(7)根据(5)所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测两轮车辆及其骑行者，以及
所述预测单元计算骑行者的重心点或两轮车辆及其骑行者的整体重心点作为所述特征点。
(8)根据(5)至(7)中任一项所述的信息处理设备，其中，
所述预测单元基于所估计的姿势计算所述目标对象与路面的一个或多个接触点，并且基于所述特征点与所述一个或多个接触点之间的相对位置关系预测动作。
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，
所述预测单元预测所述目标对象的移动方向。
(10)根据(1)至(9)中任一项所述的信息处理设备，其中，
所述预测单元预测所述目标对象的突然加速。
(11)根据(1)至(10)中任一项所述的信息处理设备，其中，
所述估计单元估计所检测到的目标对象的框架。
(12)根据(1)至(11)中任一项所述的信息处理设备，其中，
所述信息处理设备被安装在移动体设备上，以及
所述信息处理设备还包括：
输出单元，所述输出单元基于所预测的目标对象的动作生成并且输出用于避免与所述移动体设备的驾驶有关的危险的危险避免信息。
(13)根据(12)所述的信息处理设备，其中，
所述输出单元判断所述移动体设备和所述目标对象彼此相接触的可能性，并且输出关于所判断的可能性的信息。
(14)根据(12)或(13)所述的信息处理设备，其中，
所述预测单元能够预测所述目标对象的移动方向，以及
所述输出单元输出包括所预测的移动方向的图像。
(15)根据(12)至(14)中任一项所述的信息处理设备，其中，
所述输出单元输出包括危险区域的图像，在所述危险区域中存在所述移动体设备和所述目标对象将彼此相接触的可能性。
参考标记列表
R 路面
L、L1、L2 接地点线
1 目标对象
2 步行者
3 自行车
4 自行车的骑行者
40 危险避免设备
41 图像获取单元
42 对象检测单元
43 姿势估计单元
44 对象移动预测单元
45 本车辆运动预测单元
46 危险等级判断单元
47 警告输出单元
55、95 重心点
56、56L、56R 接地点
60 警告图像
61 移动方向
62 危险区域
63 危险避免路径
100 机动车

Claims (14)

1.一种信息处理设备，包括：
检测单元，所述检测单元从输入图像中检测目标对象；
估计单元，所述估计单元估计所检测到的目标对象的姿势；以及
预测单元，所述预测单元：
基于所估计的姿势计算与所述目标对象有关的重心点；
基于所估计的姿势计算所述目标对象与路面的一个或多个接触点；
设定在从所述一个或多个接触点起的垂直方向上的一个或多个接地点线；以及
基于所述重心点与所述一个或多个接地点线之间的相对位置关系来预测所述目标对象的动作。
2.根据权利要求1所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测步行者，以及
所述预测单元基于所估计的步行者的姿势预测步行者的动作。
3.根据权利要求1所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测两轮车辆及其骑行者，
所述估计单元至少估计骑行者的姿势，以及
所述预测单元基于所估计的骑行者的姿势预测两轮车辆及其骑行者的动作。
4.根据权利要求3所述的信息处理设备，其中，
所述估计单元估计两轮车辆的姿势，以及
所述预测单元基于所估计的两轮车辆及其骑行者中的每个的姿势预测两轮车辆及其骑行者的动作。
5.根据权利要求1所述的信息处理设备，其中，
所述检测单元能够从所述输入图像中检测两轮车辆及其骑行者，以及
所述预测单元计算骑行者的重心点或两轮车辆及其骑行者的整体重心点作为所述重心点。
6.根据权利要求1所述的信息处理设备，其中，
所述预测单元预测所述目标对象的移动方向。
7.根据权利要求1所述的信息处理设备，其中，
所述预测单元预测所述目标对象的突然加速。
8.根据权利要求1所述的信息处理设备，其中，
所述估计单元估计所检测到的目标对象的框架。
9.根据权利要求1所述的信息处理设备，其中，
所述信息处理设备被安装在移动体设备上，以及
所述信息处理设备还包括：
输出单元，所述输出单元基于所预测的目标对象的动作生成并且输出用于避免与所述移动体设备的驾驶有关的危险的危险避免信息。
10.根据权利要求9所述的信息处理设备，其中，
所述输出单元判断所述移动体设备和所述目标对象彼此相接触的可能性，并且输出关于所判断的可能性的信息。
11.根据权利要求9所述的信息处理设备，其中，
所述预测单元能够预测所述目标对象的移动方向，以及
所述输出单元输出包括所预测的移动方向的图像。
12.根据权利要求9所述的信息处理设备，其中，
所述输出单元输出包括危险区域的图像，在所述危险区域中存在所述移动体设备和所述目标对象将彼此相接触的可能性。
13.一种由计算机执行的信息处理方法，包括：
从输入图像中检测目标对象；
估计所检测到的目标对象的姿势；
基于所估计的姿势计算与所述目标对象有关的重心点；
基于所估计的姿势计算所述目标对象与路面的一个或多个接触点；
设定在从所述一个或多个接触点起的垂直方向上的一个或多个接地点线；以及
基于所述重心点与所述一个或多个接地点线之间的相对位置关系来预测所述目标对象的动作。
14.一种存储程序的计算机可读存储介质，所述程序使计算机执行如下步骤：
从输入图像中检测目标对象；
估计所检测到的目标对象的姿势；
基于所估计的姿势计算与所述目标对象有关的重心点；
基于所估计的姿势计算所述目标对象与路面的一个或多个接触点；
设定在从所述一个或多个接触点起的垂直方向上的一个或多个接地点线；以及
基于所述重心点与所述一个或多个接地点线之间的相对位置关系来预测所述目标对象的动作。
CN201680055031.4A 2015-09-29 2016-08-25 信息处理设备、信息处理方法和程序 Active CN108028021B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015191187 2015-09-29
JP2015-191187 2015-09-29
PCT/JP2016/003877 WO2017056382A1 (ja) 2015-09-29 2016-08-25 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108028021A CN108028021A (zh) 2018-05-11
CN108028021B true CN108028021B (zh) 2021-10-15

Family

ID=58423168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055031.4A Active CN108028021B (zh) 2015-09-29 2016-08-25 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (2) US10949656B2 (zh)
EP (1) EP3358546A4 (zh)
JP (1) JP6919567B2 (zh)
CN (1) CN108028021B (zh)
WO (1) WO2017056382A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551283B2 (ja) * 2016-04-01 2019-07-31 株式会社デンソー 車両制御装置、車両制御方法
KR102671554B1 (ko) * 2016-12-08 2024-06-04 현대자동차주식회사 차량 및 그 제어방법
JP6796798B2 (ja) * 2017-01-23 2020-12-09 パナソニックＩｐマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
KR102624560B1 (ko) * 2017-01-31 2024-01-15 엘지전자 주식회사 청소기
JP6852534B2 (ja) * 2017-04-12 2021-03-31 アイシン精機株式会社 障害物検知報知装置、方法及びプログラム
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置
EP3724813A1 (en) * 2017-12-13 2020-10-21 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
WO2019237031A1 (en) * 2018-06-07 2019-12-12 Deka Products Limited Partnership System and method for distributed utility service execution
JP6962280B2 (ja) * 2018-06-26 2021-11-05 株式会社デンソー 車両制御方法、車両制御システム、及び車両制御装置
EP3598259B1 (en) * 2018-07-19 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing method and information processing system
DE102018212601A1 (de) * 2018-07-27 2020-01-30 Zf Friedrichshafen Ag Verfahren zur Ausgabe eines Signals in Abhängigkeit von einem Beschleunigungssignal sowie Steuergerät zur Ausgabe eines Signals in Abhängigkeit von einem Beschleunigungssignal
CN108961315B (zh) * 2018-08-01 2020-02-18 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备和存储介质
KR20200017917A (ko) * 2018-08-10 2020-02-19 현대자동차주식회사 차량 및 그 제어 방법
FR3088279B1 (fr) * 2018-11-12 2021-01-22 Alstom Transp Tech Procede d'envoi d'une information a un individu situe dans l'environnement d'un vehicule
CN109859527A (zh) * 2019-01-30 2019-06-07 杭州鸿泉物联网技术股份有限公司 一种非机动车转弯预警方法及装置
US10825196B2 (en) 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
CN111599214B (zh) * 2019-03-04 2020-12-15 安徽省华腾农业科技有限公司经开区分公司 交通路口动态大数据更新方法及存储介质
WO2020194391A1 (ja) * 2019-03-22 2020-10-01 ｃｏｎｎｅｃｔｏｍｅ．ｄｅｓｉｇｎ株式会社 事故予測率算出コンピュータ、方法及びプログラム
JP7231736B2 (ja) * 2019-07-05 2023-03-01 日立Astemo株式会社 物体識別装置
KR20210026248A (ko) * 2019-08-29 2021-03-10 현대자동차주식회사 차량 사고 통보 장치, 그를 포함한 시스템 및 그 방법
JP7312078B2 (ja) * 2019-10-07 2023-07-20 株式会社東海理化電機製作所 画像処理装置、およびコンピュータプログラム
JP7236979B2 (ja) 2019-10-18 2023-03-10 本田技研工業株式会社 車両制御装置、および車両制御方法
JP2021068088A (ja) * 2019-10-21 2021-04-30 株式会社東海理化電機製作所 画像処理装置、コンピュータプログラム、および画像処理システム
DE102019220009A1 (de) * 2019-12-18 2021-06-24 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrsteilnehmern
US11587329B2 (en) 2019-12-27 2023-02-21 Valeo Schalter Und Sensoren Gmbh Method and apparatus for predicting intent of vulnerable road users
JP7091007B2 (ja) * 2020-03-24 2022-06-27 矢崎総業株式会社 転倒防止システム
US11535245B2 (en) * 2020-05-08 2022-12-27 The Boeing Company Systems and methods for reducing a severity of a collision
US11783710B2 (en) 2020-06-24 2023-10-10 Humanising Autonomy Limited Appearance and movement based model for determining risk of micro mobility users
JP7347405B2 (ja) * 2020-11-30 2023-09-20 トヨタ自動車株式会社 運転支援システム
US11127131B1 (en) * 2021-02-22 2021-09-21 Marc Michael Thomas Systems and methods to assess abilities of two or more individuals to perform collective physical acts
CN113226885A (zh) * 2021-05-27 2021-08-06 华为技术有限公司 一种目标车辆转向意图的确定方法及装置
WO2022269722A1 (ja) * 2021-06-21 2022-12-29 日本電信電話株式会社 描画動作予測装置、方法およびプログラム
US20250001960A1 (en) * 2021-11-24 2025-01-02 Nec Corporation Passenger monitoring apparatus, passenger monitoring method, and non-transitory computer-readable medium
CN113971832B (zh) * 2021-11-27 2025-03-14 北京蜂巢世纪科技有限公司 一种基于ar眼镜的人物识别方法、装置、ar眼镜和介质
DE112022006423T5 (de) * 2022-01-17 2024-11-14 Nec Corporation Vorrichtung, system und verfahren zur sturzerkennung und computerlesbares medium
JP7770195B2 (ja) * 2022-01-25 2025-11-14 本田技研工業株式会社 移動体制御装置、移動体制御方法、およびプログラム
JP2023156709A (ja) * 2022-04-13 2023-10-25 トヨタ自動車株式会社 転換方向予測システム、移動システム、転換方向予測方法、及びプログラム
CN114863395B (zh) * 2022-04-29 2025-08-19 上海商汤临港智能科技有限公司 一种确定车辆朝向的方法、装置、电子设备及存储介质
US20240092359A1 (en) * 2022-09-16 2024-03-21 GM Global Technology Operations LLC Vehicle camera-based prediction of change in pedestrian motion
WO2024075206A1 (ja) * 2022-10-05 2024-04-11 日本電信電話株式会社 ピックアンドプレース動作予測装置、予測方法、および予測プログラム
WO2024232245A1 (ja) * 2023-05-10 2024-11-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2024232244A1 (zh) * 2023-05-10 2024-11-14
WO2025004310A1 (ja) * 2023-06-30 2025-01-02 富士通株式会社 判定方法、判定プログラムおよび情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011026316A1 (zh) * 2009-09-03 2011-03-10 Yang Chang-Ming 织品感测器的步态分析系统及方法
CN103886287A (zh) * 2014-03-12 2014-06-25 暨南大学 一种基于3d投影的跨视角步态识别方法
CN103907146A (zh) * 2011-09-20 2014-07-02 丰田自动车株式会社 行人行动预测装置以及行人行动预测方法
CN104680124A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 检测行人的影像处理装置及其方法
CN104842360A (zh) * 2014-02-19 2015-08-19 丰田自动车株式会社 用于移动机器人的移动控制方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP4650327B2 (ja) * 2005-04-14 2011-03-16 トヨタ自動車株式会社 同軸二輪車
JP4173896B2 (ja) * 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP4947414B2 (ja) * 2007-03-27 2012-06-06 株式会社エクォス・リサーチ 車両
US7831391B2 (en) * 2007-06-12 2010-11-09 Palo Alto Research Center Incorporated Using segmented cones for fast, conservative assessment of collision risk
EP2043045B1 (de) * 2007-09-20 2011-09-07 Delphi Technologies, Inc. Verfahren zur Objektverfolgung
JP2009122854A (ja) 2007-11-13 2009-06-04 Aisin Aw Co Ltd 注意喚起システム及びプログラム
JP2010165003A (ja) * 2009-01-13 2010-07-29 Toyota Central R&D Labs Inc 歩行者認識支援装置および歩行者認識支援方法
JP5251800B2 (ja) * 2009-09-16 2013-07-31 株式会社豊田中央研究所 対象物追跡装置及びプログラム
TWI478835B (zh) * 2010-02-08 2015-04-01 Hon Hai Prec Ind Co Ltd 車輛防撞監控系統及方法
FR2964055B1 (fr) * 2010-08-27 2012-08-17 Aldebaran Robotics S A Robot humanoide dote de capacites de gestion de chutes et methode de gestion desdites chutes
JP5189157B2 (ja) 2010-11-30 2013-04-24 株式会社豊田中央研究所 可動物の目標状態決定装置及びプログラム
JP5859741B2 (ja) * 2011-04-15 2016-02-16 トヨタ自動車株式会社 運転支援装置
JP5666987B2 (ja) * 2011-05-25 2015-02-12 株式会社デンソー 移動物体検出装置
WO2012172629A1 (ja) * 2011-06-13 2012-12-20 トヨタ自動車株式会社 歩行者動作予測装置
JP5663411B2 (ja) * 2011-06-14 2015-02-04 本田技研工業株式会社 測距装置
EP2759996A4 (en) 2011-09-22 2015-05-13 Toyota Motor Co Ltd DRIVING ASSISTANCE DEVICE
CN103197671A (zh) * 2012-01-04 2013-07-10 中国人民解放军第二炮兵工程学院 一种仿人机器人步态规划及合成方法
JP5648655B2 (ja) 2012-04-27 2015-01-07 株式会社デンソー 対象物識別装置
US8903163B2 (en) * 2012-08-09 2014-12-02 Trimble Navigation Limited Using gravity measurements within a photogrammetric adjustment
JP5863607B2 (ja) 2012-09-07 2016-02-16 オートリブ ディベロップメント エービー 歩行者警告装置
JP5983243B2 (ja) * 2012-09-26 2016-08-31 株式会社デンソー 検出装置
KR101454153B1 (ko) * 2013-09-30 2014-11-03 국민대학교산학협력단 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
US10220569B2 (en) * 2013-12-03 2019-03-05 Autodesk, Inc. Generating support material for three-dimensional printing
CN104865961B (zh) * 2014-02-24 2019-08-27 联想(北京)有限公司 控制方法、装置及电子设备
US20150336575A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Collision avoidance with static targets in narrow spaces
WO2016092650A1 (ja) 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
US10493985B2 (en) * 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011026316A1 (zh) * 2009-09-03 2011-03-10 Yang Chang-Ming 织品感测器的步态分析系统及方法
CN103907146A (zh) * 2011-09-20 2014-07-02 丰田自动车株式会社 行人行动预测装置以及行人行动预测方法
CN104680124A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 检测行人的影像处理装置及其方法
CN104842360A (zh) * 2014-02-19 2015-08-19 丰田自动车株式会社 用于移动机器人的移动控制方法
CN103886287A (zh) * 2014-03-12 2014-06-25 暨南大学 一种基于3d投影的跨视角步态识别方法

Also Published As

Publication number Publication date
US10949656B2 (en) 2021-03-16
EP3358546A1 (en) 2018-08-08
JPWO2017056382A1 (ja) 2018-08-09
WO2017056382A1 (ja) 2017-04-06
US11915522B2 (en) 2024-02-27
US20180253595A1 (en) 2018-09-06
EP3358546A4 (en) 2019-05-01
US20210166007A1 (en) 2021-06-03
CN108028021A (zh) 2018-05-11
JP6919567B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
CN108028021B (zh) 信息处理设备、信息处理方法和程序
CN113631470B (zh) 跨骑型车辆的驾驶支援装置
US10131276B2 (en) Vehicle sightline guidance apparatus
US10692379B2 (en) Image processing device and image processing method
US11772614B2 (en) Drive assistance device for saddle type vehicle
US20220135165A1 (en) Drive assistance device for saddle riding-type vehicle
JP6983127B2 (ja) 駆動力制御装置
US20220161788A1 (en) Driving support device of saddle-riding type vehicle
US11679834B2 (en) Driving assistance device for saddle type vehicle
JP7253422B2 (ja) 鞍乗り型車両の自動制御装置
US12151676B2 (en) Rider-assistance system and control method for rider-assistance system
JP6722400B2 (ja) 車両の運転支援装置
WO2017056381A1 (ja) 被害低減装置、被害低減方法、及びプログラム
JP2019064301A (ja) 車両の制御装置及び車両の制御方法
JP7123241B2 (ja) 鞍乗り型車両の運転支援装置
JP2019066919A (ja) 車両の制御装置及び車両の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant