CN106997454A - 基于摄相机检测接近车辆的物体的系统和方法 - Google Patents
基于摄相机检测接近车辆的物体的系统和方法 Download PDFInfo
- Publication number
- CN106997454A CN106997454A CN201611247289.2A CN201611247289A CN106997454A CN 106997454 A CN106997454 A CN 106997454A CN 201611247289 A CN201611247289 A CN 201611247289A CN 106997454 A CN106997454 A CN 106997454A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- space
- determined
- car door
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
公开了一种系统。所述系统包括一个或多个处理器以及存储器,所述存储器包括指令,当由所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行方法。所述方法包括从安装在车辆上的第一照相机接收第一图像数据,所述车辆包括被配置成用于通向位于所述车辆外部的空间的元件,并且所述图像数据指示所述第一照相机相对于所述车辆的环境的移动。确定位于所述车辆外部的对象是否将干扰所述元件通向所述空间,所述确定基于所述图像数据中所指示的所述第一照相机相对于所述车辆的所述环境的所述移动。
Description
技术领域
本发明总体上涉及基于摄相机进行物体检测并且更具体地涉及使用车辆上的一个或多个摄相机检测物体以便阻止车门向这些物体打开的系统和方法。
背景技术
现代车辆尤其是汽车越来越多地包括用于检测和收集有关车辆的周围环境的信息的各种传感器。这些传感器能够包括用于检测车辆接近位于车辆的周围环境中的物体的超声波传感器。然而,超声波传感器可能在某些情况下具有有限的准确性,诸如当这些物体相对靠近这些传感器时。因此,进行物体检测的替代解决方案会是令人期望的。
发明内容
本公开的示例涉及使用一个或多个摄相机来检测接近车辆的物体。在一些示例中,该车辆确定这些物体是否将干涉该车辆上的一个或多个车门的打开并且如果是则阻止车门向这些物体打开。在一些示例中,这些摄相机能够是朝向后方设置或朝向侧方设置的,并且在一些示例中,这些摄相机能够安装在车辆的车门上。
附图说明
图1示出根据本公开的示例的具有两个车门的示例性车辆。
图2示出根据本公开的示例的具有两个朝向后方设置的摄相机的示例性车辆。
图3示出根据本公开的示例的具有一个朝向侧方设置的摄相机的示例性车辆。
图4A-4B示出根据本公开的示例的具有安装在车门上的摄相机的示例性车辆。
图5示出根据本公开的示例的系统框图。
具体实施方式
在以下示例描述中,参考形成其一部分的附图,并且在附图中通过说明示出能够被实践的特定示例。应当理解的是能够使用其他示例并且能够做出结构改变而不背离所公开的示例的范围。
一些车辆诸如汽车能够包括用于检测车辆接近位于车辆的周围环境中的物体的超声波传感器。然而,超声波传感器可能在某些情况下具有有限的准确性,诸如当这些物体相对靠近这些传感器时。本公开的示例涉及使用一个或多个摄相机来检测接近车辆的物体。在一些示例中,该车辆确定这些物体是否将干涉该车辆上的一个或多个车门的打开并且如果是则阻止车门向这些物体打开。在一些示例中,这些摄相机能够是朝向后方设置的或朝向侧方设置的,并且在一些示例中,这些摄相机能够安装在车辆的车门上。另外,在一些示例中,本公开的基于摄相机进行物体检测能够结合车辆上的其他传感器(例如,超声波传感器、雷达传感器等等)使用来提高物体检测的准确性。例如,来自多个系统的物体检测信息能够由车辆处理和/或组合(例如,求平均)来确定物体位置。在一些示例中,车辆能够在不同类型的物体检测系统(例如,摄相机、超声波、雷达)之间切换,基于这种类型的系统将能够提供最准确的物体检测结果(例如,由于天气状况、车辆速度等等)。
图1示出根据本公开的示例的具有车门104和106的示例性车辆102。车辆102能够是任何车辆,诸如汽车、公交车、卡车、货车、飞机、轮船等等。在图1中示出车辆102的右半部分,然而应当理解的是车辆还能够包括左半部分。车辆102能够包括能够向车辆外部空格打开的一个或多个元件。例如,车辆能够包括车门104和106,这些车门能够分别经由铰链108和110耦合到车辆。交互空间105和107能够是位于车辆102外部的空间,车门104和106能够分别向这些空间打开。尽管图1示出车辆在每一侧具有两个车门,应当理解的是所公开的系统和方法还能够在具有不同数量的车门上使用(例如,每一侧一个车门)。将在车门的上下文中描述本公开的示例,然而应当理解的是本公开的示例能够在车辆102上的能够向车辆外部空格打开的任何元件的上下文中实现,诸如引擎盖、行李箱盖、车窗、油箱门舱口盖、侧视镜等等。
会有益的是车辆102上的用于确定物体是否将干涉车门104和/或106的打开(例如,车门104和/或106完全打开)的一个或多个系统。例如,如果车门104和/或106是自动车门(例如,如果车门打开、使用电动机、响应于打开车门的用户命令(例如,按压按钮或者位于车门或车门把手某个接近度内)),并且如果物体将干涉车门104和/或106的打开,车辆102能够确定向车辆的操作人员提供有关干涉物体的警告、阻止车门104和/或106打开和/或仅将车门104和/或106打开到干涉物体所允许的程度(例如,仅打开车门106一半)。如果车门104和/或106是手动车门(例如,如果车门通过手打开),车辆102能够简单地允许自由地打开车门104和/或106(即,物体避免系统能够被完全禁用)、确定向车辆的操作人员提供有关干涉物体的警告(即,物体避免系统能够被部分禁用)、阻止车门104和/或106打开(例如,通过锁上车门或车门打开机构或提供打开车门的阻抗)和/或仅允许车门104和/或106打开到干涉物体所允许的程度。
在一些示例中,车辆102能够通过确定物体是否分别在交互空间105和107内来确定该物体将是否干涉车门104和106中的一个或多个车门的打开。例如,参考图1,车辆102能够确定物体112(例如,墙壁、柱子、树木、停车计时器等等)是否在车门106的交互空间107内。因此,车辆102能够确定物体112将干涉车门106的打开并且车辆能够确定适当的响应,如上所述。与此相反,车辆102能够确定物体114不在交互空间107(也不在任何其他交互空间内)内并且因此将不会干涉车门106(或任何其他车门)的打开。类似地,车门102能够确定没有物体位于车门104的交互空间105内并且因此能够允许车门104自由地打开。
本公开的车辆能够通过使用一个或多个光学摄相机确定一个或多个物体是否将干涉一个或多个车门的打开,如以下将讨论的。具体地,本公开的示例无需依赖于从两个或更多个摄相机获取图像数据而是能够使用来自单个摄相机的图像数据实现。
图2示出根据本公开的示例的具有朝向后方设置的摄相机218和220的示例性车辆202。车辆202的前方能够朝向页面的顶部定向。类似于图1的车辆102,图2的车辆202能够具有右手车门204和206和左手车门214和216。另外,车辆202能够具有右手摄相机220和左手摄相机218。摄相机218和220能够是任何类型的摄相机,诸如可见光摄相机、红外摄相机、紫外线摄相机等等。
摄相机220能够安装在车辆202的前半部分上(例如,在车门204前方)并且能够是朝向后方设置的。在一些示例中,摄相机220能够安装在车辆202的右手A柱上或附近。摄相机220能够具有视野221,该视野能够涵盖车门204和206(未示出)的交互空间的至少一部分。在一些示例中,视野221还能够涵盖车辆202的一部分(例如,车门204和206、铰链208和210、车门把手(未示出)、轮舱(未示出)、车辆底盘的任何部分等等)。在一些示例中,摄相机220能够通过在车辆202中的显示器(例如,LCD、OLED等等)上显示包括在视野221中的图像来替换车辆202上的传统侧视镜。在一些示例中,摄相机220能够用于对车辆202的右侧执行盲点监控。
摄相机220还能够用于通过确定物体(例如,物体212)是否将干涉车门204和206中的一个或多个车门的打开(例如,通过确定该物体是否位于车门204和/或206的交互空间内,如前所述)。具体地,车辆202能够基于车辆(以及因此摄相机220)相对于物体212的移动确定该物体相对于车辆的相对位置,如以下将更详细描述的。因为车辆202能够在做出上述确定之前知道车门204和206的交互空间,车辆能够将物体212的确定相对位置与车门204和206的交互空间进行比较来确定该物体是否在这些交互空间中的一个或多个交互空间内。在一些示例中,在做出上述确定之前(例如,当制造车辆202或在制造车辆之后进行的校准过程期间),车门204和206的交互空间能够存储在车辆202的存储器中。
车辆202能够使用用于使用摄相机220确定物体212的相对位置的任何合适的方法,诸如“移动深度”(或“移动结构”)算法。在移动深度算法中,能够通过对物体在由摄相机捕捉的图像中在摄相机已经相对于物体移动的多个时刻处的位置进行比较来确定单个摄相机的视野中的一个或多个物体的相对位置。在第8,837,811,号、标题为“多级线性移动结构(Multi-stage linear structure from motion)”的美国专利中描述了示例性移动深度算法,此专利的内容通过引用以所有目的结合在此。因为摄相机220能够被安装到车辆202上,如前所述,能够在车辆移动时确定对于摄相机220可见的车辆的周围环境的移动深度图。例如,如果车辆202正在相对于物体212移动,能够生成指示物体212的位置的移动深度图,车辆能够从这个移动深度图确定物体212是否将干涉车门204和206中的一个或多个车门的打开。类似于如上所述,车辆202能够利用摄相机218确定物体是否将干涉车门214和216中的一个或多个车门的打开。
在一些示例中,摄相机218和220能够被安装在车辆202上的已知位置(例如,已知位置、高度、朝向等等)。另外,车辆能够知道车辆202的速度。因此,当确定车辆202的周围环境中的物体的位置时,与摄相机速度和/或位置可能不是已知的情况相比,车辆能够使用这些已知量中的一个或多个量来增加移动深度图的准确性。换言之,摄相机的已知位置和车辆的已知速度中的一项或多项例如能够用于确定物体相对于车辆202的位置。另外,如上所述,在一些示例中,车辆202的一部分能够被包括在摄相机218和/或220的视野中。因此,车辆202能够识别在摄相机的视野中捕捉的已知参考点并且能够使用与这些参考点相对应的已知维度更准确地确定移动深度图(以及因此物体相对于车辆的位置)。例如,车辆202的铰链210和右后车轮(未示出)能够在摄相机220的视野221中。另外,车辆202能够知道铰链210与右后车轮之间的距离(例如,该距离能够存储在存储器中)。使用这个参考距离,车辆202能够更准确地确定物体212相对于车辆的位置(以及例如物体是否在车门204和206的交互空间内)。另外,在一些示例中,车辆202能够使用视野221中的车辆的各个部分的已知参考维度作为用于执行在本公开中描述的移动深度确定的自动校准的参考点。
在一些示例中,无论何时车辆202在移动时都能够确定上述移动深度图;当接收到用于打开车门的输入时(例如,在车辆停车之后),最后生成的移动深度图能够用于确定物体是否将阻止打开车门204、206、214和216中的任何一个车门。在其他示例中,能够仅在车辆202确定其将会在某个阈值时间量(例如,1秒、5秒、10秒等等)内停车之后才确定移动深度图,这能够基于车辆的车门不可能在车辆移动时打开的假设。以此方式,车辆202能够避免例如在高速公路或道路上以相对恒定的速度行进时生成移动深度图。在这种示例中,一旦车辆202确定其将可能停车,能够触发生成移动深度图,从而使得在车辆停车并且车门正在或者被请求打开时这些图是就绪的。在一些示例中,如果车辆以低于阈值速度(例如,5mph、10mph等等)慢下来或者正在从所检测的初始行进速度以高于阈值减速速率减速的话,车辆202能够确定其将可能在某个阈值时间量内停车。在一些示例中,能够仅在车辆202确实停车之后生成移动深度图,此刻,车辆能够处理来自摄相机218和/或220的过去的图像数据(例如,存储在存储器中的上5秒、上10秒图像等等)以便确定移动深度图。
图3示出根据本公开的示例的具有朝向侧方设置的摄相机318的示例性车辆302。车辆302的前方能够朝向页面的顶部定向。类似于图1的车辆102,图3的车辆302能够具有右手车门304和306和左手车门314和316。另外,车辆302能够具有右手摄相机318。车辆302能够另外或可替代地具有左手摄相机,然而为了讨论简单未示出这种摄相机。如果在车辆302包括左手摄相机的话,参照右手摄相机318提供的以下讨论能够类似地应用于左手摄相机。摄相机318能够是任何类型的摄相机,诸如可见光摄相机、红外摄相机、紫外线摄相机等等。
摄相机318能够安装在车辆302的右侧,诸如安装在车门304和306中的一个车门上,或者安装在车辆的另一个结构上,并且能够是朝向侧方设置的。摄相机318能够具有视野319,该视野能够涵盖车门304和306(未示出)的交互空间的至少一部分。在一些示例中,摄相机318能够用于识别用户(例如,经由生物计量人脸识别)并且在成功标识用户并且确定用户被授权访问车辆时提供对车辆302的访问。
摄相机318还能够用于通过确定物体(例如,物体312)是否将干涉车门304和306中的一个或多个车门的打开(例如,通过确定该物体是否位于车门304和/或306的交互空间内,如前所述)。具体地,车辆302能够基于车辆(以及因此摄相机318)相对于物体312的移动使用上述移动深度技术确定该物体相对于车辆的相对位置。因为车辆302能够在做出上述确定之前知道车门304和306的交互空间,车辆能够将物体312的确定相对位置与车门304和306的交互空间进行比较来确定该物体是否在这些交互空间中的一个或多个交互空间内。在一些示例中,在做出上述确定之前(例如,当制造车辆302或在制造车辆之后进行的校准过程期间),车门304和306的交互空间能够存储在车辆302的存储器中。摄相机318确定物体是否将干涉车门304和/或306的打开的操作的其他细节(诸如如何或何时作出这种确定)能够类似于以上参照图1-2所描述的那些并且为了简洁而不在此重复。
图2和图3的示例的移动深度确定能够很大一部分依赖于摄相机被安装在其上的车辆的移动。然而,在一些示例中,摄相机能够被安装在车门自身上,并且车门在打开时的移动能够提供相对于车辆的环境中的物体的所需摄相机移动从而确定本公开的移动深度。图4A-4B示出根据本公开的示例的分别具有安装在车门404和406上的摄相机418和420的示例性车辆402。在图4A中,车辆402能够具有车门404和406。
摄相机418能够安装在车门404上,而摄相机420能够安装在车门406上。在一些示例中,摄相机418和420能够分别安装在车门404和406的与铰链408和410相对的末端,然而在一些示例中摄相机418和420能够分别安装在车门404和406上的任何地方。
在一些示例中,摄相机418和420能够被类似于参照图2-3描述的那样用于确定物体是否将干涉车门404和406的打开,也就是,摄相机418和420相对于车辆402的环境中的物体的移动能够由车辆自身的移动提供。然而,在一些示例中,除了参照图2-3描述的操作之外或者可替代地,摄相机418和420能够基于车门404和406的移动确定物体位置,而不是车辆402作为整体的移动。例如,车辆402能够停车。当车辆402停车时,车门406能够被请求打开(例如,通过用户命令或输入,诸如按压按钮)或者能够由用户手动地打开。接下来,车门406能够开始打开,如图4B所示。
车门406打开的结果是,安装在车门406上的摄相机402能够根据车门406的移动而移动。一旦车门406开始打开,因为摄相机420会移动并且很可能相对于车辆402的周围环境中的物体移动,能够按照上述方式使用摄相机420生成移动深度图。这个移动深度图能够由车辆402用来阻止车门406向交互空间407中的物体打开,如上所述。在一些示例中,如果车辆402感知到在车门406打开时物体朝向摄相机420移动,则车辆能够中止其车门打开序列。以上讨论能够类似地应用于车门404和相应的摄相机418。
图5示出根据本公开的示例的系统框图。车辆控制系统500能够执行参照图1-4描述的任何方法。系统500能够并入车辆中,诸如消费者汽车。能够并入系统500的其他示例车辆包括但不限于飞机、轮船或工业汽车。车辆控制系统500能够包括能够捕捉图像数据(例如,视频数据)的一个或多个摄相机506,如上所述。车辆控制系统500能够包括车载计算机510,该车载计算机耦合到摄相机506并且能够从摄相机接收图像数据以及确定图像数据中的一个或多个物体是否将干涉车辆的一个或多个车门的打开以及物体是否将干涉车门,如本公开所述。车载计算机510能够包括存储设备512、存储器516和处理器514。处理器514能够执行参照图1-4描述的任何方法。另外,存储设备512和/或存储器516能够存储数据和指令以便执行参照图1-4描述的任何方法。存储设备512和/或存储器516能够是任何非瞬态计算机可读存储介质,诸如固态驱动器或硬盘驱动器,除了其他可能性之外。车辆控制系统500还能够包括控制器520,该控制器能够控制车辆操作的一个或多个方面,诸如基于车载计算机510的确定移动车辆或控制车门操作。
在一些示例中,车辆控制系统500能够连接到车辆中的一个或多个致动器系统530(例如,经由控制器520)。该一个或多个致动器系统530能够包括但不限于电动机531或引擎532、电池系统533、传动装置534、悬架装置535、刹车536、转向系统537和车门系统538。基于一个或多个物体相对于车门538的交互空间的所确定的位置,车辆控制系统500能够控制这些制动器系统530中的一个或多个系统阻止车门向这些物体中的一个物体打开。这能够通过例如控制车门538的操作来实现,如本公开中所讨论的。作为另一个示例,车辆控制系统500能够移动车辆,从而使得即将打开的车门将能够自由地打开,通过调整转向角度以及接合传动系统(例如,电动机)来以受控速度移动车辆。摄相机系统506能够继续捕捉图像并且将其发送到车辆控制系统500进行分析,如以上示例中所描述的。车辆控制系统500能够进而继续或周期性地向该一个或多个致动器系统530发送命令来阻止车门向这些物体中的一个物体打开。
因此,本公开的示例提供了使用一个或多个摄相机阻止车辆车门向物体打开的各种方式。
因此,根据上述内容,本公开的一些示例涉及一种系统,包括一个或多个处理器;以及存储器,包含指令,当由所述一个或多个处理器执行时,所述指令致使所述一个或多个处理器执行方法,所述方法包括:从安装在车辆上的第一摄相机接收第一图像数据,所述车辆包括被配置成用于向所述车辆外部空间打开的元件,并且所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述元件包括被配置成用于向所述车辆的外部交互空间打开的车门。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,确定所述物体是否将干涉所述元件向所述空间打开包括:使用所述图像数据生成所述车辆的所述环境的移动深度图,所述移动深度图包括所述物体;根据在所述移动深度图中确定所述物体位于所述元件被配置成用于向其打开的所述空间内,确定所述物体将干涉所述元件向所述空间打开;以及根据在所述移动深度图中确定所述物体不位于所述元件被配置成向其打开的所述空间内,确定所述物体将不干涉所述元件向所述空间打开。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,生成所述移动深度图包括:当确定所述车辆将可能在某个时间阈值内停车时,生成所述移动深度图;以及当确定所述车辆将不可能在所述时间阈值内停车时,放弃生成所述移动深度图。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,生成所述移动深度图包括:当确定所述车辆已停车时,使用来自所述车辆停车之前的图像数据生成所述移动深度图;以及当确定所述车辆未停车时,放弃生成所述移动深度图。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机在所述车辆上是基本上朝向后方设置的。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机在所述车辆上是基本上朝向侧方设置的。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机安装到所述元件上,并且所述第一摄相机相对于所述环境的所述移动是由于所述元件的打开,与所述车辆的移动无关。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机相对于所述环境的所述移动是由于所述车辆的移动。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机另外被用作侧视镜替换物。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述第一摄相机另外用于人脸识别以便授权用户进入所述车辆。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,当确定所述物体将干涉所述元件向所述空间打开时,阻止所述元件打开;以及当确定所述物体将不干涉所述元件向所述空间打开时,允许所述元件打开。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,检测使所述元件打开的用户输入;响应于检测到用户输入:当确定所述物体将干涉所述元件向所述空间打开时,使所述元件部分地向所述空间打开至所述物体所允许的程度;以及当确定所述物体将不干涉所述元件向所述空间打开时,使所述元件完全地向所述空间打开。除了以上公开的示例中的一个或多个示例之外或可替代地,在一些示例中,所述物体位于所述车辆的所述环境中。
因此,根据上述内容,本公开的一些示例涉及一种非瞬态计算机可读介质,包含指令,当由一个或多个处理器执行时,所述指令致使所述一个或多个处理器执行方法,所述方法包括:从安装在车辆上的第一摄相机接收第一图像数据,所述车辆包括被配置成用于向所述车辆外部空间打开的元件,并且所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。
本公开的一些示例涉及一种车辆,包括:指令,当由一个或多个处理器执行时,所述指令致使所述一个或多个处理器执行方法,所述方法包括:从安装在车辆上的第一摄相机接收第一图像数据,所述车辆包括被配置成用于向所述车辆外部空间打开的元件,并且所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。
尽管已经参照附图充分地描述了本公开的示例,应当注意的是本领技术人员能够认识到各种明显变化和修改。这种变化和修改应当被认为被包括在所附权利要求书所限定的本公开的示例的范围内。
Claims (16)
1.一种系统,包括:
一个或多个处理器;以及
存储器,包含指令,当由所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行方法,所述方法包括:
从安装在车辆上的第一摄相机接收图像数据,所述车辆包括被配置成向车辆外部空间打开的元件,并且所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及
确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。
2.根据权利要求1所述的系统,其中,所述元件包括车门,所述车门被配置成向车辆外部的交互空间打开。
3.根据权利要求1所述的系统,其中,确定所述对象是否将干涉所述元件向所述空间打开包括:
使用所述图像数据生成所述车辆的所述环境的移动深度图,所述移动深度图包含所述物体;
当确定所述移动深度图中的所述物体位于所述元件被配置成向其打开的所述空间内时,确定所述物体将干涉所述元件向所述空间打开;以及
当确定所述移动深度图中的所述物体不位于所述元件被配置成向其打开的所述空间内时,确定所述物体不会干涉所述元件向所述空间打开。
4.根据权利要求3所述的系统,其中,生成所述移动深度图包括:
当确定所述车辆将可能在某个时间阈值内停车时,生成所述移动深度图;以及
当确定所述车辆将不可能在所述时间阈值内停车时,放弃生成所述移动深度图。
5.根据权利要求3所述的系统,其中,生成所述移动深度图包括:
当确定所述车辆已停车时,使用来自所述车辆停车之前的图像数据生成所述移动深度图;以及
当确定所述车辆未停车时,放弃生成所述移动深度图。
6.根据权利要求1所述的系统,其中,所述第一摄相机在所述车辆上是基本上朝向后方设置的。
7.根据权利要求1所述的系统,其中,所述第一摄相机在所述车辆上是基本上朝向侧方设置的。
8.根据权利要求1所述的系统,其中,所述第一摄相机安装到所述元件上,并且所述第一摄相机相对于所述环境的所述移动是由于所述元件的打开,与所述车辆的移动无关。
9.根据权利要求1所述的系统,其中,所述第一摄相机相对于所述环境的所述移动是由于所述车辆的移动。
10.根据权利要求1所述的系统,其中,所述第一摄相机另外被用作侧视镜替换物。
11.根据权利要求1所述的系统,其中,所述第一摄相机另外用于人脸识别以便授权用户进入所述车辆。
12.根据权利要求1所述的系统,其中,所述方法还包括:
当确定所述物体将干涉所述元件向所述空间打开时,阻止所述元件打开;以及
当确定所述物体不会干涉所述元件向所述空间打开时,允许所述元件打开。
13.根据权利要求1所述的系统,其中,所述方法进一步包括:
检测用于打开所述元件的用户输入;
响应于检测到的用户输入:
当确定所述物体将干涉所述元件向所述空间打开时,使所述元件部分地向所述空间打开至所述物体所允许的程度;以及
当确定所述物体不会干涉所述元件向所述空间打开时,使所述元件完全地向所述空间打开。
14.根据权利要求1所述的系统,其中,所述物体位于所述车辆的所述环境中。
15.一种非瞬态计算机可读介质,包含指令,当由一个或多个处理器执行时,所述指令使所述一个或多个处理器执行方法,所述方法包括:
从安装在车辆上的第一摄相机接收图像数据,所述车辆包括被配置成向车辆外部空间打开的元件,并且所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及
确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。
16.一种车辆,包括:
第一摄相机;
一个或多个处理器,耦合到所述第一摄相机;
车门致动器,耦合到所述一个或多个处理器;
元件,被配置成通过使用所述车门致动器而向车辆外部空间打开;以及
存储器,包含指令,当由所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行方法,所述方法包括:
从所述第一摄相机接收图像数据,所述图像数据指示所述第一摄相机相对于所述车辆的环境的移动;以及
确定位于所述车辆外部的物体是否将干涉所述元件向所述空间打开,所述确定基于所述图像数据中所指示的所述第一摄相机相对于所述车辆的所述环境的所述移动。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562272583P | 2015-12-29 | 2015-12-29 | |
| US62/272,583 | 2015-12-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106997454A true CN106997454A (zh) | 2017-08-01 |
Family
ID=59088404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611247289.2A Pending CN106997454A (zh) | 2015-12-29 | 2016-12-29 | 基于摄相机检测接近车辆的物体的系统和方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20170185763A1 (zh) |
| CN (1) | CN106997454A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814120A (zh) * | 2017-11-20 | 2019-05-28 | 福特全球技术公司 | 传感器组件 |
| CN111225845A (zh) * | 2017-08-16 | 2020-06-02 | Lg电子株式会社 | 驾驶辅助系统以及包括驾驶辅助系统的车辆 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10776636B2 (en) * | 2015-12-29 | 2020-09-15 | Faraday&Future Inc. | Stereo camera-based detection of objects proximate to a vehicle |
| KR102458664B1 (ko) | 2018-03-08 | 2022-10-25 | 삼성전자주식회사 | 차량의 주행을 보조하는 전자 장치 및 방법 |
| DE102019102283A1 (de) * | 2019-01-30 | 2020-07-30 | Connaught Electronics Ltd. | Verfahren und System zur Beschränkung der Bewegung einer Tür eines Fahrzeugs |
| JP2021154969A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社アイシン | 障害物検知装置、障害物検知方法、および、プログラム |
| GB2593924B (en) * | 2020-04-09 | 2024-05-22 | Jaguar Land Rover Ltd | Control system for a vehicle |
| KR20220036454A (ko) * | 2020-09-15 | 2022-03-23 | 현대자동차주식회사 | 탑승자의 하차 안전 경고 장치 및 그 방법 |
| GB2632758A (en) * | 2022-04-04 | 2025-02-19 | Mobileye Vision Technologies Ltd | Detecting an open door using a sparse representation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1836939A (zh) * | 2005-03-22 | 2006-09-27 | 高田株式会社 | 对象物检测系统、保护系统、车辆 |
| US20130088578A1 (en) * | 2011-10-06 | 2013-04-11 | Yuhko UMEZAWA | Image processing apparatus and vehicle |
| US20140300732A1 (en) * | 2013-04-05 | 2014-10-09 | Caterpillar Inc. | Motion estimation utilizing range detection-enhanced visual odometry |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6456230B2 (en) * | 2000-02-22 | 2002-09-24 | Delphi Technologies, Inc. | Method and apparatus for detecting vehicle stop |
| US20090000196A1 (en) * | 2007-06-27 | 2009-01-01 | Gmglobal Technology Operations, Inc. | Systems and methods for preventing motor vehicle doors from coming into contact with obstacles |
| US8836784B2 (en) * | 2010-10-27 | 2014-09-16 | Intellectual Ventures Fund 83 Llc | Automotive imaging system for recording exception events |
| TWI455839B (zh) * | 2011-10-31 | 2014-10-11 | Hon Hai Prec Ind Co Ltd | 交通意外防止系統及方法 |
| KR101482171B1 (ko) * | 2013-09-05 | 2015-01-13 | 현대모비스(주) | 어라운드뷰 정차모드 제어방법 |
| US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
| US20160314362A1 (en) * | 2015-04-22 | 2016-10-27 | Ford Global Technologies, Llc | Depth mapping camera for door inside |
| US20160312517A1 (en) * | 2015-04-22 | 2016-10-27 | Ford Global Technologies, Llc | Vehicle and method of opening and closing a door of the vehicle |
| EP3159853B1 (en) * | 2015-10-23 | 2019-03-27 | Harman International Industries, Incorporated | Systems and methods for advanced driver assistance analytics |
| US10776636B2 (en) * | 2015-12-29 | 2020-09-15 | Faraday&Future Inc. | Stereo camera-based detection of objects proximate to a vehicle |
-
2016
- 2016-12-23 US US15/390,418 patent/US20170185763A1/en not_active Abandoned
- 2016-12-29 CN CN201611247289.2A patent/CN106997454A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1836939A (zh) * | 2005-03-22 | 2006-09-27 | 高田株式会社 | 对象物检测系统、保护系统、车辆 |
| US20130088578A1 (en) * | 2011-10-06 | 2013-04-11 | Yuhko UMEZAWA | Image processing apparatus and vehicle |
| US20140300732A1 (en) * | 2013-04-05 | 2014-10-09 | Caterpillar Inc. | Motion estimation utilizing range detection-enhanced visual odometry |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111225845A (zh) * | 2017-08-16 | 2020-06-02 | Lg电子株式会社 | 驾驶辅助系统以及包括驾驶辅助系统的车辆 |
| CN109814120A (zh) * | 2017-11-20 | 2019-05-28 | 福特全球技术公司 | 传感器组件 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170185763A1 (en) | 2017-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106997454A (zh) | 基于摄相机检测接近车辆的物体的系统和方法 | |
| CN111663865B (zh) | 用于汽车应用的雷达的自学习、噪声过滤 | |
| EP3007932B1 (en) | Door protection system | |
| US11124113B2 (en) | Vehicle hatch clearance determining system | |
| US20170314318A1 (en) | Door Assistance System for a Vehicle | |
| US8600606B2 (en) | Vehicle safety systems and methods | |
| US10776636B2 (en) | Stereo camera-based detection of objects proximate to a vehicle | |
| CN107640092B (zh) | 车辆内部和外部监视 | |
| US20190024430A1 (en) | System and method for tracking moving objects to avoid interference with vehicular door operations | |
| US20190145150A1 (en) | Vehicle opening-closing body control device and vehicle opening-closing body control method | |
| US12091900B2 (en) | Method for the operation of a motorized flap arrangement of a motor vehicle | |
| US10407970B2 (en) | Initiation of vehicle liftgate actuation | |
| WO2019069429A1 (ja) | 駐車制御方法及び駐車制御装置 | |
| DE102011087347A1 (de) | Verfahren zur Steuerung mindestens eines Aktors anhand von Signallaufzeitänderungen mindestens eines Ultraschallsensors | |
| CN111655540B (zh) | 用于识别与机动车辆邻近的至少一个对象的方法 | |
| GB2579539A (en) | Vehicle controller | |
| US20170152698A1 (en) | System and method for operating vehicle door | |
| CN107472137B (zh) | 用于表示机动车辆的环境的方法和设备 | |
| US12247428B2 (en) | Method for adjusting an adjusting part on a vehicle and storing signal curves and measured value curves for subsequent testing | |
| DE102012014482A1 (de) | Verfahren und Vorrichtung zum Öffnen einer Tür eines Fahrzeugs | |
| DE102015016514B4 (de) | Verfahren zur automatischen Verriegelung einer Tür eines Kraftfahrzeugs | |
| CN115257740B (zh) | 一种自适应巡航控制的控制方法和装置 | |
| JP7517025B2 (ja) | 車両制御装置および車両制御方法 | |
| JP2018172061A (ja) | 車両制御システム、及び車両制御システムの制御方法 | |
| US20260002398A1 (en) | Device for automatically opening and closing door of vehicle and control method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170801 |
|
| WD01 | Invention patent application deemed withdrawn after publication |