CN111806455A

CN111806455A - 车辆挂接球检测系统

Info

Publication number: CN111806455A
Application number: CN202010277141.3A
Authority: CN
Inventors: 卢克·尼维亚多姆斯基; 尼基尔·纳格拉拉奥; 里克·霍本斯特里克; 理查德·坎贝尔; 马克·鲍尔斯; 陈立辉
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-04-09
Filing date: 2020-04-09
Publication date: 2020-10-23
Also published as: DE102020109912A1; US10780752B1; US20200324593A1

Abstract

本公开提供了“车辆挂接球检测系统”。一种车辆控制系统，包括：成像器，其安装在并朝向所述车辆后部，并且输出图像数据；车辆速度传感器，其安装在所述车辆上，并且输出车辆速度数据；以及图像处理器，其接收所述图像数据和所述车辆速度数据。所述图像处理器被编程为监测来自所述车辆速度传感器的信号，并且当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中定位安装到所述车辆上的挂接球。

Description

车辆挂接球检测系统

技术领域

本公开总体上涉及一种包括用于相对于上面安装有挂接球的车辆定位挂接球的功能性的系统。具体地，本系统在某些自由驾驶条件下运行挂接球定位功能。

背景技术

某些车辆特征受益于已知是否安装了挂接件和挂接件相对于车辆的精确位置。一些示例包括将车辆挂接件对准在目标挂车联接器正下方的自动挂接特征。将车辆对准进入泊车位的自动泊车特征。在倒车行驶时与物体碰撞之前制动的倒车制动辅助特征。取决于挂车舌杆连接的几何形状辅助驾驶员在倒车时操纵挂车的挂车倒退特征。

用于在车辆中使用以检测挂接球的存在和挂接球相对于车辆的位置的充分执行的挂接检测算法可能是有利的。因此，可能需要进一步的发展。

发明内容

根据本公开的一方面，一种车辆控制系统包括：成像器，其安装在并朝向所述车辆后部，并且输出图像数据；车辆速度传感器，其安装在所述车辆上，并且输出车辆速度数据；以及图像处理器，其接收所述图像数据和所述车辆速度数据。所述图像处理器被编程为监测来自所述车辆速度传感器的信号，并且当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中定位安装到所述车辆上的挂接球。

本发明的第一方面的实施例可以包括以下特征中的任一者或组合：

·所述系统还包括车辆换挡机构(switchgear)，所述车辆换挡机构能够在驻车模式与至少一个驾驶模式之间配置，所述图像处理器从所述换挡机构接收状态指示，并且仅当所述换挡机构状态指示与所述车辆从所述驻车模式换挡到所述至少一个驾驶模式相对应并且来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球。

·仅当来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度并低于预定最高速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球；

·所述图像数据包括连续时间间隔的一系列静止图像帧，并且所述特征提取功能包括对连续静止图像的连续分析；

·对连续静止图像的所述连续分析包括针对所述连续静止图像中的每一者推导初步挂接球位置，并且所述特征提取程序对所述连续静止图像中的每一者筛选所述初步挂接球位置以收敛在最终挂接球位置上；

·所述特征提取程序基于对所述连续静止图像的所述分析使用算法自信评估来收敛在最终挂接球位置上，并且当所述自信评估达到预定阈值时确定所述最终挂接球位置；

·所述最终挂接球位置包括检测到的挂接球距所述车辆后部的距离或当所述自信评估达到预定阈值时没有定位挂接球时的无效值中的一者；

·当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度持续直到已经定位了安装到所述车辆上的所述挂接球为止的时间间隔时，所述图像处理器执行所述特征提取功能以在所述图像数据中定位所述挂接球，并且当存在以下一种情况时所述图像处理器停止所述特征提取功能：已经定位了所述挂接球或者来自所述车辆速度传感器的所述信号指示所述车辆速度已经改变为低于所述预定最低速度；

·当所述特征提取功能定位所述挂接球时，所述图像处理器将所述挂接球的位置存储在存储器中；

·所述图像处理器在将所述挂接球的所述位置存储在存储器中之前将所述挂接球的所述位置与至少一个先前存储的挂接球位置进行比较，并且仅当所述挂接球的所述位置与所述一个或多个先前存储的挂接球位置不同时将所述挂接球的所述位置存储在存储器中；

·所述系统还包括车辆转向系统，并且所述图像处理器包括在控制器中，所述控制器使用所述图像数据推导挂车的联接器的位置数据，推导车辆路径以将存储在存储器中的所述挂接球的所述位置定位在与所述联接器对准的位置中，并向所述转向系统输出转向控制信号以沿着所述路径维持所述车辆；

·所述系统还包括车辆转向系统和包括旋转元件的输入，并且所述图像处理器包括在控制器中，所述控制器使用来自所述旋转元件的输入作为挂车倒退控制信号并控制所述车辆转向系统以在所述车辆与挂车在所述挂接球位置联接时将所述车辆维持在使用所述挂接球位置确定的后退路径上；以及

·所述系统还包括车辆制动系统，并且所述图像处理器包括在控制器中，所述控制器基于包括所述挂接球位置的所述车辆后部的位置来执行至少一个自动倒车制动特征。

根据本公开的另一方面，一种车辆包括：车辆转向系统；成像器，其安装在并朝向所述车辆后部，并且输出图像数据；车辆速度传感器，其安装在所述车辆上，并且输出车辆速度数据；以及控制器。所述控制器以自由驾驶模式操作，包括接收所述图像数据和所述车辆速度数据；监测来自所述车辆速度传感器的信号，并且当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中确定安装到所述车辆上的挂接球的位置。所述控制器还以挂接辅助驾驶模式操作，包括向所述转向系统输出转向控制信号以使所述车辆倒车以将所述挂接球位置与挂车的联接器对准。

根据本公开的另一方面，一种用于确定与车辆联接的挂接球的位置的方法包括：监测来自车辆速度传感器的信号；以及当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时，对从安装在并朝向所述车辆后部的成像器接收的图像数据执行特征提取功能以在所述图像数据中识别安装到所述车辆上的挂接球；以及从所述特征提取功能的输出中提取所述挂接球的所述位置。

在研究以下说明书、权利要求和附图之后，所属领域技术人员将理解和了解本公开的这些和其他方面、目的和特征。

附图说明

在附图中：

图1是车辆相对于挂车处于未挂接位置的透视图；

图2是根据本公开的一方面的系统的图，所述系统执行用于辅助车辆(包括相对于挂车)的各种操纵并用于结合此类操纵定位车辆的挂接球的操作；

图3是在用于辅助将车辆与挂车在用于将挂车挂接到车辆的位置中对准的可由系统执行的序列的步骤期间车辆的俯视示意图；

图4是在与挂车的对准序列的后一步骤期间车辆的俯视示意图，并且示出了车辆的挂接球在推导的对准路径尽头的位置；

图5A是在处于静止状态的车辆执行的不成功挂接球识别和定位过程期间从车辆相机接收的图像的描绘；

图5B是在处于静止状态的车辆执行的另一不成功挂接球识别和定位过程期间从车辆相机接收的替代图像的描绘；

图5C是在处于静止状态的车辆执行的另一不成功挂接球识别和定位过程期间从车辆相机接收的替代图像的描绘；

图6是在处于运动状态的车辆执行的成功挂接球识别和定位过程期间从车辆相机接收的图像的描绘；

图7是具有用于操作系统的挂车倒退辅助功能的可旋转旋钮的转向输入装置的平面图；

图8是示出车辆和挂车使用挂车倒退辅助系统实施各种曲率选择的倒退序列的示意图；

图9是示出用于根据系统的另一操作将车辆操纵到泊车位中的序列的俯视示意图；

图10是描绘挂接球识别和定位过程中的步骤的流程图；以及

图11是描绘用于存储挂接球位置信息并从系统存储器访问挂接球位置信息的步骤的流程图。

具体实施方式

出于在本文中进行描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“竖直”、“水平”、“内部”、“外部”和其衍生词应当如图1中定向的那样涉及本装置。然而，应当理解，除非明确地相反指明，否则所述装置可以采用各种替代定向。还应当理解，附图中示出且在以下说明书中描述的具体装置和过程仅仅是所附权利要求中限定的创造性概念的示例性实施例。因此，除非权利要求另外明确指出，否则与本文公开的实施例相关的具体尺寸和其他物理特性不应当被视为是限制性的。另外，除非另有指明，否则应当理解，对沿或沿着给定方向等延伸的特定特征或部件的讨论并不意味着所述特征或所述部件沿此方向遵循笔线或轴线，或者仅沿此方向或在此平面上延伸而没有其他方向分量或偏差，除非另有说明。

总体上参考图1至图11，附图标记10表示包括子系统和程序(例如，如图2中所示并在本文各个示例本文所讨论的路径推导程序66、挂接辅助操作程序68、挂接角程序130、曲率程序98、挂车倒退辅助(“TBA”)操作程序和泊车辅助程序134)的各种组合的车辆控制系统10。一方面，车辆控制系统10包括：成像器(例如，相机48)，其安装在并朝向车辆12后部，并且输出图像数据55；车辆速度传感器56，其安装在车辆上，并且输出车辆速度数据；以及图像处理器(例如，执行图像处理程序64的控制器26)，其接收图像数据55和车辆速度数据。图像处理器(如下文所讨论的，执行图像处理程序64的控制器26)被编程为监测来自车辆速度传感器56的信号，并且当来自车辆速度传感器56的信号指示车辆速度高于预定最低速度时执行特征提取功能以在图像数据55中定位安装到车辆12上的挂接球34。

如图1和图2中所示，车辆控制系统10可以是驾驶员辅助系统10的形式，其中上述子系统和程序被配置为辅助车辆12的驾驶员进行各种操纵。在这方面，驾驶员辅助系统10可以被认为具有可以通常被描述为在至少这些方面促进自主或半自主驾驶的功能性。在图2中所示的系统10的示例中，系统10被配置为辅助驾驶员进行的操纵包括将车辆12与挂车(诸如图1中所描绘的挂车16)挂接、当与挂车16挂接时使车辆12倒车，以及停放车辆12。在这方面，系统10包括上述控制器26，所述控制器具有微处理器60等和存储器62，所述存储器包括可以由微处理器60执行以按期望方式控制车辆12以辅助驾驶员执行这些操纵的操作程序。具体地，存储器62被示为包括：路径程序66，其用于确定路径32以将车辆12与挂车16对准以将这两者连接在一起；以及挂接辅助(“HA”)操作程序68，其用于控制车辆12沿着该路径32的移动，如下文关于图3和图4进一步所讨论的。另外，存储器62包括挂接角估计程序130和曲率程序132以用于在车辆12与挂车16联接时控制车辆的后退以沿着可由驾驶员控制/选择的曲率维持组合的车辆12和挂车16，如下文关于图7和图8进一步讨论的。更进一步地，存储器62包括泊车辅助程序134，其控制车辆12移动进入不同配置的泊车位，如下文关于图9进一步描述的。

如本文中所讨论的，控制器26在执行这些各种程序时以各种方式使用成像处理程序64以识别车辆12周围的某些特征，在参考系中相对于车辆12定位此类特征，并利用车辆12的移动跟踪此类特征。在这方面，与挂车挂接辅助、挂车后退辅助和泊车辅助相关联的程序可以使用图像处理程序64来确定挂车挂接球34是否安装在车辆12上，并确定检测到的挂接球34相对于车辆12(包括相对于车辆12后部，诸如相对于相邻保险杠等)的位置。如下面进一步描述的，挂接辅助功能性利用挂接球34的位置来确定车辆12何时适当地与其连接的挂车16对准，并且挂车后退辅助功能性使用挂接球34的位置来控制车辆12和挂车16组合的后退曲率。此外，由于泊车操纵通常沿倒退方向执行，所以使得挂接球34的存在和其相对于车辆12的位置可供泊车程序使用可以帮助引导车辆12进入期望的泊车位而不引起挂接球34(或相关球座35)与车辆12周围的任何事物碰撞。以类似方式，挂接球34的位置38可以有用于各种附加的车辆系统，包括倒退警报系统，所述倒退警报系统可以调整其参数以考虑挂接球34的位置。因此，目前也可以预期具有该功能性和类似功能性的控制器26的变型。车辆12中的控制器26或附加的车载计算机可以允许用户选择性地植入此类程序。

关于如图2的系统图中所示的驾驶员辅助系统10的总体操作，系统10包括获得或以其他方式提供车辆状态相关信息的各种传感器和装置，所述车辆状态相关信息可用于生成和输出与系统10的挂接辅助功能性有关的倒车挂接路径控制信号，以及生成和输出与系统10的挂车倒退辅助功能性有关的挂车后退路径控制信号，并控制车辆12移动进入泊车位中的运动。该信息包括来自定位系统22的定位信息，所述定位系统可以包括航迹推算装置24，或者另外或作为替代方案包括全球定位系统(GPS)，以基于装置在定位系统22内的一个或多个位置来确定车辆12的坐标位置。具体地，航迹推算装置24可以至少基于车辆速度和转向角δ在局部坐标系82内建立和跟踪车辆12的坐标位置。由驾驶辅助系统10接收的其他车辆信息可以包括来自速度传感器56的车辆12的速度和来自横摆率传感器58的车辆12的横摆率。可以预期，在附加的实施例中，接近传感器54或其阵列以及其他车辆传感器和装置可以提供传感器信号或其他信息，诸如挂车16(包括检测到的联接器14)的序列图像，驾驶员辅助系统10的控制器26可以用各种程序处理所述序列图像以(例如，基于距离D_h和角α_h)确定挂车16的联接器14在车辆12的一般区域中的高度H和位置，如下文进一步讨论的。

如图2中进一步所示，驾驶员辅助系统10的一个实施例与车辆12的转向系统20进行通信，所述转向系统可以是包括电动转向马达74的动力助力转向系统20以操作车辆12的转向轮76(图1)，从而使车辆12以车辆横摆随车辆速度和转向角δ变化的这种方式移动。在所示实施例中，动力助力转向系统20是包括电动转向马达74的电动助力转向(“EPAS”)系统，其用于基于转向命令使转向轮76转弯到转向角δ，其中转向角δ可以由动力助力转向系统20的转向角传感器78感测到。转向命令69可以由驾驶员辅助系统10提供以在挂车挂接对准操纵期间自主转向，并且可以替代地经由车辆12的方向盘的旋转位置(例如，方向盘转角)手动提供。然而，在所示实施例中，车辆12的方向盘与车辆12的转向轮76机械地联接，使得方向盘与转向轮76一致地移动，从而防止在自主转向期间通过方向盘进行手动干预。更具体地，扭矩传感器80可以设置在动力助力转向系统20上，所述扭矩传感器感测转向轮上的扭矩，所述扭矩是转向轮的自主控制所预期的并且因此指示手动干预，其中驾驶员辅助系统10可以警告驾驶员停止使用转向轮进行手动干预和/或中断自主转向。在替代实施例中，一些车辆具有动力助力转向系统20，所述动力助力转向系统允许方向盘与这种车辆的转向轮76的移动部分地脱离。

继续参考图2，动力助力转向系统20向驾驶员辅助系统10的控制器26提供与车辆12的转向轮76的旋转位置相关的信息，包括转向角δ。除了车辆12的其他条件之外，所示实施例中的控制器26还处理当前转向角，以沿着期望路径32(图3)引导车辆12。可以设想，在附加的实施例中，驾驶员辅助系统10可以是动力助力转向系统20的集成部件。例如，动力助力转向系统20可以包括用于根据从以下各项接收的信息的全部或一部分来生成车辆转向信息和命令的挂接辅助程序和挂车倒退辅助程序：成像系统18、动力助力转向系统20、车辆制动控制系统70、动力传动系统控制系统72和其他车辆传感器和装置以及人机界面40，如下文进一步讨论的。

还如图2中所示，车辆制动控制系统70还可以与控制器26进行通信以向驾驶员辅助系统10提供制动信息(诸如车辆车轮速度)并从控制器26接收制动命令。例如，车辆速度信息可以根据由制动控制系统70监测的各个车轮速度来确定。车辆速度还可以根据动力传动系统控制系统72、速度传感器56和定位系统22以及使用相机48、50、52a、52b中的一者或多者来跟踪可识别地面物品或部分随时间变化的位置来进行确定。在一些实施例中，个别车轮速度还可以用于确定车辆横摆率γ，所述车辆横摆率γ可以被提供给驾驶员辅助系统10以代替或补充车辆横摆率传感器58。驾驶员辅助系统10还可以向制动控制系统70提供车辆制动信息，以用于允许驾驶员辅助系统10在挂车16的后退期间控制车辆12的制动。例如，在一些实施例中，驾驶员辅助系统10可以在车辆12与挂车16的联接器14对准期间(即，在实施挂接辅助功能性时)调节车辆12的速度，这可以减少与挂车16发生碰撞的可能性，并且可以使得车辆12在路径32的确定的端点33处完全停止。本文中公开的是，驾驶员辅助系统10可以另外或替代地发出警报信号，所述警报信号对应于关于与挂车16的一部分的实际、即将发生和/或预期碰撞的通知。如图2中所示的实施例中所示，动力传动系统控制系统72还可以与驾驶员辅助系统10进行交互，以用于在与挂车16进行部分或自主对准期间调节车辆12的速度和加速度。如上文所提及的，调节车辆12的速度可以有利于防止与挂车16碰撞。

另外，驾驶员辅助系统10可以与车辆12的人机界面(“HMI”)40进行通信。HMI 40可以包括车辆显示器44，诸如中控面板安装的导航或娱乐显示器(图1)。HMI 40还包括输入装置，其可以通过将显示器44配置为具有电路46的触摸屏42的一部分以接收与显示器44上的位置对应的输入来实施。代替触摸屏42或除了触摸屏之外，可以使用其他形式的输入(包括一个或多个操纵杆、数字输入盘等)。此外，驾驶员辅助系统10可以经由无线通信与HMI 40的另一个实施例进行通信，诸如与包括一个或多个智能电话的一个或多个手持式或便携式装置96(图1)进行通信。便携式装置96还可以包括用于向用户显示一个或多个图像和其他信息的显示器44。例如，便携式装置96可以在显示器44上显示挂车16的一个或多个图像，并且还能够经由触摸屏电路46接收远程用户输入。此外，便携式装置96可以提供反馈信息，诸如视觉、听觉和触觉警报。

仍然参考图2中所示的实施例，控制器26被配置有微处理器60，以处理存储在存储器62中的逻辑和程序，所述逻辑和程序接收来自上述传感器和车辆系统的信息，所述传感器和车辆系统包括成像系统18、动力助力转向系统20、车辆制动控制系统70、动力传动系统控制系统72以及其他车辆传感器和装置。控制器26可以根据所接收的信息的全部或一部分来生成车辆转向信息和命令(即，上文提及的倒车挂接路径控制信号和挂车后退路径控制信号)。在挂接辅助模式期间，可以将车辆转向信息和命令提供给动力助力转向系统20以在挂接辅助模式期间用于影响车辆12的转向，从而实现用于与挂车16的联接器14对准的命令的行驶路径32(图3)。控制器26可以包括微处理器60和/或其他模拟和/或数字电路以用于处理一个或多个程序。此外，控制器26可以包括存储器62以用于存储一个或多个程序，所述程序包括如下面将进一步讨论的图像处理程序64、路径推导程序66、操作程序68、挂接角程序130、曲率程序98、挂车倒退辅助操作程序132，以及泊车辅助程序134。应当明白，控制器26可以是独立的专用控制器，或者可以是与其他控制功能集成的共享控制器，诸如与车辆传感器系统、动力助力转向系统20以及其他可设想到的车载或非车载车辆控制系统集成。还应当理解，图像处理程序64可以由例如车辆12的独立成像系统内可将其图像处理的结果输出到车辆12的其他部件和系统的专用处理器(包括微处理器60)实施。此外，完成诸如本文所描述的图像处理功能的任何系统、计算机、处理器等在本文中可以称为“图像处理器”，而不考虑它还可以实施的其他功能(包括与执行图像处理程序64同时实施的功能)。

系统10还可以并入成像系统18，所述成像系统包括一个或多个外部相机，在所示的示例中，所述一个或多个外部相机包括后视相机48、中央高位刹车灯(CMHSL)相机50以及侧视相机52a和52b，但是包括另外的或替代相机的其他布置也是可能的。在一个示例中，成像系统18可以仅包括后视相机48，或者可以被配置为使得系统10仅利用具有多个外部相机的车辆中的后视相机48。在另一个示例中，包括在成像系统18中的各种相机48、50、52a、52b可以被定位成在它们相应的视野中大致重叠，在所描绘的布置中，所述相应的视野包括视野49、51、53a和53b以分别与后视相机48、中央高位刹车灯(CMHSL)相机50和侧视相机52a和52b相对应。通过这种方式，来自两个或更多个相机的图像数据55可以在图像处理程序64中或在成像系统18内的另一个专用图像处理器中组合成单个图像。在这种示例的扩展中，图像数据55可以用于推导立体图像数据，所述立体图像数据可以用于重建各个视野49、51、53a、53b的重叠区域内的一个或多个区域的三维场景，包括其中的任何物体(例如，障碍物或联接器14)。在一个实施例中，根据图像源之间的已知空间关系，包括同一物体的两个图像的使用可以用于确定物体相对于两个图像源的位置。在这方面，图像处理程序64可以使用已知的编程和/或功能性来识别来自成像系统18内的各种相机48、50、52a和52b的图像数据55内的物体。在任一个示例中，图像处理程序64可以包括与存在于车辆12上或被系统10利用的任何相机48、50、52a和52b的定位(例如，包括相对于车辆12的中心36(图1)的定位)有关的信息，例如使得相机48、50、52a和52b相对于中心36和/或彼此的位置可以用于物体定位计算，以及用于产生例如相对于车辆12的中心36或者车辆12的其他特征(诸如挂接球34(图1)，相对于中心36的位置是已知的)的物体位置数据。

参考图5A至图5C和图6，在一些示例中，后视相机48可以设置在尾板94中或车辆12的任何其他后部内，并且被配置为提供车辆12后方的图像数据55。相机48能够对挂接球34的俯视图成像，并且可以将图像数据55提供给控制器26以供图像处理程序64使用来在图像数据55内确定挂接球34的位置38，然后使所述位置如上文所讨论的那样与相机48的定位和配置相关以确定挂接球34相对于车辆12(例如，相对于中心36)的相对位置。一旦挂接球34的位置38被确定，系统10就可以将位置38和/或挂接球34的位置存储在存储器62中，包括以供将来使用，如下面所讨论的。如上面所讨论的，在执行上文所讨论的车辆控制功能的变化的典型系统中，对于任何这样的特征，挂接球34的定位功能在特征激活时运行。

如应当明白的，本文描述的系统10的各种驾驶辅助特征(例如，挂接辅助、挂车倒退辅助、泊车辅助等)通常在车辆12处于静止状态时启动，因为这提高了系统10识别例如挂车16的联接器14和/或执行切换过程以允许车辆12承担对各种驾驶功能的控制的能力。然而，在静止状态时，来自后视相机48的图像数据55包括挂接球34后面的静态背景B，如图5A至图5C中所示，所述静态背景可能不利于图像处理程序64尝试识别挂接球34。在一些情况下，即使存在挂接球34，尝试在静止状态时定位挂接球仍然可能导致未检测到挂接球，诸如在图5A的示例中(其中挂接球34被示为被阴影遮蔽)。在其他情况下，诸如在图5B的示例中，诸如由于在图像处理程序64的一部分中将挂接球的环境特征(例如，岩石等)混淆，可能不准确地检测到挂接位置38′。在这种情况下，挂接球34甚至可以被认为在没有安装挂接件时被检测到。在图5C中所示的另一示例中，各种环境条件(诸如照明等和/或地面纹理等)可以干扰确定检测到的挂接件34的实际位置38′的准确性。至少由于这个原因，可能不利于尝试在激活驾驶特征时使用图像处理程序64来定位挂接球34。

在这方面，当使用挂接球位置38的驾驶员辅助特征都未运行时，在车辆12在驾驶员的控制下处于自由驾驶模式(即，在正常驾驶(前进或倒车)期间)的情况下，本文描述的控制器26操作尝试使用图像处理程序64定位挂接球34。在这方面，在可以激活此类特征之前可能需要至少一些自由驾驶。然而，当满足这种要求时，此类特征的性能可以通过改进对挂接球位置38的确定来改进，相应地所述挂接球位置可以存储在存储器62中以在需要时供任何程序(路径推导程序66、挂接辅助操作程序68、挂接角程序130、曲率程序98、TBA操作程序以及泊车辅助程序134)使用。

因此，本系统10可以通过在车辆12低速自由驾驶期间执行任务来使用图像处理程序64提高挂接检测的性能。在这方面，图像处理程序64可以在车辆运动期间更好地执行，因为挂接球34后面的背景B改变，从而允许图像处理程序64更容易地和/或以提高的准确度区分挂接球34。通过这种方式，对挂接球34的位置38的确定的准确度提高，并且可以降低(诸如由在上文关于图5A至图5C讨论的示例中的状况引起的)漏报检测率和误报检测率。

在本系统10的实施方式中，可以针对使用图像处理程序64进行挂接球34检测选择特定条件。通过这种方式，控制器26可以包括逻辑来规定何时运行和暂停或终止所述功能(例如，使得它在整个驾驶循环期间都不运行)。另外，在考虑数据可访问性和快闪存储器使用寿命的情况下描述了数据存储的框架。一方面，仅当来自车辆速度传感器56的信号指示车辆速度高于预定最低速度时，图像处理程序64才执行特征提取功能以定位挂接球34。另外，当来自车辆速度传感器56的信号指示车辆速度高于预定最高速度时，图像处理程序64可以结束特征提取功能以停止尝试定位挂接球34。在这方面，图像数据55中的背景B在某些速度以上可能变得模糊，使得背景B对于图像处理程序64表现为立体物，这降低在以与车辆12在静止状态或低速时的方式相同的方式定位挂接球34的有效性。另外，使用图像处理程序64定位挂接球34可以被认为是低优先级应用程序，因此其他车辆12功能(包括控制器26的、车辆12的发动机控制单元(“ECU”)等的其他功能)在这方面可以覆盖图像处理程序64。

在这方面，当来自车辆速度传感器56的信号指示车辆速度高于预定最低速度时，图像控制器26通过图像处理程序64执行特征提取功能以在图像数据55中定位安装到车辆上的挂接球34。只要速度高于最低速度，程序64就继续操作直到已经定位挂接球34为止。在附加示例中，当来自车辆速度传感器56的信号指示车辆超过第二最高速度时，控制器26可以停止特征提取功能。在此类情况下，应当注意，特征提取功能连续运行，从而分析图像数据55的流中所包括的每个相机帧。每个帧被连续分析，直到程序64获得与挂接球34的位置38相对应的可接受自信度或不存在挂接球的确定。通过这种方式，图像数据55包括连续时间间隔的一系列静止图像帧，并且所述特征提取功能包括对连续静止图像的连续分析。对于每一帧，图像处理程序64推导初步挂接球位置38，并且特征提取程序对连续静止图像中的每一者筛选初步挂接球位置38以收敛在最终挂接球位置上。在这方面，如果例如当车辆12的速度被检测为低于最低速度或高于最高速度时图像处理程序64的特征提取过程可以暂停，使得当所述条件适合并且所述过程恢复时，它不必重新开始。

特征提取程序通过在初始图像帧中推导初步挂接球位置而再次开始，并且基于对连续静止图像的分析使用算法自信评估来收敛在最终挂接球位置38上，当所述自信评估达到预定阈值时确定所述最终挂接球位置。所述最终挂接球位置包括当所述自信评估达到预定阈值时检测到的挂接球距所述车辆后部的距离或没有定位挂接球时的无效值中的一者。所捕获的图像的数量和/或捕获图像之间的所经过的时间可以是预定的。所捕获的图像的预定数量可以如下所述取决于平均的或组合的图像的像素或强度值。控制器26可以通过使用程序64将所捕获的图像平均化或组合为平均的或组合的图像块。通常，平均化过程包括在任选地稳定所捕获的图像(即，将它们对准以考虑相机48的轻微振动)之后将所述系列图像的像素进行平均化。控制器26可以在平均的或组合的图像内找到物体的外边缘。控制器26可以通过分析平均的或组合的图像找到外边缘。通常，分析过程涉及确定静态地贴附到车辆12的物品与没有检测到的背景噪声(例如，由于背景图像B的移动而实现)之间的界面。控制器26将平均的图像上的特定像素与现实世界空间位置相关联以定位挂接球在既定参考系内相对于车辆12的位置38。在附加方面中，所述位置数据还可以包括已知参考长度，诸如挂接球34的直径，这也可以允许所述位置数据包括挂接球34的高度。因此，控制器26可以确定由特定像素定义的物体的尺寸。例如，球座35的长度可以与挂接球34的直径进行比较以通过比较像素数量来确定球座35的长度。然而，应当明白，也可以通过车辆12中的其他传感器或模块使用任何距离测量技术来计算球座35的长度。

当以所需自信水平到达挂接球34的位置38时，根据图像处理程序64的特定参数，控制器26提取挂接件34的位置数据(例如，至少挂接件与沿着车辆12的纵向轴线13的中心36的关系)，并将挂接件34的位置38存储在存储器62中。如上文所讨论的，控制器26可以被配置为通过在实际上将挂接球的位置存储在存储器62中之前将挂接球34球的位置38与至少一个先前存储的挂接球34位置38进行比较来帮助避免存储器62耗损。仅当挂接球34的位置38与一个或多个先前存储的挂接球34位置38不同时，控制器26才可以将由图像处理程序64输出的挂接球34位置38存储在存储器62中。在被存储时，挂接球位置38被存储在永久或半永久存储器62中以通过稍晚时间请求该数据的所有特征(包括但不限于上面讨论的示例)进行访问。应当注意，永久存储器的寿命为车辆12的钥匙循环，因为一些特征可以被配置为访问上一个正确检测/位置(例如，如果特征在夜间启动，当没有做出检测时，取决于所述特征)。在这些情况下，可以假设自从上次检测到以来尚未移除挂接球34，或者如果先前未检测到挂接球，则反之亦然。如果使用该数据的车辆12的特定特征的输入要求不希望已知整个钥匙循环的数据，则半永久存储器可能已经足够了。因为永久快闪存储器通常可能随着使用的进行而耗损，所以仅一旦挂接球数据从前一次测量开始发生变化时才写入挂接球位置38数据。

另一方面，控制器26可以被配置为仅当车辆12换挡或在被确定高于最低速度之前换挡离开其驻车模式/挡位时才实施挂接检测功能。在这方面，控制器26与车辆换挡机构(也被称为挡位选择器)94进行通信，所述车辆换挡机构被配置为输出可由控制器26接收的换挡机构状态指示。挡位选择器94能够在上述驻车模式与至少一个驾驶模式之间进行配置。因此，控制器26从换挡机构94接收状态指示并且仅在来自车辆速度传感器的信号55指示信号高于预定最低速度时才寻求执行特征提取功能以在换挡机构94的状态指示与车辆从驻车模式换挡为至少一个驾驶模式(例如，具有自动变速器的车辆12中的基本驾驶模式)相对应之后定位挂接球34。该初始步骤导致挂接检测功能在所有低速下都不会连续运行，从而阻止例如在交通堵塞或城市驾驶期间数百次重启所述功能。经过如此配置的控制器26仅在车辆换挡为驻车挡并退出驻车挡或关闭、再次起动并换挡为驻车挡之后才重新运行。在这方面，可以认为在车辆12未处于驻车挡的情况下车辆挂接球34的状态非常有可能不会发生变化(即，被更换、安装或移除)。

一方面，图像处理程序64还可以被具体编程或以其他方式被配置为在图像数据55内定位联接器14。在一个示例中，图像处理程序64可以基于联接器14或一般挂接联接器的存储的或另外已知的视觉特性而识别图像数据55内的联接器14。在另一个实施例中，贴纸等形式的标记91可以按照类似于共同转让的美国专利第9,102,271号中所述的方式贴附在挂车16上的相对于联接器14的指定位置，所述美国专利的全部公开内容通过引用并入本文中。在这种实施例中，图像处理程序64可以被编程以针对图像数据55中的位置识别标记91的特性以及联接器14相对于这种标记91的定位，使得可以基于标记91位置来确定联接器14的位置28。另外或替代地，控制器26可以经由触摸屏42上的提示来寻求对所确定的联接器14的确认。如果未对联接器14确定进行确认，则可以提供进一步的图像处理，或者可以使用触摸屏42或另一个输入来允许用户移动触摸屏42上的联接器14的所描绘位置28来促进对联接器14的位置28进行用户调整，控制器26使用所述触摸屏或另一个输入来基于图像数据55的上述使用来调整对联接器14相对于车辆12的位置28的确定。替代地，用户可以在视觉上确定联接器14在HMI 40上所呈现的图像内的位置28，并且可以与共同未决的共同转让的美国专利申请第15/583,014号中所描述的方式类似的方式提供触摸输入联接器14，所述专利申请的全部公开内容以引用方式并入本文。然后，图像处理程序64可以将触摸输入的位置与应用于图像30的坐标系82相关。

如图3和图4中所示，控制器26的上述挂接辅助功能性可以根据上述过程使用存储在存储器中的挂接球34的位置38。在这方面，图像处理程序64和操作程序68可以彼此结合使用以确定路径32，驾驶员辅助系统10可以沿着所述路径引导车辆12以将挂接球34与挂车16的联接器14对准。通过这种方式，在诸如通过在例如触摸屏42上的用户输入启动驾驶员辅助系统10时，图像处理程序64可以在成像系统18中的一个或多个相机(诸如相机48)的图像数据内识别联接器14，并且使用图像数据55确定距联接器14的距离D_c和联接器14与车辆12的纵向轴线13之间的偏移角α_c来估计联接器14相对于挂接球34的位置28。一旦已经确定并且任选地由用户确认了联接器14的定位D_c、α_c，控制器26就可以控制至少车辆转向系统20以控制车辆12沿着期望路径32的移动以将车辆挂接球34与联接器14对准。

继续参考图3并且另外参考图2，在如上面所讨论估计了联接器14的定位D_c、α_c之后，在一个示例中，控制器26可以执行路径推导程序66以确定车辆路径32以将车辆挂接球34与联接器14对准。具体地，控制器26可以将车辆12的各种特性存储在存储器62中，所述各种特性包括轴距W、从后车桥到挂接球34的距离(其在本文称为牵引杆长度L)以及转向轮76可以转弯的最大角δ_max。如图所示，轴距W和当前转向角δ可以用于根据以下方程确定车辆12的对应转弯半径p：

其中轴距W是固定的，并且转向角δ可以通过控制器26与转向系统20通信而进行控制，如上文所讨论的。通过这种方式，当已知最大转向角δ_max时，转弯半径p_min的最小可能值被确定为：

路径推导程序66可以被编程为推导车辆路径32以将存储在存储器62中的车辆挂接球34的位置与联接器14的估计位置28对准，这考虑了所确定的最小转弯半径p_min以允许路径32使用最小量的空间和操纵。通过这种方式，路径推导程序66可以使用车辆12的可以基于车辆12的中心36的位置、沿着后车桥的位置、航迹推算装置24的位置或者坐标系82上的另一个已知位置来确定距联接器14的侧向距离和距联接器14的向后距离两者，并且推导在转向系统20的极限内实现了车辆12所需的侧向和向后移动的路径32。对路径32的推导还考虑了挂接球34相对于车辆12的跟踪位置(其可以与车辆12的质心36、GPS接收器的位置或另一个指定的已知区域相对应)的位置(例如，在确定长度L时使用)，以确定车辆12的所需定位以将挂接球34与联接器14对准。在其他方面，系统10还可以被配置为将车辆12在前向驾驶挡位与倒车驾驶挡位之间换挡，使得对路径32的推导可以包括车辆12的前向驾驶和后向驾驶两者以实现期望的侧向移动，如共同未决的共同转让的美国专利申请第15/583,014号中进一步所述的，所述专利申请的全部公开内容以引用方式并入本文。

继续参考图4，一旦已经确定了路径32(包括确定端点33)，系统10就控制车辆12朝向挂车16的倒车行驶以使挂接球34更接近从而与连接器14对准。在一个实施方式中，控制器26可以如上面所讨论确定路径32和端点33，并且可以控制车辆12(并且进一步任选地，动力传动系统72)的转向和制动，以控制车辆12沿着路径32的移动以使车辆12沿挂接球34与联接器14对准的期望方向到达路径32的端点33。通过类似方式，操作程序68的修改变型可以通过预定操纵序列进行，所述预定操纵序列涉及将车辆12以最大转向角δ_max或低于该最大转向角转向，同时跟踪联接器14的位置D_c、α_c以将挂接球34的已知相对位置收敛到所述挂接球相对于联接器14的跟踪位置28的期望位置，如图4中所示。随后，系统10可以向用户指示所述操作完成并且用户可以离开车辆12并将联接器14降低到挂接球34上方的接合位置并且可以根据挂车16的特定特性将联接器14与挂接球34固定在一起。

转向图7和图8，在至少一个实施方式中，系统10将车辆12如上所述倒车到相对于挂车16的对准位置的能力可以在与一旦挂车16已经通过挂接球34与车辆12联接就辅助驾驶员利用车辆12将挂车16倒车的另一种能力结合时是有用的。在上文讨论的示例中，系统10还被配置用于通过允许车辆12的驾驶员指定附接到车辆12的挂车16的后退路径的期望曲率126来控制所述挂车16的后退路径。系统10可以包括具有可旋转旋钮106的接口100，所述可旋转旋钮如图2中所示与控制器26进行通信使得控制器26可以在挂车倒退辅助模式中操作，包括将旋钮106的第一瞬时位置解译为挂车控制命令位置并基于此而生成车辆转向命令。通过这种方式，控制器26可以设有曲率程序98，如图2中所示并且在共同转让的美国专利第9,102,271号中进一步描述，所述专利的全部公开内容通过引用并入本文。通常，系统10的操作中以挂车倒退辅助模式进行的操作涉及输入装置100，所述输入装置包括上文提及的可旋转旋钮106以使驾驶员提供组合的车辆12和挂车16的期望曲率126。因此，转向输入装置100可以在各自在倒车期间提供组合的挂车16和车辆12的期望曲率126的增量变化的多个选择(诸如旋钮106的连续旋转位置)之间操作。在输入期望曲率126时，控制器26可以基于估计的挂接角γ和挂车16与车辆12之间的运动关系来生成使车辆12在期望曲率126上引导挂车16的挂车后退转向命令。

如上所述，车辆12还可以配备有设有挂车倒退辅助功能性的系统10的一个实施例以在诸如继如上面所讨论的挂接操作后挂车16附接到车辆12时控制所述挂车的后退路径。参考图7和图8，车辆12可以通过舌杆90(图1)可枢转地附接到所示挂车16，所述舌杆通过上述联接器14从挂车16的其余部分纵向延伸，所述舌杆锁止到挂接球34上以提供枢转球头节连接，所述球头节允许挂车16相对于车辆12的纵向轴线13以挂接角γ铰接。在该示例中，车辆12可以包括包含旋转元件106的输入100。包括上述图像处理程序64的控制器26使用来自旋转元件106的输入作为挂车倒退控制信号并控制车辆转向系统20以在车辆12与挂车16在所述挂接球位置38联接时将所述车辆12维持在使用例如下文描述的曲率程序98确定的后退路径P上，所述曲率程序包括挂接球位置38作为输入。

系统10的这种实施方式可以使用如上文所讨论的成像系统18作为用于估计车辆12与挂车16之间的挂接角γ的基于视觉的挂接角传感器。在特定示例中，各个相机48、50、52a、52b中的一者可以捕获挂车16中的一个或多个图像，所述图像包括含有用于要固定的至少一个标记91的一个或多个期望标记放置区的区域。尽管可以预期成像系统18可以在没有标记91的情况下捕获挂车16的图像以确定挂接角γ，但是在所示实施例中，挂车16包括标记91以允许系统10利用经由对标记91的图像获取和处理而获取的信息。确定挂接角γ的其他装置在系统10的各种实施例中是可能的。

如上文所讨论的，系统10与车辆12的动力助力转向系统20进行通信以(通过转向控制信号等)操作车辆12的转向轮76(图1)以通过挂车16根据挂车16的期望曲率126作出反应的这种方式移动车辆12。通过这种方式，挂车后退转向命令可以由系统10提供以在倒退操纵期间自主转向。动力助力转向系统20向控制器26提供与车辆12的转向轮76的旋转位置相关的信息，所述信息包括转向角δ。除了车辆12和挂车16的其他条件之外，所示实施例中的控制器26还使用基于反馈的控制方案(即，使用下文方程的P-I控制方案)处理当前转向角以沿着期望曲率126引导挂车16。可以设想，在附加的实施例中，挂车倒退辅助系统10可以是动力助力转向系统20的集成部件。例如，动力助力转向系统20可以包括挂车倒退辅助程序以用于根据从转向输入装置100、成像系统18、动力助力转向系统20、车辆制动控制系统70、动力传动系统控制系统72和其他车辆传感器和装置接收的信息的全部或部分来生成车辆转向信息和命令。

更具体地，转向输入装置100可以提供与挂车16的期望后退路径的期望曲率126相关的选择或位置信息。此外，由转向输入装置100提供的挂车转向命令可以包括与命令的行驶路径变化(诸如期望曲率126的增量变化)有关的信息，以及与挂车16将沿着由挂车16的纵向中心线轴线限定的路径行驶的指示有关的信息，诸如限定挂车的基本笔直行驶路径的为零的期望曲率值。如下文将更详细地讨论，根据一个实施例的转向输入装置100可以包括可移动控制输入装置以允许车辆12的驾驶员命令期望的挂车转向动作或以其他方式选择和更改期望曲率。例如，可移动控制输入装置可以是可旋转旋钮106，所述可旋转旋钮可以围绕延伸通过旋钮106的顶部表面或顶面的旋转轴线旋转。在其他实施例中，可旋转旋钮106可以围绕基本上平行于可旋转旋钮106的顶部表面或顶面延伸的旋转轴线旋转。此外，根据附加的实施例，转向输入装置100可以包括用于提供限定期望后退路径的期望曲率126或其他信息的替代装置，诸如操纵杆、小键盘、一系列可按压按钮或开关、滑动输入装置、触摸屏显示器上的各种用户界面、用于接收手势的基于视觉的系统、便携式装置上的控制接口以及所属领域普通技术人员通常理解的其他可设想的输入装置。可以预期，转向输入装置100还可以用作其他特征的输入装置，诸如为其他车辆特征或系统提供输入。

对于由车辆12和挂车16限定的系统，使挂车16倒车的车辆12的运动关系是基于与车辆12和挂车16相关联的各种参数。该关系可以被表达为根据挂车路径曲率κ₂和挂接角γ来提供转向角δ。

其中：

δ：车辆的转向前轮处的转向角；

α：车辆的横摆角；

β：挂车的横摆角；

γ：挂接角(γ＝β-α)；

W：车辆的轴距；

上：挂接点与车辆的后车桥之间的牵引杆长度；

D：挂接点与挂车的车桥或多车桥挂车的有效车桥之间的距离(挂车长度)；以及

r₂：挂车的曲率半径。

对于特定车辆和挂车组合，运动关系的某些参数(例如，D、W和L)是恒定的且假设是已知的。V是车辆纵向速度，而g是由重力引起的加速度。K是速度相关参数，当κ被设置为零时，使转向角的计算与车辆速度无关。例如，可以在车辆12的电子控制系统中预定义运动关系的车辆特定参数，并且运动关系的挂车特定参数可以由车辆12的驾驶员来输入，响应于车辆转向命令而从感测到的挂车行为来确定，或者以其他方式从挂车16提供的信号来确定。挂车路径曲率κ₂可以根据经由转向输入装置100的驾驶员输入来确定。通过使用用于提供转向角的方程，可以由曲率程序98生成对应的转向命令以用于控制车辆12的动力助力转向系统20。可以明白，车辆12的轴距W是公知的，但是所述牵引杆长度L取决于特定的挂接球34的位置38(包括按照用于将挂接球34附接到车辆12的球座35的尺寸)而改变。通过这种方式，控制器26可以在激活曲率程序98时从存储器62获得挂接球位置38以基于来自旋转元件106的输入来确定特定的牵引杆长度L以用于控制转向系统20以沿着期望路径维持车辆12和挂车16。

如图7中所示，为可旋转旋钮106的形式的旋转元件可以被偏置(例如，通过弹簧回程)到相对的运动旋转范围R(R)、R(L)之间的中心或静止位置P(AR)。在所示实施例中，相对运动旋转范围中的第一个范围R(R)基本上等于相对运动旋转范围R(L)、R(R)中的第二个范围。为提供对可旋转旋钮106的旋转量的触觉指示，朝向静止位置P(AR)偏置旋钮的扭矩可以根据可旋转旋钮106相对于静止位置P(AR)的旋转量而增加(例如，非线性地)。另外，可旋转旋钮106可以被配置有位置指示棘爪，使得驾驶员可以肯定地感觉到静止位置P(AR)并且感觉到相对运动旋转范围R(L)、R(R)的末端接近(例如，软端停止)。可旋转旋钮106可以根据可旋转旋钮106相对于静止位置P(AR)的旋转量和可旋转旋钮106相对于静止位置P(AR)的移动方向来生成期望曲率值，所述静止位置本身可以对应于零曲率命令126。还可以预期，可旋转旋钮106的旋转速率也可以用于确定输出到控制器26的期望曲率126。旋钮的静止位置P(AR)对应于指示应当操纵车辆12使得挂车16沿着基本上笔直后退路径114(图7)(来自驾驶员的零挂车曲率请求)后退的信号，所述后退路径如旋钮返回到静止位置P(AR)时挂车16的纵向方向所限定。旋钮的最大顺时针位置和逆时针位置(即，相反运动旋转范围R(R)、R(L)的极限)可以各自对应于指示挂车16的行驶路径的最紧曲率半径(即，最急剧轨迹或最小曲率半径)的相应信号，所述最紧曲率半径在没有导致弯折状况的对应车辆转向信息的情况下是可能的。

如图7和图8中所示，在车辆12的驾驶员使挂车16后退时，驾驶员可以转动可旋转旋钮106以提供期望曲率126。在所示实施例中，可旋转旋钮106围绕中心轴线在中心或中间位置114(所述中心或中间位置对应于由挂车16的纵向方向限定的基本上笔直后退行驶路径114)与在中间位置114的相对侧上的各个旋转位置116、118、120、122之间进行旋转，从而命令与在命令的旋转位置处挂车16的期望后退行驶路径的半径相对应的期望曲率126。可以预期，可旋转旋钮106可以根据所公开的主题的实施例来配置，并且省略用于偏置到相对的运动旋转范围之间的静止位置P(AR)的装置。缺少此类偏置可以允许可旋转旋钮106的当前旋转位置得以维持，直到旋转控制输入装置被手动移动到不同位置。

另外参考图8，示出了在用车辆12使挂车16倒退时使用转向输入装置100来规定挂车16的期望后退行驶路径(POT)的曲率的示例。在挂车16准备后退时，车辆12的驾驶员可以沿着牵拉路径(pull-thru path，PTP)向前驾驶车辆12以将车辆12和挂车16定位在第一倒退位置B1处。在第一倒退位置B1中，车辆12和挂车16彼此纵向对准，使得车辆12的纵向中心线轴线L1与挂车16的纵向中心线轴线L2对准(例如，平行或重合)。本文公开的是，在挂车倒退功能性的实例开始时纵向轴线13L1、L2的此类对准并非是对挂车倒退辅助系统10的可操作性的要求，而是可以进行用于校准。

在激活挂车倒退辅助系统10之后(例如，在牵拉序列之前、之后或期间)，驾驶员通过使车辆12从第一倒退位置B1倒车而开始使挂车16后退。只要挂车倒退转向输入装置100的可旋转旋钮106保持在静止位置P(AR)并且没有其他转向输入装置被激活，挂车倒退辅助系统10就会根据需要使车辆12转向，以在挂车16开始后退时使挂车16沿着由挂车16的纵向方向、特别是挂车16的中心线轴线L2所限定的基本上笔直行驶路径后退。当挂车16到达第二倒退位置B2时，驾驶员旋转可旋转旋钮106以命令挂车16向右转向(即，旋钮位置R(R)顺时针旋转)。因此，系统10使车辆12转向以使挂车16根据可旋转旋钮106相对于静止位置P(AR)的旋转量、旋钮的移动速率和/或旋钮相对于静止位置P(AR)的移动方向而向右转向。类似地，可以通过将可旋转旋钮106向左旋转来命令挂车16向左转向。当挂车16到达倒退位置B3时，驾驶员允许可旋转旋钮106返回到静止位置P(AR)，由此使系统10根据需要使车辆12转向以使挂车16沿着在可旋转旋钮106返回到静止位置P(AR)时由挂车16的纵向中心线轴线L2限定的基本上笔直行驶路径倒退。其后，系统10根据需要使车辆12转向以使挂车16沿着此基本上笔直路径后退到第四倒退位置B4。在这方面，挂车16的行驶路径POT的弧形部分由可旋转旋钮106的旋转规定，而行驶路径POT的笔直部分由旋钮106处于/返回到静止位置P(AR)时挂车16的中心线纵向轴线13L2的定向来规定。

如图9中所示，系统10还可以被配置有主动泊车辅助(“APA”)功能性，如共同未决的共同转让的美国专利申请第14/859,551号中进一步讨论的，所述专利申请的全部公开内容通过引用并入本文。通常，APA可以通过系统10的存储器62中的泊车辅助程序来实施，所述泊车辅助程序可以利用车辆12的各种传感器(所述传感器包括车辆传感器系统中所包括的那些传感器以及接近传感器阵列54和成像系统18)，以控制动力助力转向系统20(以及任选地，动力传动系统控制系统72和制动控制系统70)以在各种泊车模式中的至少一种模式下提供自主、半自主或辅助泊车功能性。泊车辅助模式可以被配置为仅在没有挂车16与车辆12联接时操作，并且可以进一步在倒车和前进驾驶中操作。

如图9中所示，泊车辅助系统能够提供平行泊车辅助。在该示例中，用户可以在将车辆12相对于平行泊车位270定位在适当位置时输入预定命令以将泊车辅助启动信号发送到控制器26。然后，用户可以包括通过HMI 40等选择或确认期望模式，例如，平行泊车。当实施平行泊车辅助模式时，控制器26可以等待对平行泊车位270所处的车辆12的一侧的进一步选择。当选择适当的车辆12侧(在图9中所描绘的示例中，驾驶员侧)时，控制器26可以实施期望的或可用的平行泊车辅助模式。在一个示例中，这种模式可以是半自主平行泊车模式，其中用户通过车辆12的节气门和制动器(以类似于上述挂车倒退辅助模式的方式)保持对车辆速度的控制，从而通过听觉信号或通过显示器44上的视觉指示来使用接近警报来指示距相邻车辆的距离，其也可以用于向车辆12的驾驶员提供指令(“倒车”、“向前牵引”等)。同时，泊车辅助系统可以控制转向系统20使得车辆12遵循平行泊车路径272。在另一种模式下，系统10可以实施全自主平行泊车模式，其中车辆12可以控制转向系统20以及制动系统70和动力传动系统控制系统72，以在控制转向的同时控制车辆12的速度使得车辆12遵循平行泊车路径272。平行泊车辅助的其他模式是可能的并且可以类似方式实施。

可以明白，当系统10控制车辆12沿着路径272的移动时，包括在自主移动或引导移动下，车辆可以沿倒车方向接近相邻车辆V或其他物体。尽管系统10可以被配置为仅在没有挂车存在时才实施APA功能，但是车辆12可能仍然与挂接球34安装在一起。通过这种方式，可能有利于系统10考虑挂接球34的位置38以防止挂接球34与例如车辆V碰撞。因此，当控制器26执行期望的泊车辅助程序134(包括可能的倒车驾驶)时，它可以访问存储在存储器62中的挂接球位置38。在附加示例中，控制器26还可以包括实施其他系统的能力，所述其他系统控制车辆12的制动以防止在倒车驾驶时出现追尾碰撞，控制器26可以类似地访问存储器62中关于是否存在挂接球34的信息，并且如果存在，则将挂接球的位置38类似地与这些系统结合使用。

现在转到图10，流程图示出了方法210中的步骤，所述方法例如由控制器26采用以确定挂接球34的位置38以存储在存储器62中以供上述一个或多个驾驶员辅助功能使用。具体地，方法210包括监测212来自车辆速度检测器56的信号。当来自车速检测器56的信号指示车辆速度高于预定最低速度212时，使用从安装在并朝向车辆12后部的成像器(例如，相机48)接收的图像数据55运行214上述特征提取功能以在图像数据55中识别216安装到车辆12上的挂接球34。然后从特征提取功能的输出中提取挂接球34的位置38。

如上文所讨论的，所述方法可以被配置为使得所述序列仅在车辆12从驻车挡218换挡为非驻车挡220时才继续进行。在该特定实施方式中，仅在车辆换挡离开驻车挡220之后，所述过程才等待车辆12加速到最低速度以上212。可以根据图像处理程序64的特定性能来校准最低速度。实际上，该数字可以是相对较慢的速度，例如大约1Kph。如上文所讨论的，如果所选择的最低速度太慢，则挂接球后面的背景B(图5A)的改变可能不足以产生显著性能优势。如果值太高，则背景B变得太均匀，因为它可以是所得外观不变的道路或高速公路。

一旦车辆移动得足够快212，控制器26就使用图像处理程序64来执行214挂接检测功能。因此，程序64搜索挂接球34，这可以例如使用霍夫变换或类似方法来完成。为了侧向地限制在相机48的图像数据55内的搜索，所述功能可以仅沿着车辆中心线操作。这防止所述功能将实际挂接球34一侧的特征识别为挂接球34。为了纵向地限制在相机48的图像数据55内的搜索，最大牵引杆长度L可以被使用和转译为在后视相机48的图像数据55上的竖直位置。这可以防止所述功能在距车辆12的不切实际的距离处(即，在距保险杠超过2米的位置处)错误地检测到挂接球。如上文所讨论的，所述搜索是连续的，使得图像数据55的每个新的帧都进行了分析。每次确定都被筛选以提供检测收敛。

同样如上文所讨论的，如果车辆速度超过更高的最高速度222，则控制器26可以停止224运行挂接检测功能，因为超过一定速度，所以继续运行所述功能不再有任何优势，这是由于背景模糊到了均匀的程度。所述功能并未被设计成在整个驾驶时间期间操作。一旦挂接球34的位置38被识别224，所述功能就会停止，并且控制器26在车辆换挡为218并离开驻车挡220时等待下一次机会。

控制器26还可以被配置为将挂接检测功能视为低优先级任务。在这方面，如果需要226ECU资源，则挂接检测功能停止224，以使得其他的处理资源可供更高优先级功能使用。一旦所述功能再次停止224，它就会在车辆换挡为218并离开驻车挡220时等待下一次机会。

当挂接检测功能在其检测中有自信时。如果所述功能可以自信地断言它已找到挂接件或比较确定地确定216不存在挂接件，则所述功能停止224。如果对该确定没有足够的自信，则所述功能继续搜索214并评估图像数据55中的新导入相机帧。通过肯定检测或检测到不存在216挂接件，控制器26将挂接检测功能的输出与已经存储在存储器62中的任何先前的挂接球位置数据进行比较228。该步骤再次限制了将数据写入存储器62的次数以防止耗损。如果数据没有改变230，则系统10不会覆写数据。如果数据与挂接检测功能上一次(或之前)运行不同232，则将所述数据保存234到存储器62，从而覆写先前的数据。当随后使用图像处理程序64执行挂接检测功能时，控制器可访问保存的数据。另外，所述数据也可供使用该数据的其他特征(如上面所讨论的特征)使用。在控制器26重启挂接检测功能之前，要再次等待直到车辆设置回到驻车挡218，以考虑到在车辆并未处于驻车挡的情况下挂接件34的状况很可能不会改变。

在图11中所示的另一方面，所述系统可以将所有先前检测到的挂接位置38存储在存储器62内的数据库中。该功能性补偿驾驶员可能拥有多个挂接件34并且可以在使用那些各种挂接件34之间进行切换的事实。在该实施方式中，所有检测到的挂接位置38连同指针(数据库地址)一起存储在数据库中，以根据上一次挂接检测指示当前与车辆12安装在一起的挂接件34的位置38。具体地，首先运行214挂接检测功能，如关于图10所讨论的。如果没有检测到挂接件，则所述功能继续搜索挂接件34。如果检测到挂接件，则系统10准备将数据保存236在存储器62中。系统10根据当前过程评估238检测到的挂接位置38是否与先前检测到的挂接位置38相匹配。如果是，则没有必要覆写相同的数据，因为这可能会对快闪存储器62造成存储器耗损。如果挂接位置38是新的检测242，则该数据被添加244到挂接位置的数据库。

如果挂接位置38被检测为先前已保存242的位置，则系统10指示所述数据库条目中的哪一个条目是当前检测到的挂接位置38。因为存在多个数据库条目，所以该指针指示哪个条目是当前安装在车辆上的挂接位置38。这是通过指示242条目的存储器地址的指针来实现的。最近发现的挂接位置38被添加244到所有已知的挂接位置的数据库。挂接数据数据库保存所有先前检测到的挂接位置以供系统10在整个车辆动力循环中的任何时间检索之用。这可以使用如上文所讨论的快闪存储器来实现。

应当理解，可以在不脱离本公开的概念的情况下对前述结构做出变化和修改，并且还应当理解，除非随附权利要求通过它们的语言另外明确地说明，否则此类概念意图由这些权利要求涵盖。

出于本公开的目的，术语“联接”(以其所有形式，联接、联接的、被联接的等)一般表示两个部件彼此(电气或机械)直接地或间接地联结。这种连结在本质上可以是固定的，或者在本质上可以是可移动的。这种连结可通过两个部件(电气的或机械的)与任何另外的中间构件实现，所述另外的中间构件彼此或与所述两个部件一体形成为单个完整主体。除非另有说明，否则这种连结在本质上可以是永久的，或者在本质上可以是可移动的或可释放的。

同样重要的是，要注意，如示例性实施例所示的本公开的元件的构造和布置仅仅是说明性的。尽管本公开仅详细描述了本创新的一些实施例，但是所属领域中审查本公开内容的技术人员将容易理解，在本质上不脱离所陈述主题的新颖教义和优点的情况下，许多修改(例如，各种元件的大小、尺寸、结构、形状和比例、参数值、安装布置、材料使用、颜色、取向等方面的变化)是可能的。例如，被示为一体成形的元件可以由多个部分构成，或者被示为多个部分的元件可以一体地形成，接口的操作可以颠倒或以其他方式变化，系统的结构和/或构件或连接器或其他元件的长度或宽度可以变化，元件之间所提供的调整位置的本质或数量可以变化。应当注意，系统的元件和/或总成可以由多种多样的材料中的任一种构成，所述材料以多种多样的颜色、纹理和组合中的任一种提供足够的强度或耐久性。因此，所有此类修改旨在被包括在本创新的范围内。在不脱离本创新的精神的情况下，可以在期望的和其他示例性实施例的设计、工况和布置中进行其他替换、修改、改变和省略。

应当理解，任何描述的过程或所描述的过程中的任何步骤可以与其他公开的过程或步骤组合以形成在本公开的范围内的结构。本文公开的示例性结构和过程是出于说明性目的，而不应当解释为限制性的。

根据本发明，提供了一种车辆控制系统，所述车辆控制系统具有：成像器，其安装在并朝向所述车辆后部，并且输出图像数据；车辆速度传感器，其安装在所述车辆上，并且输出车辆速度数据；以及图像处理器，其接收所述图像数据和所述车辆速度数据，并且被编程为：监测来自所述车辆速度传感器的信号；以及当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中定位安装到所述车辆上的挂接球。

根据一个实施例，本发明的特征还在于车辆换挡机构，所述车辆换挡机构能够在驻车模式与至少一个驾驶模式之间配置，其中：所述图像处理器从所述换挡机构接收状态指示；并且仅当所述换挡机构状态指示与所述车辆从所述驻车模式换挡到所述至少一个驾驶模式相对应并且来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球。

根据一个实施例，仅当来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度并低于预定最高速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球。

根据一个实施例，所述图像数据包括连续时间间隔的一系列静止图像帧；并且所述特征提取功能包括对连续静止图像的连续分析。

根据一个实施例，对连续静止图像的所述连续分析包括针对所述连续静止图像中的每一者推导初步挂接球位置；并且所述特征提取程序对所述连续静止图像中的每一者筛选所述初步挂接球位置以收敛在最终挂接球位置上。

根据一个实施例，所述特征提取程序基于对所述连续静止图像的所述分析使用算法自信评估来收敛在最终挂接球位置上；并且当所述自信评估达到预定阈值时确定所述最终挂接球位置。

根据一个实施例，所述最终挂接球位置包括检测到的挂接球距所述车辆后部的距离或当所述自信评估达到预定阈值时没有定位挂接球时的无效值中的一者。

根据一个实施例，当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度持续直到已经定位了安装到所述车辆上的所述挂接球为止的时间间隔时，所述图像处理器执行所述特征提取功能以在所述图像数据中定位所述挂接球，并且当存在以下一种情况时所述图像处理器停止所述特征提取功能：已经定位了所述挂接球或者来自所述车辆速度传感器的所述信号指示所述车辆速度已经改变为低于所述预定最低速度。

根据一个实施例，当所述特征提取功能定位所述挂接球时，所述图像处理器将所述挂接球的位置存储在存储器中。

根据一个实施例，所述图像处理器在将所述挂接球的所述位置存储在存储器中之前将所述挂接球的所述位置与至少一个先前存储的挂接球位置进行比较；并且仅当所述挂接球的所述位置与所述一个或多个先前存储的挂接球位置不同时将所述挂接球的所述位置存储在存储器中。

根据一个实施例，本发明的特征还在于车辆转向系统，其中：所述图像处理器包括在控制器中，所述控制器：使用所述图像数据推导挂车的联接器的位置数据；推导车辆路径以将存储在存储器中的所述挂接球的所述位置定位在与所述联接器对准的位置中；并且向所述转向系统输出转向控制信号以沿着所述路径维持所述车辆。

根据一个实施例，本发明的特征还在于车辆转向系统；以及包括旋转元件的输入；其中所述图像处理器包括在控制器中，所述控制器：使用来自所述旋转元件的输入作为挂车倒退控制信号；并且控制所述车辆转向系统以在所述车辆与挂车在所述挂接球位置联接时将所述车辆维持在使用所述挂接球位置确定的后退路径上。

根据一个实施例，本发明的特征还在于车辆制动系统，其中：所述图像处理器包括在控制器中，所述控制器基于包括所述挂接球位置的所述车辆后部的位置来执行至少一个自动倒车制动特征。

根据本发明，提供了一种车辆，所述车辆具有：车辆转向系统；成像器，其安装在并朝向所述车辆后部，并且输出图像数据；车辆速度传感器，其安装在所述车辆上，并且输出车辆速度数据；以及控制器，所述控制器：以自由驾驶模式操作，包括：接收所述图像数据和所述车辆速度数据；监测来自所述车辆速度传感器的信号；并且当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中确定安装到所述车辆上的挂接球的位置；以及以挂接辅助驾驶模式操作，包括向所述转向系统输出转向控制信号以使所述车辆倒车以将所述挂接球位置与挂车的联接器对准。

根据一个实施例，在所述挂接辅助驾驶模式中，所述控制器进一步：使用所述图像数据推导挂车的联接器的位置数据；推导车辆路径以将所述挂接球的所述位置定位在与所述联接器对准的位置中；并且向所述转向系统输出所述转向控制信号以沿着所述路径维持所述车辆以将所述挂接球位置与挂车的联接器对准。

根据一个实施例，本发明的特征还在于具有旋转元件的输入；其中所述控制器进一步以挂车倒退辅助模式操作，包括：使用来自所述旋转元件的输入作为挂车倒退控制信号；并且控制所述车辆转向系统以在所述车辆与挂车在所述挂接球位置联接时将所述车辆维持在使用所述挂接球位置确定的后退路径上。

根据一个实施例，本发明的特征还在于车辆制动系统；其中所述控制器进一步以自动倒车制动模式操作，包括基于包括所述挂接球位置的所述车辆后部的位置来控制所述车辆制动系统。

根据一个实施例，本发明的特征还在于车辆换挡机构，所述车辆换挡机构能够在驻车模式与至少一个驾驶模式之间配置，其中所述控制器：从所述换挡机构接收状态指示；并且仅当所述换挡机构状态指示与所述车辆从所述驻车模式换挡到所述至少一个驾驶模式相对应并且来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度时，执行所述特征提取功能以确定所述挂接球位置。

根据一个实施例，仅当来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度并低于预定最高速度时，所述控制器执行所述特征提取功能以定位所述挂接球。

根据本发明，提供了一种用于确定与车辆联接的挂接球的位置的方法，所述方法具有：监测来自车辆速度传感器的信号；以及当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时，对从安装在并朝向所述车辆后部的成像器接收的图像数据执行特征提取功能以在所述图像数据中识别安装到所述车辆上的挂接球；以及从所述特征提取功能的输出中提取所述挂接球的所述位置。

Claims

1.一种车辆控制系统，其包括：

成像器，所述成像器安装在并朝向所述车辆后部，并且输出图像数据；

车辆速度传感器，所述车辆速度传感器安装在所述车辆上，并且输出车辆速度数据；以及

图像处理器，所述图像处理器接收所述图像数据和所述车辆速度数据，并且被编程为：

监测来自所述车辆速度传感器的信号；以及

当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度时执行特征提取功能以在所述图像数据中定位安装到所述车辆上的挂接球。

2.如权利要求1所述的系统，其还包括车辆换挡机构，所述车辆换挡机构能够在驻车模式与至少一个驾驶模式之间配置，其中：

所述图像处理器从所述换挡机构接收状态指示；并且

仅当所述换挡机构状态指示与所述车辆从所述驻车模式换挡到所述至少一个驾驶模式相对应并且来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球。

3.如权利要求1所述的系统，其中仅当来自所述车辆速度传感器的所述信号指示所述信号高于所述预定最低速度并低于预定最高速度时，所述图像处理器执行所述特征提取功能以定位所述挂接球。

4.如权利要求1所述的系统，其中：

所述图像数据包括连续时间间隔的一系列静止图像帧；并且

所述特征提取功能包括对连续静止图像的连续分析。

5.如权利要求4所述的系统，其中：

对连续静止图像的所述连续分析包括针对所述连续静止图像中的每一者推导初步挂接球位置；并且

所述特征提取程序针对所述连续静止图像中的每一者筛选所述初步挂接球位置以收敛在最终挂接球位置上。

6.如权利要求5所述的系统，其中：

所述特征提取程序基于对连续静止图像的所述分析使用算法自信评估来收敛在最终挂接球位置上；并且

当所述自信评估达到预定阈值时确定所述最终挂接球位置。

7.如权利要求5所述的系统，其中所述最终挂接球位置包括当所述自信评估达到预定阈值时检测到的挂接球距所述车辆后部的距离或没有定位挂接球时的无效值中的一者。

8.如权利要求1所述的系统，其中：

当来自所述车辆速度传感器的所述信号指示车辆速度高于预定最低速度持续直到已经定位了安装到所述车辆上的所述挂接球为止的时间间隔时，所述图像处理器执行所述特征提取功能以在所述图像数据中定位所述挂接球；并且

当存在以下一种情况时所述图像处理器停止所述特征提取功能：已经定位了所述挂接球或者来自所述车辆速度传感器的所述信号指示所述车辆速度已经改变为低于所述预定最低速度。

9.如权利要求1所述的系统，其中当所述特征提取功能定位所述挂接球时，所述图像处理器将所述挂接球的位置存储在存储器中。

10.如权利要求9所述的系统，其中：

所述图像处理器在将所述挂接球的所述位置存储在存储器中之前将所述挂接球的所述位置与至少一个先前存储的挂接球位置进行比较；并且

仅当所述挂接球的所述位置与所述一个或多个先前存储的挂接球位置不同时，将所述挂接球的所述位置存储在存储器中。

11.如权利要求9所述的系统，其还包括车辆转向系统，其中：

所述图像处理器包括在控制器中，所述控制器：

使用所述图像数据推导挂车的联接器的位置数据；

推导车辆路径以将存储在存储器中的所述挂接球的所述位置定位在与所述联接器对准的位置中；并且

向所述转向系统输出转向控制信号以沿着所述路径维持所述车辆。

12.如权利要求9所述的系统，其还包括：

车辆转向系统；和

包括旋转元件的输入；

其中所述图像处理器包括在控制器中，所述控制器：

使用来自所述旋转元件的输入作为挂车倒退控制信号；以及

控制所述车辆转向系统以在所述车辆与挂车在所述挂接球位置联接时将所述车辆维持在使用所述挂接球位置确定的后退路径上。

13.如权利要求9所述的系统，其还包括车辆制动系统，其中：

所述图像处理器包括在控制器中，所述控制器基于包括所述挂接球位置的所述车辆后部的位置来执行至少一个自动倒车制动特征。

14.一种车辆，其包括：

车辆转向系统；和

如前述权利要求中任一项所述的车辆控制系统，其中所述控制器：

以自由驾驶模式操作，包括：

监测来自所述车辆速度传感器的所述信号；并且

当来自所述车辆速度传感器的所述信号指示所述车辆速度高于所述预定最低速度时，执行所述特征提取功能以在所述图像数据中定位安装到所述车辆上的所述挂接球；以及

以挂接辅助驾驶模式操作，包括向所述转向系统输出转向控制信号以使所述车辆倒车以将所述挂接球位置与挂车的联接器对准。

15.如权利要求14所述的车辆，其中在所述挂接辅助驾驶模式中，所述控制器进一步：

使用所述图像数据推导挂车的联接器的位置数据；

推导车辆路径以将所述挂接球的所述位置定位在与所述联接器对准的位置中；并且

向所述转向系统输出所述转向控制信号以沿着所述路径维持所述车辆，以将所述挂接球位置与所述联接器对准。