CN118829511A - 用于安装部件组件的机器人系统和方法 - Google Patents

Abstract

用于安装最终装饰和组装部件的机器人系统包括自动标记系统，该自动标记系统将诸如车辆的主要部件的图像与基于计算机的模型的图像相结合，其中基于特征的对象跟踪方法用于比较这两者。在一些形式中，相机可以安装到可移动机器人上，而在另一些形式中，相机可以相对于机器人固定就位。人工标记物可以以某些形式使用。也可以使用机器人运动跟踪。运行时操作可以利用深度学习网络来增强基于特征的对象跟踪，以帮助初始化车辆的姿态，以及帮助在跟踪丢失时恢复跟踪。

Description

用于安装部件组件的机器人系统和方法

技术领域

本公开总体上涉及部件组件的机器人安装，并且更具体地但不排他地涉及最终装饰和组装机器人操作。

背景技术

在汽车组装的最终装饰和组装(FTA)阶段期间可以执行各种操作，包括例如门组装，驾驶舱组装和座椅组装，以及其它类型的组装。然而，由于各种原因，通常只有相对少量的FTA任务是自动的。例如，通常在FTA阶段期间，当操作者执行FTA操作时，经历FTA的车辆在以相对连续的方式移动车辆的线路上运输。然而，车辆的这种连续运动可导致或产生至少关于车辆的运动和/或位置和/或车辆的在FTA中涉及的部分的某些不规则性。此外，这种运动可导致车辆在FTA期间经受运动不规则性、振动和平衡问题，这可防止或不利于精确跟踪直接包含在FTA中的车辆的特定组件、部分或区域的能力。传统上，基于三维模型的计算机视觉匹配算法需要对初始值进行细微的调整，并且由于诸如改变照明条件、组件颜色变化和上述其它干扰之类的挑战而频繁地失去跟踪。因此，这种关于可重复性的变化和关注常常会妨碍在FTA操作中使用机器人运动控制。

因此，尽管目前市场上可以获得各种机器人控制系统，但是进一步的改进可以提供一种系统和装置来校准和调整机器人控制系统以适应这种运动不规则性。

发明内容

本公开的一个实施例是用于神经网络训练的独特标记系统。其它实施例包括用于使用训练的神经网络在最终装饰和组装操作期间稳健地跟踪对象的装置、系统、设备、硬件、方法和组合。本申请的其它实施例、形式、特征、方面、益处和优点将从本文提供的描述和附图中变得显而易见。

附图说明

图1示出了根据本申请的所示实施例的示例性机器人系统的至少一部分的示意图。

图2示出了示例性机器人站的示意图，车辆通过该机器人站由自动或自动引导车辆(AGC)移动，并且该机器人站包括安装到机器人基座的机器人，该机器人基座可沿轨道或通过轨道移动。

图3示出了可用于控制机器人运动的传感器输入。

图4示出了具有移动装配基座和移动机器人基座的装配线。

图5示出了无监督自动标记系统的一个实施例的流程图。

图6示出了无监督自动标记系统的一个实施例的流程图。

图7示出了在无监督自动标记系统的一个实施例中使用的人工标记物的实施例。

图8示出了无监督自动标记系统的一个实施例的流程图。

图9示出了运行时过程的一个实施例，通过该运行时过程，基于特征的对象跟踪被神经网络增强。

具体实施方式

为了促进对本发明原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解，本发明的范围并不因此而受到限制。在所描述的实施例中的任何改变和进一步的修改，以及如在此描述的本发明的原理的任何进一步的应用被预期为对于本发明所涉及的领域的技术人员通常会想到的。

为了方便起见，在前面的描述中使用了某些术语，但这些术语并不是限制性的。诸如“上”，“下”，“顶”，“底”，“第一”和“第二”的词语表示附图中的方向。该术语包括以上具体指出的词语，其派生词和类似含义的词语。另外，词语“一”和“一个”被定义为包括一个或多个所引用的项目，除非特别指出。短语“至少一个”后面跟着两个或更多个项目的列表，诸如“A，B或C”，是指A，B或C中的任何单独的一个，以及其任何组合。

图1示出了示例性机器人系统100的至少一部分，该机器人系统包括至少一个机器人站102，该机器人站例如经由通信网络或链路118通信地耦合到至少一个管理系统104。管理系统104相对于机器人站102可以是本地的或远程的。此外，根据某些实施例，管理系统104可以是基于云的。此外，根据某些实施例，机器人站102还可以包括一个或多个补充数据库系统105，或者经由通信网络或链路118与一个或多个补充数据库系统105可操作地通信。补充数据库系统105可以具有各种不同的配置。例如，根据所示实施例，补充数据库系统105可以是但不限于基于云的数据库。

根据某些实施例，机器人站102包括具有一个或多个自由度的一个或多个机器人106。例如，根据某些实施例，机器人106可以具有例如六个自由度。根据某些实施例，末端执行器108可以耦合或安装到机器人106。末端执行器108可以是安装到机器人106的腕部或臂110上的工具、组件和/或部件。此外，腕部或臂110和/或末端执行器108的至少一部分可以通过机器人106和/或末端执行器108的操作相对于机器人106的其他部分可移动，例如通过管理系统104的操作者和/或通过被执行以操作机器人106的程序。

机器人106可以可操作地将末端执行器108定位和/或定向在机器人106的工作包络或工作空间的范围内的位置处，这可以适应机器人106利用末端执行器108来执行工作，包括例如抓握和保持一个或多个部件、零件、包装、装置、组件或产品以及其他项目(在此统称为“部件”)。机器人106可利用多种不同类型的末端执行器108，包括例如可抓取、抓紧或以其它方式选择性地保持和释放在车辆组装期间的最终装饰和组装(FTA)操作(以及其它类型的操作)中所利用的部件的工具。例如，机器人的末端执行器108可用于操纵主要部件(例如，车辆的构成部件，或在组装时的车辆本身)的部件组件(例如，车门)。

机器人106可以包括或电耦合到一个或多个机器人控制器112。例如，根据某些实施例，机器人106可以包括和/或电耦合到一个或多个控制器112，控制器112可以是或可以不是分立的处理单元，例如单个控制器或任何数量的控制器。控制器112可以被配置成提供多种功能，包括例如用于选择性地将电功率递送到机器人106，控制机器人106的运动和/或操作，和/或控制安装到机器人106的其他设备(包括例如末端执行器108)的操作，和/或未安装到机器人106但与机器人106的操作和/或与机器人106的操作和/或运动相关联的设备集成的设备的操作。此外，根据某些实施例，控制器112可以被配置成动态地控制机器人106本身的移动，以及机器人106所安装或联接到的其他设备的移动，包括例如在其他设备中，机器人106沿着轨道130或移动平台(例如AGV)的移动，或可替代地通过轨道130或移动平台(例如AGV)的移动，机器人106经由机器人基座142安装到AGV，如图2所示。

控制器112可以采用各种不同的形式，并且可以被配置为执行程序指令以执行与操作机器人106相关联的任务，包括操作机器人106以执行各种功能，例如但不限于这里描述的任务以及其他任务。在一种形式中，控制器112是基于微处理器的，并且程序指令是以存储在一个或多个存储器中的软件的形式。备选地，控制器112中的一个或多个及由此执行的程序指令可呈软件、固件及硬件的任何组合的形式，包含状态机，且可反映分立设备和/或集成电路的输出，所述分立设备和/或集成电路可共同位于特定位置处或分布在一个以上位置上，包含经配置以实现与执行基于软件或固件的指令的基于处理器的控制器相同或类似的结果的任何数字和/或模拟装置。从控制器112确定和/或发送的操作、指令和/或命令(为了便于参考在此统称为'指令')可以基于存储在控制器112、其它计算机和/或可访问或与控制器112电通信的存储器中的非暂态计算机可读介质中的一个或多个模型。应了解，可将前述形式中的任一者描述为可用于执行指令的“电路”，无论所述电路是集成电路、软件、固件等。这样的指令在“电路”中表达以执行控制器112可以采取的动作(例如，发送命令、计算值等)。

根据所示实施例，控制器112包括可接受运动命令并提供实际运动数据的数据接口。例如，根据某些实施例，控制器112可通信地耦合到悬架式操纵台，例如示教悬架式操纵台，其可用于控制机器人106和/或末端执行器108的至少某些操作。

在一些实施例中，机器人站102和/或机器人106还可以包括一个或多个传感器132。传感器132可以包括各种不同类型的传感器和/或不同类型传感器的组合，包括但不限于视觉系统114、力传感器134、运动传感器、加速度传感器和/或深度传感器，以及其它类型的传感器。应当理解，并非所有实施例都需要包括所有传感器(例如，一些实施例可以不包括运动、力传感器等)。此外，可以集成由这些传感器132中的至少一些提供的信息，包括例如通过使用算法，使得机器人106的操作和/或移动以及其他任务可以至少通过传感器融合来引导。因此，至少如图1和图2所示，由一个或多个传感器132(例如，视觉系统114和力传感器134，以及其他传感器132)提供的信息可以由管理系统104的控制器120和/或计算构件124处理，使得由不同传感器132提供的信息可以以能够减小机器人106的运动和/或任务的执行中的不确定性程度的方式组合或集成。

根据所示实施例，视觉系统114可包括一个或多个视觉设备114a，其可用于观察机器人站102的至少一部分，包括但不限于观察部件、组件和/或车辆，以及可定位在机器人站102中或移动通过机器人站102的至少一部分的其它设备或组件。例如，根据某些实施例，视觉系统114可以提取定位或放置在机器人站102中，例如在车辆上和/或在自动引导车辆(AGV)上的各种类型的视觉特征的信息，该自动引导车辆在其他位置中移动车辆通过机器人站102，并且在其他信息中使用这样的信息来至少辅助引导机器人106的移动，机器人106沿着轨道130或移动平台(例如机器人站102中的AGV(图2))的移动，和/或末端执行器108的移动。此外，根据某些实施例，视觉系统114可以被配置成获得和/或提供关于可用于校准机器人106的传感器132的一个或多个校准特征的位置、地点和/或取向的信息。

根据某些实施例，视觉系统114可以具有数据处理能力，该数据处理能力可以处理从视觉设备114a获得的数据或信息，这些数据或信息可以被传送到控制器112。

备选地，根据某些实施例，视觉系统114可以不具有数据处理能力。相反，根据某些实施例，视觉系统114可以电耦合到机器人站102的计算部件116，该计算部件116适于处理从视觉系统114输出的数据或信息。另外，根据某些实施例，视觉系统114可以可操作地耦合到通信网络或链路118，使得由视觉系统114输出的信息可以由管理系统104的控制器120和/或计算构件124处理，如下所述。

视觉系统114的视觉设备114a的示例可包括(但不限于)一个或多个成像捕获设备，例如，可安装在机器人站102内的一个或多个二维、三维和/或RGB相机，包括(例如)大体安装在机器人106的工作区域上方或周围，安装到机器人106和/或安装在机器人106的末端执行器108上等其它位置。因此应当清楚，在一些形式中，相机可以相对于可移动机器人固定就位，但是在其它形式中，相机可以固定以与机器人一起移动。一些视觉系统114可以仅包括一个视觉设备114a。此外，根据某些实施例，视觉系统114可以是基于位置或基于图像的视觉系统。另外，根据某些实施例，视觉系统114可以利用运动控制或动态控制。

根据所示实施例，除了视觉系统114之外，传感器132还包括一个或多个力传感器134。力传感器134例如可构造成在组装过程中感测接触力，例如机器人106，端部执行器108和/或由机器人106保持的部件与机器人站102内的车辆136和/或其它部件或结构之间的接触力。在一些实施例中，来自力传感器134的这种信息可以与由视觉系统114提供的信息组合或集成，使得在车辆136的组装期间机器人106的运动至少部分地由传感器融合引导。

根据图1所示的示例性实施例，管理系统104可以包括至少一个控制器120，数据库122，计算构件124和/或一个或多个输入/输出(I/O)设备126。根据某些实施例，管理系统104可以被配置成提供机器人106的操作者直接控制，以及向机器人站102提供至少某些编程或其他信息和/或用于机器人106的操作的至少某些编程或其他信息。此外，管理系统104可以被构造成从机器人站102或管理系统104的操作者接收命令或其他输入信息，包括例如经由输入/输出设备126的操作或选择性接合/与输入/输出设备126的选择性接合而生成的命令。经由使用输入/输出设备126的这种命令可以包括但不限于通过接合或使用麦克风，键盘，触摸屏，操纵杆，触笔型装置和/或可由操作者操作、操纵和/或移动的感测装置等输入/输出设备而提供的命令。此外，根据某些实施例，输入/输出设备126可包括一个或多个监测器和/或显示器，一个或多个监测器和/或显示器可以向操作者提供信息，包括例如与管理系统104的操作者所提供的命令或指令有关的信息，从补充数据库系统105和/或机器人站102接收的信息/向补充数据库系统105和/或机器人站102发送的信息，和/或在机器人106运行(或试图运行)程序或过程时生成的通知。例如，根据某些实施例，输入/输出设备126可以显示例如通过使用视觉系统114的至少视觉设备114a获得的图像，无论是实际的还是虚拟的。在一些形式中，管理系统104可以允许机器人106的自主操作，同时还向操作者提供诸如关闭或暂停命令等的功能特征。

根据某些实施例，管理系统104可以包括具有控制器120的任何类型的计算设备，例如膝上型计算机，台式计算机，个人计算机，可编程逻辑控制器(PLC)或移动电子设备，以及其他计算设备，其包括大小和操作足以存储和操纵数据库122的存储器和处理器，以及用于至少经由通信网络或链路118与机器人站102通信的一个或多个应用。在某些实施例中，管理系统104可以包括连接设备，该连接设备可以经由以太网WAN/LAN连接以及其它类型的连接与通信网络或链路118和/或机器人站102通信。在某些其他实施例中，管理系统104可以包括web服务器或web门户，并且可以使用通信网络或链路118经由因特网与机器人站102和/或补充数据库系统105通信。

管理系统104可以位于相对于机器人站102的各种位置。例如，管理系统104可以在与机器人站102相同的区域，相同的房间，相邻的房间，相同的建筑物，相同的车间位置，或者可替换地，在相对于机器人站102的远程位置。类似地，补充数据库系统105，如果有的话，也可以位于相对于机器人站102和/或相对于管理系统104的各种位置。因此，通信网络或链路118可以至少部分地基于机器人站102，管理系统104和/或补充数据库系统105的位置之间的物理距离(如果有的话)来构造。

根据所示实施例，通信网络或链路118包括一个或多个通信链路118(图1中的通信链路_1-N)。另外，系统100可被操作以通过使用通信网络或链路118在机器人站102，管理系统104和/或补充数据库系统105之间维持相对可靠的实时通信链路。因此，根据某些实施例，系统100可以基于通信链路118的当前可用数据速率和/或传输时间来改变通信链路118的参数，包括例如对所利用的通信链路118的选择。

通信网络或链路118可以以各种不同的方式构造。例如，机器人站102，管理系统104和/或补充数据库系统105之间的通信网络或链路118可以通过使用多种不同类型的通信技术中的一种或多种来实现，包括但不限于，通过使用基于类似或不同类型和层的数据协议的基于光纤，无线电，电缆或无线的技术。例如，根据某些实施例，通信网络或链路118可以利用具有无线局域网(WLAN)，局域网(LAN)，蜂窝数据网络，蓝牙，ZigBee，点对点无线电系统，激光－光学系统和/或卫星通信链路以及其它无线工业链路或通信协议的以太网安装。

管理系统104的数据库122和/或补充数据库系统105的一个或多个数据库128可以包括各种信息，这些信息可以用于标识机器人106在其中操作的机器人站102内的元件。例如，如下面更详细地讨论的，数据库122，128中的一个或多个可以包括或存储在图像的检测，解释和/或解译中使用的信息或由视觉系统114检测到的其他信息，例如与传感器132的校准结合使用的特征，或与跟踪对象结合使用的特征，例如机器人空间中的部件组件或其他设备(例如，如下所述的标记器)。

附加地或备选地，这样的数据库122，128可以包括关于一个或多个传感器132的信息，包括例如关于力或力的范围的信息，所述力或力的范围至少在机器人106执行工作时通过使用位于机器人站102中的一个或多个不同位置处和/或沿着车辆136的一个或多个力传感器134而预期被检测。另外，数据库122，128中的信息还可以包括用于至少初始地校准一个或多个传感器132的信息，包括例如与第一校准特征相关联的第一校准参数和与第二校准特征相关联的第二校准参数。

管理系统104的数据库122和/或补充数据库系统105的一个或多个数据库128还可以包括能够有助于辨别机器人站102内的其他特征的信息。例如，由视觉系统114的一个或多个视觉设备114a捕获的图像可用于通过使用来自数据库122的信息来标识机器人站102内的FTA组件，包括采摘仓(picking bin)内的FTA组件以及可由机器人106用于执行FTA的其它组件。

图2示出了示例性机器人站102的示意图，车辆136通过该机器人站102由自动或自动引导车辆(AGV)138移动，并且该机器人站包括安装到机器人基座142的机器人106，该机器人基座142可沿轨道130或诸如AGV的移动平台移动或通过轨道130或诸如AGV的移动平台移动。虽然至少出于说明的目的，图2中描绘的示范性机器人站102被示出为具有或邻近车辆136和相关联的AGV 138，但是机器人站102可以具有多种其他布置和元件，并且可以在多种其他制造，组装和/或自动化过程中使用。如图所示，AGV可沿着轨道144行进，或者可替代地在轮子上沿着地板行进，或者可以其它已知方式沿着组装路线行进。此外，虽然所描绘的机器人站102可以与机器人106的初始设置相关联，但是站102也可以与机器人106在组装和/或生产过程中的使用相关联。

另外，虽然图2所示的示例示出了单个机器人站102，但是根据其他实施例，机器人站102可以包括多个机器人站102，每个站102具有一个或多个机器人106。所示的机器人站102还可包括一个或多个AGV 138，供应线或输送器，感应输送器和/或一个或多个分类输送器，或与它们一起操作。根据所示的实施例，AGV138可相对于一个或多个机器人站102定位和操作，以便运输例如车辆136，车辆136可接收车辆136的一个或多个部件，或以其它方式与车辆136的一个或多个部件组装或包括车辆136的一个或多个部件，车辆136的一个或多个部件包括例如门组件，驾驶舱组件和座椅组件，以及其它类型的组件和部件。类似地，根据所示实施例，轨道130可相对于一个或多个机器人106定位和操作，以便于由机器人106将部件组装到经由AGV 138移动的车辆136。此外，轨道130或诸如AGV，机器人基座142和/或机器人的移动平台可被操作，使得机器人106以至少大致跟随AGV 138的运动并因此跟随AGV138上的车辆136的运动的方式移动。此外，如前所述，机器人106的这种移动还可以包括至少部分地通过由一个或多个力传感器134提供的信息引导的移动。

图3是可以提供给机器人控制器112以便控制机器人106移动的传感器输入150－160的图示。例如，机器人装配系统可以设置有与双向控制器150B通信的双向控制传感器150A。还可以提供与力控制器152B通信的力传感器152A(或134)。还可以提供与视觉控制器154B(或114)通信的相机154A(或114A)。还可以提供与振动控制器156B通信的振动传感器156A。还可以提供与跟踪控制器158B通信的AGV跟踪传感器158A。还可以提供与补偿控制器160B通信的机器人基座运动传感器160A。单独的传感器输入150－160中的每一个与机器人控制器112通信，并且可以融合在一起以控制机器人106的运动。

图4是其上安装有机器人106的机器人基座142的实施例的另一图示。机器人基座142可以沿着轨道130或利用轮子沿着地板行进，以沿着由装配底座138(或AGV 138)限定的装配线移动。机器人106具有可相对于机器人基座142移动的至少一个可移动臂162，尽管机器人106优选具有通过关节连接的多个可移动臂162以提供高度的移动灵活性。

现在转到图5，示出了无监督自动标记系统164的一个实施例，其可用于为基于深度学习的运动对象跟踪系统标记训练数据。图5中描绘的实施例使用传统的基于特征/基于三维模型的运动对象跟踪来估计姿态(例如，平移和旋转的三维姿态)，并且基于姿态估计的质量来标记在线或离线收集的图像。在许多情况下，无监督自动标记系统164确定主要部件(例如，车辆的构成或车辆本身)的姿态，其中要被附接到主要部件的部件组件的知识是公知的(例如，其中部件组件被附接到机器人，并且机器人的取向的知识是公知的)。对于每个参考，下面的描述可以指'车辆'或'车辆主要部件'，但是这些参考将被理解为包括车辆的任何组成部分以及车辆本身的整体，这取决于给定的应用。无监督系统164可以使用上述机器人系统100的许多类型的系统和设备进行操作。例如，无监督系统164可以使用与上述类似的视觉系统114来捕获车辆在各种姿态下的一系列图像。在一些情况下，可以使用与生产环境中使用的系统和设备相同的系统和设备来完成为基于深度学习的运动对象跟踪系统标记训练数据的动作。换句话说，仅举一个示例，用于收集训练步骤的数据的视觉系统114可以是生产环境中使用的相同视觉系统114。在此描述的任何其它系统和设备也是如此。为了便于参考，下面将参考上述的任何系统和设备，而不是为了限制。

无监督自动标记系统164被构造成利用视觉系统114捕获和/或操作车辆的一组图像。在166处从该组图像中选择一个图像用于标记。图像可以采取如上所述的各种形式中任一种，并且可以被转换成任何适当的数据形式和/或格式。在168处对从166获得的图像数据采用基于特征的方法。应当理解，基于特征的方法可以在图像的任何或所有部分上利用任何合适的方法，例如边缘或拐角跟踪等。在170处，由无监督自动标记系统164通过将在168提取的图像中的特征与车辆的基于计算机的模型的对应部分进行比较，来估计车辆的姿态。基于计算机的模型可以采用任何形式，包括但不限于保存在数据库122中的计算机辅助设计(CAD)数值模型。当将这些特征与计算机模型进行比较时，开发出一种姿态，该姿态可以被定义为相对于参考原点的三次平移和相对于参考轴系统的三次旋转。还可以确定姿态的置信度度量。

当在170中估计车辆的姿态时，无监督自动标记系统164被构造成在172处评估估计的质量并基于该评估采取行动。估计的质量包括量度，诸如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估姿态的质量(例如，通过170的置信度度量)并将其与阈值进行比较，以确定无监督自动标记系统164的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将估计姿态的置信度度量与预设阈值进行比较，并且如果不高于该阈值，则无监督自动标记系统164将前进到174并跳过对图像的标记。尽管流程图没有示出，但是应当理解，如果数据集中存在另外的图像，则过程返回到步骤168。如果置信度度量满足阈值，则无监督自动标记系统164前进到176并用估计的姿态标记图像。在图像被标记之后，无监督自动标记系统164接下来在177确定在图像数据集中是否还有待标记的另外的图像。如果还有另外的图像，则无监督自动标记系统164返回到166处的下一相机图像。

如果在177处确定所有图像已经从该组图像中耗尽，则在178处，无监督自动标记系统164继续将标记图像分析为一组，以产生图像的一个或多个统计度量。例如，基于在一组图像中标记的对象姿态来分析对象运动的平滑度。相邻标记图像之间的平移和旋转中的对象姿态的变化应当在阈值内。可以基于特定应用中机器人移动的速度和加速度来指定阈值。将图像/姿态对中的每一对分别与统计度量进行比较，并且在180处从图像/姿态数据集中去除落在异常值阈值之外的那些特定图像/姿态对。在180中的最终清洁之后，在182处，无监督自动标记系统164被认为完成。

图6描述了无监督自动标记系统164的另一个实施例。图6所示的实施例包括其中视觉系统114的相机安装到机器人臂的实施例。基于与机器人控制器(例如控制器120)中记录的机器人移动相关的信息，系统164估计相机相对于车辆的相对姿态的变化。在该实施例中，使用传统的基于特征/基于三维模型的运动对象跟踪来估计车辆的第一姿态或“初始”姿态的三维姿态。在初始姿态估计之后，自动标记系统164将基于机器人的运动自动标记其余图像。

如上所述，无监督自动标记系统164被构造成利用视觉系统114捕获和/或操作车辆的一组图像。在图6所示的实施例中，随机器人臂的运动收集该组图像。在166处从该组图像中选择一个图像用于标记。图像可以采取如上所述的各种形式中任一种，并且可以被转换成任何适当的数据形式和/或格式。

此外，在步骤166a，从该组图像中选择图像作为“初始”图像。在168a处对从166a获得的图像数据采用基于特征的方法。应当理解，基于特征的方法可以在图像的任何或所有部分上利用任何合适的方法，例如边缘或拐角跟踪等。车辆的姿态在170a处由无监督自动标记系统164通过将在168a处提取的图像中的特征与车辆的基于计算机的模型的对应部分进行比较来估计。基于计算机的模型可以采用任何形式，包括但不限于保存在数据库122中的计算机辅助设计(CAD)数值模型。当将这些特征与计算机模型进行比较时，开发出一种姿态，该姿态可以被定义为相对于参考原点的三次平移和相对于参考轴系统的三次旋转。还可以确定姿态的置信度度量。“初始”姿态与关于机器人臂的状态(位置、取向等)的信息配对，使得可以基于“初始”姿态和机器人臂的后续移动来标记后续图像。

尽管流程图没有明确说明，评估“初始”图像的过程也可以确定“初始”姿态是否具有足够的质量，并且在170中估计车辆的姿态时，无监督自动标记系统164还可以被构造成评估“初始”姿态估计的质量并基于该评估采取行动。“初始”姿态估计的质量可以包括度量，例如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估“初始”姿态的质量(例如，通过170a的置信度度量)，并将其与阈值进行比较，以确定无监督自动标记系统164的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将所估计的“初始”姿态的置信度度量与预设阈值进行比较，并且如果不高于该阈值，则无监督自动标记系统164可以返回到步骤166a，以在针对图像/姿态对的搜索中选择另一图像，该图像/姿态对将满足质量度量并且用作无监督自动标记系统164的后续动作的基线图像/姿态对。

在步骤166之后，无监督自动标记系统164读取与166中所选择的图像相关联的所记录的机器人移动。在184中读取的关于所记录的机器人移动的时间戳由机器人控制器中的计算机时钟生成。在166中读取的机器人相机图像上的时间戳由从相机获取图像的相机或视觉计算机中的计算机时钟生成。这两个时间戳可以以不同的速率并由不同的计算机时钟生成。在这种情况下，它们需要在186中同步。可以使用不同的方法来同步两个时间戳。例如，1)硬连线机器人控制器输出触发相机以获取机器人相机图像时也记录的机器人运动数据；2)机器人控制器时钟和相机/视觉计算机时钟通过计算机网络中的精确时间协议进行同步；3)分析机器人运动数据，找出机器人从初始姿态开始运动的时间戳。然后可以对相机图像进行分析以发现图像何时开始从初始姿态改变。例如，计算两个相邻时间戳相机图像之间的每个像素的灰度值的均方误差(MSE)。然后将其与由相机图像的噪声水平确定的预设阈值进行比较。如果MSE高于阈值，则“初始”姿态相机图像被标识，然后“初始”姿态相机图像的时间戳与机器人移动数据中的“初始”机器人姿态变化的时间戳相匹配。另一示例是首先使用基于特征的方法来估计每个相机图像的对象姿态。然后分析在相机图像时间戳上的相机图像的估计的对象姿态与在机器人运动数据中的时间戳上的机器人运动数据中记录的机器人姿态之间的数据相关性。通过在两个时间戳之间的延迟上最大化该相关值，两个时间戳被同步。然后，自动标记系统164试图基于“初始”姿态和机器人在初始位置和取向以及与要确定姿态的图像相关联的位置和取向之间的相对移动，来估计当前图像的姿态。一旦确定，就用估计的姿态标记图像。

正如“初始”姿态的估计一样，在一些实施例中也可以确定姿态的置信度度量。因此，无监督自动标记系统164还可以被构造成在172处评估估计的质量并基于该评估采取行动。“初始”姿态估计的质量包括量度，例如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估姿态的质量(例如，通过上面刚刚讨论的置信度度量)并将其与阈值进行比较，以确定无监督自动标记系统164的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将估计姿态的置信度度量与预设阈值进行比较，并且如果不高于该阈值，则无监督自动标记系统164可以被构造成跳过图像的标记。

在176中标记图像之后，无监督自动标记系统164接下来在177处确定在图像数据集中是否还有待标记的另外的图像。如果还有另外的图像，则无监督自动标记系统164返回到166处的下一相机图像。

如果在177处确定所有图像已经从该组图像中耗尽，则在178处，无监督自动标记系统164继续将标记图像分析为一组，以产生图像的一个或多个统计度量。例如，基于在一组图像中标记的对象姿态来分析对象运动的平滑度。相邻标记图像之间的平移和旋转中的对象姿态的变化应当在阈值内。可以基于特定应用中机器人移动的速度和加速度来指定阈值。将图像/姿态对中的每一对分别与统计度量进行比较，并且在180处从图像/姿态数据集中去除落在异常值阈值之外的那些特定图像/姿态对。在180中的最终清洁之后，在182，无监督自动标记系统164被认为完成。

图7和图8示出了无监督自动标记系统164的另一实施例。图7和图8所示的实施例利用相对于车辆放置在固定位置的临时人工标记物(见图7中的人工标记物190)。在一些形式中，人工标记物定位成与车辆一起行进，如以上关于AGV所述。基于人工标记物190的姿态估计和车辆与人工标记物之间的相对姿态的姿态估计，可以自动标记从视觉系统114收集的图像。如通过下面的讨论将理解的，在初始姿态估计之后，自动标记系统164将基于机器人的运动自动标记其余的图像。

如上所述，无监督自动标记系统164被构造成利用视觉系统114捕获和/或操作车辆的一组图像。在图8所示的实施例中，该组图像，该组图像中的图像被单独地选择用于处理。这里使用的图像可以采取如上所述的各种形式中任一种，并且可以被转换成任何适当的数据形式和/或格式。

此外，在步骤166a，从该组图像中选择图像作为“初始”图像。在168b处对从166a获得的图像数据采用基于特征的方法，以通过将在168b处提取的图像中的特征与车辆的基于计算机的模型的对应部分进行比较来获得第一图像中的车辆姿态。应当理解，基于特征的方法可以在图像的任何或所有部分上利用任何合适的方法，例如边缘或拐角跟踪等。在170b处，人工标记物182的姿态也由无监督自动标记系统164通过将在168a处提取的图像中的特征与人工标记物182的基于计算机的模型的对应部分进行比较来估计。车辆和/或人工标记物182的基于计算机的模型可以采用任何形式，包括但不限于保存在数据库122中的计算机辅助设计(CAD)数值模型。当将步骤168a和170b中的特征与相应的计算机模型进行比较时，开发出一种姿态，该姿态可以被定义为相对于参考原点的三次平移和相对于参考轴系统的三次旋转。也可以确定来自168b和170b的姿态中的任一个或每一个的置信度度量。在步骤184中，无监督自动标记系统164计算在步骤168a中确定的姿态和在步骤170b中确定的姿态之间在车辆和人工标记物182之间的固定相对姿态。

尽管流程图没有明确说明，评估“初始”图像的过程也可以确定车辆和/或人工标记物的“初始”姿态是否具有足够的质量，并且在估计这些相应姿态时，无监督自动标记系统164还可以被构造成评估“初始”姿态估计的质量并基于该评估采取行动。“初始”姿态估计的质量包括量度，例如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估“初始”姿态的质量(例如，通过上述置信度度量)，并将其与阈值进行比较，以确定无监督自动标记系统164的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将所估计的“初始”姿态的置信度度量与预设阈值进行比较，并且如果该置信度度量不高于阈值，则无监督自动标记系统164可以返回到步骤166a，以在对车辆和/或人工标记物的图像/姿态对的搜索中选择另一图像，该图像/姿态对将满足质量度量并且用作无监督自动标记系统164的后续动作的基线图像/姿态对。

在步骤166之后，无监督自动标记系统164循环通过来自数据集的其它图像，并在步骤186估计这些其它图像的每一个中的人工标记物的姿态。正如“初始”姿态的估计一样，在一些实施例中也可以确定步骤186中姿态的置信度度量。因此，无监督自动标记系统164还可以被构造成在186处评估估计的质量并基于该评估采取行动。“初始”姿态估计的质量包括量度，例如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估姿态的质量(例如，通过与186处的姿态估计相关联的置信度度量)，并将其与阈值进行比较，以确定无监督自动标记系统164的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将所估计的姿态的置信度度量与预先设置的阈值进行比较，并且如果不高于该阈值，则无监督自动标记系统164可以被构造成跳过图像的标记并处理到数据集中的下一图像。

在步骤188处，无监督自动标记系统164通过将在186处估计的人工标记物的姿态与在184处估计的车辆和人工标记物182之间的固定相对姿态进行比较来计算车辆姿态。随后基于188中的分析在176处标记图像。

在176中标记图像之后，无监督自动标记系统164接下来在177处确定在图像数据集中是否还有待标记的图像。如果还有其它图像，则无监督自动标记系统164返回到166处的下一相机图像。

如果在177处确定所有图像已经从该组图像中耗尽，则在178处，无监督自动标记系统164继续将标记图像分析为一组，以产生图像的一个或多个统计度量。例如，基于在一组图像中标记的对象姿态来分析对象运动的平滑度。相邻标记图像之间的平移和旋转中的对象姿态的变化应当在阈值内。在特定应用中，可以基于机器人移动的速度和加速度来指定阈值。将图像/姿态对中的每一对分别与统计度量进行比较，并且在180处从图像/姿态数据集中去除落在异常值阈值之外的那些特定图像/姿态对。在180中的最终清洁之后，在182处，无监督自动标记系统164被认为完成。

图9描绘了运行时系统190的实施例，其使用神经网络(例如，使用多个隐藏层的深度学习网络)来增强车辆的基于特征的对象跟踪。运行时系统190在192处使用车辆的图像初始化，以及在步骤194处使用来自192的车辆图像和196处的增强子系统的姿态初始化。类似于以上关于自动标记系统164描述的实施例，在192处拍摄车辆的图像。

在步骤198处，预先定义初始姿态，根据该初始姿态，遵循200处的基于特征的方法，用于估计车辆在“初始”图像中的姿态。步骤198通过将所提取的图像中的特征与车辆的基于计算机的模型的对应部分进行比较来进行。应当理解，基于特征的方法可以在图像的任何或所有部分上利用任何合适的方法，例如边缘或拐角跟踪等。车辆的基于计算机的模型可以采用任何形式，包括但不限于保存在数据库122中的计算机辅助设计(CAD)数值模型。当将这些特征与相应的计算机模型进行比较时，开发出一种姿态，该姿态可以被定义为相对于参考原点的三次平移和相对于参考轴系统的三次旋转。还可以确定在200处确定的姿态的置信度度量。

尽管流程图没有明确说明，评估“初始”图像的过程也可以确定车辆的“初始”姿态是否具有足够的质量，并且在估计姿态时，系统190还可以被构造成评估“初始”姿态估计的质量并基于该评估采取行动。“初始”姿态估计的质量包括量度，例如图像中检测到的特征与基于170中的对象CAD和对象姿态估计的估计特征之间的平均距离，以及基于先前关键帧姿态估计的对象姿态估计的概率。可以评估“初始”姿态的质量(例如，通过上述置信度度量)并将其与阈值进行比较以确定系统190的后续动作。可以基于特定应用中的姿态估计精度和鲁棒性要求来指定阈值。阈值可以是不在任何数量的图像上改变的预设值，但是在一些形式中可以是动态的。为了设置一个非限制性示例，可以将所估计的“初始”姿态的置信度度量与预设阈值进行比较，并且如果不高于该阈值，则系统190可以返回到步骤182，以在对车辆的图像/姿态对的搜索中选择另一图像，该图像/姿态对将满足质量度量并且用作基线图像/姿态对，用于系统190的后续动作。

结合基于特征的方法进行操作，可以采用神经网络(例如深度学习神经网络)来增强和提高上述基于特征的方法的鲁棒性。为了描述方便，下面的讨论可以涉及“深度学习网络”或“深度学习模型”，但是对于在步骤202中或在本公开的其他地方使用的神经网络的类型没有限制。步骤202描述了采用在数据上训练的深度学习模型以在步骤204提供初始深度学习导出的姿态估计的过程。类似于以上关于基于特征的对象跟踪所描述的置信度度量，可提供置信度度量且采取关于深度学习估计姿态的置信度度量是否足以继续进行进一步或选择另一“初始”图像的适当动作。

将由深度学习模型估计的姿态的输出与由基于特征的模型(图中未示出)估计的姿态的输出进行比较。步骤206确定由两种方法提供的姿态是否具有足够的度量，如果是，则在步骤208处将一个或另一个姿态估计(或平均或混合姿态估计)声明为“初始”姿态。如果否，则扩充子系统196可以返回到202处的深度学习，并且取决于实施例，可以选择另一图像来重新开始过程192以及随后的深度学习202和基于特征的方法200。

一旦扩充子系统196在210处完成基于特征的方法，则随后对运行时系统190中使用的所有后续图像采用该方法。在本公开的其它实施例中，以上关于基于特征的对象跟踪描述的相同技术也适用于此。基于特征的对象跟踪在212处提供姿态估计，如果在214处失去跟踪，则在216启动跟踪恢复。当启动跟踪恢复时，执行深度学习恢复模块218，其包括在220处使用当前机器人相机图像，并在222处通过深度学习模型对其进行处理，该深度学习模型能够作为启动跟踪恢复的结果在224处提供初始姿态估计。在一些形式中，在深度学习恢复模块218中使用的机器人相机图像可以是在最后跟踪点处使用的相同图像，可以是在跟踪丢失时使用的图像，或者可以是在跟踪丢失时刷新的图像。可以在226处使用基于特征的方法，并且如果在226处估计的基于特征的姿态在步骤228中与从222和224估计的姿态一起跟踪，则在230处声明跟踪恢复完成，并且将运行时返回到212(在一些形式中，将恢复的姿态提供给机器人视觉控制232)。可以理解，在222和224处以及226处的姿态估计的质量可以如上述任何实施例中那样被评估和起作用。如果在228处未跟踪姿态，则发起初始姿态搜索，在一些实施例中，其采取上述模块196的形式。

如果在214处没有丢失跟踪，则运行时系统190前进到机器人视觉控制234以继续其运行时操作。如果在234处组装未完成，则在236处获得另一图像，作为使用基于特征的对象跟踪和深度学习模型增强的姿态估计的姿态估计过程。在238声明组装完成。

本申请的一个方面包括一种装置，所述装置包括无监督自动标记系统，所述无监督自动标记系统被构造成向指示所述对象的姿态的图像提供标记，所述无监督自动标记系统具有：车辆主要部件的基于计算机的模型，部件组件将通过与车辆主要部分连接的机器人耦合到所述车辆主要部件；视觉系统相机，其被构造成获得所述车辆主要部件的图像；以及指令电路，所述指令电路被构造成将所述车辆主要部件的图像与所述车辆主要部件的基于计算机的模型进行比较，并且用所述车辆主要部件的姿态来标记所述图像，所述姿态包括所述组件在工作空间中的平移和旋转。

本申请的特征包括其中视觉系统相机是被构造成捕获车辆主要部件的二维图像的二维(2-D)相机。

本申请的另一特征包括其中基于计算机的模型是车辆主要部件的计算机辅助设计(CAD)模型。

本申请的又一特征包括其中所述无监督自动标记系统被构造成循环通过所述车辆主要部件的多个图像以生成对应于所述多个图像中的相应图像的所述车辆主要部件的多个姿态，所述无监督自动标记系统还被构造成确定所述多个姿态的统计评估并基于阈值去除异常值。

本申请的又一特征包括其中指令电路还被构造成仅在车辆主要部件的图像与车辆主要部件的基于计算机的模型之间的比较满足预定义的质量阈值时，用姿态来标记图像。

本申请的又一特征包括其中图像是机器人操作开始时的初始图像，姿态是机器人操作开始时的初始姿态，其中无监督自动标记系统被构造成记录对应于初始姿态的机器人初始位置，并且其中无监督自动标记系统被构造成基于机器人相对于机器人初始位置的运动以及初始姿态来估计车辆主要部件在初始姿态之后的后续姿态。

本申请的又一特征包括其中初始姿态和后续姿态形成一组车辆主要部件姿态，并且其中无监督自动标记系统还被构造成确定该组车辆主要部件姿态的统计评估并基于阈值去除该组车辆主要部件姿态的异常值。

本申请的另一特征包括其中所述图像是机器人操作开始时的初始图像，所述姿态是机器人操作开始时的初始姿态，其中所述无监督自动标记系统还被构造成：确定所述初始图像中除所述车辆主要部件外的人工标记物的姿态；以及确定所述车辆主要部件与所述人工标记物之间的相对姿态。

本申请的又一特征包括其中利用所述无监督自动标记系统来标记多个图像，其中对所述多个图像中除所述初始图像之外的一组图像进行评估以确定所述一组图像中的每个图像的姿态，所述无监督自动标记系统使用与所述一组图像中的每个图像相关联的所述人工标记物的姿态估计以及用于确定的所述车辆主要部件与所述人工标记物之间的相对姿态，来确定所述一组图像中的每个图像的姿态。

本申请的又一特征包括其中初始姿态和该组图像中的每个图像的姿态形成一组车辆主要部件姿态，并且其中无监督自动标记系统还被构造成确定该组车辆主要部件姿态的统计评估并基于阈值去除该组车辆主要部件姿态的异常值。

本申请的另一方面包括一种装置，该装置包括具有一组指令的机器人姿态估计系统，该组指令被配置为在将所述车辆主要部件安装到主要组件的运行时期间确定车辆主要部件的姿态，所述机器人姿态估计系统包括指令以：使用基于特征的对象跟踪通过将由视觉系统相机拍摄的车辆主要部件的图像与车辆主要部件的基于计算机的模型进行比较，来确定初始姿态估计；以及使用神经网络模型确定神经网络姿态估计，所述神经网络模型被训练以从图像标识车辆主要部件的姿态。

本申请的特征包括其中基于计算机的模型是计算机辅助设计(CAD)模型。

本申请的另一个特征包括其中神经网络模型是多层人工神经网络。

本申请的又一特征包括其中机器人姿态估计系统还包括指令以将初始姿态估计与神经网络姿态估计进行比较。

本申请的又一特征包括，其中机器人姿态估计系统还包括指令以：基于根据基于特征的对象跟踪的初始姿态估计与神经网络姿态估计之间的比较结果来初始化姿态估计，机器人姿态估计系统还包括指令以：在运行时期间利用基于特征的对象跟踪来跟踪姿态；通过在运行时期间基于特征的对象跟踪来确定跟踪是否丢失；以及采用跟踪恢复模式，其中在提供给跟踪恢复模式的跟踪恢复模式图像上使用神经网络模型来重新获取姿态估计。

本申请的又一特征包括其中在跟踪恢复模式中，从跟踪恢复模式图像获得神经网络姿态估计，并将其与来自跟踪恢复模式图像的基于特征的姿态估计进行比较。

本申请的又一特征包括其中机器人姿态估计系统被构造成当初始姿态估计与神经网络姿态估计的比较结果满足初始化阈值时，初始化姿态估计。

本申请的又一特征包括其中所述机器人姿态估计系统被构造成当在运行时期间基于特征的对象跟踪未能满足跟踪阈值时采用跟踪恢复模式。

虽然已经在附图和前面的描述中详细地图示和描述了本发明，但是其被认为是说明性的而不是限制性的，应当理解，仅仅示出和描述了优选实施例，并且期望保护落入本发明精神内的所有改变和修改。应当理解，虽然在上述说明中使用的诸如优选的，优选地，优选或更优选的词语表示这样描述的特征可能是更期望的，但是其可能不是必需的，并且缺少其的实施例可以被认为在本发明的范围内，该范围由所附权利要求限定。在阅读权利要求时，意图是当使用诸如“一”，“一个”，“至少一个”或“至少一部分”的词语时，除非在权利要求中明确地相反陈述，否则不意图将权利要求限制为仅一个项目。当使用语言“至少一部分”和/或“一部分”时，该项目可以包括一部分和/或整个项目，除非有相反的具体说明。除非另外规定或限制，否则术语“安装”，“连接”，“支撑”和“耦合”及其变化形式广泛使用且涵盖直接和间接安装，连接，支撑和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合。

Claims (18)

1.一种装置，包括：

无监督自动标记系统，被构造成向指示对象的姿态的图像提供标记，所述无监督自动标记系统具有：

车辆主要部件的基于计算机的模型，部件组件将通过与所述车辆主要部件连接的机器人耦合到所述车辆主要部件；

视觉系统相机，被构造成获得所述车辆主要部件的图像；以及

指令电路，被构造成将所述车辆主要部件的所述图像与所述车辆主要部件的所述基于计算机的模型进行比较，并且用所述车辆主要部件的姿态来标记所述图像，所述姿态包括所述组件在工作空间中的平移和旋转。

2.根据权利要求1所述的装置，其中所述视觉系统相机是被构造成捕获所述车辆主要部件的二维图像的二维(2-D)相机。

3.根据权利要求1所述的装置，其中所述基于计算机的模型是所述车辆主要部件的计算机辅助设计(CAD)模型。

4.根据权利要求1所述的装置，其中所述无监督自动标记系统被构造成循环通过所述车辆主要部件的多个图像，以产生与所述多个图像中的相应图像相对应的所述车辆主要部件的多个姿态，所述无监督自动标记系统还被构造成确定所述多个姿态的统计评估，并基于阈值去除异常值。

5.根据权利要求4所述的装置，其中所述指令电路还被构造成仅在所述车辆主要部件的图像与所述车辆主要部件的所述基于计算机的模型之间的比较结果满足预定义质量阈值时，用姿态来标记所述图像。

6.根据权利要求1所述的装置，其中所述图像是机器人操作开始时的初始图像，所述姿态是所述机器人操作开始时的初始姿态，其中所述无监督自动标记系统被构造成记录对应于所述初始姿态的机器人初始位置，并且其中所述无监督自动标记系统被构造成基于所述机器人相对于所述机器人初始位置的运动以及所述初始姿态，来估计所述车辆主要部件在所述初始姿态之后的后续姿态。

7.根据权利要求6所述的装置，其中所述初始姿态和所述后续姿态形成一组车辆主要部件姿态，并且其中所述无监督自动标记系统还被构造成确定所述一组车辆主要部件姿态的统计评估并基于阈值去除所述一组车辆主要部件姿态的异常值。

8.根据权利要求1所述的装置，其中所述图像是机器人操作开始时的初始图像，所述姿态是所述机器人操作开始时的初始姿态，其中所述无监督自动标记系统还被构造成：

确定所述初始图像中除所述车辆主要部件外的人工标记物的姿态；以及

确定所述车辆主要部件与所述人工标记物之间的相对姿态。

9.根据权利要求8所述的装置，其中利用所述无监督自动标记系统来标记多个图像，其中对所述多个图像中除所述初始图像之外的一组图像进行评估，以确定所述一组图像中的每个图像的姿态，所述无监督自动标记系统使用与所述一组图像中的每个图像相关联的所述人工标记物的姿态估计以及用于确定的所述车辆主要部件与所述人工标记物之间的相对姿态，来确定所述一组图像中的每个图像的姿态。

10.根据权利要求9所述的装置，其中所述初始姿态和所述一组图像中的每个图像的姿态形成一组车辆主要部件姿态，并且其中所述无监督自动标记系统还被构造成确定所述一组车辆主要部件姿态的统计评估并基于阈值去除所述一组车辆主要部件姿态的异常值。

11.一种装置，包括：

机器人姿态估计系统，具有一组指令，所述指令被配置为在将车辆主要部件安装到主要组件的运行时期间确定所述车辆主要部件的姿态，所述机器人姿态估计系统包括指令以：

通过将由视觉系统相机拍摄的所述车辆主要部件的图像与所述车辆主要部件的基于计算机的模型进行比较，使用基于特征的对象跟踪来确定初始姿态估计；以及

使用神经网络模型确定神经网络姿态估计，所述神经网络模型被训练以从所述图像标识所述车辆主要部件的姿态。

12.根据权利要求11所述的装置，其中所述基于计算机的模型是计算机辅助设计(CAD)模型。

13.根据权利要求11所述的装置，其中所述神经网络模型是多层人工神经网络。

14.根据权利要求11所述的装置，其中所述机器人姿态估计系统还包括指令以：将所述初始姿态估计与所述神经网络姿态估计进行比较。

15.根据权利要求14所述的装置，其中所述机器人姿态估计系统还包括指令以：基于根据所述基于特征的对象跟踪的所述初始姿态估计与所述神经网络姿态估计之间的比较结果，来初始化姿态估计，所述机器人姿态估计系统还包括指令以：

在运行时期间利用所述基于特征的对象跟踪来跟踪姿态；

通过在运行时期间所述基于特征的对象跟踪来确定跟踪是否丢失；以及

采用跟踪恢复模式，在所述跟踪恢复模式中，在提供给所述跟踪恢复模式的跟踪恢复模式图像上使用所述神经网络模型来重新获取所述姿态估计。

16.根据权利要求15所述的装置，其中在所述跟踪恢复模式中，神经网络姿态估计从所述跟踪恢复模式图像获得，并与来自所述跟踪恢复模式图像的基于特征的姿态估计进行比较。

17.根据权利要求15所述的装置，其中所述机器人姿态估计系统被构造成：当所述初始姿态估计与所述神经网络姿态估计的比较结果满足初始化阈值时，初始化姿态估计。

18.根据权利要求15所述的装置，其中所述机器人姿态估计系统被构造成：当在运行时期间所述基于特征的对象跟踪未能满足跟踪阈值时，采用跟踪恢复模式。