CN106657974B

CN106657974B - 双目摄像机的控制方法及装置、双目摄像机

Info

Publication number: CN106657974B
Application number: CN201710108909.2A
Authority: CN
Inventors: 李海泉; 王乃岩
Original assignee: Beijing Tusimple Technology Co Ltd
Current assignee: Beijing Original Generation Technology Co ltd
Priority date: 2017-02-27
Filing date: 2017-02-27
Publication date: 2024-02-09
Anticipated expiration: 2037-02-27
Also published as: CN106657974A

Abstract

本发明公开一种双目摄像机的控制方法和装置，以解决现有技术工业级双目摄像机无法实现远距离测距的技术问题。方法，包括：控制左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；提取所述左目图像的R通道和右目图像的B通道，并将所述R通道和所述B通道进行叠加；判断所述R通道和B通道分别显示的目标物体在纵向和横向是否均重叠；若是，则确定所述左目相机和右目相机的光轴平行；若否，则指示调整所述左目相机和右目相机的位置，并重复前述步骤，直到所述左目相机和右目相机的光轴平行。采用本发明技术方案能够实现远距离测距。

Description

双目摄像机的控制方法及装置、双目摄像机

技术领域

本发明涉及计算机领域，特别涉及一种双目摄像机的控制方法、一种双目摄像机的控制装置以及一种双目摄像机。

背景技术

双目测距一直是计算机视觉领域研究的热点，尤其是在自动驾驶领域，其意义深远。

目前，双目测距主要是通过采用市面上已有的工业级双目摄像机来实现,工业级双目摄像机是一种铸造好的固定双目间距且尺寸较小的双目立体相机，较为典型即为Bumblebee产品，如图1所示。

由于工业级双目摄像机的双目间距已固定且尺寸较小，基线距离小，且无法实现自动调整基线距离，使得在实际应用中无法进行远距离测距。

目前还没有能够较好的解决前述技术问题的解决方案。

发明内容

鉴于上述问题，本发明提供一种双目摄像机的控制方法及装置，以解决现有技术中工业级双目摄像机无法实现远距离测距的技术问题。

本发明实施例，一方面，提供一种双目摄像机的控制方法，该方法包括：

控制构成双目摄像机的左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；其中，所述左目相机与右目相机之间的距离可调整；

提取所述左目图像的R通道和右目图像的B通道，并将所述R通道和所述B通道进行叠加；

判断所述R通道和B通道分别显示的目标物体在纵向和横向是否均重叠；

若是，则确定所述左目相机和右目相机的光轴平行；

若否，则指示调整所述左目相机和右目相机的位置，并重复前述步骤，直到所述左目相机和右目相机的光轴平行。

本发明实施例，另一方面，提供一种双目摄像头的控制装置，该装置包括：

控制单元，用于控制构成双目摄像机的左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；其中所述左目相机与右目相机之间的距离可调整；

提取单元，用于提取所述左目图像的R通道和右目图像的B通道，并将所述R通道和所述B通道进行叠加；

判断单元，用于判断所述R通道和B通道分别显示的目标物体在纵向和横向是否均重叠，若是则触发确定单元，若否则触发第一指示单元；

确定单元，用于确定所述左目相机和右目相机的光轴平行；

第一指示单元，用于指示调整所述左目相机和右目相机的位置，并触发所述控制单元。

本发明实施例，还提供一种双目摄像机，包括左目相机、右目相机和包含有滑轨或卡槽的刚性连接结构，其中：

所述左目相机通过其云台固定在所述刚性连接结构的滑轨或卡槽中；

所述右目相机通过其云台固定在所述刚性连接结构的滑轨或卡槽中。

本发明技术方案，一方面，可通过调整左目相机和右目相机之间的距离来调整左目相机和右目相机之间的基线距离，可根据实际需求灵活调整双目摄像机的基线距离，从而实现远距离测距；另一方面，本发明技术方案还可调整左目相机和右目相机的光轴平行，以提高双目摄像机拍摄得到的左目图像和右目图像的质量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为现有技术中工业级双目摄像机的结构示意图；

图2A为本发明实施例一中双目摄像机的结构示意图；

图2B为本发明实施例一中双目摄像机中卡槽的结构示意图；

图3为本发明实施例二中双目摄像机的控制方法的流程图之一；

图4为本发明实施例二中双目摄像机的控制方法的流程图之二；

图5为本发明实施例二中双目摄像机的控制方法的流程图之三；

图6为本发明实施例二中双目摄像机的控制方法的流程图之四；

图7为本发明实施例二中双目摄像机的控制方法的流程图之五；

图8为本发明实施例三中双目摄像机的控制装置的机构示意图之一；

图9为本发明实施例三中双目摄像机的控制装置的机构示意图之二；

图10为本发明实施例三中双目摄像机的控制装置的机构示意图之三；

图11为本发明实施例三中双目摄像机的控制装置的机构示意图之四；

图12为本发明实施例三中双目摄像机的控制装置的机构示意图之五。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参见图2A，为本发明实施例中提供的双目摄像机的结构图，该双目摄像机包括左目相机1、右目相机2和刚性连接结构3，其中该刚性连接结构3包括一个滑轨31，左目相机1和右目相机2分别通过其云台固定在所述滑轨31上。例如通过螺钉将左目相机1和右目相机3固定在所述滑轨31上。

在另一个实施例中，前述滑轨31还可以用如图2B所示的卡槽32代替。

优选地，为确保左目相机和右目相机的拍摄得到的图像的质量，本发明实施例中，左目相机和右目相机为硬件结构相同的相机，例如是同一厂家同一型号的相机。

优选地，为进一步满足不同的应用场景对识别距离和识别精度的需求，本发明实施例提供的左目相机和右目相机为镜头可换的相机，即本发明实施例提供的双目摄像机可以灵活更换不同分辨率和不同焦距的镜头，以满足不同应用场景的需求。

本发明技术方案，一方面，可通过调整左目相机和右目相机之间的距离来调整左目相机和右目相机之间的基线距离，可根据实际需求灵活调整双目摄像机的基线距离，从而实现远距离测距；另一方面，左目相机和右目相机可以灵活更换不同分辨率和不同焦距的镜头，满足不同的应用场景。

实施例二

参见图3，为本发明实施例而提供的一种双目摄像机的控制方法的流程图，该方法包括：

步骤S301、控制构成双目摄像机的左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；其中，所述左目相机与右目相机之间的距离可调整。

步骤S302、提取所述左目图像的R通道(即Red通道)和右目图像的B通道(即Blue通道)，并将所述R通道和所述B通道进行叠加。

步骤S303、判断所述R通道和B通道分别显示的目标物体在纵向和横向是否均重叠，若是则执行步骤S304，若否则执行步骤S305。

步骤S304、确定所述左目相机和右目相机的光轴平行。

步骤S305、指示调整所述左目相机和右目相机的位置，并重复前述步骤S301～步骤S303，直到所述左目相机和右目相机的光轴平行。

优选地，本发明实施例中，左目相机和右目相机分别通过云台固定在刚性连接结构的滑轨或卡槽中，以便通过调整左目相机和右目相机之间的距离来调整双目摄像机的基线距离。因此，本发明实施例在前述图3所示的方法流程的步骤S301之前还可包括以下步骤，如图4所示：

步骤S300A、接收携带有目标基线距离的位置调整指令；

步骤S300B、计算在调整所述左目相机和右目相机分别在所述滑轨或卡槽中的位置之后所述左目相机和右目相机的基线距离；

步骤S300C、判断所述左目相机和右目相机的基线距离与所述目标基线距离是否相同，若不相同则指示继续调整所述左目相机和右目相机在所述滑轨或卡槽中的位置并执行步骤S300B，直到所述左目相机和右目相机的基线距离与所述目标基线距离相同。

优选地，为适应不同场景下对摄像机的识别距离和识别精度的要求，本发明实施例，还可以实现对左目相机和右目相机的镜头进行灵活更换，以适应不同的应用场景。可以在前述图3和图4所示的方法流程中包括以下步骤S306A～步骤S306C。其中步骤S306A～步骤S306C可以在步骤300A之前，还可以在步骤301之前，也可以在步骤304之后，如图5所示为在图3所示的方法流程中还可以包括步骤S306A～步骤S306C，其中：

步骤306A、接收包含有识别距离和识别精度的拍摄请求；

步骤306B、选取分辨率和焦距满足所述识别距离和识别精度的目标镜头；

步骤306C、指示将所述左目相机和右目相机镜头替换成所述目标镜头。

优选地，为确保左目相机和右目相机拍摄图像的同步性，本发明实施例还可以在前述图3、图4和图5所示的方法流程中，还包括以下步骤S307，如图6所示，在前述图3所示的方法流程中还包括步骤S307：

步骤S307、同时向所述左目相机和右目相机发送携带有曝光时间、增益值和白平衡值的拍摄指令。

本发明实施例中，可以同时给左目相机和右目相机发送同一条拍摄指令，即发送给左目相机和右目相机的拍摄指令携带的相机参数(即曝光时间、增益值和白平衡值)相同。也可以同时给左目相机和右目相机发送不同的拍摄指令，即发送给左目相机的拍摄指令和发送给右目相机的拍摄指令中携带的相机参数不同。

优选地，在一些特定应用场景，例如自动驾驶，在车辆行驶过程中通过双目摄像机进行拍摄，由于拍摄过程中周边环境差异较大，采用统一标准的相机参数进行拍摄，使得不同环境拍摄的图像质量差异较大，因此，本发明实施例在拍摄过程中，可根据前一帧图像的亮度调整相机拍摄下一帧图像的相机参数，以适应不同的环境，整体上提高图像质量。因此，本发明实施例，还可以在图3、图4和图5所示的方法流程中还可以包括以下步骤S307～步骤S309，如图7所示，在图3的基础上还包括步骤S307～步S骤309，其中：

步骤S308、接收所述左目相机和右目相机分别根据所述拍摄指令拍摄的第一左目图像和第一右目图像；

步骤S309、利用预置的参数控制算法计算第一左目图像的第一亮度和第一右目图像的第二亮度，并根据所述第一亮度和第二亮度计算所述左目相机、右目相机拍摄下一张图像的曝光时间、增益值和白平衡值，触发前述步骤S307同时向所述左目相机和右目相机发送携带有曝光时间、增益值和白平衡值的拍摄指令，以拍摄下一张图像。

本发明实施例中，前述步骤S308具体实现可包括但不仅限于以下方式实现：

方式1、根据所述第一左目图像的第一亮度计算所述左目相机拍摄下一张图像的曝光时间、增益值和白平衡值；以及，根据所述第一右目图像的第二亮度计算所述右目相机拍摄下一张图像的曝光时间、增益值和白平衡值。此时，前述步骤S307中，同时发送给左目相机和右目相机的拍摄指令中携带不同的相机参数，即左目相机和右目相机拍摄下一张图像所采用的相机参数不同，例如，左目相机采用根据第一亮度计算得到的曝光时间、增益值和白平衡值，右目相机采用根据第二亮度计算得到的曝光时间、增益值和白平衡值。

方式2、计算所述第一亮度和第二亮度的平均值，得到目标亮度；根据所述目标亮度计算所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值。此时，前述步骤S307中，同时向左目相机和右目相机发送相同的拍摄指令，即左目相机和右目相机拍摄下一张图像所采用的曝光时间、增益值和白平衡值相同。

实施例三

参见图8，为本发明实施例三提供的一种双目摄像头的控制装置，该装置包括：

控制单元81，用于控制构成双目摄像机的左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；其中所述左目相机与右目相机之间的距离可调整；

提取单元82，用于提取所述左目图像的R通道和右目图像的B通道，并将所述R通道和所述B通道进行叠加；

判断单元83，用于判断所述R通道和B通道分别显示的目标物体在纵向和横向是否均重叠，若是则触发确定单元84，若否则触发第一指示单元85；

确定单元84，用于确定所述左目相机和右目相机的光轴平行；

第一指示单元85，用于指示调整所述左目相机和右目相机的位置，并触发所述控制单元81。

优选地，本发明实施例中，左目相机和右目相机分别通过云台固定在刚性连接结构的滑轨或卡槽中，以便通过调整左目相机和右目相机之间的距离来调整双目摄像机的基线距离。所述左目相机和右目相机分别通过云台固定在刚性连接结构的滑轨或卡槽中；所述装置还包括第一接收单元80A、第一计算单元80B、第二判断单元80C和第二指示单元80D，如图9所示：

第一接收单元80A，用于接收携带有目标基线距离的位置调整指令；

第一计算单元80B，用于计算在调整所述左目相机和右目相机分别在所述滑轨或卡槽中的位置之后所述左目相机和右目相机的基线距离；

第二判断单元80C，用于判断所述左目相机和右目相机的基线距离与所述目标基线距离是否相同，若不相同则触发第二指示单元80D；若相同则出发控制单元81；

第二指示单元80D，用于指示继续调整所述左目相机和右目相机在所述滑轨或卡槽中的位置，并触发第一计算单元80B。

优选地，为适应不同场景下对摄像机的识别距离和识别精度的要求，本发明实施例，还可以实现对左目相机和右目相机的镜头进行灵活更换，以适应不同的应用场景。本发明实施例中，还可以在前述图8和图9所示的装置包含第二接收单元86A、选取单元86B和第三指示单元86C，如图10所示为在图8中包含前述三个单元，其中：

第二接收单元86A，用于接收包含有识别距离和识别精度的拍摄请求；

选取单元86B，用于选取分辨率和焦距满足所述识别距离和识别精度的目标镜头；

第三指示单元86C，用于指示将所述左目相机和右目相机镜头替换成所述目标镜头。

优选地，为确保左目相机和右目相机拍摄图像的同步性，前述图8～图10中，还可包括发送单元87，如图11所示，在图8中还包括发送单元87，其中：

发送单元87，用于同时向所述左目相机和右目相机发送携带有曝光时间、增益值和白平衡值的拍摄指令。

本发明实施例中，发送单元87，可以同时给左目相机和右目相机发送同一条拍摄指令，即发送给左目相机和右目相机的拍摄指令携带的相机参数(即曝光时间、增益值和白平衡值)相同。也可以同时给左目相机和右目相机发送不同的拍摄指令，即发送给左目相机的拍摄指令和发送给右目相机的拍摄指令中携带的相机参数不同。

优选地，在一些特定应用场景，例如自动驾驶，在车辆行驶过程中通过双目摄像机进行拍摄，由于拍摄过程中周边环境差异较大，采用统一标准的相机参数进行拍摄，使得不同环境拍摄的图像质量差异较大，因此，本发明实施例在拍摄过程中，可根据前一帧图像的亮度调整相机拍摄下一帧图像的相机参数，以适应不同的环境，整体上提高图像质量。前述图8～图10中，还可包括发送单元87、第三接收单元88和第二计算单元89，如图12所示，在图8中还包含上述单元，其中：

第三接收单元88，用于接收所述左目相机和右目相机分别根据所述拍摄指令拍摄的第一左目图像和第一右目图像；

第二计算单元89，用于利用预置的参数控制算法计算第一左目图像的第一亮度和第一右目图像的第二亮度，并根据所述第一亮度和第二亮度计算所述左目相机、右目相机拍摄下一张图像的曝光时间、增益值和白平衡值，并触发所述发送单元87。

本发明实施例中，第二计算单元89具体实现可包括但不仅限于以下方式实现：

方式1、根据所述第一左目图像的第一亮度计算所述左目相机拍摄下一张图像的曝光时间、增益值和白平衡值；以及，根据所述第一右目图像的第二亮度计算所述右目相机拍摄下一张图像的曝光时间、增益值和白平衡值。此时，前述发送单元87，同时发送给左目相机和右目相机的拍摄指令中携带不同的相机参数，即左目相机和右目相机拍摄下一张图像所采用的相机参数不同，例如，左目相机采用根据第一亮度计算得到的曝光时间、增益值和白平衡值，右目相机采用根据第二亮度计算得到的曝光时间、增益值和白平衡值。

方式2、计算所述第一亮度和第二亮度的平均值，得到目标亮度；根据所述目标亮度计算所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值。此时，前述发送单元87，同时向左目相机和右目相机发送相同的拍摄指令，即左目相机和右目相机拍摄下一张图像所采用的曝光时间、增益值和白平衡值相同。

本发明实施例提供的双目摄像机控制方法及装置，一方面，可通过调整左目相机和右目相机之间的距离来调整左目相机和右目相机之间的基线距离，可根据实际需求灵活调整双目摄像机的基线距离，从而实现远距离测距；另一方面，本发明技术方案还可调整左目相机和右目相机的光轴平行，以提高双目摄像机拍摄得到的左目图像和右目图像的质量；再一方面，左目相机和右目相机可以灵活更换不同分辨率和不同焦距的镜头，满足不同的应用场景。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种车辆用双目摄像机的控制方法，其中，构成所述双目摄像机的左目相机与右目相机之间的距离可调整以实现在车辆自动驾驶过程中的远距离测距，并且所述左目相机和右目相机分别通过云台固定在刚性连接结构的滑轨或卡槽中，所述方法包括：

控制所述左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；

若是，则确定所述左目相机和右目相机的光轴平行；

若否，则指示调整所述左目相机和右目相机的位置，并重复前述步骤，直到所述左目相机和右目相机的光轴平行，

所述方法还包括：

接收携带有目标基线距离的位置调整指令；

计算在调整所述左目相机和右目相机分别在所述滑轨或卡槽中的位置之后所述左目相机和右目相机的基线距离；

判断所述左目相机和右目相机的基线距离与所述目标基线距离是否相同，若不相同则指示继续调整所述左目相机和右目相机在所述滑轨或卡槽中的位置，直到所述左目相机和右目相机的基线距离与所述目标基线距离相同，

所述方法还包括：

接收所述左目相机和右目相机分别根据拍摄指令拍摄的第一左目图像和第一右目图像；

利用预置的参数控制算法计算第一左目图像的第一亮度和第一右目图像的第二亮度，

计算所述第一亮度和第二亮度的平均值，得到目标亮度；

根据所述目标亮度计算所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值，其中，所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值相同。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收包含有识别距离和识别精度的拍摄请求；

选取分辨率和焦距满足所述识别距离和识别精度的目标镜头；

指示将所述左目相机和右目相机镜头替换成所述目标镜头。

3.根据权利要求1~2任一项所述的方法，其特征在于，所述方法还包括：

同时向所述左目相机和右目相机发送携带有曝光时间、增益值和白平衡值的拍摄指令。

4.一种车辆用双目摄像机的控制装置，其中，构成所述双目摄像机的左目相机与右目相机之间的距离可调整以实现在车辆自动驾驶过程中的远距离测距，并且所述左目相机和右目相机分别通过云台固定在刚性连接结构的滑轨或卡槽中，所述装置包括：

控制单元，控制所述左目相机和右目相机对同一目标物体进行拍摄，得到左目图像和右目图像；

确定单元，用于确定所述左目相机和右目相机的光轴平行；

第一指示单元，用于指示调整所述左目相机和右目相机的位置，并触发所述控制单元；

第一接收单元，用于接收携带有目标基线距离的位置调整指令；

第一计算单元，用于计算在调整所述左目相机和右目相机分别在所述滑轨或卡槽中的位置之后所述左目相机和右目相机的基线距离；

第二判断单元，用于判断所述左目相机和右目相机的基线距离与所述目标基线距离是否相同，若不相同则触发第二指示单元；

第二指示单元，用于指示继续调整所述左目相机和右目相机在所述滑轨或卡槽中的位置，并触发第一计算单元；

第二接收单元，用于接收所述左目相机和右目相机分别根据拍摄指令拍摄的第一左目图像和第一右目图像；

第二计算单元，用于利用预置的参数控制算法计算第一左目图像的第一亮度和第一右目图像的第二亮度，计算所述第一亮度和第二亮度的平均值，得到目标亮度，根据所述目标亮度计算所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值，其中，所述左目相机和右目相机拍摄下一张图像的曝光时间、增益值和白平衡值相同。

5.根据权利要求4所述的装置，其特征在于，还包括：

第三接收单元，用于接收包含有识别距离和识别精度的拍摄请求；

选取单元，用于选取分辨率和焦距满足所述识别距离和识别精度的目标镜头；

第三指示单元，用于指示将所述左目相机和右目相机镜头替换成所述目标镜头。

6.根据权利要求4~5任一项所述的装置，其特征在于，还包括：

发送单元，用于同时向所述左目相机和右目相机发送携带有曝光时间、增益值和白平衡值的拍摄指令。