CN102511162A

CN102511162A - 广角摄像装置及测定系统

Info

Publication number: CN102511162A
Application number: CN2010800444892A
Authority: CN
Inventors: 大友文夫; 熊谷薰; 大谷仁志
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2009-10-02
Filing date: 2010-09-08
Publication date: 2012-06-20
Anticipated expiration: 2030-09-08
Also published as: CN102511162B; JP5337658B2; WO2011040239A1; US9733080B2; US20120162360A1; JP2011082598A

Abstract

本发明提供一种广角摄像装置，具有对数字图像进行摄像的至少2个摄像机（4a，4b），将该2个摄像机在同一平面内以所述2个摄像机的光轴（11a、11b）交叉的方式进行配置，使得能够取得将交叉点（O）作为中心的广视角（α）的图像并且所述2个摄像机的视角的一部分重叠，通过重叠的2个图像形成重叠部分，基于重叠部分的2个图像能够进行立体测定。

Description

广角摄像装置及测定系统

技术领域

本发明涉及能够以100°以上的广视角（wide field angle）进行摄像并且具有测量功能的广角摄像装置及使用了该广角摄像装置的测定系统。

背景技术

作为能够以广视角进行摄像的广角摄像装置，有使用广角透镜的广角摄像机，或将摄像机配置在圆周方向而能够对全周向的图像进行摄像的全向摄像机（total circumferential camera）等。

近年来，作为地图数据使用与位置数据关联起来的图像数据，为了取得这样的图像数据使用广角摄像装置。广角摄像装置装载于汽车等的移动体，配合汽车的行驶以固定间隔对道路周围的景色进行摄像。

为了将摄像的图像作为地图用的图像数据，需要用于与地图数据关联的对测定对象物进行摄像的位置、或测定对象物的位置，在现有技术中，在移动体另外搭载位置测定装置，通过该位置测定装置对具有特征的建筑物或电线杆等进行位置测定，进行图像数据与地图数据的关联。

如上所述，在现有技术中个别地取得图像数据和位置数据，进而装置结构复杂。此外，图像数据与位置数据的关联很麻烦，需要许多时间，该作业对作业者造成负担。

本发明鉴于这样的实际情况，提供一种能够以广视角进行摄像，并且能够同时测定到测定对象物为止的距离的广角摄像装置及测定系统。

现有技术文献

专利文献1：日本特开2006-119591号公报；

专利文献2：日本特开2005-165468号公报；

专利文献3：日本特开2006-10376号公报；

专利文献4：日本特开2010-85849号公报；

专利文献5：日本特开2008-204326号公报。

发明内容

本发明是一种广角摄像装置，具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置，使得能够取得将交叉点作为中心的广视角的图像并且所述2个摄像机的视角的一部分重叠，通过重叠的2个图像形成重叠部分，基于重叠部分的2个图像能够进行立体测定。

此外，本发明涉及以能够对全向图像进行摄像的方式以规定的角度间隔配置有规定数量的摄像机的广角摄像装置，此外，涉及通过至少1组邻接的摄像机，取得形成重叠部分的2个图像，通过重叠部分进行立体测定的广角摄像装置，此外，涉及以重叠部分形成全向图像的广角摄像装置，此外，涉及还具备运算处理装置，该运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及重叠部分的重合图像，对在重叠部分中存在的测定对象物的3维坐标进行运算的广角摄像装置，此外，涉及还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定的广角摄像装置。

此外，本发明是一种测定系统，具有广角摄像装置和运算处理装置，所述广角摄像装置具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置，使得能够取得将交叉点作为中心的广视角的图像并且所述2个摄像机的视角的一部分重叠而形成重叠部分，所述运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及所述重叠部分的重合的图像，通过立体测定对在重叠部分中存在的测定对象物的3维坐标进行运算。

此外，本发明涉及还具备移动量测定单元，所述运算处理装置针对在所述重叠部分中存在的近距离的测定对象物，通过所述立体测定进行3维坐标测定，针对远距离的测定对象物，基于从不同的2点摄像的图像和通过所述移动量测定单元求取的所述2点间的距离，进行测定对象物的3维坐标的取得的测定系统，此外，涉及所述移动量测定单元是GPS装置，该GPS装置、所述广角摄像装置、所述运算处理装置搭载于移动体，通过所述GPS装置测定移动体的当前位置的测定系统，此外，涉及还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定的测定系统。

附图说明

图1是表示将本发明的广角摄像装置设置在汽车的情况的概略图。

图2是表示本发明的实施例的广角摄像装置的概略立体图。

图3是表示该广角摄像装置中的摄像机的光学配置的说明图。

图4是表示该广角摄像装置的视角和重叠部分的说明图。

图5是本实施例的测定系统的框图。

图6是利用2个图像的立体测定的说明图。

图7是表示配置有4个广角摄像机的情况下的视角与重叠部分的说明图。

附图标记说明

1 广角摄像装置；

2 汽车；

3 壳体；

4 摄像机；

7 运算处理装置；

11 光轴；

12 光接收元件；

13 物镜；

14 光接收面；

16 测定系统；

18 显示部；

21 输入输出控制部；

22 运算部；

23 存储部；

25 重叠部分；

26 测定对象物。

具体实施方式

以下，一边参照附图,一边说明本发明的实施例。

图1表示将本发明的广角摄像装置1设置在作为移动体的汽车2的车顶的情况，此外，在所述汽车2搭载有基于来自所述广角摄像装置1的图像信号等进行测距等的测定的运算处理装置7。

图2~图4表示本发明的广角摄像装置1的概略。以下，针对该广角摄像装置1进行说明。

在所希望形状的壳体、例如球体的壳体3中至少内置2个摄像机4a、4b，所述壳体3具有防水结构，经由适配器8安装在所述汽车2的顶棚。

所述摄像机4a、4b的光学系统以使光轴11a、11b朝向透镜前方、且成为放射状的方式配置。也就是说光轴11a、11b（参照图3）处于同一水平面上，此外该光轴11a、11b在1点、优选是所述壳体3的中心点O交叉，进而所述光轴11a、11b形成的角度α以所述中心点O为中心成为规定的角度。

所述角度α考虑所述摄像机4a、4b的光学系统的视角而决定，例如在所述摄像机4a、4b的光学系统具有220°的广视角的情况下，所述角度设为90°。因此，所述广角摄像装置1能够摄像的视角成为310°，所述摄像机4a、4b的光学系统的重叠的视角成为110°。再有，作为具有220°的广视角的摄像机，有本申请人在日本特愿2008-256477（日本特开2010-85849号公报/专利文献4）中申请的摄像机。

首先，针对所述摄像机4a、4b进行说明。再有，所述摄像机4a、4b是相同结构，因此以下作为摄像机4进行说明。

该摄像机4具有光接收元件12和构成所述光学系统的物镜13，取得数字图像。所述光接收元件12例如是作为像素的集合体的CCD、COMS等，能够确定进行光接收的像素的光接收面（摄像面）14上的位置。

而且，所述广角摄像装置1通过所述摄像机4a、4b以310°的广角度进行摄像，此外将来自所述摄像机4a、4b的图像信号向所述运算处理装置7送出。

接着，通过图5针对测定系统16进行说明。

该测定系统16主要通过所述广角摄像装置1、所述运算处理装置7以及操作部17、显示部18而构成。

如图5所示，所述运算处理装置7具备输入输出控制部21、运算部22、存储部23。所述输入输出控制部21将来自所述摄像机4a、4b的图像信号交替地以时间序列输入到所述运算部22，将来自所述操作部17的操作指令信号输入到所述运算部22。此外，将以所述摄像机4摄像的图像、还有测量结果等经由所述输入输出控制部21向所述显示部18送出。

所述存储部23对来自所述摄像机4a、4b、所述操作部17的信号经由所述运算部22进行存储。

此外，在所述存储部23中储存来自所述摄像机4a、4b的图像信号等的数据，进而储存有进行从图像信号提取测定对象物等的图像处理的图像处理程序、基于图像信号对到测定对象物的距离及3维坐标进行运算的运算程序、用于使所述显示部18显示取得的图像或运算结果等的图像显示程序等的各种程序。

所述运算部22通过所述图像处理程序从所述图像信号提取测定对象物，此外，通过所述运算程序进行基于来自所述摄像机4a、4b的2个图像的立体测定（stereoscopic measurement），由此对到测定对象物的距离及测定对象物的3维坐标进行运算。

以下，针对所述广角摄像装置1、所述测定系统16的作用进行说明。

所述广角摄像装置1如图4所示那样，能够通过2个摄像机4a、4b以310°的广角取得图像。来自所述摄像机4a、4b的2个图像数据被送出至所述运算处理装置7，在该运算处理装置7中合成2个图像，在所述显示部18中显示合成图像。

此外，所述2个图像在视角110°中重叠。再有，重叠部分25在图4中附加有阴影。该重叠部分25是根据2个处于已知关系的所述摄像机4a、4b的图像，在所述重叠部分25内存在的测定对象物能够进行立体测定。

参照图6，对基于2个图像的立体测定进行说明。在图6中，B表示2个摄像机4a、4b的透镜中心间距离（摄影基线长度），f表示物镜13a、13b的焦点距离，（x1，y1）表示所述摄像机4a的图像坐标，（x2，y2）表示所述摄像机4b的图像坐标，（x，y，z）表示所述广角摄像装置1的3维坐标。此外，26是测定对象物。

此外，为了容易说明，在图6中，将所述摄像机4a、4b的光轴11a、11b设为平行来表示。在如本实施例那样在摄像机4a、4b的光轴间具有角度的情况下，对应于角度对获得的结果进行校正即可。

在该测定对象物26上的测定点P（x，y，z）和所述光接收面14a、光接收面14b的对应点P1（x1，y1）、P2（x2，y2）的坐标之间具有以下的数式表示的关系。

x=x1×B/(x1-x2)

y=y1×B/(x1-x2)

z=f×B/(x1-x2)

B：摄影基线长度

因此，通过上述数式，能够求取对象物P的空间坐标中的相对的位置坐标P（x，y，z）。

再有，在这里为了进行简单的说明，以摄像机位于同一平面内时的运算作为例子。通常，难以使光轴相对于摄影基线成为直角来对各个图像进行摄影，而进行求取各摄像机的相对的倾斜的相互标定。关于相互标定，在日本特开2005-165468号公报（专利文献2）、日本特开2006-10376号公报（专利文献3）等中记载。

再有，所述测定点P能够对提取的测定对象物26的图像进行边缘处理等来选定。

而且，能够通过所述广角摄像装置1取得广视角的图像，并且一起进行到测定对象物26的测距。

此外，能够将所述显示部18作为触摸面板，从该显示部18选择测定点P，进行距离测定。

例如，能够选择将在所述显示部18中显示的图像设为视角310°的整体图像或者设为所述重叠部分25，在使所述显示部18显示该重叠部分25的状态下，以触摸笔等指示图像中的想测定的位置。在图像中，通过指示测定点P，从而赋予摄像机4a的光接收面14a上的对应点P1（x1，y1）、摄像机4b的光接收面14b上的对应点P2（x2，y2），能够通过上述数式求取x，y。

上述的立体测定的精度能够以下述数式来表现。

平面精度 ΔXY=H×Δp/f

纵深方向的精度 ΔZ=（H/f）×（H/B）×Δp

H：到测定对象物的距离

f：摄像机的焦点距离

B：摄影基线长度

Δp：摄像机的像素尺寸

因此，在通过基于上述广角摄像装置1取得的在1个地点的图像的立体测定对远距离进行测定的情况下，精度降低。

因此，在对远距离进行测定的情况下，使所述广角摄像装置1移动，基于在2个地点取得的2个图像及2个地点间的距离进行立体测定即可。再有，针对2个地点间的距离，实际测定移动距离也可，或者通过后述的移动量测定单元来求取也可。

在移动时能够连续地摄像的测定对象物进行基于在2个地点取得的2个图像以及2个地点间的距离的立体测定，此外，由于移动而不能连续地摄像的测定物利用所述摄像机4a、4b的重叠图像进行立体测定，也可以根据测定对象物的距离、位置，切换进行所述2个立体测定。

接着，说明在所述汽车2搭载GPS装置，能够测定所述汽车2的当前位置的情况。

GPS装置能够通过来自多个卫星的信号，实时地测定当前位置，能够测定所述广角摄像装置1的2个摄像地点的位置，进而能够运算2点间的距离，因此能够一边移动一边对测定对象物的3维坐标进行测定。

此外，在一边移动一边进行测定的情况下，关于近距离的测定对象物、例如在道路边存在的建筑物等，相对于汽车2的相对速度快，在2点间摄像、使用GPS装置的测定中，图像过于分离而难以进行测定。

因此，在近距离中，利用以所述广角摄像装置1在1个地点取得的图像进行测定，在远距离中，基于在2个地点取得的2个图像进行测定，由此能够从近距离到远距离以最适合的状态进行3维坐标测定。

在使用GPS装置的情况下，因为可知所述汽车2的地面坐标系的位置，所以能够将以所述广角摄像装置1在1个地点取得的图像中的测定结果置换到地面坐标系，能够将从近距离到远距离的测定结果作为地图数据进行利用。

此外，也可以代替GPS装置，使用IMU（惯性姿态计测装置）。IMU能够高精度地求取搭载的移动体的相对位置。因此，使用IMU求取进行摄像的2个地点的相对位置关系，进行立体测定。GPS装置与IMU一起作为移动量测定单元而发挥功能。

此外，通过将以所述广角摄像装置1取得的图像与3维坐标测距结果关联起来，从而能够作为带有位置数据的图像。

在上述实施例中，能够利用2个摄像机4a、4b取得广角图像，但通过将3个以上的摄像机4沿着圆周配设，从而能够做成全向摄像机。

例如，如图7所示那样，当在圆周方向以90°间隔配设具有220°的广视角的摄像机4a、4b、4c、4d时，能够取得全向图像。进而，按邻接的每个摄像机产生重叠部分25a、25b、25c、25d，能够测定在该重叠部分25a、25b、25c、25d中存在的测定对象物。

再有，在图7中，没有附加阴影的空白部分是不能进行立体测定的死角部分，但死角部分仅限于广角摄像装置1的附近，因此对于实际的测定几乎没有影响。此外，为了减少死角部分，能够通过将所述摄像机4以72°间隔设置5个，或者以60°间隔设置6个等增加摄像机4的数量来进行应对。进而，关于摄像机4的数量，以根据摄像机4的视角而产生适当的重叠部分25的方式适宜地决定。此外，使用的摄像机4并不一定必须是广角摄像机，只要是形成包含测定对象物26的适宜的重叠部分25的摄像机4的数量、配置即可。

进而此外，在上述实施例中将摄像机4的光轴配置在水平面，但也可以配置在垂直面内，使得在上下方向成为广角。

在能够通过广角摄像装置1取得全向图像的情况下，当使所述显示部18显示重叠部分25a、25b、25c、25d时，能够仅以重叠部分获得全向图像。因此，通过使所述显示部18显示仅重叠部分的全向图像，使触摸笔等在该显示部上指示全周的任意方向的、任意的对象物的、任意的位置，从而能够测定任意的位置的3维坐标。而且，不用每次使测定机朝向测定方向，能够通过一次设置来对在全周存在的测定对象物的3维坐标进行测定。

此外，在以能够取得全向图像的方式配置摄像机的情况下，也可以使邻接的至少1组的摄像机能够形成所述覆盖部分25。

在上述的说明中，说明了将广角摄像装置1搭载在汽车2的情况，但在汽车之外，也能够搭载于建设机械、农业机械等的移动体。

此外，也可以将所述运算处理装置7设置在所述壳体3内，使所述广角摄像装置1与所述运算处理装置7一体化，进而使显示部18一体化，使所述广角摄像装置1具有测距功能，在通过所述广角摄像装置1对广角图像进行摄像的同时，能够进行针对测定对象物的3维坐标的测定。

产业上的利用可能性

根据本发明，具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置使得能够取得将交叉点作为中心的广视角的图像，并且所述2个摄像机的视角的一部分重叠，通过重叠的2个图像形成重叠部分，基于重叠部分的2个图像能够进行立体测定，因此能够对广视角的图像进行摄像，并且能够取得作为3维坐标测定用的图像。

此外根据本发明，因为以能够对全向图像进行摄像的方式以规定的角度间隔配置有规定数量的摄像机，所以能够进行全向图像的摄像，并且能够取得作为3维坐标测定用的图像。

此外根据本发明，因为以重叠部分形成全向图像，所以能够实现针对全圆周的任意方向的、任意对象物的、任意的位置的3维坐标测定。

此外根据本发明，还具备运算处理装置，该运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及重叠部分的重合图像，对在重叠部分中存在的测定对象物的3维坐标进行运算，因此能够取得广视角的图像，并且能够实现测定对象物的3维坐标测定。

此外根据本发明，还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定，因此能够以一次触摸进行所希望的任意位置的、任意点的测定。

此外，根据本发明，具有广角摄像装置和运算处理装置，所述广角摄像装置具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置，使得能够取得将交叉点作为中心的广视角的图像并且所述2个摄像机的视角的一部分重叠而形成重叠部分，所述运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及所述重叠部分的重合的图像，通过立体测定对在重叠部分中存在的测定对象物的3维坐标进行运算，因此能够取得广视角的图像，并且能够实现测定对象物的3维坐标测定。

此外根据本发明，还具备移动量测定单元，所述运算处理装置针对在所述重叠部分中存在的近距离的测定对象物，通过所述立体测定进行3维坐标测定，针对远距离的测定对象物，基于从不同的2点摄像的图像和通过所述移动量测定单元求取的所述2点间的距离，进行测定对象物的3维坐标的取得，因此能够实现从近距离到远距离的测定。

此外根据本发明，所述移动量测定单元是GPS装置，该GPS装置、所述广角摄像装置、所述运算处理装置搭载于移动体，通过所述GPS装置测定移动体的当前位置，因此能够一边通过移动体进行移动，一边进行从近距离的测定对象物到远距离的测定对象物的距离测定。

此外根据本发明，还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定，因此能够以一次触摸进行任意点的测定。

Claims

1.一种广角摄像装置，具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置，使得能够取得将交叉点作为中心的广视角的图像并且所述2个摄像机的视角的一部分重叠，通过重叠的2个图像形成重叠部分，基于重叠部分的2个图像能够进行立体测定。

2.根据权利要求1所述的广角摄像装置，其中，以能够对全向图像进行摄像的方式以规定的角度间隔配置有规定数量的摄像机。

3.根据权利要求2所述的广角摄像装置，其中，通过至少1组邻接的摄像机，取得形成重叠部分的2个图像，通过重叠部分进行立体测定。

4.根据权利要求2所述的广角摄像装置，其中，以重叠部分形成全向图像。

5.根据权利要求1或权利要求3或权利要求4所述的广角摄像装置，其中，还具备运算处理装置，该运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及重叠部分的重合图像，对在重叠部分中存在的测定对象物的3维坐标进行运算。

6.根据权利要求5所述的广角摄像装置，其中，还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定。

7.一种测定系统，具有广角摄像装置和运算处理装置，所述广角摄像装置具有对数字图像进行摄像的至少2个摄像机，将该2个摄像机在同一平面内以所述2个摄像机的光轴交叉的方式进行配置，使得能够取得将交叉点作为中心的广视角的图像并且所述2个摄像机的视角的一部分重叠而形成重叠部分，所述运算处理装置基于所述2个摄像机间的距离、摄像机的焦点距离以及所述重叠部分的重合的图像，通过立体测定对在重叠部分中存在的测定对象物的3维坐标进行运算。

8.根据权利要求7所述的测定系统，其中，还具备移动量测定单元，所述运算处理装置针对在所述重叠部分中存在的近距离的测定对象物，通过所述立体测定进行3维坐标测定，针对远距离的测定对象物，基于从不同的2点摄像的图像和通过所述移动量测定单元求取的所述2点间的距离，进行测定对象物的3维坐标的取得。

9.根据权利要求8所述的测定系统，其中，所述移动量测定单元是GPS装置，该GPS装置、所述广角摄像装置、所述运算处理装置搭载于移动体，通过所述GPS装置测定移动体的当前位置。

10.根据权利要求7或权利要求8所述的测定系统，其中，还具备具有触摸面板功能的显示部，通过指定在该显示部中显示的重叠部分的任意的位置，从而进行指定的位置的3维坐标测定。