CN103426160B - 数据导出装置及数据导出方法 - Google Patents

Abstract

本发明提供一种数据导出装置，旨在以较简便的设备来导出照相机的实际失真。位置确定部确定以照相机拍摄2个标记所得到的拍摄图像中的标记像的位置(步骤S21)。然后，误差率导出部基于2个标记像的位置，导出以设计像高r为基准的实际像高r’的误差率err(步骤S22～S30)。进而，失真导出部基于误差率err和设计上的失真来导出照相机的实际的失真(步骤S31)。由于能根据拍摄图像中的2个标记像的位置来导出照相机的实际的失真，因此能以较简便的设备来导出照相机的实际的失真。

Description

数据导出装置及数据导出方法

技术领域

本发明涉及导出与照相机相关的数据的技术。

背景技术

在以照相机所得到的拍摄图像中，发生被称为失真(distortion：扭曲象差)的被摄体的像出现变形的现象。特别是在以利用了鱼眼透镜的照相机所得到的拍摄图像中，发生较大的失真。

这样的照相机的失真例如能通过Zhang的手法等来求取。该Zhang的手法记载在″Aflexiblenewtechniqueforcameracalibration″.IEEETransactionsonPatternAnalysisandMachineIntelligence，22(11)：1330-1334，2000.(非专利文献1)中。在Zhang的手法中，以照相机来拍摄排列成格子状的多个标记，并基于所得到的拍摄图像中所含的多个标记的像的位置来求取照相机的失真。

此外，作为公开与本发明关联的技术的先行技术文献，有以下的专利文献1以及非专利文献1。

先行技术文献

专利文献

专利文献1：日本专利第4803449号公报

非专利文献

非专利文献1：″Aflexiblenewtechniqueforcameracalibration″.IEEETransactionsonPatternAnalysisandMachineIntelligence，22(11)：1330-1334，2000.

而照相机的失真特性能以来自被摄体的光的入射角、与该被摄体的像的像高(离图像中心的距离)的关系来表征。这样的照相机的失真特性是通过设计来确定的。然而，照相机的实际的失真因制造误差等按每个照相机而不同，与设计上的失真不同。

近年，在车辆设置多个照相机、对以这些多个照相机所得到的多个拍摄图像进行合成，从而生成表示从虚拟视点观察到的车辆的周边样子的合成图像(俯瞰图像)的技术正在普及。在生成这样的合成图像的情况下，考虑失真的特性来校正拍摄图像中的被摄体的像的变形。然而，照相机的实际的失真与设计上的失真不同，因此在单纯利用了表示设计上的失真的数据的情况下，不能正确地校正被摄体的像的变形。其结果是，在所生成的合成图像中，在拍摄图像彼此的边界部分中发生同一的被摄体的像被分断等的不良状况。

为了与之对应，需要通过上述的Zhang的手法等来求取多个照相机各自的实际的失真。然而，在车辆工厂等的车间中，关于设备的配置存在各种制约，因此在现实中难以在这样的车间中将多个标记配置成格子状。故而，期望能以更简便的设备来导出照相机的实际失真的技术。

发明内容

本发明鉴于上述课题而提出，其目的在于，提供能以较简便的设备来导出照相机的实际失真的技术。

为了解决上述课题，技术方案1的发明是一种数据导出装置，导出与照相机相关的数据，其特征在于具备：确定单元，其确定利用所述照相机拍摄2个标记所得到的拍摄图像中的所述2个标记的各标记的标记像的位置；第1导出单元，其基于所述2个标记像的位置，导出以基于所述照相机的设计上的第1失真的设计像高为基准的、所述拍摄图像中的被摄体像的实际的像高的误差率；以及第2导出单元，其基于所述误差率和所述第1失真，导出所述照相机的实际的第2失真。

另外，技术方案2的发明是在技术方案1记载的数据导出装置中，所述第1导出单元基于根据所述拍摄图像中的所述2个标记像的位置导出的所述2个标记的相互间的导出距离、与所述2个标记的相互间的实际距离之间的比较结果，来导出所述误差率。

另外，技术方案3的发明是在技术方案2记载的数据导出装置中，还具备：取得单元，其基于所述第2失真、以及利用所述照相机拍摄所述2个标记所得到的拍摄图像，取得与所述照相机的设置相关的设置参数。

另外，技术方案4的发明是在技术方案1至3中任一方案记载的数据导出装置中，所述数据导出装置导出搭载于车辆的多个照相机的各照相机的所述第2失真，所述数据导出装置还具备：生成单元，其使用利用所述多个照相机的各照相机所得到的拍摄图像、以及所述多个照相机的各照相机的所述第2失真，生成表示从虚拟视点观察到的所述车辆的周边样子的合成图像。

另外，技术方案5的发明是一种数据导出方法，导出与照相机相关的数据，包括：工序a，确定利用所述照相机拍摄2个标记所得到的拍摄图像中的所述2个标记的各标记的标记像的位置；工序b，基于所述2个标记像的位置，导出以基于所述照相机的设计上的第1失真的设计像高为基准的、所述拍摄图像中的被摄体像的实际的像高的误差率；以及工序c，基于所述误差率和所述第1失真，导出所述照相机的实际的第2失真。

另外，技术方案6的发明是在技术方案5记载的数据导出方法中，所述工序b中，基于根据所述拍摄图像中的所述2个标记像的位置导出的所述2个标记的相互间的导出距离、与所述2个标记的相互间的实际距离之间的比较结果，来导出所述误差率。

另外，技术方案7的发明是在技术方案5记载的数据导出方法中，还包括：工序d，基于所述第2失真、以及利用所述照相机拍摄所述2个标记所得到的拍摄图像，取得与所述照相机的设置相关的设置参数。

另外，技术方案8的发明是在技术方案5至7中任一方案记载的数据导出方法中，所述数据导出方法导出搭载于车辆的多个照相机的各照相机的所述第2失真，所述数据导出方法还包括：工序e，使用利用所述多个照相机的各照相机所得到的拍摄图像、以及所述多个照相机的各照相机的所述第2失真，生成表示从虚拟视点观察到的所述车辆的周边样子的合成图像。

发明效果

根据技术方案1至8的发明，能根据拍摄图像中的2个标记像的位置来导出照相机的实际的第2失真。故而，能以较简便的设备来导出照相机的实际的第2失真。

另外，特别根据技术方案2以及6的发明，能以较简单的算法来导出照相机的实际的第2失真。

另外，特别根据技术方案3以及7的发明，能利用照相机的实际的第2失真来取得精度高的设置参数。

另外，特别根据技术方案4以及8的发明，能利用照相机的实际的第2失真来生成正确表示车辆的整个周围的合成图像。

附图说明

图1是表示包含数据导出装置的校正系统的图。

图2是表示标识体的外观的图。

图3是表示多个照相机的配置以及拍摄方向的图。

图4是表示车载装置的构成的图。

图5是说明图像合成部生成合成图像的手法的图。

图6是表示投影面的区域与拍摄图像的对应关系的图。

图7是表示用于合成图像的生成中的拍摄图像的一例的图。

图8是表示校准处理的流程的图。

图9是表示校准处理用的拍摄图像的一例的图。

图10是表示照相机的失真的特性的图。

图11是表示误差率与入射角的关系的图。

图12是表示世界座标系与照相机座标系的关系的图。

图13是表示照相机与2个标记的位置关系的图。

图14是表示失真导出处理的流程的图。

图15是说明导出逆算像高的手法的图。

图16是表示视线矢量v₁以及视线矢量v₂的图。

图17是表示角度θ₁以及角度θ₂的图。

图18是表示矢量T₁以及矢量T₂的图。

图19是表示矢量T₃的图。

符号说明

2车载装置

5照相机

9车辆

10校正系统

24a设计数据

24b实际数据

70、71、72标记

71a、72a标记像

具体实施方式

以下，参照附图来说明本发明的实施方式。

<1.系统的概要>

图1是表示包含本实施方式的数据导出装置的校正系统10的图。该校正系统10用于取得搭载于车辆(本实施方式中为汽车)9的多个照相机5各自的数据。校正系统10执行校准处理，取得表示各照相机5的实际的失真(扭曲象差)的失真数据(以下，称为“实际数据”。)、以及与各照相机5的设置相关的设置参数。

各照相机5的实际的失真与设计上的失真不同。故而，校正系统10取得表示照相机5的实际的失真的实际数据。另外，各照相机5的光轴的方向与设计上的方向稍微不同。故而，校正系统10取得摇摄角、倾斜角以及摇晃角等与各照相机5的设置相关的设置参数。

校正系统10具备：搭载于车辆9的多个照相机5以及车载装置2、以及配置于车辆9的外部的4个标识体7。4个标识体7各自配置于车辆工厂或车辆维护处等执行校准处理的车间的给定位置。

如图2所示，4个标识体7各自具有可直立的立体形状。标识体7具有直立的塑料板等的板状体79。在板状体79的与车辆9对置一侧的主面，形成有给定的模样的标记70。标记70的模样例如是二色的正方形交替配置而成的格子模样。形成该模样的二色当中的一者是相对暗的颜色(例如，黑)，另一者是相对亮的颜色(例如，白)。

在执行校准处理的情况下，如图1所示，车辆9通过正对装置等而大致准确地停车于车间的给定位置。由此，4个标识体7相对于车辆9的相对的位置成为一定。4个标识体7各自成为被配置于车辆9的左前方、右前方、左后方、以及、右后方的各区域A1、A2、A3、A4的状态。在该状态下，搭载于车辆9的照相机5拍摄包含标识体7的车辆9的周围，来取得拍摄图像。

车载装置2基于如此得到的拍摄图像，作为导出照相机5的数据的数据导出装置来发挥功能。车载装置2基于拍摄图像，导出表示照相机5的实际失真的实际数据、以及照相机5的设置参数。车载装置2确定拍摄图像中所含的标记70的像的位置，并基于该标记70的像的位置来导出实际数据以及设置参数。

这样的校准处理在对车辆9安装多个照相机5时执行。基于校准处理所得到的实际数据以及设置参数将存储于车载装置2，以后，在车载装置2执行的图像处理中予以利用。

<2.车载照相机>

图3是表示多个照相机5的配置以及拍摄方向的图。多个照相机5各自具备透镜和摄像元件，电子式地取得表示车辆9的周边的拍摄图像。多个照相机5分别与车载装置2不同地被配置于车辆9的适当位置，将已取得的拍摄图像输入至车载装置2。

多个照相机5包括：前照相机5F、后照相机5B、左侧照相机5L、以及右侧照相机5R。这4个照相机5F、5B、5L、5R配置于彼此不同的位置，对车辆9的周边的不同方向进行拍摄。

前照相机5F设于车辆9的前端的左右中央的附近，其光轴5Fa面向车辆9的前方(直线前进方向)。后照相机5B设于车辆9的后端的左右中央的附近，其光轴5Ba面向车辆9的后方(直线前进方向的逆方向)。左侧照相机5L设于车辆9的左侧的侧视镜93L，其光轴5La面向车辆9的左侧方(直线前进方向的正交方向)。另外，右侧照相机5R设于车辆9的右侧的侧视镜93R，其光轴5Ra面向车辆9的右侧方(直线前进方向的正交方向)。

这些照相机5的透镜采用鱼眼透镜，各照相机5具有180度以上的视角α。故而，通过利用4个照相机5F、5B、5L、5R，能拍摄车辆9的整个周围。车辆9的左前方、右前方、左后方、以及右后方的各区域A1、A2、A3、A4能通过4个照相机5当中的2个照相机5来重复地拍摄。在如此能重复拍摄的4个区域A1、A2、A3、A4，各自配置4个标识体7(参照图1。)。由此，4个照相机5分别能拍摄2个标识体7的标记70。

<3.车载装置>

图4是主要表示车载装置2的构成的图。如图所示，车载装置2与4个照相机5以可通信的方式连接。车载装置2具备对以4个照相机5各自所得到的4个拍摄图像进行合成来生成表示从虚拟视点观察到的车辆9的周边样子的合成图像进而显示该合成图像的功能。车载装置2在生成该合成图像时，利用通过校准处理所得到的实际数据和设置参数。

车载装置2具备：显示器26、操作部25、图像取得部22、图像合成部23、存储部24、以及控制部21。

显示器26例如是具备液晶面板等的薄型的显示装置，对各种信息或图像进行显示。操作部25是受理用户的操作的操作按钮等。在用户操作了操作部25的情况下，将表示该操作的内容的信号输入至控制部21。

图像取得部22从4个照相机5取得以各照相机5所得到的拍摄图像。图像取得部22具有将模拟的拍摄图像变换成数字的拍摄图像的A/D变换功能等的基本图像处理功能。图像取得部22对已取得的拍摄图像进行给定的图像处理，并将处理后的拍摄图像输入至图像合成部23以及控制部21。

图像合成部23例如是硬件电路，执行给定的图像处理。图像合成部23使用以4个照相机5各自取得的4个拍摄图像，来生成表示从任意的虚拟视点观察到的车辆9的周边样子的合成图像(俯瞰图像)。关于图像合成部23生成从虚拟视点观察到的合成图像的手法将后述。

存储部24例如是闪存等的非易失性存储器，存储各种信息。存储部24存储有：设计数据24a、实际数据24b以及设置参数24c。另外，存储部24还存储有成为车载装置2的固件的程序。

设计数据24a是表示照相机5的设计上的失真的失真数据。另一方面，实际数据24b是表示照相机5的实际的失真的失真数据。设计数据24a对于4个照相机5F、5B、5L、5R是公共的，但实际数据24b按各照相机5而不同。实际数据24b基于设计数据24a并通过校准处理来取得。故而，尽管在校准处理的执行前，存储部24中存储有设计数据24a，但并未存储实际数据24b。

另外，设置参数24c是与照相机5的设置相关的参数。设置参数24c包括摇摄角、倾斜角以及摇晃角等的表示照相机5的光轴的方向的参数。设置参数24c按各照相机5而不同。设置参数24c也通过校准处理来取得，因此在校准处理的执行前未存储于存储部24。

在存储部24，存储有分别与4个照相机5F、5B、5L、5R对应的实际数据24b和设置参数24c。这些实际数据24b以及设置参数24c在图像合成部23生成合成图像时利用。

控制部21是综合控制整个车载装置2的微机。控制部21具备：CPU、RAM以及ROM等。控制部21的各种功能通过遵照存储部24中所存储的程序由CPU进行运算处理来予以实现。图中所示的位置确定部21a、误差率导出部21b、失真导出部21c、以及参数取得部21d是通过遵照程序来由CPU进行运算处理而予以实现的功能部的一部分。这些功能部执行校准处理所涉及的处理，其细节将后述。

<4.合成图像的生成>

接下来，说明图像合成部23生成合成图像的手法。图5是说明图像合成部23生成合成图像的手法的图。

在车载装置2的前照相机5F、后照相机5B、左侧照相机5L、以及右侧照相机5R的各照相机进行拍摄时，取得各自表示车辆9的前方、后方、左侧方以及右侧方的4个拍摄图像GF、GB、GL、GR。在这4个拍摄图像GF、GB、GL、GR，含有车辆9整个周围的被摄体的像。

图像合成部23将这4个拍摄图像GF、GB、GL、GR中所含的数据(各像素的值)投影至虚拟的三维空间中的立体曲面即投影面TS。投影面TS例如呈大致半球状(碗形状)。该投影面TS的中心部分(碗的底部分)被确定为车辆9的位置。另一方面，投影面TS的中心以外的部分与拍摄图像GF、GB、GL、GR的任一者对应。图像合成部23对投影面TS的中心以外的部分投影拍摄图像GF、GB、GL、GR中所含的数据。

如图6所示，图像合成部23对投影面TS上相对于车辆9的前方的区域，投影前照相机5F的拍摄图像GF的数据。另外，图像合成部23对投影面TS上相当于车辆9的后方的区域，投影后照相机5B的拍摄图像GB的数据。进而，图像合成部23对投影面TS上相当于车辆9的左侧方的区域，投影左侧照相机5L的拍摄图像GL的数据，对投影面TS上相当于车辆9的右侧方的区域，投影右侧照相机5R的拍摄图像GR的数据。

回到图5，在如此对投影面TS的各部分投影数据时，接下来，图像合成部23虚拟地构成表示车辆9的三维形状的多边形的模型。该车辆9的模型在设定投影面TS的三维空间中配置于被确定为车辆9的位置的大致半球状的中心部分。

接下来，图像合成部23对三维空间设定虚拟视点VP。图像合成部23能在三维空间中的任意的视点位置上朝着任意的视野方向来设定虚拟视点VP。而且，图像合成部23从投影面TS中将从已设定的虚拟视点VP观察到的给定的视野角中所含的区域作为图像，切取出来。另外，图像合成部23按照已设定的虚拟视点VP来就多边形的模型进行绘制，并将作为其结果的二维的车辆像90相对于切取出的图像进行重叠。由此，图像合成部23生成表示从虚拟视点VP观察到的车辆9以及车辆9的周边区域的合成图像CP。

例如图5所示，在设定了以视点位置为车辆9的正上方，视野方向为正下方的虚拟视点VPa的情况下，生成对车辆9以及车辆9的周边的区域进行俯瞰的合成图像CPa。另外，在设定了以视点位置为车辆9的左后方、以视野方向为车辆9的前方的虚拟视点VPb的情况下，按照从车辆9的左后方见到其整个周边的方式来生成表示车辆9以及车辆9的周边的区域的合成图像CPb。

图7是表示用于这样的合成图像CP的生成的拍摄图像G的一例的图。照相机5的透镜是鱼眼透镜，因此，如图所示，拍摄图像G中所含的被摄体的像(以下，称为“被摄体像”。)变形。故而，图像合成部23在对投影面TS的投影前，考虑4个照相机5各自的失真的特性来校正4个拍摄图像GF、GB、GL、GR各自所含的被摄体像的变形。

如前所述，照相机5的实际的失真与设计上的失真不同。因此，在被摄体像的变形的校正中单纯利用了表示设计上的失真的设计数据24a的情况下，将不能正确校正被摄体像的变形。其结果是，同一被摄体的像在对投影面TS投影的拍摄图像彼此的边界部分B(参照图6。)发生被分断等的不良状况。故而，图像合成部23在拍摄图像G中的被摄体像的变形的校正中，使用表示取得了该拍摄图像G的照相机5的实际的失真的实际数据24b。

另外，在拍摄图像G中，包含对投影面TS应投影的数据在内的区域将按照取得了该拍摄图像G的照相机5的设置上的误差而变化。故而，图像合成部23使用照相机5的设置参数24c(摇摄角、倾斜角以及摇晃角等)来修正图像G的对投影面TS投影的区域。

如关于取得了图7所示的拍摄图像G的照相机5没有设置上的误差的情况下，包含应投影至投影面TS的数据在内的区域成为默认的区域R1。通常照相机5存在设置上的误差，因此图像合成部23基于该照相机5的设置参数24c来将投影至投影面TS的区域从区域R1修正至区域R2。然后，图像合成部23将该区域R2中所含的数据投影至投影面TS。

如此，图像合成部23通过在生成合成图像CP时使用照相机5的实际数据24b以及设置参数24c，能生成适当的合成图像CP。

<5.校准处理>

接下来，说明取得照相机5的实际数据24b和设置参数24c的校准处理。校准处理如图1所示，通过在使车辆9停车于预先配置了4个标识体7的车间的给定位置的状态下由操作员经由操作部25进行给定的操作，来予以执行。图8是表示该校准处理的流程的图。以下，说明校准处理的流程。

首先，控制部21将4个照相机5当中的一个照相机5选择为作为处理的对象的“关注照相机5”(步骤S11)。在以后的步骤S12～S14的处理中，取得该关注照相机5的实际数据24b和设置参数24c。

在步骤S12中，关注照相机5拍摄包含2个标识体7的标记70在内的车辆9的周边区域来取得拍摄图像。图9是表示如此取得的校准处理用的拍摄图像GC的一例的图。如图所示，在拍摄图像GC中，含有2个标记70的像(以下，称为“标记像”。)71a、72a。

接下来，在步骤S13中，执行对表示关注照相机5的实际失真的实际数据24b进行导出的失真导出处理。在失真导出处理中，基于拍摄图像GC中所含的2个标记像71a、72a的位置来导出实际数据24b。失真导出处理由位置确定部21a、误差率导出部21b、以及失真导出部21c执行，其细节将后述。通过失真导出处理得到的实际数据24b与关注照相机5相关联地被存储于存储部24。

接下来，在步骤S14中，参数取得部21d执行用于取得与关注照相机5的设置相关的设置参数24c的参数取得处理。参数取得部21d首先使用步骤S13中所得到的实际数据24b来校正拍摄图像GC的被摄体像的变形。然后，参数取得部21d例如使用专利第4803449号公报(专利文献1)中记载的手法等周知的手法，基于拍摄图像GC中所含的2个标记像71a、72a的位置来导出关注照相机5的设置参数24c。例如，参数取得部21d能分别基于拍摄图像GC中的2个标记像71a、71b的左右的位置来导出摇摄角，基于2个标记像71a、71b的上下的位置来导出倾斜角，基于拍摄图像GC中的2个标记像71a、71b的高度之差来导出摇晃角。

如此，参数取得部21d在使用表示关注照相机5的实际的失真的实际数据24b校正了拍摄图像GC的被摄体像的变形后，基于拍摄图像GC来导出设置参数24c。故而，能取得精度高的设置参数24c。通过参数导出处理所得到的设置参数24c与关注照相机5相关联地存储于存储部24。

若参数导出处理完成，接下来，控制部21针对全部的4个照相机5，判定是否完成了实际数据24b以及设置参数24c的导出。然后，在存在有未完成这些导出的照相机5的情况下(步骤S15中为“否”)，将未被设置为关注照相机5的其他的照相机5设定为新的关注照相机5，反复上述的处理。通过反复这样的处理，来导出4个照相机5全部的实际数据24b以及设置参数24c。在4个照相机5全部的实际数据24b以及设置参数24c已被导出时(步骤S15中为“是”)，校准处理结束。

<6.失真导出处理>

接下来，详细地说明步骤S13的失真导出处理。首先，说明表示照相机5的设计上的失真的设计数据24a、与表示实际的失真的实际数据24b的关系。

图10是表示照相机5的失真的特性的图。图10以来自被摄体的光的入射角θ(deg)、与拍摄图像中的该被摄体的像的像高(mm)的关系来表征了失真的特性。用于表示图10所示的入射角θ与像高的关系的2个曲线相当于设计数据24a以及实际数据24b。设计数据24a相当于表示基于设计上的失真的像高(以下，称为“设计像高”。)r的实线的曲线。另一方面，实际数据24b相当于表示拍摄图像中的实际的像高(以下，称为“实际像高”。)r’的单点划线的曲线。

如图所示，在设计像高r和实际像高r’中产生了误差。实际像高r’相对于该设计像高r的误差(r’-r)在入射角θ越大时越变大。故而，被摄体的像距照相机5的光轴越远，越容易受这样的失真的不同的影响。

在此，将以设计像高r为基准的实际像高r’的误差率err(％)通过下面的数式1来定义。

【数式1】

$\mathrm{err}=\frac{r^{\&prime;}-r}{r}\&times;100$

另外，在以f为照相机5的焦距的情况下，设计像高r例如通过下面的数式2来确定。

【数式2】

r＝2f·tan(θ/2)

另一方面，实际的失真与设计上的失真不同起因于有关照相机5的透镜与摄像元件之间的距离(对应于焦距f)的制造误差。故而，若将焦距f的误差设为k，则实际像高r’能通过下面的数式3来表示。

【数式3】

r′＝2(f+k)·tan(θ/2)

因此，数式1所示的像高的误差率err如图11所示，不依赖于入射角θ而保持恒定。该误差率err例如成为-5.0(％)至+5.0(％)的范围的值。在失真导出处理中，首先，误差率导出部21b导出该误差率err，然后，失真导出部21c基于误差率err和设计数据24a来导出实际数据24b。

另外，在失真导出处理中，使用以关注照相机5为基准的照相机座标系。图12是表示世界座标系与照相机座标系的关系的图。世界座标系是具有Xw轴、Yw轴、Zw轴的三维正交座标系，以车辆9为基准进行设定。于此相对，照相机座标系是具有Xc轴、Yc轴、Zc轴的三维正交座标系，以关注照相机5为基准进行设定。

世界座标系的原点Ow与照相机座标系的原点Oc不同。另外，一般而言，在世界座标系和照相机座标系下，各座标轴的方向也不一致。世界座标系下的照相机座标系的原点Oc的座标位置(即，关注照相机5相对于车辆9的位置)是已知的。另外，照相机座标系的Zc轴沿关注照相机5的光轴。

图13是表示关注照相机5、与由关注照相机5拍摄的2个标记70的位置关系的图。如图所示，从关注照相机5观察，分别在左侧配置有标记71，在右侧配置有标记72。

如前所述，标识体7配置于给定位置，标识体7相对于车辆9的相对的位置一定。故而，标记71、72在世界座标系下的座标位置已知。故而，从关注照相机5到左侧的标记71的距离d₁、从关注照相机5到右侧的标记72的距离d₂、以及2个标记71、72相互间的实际的距离m能根据世界座标系下的关注照相机5以及标记71、72这3个座标位置来求取。这些距离d₁、d₂、m预先存储于存储部24，用到失真导出处理中。此外，可以基于3个座标位置，在失真导出处理的一个工序中求取这些距离d₁、d₂、m。

图14是表示失真导出处理(图8的步骤S13)的流程的图。以下，说明该失真导出处理的流程。在该处理的开始时间点，由关注照相机5取得了包含2个标记像71a、72a在内的拍摄图像GC。另外，设计数据24a、以及距离d₁、d₂、m存储在存储部24中。

首先，位置确定部21a确定拍摄图像GC中的2个标记像71a、72a的位置(步骤S21)。位置确定部21a例如使用Harris算子等周知的拐角检测法来检测图15的上段所示的拍摄图像GC中的2个标记像71a、72a。然后，位置确定部21a如图15的中段所示，确定拍摄图像GC中的作为2个标记像71a、72a各自的中心的位置(格子模样的二色的边界线进行交叉的位置)P1、P2。

接下来，误差率导出部21b基于拍摄图像GC中的2个标记像71a、72a的位置P1、P2来导出误差率err。误差率导出部21b在该处理中对于作为搜索对象的误差率err设定临时值。然后，

误差率导出部21b使用该误差率err的临时值来执行步骤S23～S27的一系列处理，并导出评价值E。

误差率导出部21b在-5.0至+5.0的范围内每次以0.1来变更设定为误差率err(％)的临时值(步骤S22，S28，S29)，在每次变更误差率err的临时值时，反复进行步骤S23～S27的一系列处理。由此，误差率导出部21b按每个设定为误差率err的临时值来导出评价值E。

在步骤S23中，使用设定了临时值的误差率err，导出2个标记像71a、72a各自的设计像高r。

首先，如图15的中段所示，通过各自导出从拍摄图像GC的图像中心(光轴的位置)起到步骤S21中所确定的位置P1、P2为止的距离，来求取拍摄图像GC中的2个标记像71a、72a各自的实际像高r’₁、r’₂。该实际像高r’₁、r’₂可谓是含有相对于设计像高r的误差的值。

故而，如图15的下段所示，基于误差率err的临时值、以及实际像高r’₁、r’₂，来逆算不包含2个标记像71a、72a各自的误差在内的设计像高r₁、r₂。以下，将如此所逆算的设计像高称为“逆算像高”。逆算像高r₁、r₂能通过对数式1进行变形后的下面数式4来导出。

【数式4】

$r=\frac{100}{100+\mathrm{err}}\&times;r^{\&prime;}$

接下来，在步骤S24(参照图14。)中，如图16所示，导出照相机座标系下的、从关注照相机5朝着2个标记71、72的各标记的方向的单位矢量即视线矢量v₁、v₂。

首先，参照设计数据24a(图10的实线的曲线)，基于左侧的标记71的逆算像高r₁，求取来自标记71的光的入射角θ₁。同样，基于右侧的标记72的逆算像高r₂，求取来自标记72的光的入射角θ₂。由此，如图17所示，求取相对于关注照相机5的光轴5a从关注照相机5起到标记71为止的直线L1所成的角度θ₁、以及从关注照相机5起到标记72为止的直线L2所成的角度θ₂进行求取。

在此，在拍摄图像GC中，将从图像中心起到位置P1为止的直线相对于水平线所成的角度设为Ф₁，将从图像中心起到位置P2为止的直线相对于水平线所成的角度设为Ф₂(参照图15。)。

如前所述，关注照相机5的光轴5a沿照相机座标系的Zc轴，关注照相机5的位置是照相机座标系的原点。故而，如下面的数式5所示，从关注照相机5起朝着左侧的标记71的方向的单位矢量即视线矢量v₁(参照图16。)能基于角度θ₁以及角度Ф₁来求取得到。另外，从关注照相机5起朝着标记72的方向的单位矢量即视线矢量v₂能基于角度θ₂以及角度Ф₂来求取得到。

【数式5】

${\stackrel{\&RightArrow;}{v}}_1=(\sin {\mathrm{\&theta;}}_1\&CenterDot;\sin {\mathrm{\&Phi;}}_1,\sin {\mathrm{\&theta;}}_1\&CenterDot;{\cos \mathrm{\&Phi;}}_1,\cos {\mathrm{\&theta;}}_1)$

${\stackrel{\&RightArrow;}{v}}_2=({\sin \mathrm{\&theta;}}_2\&CenterDot;{\sin \mathrm{\&Phi;}}_2,{\sin \mathrm{\&theta;}}_2\&CenterDot;{\cos \mathrm{\&Phi;}}_2,\cos {\mathrm{\&theta;}}_2)$

接下来，在步骤S25(参照图14。)中，导出2个标记71、72的相互间的距离。

首先，如图18所示，求取以关注照相机5为起点且以左侧的标记71为终点的矢量T₁、以及以关注照相机5为起点且以右侧的标记72为终点的矢量T₂。如下面的数式6所示，矢量T₁基于从关注照相机5到左侧的标记71的距离d₁、以及视线矢量v₁来导出。另外，矢量T₂基于从关注照相机5到右侧的标记72的距离d₂、以及视线矢量v₂来导出。

【数式6】

${\stackrel{\&RightArrow;}{T}}_1=d_1\&CenterDot;{\stackrel{\&RightArrow;}{v}}_1$

${\stackrel{\&RightArrow;}{T}}_2=d_2\&CenterDot;{\stackrel{\&RightArrow;}{v}}_2$

而且，如图19所示的、以右侧的标记72为起点且以左侧的标记71为终点的矢量T₃能使用矢量T₁以及矢量T₂通过数式7来导出。

【数式7】

${\stackrel{\&RightArrow;}{T}}_3={\stackrel{\&RightArrow;}{T}}_1-{\stackrel{\&RightArrow;}{T}}_2$

进而，通过数式8，将该矢量T₃的长度作为2个标记71、72的相互间的距离(以下，称为“导出距离”。)M而导出。

【数式8】

$M=\left|\right|{\stackrel{\&RightArrow;}{T}}_3\left|\right|$

接下来，在步骤S26(参照图14。)中，对基于误差率err的临时值如上述那样所导出的导出距离M、与2个标记71、72的相互间的实际的距离m进行比较，并导出作为其比较结果的评价值E。具体而言，通过下面的数式9，将导出距离M与实际的距离m之差的绝对值作为评价值进行导出。

【数式9】

E＝|M-m|

该评价值E表示被设定成误差率err的临时值的准确的程度，评价值E越小(即，导出距离M与实际的距离m之差越小)，临时值越接近实际的误差率err的值。

接下来，在步骤S27中，将与本次的误差率err的临时值相关的评价值E、与过去导出完毕的评价值E的最小值进行比较。而且，在本次的评价值E比过去导出完毕的评价值E的最小值小的情况下，更新最小值，以使本次的评价值E成为新的最小值。

反复这样的步骤S23～S27的一系列处理，在与要被设定成误差率err的全部的临时值相关的处理已完成的情况下(步骤S28中为“是”)，与该时间点上成为最小值的评价值E对应的临时值将最接近实际的误差率err的值。故而，误差率导出部21b将该临时值作为实际的误差率err进行导出(步骤S30)。

若误差率导出部21b如此导出误差率err，则接下来，失真导出部21c基于所导出的误差率err和设计数据24a(图10的实线的曲线)，来导出表示关注照相机5的实际的失真的实际数据24b(图10的单点划线的曲线)(步骤S31)。实际像高r’能基于设计数据24a所表示的设计像高r，通过对数式1进行了变形后的下面的数式10来导出。

【数式10】

$r^{\&prime;}=(1+\frac{\mathrm{err}}{100})\&times;r$

如上所述，在本实施方式的车载装置2中，位置确定部21a确定以照相机5拍摄2个标记71、72所得到的拍摄图像GC中的标记像71a、72a的位置P1、P2(步骤S21)。然后，误差率导出部21b基于2个标记像71a、72a的位置P1、P2，来导出以设计像高r为基准的实际像高r’的误差率err(步骤S22～S30)。进而，失真导出部21c基于误差率err和设计上的失真(设计数据24a)来导出照相机5的实际的失真(实际数据24b)(步骤S31)。

如此，能根据拍摄图像GC中的2个标记像71a、72a的位置P1、P2来导出照相机5的实际的失真，因此不需要为了导出实际的失真而在车间设置将多个标记配置成格子状等的大规模的设备。故而，能以较简便的设备来导出照相机5的实际的失真。

另外，误差率导出部21b对于误差率err设定临时值，并基于该误差率err的临时值和拍摄图像GC中的2个标记像71a、72a的位置P1、P2来导出2个标记71、72相互间的导出距离M。然后，误差率导出部21b基于该导出距离M、与2个标记71、72相互间的实际距离m之间的比较结果即评价值E，来导出实际的误差率err。故而，能以较单纯的算法来导出照相机5的实际的失真。

另外，参数取得部21d基于照相机5的实际的失真、以及以照相机5拍摄2个标记71、72所得到的拍摄图像GC，来取得与照相机5的设置相关的设置参数。如此在设置参数的取得时使用照相机5的实际的失真，因此能取得精度高的设置参数。

另外，图像合成部23使用以多个照相机5各自所得到的拍摄图像、以及多个照相机5各自的实际的失真，来生成表示从虚拟视点观察到的车辆9的周边样子的合成图像。故而，能防止同一被摄体的像被分断等较大不良状况的发生，能生成正确地表示车辆9的整个周围的合成图像。

<7.变形例>

尽管以上说明了本发明的实施方式，但本发明不限于上述实施方式，能进行各种变形。以下，说明这样的变形例。上述实施方式以及包含以下说明的形态的全部形态能够进行适当组合。

在上述实施方式中，位置确定部21a通过运算来确定了拍摄图像GC中的标记像71a、72a的位置P1、P2。与此相对，位置确定部21a可以基于用户(操作员)指定的位置来确定拍摄图像GC中的标记像71a、72a的位置P1、P2。在此情况下，用户一边确认显示器26中所显示的拍摄图像GC，一边以光标等来指定标记像71a、72a的位置P1、P2。

另外，在上述实施方式中，标记70形成于可直立的标识体7。对此，标记70例如还可以形成于不能直立的板状的标识体的主面，另外，也可以形成于车间的地面。

另外，尽管在上述实施方式中说明了各照相机5拍摄2个标记70的情况，但也可以拍摄3个以上的标记70。即，各照相机5能拍摄至少2个标记70即可。

另外，尽管在上述实施方式中说明了通过遵照程序的CPU的运算处理来以软件实现各种的功能的情况，但这些功能当中的一部分也可以通过电气的硬件电路来实现。另外，反之，也可以将由硬件电路实现的功能当中的一部分以软件来实现。

Claims (6)

1.一种数据导出装置，导出与照相机相关的数据，其特征在于具备：

确定单元，其确定利用所述照相机拍摄2个标记所得到的拍摄图像中的所述2个标记的各标记的标记像的位置；

第1导出单元，其基于所述2个标记像的位置，导出以基于所述照相机的设计上的第1失真的设计像高为基准的、所述拍摄图像中的被摄体像的实际的像高的误差率；和

第2导出单元，其基于所述误差率和所述第1失真，导出所述照相机的实际的第2失真，

所述第1导出单元，设定所述误差率的临时值，

根据所述临时值与所述拍摄图像中的所述2个标记像的位置，逆算所述2个标记像各自的所述设计像高，

根据逆算得到的所述设计像高，将所述2个标记的相互间的距离导出作为导出距离，

将所述导出距离、与所述2个标记像的相互间的实际的实际距离之差导出作为所述临时值的评价值，

将所述评价值为最小的所述临时值导出作为所述误差率。

2.根据权利要求1所述的数据导出装置，其特征在于，

所述数据导出装置还具备：取得单元，其基于所述第2失真、以及利用所述照相机拍摄所述2个标记所得到的拍摄图像，取得与所述照相机的设置相关的设置参数。

3.根据权利要求1或2所述的数据导出装置，其特征在于，

所述数据导出装置导出搭载于车辆的多个照相机的各照相机的所述第2失真，

所述数据导出装置还具备：生成单元，其使用由所述多个照相机的各照相机所得到的拍摄图像、以及所述多个照相机的各照相机的所述第2失真，生成表示从虚拟视点观察到的所述车辆的周边的样子的合成图像。

4.一种数据导出方法，导出与照相机相关的数据，其特征在于包括：

工序a，确定利用所述照相机拍摄2个标记所得到的拍摄图像中的所述2个标记的各标记的标记像的位置；

工序b，基于所述2个标记像的位置，导出以基于所述照相机的设计上的第1失真的设计像高为基准的、所述拍摄图像中的被摄体像的实际的像高的误差率；和

工序c，基于所述误差率和所述第1失真，导出所述照相机的实际的第2失真，

所述工序b，设定所述误差率的临时值，

根据所述临时值与所述拍摄图像中的所述2个标记像的位置，逆算所述2个标记像各自的所述设计像高，

根据逆算得到的所述设计像高，将所述2个标记的相互间的距离导出作为导出距离，

将所述导出距离、与所述2个标记像的相互间的实际的实际距离之差导出作为所述临时值的评价值，

将所述评价值为最小的所述临时值导出作为所述误差率。

5.根据权利要求4所述的数据导出方法，其特征在于，

所述数据导出方法还包括：工序d，基于所述第2失真、以及利用所述照相机拍摄所述2个标记所得到的拍摄图像，取得与所述照相机的设置相关的设置参数。

6.根据权利要求4或5所述的数据导出方法，其特征在于，

所述数据导出方法导出搭载于车辆的多个照相机的各照相机的所述第2失真，

所述数据导出方法还包括：工序e，使用由所述多个照相机的各照相机所得到的拍摄图像、以及所述多个照相机的各照相机的所述第2失真，生成表示从虚拟视点观察到的所述车辆的周边的样子的合成图像。