CN1243263A

CN1243263A - 立体图像获取装置

Info

Publication number: CN1243263A
Application number: CN99110328A
Authority: CN
Inventors: 松尾英明; 今川和辛; 高田雄二
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-07-09
Filing date: 1999-07-09
Publication date: 2000-02-02
Anticipated expiration: 2019-07-09
Also published as: US6603876B1; EP0971261A3; CN1151407C; DE69921240T2; EP0971261B1; DE69921240D1; EP0971261A2

Abstract

本发明揭示一种可用1台摄像机获取各自有效视野宽且有视差的立体图像作为1幅图像的立体图像获取装置。由物镜(101、102)摄取的、不同视点位置所观察的被摄体的2幅图像,由道威棱镜(103、104)顺时针旋转90度后,由全反射镜(105～108)合成为1幅图像。合成后的图像,由聚光透镜(109)以预定倍率缩小后,投影至CCD(110)的摄像面上。由此,可用1台摄像机获取有视差的立体图像作为1幅图像,并使视点不同的右图像和左图像的各自视野不变窄。

Description

立体图像获取装置

本发明涉及立体图像获取装置，尤其涉及用于获取具有视差的两个立体图像的立体图像获取装置。

用两台摄像机从不同视点位置同时摄取同一被摄体，根据摄得的两个图像的视差信息来计测被摄体三维原位置的方法是以往已知的(下文称为第1已有技术)。该方法例如在1991年5月昭晃堂出版的、出口光一郎著的“图像和空间”的142-143页中已有记述(ISBN4-7856-2125-7C3355)。

又，在特开平7-248212号公报中揭示了一种用一台摄像机获取含视差信息的立体图像的方法(下文称为第2已有技术)。该第2已有技术涉及的三维原形状计测装置构造成在摄像机前设置四个镜头，用这四个镜头同时获取从左侧视点位置所见的被摄体的左图像和从右侧视点位置所见的被摄体的右图像，所获取的左右图像分别分开入射到一台摄像机左侧半视野和右侧半视野。

在上述第1已有技术中，由于用两台摄像机获取立体图像，图像系统必须是两个系统，因而存在系统构成大型化而且成本高的缺陷。

另一方面，在上述第2已有技术中，其构成是一台摄像机的视野分割成左半部分及右半部分两部分，这些被分割的两部分视野各自取入左图像和右图像，因而从分割的一个视野观察被摄体时的视场角为从摄像机的全视野观察被摄体时的视场角的一半。参照图11对此作更具体的说明。现在设摄像机全视野的图像尺寸例如为640×480像素。全尺寸摄影时的左图像和右图像分别以图11的左图像1101和右图像1102表示。但是，这些左图像1101和右图像1102太大，不能原样纳入摄像机的左视野和右视野。因此，左图像1101中区域b、c部分的图像(320×480象素)纳入摄像机的左视野中，右图像1102内区域f、g部分的图像(320×480象素)纳入摄像机右视野中。即，左图像1101和右图像1102各自横向有效视野均变为一半。结果，产生左图像1101的周边部分a、d的图像及右图像1102周边部分e、h的图像分别被去除的问题。这样就不能获得被摄体整体的视差信息，难于测定三维原位置。

因此，本发明的目的在于提供一种存在视差的立体图像可作为一个图像取得且有效视野宽的立体图像获取装置。

本发明为了达到上述目的，具有下述各种特征。

第1发明是一种由1台摄像机获取具有视差的立体图像的装置，它包括：

从不同视点位置同时摄取被摄体2幅图像的2个物镜；

通过光学操作把所述2个物镜摄取的2幅图像合成为1幅图像的图像合成手段；

以预定的缩小倍率缩小所述图像合成手段合成的1幅图像并投影至预定投影面的图像缩小手段；

摄像面配置在所述投影面上，把投影至该摄像面的图像变换成图像数据的摄像元件。

如上所述，根据第1发明，把2个物镜摄取的、不同视点位置所见的被摄体的2幅图像合成为1幅图像后，缩小、投影到摄像元件，因而可获取具有视差的立体图像作为1幅图像，并使2幅图像的有效视野不变窄。

第2发明从属于第1发明，它进一步在所述物镜至所述摄像元件间的任何地方包括通过光学操作使图像旋转的图像旋转手段。

如上所述，根据第2发明，通过使图像旋转，可在原来状态下2幅立体图像不适合纳入摄像元件的摄像面时，修正两者的位置关系。

第3发明从属于第2发明，其中图像旋转手段在图像合成手段进行合成前，使由2个物镜摄取的2幅图像旋转；

图像合成手段，把图像旋转手段旋转的2幅图像合成为1幅图像。

第4发明从属于第2发明，其中，图像旋转手段使图像合成手段合成的图像旋转。

第5发明从属于第2发明，其中，图像旋转手段使图像旋转90度。

第6发明从属于第1发明，其中，图像合成手段把2个物镜摄取的2幅图像左右配置，生成1幅合成图像。

第7发明从属于第1发明，其中，图像合成手段把2个物镜摄取的2幅图像上下配置，生成1幅合成图像。

第8发明从属于第2发明，其中，进一步包括纵横比变更手段，用于在图像合成手段进行合成前，通过光学操作，改变2个物镜摄取的2幅图像的倍率，从而分别变更其纵横比。

如上所述，根据第8发明，通过分别变更2个物镜摄取的2幅图像的纵横比，可使缩小的合成图像的尺寸与摄像元件摄像面的尺寸几乎完全一致。

第9发明是一种把具有视差的2幅立体图像作为1幅图像获取的装置，它包括：

从不同视点位置同时摄影被摄体，生成具有视差的2幅图像数据的2个摄影手段；

通过电气操作，把所述2个摄影手段生成的2幅图像数据合成为1幅图像数据的图像合成手段；

通过电气操作，以预定缩小倍率缩小所述图像合成手段合成的1幅图像数据的图像缩小手段；

存储所述图像缩小手段缩小的图像数据的存储手段。

如上所述，根据第9发明，在把2个摄影手段生成的、有视差的2幅图像数据合成为1幅图像数据后，加以缩小存储在存储手段中，因而，可获取有视差的图像数据作为1幅图像数据，并使2幅图像数据的有效视野不变窄。结果，存储手段的存储容量可以小。

第10发明从属于第9发明，其中，进一步在从摄影手段至存储手段间的任何地方包括通过电气操作使图像数据旋转的图像旋转手段。

如上所述，根据第10发明，通过使图像数据旋转，在原来状态下2幅图像数据不适合纳入存储手段的帧区域时，可修正两者的位置关系。

第11发明从属于第10发明，其中，图像旋转手段在图像合成手段进行合成前使2个摄影手段生成的2幅图像数据旋转；

图像合成手段，把由图像旋转手段旋转的2幅图像数据合成为1幅图像数据。

第12发明从属于第10发明，其特征在于，图像旋转手段使图像合成手段合成的图像数据旋转。

第13发明从属于第10发明，其特征在于，图像旋转手段使图像数据旋转90度。

第14发明从属于第9发明，其特征在于，图像合成手段把2个摄影手段生成的2幅图像数据左右配置，生成1幅图像数据。

第15发明从属于第9发明，其特征在于，图像合成手段把2个摄影手段生成的2幅图像数据上下配置，生成1幅图像数据。

第16发明从属于第9发明，其特征在于，图像缩小手段改变图像合成手段合成的1幅图像数据的倍率，从而变更其纵横比。

图1是本发明第1实施形态的立体图像获取装置的构成图。

图2是图1所示的立体图像获取装置的动作流程图。

图3是图1所示的立体图像获取装置中，获取的图像变化状态示图。

图4是本发明第2实施形态的立体图像获取装置的光学系统的构成图。

图5是图4所示的立体图像获取装置中，获取的图像变化状态示图。

图6是采用横向尺寸放大的透镜作为变倍率透镜时，图4所示立体图像获取装置中图像变化状态示图。

图7是本发明第3实施形态的立体图像获取装置的构成框图。

图8是图7所示立体图像获取装置的动作流程图。

图9是图7中旋转方向角度设定表中登录的旋转信息一个例子的示图。

图10是图7中合成关系设定表中登录的合成信息一个例子的示图。

图11是已有技术的立体图像获取装置中，视野受限制的说明图。

下文参照附图说明本发明的实施形态。第1实施形态

图1是本发明第1实施形态的立体图像获取装置的构成图。图1中，本实施形态的立体图像获取装置包括：设置在相距一定间隔的位置的物镜101和102，相应于物镜101设置的道威棱镜(Dove prism)103，相应于物镜102设置的道威棱镜104，相应于物镜101设置的全反射镜105和107，相应于物镜102设置的全反射镜106和108，聚光透镜109，固体摄像元件即CCD110。

图2是示于图1的立体图像获取装置的动作流程图。图3是示于图1的立体图像获取装置中获取的图像变化状态的示图。下文，参照图2和图3说明图1所示实施形态的动作。

首先，由设置在相距Bmm位置的物镜101和102，同时取入不同视点位置所见的被摄体(未图示)的图像(步骤S1)。图3中，图像301表示物镜101取入的图像，图像302表示物镜102取入的图像。又为使视野大小易于理解，这里作为一个例子，对640×480象素(即图像信号规模)的图像通过物镜101和102进行说明。

由物镜101和102摄入的同时刻的图像301和302，分别通过道威棱镜103和104顺时针方向旋转90度(步骤S2)。图3中，图像303表示由道威棱镜103旋转的图像，图像304表示由道威棱镜104旋转的图像。这里，旋转后的图像303及304的大小分别与物镜101和102取入的图像301和302的尺寸(640×480)纵横比倒置，但是相同大小(480×640)。又，物镜101和102获取的图像的旋转方向能方便地通过改变道威棱镜103和104的设定方法而变更。

经道威棱镜103和104旋转的图像303和304分别由全反射镜105和106反射，投影至全反射镜107和108(步骤S3)。

全反射镜107和108反射投影的图像303和304，使各自的行进方向相互平行，由此，图像303和304合成为1幅图像(步骤S4)。图3中，图像305表示合成后的图像。合成图像305的大小为960×640(＝480×640+480×640)。

合成图像305(大小为960×640)由聚光透镜109以预定倍率缩小，然后投影至CCD110的摄像面上(步骤S5)。图3中，图像306表示投影至CCD110的摄像面307上、聚光透镜109缩小的图像。这里，聚光透镜109的缩小倍率，对光轴周围任意正交轴方向均为2/3(＝0.666…)，因而缩小图像306的尺寸变为640×427。

如上所述，根据第1实施形态，可使视点不同的右图像和左图像的视野不变窄，用1台摄像机获取有视差的立体图像。

又，在上述第1实施形态中，在图像合成操作前进行图像旋转操作，但也可以在图像合成操作后进行图像旋转操作。第2实施形态

图4是本发明第2实施形态的立体图像获取装置的光学系统构成图。图4中，本实施形态的立体图像获取装置包括：相隔预定距离设置的物镜401R、401L，第1偏转棱镜402R、402L，变倍率透镜403R、403L，第2偏转棱镜404R、404L，第3偏转棱镜405R、405L，像反转透镜406R、406L，合成棱镜407，聚光透镜408，CCD409。

在上述第1实施形态中，物镜101和102获取的左右图像，以原尺寸合成，缩小投影在CCD110的摄像面上，因而如图3所示，缩小图像的纵向尺寸(427象素)比CCD110的摄像面307的纵向尺寸(480象素)稍小。即，在第1实施形态中，不能充分利用CCD110的摄像面307。与此相反，在第2实施形态中，在合成前改变物镜401R和401L获取的左右图像的纵横比，由此，可充分利用CCD409的摄像面。

图5表示示于图4的立体图像获取装置中，获取的图像变化的状态。下文，参照图5，说明示于图4的实施形态的动作。

首先，由设置在相距预定距离位置的物镜401R和401L同时取入不同视点位置所见的被摄体(未图示)。图5中，图像501表示物镜401R取入的图像，图像502表示物镜401L取入的图像。又，为了使视野大小易于理解，以640×480象素(即图像信号规模)的图像通过物镜401R和401L为例加以说明。

物镜401R和401L摄入的、同时刻的图像501和502，分别通过偏转棱镜402R和402L改变行进方向，入射至变倍率透镜403R和403L。变倍率透镜403R和403L各自仅缩小图像501和502的纵向尺寸。即，变倍率透镜403R和403L各自改变图像501及502的倍率，由此分别改变其纵横比。例如可用圆柱透镜作为这种变倍率透镜403R和403L。图5中，图像503表示由变倍率透镜403R改变倍率的图像，图像504表示由变倍率透镜403L变倍率的图像。这里，大小为640×480的图像501改变成大小640×426的图像503，大小为640×480的图像502变成大小为640×426的图像504。透过变倍率透镜403R的变倍率图像503，在偏转棱镜404R和405R偏转行进方向后，用像反转透镜406使像颠倒并入射至合成棱镜407的第1反射面407a。透过变倍率透镜403L的变倍率图像504，在偏转棱镜404L和405L偏转行进方向后，用像反射透镜406L使像颠倒，并入射至合成棱镜407的第2反射面407b。

合成棱镜407反射入射的变倍率图像503和504，使各自的行进方向平行，由此，这变变倍率图像503和504合成为1幅图像。图5中，图像505表示合成后的图像。合成图像505的尺寸为640×852(＝640×426+640×426)。

合成后的图像505通过聚光透镜408缩小预定倍率，投影至CCD409的摄像面。图5中，图像506表示投影至CCD409摄像面上的、由聚光透镜408缩小的图像。这里，因为聚光透镜408的缩小倍率对光轴周围的任意正交轴方向均为3/4(＝0.75)，所以缩小图像506的大小为480×640。CCD409的摄像面的大小为480×640，因而在第2实施形态中，可充分利用CCD409的摄像面。

在上述第2实施形态中，变倍率透镜403R和403L分别缩小图像501和502的纵向尺寸，但也可以放大图像的横向尺寸。图6表示采用放大横向尺寸的透镜作为变倍率透镜403R和403L时，图4所示立体图像获取装置中图像变化的状态。下文，参照图6说明示于图4的实施形态的变形例的动作。

图6中，物镜401R和401L摄入的图像501和502分别由偏转棱镜402R和402L偏转行进方向，入射至变倍率透镜403R和403L。如前所述，变倍率透镜403R和403L各自仅放大图像501和502的横向尺寸。在图6中，图像503′表示由变倍率透镜403R改变倍率的图像，图像504′表示通过变倍率透镜403L改变倍率的图像。其中，尺寸为640×480的图像501变成尺寸为720×480的图像503′，尺寸为640×480的图像502变成尺寸为720×480的图像504′。改变倍率的图像503′经偏转棱镜404R和405R偏转行进方向后，经像反射透镜406R反转像，并入射至合成棱镜407的第1反射面407a。变倍率的图像504′经编转棱镜404L和405L偏转行进方向后，通过像反转透镜406L反转像，并入射至合成棱镜407的第2反射面407b。

合成棱镜407反射变倍率图像503′和504′，使其行进方向相互平行，由此，把这些变倍率图像503′和504′合成为1幅图像。图6中，图像505′表示合成后的图像。合成图像505′的大小为720×960(＝720×480+720×480)。

合成图像505′通过聚光透镜408缩小预定倍率，投影至CCD409的摄像面上。图6中，图像506′表示投影在CCD409摄像面上、经聚光透镜408缩小的图像。这里，聚光透镜408的缩小倍率对光轴周围任何正交轴方向均为2/3(＝0.666…)，因而缩小图像506′的尺寸为480×640。

在上述第1实施形态中，合成摄入的图像前使该图像旋转90度，在上述第2实施形态中，由物镜摄入的图像的纵横比与CCD409的纵横比有逆转关系，因而在合成摄入图像前不必旋转该图像。由此可知，对于本发明，图像旋转操作不是必须的，这对于下文说明的第3实施形态也同样适用。第3实施形态

图7是本发明第3实施形态的立体图像获取装置的构成框图。图7中，本实施形态的立体图像获取装置包括：摄影装置701和702，图像旋转装置703和704，图像合成装置705，图像放大、缩小装置706，旋转方向角度设定表707，合成关系设定表708，倍率设定部709，帧存储器710。又，摄影装置701和702分别包含物镜和CCD。预先在图像旋转装置703和704中设定表示图像旋转方向的值(下文称为旋转方向值)，在图像合成装置705中预先设定表示图像合成状态的值(下文称为合成状态值)。又，在倍率设定部709中设定图像横向和纵向放大、缩小倍率。

图8是示于图7的立体图像获取装置的动作流程图。下文参照图8，说明第3实施形态的立体图像获取装置的动作。

首先，用2台摄影装置701和702从不同视点位置摄取被摄体(未图示)，产生不同视点的2个图像数据(步骤S101)。由摄影装置701和702输出的图像数据分别输入图像旋转装置703和704。然后，图像旋转装置703和704从旋转方向角度设定表707取出与预先设定的旋转方向值对应的旋转信息(步骤S102)。图9表示在旋转方向角度设定表707中登录的旋转信息的一个例子。在图9中，对应于值“0”的旋转信息表示不使图像旋转，值“1”对应的旋转信息表示使图像顺时针旋转90度，值“2”对应的旋转信息表示使图像顺时针旋转180度，值“3”对应的旋转信息表示使图像顺时针旋转270度。然后，图像旋转装置703和704，各自根据从旋转方向角度设定表707中取出的旋转信息使摄影装置701和702提供的图像数据旋转。图像数据旋转处理，作为仿射变换，是以往已建立的技术。图像旋转装置703和704根据由取得的旋转信息提供的参数，用预定的变换行列式，使图像数据旋转。

然后，图像合成装置705从合成关系设定表708取出预先设定的与合成状态值对应的合成信息(步骤S104)。图10表示合成关系设定表708中登录的合成信息的一个例子。图10中，值“0”对应的合成信息表示图像旋转装置703的输出图像配置在右侧而图像旋转装置704的输出图像配置在左侧，值“1”对应的合成信息表示图像旋转装置703的输出图像配置在左侧而图像旋转装置704的输出图像配置在右侧，值“2”对应的合成信息表示图像旋转装置703的输出图像配置在上方而图像旋转装置704的输出图像配置在下方，值“3”对应的合成信息表示图像旋转装置703的输出图像配置在下方而图像旋转装置704的输出图像配置在上方。接着，图像合成装置705根据从合成关系设定表708取出的合成信息，合成图像旋转装置703和704提供的图像数据(步骤S105)。

然后，图像放大、缩小装置706读取倍率设定部709中设定的放大、缩小倍率(步骤S106)。图像放大、缩小装置706根据从倍率设定部709读出的放大、缩小倍率，放大或缩小图像合成装置705提供的合成图像数据(步骤S107)。然后，图像放大、缩小装置706把放大或缩小的图像数据写入帧存储器710(步骤S108)。

下文通过对上述第3实施形态赋予具体值，说明其具体动作。应该预先指出；下述动作的说明仅是一个例子，通过提供其它值可得到其他变换。

设摄影装置701和702输出的图像数据规模为640×480，帧存储器710的象素规模为640×480。又，在图像旋转装置703和704中，设定“1”作为旋转方向值，在图像合成装置705中设定“0”作为合成状态值。进而，在倍率设定部709中，设定2/3(＝0.666…)作为横向放大、缩小倍率，3/4(＝0.75)作为纵向放大、缩小倍率。在上述状态下，图像旋转装置703和704使摄影装置701和702提供的图像数据顺时针旋转90度。因而，从图像旋转装置703和704输出规模为480×640的图像数据。接着，图像合成装置705生成图像旋转装置703的输出图像配置在右侧、图像旋转装置704的输出图像配置在左侧的合成图像数据。因而，该合成图像数据的规模为960×640。接着，图像放大、缩小装置706使提供的合成图像数据的横向尺寸、纵向尺寸分别变为2/3(＝0.666…)倍及3/4(＝0.75)倍，从而放大、缩小后的图像数据规模为640×480。

Claims

1.一种由1台摄像机获取具有视差的立体图像的立体图像获取装置，其特征在于包括：

从不同视点位置同时摄取被摄体2幅图像的2个物镜；

2.如权利要求1所述的立体图像获取装置，其特征在于，进一步在所述物镜至所述摄像元件间的任何地方包括通过光学操作使图像旋转的图像旋转手段。

3.如权利要求2所述的立体图像获取装置，其特征在于，所述图像旋转手段在所述图像合成手段进行合成前，使由所述2个物镜摄取的2幅图像旋转；

所述图像合成手段，把所述图像旋转手段旋转的2幅图像合成为1幅图像。

4.如权利要求2所述的立体图像获取装置，其特征在于，所述图像旋转手段使所述图像合成手段合成的图像旋转。

5.如权利要求2所述的立体图像获取装置，其特征在于，所述图像旋转手段使图像旋转90度。

6.如权利要求1所述的立体图像获取装置，其特征在于，所述图像合成手段把所述2个物镜摄取的2幅图像左右配置，生成1幅合成图像。

7.如权利要求1所述的立体图像获取装置，其特征在于，所述图像合成手段把所述2个物镜摄取的2幅图像上下配置，生成1幅合成图像。

8.如权利要求1所述的立体图像获取装置，其特征在于，进一步包括纵横比变更手段，用于在所述图像合成手段进行合成前，通过光学操作，改变所述2个物镜摄取的2幅图像的倍率，从而分别变更其纵横比。

9.一种把具有视差的2幅立体图像作为1幅图像获取的立体图像获取装置，其特征在于包括：

存储所述图像缩小手段缩小的图像数据的存储手段。

10.如权利要求9所述的立体图像获取装置，其特征在于，进一步在从所述摄影手段至所述存储手段间的任何地方包括通过电气操作使图像数据旋转的图像旋转手段。

11.如权利要求10所述的立体图像获取装置，其特征在于，所述图像旋转手段在所述图像合成手段进行合成前使所述2个摄影手段生成的2幅图像数据旋转；

所述图像合成手段，把由所述图像旋转手段旋转的2幅图像数据合成为1幅图像数据。

12.如权利要求10所述的立体图像获取装置，其特征在于，所述图像旋转手段使所述图像合成手段合成的图像数据旋转。

13.如权利要求10所述的立体图像获取装置，其特征在于，所述图像旋转手段使图像数据旋转90度。

14.如权利要求9所述的立体图像获取装置，其特征在于，所述图像合成手段把所述2个摄影手段生成的2幅图像数据左右配置，生成1幅图像数据。

15.如权利要求9所述的立体图像获取装置，其特征在于，所述图像合成手段把所述2个摄影手段生成的2幅图像数据上下配置，生成1幅图像数据。

16.如权利要求9所述的立体图像获取装置，其特征在于，所述图像缩小手段改变所述图像合成手段合成的1幅图像数据的倍率，从而变更其纵横比。