CN102566245A

CN102566245A - 环场图像的建立方法及系统

Info

Publication number: CN102566245A
Application number: CN2010106217555A
Authority: CN
Inventors: 陈文昭; 林仲伟; 李天佑
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2010-12-10
Filing date: 2010-12-24
Publication date: 2012-07-11
Also published as: US20120147132A1; TW201224996A

Abstract

一种环场图像的建立方法及系统。环场图像的建立方法包括以下步骤。提供多张原始图像。此些原始图像由一拍摄单元沿多个移动路径移动的过程中，连续拍摄所获得。从各个原始图像撷取对应于多个视角的多个像素区块。朝一第一连接方向连接像素区块，以连接成对应于同一移动路径且对应于同一视角的多个单视角环场图像。朝一第二连接方向连接单视角环场图像，以获得多个高分辨率单视角环场图像。第二连接方向实质上垂直于第一连接方向。交错排列高分辨率单视角环场图像，以获得一高分辨率多视角环场图像。

Description

环场图像的建立方法及系统

技术领域

本案涉及一种图像的建立方法及系统，且特别涉及一种具立体视觉的环场图像的建立方法及系统。

背景技术

随着立体摄影以及立体显示技术的提升与普及，对于立体摄影的质量需求也相对的提升。如同平面图像，立体摄影技术也朝着“高分辨率”、“大尺寸”、“多使用平台兼容”的目标迈进。但是若要达到以上目标，在设备上有庞杂的需求，对于拍摄者造成成本与效率上的负担。

多视角立体图像(Multi-view stereoscopic image)对拍摄设备的门坎较高，需要多部摄影机同步摄影。对于高分辨率(Super resolution)的立体图像，通常也只能使用软件后制，立体质量较差。若要结合制作环景图像(Panorama image)，则通常依赖后制软件执行多张水平环拍图像拼贴技术门坎甚高。

发明内容

本案所要解决的技术问题在于提供一种具立体视觉的环场图像的建立方法及系统。

根据本案的一实施例，提出一种多视角环场图像的建立方法。多视角环场图像的建立方法包括以下步骤：提供多张原始图像，此些原始图像由一拍摄单元沿多个移动路径移动的过程中，连续拍摄所获得，此些移动路径位于同一球表面。从各个原始图像撷取对应于多个视角的多个像素区块，此些视角的数量大于或等于三。朝一第一连接方向连接对应于同一移动路径且对应于同一视角的像素区块，以分别连接成对应于同一移动路径且对应于同一视角的一单视角环场图像。朝一第二连接方向连接对应于不同移动路径且对应于同一视角的单视角环场图像，以分别获得一高分辨率单视角环场图像，第二连接方向实质上垂直于第一连接方向。交错排列(interlace)对应于不同视角的高分辨率单视角环场图像，以获得一高分辨率多视角环场图像。

根据本案的另一实施例，提出一种多视角环场图像的建立方法。多视角环场图像的建立方法包括以下步骤。提供多张原始图像，此些原始图像由一拍摄单元沿一移动路径移动的过程中，连续撷取所获得，移动路径位于一球表面。从各个原始图像撷取对应于多个视角的多个像素区块，此些视角的数量大于或等于三。连接对应于同一视角的像素区块，以连接成对应于同一视角的一单视角环场图像。交错排列(interlace)对应于不同视角的单视角环场图像，以获得一多视角环场图像。

根据本案的另一实施例，提出一种环场图像的建立方法。环场图像的建立方法包括以下步骤：提供多张原始图像，此些原始图像由一拍摄单元沿多个移动路径移动的过程中，连续撷取所获得，此些移动路径位于同一球表面。从各个原始图像撷取对应于一视角的多个像素区块。朝一第一连接方向连接此些像素区块，以分别连接成对应于同一移动路径的一单视角环场图像。朝一第二连接方向连接对应于不同移动路径的单视角环场图像，以获得一高分辨率单视角环场图像，第二连接方向实质上垂直于第一连接方向。

根据本案的另一实施例，提出一种多视角环场图像的建立系统。多视角环场图像的建立系统包括一拍摄单元、一多轴脚架、一像素撷取单元、一第一连接单元、一第二连接单元及一交错排列单元。多轴脚架用以带动拍摄单元沿多个移动路径移动。在拍摄单元移动过程中，拍摄单元连续撷取多张原始图像。此些移动路径位于同一球表面。像素撷取单元用以从各个原始图像撷取对应于多个视角的多个像素区块。此些视角的数量大于或等于三。第一连接单元用以朝一第一连接方向连接对应于同一移动路径且对应于同一视角的像素区块，以分别连接成对应于同一移动路径且对应于同一视角的一单视角环场图像。第二连接单元用以朝一第二连接方向连接对应于不同移动路径且对应于同一视角的单视角环场图像，以分别获得一高分辨率单视角环场图像。第二连接方向实质上垂直于第一连接方向。交错排列单元用以交错排列(interlace)对应于不同视角的高分辨率单视角环场图像，以获得一高分辨率多视角环场图像。

为了对本案的上述及其它方面了解，下文特举实施例，并配合所附图式，作详细说明如下：

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1绘示第一实施例的环场图像的建立系统的示意图；

图2绘示第一实施例的环场图像的建立方法的流程图；

图3绘示图1的步骤S101的示意图；

图4绘示视角的示意图；

图5绘示图2的步骤S103的示意图；

图6绘示图2的步骤S105的示意图；

图7绘示图2的步骤S107的示意图；

图8绘示图2的步骤S111的示意图；

图9绘示第二实施例的环场图像的建立系统的示意图；

图10绘示第二实施例的环场图像的建立方法的流程图；

图11绘示第三实施例的环场图像的建立系统的示意图；

图12绘示第三实施例的环场图像的建立方法的流程图。

其中，附图标记

100、200：环场图像的建立系统

110：拍摄单元

120：多轴脚架

121：长杆

130：像素撷取单元

140：第一连接单元

150：第二连接单元

160：视差调整单元

170：交错排列单元

D1：第一连接方向

D2：第二连接方向

I_i，j：原始图像

MPI：多视角环场图像

P_i，j，k：像素区块

R、R_i：移动路径

S101、S103、S105、S107、S109、S111、S201、203、S209、S211、S301、S303、S305、S307：流程步骤

SMPI：高分辨率多视角环场图像

SPI_i，k：单视角环场图像

SSPI、SSPI_k：高分辨率单视角环场图像

VA_k：视角

θ1：横向角度

θ2：纵向角度

具体实施方式

下面结合附图对本案的结构原理和工作原理作具体的描述：

第一实施例

请参照图1，其绘示第一实施例的环场图像的建立系统100的示意图。环场图像的建立系统100包括一拍摄单元110、一多轴脚架120、一像素撷取单元130、一第一连接单元140、一第二连接单元150、一视差调整单元160及一交错排列单元170。拍摄单元110用以拍摄图像，例如是一单镜头的照相机、一单镜头的摄影机或一具有照相/摄影功能的可携式电子装置。多轴脚架120用以承载拍摄单元110，并带动拍摄单元110以多轴转动。像素撷取单元130用以自图像中撷取像素区块。第一连接单元140及第二连接单元150用以连接像素区块或图像以连接成较大的图像。视差调整单元160用以调整图像的视差量于一人眼视差范围内。交错排列单元170用以交错排列不同图像的像素区块，以组合出一立体图像。像素撷取单元130、第一连接单元140、第二连接单元150、交错排列单元160及视差调整单元170例如是一微处理芯片、一固件电路或储存多组程序代码的一储存媒体。

请参照图2，其绘示第一实施例的环场图像的建立方法的流程图。以下搭配此流程图详细说明本实施例的环场图像的建立系统100各组件的运作方式。然而，本案所属技术领中普通技术人员均可了解本案环场图像的建立系统100并不局限应用于图2的流程图，本案环场图像的建立方法也不局限应用于图1的环场图像的建立系统100。

请参照图2，其绘示图1的步骤S101的示意图。首先，进入步骤S101，以拍摄单元110提供多张原始图像I_i，j(在本实施例中，i以1～5的正整数为例做说明，然而i可以是任何正整数；j以1～13的正整数为例做说明，然而j可以是任何正整数)。请参照图1，此些原始图像I_i，j是由拍摄单元110沿多个移动路径R_i(在本实施例中，i以1～5的正整数为例做说明)移动的过程中，连续拍摄所获得，此些移动路径R_i是位于同一球表面。原始图像I_i，j的表示在第i个移动路径R_i的第j张原始图像。

以图1为例，拍摄单元110是承载于多轴脚架120的长杆121的一端上。多轴脚架120以长杆121的另一端为轴心在X-Y平面逐次改变横向角度θ1，以带动拍摄单元110沿同一移动路径R_i(例如是i＝1)移动。长杆121在同一平面上转动的过程中，若长杆121每次改变的横向角度θ1实质上相同时，拍摄单元110将会在间隔实质上相同的拍摄位置拍摄出原始图像I_i，j(例如是i＝1，j＝1～13)。

此外，多轴脚架120也可以改变长杆121的纵向角度θ2，以使长杆121改变到X’-Y’平面。然后多轴脚架120再以长杆121的另一端为轴心在X’-Y’平面转动，以带动拍摄单元110沿移动路径R_i(例如是i＝2)移动。

以图3的实施例为例，拍摄单元110沿着5个移动路径R_i(i＝1～5)拍摄，并在每一移动路径R_i上拍摄了13张原始图像(j＝1～13)，所以总共将有5×13＝65张原始图像I_i，j(i＝1～5；j＝1～13)。

接着，请参照图4，其绘示视角(View Angle)VA_k的示意图。在一张原始图像I_i，j中，不同位置的像素区块是对应不同的视角VA_k(本实施例的k以1～3的正整数为例做说明，然而k也可为大于或等于3的正整数)。

然后，进入步骤S103。请参照图5，其绘示图2的步骤S103的示意图。像素撷取单元130从各个原始图像I_i，j中，撷取对应于某一视角VA_k(例如是k＝1)的多个像素区块(Pixels)P_i，j，k(例如是k＝1)。其中，每组像素区块P_i，j，k包含多行像素(例如是三行)。

然后，像素撷取单元130在各个原始图像I_i，j中，再撷取对应于另一视角VA_k(例如是k＝2)的像素区块P_i，j，k(例如是k＝2)。依此类推，像素撷取单元130可以对所有的原始图像I_i，j撷取出不同视角VA_k的像素区块P_i，j，k(k＝1～3)。本案的视角VA_k的数量大于或等于三，例如是三。

以图5为例，每张原始图像I_i，j都被撷取出多组不同视角VA_k(k＝1～3)的像素区块P_i，j，k(k＝1～3)，本实施例的原始图像I_i，j(i＝1～5；j＝1～13)的数量为5×13＝65，而视角VA_k(k＝1～3)的数量为3，所以将会撷取出65×3＝195组像素区块P_i，j，k(i＝1～5；j＝1～13；k＝1～3)，而每一组像素区块P_i，j，k是由3行像素所组成。

然后，进入步骤S105。请参照图6，其绘示图2的步骤S105的示意图。以第一连接单元140朝一第一连接方向D1连接对应于移动路径R_i(例如是i＝1)且对应于某一视角VA_k的(例如是k＝1)像素区块P_i，j，k(例如是i＝1，k＝1)，以连接成对应于此移动路径R_i(例如是i＝1)且对应于此视角VA_k(例如是k＝1)的一单视角环场图像(Signal-view Panoramic Image)SPI_i，k(例如是i＝1，k＝1)。

接着，以同样的方式朝第一连接方向D1连接对应于此移动路径R_i(例如是i＝1)的另一视角VA_k(例如是k＝2)的像素区块P_i，j，k(例如是i＝1，k＝2)，以连接成对应于此移动路径R_i(例如是i＝1)且对应于此视角VA_k(例如是k＝1)的单视角环场图像SPI_i，k(例如是i＝1，k＝2)。

然后，则再以同样的方式朝第一连接方向D1连接对应于另一移动路径R_i的某一视角VA_k的像素区块P_i，j，k，以连接成对应于此移动路径R_i且对应于此视角VA_k的单视角环场图像SPI_i，k。

以图6的实施例为例，对应于同一移动路径R_i的原始图像I_i，j且对应于同一视角VA_k的像素区块P_i，j，k将会连接成一张单视角环场图像SPI_i，k。本实施例有5个移动路径R_i(i＝1～5)，且有3个视角VA_k(k＝1～3)，所以将会连接出5×3＝15张单视角环场图像SPI_i，k(i＝1～5；k＝1～3)。

接着，进入步骤S107。请参照图7，其绘示图2的步骤S107的示意图。以第二连接单元150朝一第二连接方向D2连接对应于不同移动路径R_i(例如是i＝1～5)且对应于某一视角VA_k(例如是k＝1)的单视角环场图像SPI_i，k(例如是i＝1～5，k＝1)，以获得一高分辨率单视角环场图像(Super-resolutionSignal-view Panoramic Image)SSPI_k(例如是k＝1)。其中，第二连接方向D2实质上垂直于第一连接方向D1。

然后，第二连接单元150再继续朝第二连接方向D2连接对应于不同移动路径R_i且对应于另一视角VA_k的单视角环场图像SPI_i，k，以获得另一高分辨率单视角环场图像SSPI_k。

以第7图为例，本实施例的15张单视角环场图像SPI_i，k(i＝1～5；k＝13)有3个视角(i＝1～5；k＝1～3)VA_k(k＝1～3)，这些单视角环场图像SPI_i，k(i＝1～5；k＝1～3)朝第二方向D2连接后，将形成3张高分辨率单视角环场图像SSPI_k(k＝1～3)。

然后，进入步骤S109。以视差调整单元160调整此些高分辨率单视角环场图像SSPI_k(k＝1～3)的视差量于一人眼视差范围内。

接着，进入步骤S111。请参照图8，其绘示图2的步骤S111的示意图。以交错排列单元170交错排列(interlace)对应于不同视角VA_k(k＝1～3)的高分辨率单视角环场图像SSPI_k(k＝1～3)，以获得一高分辨率多视角环场图像(Super-resolution Multi-view Panoramic Image)SMPI。

在此步骤中，由于相邻的视角VA_k的视差实质上等于人类双眼的视差。也就是说，这些具有视差的高分辨率单视角环场图像SSPI_k经过适当地交错排列后，将可形成具有立体视觉的高分辨率多视角环场图像SMPI。

如上所述，沿着一移动路径R_i所拍摄的原始图像I_i，j，可以撷取出对应于不同视角VA_k的像素区块P_i，j，k，所以本实施例的拍摄单元110可以采用单镜头的照相机来建立具有立体视觉的图像。并且视角VA_k的数量与镜头的数量无关，只需运算程序做调整即可。

再者，上述步骤通过第一连接方向D1的连接，而能够连接出环场图像。而通过第二连接方向D2的连接，可以在一张图像中加入多倍的像素，而增加图像的分辨率。

此外，虽然上述实施例是先通过第一连接方向D1进行连接，再从第二连接方向D2进行连接。然而，本实施例也可将此顺序颠倒，先通过第二连接方向D2进行连接，再从第一连接方向D1进行连接也可。

第二实施例

请参照图9及图10，图9绘示第二实施例的环场图像的建立系统200的示意图，图10绘示第二实施例的环场图像的建立方法的流程图。本实施例与第一实施例不同之处在于：本实施例的环场图像的建立系统200不包括第一实施例的第二连接单元150，且本实施例的环场图像的建立方法不包括步骤S107，其余相同之处不再重复叙述。

本实施例的步骤S201、S203、S205、S209、S211与第一实施例的步骤S101、S103、S105、S109、S111类似。在本实施例的步骤S201、S203、S205、S209、S211中，拍摄单元110仅沿一个移动路径R移动，并仅针对对应于一个移动路径R的原始图像来进行处理。在处理过程中，没有针对不同的移动路径R进行纵向的连接，所以最后所获得的是一张多视角环场图像(Multi-viewPanoramic Image)MPI。

第三实施例

请参照图11及图12，图11绘示第三实施例的环场图像的建立系统300的示意图，图12绘示第三实施例的环场图像的建立方法的流程图。本实施例与第一实施例不同之处在于：本实施例的环场图像的建立系统300不包括第一实施例的视差调整单元160及交错排列单元170，且本实施例的环场图像的建立方法不包括步骤S109及S111，其余相同之处不再重复叙述。

本实施例的步骤S301、S303、S305、S307与第一实施例的步骤S101、S103、S105、S107类似。在本实施例的步骤S301、S303、S305、S307中，像素撷取单元130仅撷取对应于一视角的像素区块，而没有撷取多个视角的像素区块。在处理过程中，也仅针对一个视角的像素区块进行处理，而没有视差调整及交错排列的步骤，所以最后所获得的是一张高分辨率单视角环场图像(Super-resolution Signal-view Panoramic Image)SSPI。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种多视角环场图像的建立方法，其特征在于，包括：

提供多张原始图像，该些原始图像由一拍摄单元沿多个移动路径移动的过程中，连续拍摄所获得，该些移动路径位于同一球表面；

从各该原始图像撷取对应于多个视角的多个像素区块，该些视角的数量大于或等于三；

朝一第一连接方向连接对应于同一该移动路径且对应于同一该视角的该些像素区块，以分别连接成对应于同一该移动路径且对应于同一该视角的一单视角环场图像；

朝一第二连接方向连接对应于不同该移动路径且对应于同一该视角的该些单视角环场图像，以分别获得一高分辨率单视角环场图像，该第二连接方向垂直于该第一连接方向；以及

交错排列对应于不同该视角的该些高分辨率单视角环场图像，以获得一高分辨率多视角环场图像。

2.根据权利要求1所述的多视角环场图像的建立方法，其特征在于，在交错排列的该步骤之前，该建立方法还包括：

调整该些高分辨率单视角环场图像的视差量于一人眼视差范围内。

3.根据权利要求1所述的多视角环场图像的建立方法，其特征在于，在提供该些原始图像的该步骤中，沿同一该移动路径移动的过程中，相邻的该些原始图像的拍摄位置的间隔相同。

4.根据权利要求1所述的多视角环场图像的建立方法，其特征在于，在撷取该些像素区块的该步骤中，对应于同一该移动路径且对应于同一该视角的该些像素区块包含多行像素。

5.根据权利要求1所述的多视角环场图像的建立方法，其特征在于，在撷取该些像素区块的该步骤中，相邻的该些视角的视差等于人类双眼的视差。

6.一种多视角环场图像的建立方法，其特征在于，包括：

提供多张原始图像，该些原始图像由一拍摄单元沿一移动路径移动的过程中，连续撷取所获得，该移动路径位于一球表面；

连接对应于同一该视角的该些像素区块，以连接成对应于同一该视角的一单视角环场图像；以及

交错排列对应于不同视角的该些单视角环场图像，以获得一多视角环场图像。

7.根据权利要求6所述的多视角环场图像的建立方法，其特征在于，在交错排列的该步骤之前，该建立方法还包括：

调整该些单视角环场图像的视差量于一人眼视差范围内。

8.根据权利要求6所述的多视角环场图像的建立方法，其特征在于，在提供该些原始图像的该步骤中，相邻的该些原始图像的拍摄位置的间隔相同。

9.根据权利要求6所述的多视角环场图像的建立方法，其特征在于，在撷取该些像素区块的该步骤中，对应于同一该视角的该些像素区块包含多行像素。

10.根据权利要求6所述的多视角环场图像的建立方法，其特征在于，在撷取该些像素区块的该步骤中，相邻的该些视角的视差等于人类双眼的视差。

11.一种环场图像的建立方法，其特征在于，包括：

提供多张原始图像，该些原始图像由一拍摄单元沿多个移动路径移动的过程中，连续撷取所获得，该些移动路径位于同一球表面；

从各该原始图像撷取对应于一视角的多个像素区块；

朝一第一连接方向连接该些像素区块，以分别连接成对应于同一该移动路径的一单视角环场图像；以及

朝一第二连接方向连接对应于不同该移动路径的该些单视角环场图像，以获得一高分辨率单视角环场图像，该第二连接方向垂直于该第一连接方向。

12.一种多视角环场图像的建立系统，其特征在于，包括：

一拍摄单元；

一多轴脚架，用以带动该拍摄单元沿多个移动路径移动，在该拍摄单元移动过程中，该拍摄单元连续撷取多张原始图像，该些移动路径位于同一球表面；

一像素撷取单元，用以从各该原始图像撷取对应于多个视角的多个像素区块，该些视角的数量大于或等于三；

一第一连接单元，用以朝一第一连接方向连接对应于同一该移动路径且对应于同一该视角的该些像素区块，以分别连接成对应于同一该移动路径且对应于同一该视角的一单视角环场图像；

一第二连接单元，用以朝一第二连接方向连接对应于不同该移动路径且对应于同一该视角的该些单视角环场图像，以分别获得一高分辨率单视角环场图像，该第二连接方向垂直于该第一连接方向；以及

一交错排列单元，用以交错排列对应于不同该视角的该些高分辨率单视角环场图像，以获得一高分辨率多视角环场图像。

13.根据权利要求12所述的多视角环场图像的建立系统，其特征在于，还包括：

一视差调整单元，用以调整该些高分辨率单视角环场图像的视差量于一人眼视差范围内。