CN102164291B

CN102164291B - 同时显示二维影像和三维影像的方法及显示系统

Info

Publication number: CN102164291B
Application number: CN 201010115095
Authority: CN
Inventors: 高盟超; 沈自强
Original assignee: CPT Display Technology Shenzheng Ltd; Chunghwa Picture Tubes Ltd
Current assignee: Cpt Display Technology (shenzhen)co Ltd
Priority date: 2010-02-22
Filing date: 2010-02-22
Publication date: 2013-05-29
Anticipated expiration: 2030-02-22
Also published as: CN102164291A

Abstract

本发明提供了一种同时显示二维影像和三维影像的方法及显示系统。所述方法包括以下步骤：接收相关于二维影像和三维影像的二维影像数据和景深数据，并对二维影像数据和景深数据进行编码，使得针对二维影像数据和景深数据中对应至三维影像的子像素，其灰阶值的最小位呈现一规律性变化。接着在一显示端接收编码后的二维影像数据和景深数据，并依据接收数据内子像素灰阶值的变化来侦测一画面内的三维影像区域和二维影像区域。最后在三维影像区域内显示三维影像，以及在二维影像区域显示二维影像。本发明不但能支持2D/3D模式，还能在一画面中同时显示二维影像和三维影像，进而提供多种显示选择。

Description

同时显示二维影像和三维影像的方法及显示系统

技术领域

本发明相关于一种显示方法及相关系统，尤指一种同时显示二维影像和三维影像的方法及显示系统。

背景技术

相较于传统二维(two-dimensi onal，2D)平面显示技术，三维(three-dimensional，3D)立体显示技术能提供更生动的三维影像，因此如何在现有二维显示环境下达到三维立体视觉已成为现今显示技术发展的重要方向之一。目前的立体显示技术主要有使用视差屏障(parallax barrier)技术，以及使用多层面板的景深融合(depth fused)技术。

传统三维立体视讯或影像的拍摄方式是利用多台摄影机来拍摄，得到的视讯或影像容量相当大，在有限频宽下并不利于数据传输及保存。因此，ATTEST提出一种3D/2D模式兼容的视讯系统，其使用多层面板的景深融合技术，仅需利用单一摄影机来取得一特定立体画面的平面彩色影像和相对应的景深(depth)数据，之后在显示端再利用深度影像绘图算法(depth-image-based rendering，DIBR)来重建原始立体画面，因此能大幅增加数据传输效率。

请参考图1和图2，图1为现有技术中采用景深融合技术的显示系统100的功能方块图，而图2为现有技术的显示系统100运作时的示意图。显示系统100包含一前板10F、一后板10B、一数据转换电路20，以及一数据解码电路30。为了能在2D模式和3D模式之间切换，显示系统100在接收到相关于一特定三维影像画面的二维影像数据2D和其相对应的景深数据Z后，数据转换电路20会依据目前数字视讯广播(digital video broadcasting，DVB)标准来将二维影像数据2D转换为符合目前现有平面显示器的格式(例如MPEG-2)，而将景深数据Z压缩为特定格式(例如MPEG-4或AVC)以利数据传输。在将压缩后的二维影像数据2D和景深数据Z传送到显示端后，数据解码电路30可依据DIBR算法求出相对应的前板影像DATA_F和后板影像DATA_B，再分别将前板影像DATA_F和后板影像DATA_B输出至前板10F和后板10B。前板影像DATA_F和后板影像DATA_B皆对应至二维影像数据2D，但会依据景深数据Z而有不同辉度。

如图2所示，显示系统100的前板10F和后板10B大体以平行方式相对设置，且前板10F与观看者16的距离较近。前板10F是用来显示前板影像DATA_F，而后板10B是用来显示后板影像DATA_B。针对一三维影像中标示为A～C的立体球形图案，其分别对应至前板影像中标示为A’～C’的平面球形图案，以及分别对应至后板影像中标示为A”～C”的平面球形图案，但平面球形图案A’～C’和A”～C”的辉度不同，因此通过重迭叠前后板影像可让观看者16感受到球形图案A～C的立体感。在图2中，前板影像中平面球形图案A’的辉度小于后板影像中平面球形图案A”的辉度，在较低辉度的前板影像与较高辉度的后板影像的影像迭叠合之下，观看者16沿着A-A’方向会在较靠近后板10B之处感受到立体球形图案A；前板影像12中平面球形图案B’和后板影像14中平面球形图案B”的辉度相同，在相同辉度的前后板影像迭叠合之下，观看者16沿着B-B’方向会在前板10F与后板10B中间感受到立体球形图案B；前板影像12中平面球形图案C’的辉度大于后板影像14中平面球形图案C”的辉度，在较高辉度的前板影像与较低辉度的后板影像的迭叠合之下，观看者16沿着C-C’方向会在较靠近前板10F之处感受到立体球形图案C。

现有技术的显示系统100能在2D和3D模式下切换：在3D模式下运作时，现有技术的显示系统100是依据二维影像数据2D在前板10F与后板10B上显示相同的影像，再依据景深数据Z来分配前后板影像的辉度比例，如此可让观看者16感受到具不同深度立体感的三维影像；在2D模式下运作时，现有技术的显示系统100则会关闭后板10B，仅在前板10F上显示二维影像。现有技术的显示系统100虽能提供两种运作模式，但在同一时间仅能在一特定模式下运作，也即无法在同一画面同时显示三维立体影像和二维平面影像。

发明内容

本发明的目的在于提供一种在一画面内同时显示二维影像和三维影像的方法，旨在解决现有技术中存在的无法在同一画面同时显示三维立体影像和二维平面影像的问题。

本发明是这样实现的，一种在一画面内同时显示二维影像和三维影像的方法，所述方法包括以下步骤：

接收相关于所述二维影像和所述三维影像的二维影像数据和景深数据；

对所述二维影像数据和所述景深数据进行编码，使得针对所述二维影像数据和所述景深数据中对应至所述三维影像的子像素，其灰阶值的最小位呈现一规律性变化；

在一显示端接收编码后的所述二维影像数据和所述景深数据，并依据接收数据内子像素灰阶值的最小位的变化来侦测所述画面内的三维影像区域；以及

在所述三维影像区域内显示所述三维影像，以及在所述三维影像区域外的二维影像区域显示所述二维影像。

本发明的另一目的在于提供一种能在一画面内同时显示二维影像和三维影像的显示系统，其包括数据编码电路、数据处理电路、一前板和一后板。该数据编码电路用来接收相关于该二维影像和该三维影像之一的二维影像数据和一景深数据，对该二维影像数据和该景深数据进行编码，使得针对该二维影像数据和该景深数据中对应至该三维影像的子像素，其灰阶值的最小位呈现一规律性变化。该数据处理电路包括一范围侦测电路，用来接收该数据编码电路传来的数据，并依据所接收数据内子像素灰阶值的最小位的变化来侦测该画面内的一三维影像区域；一影像读取控制电路，用来依据该画面内的一二维影像区域和编码后的该二维影像数据来产生相对应的一前板二维影像；一运算单元，用来对该三维影像区域内的数据进行信号处理以产生一前板三维影像和一后板三维影像；一范围调整电路，用来调整该前板三维影像和该后板三维影像的分辨率以符合该三维影像区域；一辉度分配电路，其依据该景深数据来调整该前板三维影像和该后板三维影像的辉度；一前板影像叠合电路，用来叠合该前板三维影像与该前板二维影像以产生一前板影像；以及一后板影像叠合电路，用来叠合该后板三维影像与一全黑画面以产生一后板影像。该前板用来显示该前板影像，而该后板用来显示该后板影像。

在本发明中，不但能支持2D/3D模式，还能在一画面中同时显示二维影像和三维影像，进而提供多种显示选择。

附图说明

图1为现有技术中一显示系统的功能方块图。

图2为现有技术的显示系统运作时的示意图。

图3为本发明中一种能同时显示三维影像和二维影像的显示系统的功能方块图。

图4和图5a～5f为本发明的显示系统运作时的示意图。

图6a和图6b为本发明显示系统的运算单元运作时的示意图。

图7为本发明显示系统的范围调整电路运作时的示意图。

图8a为本发明显示系统的前板影像叠合电路运作时的示意图。

图8b为本发明显示系统的后板影像叠合电路运作时的示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参考图3，图3为本发明中一种能同时显示三维影像和二维影像的显示系统200的功能方块图。显示系统200包括一前板10F、一后板10B、一数据编码电路40，以及一数据处理电路50。显示系统200在接收到相关于一特定立体画面的二维影像数据2D和景深数据Z后，除了格式转换和数据压缩外，数据编码电路40也会对二维影像数据2D和景深数据Z进行编码。编码后相对应的二维影像数据2D’和景深数据Z’内含相关于一显示画面中三维影像范围的信息(在说明书后续内容中将有详细描述)，在传送到显示端后，数据处理电路50会执行三维影像范围侦测、三维影像调整、影像叠合，和辉度分配等运作以求出相对应的前板影像DATA_F和后板影像DATA_B(在说明书后续内容中将有详细描述)，再分别将前板影像DATA_F和后板影像DATA_B输出至前板10F和后板10B。

图4和图5a～5d为本发明的显示系统200运作时的示意图。如图4所示，假设显示系统200能提供M*N的分辨率，即以M行*N列的像素阵列来呈现一完整画面。像素阵列包括M*N个像素，且每一像素各包括一红色子像素R、一绿色子像素G和一蓝色子像素B，通过改变子像素的灰阶值即可显示不同二维影像。本发明的显示系统200可同时在屏幕上显示三维立体影像和二维平面影像，例如在一M*N平面画面窗口内同时显示一m*n立体画面窗口。本发明以子像素为基准对相关于三维立体影像的数据进行编码，数据编码电路40会将相对应二维影像数据2D和景深数据Z中每一子像素的灰阶值除以2，舍弃余数后再将灰阶值乘以2，即将二维影像数据2D和景深数据Z中每一子像素灰阶值的最小位归零。接着，数据编码电路40会将特定子像素的灰阶值加1，让画面中子像素灰阶值的最小位呈现特定规则。在图5a所示的实施例中，本发明是将奇数行子像素的灰阶值加1；在图5b所示的实施例中，本发明是将偶数行子像素的灰阶值加1；在图5c所示的实施例中，本发明是每隔A行将相邻B行子像素的灰阶值加1；在图5d所示的实施例中，本发明是将奇数列子像素的灰阶值加1；在图5e所示的实施例中，本发明是将偶数列子像素的灰阶值加1；在图5f所示的实施例中，本发明是每隔C列将相邻D列子像素的灰阶值加1。针对未经编码的二维影像数据2D和景深数据Z，其子像素灰阶值的最小位多半随机变化，本发明让编码后的二维影像数据2D’和景深数据Z’中子像素灰阶值的最小位呈现特定规律性变化，进而标示三维影像范围。虽然编码前后的数据可能会有1个灰阶值的差异，但是人类肉眼并不会察觉此种子像素的极小变化。

请再次参考图3，数据处理电路50包括一范围侦测电路52、一运算单元54、一范围调整电路56、一辉度分配电路58、一前板影像叠合电路60F、一后板影像叠合电路60B、一线缓冲器62，以及一影像读取控制电路64。数据处理电路50会将数据编码电路40传来的二维影像数据2D’和景深数据Z’存在线缓冲器62内，同时利用范围侦测电路52来判断画面中欲显示三维影像的范围。以图5a或图5b所示的实施例为例，范围侦测电路52会侦测画面中每一行子像素灰阶值的最小位的变化，若连续P行子像素灰阶值的最小位呈现1010...10的变化，此时这段子像素灰阶值的最小位呈现规律变化的范围会被判定为三维影像区域，并将三维影像区域的起始点信息传送至运算单元34。

图6a和6b为本发明运算单元54运作时的示意图。举例来说，假设显示系统200的画面分辨率为1366*768，而三维影像区域的水平范围包括第101～300行像素，此时运算单元54会对三维影像范围内每一子像素的灰阶值进行运算。由于三维影像区域对应于二维影像数据2D’和景深数据Z’，为了说明方便，假设二维影像数据2D’和景深数据Z’在垂直方向宽度相同，在水平方向由第101～200行像素来描述二维影像数据2D’，由第201～300行像素来描述景深数据Z’，三维影像区域中每一像素的数据由2D’(R，G，B)和Z’(R，G，B)来表示，而第101～200行像素分别对应至第201～300行像素，如图6a所示。

运算单元54首先会求出二维影像数据2D’(R，G，B)和景深数据Z’(R，G，B)中相对应像素的关系，如此在换算像素相对位置后的二维影像数据2D’(R’，G’，B’)和景深数据Z’(R’，G’，B’)可由同样范围的像素来描述，如图6b所示的第101～200行像素。在不同应用中本发明也可采用其它换算像素相对位置的方式，图6b所示仅为本发明的实施例，并不限定本发明的范畴。

接着，运算单元54会对三维影像范围内每一子像素的灰阶值进行如下加权运算，以得到前板三维影像数据3D_F’和后板三维影像数据3D_B’：。

3D_F’＝2D’(R’，G’，B’)*Z’(R’，G’，B’)

3D_B’＝2D’(R’，G’，B’)*[1-Z’(R’，G’，B’)]

图7为本发明中范围调整电路56运作时的示意图。相较于整个三维影像范围，前板三维影像数据3D_F’和后板三维影像数据3D_B’各仅有一半分辨率，因此范围调整电路56可将前板三维影像数据3D_F’和后板三维影像数据3D_B’进行横向扩张，进而分别产生相对应完整分辨率的前板三维影像数据3D_F和后板三维影像数据3D_B，如图7所示。接着，辉度分配电路38可调整前板三维影像数据3D_F和后板三维影像数据3D_B的辉度，并将前板三维影像数据3D_F传送至前板影像叠合电路60F，以及将后板三维影像数据3D_B传送至后板影像叠合电路60F。

图8a为本发明中前板影像叠合电路60F运作时的示意图，而图8b为本发明中后板影像叠合电路60B运作时的示意图。前板影像叠合电路60F可将前板三维影像数据3D_F和影像读取控制电路64产生的前板二维影像数据2D_F互相叠合，进而输出相对应的前板影像DATA_F至前板10F。后板影像叠合电路60F可将后板三维影像数据3D_B和一全黑画面互相叠合，进而输出相对应的后板影像DATA_B至后板10B。

因此，本发明的显示系统不但能支持2D/3D模式，还能在一画面中同时显示二维影像和三维影像，进而提供多种显示选择。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种在一画面内同时显示二维影像和三维影像的方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：

依据所述二维影像区域和编码后的所述二维影像数据来产生相对应的前板二维影像；

依据所述三维影像区域、编码后的所述二维影像数据和编码后的所述景深数据来产生相对应的前板三维影像和后板三维影像；

以及

叠合所述前板三维影像与所述前板二维影像以产生前板影像。

3.如权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：

求出所述三维影像区域内所述二维影像数据和所述景深数据的子像素相对关系；以及

依据所述景深数据的子像素灰阶值来加权所述二维影像数据的相对应子像素灰阶值以得到所述前板三维影像和所述后板三维影像。

4.如权利要求3所述的方法，其特征在于，所述方法还包括以下步骤：

调整所述前板三维影像和所述后板三维影像的分辨率以符合所述三维影像区域；以及，依据所述景深数据来调整所述前板三维影像和所述后板三维影像的辉度。

5.如权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：

叠合所述后板三维影像与一全黑画面以产生后板影像。

6.如权利要求5所述的方法，其特征在于，在所述三维影像区域内显示所述三维影像以及在所述二维影像区域显示所述二维影像的步骤，具体为：

以一前板显示所述前板影像；以及

以一后板显示所述后板影像，所述前板和所述后板是以平行方式相对设置。

7.如权利要求1所述的方法，其特征在于，对所述二维影像数据和所述景深数据进行编码的步骤，具体为：

将所述二维影像数据和所述景深数据中对应至所述三维影像区域的所有子像素灰阶值的最小位设为零，再将所述二维影像数据和所述景深数据中对应至所述三维影像区域的多个特定子像素灰阶值加1。

8.如权利要求7所述的方法，其特征在于，所述多个特定子像素包括所述二维影像数据和所述景深数据中对应至所述三维影像区域的奇数行子像素或偶数行子像素；或者，所述多个特定子像素包括所述二维影像数据和所述景深数据中对应至所述三维影像区域的奇数列子像素或偶数列子像素。

9.一种能在一画面内同时显示二维影像和三维影像的显示系统，其特征在于，所述系统包括：

数据编码电路，用来接收相关于所述二维影像和所述三维影像的二维影像数据和景深数据，对所述二维影像数据和所述景深数据进行编码，使得针对所述二维影像数据和所述景深数据中对应至所述三维影像的子像素，其灰阶值的最小位呈现一规律性变化；

数据处理电路，其包括：

范围侦测电路，用来接收所述数据编码电路传来的数据，并依据所接收数据内子像素灰阶值的最小位的变化来侦测所述画面内的三维影像区域；

影像读取控制电路，用来依据所述画面内的二维影像区域和编码后的所述二维影像数据来产生相对应的前板二维影像；

运算单元，用来对所述三维影像区域内的数据进行信号处理以产生前板三维影像和后板三维影像；

范围调整电路，用来调整所述前板三维影像和所述后板三维影像的分辨率以符合所述三维影像区域；

辉度分配电路，其依据所述景深数据来调整所述前板三维影像和所述后板三维影像的辉度；

前板影像叠合电路，用来叠合所述前板三维影像与所述前板二维影像以产生前板影像；以及

后板影像叠合电路，用来叠合所述后板三维影像与一全黑画面以产生后板影像；

一前板，用来显示所述前板影像；以及

一后板，用来显示所述后板影像。

10.如权利要求9所述的显示系统，其特征在于，所述系统还包括：

一线缓冲器，用来储存编码后的所述二维影像数据和所述景深数据。