CN103167308A - 立体影像摄影系统与播放品质评估系统,及其方法 - Google Patents
立体影像摄影系统与播放品质评估系统,及其方法 Download PDFInfo
- Publication number
- CN103167308A CN103167308A CN2011104572186A CN201110457218A CN103167308A CN 103167308 A CN103167308 A CN 103167308A CN 2011104572186 A CN2011104572186 A CN 2011104572186A CN 201110457218 A CN201110457218 A CN 201110457218A CN 103167308 A CN103167308 A CN 103167308A
- Authority
- CN
- China
- Prior art keywords
- parallax
- image
- scoring
- stereogram
- critical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种立体影像摄影系统与播放品质评估系统,及其方法。其中,立体影像摄影系统包括:一影像取像模块,用以拍摄一物件的多个视角影像;以及一影像评分模块,用以分析这些视角影像所形成多个立体影像,以计算这些立体影像的一立体品质评分分数。
Description
技术领域
本发明是有关于一种立体影像摄影系统与播放品质评估系统,及其方法。
背景技术
3D影像(stereoscopic image)应用横跨个人、家庭、娱乐、商业、医疗与教育等领域。3D电子消费产品比如包括3D立体液晶显示器、3D笔记型电脑、3D照相机、3D摄影机、3D蓝光播放器等产品,甚至是无须戴眼镜即能欣赏3D的裸视3D立体电视。3D电子消费产品集中在影音播放显示产品。
消费者除对高昂价格望的却步外,更担心的是缺乏可播放的3D立体内容。所以,推动3D立体产品的另一个重要关键在于3D立体内容供应。目前3D内容制作方式可以粗分成:动画产生、实际拍摄以及2D转3D立体等方式。电视产业与电影产业使用具备3D立体摄影技术的专业摄影器材。
在传统3D立体内容制作流程中,厂商委托内容制作人员进行物品的3D立体影像内容创作。制作初期,厂商决定终端3D立体显示设备规格,如裸视或眼镜式3D显示,接着由内容制作人员进行物品的立体影像拍摄与后制流程。由于终端3D立体显示设备可能因为体积庞大或者厂商有营业上的需求,故无法携带至内容制作人员的工作场所。内容拍摄及后制过程在内容制作人员的工作场所中进行。内容制作人员将完成初步的立体内容携带至厂商的终端3D显示设备上进行测试播放。在试播时,立体感调校并无法在厂商端进行。因此若立体感不如预期,则内容人员端回到其工作场所重新进行拍摄或者调校。如此反复进行数次后,才能产出一组立体感良好的3D立体内容。
此外,内容制作人员在制作3D内容时,如能有良好3D摄影操作机制和3D影像品质评断机制,将可提高其3D立体影像品质。
而且,对于立体影像的品质评估,目前主要以观看者主观感觉来判定。相同的3D内容播放在不同的终端3D立体显示设备,使用者可能会有不同的立体感受。甚至,立体显示器(如3D裸眼显示设备、电影院、家用电视…)种类众多,欠缺客观的衡量评分架构。
发明内容
本发明是有关于一种立体影像摄影与播放品质评估系统,及其方法。在拍摄端提出一套立体影像拍摄与合成的流程,并搭配立体影像评分系统,在立体屏幕播放端评估计算出该立体影像的立体品质分数。
本发明是有关于一种立体影像摄影与播放品质评估系统,及其方法。拍摄端由一台相机及一运动机构进行拍摄物品的多视角影像,通过分析多视角立体像对的特征资讯,撷取出多个立体像对的临界视差(disparity)资讯,并且输出多视角影像最适视差区间,提供给后制立体特效参考使用。并且,对多视角影像进行立体品质评分,若评分未达标准则调整运动机构重新拍摄多视角影像。播放端搭配立体影像播放品质评估系统,在立体屏幕播放端测试立体影像的立体品质分数,以得到立体感调校与测试的客观数据。
为达到上述目的,本发明提供一种立体影像摄影系统,包括:一影像取像模块,用以拍摄一物件的多个视角影像;以及一影像评分模块,用以分析这些视角影像所形成多个立体影像,以计算这些立体影像的一立体品质评分分数。
上述立体影像摄影系统,还包括:一反馈模块,根据该立体品质评分分数来控制该影像取像模块,以调整该影像取像模块的一拍摄参数。
上述立体影像摄影系统,其中,该影像取像模块包括:至少一视频撷取单元,用以撷取该物件的这些视角影像;以及至少一运动机构,改变该物件与该视频撷取单元间的一相对距离关系及/或一相对角度关系。
上述立体影像摄影系统,其中,该影像评分模块分析该物件的这些立体影像的一最适水平视差评分分数。
上述立体影像摄影系统,其中,该影像评分模块分析该物件的这些立体影像的一垂直视差评分分数。
上述立体影像摄影系统,其中,该影像评分模块分析该物件的这些立体影像的一边框效应评分分数。
上述立体影像摄影系统,其中,该影像评分模块分析该物件的这些立体影像的一最适水平视差评分分数、一垂直视差评分分数与一边框效应评分分数,并综合为一最后分数。
上述立体影像摄影系统,其中,在该影像评分模块分析该垂直视差评分分数时,该影像评分模块找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;该影像评分模块计算该立体像对的各组特征点对应组的各个垂直视差;该影像评分模块计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及该影像评分模块得到各组立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
上述立体影像摄影系统,其中,在该影像评分模块分析该边框效应评分分数时,该影像评分模块找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;该影像评分模块计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及该影像评分模块计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
上述立体影像摄影系统,其中,在该影像评分模块分析该最适水平视差评分分数时,该影像评分模块将这些视角影像分对成多个组立体像对;该影像评分模块取得这些立体像对的各个临界视差;该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及该影像评分模块比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
上述立体影像摄影系统,其中,该影像评分模块取得这些立体像对的各个临界视差时,该影像评分模块分析该立体像对的影像特征并将之过滤;该影像评分模块根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及该影像评分模块根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
上述立体影像摄影系统,其中,在该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间时,该影像评分模块从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
上述立体影像摄影系统,其中,该影像评分模块以一稠密式特征比对方法或者一稀疏式特征比对方法来分析该立体像对的该影像特征;以及该影像评分模块根据一视差绝对距离参数、一垂直视差参数与一极线几何特性参数来过滤该立体像对的该影像特征。
为达到上述目的,本发明提供一种立体影像播放品质评估系统,评估多个立体感受要素,该系统包括:一影像取像模块,从一终端立体播放装置撷取多个视角影像;以及一影像评分模块,分析这些视角影像的一立体影像资讯,以输出该终端立体播放装置的一播放评分。
上述立体影像播放品质评估系统,其中,该影像评分模块分析这些视角影像的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及/或一鬼影评分分数及/或一综合评分分数。
上述立体影像播放品质评估系统,其中,在该影像评分模块分析该垂直视差评分分数时,该影像评分模块找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;该影像评分模块计算该立体像对的各组特征点对应组的各个垂直视差;该影像评分模块计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及该影像评分模块得到各组立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
上述立体影像播放品质评估系统,其中,在该影像评分模块分析该边框效应评分分数时,该影像评分模块找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;该影像评分模块计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中,该权重函数反比于该负视差像素点距离一边框的一距离;以及该影像评分模块计算距离各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
上述立体影像播放品质评估系统,其中,在该影像评分模块分析该鬼影评分分数时,该影像评分模块计算一立体像对的一对应区域,其中该立体像对为这些视角影像的一组合;该影像评分模块计算该立体像对的该对应区域的一颜色差异资讯,以统计出该两视角影像的一鬼影量化指标;以及该影像评分模块统计这些立体像对的所有鬼影量化指标的一总和,以输出该鬼影评分分数。
上述立体影像播放品质评估系统,其中,在该影像评分模块分析该最适水平视差评分分数时,该影像评分模块将这些视角影像分对成多个组立体像对;该影像评分模块取得这些立体像对的各个临界视差;该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及该影像评分模块比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
上述立体影像播放品质评估系统,其中,在该影像评分模块取得这些立体像对的各个临界视差时,该影像评分模块分析该立体像对的影像特征并将之过滤;该影像评分模块根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及该影像评分模块根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
上述立体影像播放品质评估系统,其中,在该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间时,该影像评分模块从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
为达到上述目的,本发明提供一种立体影像摄影方法,包括:取像一物件的多个视角影像;以及执行一影像评分步骤,以分析这些视角影像所形成多个立体影像并计算这些立体影像的一立体品质评分分数。
上述立体影像摄影方法,还包括:根据该立体品质评分分数来控制该影像取像步骤,以调整一拍摄参数。
上述立体影像摄影方法,其中,该影像取像步骤还包括:改变对该物件的一取像距离关系及/或一取像角度关系。
上述立体影像摄影方法,其中,该影像评分步骤分析该物件的这些立体影像的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及及/或一综合评分分数。
上述立体影像摄影方法,其中,在该影像评分步骤分析该垂直视差评分分数时,该影像评分步骤找出一立体像对的多个特征点对应组并过滤的,其中,该立体像对为这些视角影像的一组合;该影像评分步骤计算该立体像对的各组特征点对应组的各个垂直视差;该影像评分步骤计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为特征点对应组的垂直视差大于一垂直视差阀值;以及该影像评分步骤得到各立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
上述立体影像摄影方法,其中,在该影像评分步骤分析该边框效应评分分数时,该影像评分步骤找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;该影像评分步骤计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及该影像评分步骤计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
上述立体影像摄影方法,其中,在该影像评分步骤分析该最适水平视差评分分数时,该影像评分步骤将这些视角影像分对成多个组立体像对;该影像评分步骤取得这些立体像对的各个临界视差;该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间;以及该影像评分步骤比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
上述立体影像摄影方法,其中,该影像评分模块取得这些立体像对的各个临界视差时,该影像评分步骤分析该立体像对的影像特征并将之过滤;该影像评分步骤根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及该影像评分步骤根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
上述立体影像摄影方法,其中,该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间时,该影像评分步骤从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
上述立体影像摄影方法,其中,该影像评分步骤以一稠密式特征比对方法或者一稀疏式特征比对方法来分析该立体像对的该影像特征;以及该影像评分步骤根据一视差绝对距离参数、一垂直视差参数与一极线几何特性参数来过滤该立体像对的该影像特征。
为达到上述目的,本发明提供一种立体影像播放品质评估方法,评估多个立体感受要素,该方法包括:从一终端立体播放装置撷取多个视角影像;以及执行一影像评分步骤,分析这些视角影像的一立体影像资讯,以输出该终端立体播放装置的一播放评分。
上述立体影像播放品质评估方法,其中,该影像评分步骤分析这些视角影像的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及/或一鬼影评分分数及/或一综合评分分数。
上述立体影像播放品质评估方法,其中,在该影像评分步骤分析该垂直视差评分分数时,该影像评分步骤找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;该影像评分步骤计算该立体像对的各组特征点对应组的各个垂直视差;该影像评分步骤计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及该影像评分步骤得到各立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
上述立体影像播放品质评估方法,其中,在该影像评分步骤分析该边框效应评分分数时,该影像评分步骤找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;该影像评分步骤计算各负视差像素点之各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及该影像评分步骤计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
上述立体影像播放品质评估方法,其中,在该影像评分步骤分析该鬼影评分分数时,该影像评分步骤计算一立体像对的一对应区域,其中该立体像对为这些视角影像的一组合;该影像评分步骤计算该立体像对的该对应区域的一颜色差异资讯,以统计出该两视角影像的一鬼影量化指标;以及该影像评分步骤统计这些立体像对的所有鬼影量化指标的一总和,以输出该鬼影评分分数。
上述立体影像播放品质评估方法,其中,在该影像评分步骤分析该最适水平视差评分分数时,该影像评分步骤将这些视角影像分对成多个组立体像对;该影像评分步骤取得这些立体像对的各个临界视差;该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间;以及该影像评分步骤比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
上述立体影像播放品质评估方法,其中,在该影像评分步骤取得这些立体像对的各个临界视差时,该影像评分步骤分析该立体像对的影像特征并将之过滤;该影像评分步骤根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及该影像评分步骤根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
上述立体影像播放品质评估方法,其中,在该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间时,该影像评分步骤从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
本发明的立体影像摄影与播放品质评估系统,及其方法。可以在拍摄端提出一套立体影像拍摄与合成的流程,并搭配立体影像评分系统,在立体屏幕播放端评估计算出该立体影像的立体品质分数。进而可提高其3D立体影像品质。
附图说明
图1为本发明实施例的立体影像摄影系统发明的的示意图。
图2为示根据本发明实施例的立体影像拍摄流程图。
图3A为拍摄的多视角影像范例。
图3B为对图3A进行多视角影像分对的结果。
图4为根据本实施例的最适水平视差分析程序。
图5为根据本实施例的取得立体像对临界视差的流程。
图6为根据本实施例的特征点对应与噪声特征点过滤的一例。
图7为根据本实施例的视差直方图的一例。
图8A与图8B为根据本实施例的视差累积直方图的二例。
图9A至图9D为最适水平视差区间与播放屏幕容忍视差区间之间的大小关系的4种情况。
图10为根据本实施例的应用稀疏式特微比对的垂直视差分析的流程图。
图11为根据本实施例的边框效应分析的流程图。
图12与图13为根据本实施例发明的调整取像的2种示意图。
其中,附图标记:
100:立体影像摄影系统
110:影像取像模块 120:影像评分模块
130:反馈模块
111:影像撷取单元
112:运动机构 140:物件
210~250:步骤 V1~V7:视角影像
SP01~SP06:立体像对 410~430:步骤
510~550:步骤 1010~1040:步骤
1110~1130:步骤
具体实施方式
如图1所示,本发明实施例的立体影像摄影系统100包括:影像取像模块110与影像评分模块120。此外,本发明实施例的系统100更可选择性包括反馈模块130。
影像取像模块110包括:影像撷取单元111与运动机构112。影像撷取单元111拍摄物件140的多视角影像。影像撷取单元111比如但不受限于为数字单眼相机。运动机构112调整物件140与影像撷取单元111的相对位置关系。运动机构112可移动及/或旋转物件140。运动机构112可被编程控制。运动机构112比如但不受限于包括转盘与滑轨。滑轨用于移动物件140,以改变物件与影像撷取单元111间的相对距离。转盘用于旋转物件140,以改变物件与影像撷取单元111间的相对角度。
影像评分模块120分析由影像取像模块110所传来的多视角影像,计算立体影像品质评分分数。反馈模块130将评分结果反馈给影像取像模块110,以调整其拍摄参数。影像评分模块120与反馈模块130比如但不受限于为一个人电脑。
影像评分模块120可在运算单元上可执行,在此运算单元比如是个人电脑等相似装置。在本实施例中,影像评分模块120可细分为数个品质评分模块:最适水平视差分析模块、鬼影分析模块、垂直视差分析模块与边框效应分析模块。此外,影像评分模块120可还包括综合评分程序。
此外,本发明实施例更提出一种立体影像播放品质评估系统,用于检测上述立体影像摄影系统100所制作的立体影像在现场环境播放时的品质,有助于建立3D内容评估及测试标准。
图2显示根据本发明实施例的立体影像拍摄流程图。如图2所示,在步骤210中,进行多视角影像取像,比如由影像取像模块110进行。在步骤220中,进行多视角影像立体品质评分,比如由影像评分模块120进行。在步骤230中,评估立体影像是否达到评分阀值,比如由影像评分模块120进行。如果达到评分阀值的话,则输出此立体影像(步骤250),甚至可利用此参数进行大量影像内容的制作与拍摄;相反地,如果未达到评分阀值的话,则调整影像取像模块110的取像参数,如步骤240。步骤240比如由反馈模块130进行。
多视角影像取像:
物件140被置放在运动机构112的旋转中心上。运动机构112和影像撷取单元111可接收控制信号。控制信号比如但不受限于由运算单元(未示出,比如个人电脑)所送出。影像撷取单元111能够以多个不同视角来拍摄物件140,以取得多视角的2D影像。传送给运动机构111的控制信号有二种:旋转信号与移动信号。旋转信号控制运动机构112的每次旋转角度,而移动信号控制运动机构112的移动(前进后退)的距离。旋转信号和移动信号是后续进行调校立体影像立体感的重要参数。
如下,以使用7个不同视角的影像来合成最后播放的多视角影像,图3A为拍摄的多视角影像范例。V1~V7分别代表在7个不同视角拍摄下所得到的7个2D影像。但当知本案并不受限于7个视角。
多视角影像立体品质评分:
在本实施例中,影像评分模块120分别分析立体影像的数个品质指标,包括:最适水平视差分析、垂直视差分析、鬼影分析以及边框效应分析。影像评分模块120可更进行综合评分程序,以得到立体影像的评分总和。以下针对各项品质指标说明本案实施例的作法。
最适水平视差分析:
最适水平视差分析可由影像评分模块120的最适水平视差分析模块执行。最适水平视差分析程序分析多视角影像的视差范围资讯,并输出立体影像的最适视差范围及水平视差评分。图4显示根据本实施例的最适水平视差分析程序。请参照图4。
在步骤410中,对多视角影像进行分对。将这些多视角影像分对成多组立体像对。请参照图3B,其显示根据本实施例的对图3A进行多视角影像分对的结果。在本实施例分析多视角影像视差资讯时,进行多视角影像分对,以将多视角影像分类成两两一组的立体像对,立体像对包括左眼影像和右眼影像。以7个视角的立体影像作为举例,总共需要拍摄7张原始影像V1~V7作为合成之用。分对原则乃是根据这些原始影像的空间关系及后续合成立体影像的排列顺序作为依据。在本实施例中,以两两相邻的两张影像作为一组立体像对,当知本实施例并不受限于此。7张原始影像V1~V7可分对成为6组立体像对SP01~SP06,如图3B所示。立体像对SP01包括原始影像V1与V2,其余可依此类推。
或者,在其他可能实施例中,如果裸眼3D显示器显示格式具有N个视角(N为大于等于2的正整数),则对多视角影像分对时,将N个视角影像分对成N-1组立体像对。
在步骤420中,取得立体像对临界视差。在步骤420中,分析各立体像对的画面的全部或部分的视差资讯,并根据视差资讯计算出各立体像对的各个临界视差。
步骤420的细节请参考图5。图5显示根据本实施例的取得立体像对临界视角的流程。在步骤510中,进行立体像对的影像特征分析。影像特征分析比如可以使用稠密式(dense)特征比对方法或者稀疏式(feature-based)特征比对方法。以稀疏式特征比对方式为例,找出左眼影像中的特征点与其坐标资讯。在右眼影像中寻找这些左眼影像特征点的对应特征点的坐标资讯。比如,以立体像对SP01为例,其左眼影像为V1,而右眼影像则为V2。稠密式特征比对方式例如使用立体比对(stereo matching)方式来得到整张画面的特征对应。
在获得左右眼特征点对应坐标(xl,yl)及(xr,yr)后,就可以获得视差资讯,在此,将水平视差dispx、垂直视差dispy与视差绝对距离dis定义为:
水平视差:dispx=xl-xr
垂直视差:dispy=yl-yr
视差绝对距离:
其中(xl,yl)和(xr,yr)分别代表特征点在左眼影像及右眼影像中的坐标位置。在本实施例中使用的特征对应方法为尺寸不变特征转换(SIFT,Scale-invariantfeature transform)特征描述子,以减缓因旋转、缩放及影像亮度及对比度所造成的特征对应错误。
在步骤520中,进行特征滤除。在进行立体像对特征点比对时,难免会出现噪声特征点。故而,在本实施例中,使用以下准则进行过滤噪声特征点:(1)视差绝对距离dis过大的特征点;(2)垂直视差dispy过大的特征点;(3)不符合极线几何(epipolar geometry)特性的特征点。图6显示根据本实施例的特征点对应与噪声的特征点过滤的一例。
在步骤530中,在滤完错误特征点之后,对整张画面的视差资讯(稠密的视差资讯,以稠密式特征比对方法而得)或者物体区域的视差资讯(稀疏的视差资讯,以稀疏式特征比对方式而得)计算画面的视差统计图。在本案实施例中,视差计算530可包括两个子步骤530A与530B。
在子步骤530A,计算视差直方图。视差直方图的计算方式为,根据每一个视差值统计其数量或其数量百分比并且描绘成直方图。换句话说,直方图的横轴为此画面的最小视差到最大视差,纵轴为具有该视差值的像素数量或者像素百分比。图7显示根据本实施例的视差直方图的一例,其中,d1~d10代表视差。
在子步骤530B,计算视差累积直方图。所谓视差累积直方图就是将视差直方图逐笔累加起来,纵轴即为小于该视差值的像素累积数量或者像素累积百分比。图8A与图8B显示根据本实施例的视差累积直方图的二例。
在步骤540中,计算立体像对临界视差。详细地说,得到该画面的视差直方图或视差累积直方图后,将利用该视差直方图或视差累积直方图来决定该立体像对的临界视差。此临界视差的定义为会造成人眼观赏立体像对有不舒适的立体感的临界值。换言之,当该立体像对的视差值大于此临界值时,人眼将会感受到不舒适的立体感。而不舒适的立体感原因仅列举几项如下:(1)负视差过大:如果画面中的负视差过大像素比例过多,会造成鬼影(cross-talk)区域过多而造成人眼观赏的不舒适感;或(2)正视差过大:如果画面中正视差过大像素比例过多,会造成人眼无法聚焦而造成人眼观赏的不舒适感。
在本实施例中,在视差直方图中寻找该立体像对的临界视差的方法比如为,定义最小临界数量阀值。当负视差过大像素的数量百分比或者正视差过大的像素数量百分比超过此最小临界数量阀值时,就会造成人眼观赏的不舒适感。此最小临界数量阀值通常比如,透过人为经验决定。
以图7为例,假设最小临界数量阀值为τ(假设但不受限于1%),所代表的物理意义为,如果画面中有τ(假设但不受限于1%)的像素有过大的负(正)视差,就会造成人眼不舒服。τ值可依经验或依所需而定。
在本实施例中,在在视差直方图的纵轴上寻找此最小临界数量阀值,然后以此最小临界数量数值对应到视差直方图的横轴上决定其对应的临界负视差与临界正视差(如图7)。请注意,在本实施例中,每个立体像对会有其相对应的视差直方图、临界负视差与临界正视差。在本实施例中,针对该组立体像对可以计算出一组临界视差CDn={dispc-,dispc+}n,其中disp c-代表临界负视差,而disp c+代表临界正视差,n代表立体像对的编号。
在本实施例中,另外一种寻找临界视差的方式则是从视差累积直方图而得。在视差累积直方图的纵轴上寻找最小临界累积数量阀值,然后以此数值对应到视差直方图的横轴上决定其对应的视差(如图8A或图8B),并以此对应视差作为该立体像对的临界视差CDn={dispc-,dispc+}n。
以图8A为例,最小临界累积数量阀值为τ(假设但不受限于2%),其所代表的物理意义为,如果画面中累积超过τ(假设但不受限于2%)的像素有过大负视差,就会造成人眼不舒服。相似地,以图8B为例,最小临界累积数量阀值为τ(假设但不受限于2%),其所代表的物理意义为,如果画面中累积超过τ(假设但不受限于2%)的像素有过大正视差,就会造成人眼不舒服。在步骤550中,输出立体像对临界视差。
现请再次参考图4。在步骤430中,取得最适视差区间的方法为比较多组立体像对的各个临界视差。比较的准则是:选择多组立体像对之中最大的临界正视差作为立体影像合成时的最适正视差dispopti+;以及选择多组立体像对之中最小的临界负视差作为裸眼立体影像合成时的最适负视差dispopti-。该合成立体影像的最适视差区间dopti为:
dopti
={dopti-,dopti+}
={min({dispc-}1,{dispc-}2,{dispc-}3,{dispc-}4,{dispc-}5,{dispc-}6,{dispc-}7),
max({dispc+}1,{dispc+}2,{dispc+}3,{dispc+}4,{dispc+}5,{dispc+}6,{dispc+}7)}
此最适视差dopti就可以用来当作后续立体影像后制程序或者立体感调校与测试的依据。
最适水平视差评分计算
计算出最适视差dopti后,可以根据播放需求,计算出立体影像品质的最适水平视差指标的评分。其详细计算方式如下,将此最适水平视差与播放屏幕的容忍视差区间进行比较,并将比较的结果根据以下四种状况输出评分。请参考图9A至图9D,其分别显示最适水平视差区间与播放屏幕容忍视差区间之间的大小关系的4种情况。
图9A显示最适水平视差落在屏幕容忍视差区间中。其品质评分计算机制如下:
其中dscreen为屏幕容忍视差区间,dmin-与dmin+分别为屏幕负视差上限与屏幕正视差上限,dopti为最适水平视差区间。
图9B显示最适水平视差整个落在屏幕容忍视差区间之外。其品质评分计算机制如下:
其中,penaltyterm-为超过屏幕负视差上限所需要扣除的处罚项(图9B显示为PT-),penaltyterm+为超过屏幕正视差上限所需要扣除的处罚项(图9B显示为PT+)。此处罚项与超出程度有关,其由函数w(|dopti--dmin-|)或w(|dopti+-dmin+|)来描述。
图9C显示最适正视差大于屏幕正视差上限且最适负视差大于屏幕负视差上限。其品质评分计算机制如下:
图9D显示最适正视差小于屏幕正视差上限且最适负视差小于屏幕负视差上限。其品质评分计算机制如下:
将最适水平视差与屏幕容忍视差区间进行视差区间比较,并将分数正规化为0~100的评分。本实施例采用的公式如下:ScoreHD=100·score,其中,ScoreHD代表经正规化后的最适水平视差评分。由上述描述可知,如果最适水平视差区间越贴近屏幕容忍视差区间,得到的评分ScoreHD就会越高。
垂直视差分析:
垂直视差分析可由影像评分模块120的垂直视差分析模块执行。垂直视差过大会造成观看立体影像时人眼的不舒适感。在本实施例中,垂直视差分析也可以使用稠密式特征比对方法或者稀疏式特征比对方法。稠密式特征比对方法可采用光流演算法(optical flow)或区块式移动向量估算(block based motionestimation)来计算每个像素在另一张影像的对应点。稀疏式则可使用特征点描述子,如SIFT、SURF等演算法来达到。图10显示根据本实施例的应用稀疏式特征比对的垂直视差分析的流程图。
在步骤1010中,进行影像特征分析。步骤1010从立体像对中截取影像特征点,并分析哪些特征点互相对应,互相对应的两特征点称为一特征像对,本实施例使用前面提到的SIFT与过滤准则来得到稳定(robust)合理的特征像对。
在步骤1020中,计算垂直视差。步骤1020中,对于从影像特征分析步骤1010得到的每组特征像对,计算其坐标位置的垂直差异,以当成垂直视差。本实施例实作如下:特征像对的两点p1、p2的坐标分别为(x1,y1)和(x2,y2),其垂直差异为VD(p1,p2)=abs(y1-y2)。
在步骤1030中,垂直视差像素比例计算。步骤1030计算垂直视差不合格(也即垂直视差大于一垂直视差阀值)的特征像对占整体特征像对数目的比例。本实施例采用的公式如下:
其中,n为特征像数总数,m为立体像对总数,pvi1、pvi2为第v个立体像对中,第i个特征像对的两个对应点,thvDisp为一事先定义的阀值,f为一判断函数,当括号内的式子为真时,f()为1,反之则为0。
在步骤1040中,垂直视差评分计算。将上述垂直视差像素比例转化为0~100的评分。本实施例采用的公式如下:ScoreVD=100·(1-PvDisp)。如果不合格的特征像对越多,得到的评分就会越低。
边框效应分析:
边框效应(SWV,Stereoscopic Window Violation)代表影像的四周边框(window)有过大的负视差会导致观众有不适的立体感。边框效应分析可由影像评分模块120的边框效应分析模块所执行。边框效应分析可使用立体像对的临界水平视差计算结果。用画面四方的边缘比例范围内的水平视差值来计算负视差像素所占的比例。边框效应分析流程如第11图所示。
在步骤1110中,计算边框像素视差。步骤1110从立体像对的临界水平视差计算结果中,找出影像边缘某距离内的负视差像素点(x,y)及其负视差绝对值,如式:VNeg(x,y)=abs(Disp-(x,y))。如果像素点的视差值为正值,则不列入计算。
在步骤1120中,计算边框像素比例。步骤1120计算各负视差像素点(x,y)对边框效应的影响程度(亦即边框效应量化指标)PSWV(x,y)=f(x,y)*VNeg(x,y),其为将这些负视差像素点的负视差绝对值视差乘上权重函数f(x,y)。在本实施例中,f(x,y)为负视差像素点(x,y)距离边框的最近距离d的反比如式:f(x,y)=1/d。由公式可看出,距离边框越远的像素其边框效应影响越低,
在步骤1130中,计算边框像素评分。此步骤计算距离边框r个像素的范围内的负视差像素影响程度的总和,如式:
其中,W为画面宽(以像素为单位),H为画面高(以像素为单位)。
判定立体影像品质评分:
当进行完上述的立体影像品质分析之后,每个程序的评分输入到综合评分程序,此综合评分程序会将这些评分(最适水平视差评分、垂直视差评分、边框效应评分)透过综合运算后,得到立体影像的评分总和。此综合评分程序将上述评分分数进行权重运算加总,得到立体影像品质的综合分数。若无该项品质指标评分的输入,则该品质指标的权重w则自动设成0。
Scoresum=w1ScoreVD+w2ScoreSWV+w3ScoreHD
w1~w3分别代表权重值,w1+w2+w3=1。
将综合评分分数Scoresum比较于预先设定的品质分数阀值thrd quality。若综合评分分数小于品质分数阀值,则进行取像角度的调整;若大于品质分数阀值则输出此立体影像。
在本实施例中,调整取像参数(步骤240)的细节如下。在此,取像参数比如包括取像距离及/或取像角度。
请参考图12与图13,其显示根据本实施例的调整取像的2种示意图。如图12所示,若发现该立体影像的最适视差区间较为靠近零平面区间,表示该立体影像立体感可能不足,则调整运动机构112以移动物件140靠近影像撷取单元111并重新进行多视角影像的取像。如此的话,将可能得到立体感较佳的最适视差区间(因为视差范围右移)。相反地,若发现该立体影像的最适视差区间较为远离零平面区间,表示该立体影像立体感可能太凸,则调整运动机构112以移动物件140远离影像撷取单元111,以重新进行多视角影像的取像。如此的话,将可能得到立体感较舒适的最适视差区间(因为视差范围左移)。
现请参考图13。若发现该立体影像的最适视差区间范围过大,表示该立体影像可能较缺乏后制特效空间,则调整运动机构112,使得运动机构112的每次旋转角度减小,重新进行多视角影像的取像。如此的话,可得到视差范围缩小的最适视差区间。相反地,若发现该立体影像的最适视差区间范围过小,则调整运动机构112,使得运动机构112的每次旋转角度变大,重新进行多视角影像的取像。如此的话,可得到视差范围变大的最适视差区间。
此外,本实施例也发明一种立体影像播放品质评估系统,对立体显示器所播放的立体影像进行品质检测。此品质评估系统使用单台或多台影像撷取单元针对播放立体显示器进行取像,依视角需要架在不同位置、方向(所以,立体影像播放品质评估系统原则上可不需要运动机构112与反馈模块130,因为不需移动物件140)。另外,在检测时,要设定观看者的舒适区域,此舒适区域设定可由播放环境所提供,例如使用者的距离、可容忍的正负视差、可容忍的高反差范围…等。撷取到的影像进行品质评估分析,主要分析的品质因素有视差分布、高反差(High contrast)、垂直视差、边框效应等。总合这些项目并且进行评分,评分后可回报分析结果。
举例来说,在本实施例中,使用单台相机并以7个视角的立体显示器作为测试环境。将相机架设在可观看到立体显示器第i视角(0<i≤7)的位置,依序播放并撷取第i个视角画面、第i+1个视角画面、完整的立体画面。对第i个视角画面跟第i+1个视角画面做立体比对以计算水平视差与垂直视差,并利用算出来的水平视差计算边框效应。另外,截取第i个视角画面时,系统会控制显示器使其只播放第i个视角画面,系统截取出影像I;系统控制显示器使其播放所有视角画面,系统截取出影像J。计算影像I跟影像J的颜色差异,可得到鬼影(Cross-talk)影像。系统综合所有影像分析项目并提出该立体影像的评分分数。立体影像播放品质评估评分的准则设定如下:
(1)垂直视差评分项目ScoreVD:使用对第i个视角画面跟第i+1个视角画面做立体比对所计算出的垂直视差,所计算出的垂直视差量越大,分数越低。如何得到垂直视差评分项目ScoreVD可相同或相似于上述的垂直视角评分,故其细节在此不重述。
(2)边框效应评分项目ScoreSWV:
利用水平视差在影像边框附近的分布,若影像边框附近像素有过大的负视差,则代表会产生边框效应现象,此现象比例越多,分数越低。如何得到边框效应评分项目ScoreSWV可相同或相似于上述的边框效应评分,故其细节在此不重述。
(3)鬼影评分项目ScoreCT:上述两影像I与J相减所获得的颜色差距图,代表不同视角的画面因为光学因素影响正常观看视角的画面,因此差距越大,分数越低。ScoreCT的计算实施例为:
其中N为影像的总像素数,MaxDiff为两像素间的颜色差异的最大可能数值,I(x,y)与J(x,y)分别为在影像I与影像J间的像素(x,y),abs()代表绝对值函数。
(4)最适水平视差评分项目ScoreHD:利用临界视差分析,可以得到该立体影像的最适水平视差区间,将最适水平视差区间与屏幕容忍视差区间进行比较,越符合前述视差区间的比较准则,分数越高。如何得到最适水平视差评分项目ScoreHD可相同或相似于上述的最适水平视差评分,故其细节在此不重述。
对上述四个项目进行加权运算,计算出播放品质评分分数,该分数的计算方式如:
S=w1ScoreVD+w2ScoreSWV+w3ScoreCT+w4ScoreHD。
w1~w4分别代表4个权重值,其总和为1。
简言之,本发明实施例的立体影像摄影与播放品质评估系统,及其方法,拍摄制作端由一台相机及一运动机构进行拍摄物品的多视角影像,通过分析多视角立体像对的特征资讯,撷取出多个立体像对的临界视差资讯,并且输出多视角影像最适视差区间,提供给后制立体特效参考使用。对此多视角影像进行立体品质评分,若评分未达标准则调整运动机构重新拍摄立体效果较佳的多视角影像。此摄影系统并搭配立体影像播放品质评估系统。在立体屏幕播放端测试出该立体影像的立体品质分数,以当成立体感调校与测试的客观数据,在制作前期确保立体影像内容的立体感符合预期。本发明实施例可有效串连内容制作端及播放端,同时兼顾立体影像制作时的品质与成本,有效降低立体影像内容制作费用。
由上述可知,本发明实施例可解决3D内容制作困难及成本高昂的问题。透过本发明实施例所提出的制作高品质立体影像内容的摄影系统,可解决3D内容制作商在制作3D内容立体效果不佳的问题。此摄影系统能够兼顾品质与成本,有效降低立体影像内容制作费用,可以广泛应用于数字内容制作厂商、广告及多媒介制作商,尤其是与3D立体影像制作相关的厂商。
本发明实施例可应用于数字内容制作厂商、广告及多媒介制作商,尤其是与3D立体影像制作相关的厂商。本发明实施例也可应用于3D内容,比如,3D电视、3D数字电子看板、裸视3D智能型手机、裸视3D平板电脑等。
虽本发明的模块(如影像评分模块及/或反馈模块)以个人电脑来实施,但也可利用如处理单元、数字信号处理单元、数字视频处理单元实施,或因此可编程的集成电路如微控制器、现场可编程门阵列(FPGA,Field Programmable GateArray)之类的电路来实现,其中例如以硬件描述(HDL,Hardware descriptionlanguage)来设计。
另外,本发明上述的方法也可以软件程序来实现,如依据本发明的方法的一例子的程序码记录在一存储媒介之中,如存储体如ROM、RAM及之类的媒介、或光学或磁性或其他记录媒介,或是实现为固件(firmware)。当运算装置的处理单元,从存储有依本发明的方法的程序码的存储媒介读取并执行,能实现依本发明的方法。再者,本发明的上述方法可以软硬件结合的方式实现。
综上所述,虽然本案已以实施例发明如上,然其并非用以限定本案。本案所属技术领域中具有通常知识者,在不脱离本案的精神和范围内,当可作各种的变换。
Claims (39)
1.一种立体影像摄影系统,其特征在于,包括:
一影像取像模块,用以拍摄一物件的多个视角影像;以及
一影像评分模块,用以分析这些视角影像所形成多个立体影像,以计算这些立体影像的一立体品质评分分数。
2.根据权利要求1所述的立体影像摄影系统,其特征在于,还包括:
一反馈模块,根据该立体品质评分分数来控制该影像取像模块,以调整该影像取像模块的一拍摄参数。
3.根据权利要求1所述的立体影像摄影系统,其特征在于,其中该影像取像模块包括:
至少一视频撷取单元,用以撷取该物件的这些视角影像;以及
至少一运动机构,改变该物件与该视频撷取单元间的一相对距离关系及/或一相对角度关系。
4.根据权利要求1所述的立体影像摄影系统,其特征在于,其中该影像评分模块分析该物件的这些立体影像的一最适水平视差评分分数。
5.根据权利要求1所述的立体影像摄影系统,其特征在于,其中该影像评分模块分析该物件的这些立体影像的一垂直视差评分分数。
6.根据权利要求1所述的立体影像摄影系统,其特征在于,其中该影像评分模块分析该物件的这些立体影像的一边框效应评分分数。
7.根据权利要求1所述的立体影像摄影系统,其特征在于,其中该影像评分模块分析该物件的这些立体影像的一最适水平视差评分分数、一垂直视差评分分数与一边框效应评分分数,并综合为一最后分数。
8.根据权利要求5所述的立体影像摄影系统,其特征在于,其中在该影像评分模块分析该垂直视差评分分数时,
该影像评分模块找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;
该影像评分模块计算该立体像对的各组特征点对应组的各个垂直视差;
该影像评分模块计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及
该影像评分模块得到各组立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
9.根据权利要求6所述的立体影像摄影系统,其特征在于,其中在该影像评分模块分析该边框效应评分分数时,
该影像评分模块找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;
该影像评分模块计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及
该影像评分模块计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
10.根据权利要求7所述的立体影像摄影系统,其特征在于,其中在该影像评分模块分析该最适水平视差评分分数时,
该影像评分模块将这些视角影像分对成多个组立体像对;
该影像评分模块取得这些立体像对的各个临界视差;
该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及
该影像评分模块比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
11.根据权利要求10所述的立体影像摄影系统,其特征在于,其中该影像评分模块取得这些立体像对的各个临界视差时,
该影像评分模块分析该立体像对的影像特征并将之过滤;
该影像评分模块根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及
该影像评分模块根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
12.根据权利要求10所述的立体影像摄影系统,其特征在于,其中在该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间时,
该影像评分模块从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
13.根据权利要求11所述的立体影像摄影系统,其特征在于,其中该影像评分模块以一稠密式特征比对方法或者一稀疏式特征比对方法来分析该立体像对的该影像特征;以及
该影像评分模块根据一视差绝对距离参数、一垂直视差参数与一极线几何特性参数来过滤该立体像对的该影像特征。
14.一种立体影像播放品质评估系统,评估多个立体感受要素,该系统包括:
一影像取像模块,从一终端立体播放装置撷取多个视角影像;以及
一影像评分模块,分析这些视角影像的一立体影像资讯,以输出该终端立体播放装置的一播放评分。
15.根据权利要求14所述的立体影像播放品质评估系统,其特征在于,其中,该影像评分模块分析这些视角影像的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及/或一鬼影评分分数及/或一综合评分分数。
16.根据权利要求15所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块分析该垂直视差评分分数时,
该影像评分模块找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;
该影像评分模块计算该立体像对的各组特征点对应组的各个垂直视差;
该影像评分模块计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及
该影像评分模块得到各组立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
17.根据权利要求15所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块分析该边框效应评分分数时,
该影像评分模块找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;
该影像评分模块计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中,该权重函数反比于该负视差像素点距离一边框的一距离;以及
该影像评分模块计算距离各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
18.根据权利要求15所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块分析该鬼影评分分数时,
该影像评分模块计算一立体像对的一对应区域,其中该立体像对为这些视角影像的一组合;
该影像评分模块计算该立体像对的该对应区域的一颜色差异资讯,以统计出该两视角影像的一鬼影量化指标;以及
该影像评分模块统计这些立体像对的所有鬼影量化指标的一总和,以输出该鬼影评分分数。
19.根据权利要求15所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块分析该最适水平视差评分分数时,
该影像评分模块将这些视角影像分对成多组立体像对;
该影像评分模块取得这些立体像对的各个临界视差;
该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及
该影像评分模块比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
20.根据权利要求19所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块取得这些立体像对的各个临界视差时,
该影像评分模块分析该立体像对的影像特征并将之过滤;
该影像评分模块根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及
该影像评分模块根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
21.根据权利要求19所述的立体影像播放品质评估系统,其特征在于,其中,在该影像评分模块比较这些立体像对的各个临界视差,以计算出一最适水平视差区间时,
该影像评分模块从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
22.一种立体影像摄影方法,其特征在于,包括:
取像一物件的多个视角影像;以及
执行一影像评分步骤,以分析这些视角影像所形成多个立体影像并计算这些立体影像的一立体品质评分分数。
23.根据权利要求22所述的立体影像摄影方法,其特征在于,还包括:
根据该立体品质评分分数来控制该影像取像步骤,以调整一拍摄参数。
24.根据权利要求22所述的立体影像摄影方法,其特征在于,其中,该影像取像步骤还包括:
改变对该物件的一取像距离关系及/或一取像角度关系。
25.根据权利要求22所述的立体影像摄影方法,其特征在于,其中,该影像评分步骤分析该物件的这些立体影像的这些的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及及/或一综合评分分数。
26.根据权利要求25所述的立体影像摄影方法,其特征在于,其中,在该影像评分步骤分析该垂直视差评分分数时,
该影像评分步骤找出一立体像对的多个特征点对应组并过滤的,其中,该立体像对为这些视角影像的一组合;
该影像评分步骤计算该立体像对的各组特征点对应组的各个垂直视差;
该影像评分步骤计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为特征点对应组的垂直视差大于一垂直视差阀值;以及
该影像评分步骤得到各立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
27.根据权利要求25所述的立体影像摄影方法,其特征在于,其中,在该影像评分步骤分析该边框效应评分分数时,
该影像评分步骤找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;
该影像评分步骤计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及
该影像评分步骤计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
28.根据权利要求25所述的立体影像摄影方法,其特征在于,其中,在该影像评分步骤分析该最适水平视差评分分数时,
该影像评分步骤将这些视角影像分对成多组立体像对;
该影像评分步骤取得这些立体像对的各个临界视差;
该影像评分步骤比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及
该影像评分步骤比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
29.根据权利要求28所述的立体影像摄影方法,其特征在于,其中,该影像评分模块取得这些立体像对的各个临界视差时,
该影像评分步骤分析该立体像对的影像特征并将之过滤;
该影像评分步骤根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及
该影像评分步骤根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
30.根据权利要求28所述的立体影像摄影方法,其特征在于,其中,该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间时,
该影像评分步骤从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
31.根据权利要求29所述的立体影像摄影方法,其特征在于,,其中,
该影像评分步骤以一稠密式特征比对方法或者一稀疏式特征比对方法来分析该立体像对的该影像特征;以及
该影像评分步骤根据一视差绝对距离参数、一垂直视差参数与一极线几何特性参数来过滤该立体像对的该影像特征。
32.一种立体影像播放品质评估方法,评估多个立体感受要素,其特征在于,该方法包括:
从一终端立体播放装置撷取多个视角影像;以及
执行一影像评分步骤,分析这些视角影像的一立体影像资讯,以输出该终端立体播放装置的一播放评分。
33.根据权利要求32所述的立体影像播放品质评估方法,其特征在于,其中,该影像评分步骤分析这些视角影像的一最适水平视差评分分数及/或一垂直视差评分分数及/或一边框效应评分分数及/或一鬼影评分分数及/或一综合评分分数。
34.根据权利要求33所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤分析该垂直视差评分分数时,
该影像评分步骤找出一立体像对的多个特征点对应组并将之过滤,其中,该立体像对为这些视角影像的一组合;
该影像评分步骤计算该立体像对的各组特征点对应组的各个垂直视差;
该影像评分步骤计算该立体像对中的多个高垂直视差特征点对应组的数目占该立体像对的整体特征点对应组数目的比例,其中该高垂直视差定义为该特征点对应组的垂直视差大于一垂直视差阀值;以及
该影像评分步骤得到各立体像对的各个垂直视差量化指标的总和,并依总和输出该垂直视差评分分数。
35.根据权利要求33所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤分析该边框效应评分分数时,
该影像评分步骤找出一立体像对的一影像边缘距离内的多个负视差像素点及其负视差绝对值,其中该立体像对为这些视角影像的一组合;
该影像评分步骤计算各负视差像素点的各边框效应影响程度,其有关于为这些负视差像素点的这些负视差绝对值与一权重函数,其中该权重函数反比于该负视差像素点距离一边框的一距离;以及
该影像评分步骤计算各立体像对距离该边框的一范围内的这些负视差像素点的这些边框效应影响程度的一总和。
36.根据权利要求33所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤分析该鬼影评分分数时,
该影像评分步骤计算一立体像对的一对应区域,其中该立体像对为这些视角影像的一组合;
该影像评分步骤计算该立体像对的该对应区域的一颜色差异资讯,以统计出该两视角影像的一鬼影量化指标;以及
该影像评分步骤统计这些立体像对的所有鬼影量化指标的一总和,以输出该鬼影评分分数。
37.根据权利要求33所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤分析该最适水平视差评分分数时,
该影像评分步骤将这些视角影像分对成多组立体像对;
该影像评分步骤取得这些立体像对的各个临界视差;
该影像评分步骤比较这些立体像对的各个临界视差,以计算出一最适水平视差区间;以及
该影像评分步骤比较该最适水平视差区间与一立体屏幕容忍视差区间,以得到该最适水平视差评分分数。
38.根据权利要求37所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤取得这些立体像对的各个临界视差时,
该影像评分步骤分析该立体像对的影像特征并将之过滤;
该影像评分步骤根据该立体像对的该影像特征而得到该立体像对的一视差统计资讯;以及
该影像评分步骤根据该视差统计资讯,决定该立体像对的该对应临界视差,该临界视差包括一临界正视差与一临界负视差。
39.根据权利要求37所述的立体影像播放品质评估方法,其特征在于,其中,在该影像评分步骤比较这些立体像对的各别临界视差,以计算出一最适水平视差区间时,该影像评分步骤从这些立体像对的这些对应临界视差的这些临界正视差中择最大者,并从这些立体像对的这些对应临界视差的这些临界负视差中择最小者,以当成该最适水平视差区间。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100146652A TW201325204A (zh) | 2011-12-15 | 2011-12-15 | 立體影像攝影與播放品質評估系統,及其方法 |
| TW100146652 | 2011-12-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103167308A true CN103167308A (zh) | 2013-06-19 |
Family
ID=48590010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104572186A Pending CN103167308A (zh) | 2011-12-15 | 2011-12-30 | 立体影像摄影系统与播放品质评估系统,及其方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130155192A1 (zh) |
| CN (1) | CN103167308A (zh) |
| TW (1) | TW201325204A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657982A (zh) * | 2016-11-16 | 2017-05-10 | 信利光电股份有限公司 | 一种摄像模组图像清晰度校准方法及装置 |
| CN106791493A (zh) * | 2016-11-17 | 2017-05-31 | 天津大学 | 基于模糊控制的颜色协调立体字幕制作方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9635249B2 (en) * | 2013-04-30 | 2017-04-25 | Sony Corporation | Client terminal, display control method, program, and system |
| CN103533343B (zh) * | 2013-09-29 | 2015-05-20 | 宁波大学 | 一种基于数字水印的立体图像质量客观评价方法 |
| CN104394403B (zh) * | 2014-11-04 | 2016-04-27 | 宁波大学 | 一种面向压缩失真的立体视频质量客观评价方法 |
| CN105335992B (zh) * | 2015-10-15 | 2020-02-04 | 北京邮电大学 | 一种三维动画场景帧评分模型确定方法及装置 |
| CN109523506B (zh) * | 2018-09-21 | 2021-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN120263960B (zh) * | 2025-06-09 | 2025-08-19 | 安徽玄视界控股有限责任公司 | 一种裸眼3d大屏的虚实交互方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101124744A (zh) * | 2005-02-23 | 2008-02-13 | 三菱电机株式会社 | 接收装置 |
| CN101184252A (zh) * | 2006-11-14 | 2008-05-21 | 三星电子株式会社 | 用于调节三维图像中的视差的方法及其三维成像设备 |
| CN101610425A (zh) * | 2009-07-29 | 2009-12-23 | 清华大学 | 一种评测立体图像质量的方法和装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
| US9380292B2 (en) * | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| WO2011014419A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| WO2011123174A1 (en) * | 2010-04-01 | 2011-10-06 | Thomson Licensing | Disparity value indications |
| US20130278727A1 (en) * | 2010-11-24 | 2013-10-24 | Stergen High-Tech Ltd. | Method and system for creating three-dimensional viewable video from a single video stream |
| EP2458877A1 (en) * | 2010-11-26 | 2012-05-30 | Thomson Licensing | Occlusion layer extension |
| US20120162394A1 (en) * | 2010-12-23 | 2012-06-28 | Tektronix, Inc. | Displays for easy visualizing of 3d disparity data |
| US9113153B2 (en) * | 2011-01-14 | 2015-08-18 | Kodak Alaris Inc. | Determining a stereo image from video |
| US9530192B2 (en) * | 2011-06-30 | 2016-12-27 | Kodak Alaris Inc. | Method for determining stereo quality score and automatically improving the quality of stereo images |
-
2011
- 2011-12-15 TW TW100146652A patent/TW201325204A/zh unknown
- 2011-12-30 CN CN2011104572186A patent/CN103167308A/zh active Pending
-
2012
- 2012-08-10 US US13/571,958 patent/US20130155192A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101124744A (zh) * | 2005-02-23 | 2008-02-13 | 三菱电机株式会社 | 接收装置 |
| CN101184252A (zh) * | 2006-11-14 | 2008-05-21 | 三星电子株式会社 | 用于调节三维图像中的视差的方法及其三维成像设备 |
| CN101610425A (zh) * | 2009-07-29 | 2009-12-23 | 清华大学 | 一种评测立体图像质量的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657982A (zh) * | 2016-11-16 | 2017-05-10 | 信利光电股份有限公司 | 一种摄像模组图像清晰度校准方法及装置 |
| CN106791493A (zh) * | 2016-11-17 | 2017-05-31 | 天津大学 | 基于模糊控制的颜色协调立体字幕制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130155192A1 (en) | 2013-06-20 |
| TW201325204A (zh) | 2013-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| Kim et al. | Visual fatigue prediction for stereoscopic image | |
| CN103167308A (zh) | 立体影像摄影系统与播放品质评估系统,及其方法 | |
| CN102598683B (zh) | 立体影像制作装置以及立体影像制作方法 | |
| CN102804787B (zh) | 在立体图像中以相对深度插入三维对象 | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| EP2532166B1 (en) | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair | |
| US11415935B2 (en) | System and method for holographic communication | |
| KR20130095655A (ko) | 입체 컨텐츠의 3-차원적인 효과들을 요구에 맞추기 위한 방법 및 장치 | |
| US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
| KR20110129903A (ko) | 3d 시청자 메타데이터의 전송 | |
| US8675042B2 (en) | Image processing apparatus, multi-eye digital camera, and program | |
| TW201044315A (en) | Combining 3D image and graphical data | |
| Kaptein et al. | Performance evaluation of 3D-TV systems | |
| Shao et al. | Visual discomfort relaxation for stereoscopic 3D images by adjusting zero-disparity plane for projection | |
| CN102668572A (zh) | 用于立体数字电影中的最佳运动再现的方法和装置 | |
| CN102883170B (zh) | 图像处理装置及图像处理方法 | |
| CN103841403B (zh) | 一种无形变立体图像视差快速调节方法 | |
| CN104168469B (zh) | 立体影像预览装置以及立体影像预览方法 | |
| CN103369333B (zh) | 识别成对立体图像实际观看顺序的方法和电子装置 | |
| Xu et al. | Guidelines for an improved quality of experience in 3‐D TV and 3‐D mobile displays | |
| CN105103544B (zh) | 引导式3d显示器适配 | |
| Yang et al. | New stereo shooting evaluation metric based on stereoscopic distortion and subjective perception | |
| Knee | Getting machines to watch 3d for you | |
| Lin et al. | A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C05 | Deemed withdrawal (patent law before 1993) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130619 |