WO2010075726A1 - 立体全景视频流生成方法、设备及视频会议方法和设备 - Google Patents

Description

立体全景视频流生成方法、 设备及视频会议方法和设备 本申请要求 2008年 12月 30日递交的申请号为 200810247531. 5、发明名 称为 "立体全景视频流生成方法、 设备及视频会议方法和设备" 以及 2009年 2月 26日递交的申请号为 200910118629. 5、 名称为 "多视点视频图像校正方 法、 装置及系统" 的中国专利申请的优先权， 其全部内容通过引用结合在本 申请中。

技术领域

本发明关于视频拼接技术， 特别是关于网真会议系统中的视频拼接技术， 具体的讲是一种立体全景视频流生成方法、 设备及视频会议方法和设备。

背景技术

现有的网真 (Telepresence)技术是一种将高质量的音频、 高清晰视频画 面和交互式组件结合在一起的技术， 旨在通过网络提供有如身临其境的独特 体验。 例如， 在网真会议系统中利用高级视频、 音频和协作技术能够为用户 提供实时的面对面交互体验。 网真会议系统甚至能提供房中套房的画面， 通 过实物大小的图像、 高清晰的分辨率以及立体和多声道音频， 围绕着一张虚 拟会议桌创造面对面的会议体验。 虽然现有的网真能够给用户带来相对于传 统会议系统的更好的、 更真实的房中套房会议体验， 但距离现实的面对面的 真人交流还差距， 那就是缺乏真实的立体感受。 人们得到的视频信息仅仅是 二维平面的信息， 并没有获得有深度层次感觉的交流信息。

现有的立体 (3D)视频技术可以提供符合立体视觉原理的深度信息， 从而 能够真实地重现客观世界景象， 表现出场景的纵深感、 层次感和真实性， 是 当前视频技术发展的重要方向。 但由于技术不成熟， 显示设备昂贵和缺乏标 准等原因一直没有大规模应用。

现有的图像拼接技术可以突破成像设备本身的物理限制， 得到大视场的 数字全景图像。 但是， 图像拼接中的 （一） 重构虚拟视点的遮挡与空洞问题; (二） 原始视点差距较大， 导致视差较大， 进而需要产生连续视点的中间虚拟 视点图的数目将陡然增加， 运算量将增大的问题； （三） 视差的计算问题； 仍然没有得到很好的解决。

由于存在上述的诸多问题， 所以现有技术的网真会议系统还无法向用户 提供全景的、 高分辨率的、 无缝的以及三维立体的会议体验。

发明内容

为了克服现有技术中的缺陷， 本发明实施例提供了一种立体全景视频流 生成方法、 设备及视频会议方法和设备， 用以能够基于不同显示设备的多显 示方式向用户提供全景的、 高分辨率的、 无缝的和三维立体的网真会议视频 图像。

本发明实施例的目的之一是， 提供一种立体全景视频流生成方法， 该方 法包括： 获取至少两个待拼接视频图像的深度信息； 根据每个待拼接视频图 像的深度信息从对应的待拼接视频图像中获取多个深度层次的图像数据； 根 据获取的多个深度层次的图像数据进行视频图像数据间的拼接， 生成立体全 景视频流。

本发明实施例的目的之一是， 提供一种立体全景视频会议方法， 该方法 包括： 至少从两个视角同歩获取同一会场的视频流； 根据每个视频流的深度 信息从对应的视频流中获取多个深度层次的图像数据； 对获取的不同视角的 视频流进行基于深度信息的拼接， 生成立体全景视频流； 根据终端显示器的 类别， 将所述立体全景视频流的视频图像显示在终端显示器上。

本发明实施例的目的之一是， 提供一种立体全景视频流生成设备， 该设 备包括： 深度信息获取装置， 用于获取至少两个待拼接视频图像的深度信息; 分层图像获取装置， 用于根据每个待拼接视频图像的深度信息从对应的待拼 接视频图像中获取多个深度层次的图像数据； 立体全景视频流生成装置， 用 于根据获取的多个深度层次的图像数据进行视频图像数据间的拼接， 生成立 体全景视频流。

本发明实施例的目的之一是， 提供一种立体全景视频会议设备， 所述的 设备包括： 深度信息获取装置， 至少从两个视角同歩获取同一会场的视频流; 分层图像获取装置， 用于根据每个视频流的深度信息从对应的视频流中获取 多个深度层次的图像数据； 立体全景视频流生成装置， 对获取的不同视角的 视频流进行基于深度信息的拼接， 生成立体全景视频流； 视频图像显示装置， 用于根据终端显示器的类别， 将所述立体全景视频流的视频图像显示在终端 显 器上 °

本发明实施例的有益效果在于， 通过本发明实施例提供的技术方案， 实 现了快速、 实时的视频图像拼接， 降低了视频图像拼接的复杂度， 提高了视 频图像拼接的效率。 可以向用户提供全景的、 亮色度效果好的、 无缝的、 三 维立体的会议体验， 能够获得比传统网真更高级的、 真实的感受。 附图说明

为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要 使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的 一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提 下， 还可以根据这些附图获得其他的附图。

图 1 为本发明实施例提供的基于深度摄像机的多视点视频会议系统示意 图；

图 2为本发明实施例一提供的立体全景视频流生成流程图；

图 3为本发明实施例一提供的基于人物层和非人物层的视频拼接示意图； 图 4为本发明实施例二提供的一种立体全景视频流生成方法流程图； 图 5为本发明实施例三提供的一种颜色校正方法流程图；

图 6为本发明实施例四提供的一种颜色校正方法流程图；

图 7A为本发明实施例五提供的立体全景视频流生成设备结构图； 图 7B为本发明实施例五提供的的立体全景视频流生成装置结构框图； 图 8A为本发明实施例六提供的立体全景视频流生成设备结构图； 图 8B为本发明实施例六提供的视频图像校正装置结构图；

图 9A为本发明实施例六提供的另一种视频图像校正装置结构图； 图 9B为本发明实施例六提供的一种选择单元结构图；

图 9C为本发明实施例六提供的一种生成单元结构图；

图 9D为本发明实施例六提供的一种校正单元结构图；

图 9E为本发明实施例六提供的另一种校正单元结构图；

图 10为本发明实施例七提供的的立体全景视频会议方法流程图； 图 11为本发明实施例七提供的视频拼接流程图；

图 12为本发明实施例七提供的两个视频图像序列的示意图；

图 13为本发明实施例八提供的立体全景视频会议方法流程图； 图 14为本发明实施例九提供的的立体全景视频会议设备结构图； 图 15A为本发明实施例九提供的立体全景视频会议系统的结构框图； 图 15B本发明实施例九提供的视频图像显示装置的结构框图；

图 16为本发明实施例九提供的快速视频拼接方法流程图；

图 17为本发明实施例九提供的基于深度摄像机构成的多会场多视点视频 会议系统图；

图 18为本发明实施例九提供的的会场 A的示意图；

图 19和图 20为本发明实施例九提供的手势指令示意图；

图 21为本发明实施例十提供的的立体全景视频会议设备结构图。 具体实施方式

下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行 清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而 不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

如图 1 所示， 本具体实施方式提出了基于深度摄像机构成的多会场、 二 维 （2D) /三维 （3D ) /多层 （Mul it-Layer) 、 以及多视点的视频会议系统。

其中会场 A包括： 深度摄像机 （101A, 102A) ， 视频会议服务器 103A, 和终端显示设备 （104A， 105A) 。 深度摄像机 （101A, 102A) 通过视频会议 服务器 103A与终端显示设备 （104A， 105A) 相连接， 终端显示设备 （104A, 105A) 可以是 2D显示器、 3D显示器或多层显示器 （Mul it-Layer) 。

会场 B包括： 深度摄像机（111B, 112B) ， 服务器 113B, 深度摄像机（1 11B， 112B) 与服务器 113B相连接。

会场 C包括： 深度摄像机（121C, 122C) ， 服务器 123C, 深度摄像机（1 21C， 122C) 与服务器 123C相连接。

会场 D包括： 深度摄像机 （131D，132D) ， 服务器 133D, 深度摄像机 （1 31D, 132D) 与服务器 133D相连接。

服务器 103A通过网络 142和传输设备 141分别与服务器 （113B, 123C, 133D) 相连接。 网络 142可以是电缆、 互联网或卫星网。

实施例一

如图 2所示， 本发明实施例的立体全景视频流生成方法包括以下歩骤： S201 : 获取至少两个待拼接视频图像的深度信息；

S202： 根据每个待拼接视频图像的深度信息从对应的待拼接视频图像中 获取多个深度层次的图像数据；

S203： 根据获取的多个深度层次的图像数据进行视频图像数据间的拼接， 生成立体全景视频流。 如图 1 所示， 由深度摄像机 （111B, 112B) 从两个视角同歩获取会场 B 的视频流和每帧图像的深度信息； 根据图像的深度信息获得不同深度层次的 深度图像， 对于深度层次变化很小的区域， 一般只作一次图像拼接； 而对于 运动变化的人和物， 需要实时进行逐帧图像拼接。

深度层次变化小的区域一般是指： 会议场景中固定的家具、 位置固定的 视讯通讯设备 （如： 摄像机、 大屏幕显示设备、 打印机等） ， 这些区域基本 是不变化的， 深度层次也基本不变化或者变化很小， 这样就可以通过诸如深 度摄像机的方式把这些深度层次变化小的区域预先提取出来， 单独进行 2个 摄像机视频的无缝拼接。

深度层次变化大的区域一般是指， 运动的人或物 （如椅子） 。 与会的人 一般会做些动作， 同时椅子也会动。 如果人 （不伸手） 相对摄像机前后运动 较大， 将导致人物在时间轴中所体现的深度层次变化较大， 但在同一时刻不 同摄像机所拍摄图像中的人还是在同一深度层次， 这个很容易进行无缝图像 拼接， 利用传统的图像拼接技术就可以实现。 如果人 （伸手） 相对摄像机前 后运动较大， 在同一时刻不同摄像机所拍摄图像中的人则不在同一深度层次， 产生了不同层次的深度 /视差， 在进行图像拼接时， 需根据每个视频图像的深 度信息从对应的视频图像中获取人物图像数据和非人物图像数据。 对非人物 图像数据进行拼接， 生成非人物拼接图像数据； 对人物图像数据进行拼接， 生成人物拼接图像数据； 将所述的人物拼接图像数据与所述的非人物拼接图 像数据进行粘贴， 生成立体全景视频流。 对人物图像数据进行拼接时， 可以 检测每个视频流当前帧中每个人物图像数据相对上一帧对应人物图像数据的 图像变化区域， 确定所述的变化区域大于设定的阈值后， 则仅对变化区域的 人物图像数据进行拼接。

或者根据每个视频图像的深度信息从对应的视频图像中获取背景视频图 像数据和前景图像数据。 对获取的背景图像数据进行拼接， 生成背景全景图 像数据； 对获取的前景图像数据进行拼接， 生成前景拼接图像数据； 将所述 的前景拼接图像数据粘贴到所述的背景全景图像数据， 生成立体全景视频流。 对前景视频图像数据进行拼接时， 可以检测每个视频流当前帧的前景图像数 据相对上一帧前景图像数据的视频图像变化区域， 确定所述的变化区域大于 设定的阈值后， 则仅对变化区域的前景图像数据进行拼接。

如图 3所示， 根据图像的深度信息从视频图像 （301， 302 ) 中获取人物 图像数据 （306， 307 ) 和非人物图像数据 （303， 304 ) ； 对非人物图像数据 ( 303， 304 ) 进行拼接， 生成非人物拼接图像数据 305 ; 对人物图像数据 （30 6， 307 )进行拼接， 生成人物拼接图像数据 308 ; 将所述的人物拼接图像数据 308与所述的非人物拼接图像数据 305进行粘贴，生成合成视频图像 309并编 码输出。

通过本发明实施例提供的技术方案， 实现了快速、 实时的视频图像拼接， 降低了视频图像拼接的复杂度， 提高了视频图像拼接的效率。 可以向用户提 供全景的、 高分辨率的、 无缝的、 三维立体的会议体验。 能够获得比传统网 真更高级的、 真实的感受。 解决了在多视点视频拼接时， 出现的由于视差带 来的重影问题， 特别是对于近景视差较为明显的场景。 实施例二

如图 4所示为本发明实施例二提供的一种立体全景视频流生成方法流程 图。 该方法包括以下歩骤：

S401 : 获取至少两个待拼接视频图像的深度信息。

S402： 根据每个待拼接视频图像的深度信息从对应的待拼接视频图像中 获取多个深度层次的图像数据。

歩骤 S401和歩骤 S402和实施例一中歩骤 S201及歩骤 S202相类似， 在 此就不再进行赘述了。

S403 : 获取至少两个校正视频图像， 所述至少两个校正视频图像中两两 S404: 从所述重叠区域选择所述两两相邻的校正视频图像的配对特征点。 在实施歩骤 S404的过程中， 可以采用多种方法获取两两相邻的视频图像 的配对特征点， 如： Harris特征点检测方法、 SUSAN ( Smal lest Univalue S egment Assimi lating Nucleus )特征点检测方法、 基于小波的特征点检测方 法、 SIFT ( Scale-invariant feature transform, 尺度不变特征变换）特征 点检测方法等， 对此， 本发明的实施例对此不作任何限制。

S405 : 根据所述配对特征点生成所述两两相邻的校正视频图像的颜色校 正矩阵。

S406: 通过所述颜色校正矩阵对所述待拼接视频图像进行校正。

需要指出的是， 该颜色校正矩阵只需要生成一次， 以后如果需要对不同 的待拼接视频图像进行颜色校正， 歩骤 S403-S405可以不必重复进行， 而直 接执行歩骤 S406即可。

因此， 作为本发明的一个实施例， 歩骤 S403-S405可以在歩骤 S401前面 予以执行， 以得到颜色校正矩阵为目的。

S407: 根据获取的多个深度层次的图像数据对校正后的待拼接视频图像 进行拼接， 生成立体全景视频流。

本发明实施例不但可以向用户提供全景的、 高分辨率的、 无缝的、 三维 立体的会议体验， 而且由于本发明实施例对视频图像进行颜色校正， 还可以 向用户提供具有较好亮色度的全景视频流。

现有技术中的直方图校正虽然也可以校正上述亮色度的偏差， 但是， 由 于采用直方图对视频图像的亮色度进行校正时要求视频图像之间具有较大的 相似性， 因此在多视点拍摄图像的场景中， 当视频图像之间的重叠区域较小 或者视频图像之间没有重叠区域时， 由于视频图像存在较大差异， 容易导致 校正结果较差， 或者校正失败； 并且由于采用直方图进行校正时需要对每一 个图像进行实时统计校正， 校正时间较长。

而由于本发明实施例仅在计算颜色校正矩阵时需要两两图像之间具有重 叠区域， 在校正过程中无论视频图像之间是否有重叠区域， 均可以通过该颜 色校正矩阵进行颜色校正， 并且颜色校正矩阵只需要生成一次， 可以节省对 视频图像进行颜色校正的时间。 实施例三

本发明实施例是对全景视频流生成过程中颜色校正的另一种实施方式的 说明。 该实施例示出了对两台摄像机所拍摄的视频图像进行校正的过程， 其 中在初始计算颜色校正矩阵时两台摄像机拍摄的两个视频图像需要有重叠区 域， 后续通过颜色校正矩阵对不相邻的两个视频图像进行校正时， 两台摄像 机所拍摄的图像可以没有重叠区域， 但是， 所拍摄的相邻的两个视频图像之 间需要具有重叠区域。

如图 5所示为本发明实施例三提供的一种颜色校正方法流程图。 该方法 包括以下歩骤：

S501 : 接收两台摄像机拍摄的具有重叠区域的视频图像。

假设两台摄像机分别为源摄像机和目标摄像机， 其中源摄像机拍摄的是 源视频图像， 目标摄像机拍摄的是目标视频图像， 需要将源视频图像的颜色 校正为与目标图像的颜色一致。

初始可以调整两台摄像机的位置， 使得所拍摄的源视频图像和目标视频 图像具有重叠区域。 与现有采用直方图校正需要有大范围重叠区域相比， 对 该重叠区域的大小范围不做限制， 只要保证具有重叠区域即可。

S502: 对所拍摄的两个视频图像进行图像预处理。

对视频图像的预处理包括通常采用的平滑降噪处理和畸变校正处理， 该 歩骤为可选歩骤。

S503: 对预处理后的两个视频图像进行颜色空间转换。

可以对摄像机所拍摄的视频图像进行颜色空间转换， 转换前后的视频图 像的格式可以为 RGB (Red Green Blue, 红绿蓝三原色） ， 或 HSV、 或 YUV、 或 HS 或 CIE-Lab、 或 CIE_Luv、 或 CMY、 或 CMYK、 或 XYZ中的任意一种格 式。

S504: 从两个视频图像的重叠区域选择配对特征点。

对于本领域技术人员可以理解， 从两个视频图像获取特征点的方式具有 多禾中， 譬如： Harris特征点检测方法、 SUSAN ( Smal lest Univalue Segment Assimi lating Nucleus )特征点检测方法、 基于小波的特征点检测方法、 SIF T ( Scale-invariant feature transform, 尺度不变特征变换) 特征点检测 方法等， 为了达到更好的效果， 本发明的实施例采用的是对旋转、 尺度縮放、 亮度变化保持不变性， 且对视角变化、 仿射变换、 噪声也保持一定程度稳定 性的 SIFT ( Scale-invariant feature transform,尺度不变特征变换）算法， 正如本领域技术人员能够理解的那样， 还可以采用上述的以及其他的特征提 取算法获得两个视频图像的重叠区域的配对特征点， 对此， 本发明的实施例 不作任何限制。

在选择重叠区域的配对特征点时， 可以采用如下四种方式：

方式一：对重叠区域进行 SIFT特征点检测，对检测到的特征点进行匹配， 得到相邻两个视频图像的多组配对特征点。

其中， SIFT特征点检测方式是现有图像处理中最常用的方式， 采用 SIFT 特征点检测可以满足仿射和亮色度不变。 需要指出的是， 除了 SIFT特征点检 测， 现有技术中还存在多种特征点检测方式， 例如 Harris检测方式、 Susan 角检测方式、 及其改进算法等， 只要能够从重叠区域检测出特征点即可。

对于检测出的特征点， 可以利用 RANSAC (RANdom SAmple Consensus , 随 机采样一致性）方法去除不匹配的特征点， 从而获得稳定可靠的配对特征点。 在去除不匹配的特征点时， 可以采用现有技术 （譬如： 基于概率统计的方法 等） ， 对此本发明实施例不做限制。

方式二：对重叠区域进行 SIFT特征点检测，对检测到的特征点进行匹配， 得到相邻两个视频图像的多组配对特征点， 以配对特征点为中心划分范围相 同的区域， 将划分的区域的颜色特征的平均值赋值给配对特征点。 其中， 检测特征点和去除不匹配的特征点与方式一中的描述一致， 在此 不再赘述。

对于每一组配对特征点， 可以分别以特征点为中心划分面积相同的区域 作为两个视频图像的配对区域， 将该区域各个颜色通道的平均值作为特征点 的颜色值， 例如对于 HSL (H-Hue表示色度， S_Saturation表示饱和度， L_L ightness表示亮度）格式的视频图像， 每个配对点都有对应的 H值、 S值和 L 值， 而对应的配对区域是由若干点组成的区域， 将该区域内所有点的 H值、 S 值和 L值分别取平均值， 假设平均值为 H' 、 S ' 和 L' ， 则将 H' 、 S ' 和 L' 赋值给该特征点。

方式三： 对所述重叠区域进行分割， 所述分割后的两个视频图像的对应 区域作为配对特征点， 将所述对应的区域的颜色特征的平均值赋值给所述配 对特征点。

对重叠区域进行分割时， 两个视频图像可以分割出若干组配对区域， 每 一组配对区域的范围可以不同， 每个区域内都分别包含若干特征点， 将每个 区域颜色通道取平均值作为特征点的值， 取平均值的过程与方式二中的示例 类似， 在此不再赘述。 通过对配对区域分别计算颜色通道的平均值后， 得到 若干配对特征点。

方式四： 接收通过手动从所述重叠区域中选取的区域块， 所述选取的两 个视频图像的对应区域块作为配对特征点， 将所述对应的区域块的颜色特征 的平均值赋值给所述配对特征点。

方式四与方式三的不同在于， 方式三在对重叠区域进行分割时， 可以按 照预先设置由图像校正装置自动完成， 而方式四通过手动方式从重叠区域选 取若干配对区域， 然后将选取的结果输入到图像校正装置中， 进行后续处理。

S505: 根据配对特征点建立两个视频图像的颜色空间矩阵。

假设两个视频图像转换颜色空间后为 HSL格式， 且选择了 m (ra为大于 1 的自然数） 个配对点， 则 m个配对点对应的源视频图像和目标视频图像的颜

其中， Mat— dst为目标视频图像的颜色空间矩阵， Mat— src为源视频图像 的颜色空间矩阵， 以 Mat— dst 中的第一行为例说明矩阵的含义， 该第一行表 示了 m个点中的第一个点， 其中 hl l为该第一个点的饱和度值， sl2为该第一 个点的色度值， 113为该第一个点的亮度， 因此 Mat— dst为 m个配对点中目标 视频图像的 m个目标像素点的^ S、 L值的矩阵。

S506: 建立两个颜色空间矩阵的变换关系， 并根据变换关系求出颜色校 正矩阵。

假设待求的颜色校正矩阵为 Mat— ColorRectify, 建立颜色校正的变换关 系式如下：

Mat_dst = Mat_ColorRectify * Mat_src + error

其中， error表示颜色空间矩阵之间的误差， 基于上述变换关系式求解 e rror, 求角早 error的公式如下：

^ (Mat _ dst - Mat _ Color Re ctify * Mat _ src) ²

!•=1

当上述公式中的 error值最小时的 Mat— ColorRectify, 即为所求解的颜 色校正矩阵。

S507: 保存颜色校正矩阵。

S508: 用颜色校正矩阵对接收到的待拼接视频图像进行颜色校正。

后续无论源摄像机和目标摄像机的位置如何变换， 所拍摄的视频图像是 否有交集， 都可应用求解出的颜色校正矩阵进行颜色校正， 过程如下：

当源摄像机输入待校正的视频图像后， 生成待校正的视频图像的颜色空 间矩阵， 假设待校正的视频图像经过颜色空间转换为 HSL格式的视频图像， 该视频图像由 Y个像素点组成， 则生成颜色空间矩阵为一个（ΥΧ 3 ) 的矩阵， 矩阵的每一行表示一个像素点的 Η值、 S值、 L值。

将颜色校正矩阵 Mat— ColorRectify与待校正的视频图像的颜色空间矩阵 相乘， 将所述相乘的结果作为校正后的视频图像的颜色空间矩阵， 根据所述 校正后的视频图像的颜色空间矩阵生成所述校正后的视频图像。

上述本发明实施例对视频图像进行颜色校正， 由于仅在计算颜色校正矩 阵时需要两两图像之间具有重叠区域， 在校正过程中无论视频图像之间是否 有重叠区域， 均可以通过该颜色校正矩阵进行颜色校正， 并且颜色校正矩阵 只需要生成一次， 节省了对视频图像进行颜色校正的时间。 实施例四

本发明实施例是对全景视频流生成过程中颜色校正的再一种实施方式的 说明。 该实施例示出了对 N台摄像机所拍摄的视频图像进行校正的过程， 其 中在初始计算颜色校正矩阵时， N台摄像机中两两相邻的摄像机所拍摄的视频 图像需要有重叠区域， 共输入 N-1组两两相邻的视频图像， 相应生成 N-1个 颜色校正矩阵， 通过 N-1个颜色校正矩阵对视频图像进行校正时， N台摄像机 所拍摄的图像可以没有共同的重叠区域。

如图 6所示为本发明实施例四提供的一种颜色校正方法流程图。 该方法 包括以下歩骤：

S601 : 接收 N台摄像机拍摄的 N个视频图像， N个视频图像中两两相邻的 视频图像具有重叠区域。

N台摄像机中两两相邻的摄像机为一组，例如摄像机 1和摄像机 2为一组， 摄像机 2和摄像机 3为一组， 以此类推摄像机 N-1和摄像机 N为一组。 每一 组中的两台摄像机分别为源摄像机和目标摄像机， 其中源摄像机拍摄的是源 视频图像， 目标摄像机拍摄的是目标视频图像。

初始可以调整 N 台摄像机的位置， 使得每一组的两两摄像机所拍摄的源 视频图像和目标视频图像具有重叠区域。 与现有采用直方图校正相比， 对该 重叠区域的大小范围不做限制。

S602 : 预处理 N个视频图像。

对视频图像的预处理包括通常采用的平滑降噪处理和畸变校正处理， 该 歩骤为可选歩骤， 其处理过程为现有技术， 在此不再赘述。

S603 : 对预处理后的 N个视频图像进行颜色空间转换。

假设摄像机所拍摄的视频图像为 RGB格式的图像， 可以将 RGB格式的图 像进行颜色空间转换， 转换后的图像可以为 HSV、 或 YUV、 或 HSL、 或 CIE-La b、 或 CIE-Luv、 或 CMY、 或 CMYK、 或 XYZ中的任意一种格式。

S604: 顺序选择 N-1组两两相邻的视频图像的配对特征点。

在实施歩骤 304的过程中， 获取 N-1组两两相邻的视频图像的匹配特征 点的过程， 类似于上一实施例的歩骤 204， 在此不再赘述。

S605 : 根据配对特征点建立两两相邻的视频图像的颜色空间矩阵。

类似于上一实施例的 S505 , 在此不再赘述。

S606 : 建立两个颜色空间矩阵的变换关系， 并根据变换关系求出颜色校 正矩阵。

S607: 保存当前的颜色校正矩阵。

上述歩骤 S604至歩骤 S607为处理 N-1组两两相邻的视频图像中的一组 视频图像的过程， 该过程与前述第二实施例中的歩骤 S504至歩骤 S507的描 述一致， 在此不再赘述。

S608: 判断是否处理完 N-1组视频图像， 若是， 则执行歩骤 S609; 否则， 返回歩骤 S604。

S609: 接收由第 K台摄像机发送的待校正的视频图像。

根据前述歩骤， 已经求出了 N-1个颜色校正矩阵， 其中假设第 1组视频 图像对应第 1个颜色校正矩阵 Mat— 1，第 2组视频图像对应第 2个颜色校正矩 阵 Mat— 2， 以此类推第 N-1组视频图像对应第 N-1个颜色校正矩阵 Mat— N_ l。 S610: 将保存的前 K-l个颜色校正矩阵进行矩阵变换得到第 Κ个视频图 像的颜色校正矩阵。

顺序将第一个颜色校正矩阵至第 K-1个颜色校正矩阵相乘得到第 Κ个摄 像机输入的视频图像的颜色校正矩阵 Mat— (k)， 变换公式如下所示： Mat— (k) = Mat— 1 X Mat— 2'" X Mat— (k_l)。

S611 : 用第 K个视频图像的颜色校正矩阵对第 K台摄像机拍摄的视频图 像进行颜色校正。

将上述颜色校正矩阵 Mat— (k)与待校正的视频的颜色空间矩阵相乘，将相 乘的结果作为校正后的视频图像的颜色空间矩阵， 根据校正后的视频图像的 颜色空间矩阵生成校正后的视频图像。

上述本发明实施例对视频图像进行颜色校正， 由于仅在计算颜色校正矩 阵时需要两两图像之间具有重叠区域， 在校正过程中无论视频图像之间是否 有重叠区域， 均可以通过该颜色校正矩阵进行颜色校正， 并且颜色校正矩阵 只需要生成一次， 节省了对视频图像进行颜色校正的时间。 实施例五

如图 7A所示为本发明实施例五提供的立体全景视频流生成设备结构图， 该设备包括： 深度信息获取装置 701 用于获取至少两个待拼接视频图像的深 度信息； 分层图像获取装置 702用于根据每个待拼接视频图像的深度信息从 对应的待拼接视频图像中获取多个深度层次的图像数据； 立体全景视频流生 成装置 703用于根据获取的多个深度层次的图像数据进行视频图像数据间的 拼接， 生成立体全景视频流。

如图 1 所示， 由深度摄像机 （111B, 112B) 从两个视角同歩获取会场 B 的视频流和每帧图像的深度信息； 根据图像的深度信息获得不同深度层次的 深度图像， 对于深度层次变化很小的区域， 一般只作一次图像拼接； 而对于 运动变化的人和物， 需要实时进行逐帧图像拼接。 分层图像获取装置 702根据每个视频图像的深度信息从对应的视频图像 中获取人物图像数据， 根据每个视频图像的深度信息从对应的视频图像中获 取非人物图像数据。 如图 7B所示， 立体全景视频流生成装置 703包括： 图像 拼接单元 7031和图像检测单元 7032 ; 图像拼接单元 7031对非人物图像数据 进行拼接， 生成非人物拼接图像数据， 并对人物图像数据进行拼接， 生成人 物拼接图像数据； 然后将人物拼接图像数据与非人物拼接图像数据进行粘贴， 生成立体全景视频流。 图像检测单元 7032检测每个视频流当前帧中每个人物 图像数据相对上一帧对应人物图像数据的图像变化区域， 确定变化区域小于 设定的阈值后， 图像拼接单元 7031仅对变化区域的人物图像数据进行拼接。

分层图像获取装置 702根据每个视频图像的深度信息从对应的视频图像 中获取前景图像数据， 并根据每个视频图像的深度信息从对应的视频图像中 获取背景图像数据。 立体全景视频流生成装置 703包括： 图像拼接单元 7031 和图像检测单元 7032 ; 图像拼接单元 7031对获取的背景图像数据进行拼接， 生成背景全景图像数据， 并对获取的前景图像数据进行拼接， 生成前景拼接 图像数据； 然后将所述的前景拼接图像数据粘贴到所述的背景全景图像数据， 生成立体全景视频流。 图像检测单元 7032检测每个视频流当前帧的前景图像 数据相对上一帧前景图像数据的视频图像变化区域， 确定所述的变化区域小 于设定的阈值后，图像拼接单元 7031仅对变化区域的前景图像数据进行拼接。

通过本发明实施例提供的技术方案， 实现了快速、 实时的视频图像拼接， 降低了视频图像拼接的复杂度， 提高了视频图像拼接的效率。 可以向用户提 供全景的、 高分辨率的、 无缝的、 三维立体的会议体验。 能够获得比传统网 真更高级的、 真实的感受。 解决了在多视点视频拼接时， 出现的由于视差带 来的重影问题， 特别是对于近景视差较为明显的场景。 实施例六

如图 8A所示为本发明实施例六提供的立体全景视频流生成设备结构图， 该设备包括： 深度信息获取装置 801、 分层图像获取装置 802、 视频图像校正 装置 803和立体全景视频流生成装置 804，其中深度信息获取装置 801和分层 图像获取装置 802与实施例五中相类似， 在此不再赘述。

视频图像校正装置 803包括： 获取单元 8031、 选择单元 8032、 生成单元 8033和校正单元 8034 (如图 8B所示) 。

其中， 获取单元 8031用于获取至少两个校正视频图像， 所述至少两个校 正视频图像中两两相邻的校正视频图像具有重叠区域， 所述获取单元 510具 体可以采用如下方式： 摄像机、 摄像头等其他的摄像设备实现； 选择单元 80 32用于从所述重叠区域选择所述两两相邻的校正视频图像的配对特征点， 选 择单元 8032可以采用如下方式实现： 集成了图像特征点提取与匹配的处理器 专用芯片或采用通用的处理器芯片， 结合图像特征提取以及匹配的算法来实 现； 生成单元 8033用于根据所述配对特征点生成所述两两相邻的校正视频图 像的颜色校正矩阵， 所述生成单元 8033可以采用： 集成矩阵处理功能的 CPL D ( Complex Programmable Logic Device , 复杂可编程逻辑器件） 完成， 或 利用 FPGA (Field Programmable Gate Array, 现场可编程门阵列） 来实现； 校正单元 8034用于通过所述颜色校正矩阵对接收到的待拼接视频图像进行校 正。

本发明中视频图像校正装置的第二实施例框图如图 9A所示，该装置包括： 获取单元 910、 预处理单元 920、 转换单元 930、 选择单元 940、 生成单元 95 0和校正单元 960。

其中， 获取单元 910用于获取至少两个校正视频图像， 所述至少两个校 正视频图像中两两相邻的视频图像具有重叠区域， 所述获取单元 910具体可 以采用如下方式： 摄像机、 摄像头等其他的摄像设备实现； 预处理单元 920 用于当所述获取单元获取到至少两个校正视频图像后， 对所述至少两个校正 视频图像进行预处理， 所述预处理包括平滑降噪处理， 和 /或畸变校正处理， 其中， 预处理单元 920为可选单元； 转换单元 930用于对所述至少两个校正 视频图像进行颜色空间转换， 所述转换前后的校正视频图像的格式包括 RGB、 或 HSV、 或 YUV、 或 HSL、 或 CIE-Lab、 或 CIE_Luv、 或 CMY、 或 CMYK、 或 XYZ; 选择单元 940用于从所述重叠区域选择所述两两相邻的校正视频图像的配对 特征点； 生成单元 950用于根据所述配对特征点生成所述两两相邻的校正视 频图像的颜色校正矩阵； 校正单元 960用于通过所述颜色校正矩阵对接收到 的待拼接视频图像进行校正。

具体的， 如图 9B所示， 所述选择单元 940至少包括下述一个单元： 第一 选择单元 941， 用于对所述重叠区域进行 SIFT特征点检测， 对所述检测到的 特征点进行匹配， 得到相邻两个校正视频图像的多组配对特征点； 第二选择 单元 942， 用于对所述重叠区域进行 SIFT特征点检测， 对所述检测到的特征 点进行匹配， 得到相邻两个校正视频图像的多组配对特征点， 以所述配对特 征点为中心划分范围相同的区域， 将所述划分的区域的颜色特征的平均值赋 值给所述配对特征点； 第三选择单元 943， 用于对所述重叠区域进行分割， 所 述分割后的两个校正视频图像的对应区域作为配对特征点， 将所述对应的区 域的颜色特征的平均值赋值给所述配对特征点； 第四选择单元 944， 用于接收 通过手动从所述重叠区域中选取的区域块， 所述选取的两个校正视频图像的 对应区域块作为配对特征点， 将所述对应的区域块的颜色特征的平均值赋值 给所述配对特征点。 需要说明的是， 为了示例清楚， 图 9B中的选择单元 940 包含了上述所有四个单元， 但是在实际应用过程中， 选择单元 940可以根据 需要包含其中至少一个单元即可。

具体的， 如图 9C所示， 假设所述两两相邻的校正视频图像中一个作为源 视频图像， 另一个作为目标视频图像， 所述生成单元 950可以包括： 颜色矩 阵建立单元 951，用于分别建立所述源视频图像和目标视频图像的颜色空间矩 阵， 所述颜色空间矩阵的每一行表示所述配对特征点中一个特征点的颜色空 间属性； 变换关系建立单元 952， 用于建立所述源视频图像的颜色空间矩阵和 目标视频图像的颜色空间矩阵变换关系， 所述变换关系为： 所述源视频图像 的颜色空间矩阵与所述颜色校正矩阵的乘积加上误差量等于所述目标视频图 像的颜色空间矩阵； 求解校正矩阵单元 953， 用于根据所述变换关系求出当所 述误差量最小时的颜色校正矩阵。

具体的， 如图 9D所示， 当所述获取单元 910获取两个校正视频图像时， 所述校正单元 960可以包括： 视频图像接收单元 961， 用于接收输入所述源视 频图像的输入装置传输的待校正的视频图像， 比如待拼接视频图像； 颜色矩 阵生成单元 962， 用于生成所述待校正的视频图像的颜色空间矩阵； 颜色矩阵 变换单元 963，用于将所述颜色校正矩阵与所述待校正的视频图像的颜色空间 矩阵相乘， 将所述相乘的结果作为校正后的视频图像的颜色空间矩阵； 校正 结果生成单元 964，用于根据所述校正后的视频图像的颜色空间矩阵生成所述 校正后的视频图像。

具体的， 如图 9E所示， 当所述获取单元 910获取到 N个两两相邻的校正 视频图像时， 所述 N为大于 2的自然数， 所述 N个视频图像包括 N-1组两两 相邻的校正视频图像， 每组校正视频图像对应一个颜色校正矩阵； 所述校正 单元 660可以包括： 视频图像接收单元 96Γ ， 用于接收输入装置传输的待校 正的视频图像， 所述待校正的视频图像为所述 N个视频图像中的第 K个视频 图像； 第一颜色矩阵生成单元 962 ' ， 用于生成所述待校正的视频图像的颜色 空间矩阵； 校正矩阵生成单元 963 ' ， 用于顺序将第一个颜色校正矩阵至第 K -1个颜色校正矩阵相乘得到所述待校正的视频图像的颜色校正矩阵； 第二颜 色矩阵生成单元 964' ， 用于将所述颜色校正矩阵与所述待校正的视频的颜色 空间矩阵相乘， 将所述相乘的结果作为校正后的视频图像的颜色空间矩阵； 校正结果生成单元 965，用于根据所述校正后的视频图像的颜色空间矩阵生成 所述校正后的视频图像。

下面以对五台摄像机传输的五个两两相邻的视频图像为例说明本发明实 施例中颜色校正的过程， 假设这五个视频图像分别用 Fl、 F2、 F3、 F4、 F5表 示， 其中每两个相邻的视频图像为一组， 共分为四组， 即 F1和 F2—组， 表 示为 Zl， F2和 F3—组， 表示为 Z2， F3和 F4—组， 表示为 Z3， F4和 F5— 组， 表示为 Z4。

按照前述方法第三实施例中歩骤 S504至歩骤 S507, 分别求解 Zl、 Z2、 Z 3和 Z4的颜色校正矩阵， 表示为 Mat— 1、 Mat— 2、 Mat— 3、 Mat— 4。

根据将第一个颜色校正矩阵至第 K-1 个颜色校正矩阵相乘能够得到第 K 个摄像机输入的视频图像的颜色校正矩阵可知， 第二台摄像机所拍摄图像对 应的颜色校正矩阵 Mat— 2' = Mat— 1; 第三台摄像机所拍摄图像对应的颜色校 正矩阵 Mat— 3' = Mat— lXMat— 2; 第四台摄像机所拍摄图像对应的颜色校正矩 阵 Mat— 4' = Mat— IX Mat— 2 X Mat— 3; 第 5台摄像机所拍摄图像对应的颜色校 正矩阵 Mat— 5' = Mat— 1 X Mat— 2 X Mat— 3 X Mat— 4。

这样， 对第二台摄像机拍摄图像进行校正时， 只要用颜色校正矩阵 Mat— 2'与所拍摄图像的颜色空间矩阵相乘；对第三台摄像机拍摄图像进行校正时， 用颜色校正矩阵 Mat— 3' 与所拍摄图像的颜色空间矩阵相乘； 对第四台摄像机 拍摄图像进行校正时， 用颜色校正矩阵 Mat— 4' 与所拍摄图像的颜色空间矩阵 相乘； 对第五台摄像机拍摄图像进行校正时， 用颜色校正矩阵 Mat— 5' 与所拍 摄图像的颜色空间矩阵相乘。 实施例七

如图 10所示为本发明实施例七提供的的立体全景视频会议方法流程图， 该方法包括：

S1001: 至少从两个视角同歩获取同一会场的视频流；

S1002: 根据每个视频流的深度信息从对应的视频流中获取多个深度层次 的图像数据；

S1003: 对获取的不同视角的视频流进行基于深度信息的拼接， 生成立体 全景视频流；

S1004: 根据终端显示器的类别， 将所述立体全景视频流的视频图像显示 在终端显示器上。

如图 11所示为本发明实施例七提供的视频拼接流程图， 其包括： 歩骤 s

1101： 对初始帧进行视频拼接从而计算得到完整的拼接图， 拼接初始帧第一 图和第二图； 歩骤 S1102: 对后续的视频序列首先检测当前帧第一图与前一帧 的变化区域； 歩骤 S1103 : 如果变化区域较小； 歩骤 S1105: 则仅对变化的区 域进行视频拼接计算得到局部拼接图； 歩骤 S1106: 并利用该局部区域更新前 一帧或初始帧之间的对应变化区域， 生成当前帧的拼接图； 歩骤 S1104: 若变 化区域过大， 则完整计算当前帧的拼接； 歩骤 S1107、 读取下一帧图像； 歩骤 S1108: 判断是否为最后一帧？ 如果是则结束， 如果否则转到歩骤 S1102。 由 于图像序列之间一般具有较强的相关性， 变化的区域仅为场景内容的一部分， 所以采用该算法可以显著降低视频拼接的算法复杂度， 如此， 在进行视频拼 接时可以采用较复杂的算法， 在满足视频拼接实时的同时获得较准确的全景 拼接视频。

上述方案中， 采用的是当前帧参考前一帧计算变化区域， 对于场景相对 固定的会议等其它场景， 也可以采用当前帧相对初始帧检测变化区域。

利用如图 1所示的摄像机即可获得如图 12所示的第一、 第二图像序列， 视频序列即对第一图像序列和第二图像序列中对应的图像对进行拼接， 获得 每一图像对的拼接图， 对拼接图进行立体编码并输出。 对终端显示类别进行 判断， 如果终端显示设备是二维显示器， 则显示合成视频图像的二维图像信 息； 如果终端显示设备是三维立体显示器， 则显示合成视频图像的三维立体 图像信息； 如果终端显示设备是多层显示器， 则显示合成视频图像的多个深 度层次的图像信息。

本发明实施例的有益效果在于， 可以向用户提供全景的、 高分辨率的、 无缝的、 三维立体的会议体验。 解决了在多视点视频拼接时， 出现的由于视 差带来的重影问题， 特别是对于近景视差较为明显的场景。 提供了一种针对 不同显示设备的多显示方式。 可以利用多层显示器， 实现前后景的分别显示， 也能够有较好的立体感受。 同样， 可以利用立体显示器和平面显示器， 实现 更精确、 更好的立体感受。 实施例八

如图 13所示为本发明实施例八提供的立体全景视频会议方法流程图， 该 方法包括：

S 1301 : 至少从两个视角同歩获取同一会场的视频流。

S 1302 : 根据每个视频流的深度信息从对应的视频流中获取多个深度层次 的图像数据。

歩骤 S1301— S1302和实施例七中相类似， 在此就不再进行赘述了。

S 1303 : 获取至少两个校正视频图像， 所述至少两个校正视频图像中两两 相邻的校正视频图像具有重叠区域。

S 1304: 从所述重叠区域选择所述两两相邻的校正视频图像的配对特征 点。

S 1305 : 根据所述配对特征点生成所述两两相邻的校正视频图像的颜色校 正矩阵。

S 1306: 通过所述颜色校正矩阵对所述视频流进行校正。

歩骤 S1303-S1306是对获取的视频流进行颜色校正。

需要指出的是， 该颜色校正矩阵只需要生成一次， 以后如果需要对不同 的待拼接视频图像进行颜色校正， 歩骤 S1303-S1305可以不必重复进行， 而 直接执行歩骤 S1306即可。

因此， 作为本发明的一个实施例， 歩骤 S1303—S1305可以在歩骤 S1301 前面予以执行， 以得到颜色校正矩阵为目的。

S 1307: 对获取的经过校正后的不同视角的视频流进行基于深度信息的拼 接， 生成立体全景视频流。

S 1308: 根据终端显示器的类别， 将所述立体全景视频流的视频图像显示 在终端显示器上。 实施例九

如图 14所示为本发明实施例九提供的的立体全景视频会议设备结构图， 该设备包括： 深度信息获取装置 1401用于至少从两个视角同歩获取同一会场 的视频流； 分层图像获取装置 1402用于根据每个视频流的深度信息从对应的 视频流中获取多个深度层次的图像数据； 立体全景视频流生成装置 1403用于 对获取的不同视角的视频流进行基于深度信息的拼接， 生成立体全景视频流; 视频图像显示装置 1404用于根据终端显示器的类别， 将所述立体全景视频流 的视频图像显示在终端显示器上。

如图 15A所示， 深度摄像机 （1501， 1502 , 1503 , 1504) 与立体全景视 频会议设备 1400相连接， 深度信息获取装置 1401接收从四个视角同歩获取 的同一会场的视频流； 分层图像获取装置 1402根据每个视频流的深度信息从 对应的视频流中获取多个深度层次的图像数据； 立体全景视频流生成装置 14 03对获取的不同视角的视频流进行基于视频图像深度信息的拼接， 获得拼接 立体视频序列， 对所述的拼接立体视频序列进行立体视频编码， 生成传输立 体全景视频流。 视频图像显示装置 1404用于根据终端显示器的类别， 将所述 立体全景视频流的视频图像显示在终端显示器上。

立体全景视频会议设备 1400还包括手势指令存储装置 1505用于存储手 势信息与显示控制指令的映射关系； 显示指令获取装置 1506用于根据获取的 手势信息从所述的映射关系中获取对应的显示控制指令；显示指令获取装置 1 507用于根据获取的手势信息从所述的映射关系中获取对应的显示控制指令； 显示器控制装置 1508用于根据获取的显示控制指令控制所述终端显示器的显 如图 15B所示， 视频图像显示装置 1404包括： 显示器类别确定单元 140 41和显示器 14042， 显示器 14042包括： 二维显示器或三维立体显示器或多 层显示器； 显示器类别确定单元 14041 确定所述的终端显示器是二维、 三维 或多维显示器后， 如果显示器 14042 是二维显示器， 则显示合成视频图像的 二维图像信息； 如果显示器 14042 是三维立体显示器， 则显示合成视频图像 的三维立体图像信息； 如果显示器 14042 是多层显示器， 则显示合成视频图 像的多个深度层次的图像信息。

如图 16所示， 本发明实施例的快速视频拼接方法流程如下：

S 1601 : 预先通过两台或多台摄像机拍摄会议场景背景， 拼接该无人会场 背景图， 预存该全景图和会议背景图；

S 1602 : 输入两个或多个视频流， 拼接初始帧第一图和第二图；

S 1603 : 检测当前帧第一图相对上一帧的变化区域；

S 1604: 变化区域是否过大？

S 1605 : 若变化区域过大， 则进行完整的全景图拼接； 歩骤 S1608: 再读 取下一帧； 歩骤 S1606: 若不过大， 则进行变化区域的前景图像拼接； 歩骤 S 1607： 更新上一帧对应区域的拼接图， 加入背景全景图； 歩骤 S1608: 再读取 下一帧；

歩骤 S1609: 判断是否是最后一帧？若是最后一帧， 则结束； 若不是最后 一帧转至歩骤 S 1603。

对全景拼接图进行立体编码并输出。 对终端显示类别进行判断， 如果终 端显示设备是二维显示器， 则显示合成视频图像的二维图像信息； 如果终端 显示设备是三维立体显示器， 则显示合成视频图像的三维立体图像信息； 如 果终端显示设备是多层显示器， 则显示合成视频图像的多个深度层次的图像 信息。

本发明实施例的有益效果在于， 可以向用户提供全景的、 高分辨率的、 无缝的、 三维立体的会议体验。 解决了在多视点视频拼接时， 出现的由于视 差带来的重影问题， 特别是对于近景视差较为明显的场景。 提供了一种针对 不同显示设备的多显示方式。 可以利用多层显示器， 实现前后景的分别显示， 也能够有较好的立体感受。 同样， 可以利用立体显示器和平面显示器， 实现 更精确、 更好的立体感受。 并且提供了一种更为友好的数据协作方式， 可以 实现不同会场不同人员发出的手势指令， 产生作用显示在同一个显示设备上， 实现不同会场不同人员有同一会场地点同时控制数据、 及会议系统的感受。

本实施例利用了深度摄像机， 使得视讯或网真会议系统的远程终端数据 协作、 会议控制变得更加方便快捷。 由于深度摄像机的存在， 可根据深度摄 像机识别出手、 手指、 手心。 进而识别出手所发出的指令。

手势识别所采取的歩骤如下：

歩骤 1、不同会场参与人员发出手势指令，并由深度摄像机做出指令判定； 歩骤 2、指令示意的驱动作用显示在远程终端设备上。这里所呈现的一种 应用场景就是： 如图 17所示的基于深度摄像机构成的多会场 2D/3D/Mul it-L ayer多视点视频会议系统。

如图 18所示， 把会场 B、 C、 D、 E中的数据同时显示到会场 A的显示数 据的显示器中。

会场 B可以通过手势来控制其数据内容显示方式， 同样 C、 D、 E也可以 通过手势来控制各自的数据内容显示方式。

会场 A中的人通过手势控制会场 C的数据显示内容， 看自己想看的内容。 在这里， 可以合理定义一些远程控制数据显示方式的手势， 来友好的进 行不同会场间的会议数据内容控制与显示。例如： 会场 B控制其数据在会场 A 的显示， 手势可以定义为一些常见的在本地会场应用中的手势模型；

会场 A中的人通过手势控制会场 C的数据显示内容， 看自己想看内容， 则， 手势与显示控制指令的映射关系可以定义为：

如图 19所示， 竖起一个食指表示显示第一个会场的数据， 并将控制焦点 放到第一个会场数据。 如图 20所示， 竖起食指和中指， 表示显示第二个会场 数据， 并将焦点放到第一个会场数据。

依此类推， 竖起中指、 无名指、 小拇指表示显示第三个会场数据， 并将 焦点放到第三个会场数据； 竖起除大拇指外手指， 表示显示第四个会场数据， 并将焦点放到第四个会场数据； 固定大拇指， 其他手指旋转， 表示轮流显示 第五个、 第六个……会场数据， 焦点定位到随旋转停止时定位的会场数据； 手掌伸开， 垂直手臂， 拉回胸前， 表示满屏幕显示焦点会场数据。

这样， 可以通过存储手势信息与显示控制指令的映射关系； 根据深度摄 像机对会场内人的手势进行摄像而并生成手势信息， 从手势信息与显示控制 指令的映射关系中获取对应的显示控制指令； 并根据获取的显示控制指令控 制所述终端显示设备的显示。 如果终端显示设备是 2D显示器， 则显示合成视 频图像的二维图像信息； 如果所述的终端显示设备是 3D立体显示器， 则显示 合成视频图像的三维立体图像信息； 如果所述的终端显示设备是多层显示器， 则显示多个深度层次的图像信息。

本发明实施例能够向用户提供全景的、 高分辨率的、 无缝的、 三维立体 的会议体验。 能够获得比传统网真更高级的、 真实的感受。 解决了在多视点 视频拼接时， 出现由于视差带来的重影问题， 特别是对于近景视差较为明显 的场景。 提供了一种快速、 实时的视频拼接方法。 可以降低视频拼接的复杂 度， 提高视频拼接的效率。 同时还提供了一种针对不同显示设备的多显示方 式。 我们可以利用多层显示器， 实现前后景的分别显示， 也能够有较好的立 体感受。 同样， 可以利用立体显示器， 实现更精确、 更好的立体感受。 也提 供了一种更为友好的数据协作方式。 可以实现不同会场不同人员发出的手势 指令， 产生作用显示在同一个显示设备上， 实现不同会场不同人员有同一会 场地点同时控制数据、 会议系统的感受。 实施例十

如图 21所示为本发明实施例十提供的的立体全景视频会议设备结构图， 该设备包括： 深度信息获取装置 2110、 分层图像获取装置 2120、 视频图像校 正装置 2130、 立体全景视频流生成装置 2140和视频图像显示装置 2150。 其 中深度信息获取装置 2110、 分层图像获取装置 2120和视频图像显示装置 215 0与实施例九相类似， 在此就不再进行赘述了。

视频图像校正装置 2130用于对深度信息获取装置 2110所获取的视频流 进行颜色校正， 在本实施例中， 其和分层图像获取装置 2120相连， 即在完成 了视频流深度层次的图像数据的获取后再对其进行颜色校正， 当然本实施例 也不排除先对获取的视频流进行颜色校正， 再获取其深度层次的图像数据。

在本实施例中， 视频图像校正装置 2130包括： 获取单元 2131、 选择单元 2132、 生成单元 2133和校正单元 2134， 它们之间依次相连：

获取单元 2131用于获取至少两个校正视频图像， 所述至少两个校正视频 图像中两两相邻的校正视频图像具有重叠区域；

选择单元 2132用于从所述重叠区域选择所述两两相邻的校正视频图像的 配对特征点；

生成单元 2133用于根据所述配对特征点生成所述两两相邻的校正视频图 像的颜色校正矩阵；

校正单元 2134用于通过所述颜色校正矩阵对所述视频流进行校正。

需要指出的是， 本实施例为了对视频流进行颜色校正， 需要依靠生成单 元 2133所生成的颜色校正矩阵， 在本实施例中， 该颜色校正矩阵可以是在分 层图像获取装置 2120 完成了对视频流深度层次的图像数据的获取后再生成 的， 但是， 本实施例也不排除在获取视频流前就已经生成好该颜色校正矩阵， 而在本实施例中仅需利用该预先生成好的颜色校正矩阵对视频流进行校正即 可。

在本实施例中， 立体全景视频流生成装置 2140用于对获取的经过校正后 的不同视角的视频流进行基于深度信息的拼接， 生成立体全景视频流。

本实施例不但具有实施例九所述的优点， 而且本发明实施例对视频图像 进行颜色校正， 因此可以获得亮色度较好的全景视频会议体验。 另外由于本 实施例仅在计算颜色校正矩阵时需要两两图像之间具有重叠区域， 在校正过 程中无论视频图像之间是否有重叠区域， 均可以通过该颜色校正矩阵进行颜 色校正， 并且颜色校正矩阵只需要生成一次， 节省了对视频图像进行颜色校 正的时间。

本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬 件平台的方式来实现。 基于这样的理解， 本发明的技术方案本质上或者说对 现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产 品可以存储在存储介质中， 如 R0M/RAM、 磁碟、 光盘等， 包括若干指令用以使 得一台计算机设备 （可以是个人计算机， 服务器， 或者网络设备等） 执行本 发明各个实施例或者实施例的某些部分所述的方法。

虽然通过实施例描绘了本发明， 本领域普通技术人员知道， 本发明有许 多变形和变化而不脱离本发明的精神， 希望所附的权利要求包括这些变形和 变化而不脱离本发明的精神。

+

Claims

权 利 要 求 书

1、 一种立体全景视频流生成方法， 其特征在于， 所述方法包括： 获取至少两个待拼接视频图像的深度信息；

根据每个待拼接视频图像的深度信息从对应的待拼接视频图像中获取多 个深度层次的图像数据；

根据获取的多个深度层次的图像数据进行视频图像数据间的拼接， 生成 立体全景视频流。

2、 根据权利要求 1所述的方法， 其特征在于， 所述的获取至少两个待拼 接视频图像的深度信息是指： 由至少两个深度摄像机获取视频流， 并从每个 视频流中同歩获取每帧待拼接视频图像的深度信息。

3、 根据权利要求 1所述的方法， 其特征在于， 所述的根据获取的多个深 度层次的图像数据进行视频图像数据间的拼接包括： 对相同深度层次的图像 数据进行视频图像数据间的拼接； 或

对不同深度层次的图像数据进行视频图像数据间的拼接。

4、 根据权利要求 3所述的方法， 其特征在于， 所述的对相同深度层次的 图像数据进行拼接包括： 检测每个视频流当前帧中每个深度层次的图像数据 相对上一帧对应深度层次图像数据的图像变化区域， 确定所述的变化区域大 于设定的阈值后， 则仅对所述变化区域的图像数据进行拼接。

5、 根据权利要求 1所述的方法， 其特征在于， 所述根据获取的多个深度 层次的图像数据进行视频图像数据间的拼接之后还包括对所述视频图像进行 校正， 所述对视频图像进行校正包括：

获取至少两个校正视频图像， 所述至少两个校正视频图像中两两相邻的 校正视频图像具有重叠区域；

从所述重叠区域选择所述两两相邻的校正所述视频图像的配对特征点； 根据所述配对特征点生成所述两两相邻的校正视频图像的颜色校正矩 阵；

通过所述颜色校正矩阵对所述待拼接视频图像进行校正。

6、 根据权利要求 5所述的方法， 其特征在于， 所述获取至少两个校正视 频图像后， 还包括： 对所述至少两个校正视频图像进行预处理；

所述预处理包括： 平滑降噪处理、 和 /或畸变校正处理。

7、 根据权利要求 5所述的方法， 其特征在于， 所述获取至少两个校正视 频图像后， 还包括： 对所述至少两个校正视频图像进行颜色空间转换；

所述颜色空间转换前后的所述视频图像的格式包括： RGB、 或 HSV、 或 YU V、 或 HSL、 或 CIE-Lab、 或 CIE_Luv、 或 CMY、 或 CMYK、 或 XYZ。

8、 根据权利要求 5所述的方法， 其特征在于， 所述从重叠区域选择所述 两两相邻的校正视频图像的配对特征点包括：

对所述重叠区域进行 SIFT特征点检测，对所述检测到的特征点进行匹配， 得到相邻两个校正视频图像的多组配对特征点； 或

对所述重叠区域进行 SIFT特征点检测，对所述检测到的特征点进行匹配， 得到相邻两个校正视频图像的多组配对特征点， 以所述配对特征点为中心划 分范围相同的区域， 将所述划分的区域的颜色特征的平均值赋值给所述配对 特征点； 或

对所述重叠区域进行分割， 所述分割后的两个校正视频图像的对应区域 作为配对特征点， 将所述对应的区域的颜色特征的平均值赋值给所述配对特 征点； 或

接收通过手动从所述重叠区域中选取的区域块， 所述选取的两个校正视 频图像的对应区域块作为配对特征点， 将所述对应的区域块的颜色特征的平 均值赋值给所述配对特征点。

9、 根据权利要求 5所述的方法， 其特征在于， 所述两两相邻的校正视频 图像中一个作为源视频图像， 另一个作为目标视频图像，

所述根据配对特征点生成所述两两相邻的校正视频图像的颜色校正矩阵 包括：

分别建立所述源视频图像和目标视频图像的颜色空间矩阵， 所述颜色空 间矩阵的每一行表示所述配对特征点中一个特征点的颜色空间属性；

建立所述源视频图像的颜色空间矩阵和目标视频图像的颜色空间矩阵变 换关系， 所述变换关系为： 所述源视频图像的颜色空间矩阵与所述颜色校正 矩阵的乘积加上误差量等于所述目标视频图像的颜色空间矩阵；

根据所述变换关系求出当所述误差量最小时的颜色校正矩阵。

10、 根据权利要求 5所述的方法， 其特征在于， 当获取两个校正视频图 像时，

所述通过颜色校正矩阵对所述待拼接视频图像进行校正包括：

接收输入所述源视频图像的输入装置传输的待拼接视频图像；

生成所述待拼接频图像的颜色空间矩阵；

将所述颜色校正矩阵与所述待拼接视频图像的颜色空间矩阵相乘， 将所 述相乘的结果作为校正后的待拼接视频图像的颜色空间矩阵；

根据所述校正后的待拼接视频图像的颜色空间矩阵生成所述校正后的待 拼接视频图像。

11、 根据权利要求 5所述的方法， 其特征在于， 当获取到 N个两两相邻 的校正视频图像时， 所述 N为大于 2的自然数， 所述 N个校正视频图像包括 N -1组两两相邻的校正视频图像， 每组校正视频图像对应一个颜色校正矩阵， 所述通过颜色校正矩阵对所述待拼接视频图像进行校正包括：

接收输入装置传输的待拼接视频图像， 所述待拼接视频图像为所述 N个 视频图像中的第 K个视频图像 ·'

生成所述待拼接视频图像的颜色空间矩阵；

顺序将第一个颜色校正矩阵至第 K-1 个颜色校正矩阵相乘得到所述待拼 接视频图像的颜色校正矩阵；

将所述颜色校正矩阵与所述待拼接视频图像的颜色空间矩阵相乘， 将所 述相乘的结果作为校正后的待拼接视频图像的颜色空间矩阵；

根据所述校正后的待拼接视频图像的颜色空间矩阵生成所述校正后的待 拼接视频图像。

12、 一种立体全景视频会议方法， 其特征在于， 所述的方法包括： 至少从两个视角同歩获取同一会场的视频流；

根据每个视频流的深度信息从对应的视频流中获取多个深度层次的图像 数据；

对获取的不同视角的视频流进行基于深度信息的拼接， 生成立体全景视 频流；

根据终端显示器的类别， 将所述立体全景视频流的视频图像显示在终端 显 器上 °

13、 根据权利要求 12所述的方法， 其特征在于， 所述根据每个视频流的 深度信息从对应的视频流中获取多个深度层次的图像数据之后还包括：

获取至少两个校正视频图像， 所述至少两个校正视频图像中两两相邻的 校正视频图像具有重叠区域；

从所述重叠区域选择所述两两相邻的校正视频图像的配对特征点； 根据所述配对特征点生成所述两两相邻的校正视频图像的颜色校正矩 阵；

通过所述颜色校正矩阵对所述视频流进行校正；

所述对获取的不同视角的视频流进行基于深度信息的拼接包括： 对获取的经过校正后的不同视角的视频流进行基于深度信息的拼接。

14、 根据权利要求 12所述的方法， 其特征在于， 所述的根据终端显示设 备类别将所述传输立体视频流的视频图像显示在终端显示设备上包括： 如果 确定所述的终端显示设备是二维显示器， 则显示所述视频图像的二维图像信 息；

如果确定所述的终端显示设备是三维立体显示器， 则显示所述视频图像 的三维立体图像信息；

如果确定所述的终端显示设备是多层显示器， 则显示所述视频图像的多 个深度层次的图像信息。

15、 根据权利要求 12所述的方法， 其特征在于， 所述的方法还包括： 建立手势信息与显示控制指令的映射关系；

获取所述会场内的人的手势视频图像， 获取手势信息；

根据获取的手势信息从所述的映射关系中获取对应的显示控制指令； 根据获取的显示控制指令控制所述终端显示设备的显示。

16、 一种立体全景视频流生成设备， 其特征在于， 所述的设备包括： 深度信息获取装置， 用于获取至少两个待拼接视频图像的深度信息； 分层图像获取装置， 用于根据每个待拼接视频图像的深度信息从对应的 待拼接视频图像中获取多个深度层次的图像数据；

立体全景视频流生成装置， 用于根据获取的多个深度层次的图像数据进 行视频图像数据间的拼接， 生成立体全景视频流。

17、 根据权利要求 16所述的设备， 其特征在于， 所述的深度信息获取装 置包括： 至少两个深度摄像机； 所述的深度摄像机从摄取的视频流中同歩获 取每帧待拼接视频图像的深度信息。

18、 根据权利要求 16所述的设备， 其特征在于， 所述的立体全景视频流 生成装置包括： 图像拼接单元， 用于对相同深度层次的图像数据进行视频图 像数据间的拼接或对不同深度层次的图像数据进行视频图像数据间的拼接。

19、 根据权利要求 18所述的设备， 其特征在于， 所述的立体全景视频流 生成装置包括： 图像检测单元， 用于检测每个视频流当前帧中每个深度层次 的图像数据相对上一帧对应深度层次图像数据的图像变化区域， 确定所述的 变化区域大于设定的阈值后输出图像拼接指令；

所述的图像拼接单元根据所述的图像拼接指令对所述变化区域的图像数 据进行图像数据间的拼接。

20、 根据权利要求 16所述的设备， 其特征在于， 所述设备还包括一视频 图像校正装置， 所述视频图像校正装置包括：

获取单元， 用于获取至少两个校正视频图像， 所述至少两个校正视频图 像中两两相邻的校正视频图像具有重叠区域；

选择单元， 用于从所述重叠区域选择所述两两相邻的校正视频图像的配 对特征点；

生成单元， 用于根据所述配对特征点生成所述两两相邻的校正视频图像 的颜色校正矩阵；

校正单元， 用于通过所述颜色校正矩阵对所述待拼接视频图像进行校正; 所述立体全景视频流生成装置， 用于根据获取的多个深度层次的图像数 据对校正后的待拼接视频图像进行拼接， 生成立体全景视频流。

21、 根据权利要求 20所述的设备， 其特征在于， 所述视频图像校正装置 还包括：

预处理单元， 用于当所述获取单元获取到至少两个校正视频图像后， 对 所述至少两个校正视频图像进行预处理， 所述预处理包括平滑降噪处理， 和 / 或畸变校正处理。

22、 根据权利要求 20所述的设备， 其特征在于， 所述视频图像校正装置 还包括：

转换单元， 用于对所述至少两个校正视频图像进行颜色空间转换， 所述 转换前后的视频图像的格式包括 RGB、 或 HSV、 或 YUV、 或 HSL、 或 CIE_Lab、 或 CIE-Luv、 或 CMY、 或 CMYK、 或 XYZ。

23、 根据权利要求 20所述的设备， 其特征在于， 所述选择单元至少包括 一个下述单元：

第一选择单元， 用于对所述重叠区域进行 SIFT特征点检测， 对所述检测 到的特征点进行匹配， 得到相邻两个校正视频图像的多组配对特征点；

第二选择单元， 用于对所述重叠区域进行 SIFT特征点检测， 对所述检测 到的特征点进行匹配， 得到相邻两个校正视频图像的多组配对特征点， 以所 述配对特征点为中心划分范围相同的区域， 将所述划分的区域的颜色特征的 平均值赋值给所述配对特征点；

第三选择单元， 用于对所述重叠区域进行分割， 所述分割后的两个校正 视频图像的对应区域作为配对特征点， 将所述对应的区域的颜色特征的平均 值赋值给所述配对特征点；

第四选择单元， 用于接收通过手动从所述重叠区域中选取的区域块， 所 述选取的两个校正视频图像的对应区域块作为配对特征点， 将所述对应的区 域块的颜色特征的平均值赋值给所述配对特征点。

24、 根据权利要求 20所述的设备， 其特征在于， 所述两两相邻的校正视 频图像中一个作为源视频图像， 另一个作为目标视频图像，

所述生成单元包括：

颜色矩阵建立单元， 用于分别建立所述源视频图像和目标视频图像的颜 色空间矩阵， 所述颜色空间矩阵的每一行表示所述配对特征点中一个特征点 的颜色空间属性；

变换关系建立单元， 用于建立所述源视频图像的颜色空间矩阵和目标视 频图像的颜色空间矩阵变换关系， 所述变换关系为： 所述源视频图像的颜色 空间矩阵与所述颜色校正矩阵的乘积加上误差量等于所述目标视频图像的颜 色空间矩阵；

校正矩阵求解单元， 用于根据所述变换关系求出当所述误差量最小时的 颜色校正矩阵。

25、 根据权利要求 20所述的设备， 其特征在于， 当所述获取单元获取两 个校正视频图像时，

所述校正单元包括：

视频图像接收单元， 用于接收输入所述源视频图像的输入装置传输的待 拼接视频图像； 颜色矩阵生成单元， 用于生成所述待拼接视频图像的颜色空间矩阵； 颜色矩阵变换单元， 用于将所述颜色校正矩阵与所述待拼接视频图像的 颜色空间矩阵相乘， 将所述相乘的结果作为校正后的待拼接视频图像的颜色 空间矩阵；

校正结果生成单元， 用于根据所述校正后的待拼接视频图像的颜色空间 矩阵生成所述校正后的待拼接视频图像。

26、 根据权利要求 20所述的设备， 其特征在于， 当所述获取单元获取到 N个两两相邻的校正视频图像时， 所述 N为大于 2的自然数， 所述 N个视频图 像包括 N-1 组两两相邻的校正视频图像， 每组校正视频图像对应一个颜色校 正矩阵；

所述校正单元包括：

视频图像接收单元， 用于接收输入装置传输的待拼接视频图像， 所述待 拼接视频图像为所述 N个视频图像中的第 K个视频图像；

第一颜色矩阵生成单元， 用于生成所述待拼接视频图像的颜色空间矩阵; 校正矩阵生成单元， 用于顺序将第一个颜色校正矩阵至第 K-1 个颜色校 正矩阵相乘得到所述待拼接视频图像的颜色校正矩阵；

第二颜色矩阵生成单元， 用于将所述颜色校正矩阵与所述待拼接视频的 颜色空间矩阵相乘， 将所述相乘的结果作为校正后的待拼接视频图像的颜色 空间矩阵；

校正结果生成单元， 用于根据所述校正后的待拼接视频图像的颜色空间 矩阵生成所述校正后的待拼接视频图像。

27、 一种立体全景视频会议设备， 其特征在于， 所述的设备包括： 深度信息获取装置， 至少从两个视角同歩获取同一会场的视频流； 分层图像获取装置， 用于根据每个视频流的深度信息从对应的视频流中 获取多个深度层次的图像数据；

立体全景视频流生成装置， 对获取的不同视角的视频流进行基于深度信 息的拼接， 生成立体全景视频流；

视频图像显示装置， 用于根据终端显示器的类别， 将所述立体全景视频 流的视频图像显示在终端显示器上。

28、 根据权利要求 27所述的设备， 其特征在于， 所述的设备还包括一视 频图像校正装置， 所述视频图像校正装置包括：

获取单元， 用于获取至少两个校正视频图像， 所述至少两个校正视频图 像中两两相邻的校正视频图像具有重叠区域；

选择单元， 用于从所述重叠区域选择所述两两相邻的校正视频图像的配 对特征点；

生成单元， 用于根据所述配对特征点生成所述两两相邻的校正视频图像 的颜色校正矩阵；

校正单元， 用于通过所述颜色校正矩阵对所述视频流进行校正； 所述立体全景视频流生成装置， 用于对获取的经过校正后的不同视角的 视频流进行基于深度信息的拼接， 生成立体全景视频流。

29、 如权利要求 27或 28所述设备， 其特征在于， 所述设备还包括显示 器类别确定单元及显示器， 所述显示器类别确定单元用于确定所述显示器的 类别， 并根据确认结果输出显示指令， 所述显示器根据所述显示指令显示所 述立体全景视频流。

30、 如权利要求 27或 28所述设备， 其特征在于， 所述设备还包括： 手势指令存储装置， 用于存储手势信息与显示控制指令的映射关系； 手势信息获取装置， 用于获取所述会场内的人的手势视频图像和手势信 息；

显示指令获取装置， 用于根据获取的手势信息从所述的映射关系中获取 对应的显示控制指令；

显示器控制装置， 用于根据获取的显示控制指令控制所述终端显示器的