CN116029923A - 视频会议设备、显示画面生成方法、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种视频会议设备、显示画面生成方法、电子设备及存储介质，属于视频会议技术领域，该设备包括：控制面板；与控制面板相连、且覆盖在控制面板之上的显示面板；与控制面板相连、且位于控制面板和显示面板之间的第一图像采集组件；设置于显示面板侧面的第二图像采集组件；以及控制组件，控制组件用于获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；基于第一视频图像生成视频会议画面的底图；基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示；可以解决传统的显示画面中人物真实性较差的问题；既可以提升显示画面的面对面效果、又可以保证显示画面的色彩和景深效果。

Description

视频会议设备、显示画面生成方法、电子设备及存储介质

技术领域

本申请涉及一种视频会议设备、显示画面生成方法、电子设备及存储介质，属于视频会议技术领域。

背景技术

视频会议是指位于两个或多个地点的用户，通过通信设备和网络进行面对面交谈的会议。视频会议通常由多种电子设备实现，其中包括：显示面板和摄像头，摄像头用于采集当前会场的参会者图像，显示面板用于显示各个会场的摄像头采集的参会者图像。

一般地，摄像头安装于显示面板的上侧。而在视频会议时参会者的视线落于屏幕上，而不是落于摄像头，这就会降低视频会议面对面交流的效果。

基于上述问题，传统的视频会议中显示画面生成方法，包括：识别摄像头采集的参会者图像中的人眼；计算人眼的视线角度；将视线角度调整为预设角度得到显示画面，预设角度使人眼视线直视显示面板。

但是，通过上述方式调整得到的显示画面中人眼眼神的真实性不强，会导致显示画面中人物表情与实际的人物表情不符，从而导致显示画面的人物真实性较差的问题。

发明内容

本申请提供了一种视频会议设备、显示画面生成方法、电子设备及存储介质，通过第二视频图像增强第一视频图像的色彩和景深效果，可以让人物在画面中更突出，人物的表情细节及肢体细节更生动，既可以提升显示画面的面对面效果、又可以保证显示画面的色彩和景深效果。本申请提供如下技术方案：

第一方面，提供一种视频会议设备，所述视频会议设备包括：

控制面板；

与所述控制面板相连、且覆盖在所述控制面板之上的显示面板；

与所述控制面板相连、且位于所述控制面板和所述显示面板之间的第一图像采集组件；

设置于所述显示面板侧面的第二图像采集组件；以及，

分别与所述显示面板、所述第一图像采集组件和所述第二图像采集组件的控制组件，用于：

获取所述第一图像采集组件采集的第一视频图像、以及所述第二图像采集组件采集的第二视频图像；

基于所述第一视频图像生成视频会议画面的底图；

基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，以供所述显示面板显示。

可选地，所述基于所述第一视频图像生成视频会议画面的底图，包括：

对所述第一视频图像进行人眼识别，得到所述第一视频图像中人眼的视线角度；

在所述视线角度指示人眼视线落于所述显示面板的目标区域的情况下，将所述人眼的视线角度调整为预设角度，并按照所述预设角度生成所述底图；其中，所述目标区域基于视频会议过程中人眼观看所述显示面板时的观看区域确定，所述预设角度为人眼直视所述目标区域时的角度；

在所述视线角度指示人眼视线未落于所述显示面板的目标区域的情况下，按照所述视线角度生成所述底图。

可选地，所述第一图像采集组件的数量为至少2个，且至少2个第一图像采集组件的连线与所述显示面板的水平中轴线对应；所述目标区域为以所述至少2个第一图像采集组件的连线位置确定；

或者，

所述第一图像采集组件的数量为1个，且所述第一图像采集组件的安装位置与所述显示面板的中心点之间的距离小于预设距离；所述目标区域基于所述第一图像采集组件的安装位置确定。

可选地，基于与所述第一图像采集组件的位置的距离范围按照从近到远的顺序依次将所述显示面板的区域划分为所述目标区域、第一区域和第二区域；所述基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，包括：

在所述视线角度指示人眼视线落于所述显示面板的目标区域，或者所述视线角度指示人眼视线落于所述第一区域，或者所述视线角度指示人眼视线落于所述第二区域、但落入所述第二区域的时长小于预设时长阈值的情况下，基于所述第二视频图像对所述底图进行第一程度的图像增强；

在所述视线角度指示人眼视线落于所述第二区域、且落入所述第二区域的时长大于或等于所述预设时长阈值的情况下，基于所述第二视频图像对所述底图进行第二程度的图像增强，所述第一程度大于所述第二程度。

可选地，所述基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，包括：

获取所述第二视频图像中人物各个目标区域的色彩信息；基于所述人物色彩信息对所述底图中对应的目标区域进行区域增强；

和/或，

获取所述第二视频图像中背景的背景色彩信息；基于所述背景色彩信息对所述底图中的背景进行色彩调整；

和/或，

将所述第二视频图像与所述底图进行对比；基于对比结果对所述底图进行降噪。

可选地，所述基于所述第一视频图像生成视频会议画面的底图之后，还包括：

对所述底图使用预设的降噪算法进行降噪；

和/或，

对所述底图中的人物进行全局增强；

和/或，

对所述底图进行虚化处理。

第二方面，提供一种视频会议中显示画面生成方法，所述方法包括：

获取视频会议设备中第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；所述视频会议设备包括控制面板；与所述控制面板相连、且覆盖在所述控制面板之上的显示面板；与所述控制面板相连、且位于所述控制面板和所述显示面板之间的所述第一图像采集组件；以及设置于所述显示面板侧面的所述第二图像采集组件；

基于所述第一视频图像生成视频会议画面的底图；

基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，以供所述显示面板显示。

第三方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第二方面提供的视频会议中显示画面生成方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第二方面提供的视频会议中显示画面生成方法。

本申请的有益效果至少包括：通过设置控制面板；与控制面板相连、且覆盖在控制面板之上的显示面板；与控制面板相连、且位于控制面板和显示面板之间的第一图像采集组件；设置于显示面板侧面的第二图像采集组件；以及分别与显示面板、第一图像采集组件和第二图像采集组件的控制组件，用于获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；基于第一视频图像生成视频会议画面的底图；基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示；由于第一图像采集组件设置于显示屏后方，进光量会受到影响，因此，采集到的第一视频图像的画面效果不如第二图像采集组件采集到的第二视频图像的画面效果，但是能够拍摄更具有面对面效果的人物视线；通过第二视频图像增强第一视频图像的色彩和景深效果，可以让人物在画面中更突出，人物的表情细节及肢体细节更生动，因此，可以解决传统的显示画面中人物真实性较差的问题；既可以提升显示画面的面对面效果、又可以保证显示画面的色彩和景深效果。

另外，由于人眼视线落于目标区域的情况下，即使人眼没有直视目标区域，视线角度也不会偏离太大。因此，通过人眼视线落于显示面板的目标区域的情况下，将人眼的视线角度调整为预设角度，既不会影响人脸的面部表情，还可以提高显示画面面对面交流的效果。

另外，通过将第一图像采集组件设置在显示面板的中间位置，相应地，目标区域基于第一图像采集组件的安装位置确定，可以保证第一图像采集组件采集到更加贴近面对面交流的人眼视线，提高显示画面的显示效果。

另外，若人眼视线落于第一区域，说明参会者并没有观看目标区域，而是观看显示面板的其它区域，此时，通过基于人物原始的人眼视线生成底图，可以准确展示人眼方向。

另外，基于与第一图像采集组件的位置的距离范围按照从近到远的顺序依次将显示面板的区域划分为目标区域、第一区域和第二区域，若人眼视线落于第二区域，说明参会者的视线即将脱离显示面板。此时，若参会者的视线长期落于第二区域或第二区域之外，说明该参会者并不需要与其它会场的参会者实现远程的面对面交流，因此，不需要对该参会者进行第一程度的图像增强，通过仅进行第二程度的图像增强，可以更加贴合人物的显示规律，提高显示画面的显示效果。

另外，通过对人物的目标区域进行区域增强、全局增强、对背景进行色彩调整和/或虚化处理，可以更加突出显示画面中的人物，并提高人物的真实性。

另外，通过对底图进行降噪处理，可以提高显示画面的画面质量，进一步提高画面效果。

另外，通过设置至少两个第二图像采集组件，并将第二图像采集组件设置在上侧和下侧，可以采集更加真实的色彩信息，从而提高底图的图像增强的准确性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的视频会议设备的切面图；

图2是本申请一个实施例提供的第一图像采集组件和第二图像采集组件的安装位置的示意图；

图3是本申请一个实施例提供的视频会议中显示画面生成方法的流程图；

图4是本申请一个实施例提供的视频会议中显示画面生成装置的框图；

图5是本申请一个实施例提供的电子设备的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

图1是本申请一个实施例提供的视频会议设备的切面图，该视频会议设备至少包括：控制面板110、显示面板120、第一图像采集组件130、第二图像采集组件140和控制组件150。

显示面板120与控制面板110相连、且覆盖在控制面板110之上。控制面板110和显示面板120一般可以组合为显示器，本实施例中，控制面板110和显示面板120之间还设置有第一图像采集组件130，即第一图像采集组件130与控制面板110相连、且位于控制面板110和显示面板120之间。此时，控制面板110、显示面板120和第一图像采集组件130可以构成具有屏下摄像头的显示器。

控制面板110上设置有辅助显示面板120和第一图像采集组件130工作的各个元器件，如：供电组件、控制器等，本实施例不对控制面板110上具有的元器件类型作限定。

第一图像采集组件130的安装位置基于视频会议过程中，参会者观看显示面板120时视线的停留位置确定。

比如：视频会议过程中，各个参会者的图像会显示在显示面板120的中间区域，此时，参会者观看显示面板120时视线也会停留在中间区域。即便显示面板120同时显示多个参会者的图像时，人眼观看不同参会者的图像的视线也不会差距太大。基于此，若第一图像采集组件130数量为1个，则可以设置第一图像采集组件130的安装位置与显示面板120的中心点之间的距离小于预设距离。可选地，第一图像采集组件130的安装位置与显示面板120的中心点对应，即，该安装位置与中心点的连线垂直于显示面板；或者，第一图像采集组件130的安装位置与显示面板120的中心点不对应，此时，安装位置与中心点的连线与显示面板的垂直方向呈一定角度。

若第一图像采集组件130的数量为至少2个，则由于人的双眼连线平行于水平面，因此，可以设置至少2个第一图像采集组件130的连线与显示面板120的水平中轴线对应。可选地，至少2个第一图像采集组件130以显示面板120的中心点为对称中心对称设置。在其它实施例中，至少2个第一图像采集组件130也可以不以中心点为对称中心对称设置。

在其它实施例中，第一图像采集组件130可以基于上述原理设置其它位置，本实施例不对第一图像采集组件130的设置位置作限定。

第二图像采集组件140设置于显示面板120侧面。可选地，第二图像采集组件140可以与控制面板110实现为同一显示器，此时，第二图像采集组件140与控制面板110相连。或者，第二图像采集组件140与控制面板110实现为单独的设备，本实施例不对第二图像采集组件140的实现方式作限定。

可选地，第二图像采集组件140可以为一个或至少两个。在第二图像采集组件140为一个的情况下，该第二图像采集组件140可以位于显示面板120的上侧中间位置或下侧中间位置。在第二图像采集组件140为至少两个的情况下，至少两个第二图像采集组件140分布于上下两侧，且若位于同一侧的至少两个第二图像采集组件140以该侧的中心位置对称设置。

比如：参考图2所示的第一图像采集组件130和第二图像采集组件140相对于显示面板120的位置关系，图2中以第一图像采集组件130为两个，第二图像采集组件140为2个为例，第一图像采集组件130设置在显示面板120之下(虚线圆圈表示)，且两个第一图像采集组件130的连线与显示面板120的中轴线对应，并以显示面板120的中心点为对称中心对称设置。第二图像采集组件140分别位于显示面板120上侧中央和下侧中央。

由于第一图像采集组件130位于显示面板120后方，因此，进光量会受到影响，拍摄得到的第一视频图像的画面效果不如第二图像采集组件140，但是能够拍摄更具有面对面效果的人物视线。基于此，本实施例中，将第二图像采集组件140作为辅助摄像头，用来解决第一图像采集组件130采集图像色彩效果不好的问题。通过第二图像采集组件140采集更真实的色彩效果和景深，在第一图像采集组件130采集的第一视频图像的基础上，增强色彩和景深效果，可以让人物在画面中更突出，人物的表情细节及肢体细节更生动。同时背景可以根据需要实现背景虚化。

第一图像采集组件130和第二图像采集组件140组成摄像头阵列，共同协作配合，可以识别人物主体，对人物做目光锁定和跟踪，让视频会议的双方精确地感知到对方的目光位置，实现一比一的现实增强体验。

控制组件150适于生成视频会议的显示画面。控制组件150可以是控制面板110中的控制器，或者也可以是与控制面板110相独立的设备，本实施例不对控制组件150的实现方式作限定。控制组件150分别与显示面板120、第一图像采集组件130和第二图像采集组件140相连。在控制组件150为控制面板110中的控制器的情况下，显示画面在本地生成，此时，第一图像采集组件130和第二图像采集组件140采集的数据可以实时地转成一幅具有人物增强和空间感的显示画面，转成1路H.264/H.265的视频码流，不需要额外占用更多的网络带宽，对原有服务器有良好的兼容。在其它实施例中，在控制组件150为与控制面板110相独立的设备的情况下，控制组件150可以通过与控制面板110通信相连，实现与第一图像采集组件130和第二图像采集组件140相连。

本实施例中，控制组件150用于：获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；基于第一视频图像生成视频会议画面的底图；基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示。

示意性地，第一视频图像和第二视频图像为以YUV编码格式编码的图像数据。

可选地，在第一图像采集组件的数量为至少2个的情况下，至少2个第一图像采集组件同步采集的第一视频图像；在第二图像采集组件的数量为至少2个的情况下，至少2个第二图像采集组件同步采集的第二视频图像。

在一个示例中，基于第一视频图像生成视频会议画面的底图，包括：对第一视频图像进行人眼识别，得到第一视频图像中人眼的视线角度；在视线角度指示人眼视线落于显示面板的目标区域的情况下，将人眼的视线角度调整为预设角度，并按照预设角度生成底图；在视线角度指示人眼视线未落于显示面板的目标区域的情况下，按照视线角度生成底图。

对第一视频图像进行人眼识别，得到第一视频图像中人眼的视线角度，包括：利用人脸识别算法识别第一视频图像中的人脸区域；对人脸区域利用眼睛检测算法检测眼睛区域；计算眼睛区域的眼睛视线与第一图像采集组件主体的角度偏差，得到视线角度。

在各个第一视频图像对应的视线角度平均值属于目标区域对应的角度范围的情况下，确定人眼视线落于目标区域；在各个第一视频图像对应的视线角度平均值不属于目标区域对应的角度范围的情况下，确定人眼视线未落于目标区域。

由于人眼视线落于目标区域的情况下，即使人眼没有直视目标区域，视线角度也不会偏离太大。因此，本实施例中，将视线角度调整为预设角度不会影响人脸的面部表情，可以保证显示画面中人像的真实性。

其中，目标区域基于视频会议过程中人眼观看显示面板时的观看区域确定，预设角度为人眼直视目标区域时的角度。

可选地，第一图像采集组件的数量为至少2个；目标区域为以至少2个第一图像采集组件的连线位置确定的区域。

比如：目标区域为以至少2个第一图像采集组件的连线为直径做圆映射至显示面板上的区域。又比如：目标区域为以至少2个第一图像采集组件的连线作为矩形的水平中心线确定的矩形映射至显示面板上的区域。再比如：目标区域为以至少2个第一图像采集组件的连线作为菱形对角线确定的菱形映射至显示面板上的区域。在其它实施例中，基于第一图像采集组件的连线位置确定目标区域的方式也可以是其它方式，本实施例在此不再一一列举。

或者，第一图像采集组件的数量为1个；目标区域基于第一图像采集组件的安装位置确定。

比如：目标区域是以第一图像采集组件的安装位置为圆心、以预设直径做圆映射至显示面板上的区域。又比如：目标区域是以第一图像采集组件的安装位置为矩形中心、以预设尺寸确定的矩形映射至显示面板上的区域。

在其它实施例中，目标区域也可以为椭圆形区域、或者其它形状的区域，其生成原理与上述目标区域的生成原理相同，本实施例不对目标区域的形状作限定。

在第一图像采集组件的数量为至少两个的情况下，按照预设角度生成底图，包括：基于左右眼融合算法，将每个第一图像采集组件对应的视线调整后的第一视频图像进行图像融合得到底图。相应地，按照视线角度生成底图，包括：基于左右眼融合算法，将每个第一图像采集组件采集的第一视频图像进行图像融合得到底图。

可选地，基于与第一图像采集组件的位置的距离范围按照从近到远的顺序依次将显示面板的区域划分为目标区域、第一区域和第二区域，其中，若仅有一个第一图像采集组件，则可将距离第一图像采集组件安装位置为圆点，以第一距离为直径的圆形区域作为目标区域，以第二距离为直径的圆形区域去除目标区域后的区域作为第一区域，以第三距离为直径的圆形区域去除目标区域及第一区域后的区域作为第二区域，其中，第一距离小于第二距离，第二距离小于第三距离，且第一距离、第二距离、第三距离根据实际场景中第一图像采集组件采集图像的范围确定，在此不做具体限制；当然也可以以第一图像采集组件为中心确定其他形状的区域，在此不做限制。在其他实施方式中，若包括至少两个第一图像采集组件，则依据上文中提及的目标区域确定方式确定目标区域后，在目标区域的基础上外扩预设范围的区域作为第一区域，在第一区域的基础上外扩预设范围的区域作为第二区域。相应地，基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，包括：在视线角度指示人眼视线落于显示面板的目标区域，或者视线角度指示人眼视线落于第一区域，或者视线角度指示人眼视线落于第二区域、但落入第二区域的时长小于预设时长阈值的情况下，基于第二视频图像对底图进行第一程度的图像增强；在视线角度指示人眼视线落于第二区域、且落入第二区域的时长大于或等于预设时长阈值的情况下，基于第二视频图像对底图进行第二程度的图像增强，第一程度大于第二程度。

在各个第一视频图像对应的视线角度平均值属于第一区域对应的角度范围的情况下，确定人眼视线落于第一区域；在各个第一视频图像对应的视线角度平均值属于第二区域对应的角度范围的情况下，确定人眼视线落于第二区域。

若人眼视线落于第一区域，说明参会者并没有观看目标区域，而是观看显示面板的其它区域，此时，可以不调整视线角度，以准确展示人眼方向。

若人眼视线落于第二区域，说明参会者的视线即将脱离显示面板。此时，若参会者的视线长期落于第二区域，说明该参会者并不需要与其它会场的参会者实现远程的面对面交流，因此，不需要对该参会者进行第一程度的图像增强，因此，本实施例中削弱图像增强程度，仅进行第二程度的图像增强。

可选地，第一程度的图像增强和第二程度的图像增强可以是指人像增强，或者也可以是人像增强和背景增强。人像增强的程度可以是颜色增强程度、亮度增强程度、饱和度增强程度、和/或阴影增强程度，本实施例不对人像增强程度的实现方式作限定。背景增强的程度可以是颜色增强程度、和/或背景虚化程度，本实施例不对背景增强程度的实现方式作限定。

可选地，第二程度可以为0，比如：不对底图做人像增强。

可选地，基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，包括：获取第二视频图像中人物各个目标区域的色彩信息；基于色彩信息对底图中对应的目标区域进行区域增强；和/或，获取第二视频图像中背景的背景色彩信息；基于背景色彩信息对底图中的背景进行色彩调整；和/或，将第二视频图像与底图进行对比；基于对比结果对底图进行降噪。

其中，人物的目标区域可以是人物占据的整体区域，或者也可以是人物的至少一个局部区域，比如：头发区域、皮肤区域和/或服装区域。

获取第二视频图像中人物各个目标区域的色彩信息，包括：基于目标检测算法检测第二视频图像中的目标区域；获取目标区域的像素值；基于像素值的平均值确定目标区域的色彩信息；或者，统计各个像素值的像素数量，基于像素数量最多的像素值确定色彩信息，本实施例不对色彩信息的确定方式作限定。可选地，目标检测算法可以为两阶段算法(如R-CNN、Fast R-CNN,、Faster R-CNN或者FPN等)，或者也可以是一阶段算法(Yolo，SSD)，本实施例不对目标检测算法的类型作限定。

由于第一图像采集设置在显示面板下方，因此，第一视频图像的噪点通常较多，但设置在显示面板之外的第二图像采集组件采集的第二视频图像的噪点比第一视频图像的噪点少，因此，可以利用将底图和第二视频图像进行对比实现对底图的降噪。

基于背景色彩信息对底图中的背景进行色彩调整，包括：计算背景色彩信息指示的背景颜色与第二视频图像的背景颜色的差值；按照第一视频图像和第二视频图像之间的像素点关系，该差值对背景色彩信息进行增色。

将第二视频图像与底图进行对比，包括：识别底图中的噪点区域；将噪点区域的像素值与第二视频图像的像素值进行对比。相应地，基于对比结果对底图进行降噪，包括：按照噪点区域的像素值与第二视频图像的像素值之间的差异，对噪点区域的像素值进行修正，以进行噪点区域的降噪。

可选地，基于第一视频图像生成视频会议画面的底图之后，还可以不使用第二视频图像对底图进行图像增强。比如：对底图使用预设的降噪算法进行降噪；和/或，对底图中的人物进行全局增强；和/或，对底图进行虚化处理。

降噪算法包括但不限于：空间域滤波、或者变换域滤波等，本实施例不对降噪算法的实现方式作限定。

对底图中的人物进行全局增强，包括：对人物进行亮度提升、色彩饱和度提升和/或阴影加强，本实施例不对全局增强的方式作限定。

对底图进行虚化处理，包括：使用抠图算法对底图中的人物区域进行抠图，得到焦平面；对焦平面之外的背景进行模糊处理。模糊处理的方式包括但不限于：使用高斯模糊算法、或者径向模糊算法进行模糊处理，本实施例不对模糊处理的方式作限定。

综上所述，本实施例提供的视频会议设备，通过设置控制面板；与控制面板相连、且覆盖在控制面板之上的显示面板；与控制面板相连、且位于控制面板和显示面板之间的第一图像采集组件；设置于显示面板侧面的第二图像采集组件；以及分别与显示面板、第一图像采集组件和第二图像采集组件的控制组件，用于获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；基于第一视频图像生成视频会议画面的底图；基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示；由于第一图像采集组件设置于显示屏后方，因此，采集到的第一视频图像的画面效果不如第二图像采集组件采集到的第二视频图像的画面效果，但是能够拍摄更具有面对面效果的人物视线；通过第二视频图像增强第一视频图像的色彩和景深效果，可以让人物在画面中更突出，人物的表情细节及肢体细节更生动，因此，可以解决传统的显示画面中人物真实性较差的问题；既可以提升显示画面的面对面效果、又可以保证显示画面的色彩和景深效果。

另外，由于人眼视线落于目标区域的情况下，即使人眼没有直视目标区域，视线角度也不会偏离太大。因此，通过人眼视线落于显示面板的目标区域的情况下，将人眼的视线角度调整为预设角度，既不会影响人脸的面部表情，还可以提高显示画面面对面交流的效果。

另外，通过将第一图像采集组件设置在显示面板的中间位置，相应地，目标区域基于第一图像采集组件的安装位置确定，可以保证第一图像采集组件采集到更加贴近面对面交流的人眼视线，提高显示画面的显示效果。

另外，若人眼视线落于第一区域，说明参会者并没有观看目标区域，而是观看显示面板的其它区域，此时，通过基于人物原始的人眼视线生成底图，可以准确展示人眼方向。

另外，基于与第一图像采集组件的位置的距离范围按照从近到远的顺序依次将显示面板的区域划分为目标区域、第一区域和第二区域，若人眼视线落于第二区域，说明参会者的视线即将脱离显示面板。此时，若参会者的视线长期落于第二区域，说明该参会者并不需要与其它会场的参会者实现远程的面对面交流，因此，不需要对该参会者进行第一程度的图像增强，通过仅进行第二程度的图像增强，可以更加贴合人物的显示规律，提高显示画面的显示效果。

另外，通过对人物的目标区域进行区域增强、全局增强、对背景进行色彩调整和/或虚化处理，可以更加突出显示画面中的人物，并提高人物的真实性。

另外，通过对底图进行降噪处理，可以提高显示画面的画面质量，进一步提高画面效果。

可选地，本申请以各个实施例提供的视频会议中显示画面生成方法用于图1所示的视频会议设备中为例进行说明，在其它实施例中，该方法也可以用于与该视频会议设备通信相连的电子设备，该电子设备为终端或服务器，终端可以为手机、计算机、平板电脑等，本实施例不对电子设备的类型作限定。

图3是本申请一个实施例提供的视频会议中显示画面生成方法的流程图，该方法至少包括以下几个步骤：

步骤301，获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像。

步骤302，基于第一视频图像生成视频会议画面的底图。

可选地，基于第一视频图像生成视频会议画面的底图，包括：对第一视频图像进行人眼识别，得到第一视频图像中人眼的视线角度；在视线角度指示人眼视线落于显示面板的目标区域的情况下，将人眼的视线角度调整为预设角度，并按照预设角度生成底图；在视线角度指示人眼视线未落于显示面板的目标区域的情况下，按照视线角度生成底图。其中，目标区域基于视频会议过程中人眼观看显示面板时的观看区域确定，预设角度为人眼直视目标区域时的角度。

第一图像采集组件的数量为至少2个，且至少2个第一图像采集组件的连线与显示面板的水平中轴线对应、并以显示面板的中心点为对称中心对称设置；目标区域为以至少2个第一图像采集组件的最远距离为直径做圆映射至显示面板上的区域。

或者，

第一图像采集组件的数量为1个，且第一图像采集组件的安装位置与显示面板的中心点对应；目标区域为以第一图像采集组件的安装位置为圆心、以预设直径做圆映射至显示面板上的区域。

步骤303，基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示。

在视线角度指示人眼视线落于显示面板的目标区域，或者视线角度指示人眼视线落于第一区域，或者视线角度指示人眼视线落于第二区域、但落入第二区域的时长小于预设时长阈值的情况下，基于第二视频图像对底图进行第一程度的图像增强；

在视线角度指示人眼视线落于第二区域、且落入第二区域的时长大于或等于预设时长阈值的情况下，基于第二视频图像对底图进行第二程度的图像增强，第一程度大于第二程度。

可选地，基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，包括：

获取第二视频图像中人物各个目标区域的色彩信息；基于人物色彩信息对底图中对应的目标区域进行区域增强；和/或，获取第二视频图像中背景的背景色彩信息；基于背景色彩信息对底图中的背景进行色彩调整；和/或，将第二视频图像与底图进行对比；基于对比结果对底图进行降噪。

可选地，基于第一视频图像生成视频会议画面的底图之后，还包括：对底图使用预设的降噪算法进行降噪；和/或，对底图中的人物进行全局增强；和/或，对底图进行虚化处理。

本实施例的相关描述参考上述实施例。

综上所述，本实施例提供的视频会议中显示画面生成方法，通过获取第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；基于第一视频图像生成视频会议画面的底图；基于第二视频图像对底图进行图像增强，得到视频会议的显示画面，以供显示面板显示；可以解决传统的显示画面中人物真实性较差的问题；由于第一图像采集组件设置于显示屏下方，因此，采集到的第一视频图像的画面效果不如第二图像采集组件采集到的第二视频图像的画面效果，但是能够拍摄更具有面对面效果的人物视线；通过第二视频图像增强第一视频图像的色彩和景深效果，可以让人物在画面中更突出，人物的表情细节及肢体细节更生动，既可以提升显示画面的面对面效果、又可以保证显示画面的色彩和景深效果。

图4是本申请一个实施例提供的视频会议中显示画面生成装置的框图。该装置至少包括以下几个模块：图像获取模块410、底图生成模块420、和图像增强模块430。

图像获取模块410，用于获取所述第一图像采集组件采集的第一视频图像、以及所述第二图像采集组件采集的第二视频图像；

底图生成模块420，用于基于所述第一视频图像生成视频会议画面的底图；

图像增强模块430，用于基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，以供所述显示面板显示。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的视频会议中显示画面生成装置在进行视频会议中显示画面生成时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频会议中显示画面生成装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频会议中显示画面生成装置与视频会议中显示画面生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请一个实施例提供的电子设备的框图。该设备至少包括处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示面板所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的视频会议中显示画面生成方法。

在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示面板、音频电路、和电源等。

当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频会议中显示画面生成方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频会议中显示画面生成方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频会议设备，其特征在于，所述视频会议设备包括：

控制面板；

与所述控制面板相连、且覆盖在所述控制面板之上的显示面板；

与所述控制面板相连、且位于所述控制面板和所述显示面板之间的第一图像采集组件；

设置于所述显示面板侧面的第二图像采集组件；以及，

分别与所述显示面板、所述第一图像采集组件和所述第二图像采集组件的控制组件，用于：

获取所述第一图像采集组件采集的第一视频图像、以及所述第二图像采集组件采集的第二视频图像；

基于所述第一视频图像生成视频会议画面的底图；

基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，以供所述显示面板显示。

2.根据权利要求1所述的视频会议设备，其特征在于，所述基于所述第一视频图像生成视频会议画面的底图，包括：

对所述第一视频图像进行人眼识别，得到所述第一视频图像中人眼的视线角度；

在所述视线角度指示人眼视线落于所述显示面板的目标区域的情况下，将所述人眼的视线角度调整为预设角度，并按照所述预设角度生成所述底图；其中，所述目标区域基于视频会议过程中人眼观看所述显示面板时的观看区域确定，所述预设角度为人眼直视所述目标区域时的角度；

在所述视线角度指示人眼视线未落于所述显示面板的目标区域的情况下，按照所述视线角度生成所述底图。

3.根据权利要求2所述的视频会议设备，其特征在于，

所述第一图像采集组件的数量为至少2个，且至少2个第一图像采集组件的连线与所述显示面板的水平中轴线对应；所述目标区域为以所述至少2个第一图像采集组件的连线位置确定的区域；

或者，

所述第一图像采集组件的数量为1个，且所述第一图像采集组件的安装位置与所述显示面板的中心点之间的距离小于预设距离；所述目标区域基于所述第一图像采集组件的安装位置确定。

4.根据权利要求2所述的视频会议设备，其特征在于，基于与所述第一图像采集组件的位置的距离范围按照从近到远的顺序依次将所述显示面板的区域划分为所述目标区域、第一区域和第二区域；所述基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，包括：

在所述视线角度指示人眼视线落于所述显示面板的目标区域，或者所述视线角度指示人眼视线落于所述第一区域，或者所述视线角度指示人眼视线落于所述第二区域、但落入所述第二区域的时长小于预设时长阈值的情况下，基于所述第二视频图像对所述底图进行第一程度的图像增强；

在所述视线角度指示人眼视线落于所述第二区域、且落入所述第二区域的时长大于或等于所述预设时长阈值的情况下，基于所述第二视频图像对所述底图进行第二程度的图像增强，所述第一程度大于所述第二程度。

5.根据权利要求1所述的视频会议设备，其特征在于，所述基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，包括：

获取所述第二视频图像中人物各个目标区域的色彩信息；基于所述色彩信息对所述底图中对应的目标区域进行区域增强；

和/或，

获取所述第二视频图像中背景的背景色彩信息；基于所述背景色彩信息对所述底图中的背景进行色彩调整；

和/或，

将所述第二视频图像与所述底图进行对比；基于对比结果对所述底图进行降噪。

6.根据权利要求1所述的视频会议设备，其特征在于，所述基于所述第一视频图像生成视频会议画面的底图之后，还包括：

对所述底图使用预设的降噪算法进行降噪；

和/或，

对所述底图中的人物进行全局增强；

和/或，

对所述底图进行虚化处理。

7.根据权利要求1至6任一所述的视频会议设备，其特征在于，所述第二图像采集组件的数量为至少2个，且分布于所述显示面板的上下两侧。

8.一种视频会议中显示画面生成方法，其特征在于，所述方法包括：

获取视频会议设备中第一图像采集组件采集的第一视频图像、以及第二图像采集组件采集的第二视频图像；所述视频会议设备包括控制面板；与所述控制面板相连、且覆盖在所述控制面板之上的显示面板；与所述控制面板相连、且位于所述控制面板和所述显示面板之间的所述第一图像采集组件；以及设置于所述显示面板侧面的所述第二图像采集组件；

基于所述第一视频图像生成视频会议画面的底图；

基于所述第二视频图像对所述底图进行图像增强，得到视频会议的显示画面，以供所述显示面板显示。

9.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求8所述的视频会议中显示画面生成方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求8所述的视频会议中显示画面生成方法。

Images