CN112312056A - 利用自适应镜头失真校正和图像变形减少的视频会议 - Google Patents

Abstract

本发明涉及利用自适应镜头失真校正和图像变形减少的视频会议。视频会议端点可以取决于对象离相机的距离以及对象离相机的视场的中央的径向距离来针对镜头失真和图像变形进行自适应调整。

Description

利用自适应镜头失真校正和图像变形减少的视频会议

相关申请的交叉引用

本申请涉及于2018年11月28日提交的标题为“SELECTIVE DISTORTION ORDEFORMATION CORRECTION IN IMAGES FROM A CAMERA WITH A WIDE ANGLE LENS”的国际专利申请号PCT/CN2018/117141，并且其通过引用完全并入于此。

技术领域

本公开大体上涉及视频会议，并且具体地涉及用于校正脸部成像中的变形的混合方法。

背景技术

对校正由广角镜头捕获的图像的图像失真和图像变形两者的尝试都不是完全令人满意的。因此，本领域中存在改进的空间。

附图说明

为了说明，在附图中示出了本公开中描述的某些示例。在附图中，相同的标号始终指示相同的元件。本文公开的发明的全部范围不限于所示的精确布置、尺寸和仪器。在附图中：

图1图示了根据本公开的示例的视频会议端点；

图2图示了根据本公开的示例的图1的视频会议端点的各方面；

图3图示了根据本公开的示例的已经针对失真进行校正的图像；

图4图示了根据本公开的示例的原始房间视角图像和其中原始房间视角中的失真已经减少的房间视角图像；

图5图示了根据本公开的示例的失真校正之前和之后的讲话者视角；

图6图示了根据本公开的示例的坐在不同位置处的对象的放大；

图7图示了根据本公开的示例的接收由相机捕获的脸部数据的帧的处理器；

图8图示了根据本公开的示例的自适应地校正脸部图像变形的方法；

图9图示了根据本公开的示例的具有变形减少的高级镜头失真校正方法的图；

图10图示了根据本公开的示例的多个聚焦视角图像；

图11图示了根据本公开的示例的用于广角相机的视场和用于对应于其细分的表图表；

图12图示了根据本公开的示例的视频会议设备；和

图13图示了根据本公开的示例的减少由宽视角相机捕获的图像中的偏差的方法。

具体实施方式

在本文的附图和附图描述中，某些术语仅出于方便而使用，而不应被视为限制本公开的示例。在附图和以下描述中，相同的标号始终指示相同的元件。

简介

使用广角镜头捕获的图像固有地包括失真（405）效果和变形效果。如本文所使用的，失真（405）是指光的弯曲，使得直线在图像中看起来是弯曲的。如本文所使用的，变形是指在图像的部分中的“拉伸”，使得物体在一个或多个尺寸上看起来比自然的大。如本文所使用的，术语偏差包括失真（405）和变形两者。可以通过对图像应用变换来在图像中校正失真（405）和/或变形。然而，失真校正（508）可能加剧变形。失真（405）和变形可能在图像的不同部分中相对更明显。例如，在图像的裁剪视角中，变形可能比在图像的全视角中更明显。此外，与更接近中央（304）的区域相比，在图像（403）的边缘处变形可能更明显。公开了用于选择性地校正图像中的失真（405）和变形的系统和方法（800）。虽然结合电话会议系统描述了所公开的系统和方法（800），但应注意，所公开的系统和方法（800）可以用于根据本公开的其他上下文中。

讨论

图1图示了根据本公开的示例的会议装置或视频会议端点10。图1的会议装置或视频会议端点10通过网络55与一个或多个远程视频会议端点60通信。视频会议端点10包括具有音频编解码器32的音频模块30、以及具有视频编解码器42的视频模块40。这些模块30/40可操作地耦合到控制模块20和网络模块50。模块30/40/20/50包括专用硬件、由一个或多个处理器（1220）执行的软件、或其组合。在一些示例中，视频模块40对应于图形处理单元（GPU）、可由图形处理单元执行的软件、中央处理单元（CPU）、可由CPU执行的软件、或其组合。在一些示例中，控制模块20包括CPU、可由CPU执行的软件、或其组合。在一些示例中，网络模块50包括一个或多个网络接口设备、CPU、可由CPU执行的软件、或其组合。在一些示例中，音频模块30包括CPU、可由CPU执行的软件、声卡、或其组合。

通常，视频会议端点10可以是会议设备、视频会议设备、具有音频或视频会议能力的个人计算机、或任何类似类型的通信设备。视频会议端点10被配置成生成近端音频和视频并从远程视频会议端点60接收远端音频和视频。视频会议端点10被配置成将近端音频和视频发送到远程视频会议端点60并发起远端音频和视频的本地呈现。

麦克风120捕获音频并将音频提供给音频模块30和编解码器32以进行处理。麦克风120可以是台式或悬挂式麦克风、麦克风架的部分、到视频会议端点10的整体麦克风等。还可以提供附加麦克风121。在整个本公开中，除非另有说明，否则与麦克风120相关的所有描述都适用于任何附加麦克风121。视频会议端点10将利用麦克风120捕获的音频主要用于近端音频。相机46捕获视频并将捕获的视频提供给视频模块40和编解码器42以进行处理以生成近端视频。对于由相机46捕获的近端视频的每个帧（705），控制模块20选择视角区域，并且控制模块20或视频模块40将帧（705）裁剪为视角区域。可以基于由麦克风120和附加麦克风121生成的近端音频、其他传感器数据、或其组合来选择视角区域。例如，控制模块20可以选择描绘当前正在讲话的参与者的帧（705）的区域作为视角区域。作为另一示例，控制模块20可以响应于确定在一段时间内没有人讲话而选择整个帧（705）作为视角区域。因此，控制模块20基于通信会话的上下文而选择视角区域。

相机46包括广角镜头。由于广角镜头的性质，由相机46捕获的视频（和静止图像）包括失真（405）和变形（507）效果两者。视频模块40包括变形减少（1050）逻辑72和失真校正（508）逻辑74。在一些示例中，变形减少（1050）逻辑72和失真校正（508）逻辑74对应于映射表（例如，807、809、811），其标识对由相机46捕获的图像进行的调整。在本公开的至少一个示例中，映射表基于相机46的镜头的属性，诸如焦距等。对于由相机46捕获的视频的每个帧（705），视频模块40基于由控制模块20针对该帧（705）如下文进一步描述的那样选择的视角区域的大小来选择变形减少（1050）逻辑72或失真校正（508）逻辑40。然后，视频模块40将所选择的校正逻辑应用于帧（705）的视角区域，以生成经校正的近端视频帧（705）。因此，每个经校正的近端视频帧（705）对应于视频帧（705）的潜在裁剪和校正版本。一起取得的经校正的近端视频帧（705）包括经校正的近端视频。

视频会议端点10使用编解码器32/42以根据诸如MPEG-1、MPEG-2、MPEG-4、H.261、H.263和H.264的常见编码标准中的任何一种对近端音频和经校正的近端视频进行编码。然后，网络模块50使用任何适当的协议经由网络55将经编码的近端音频和经校正的视频输出到远程视频会议端点60。类似地，网络模块50经由网络55从远程视频会议端点60接收远端音频和视频，并将这些发送到它们各自的编解码器32/42以进行处理。最终，扬声器130输出（从远程视频会议端点接收的）远端音频，并且显示器48输出远端视频。在一些示例中，显示器48还输出经校正的近端视频。

因此，图1图示了选择性地校正由具有广角镜头的相机46捕获的视频中的变形（507）或失真（405）的设备的示例。特别地，图1的设备可以根据本文描述的方法（800）之一操作。如下所述，这些方法（800）可以改进通信会话期间的视频质量。

图2详细图示了图1的会议视频会议端点10的组件。视频会议端点10具有处理单元110、存储器140、网络接口150和经由总线100耦合的通用输入/输出（I/O）接口160。如上所述，视频会议端点10具有基本的麦克风120、扬声器130、相机46和显示器48。

处理单元110包括CPU、GPU或两者。存储器140可以是任何常规存储器，诸如SDRAM，并且可以存储用于控制视频会议端点10的以软件和固件的形式的模块145。存储的模块145包括各种视频和音频编解码器32/42以及先前讨论的其他软件20/30/40/50/200的软件组件。此外，模块145可以包括操作系统、使得用户能够控制视频会议端点10的图形用户接口（GUI）、以及用于处理音频/视频信号的其他算法。

网络接口150提供视频会议端点10和远程视频会议端点（60）之间的通信。相反，通用I/O接口160可以提供与本地设备的数据传输，诸如键盘、鼠标、打印机、高射投影仪、显示器48、外部扬声器、附加相机46、麦克风等。

如上所述，视频会议端点10捕获视频的帧（705），选择性地将帧（705）裁剪为视角区域，并基于视角区域的大小而选择性地将变形（507）或失真校正（508）应用于视角区域。因为在相对较大的视角区域中失真（405）可能更明显，并且在相对较小的视角区域中变形（507）可能更明显，所以选择性地使用校正技术之一通过解决可能对于通信会话参与者更明显的不规则性来增强通信会话期间的视频的质量。因此，图2图示了选择性地校正变形（507）或失真（405）以增强视频质量的设备的示例物理配置。

在许多基于人工智能的相机46中，当确定有效讲话者时，通过从由相机46捕获的全视角裁剪包含讲话者的脸（308）的区域来形成有效讲话者视角。当远端处的某人看包含宽视角的馈送并且馈送包含有效说话者时，他或她将倾向于注意到宽视角中的失真（405）（并且由于失真（405）分心），同时他或她将倾向于注意到脸（308）的任何变形（507）（并且由于变形（507）而分心和/或干扰），如果变形（507）存在的话。在全视角中，观看者会更关心背景的几何现实，因为它占据了图像中的大多数区域。在有效讲话者视角中，观看者更关心对作为有效讲话者视角的对象的单个人的正确描绘。如果用于全视角的镜头失真校正（508）公式（formula）也用在对应的有效讲话者视角中，则可以使脸部特征的变形（507）更明显。在本公开的至少一个示例中，描述了解决该问题的系统和方法（800）。

在本公开的至少一个示例中，在全视角图像的中央区域（301）中，可以同时非常好地校正失真（405）和变形（507）。但是在角落区域中，如果应用于中央区域（301）的校正措施以相同的方式应用于角落区域，则人脸（308）的变形（507）将增加。

图3图示了图像306，其已经针对失真（405）进行了校正（508）。对于变形（405）的校正（508）通过家具和窗户的线条是直的这一事实证明。在图像306中描绘的房间视角（401）内，我们看到Xingyue，其是图像306的对象302。Xingyue的脸308被描绘在图像306的部分309内。描绘了Xingyue的脸308的图像306的部分309具有中央312。Xingyue的脸308的描绘示出一些变形（507）。随着对象302离图像306的中央304的距离300增加，对象302的图像变形（507）增加。随着包含对象302的图像306的部分309的中央312离图像306的中央304的距离300增加，对象302的图像变形（507）增加。在本公开的至少一个示例中，镜头失真校正（508）公式的选择将至少部分地基于要包括在有效说话者视角中的脸308离图像306的中央304的距离300。图像306的中央304限定并落入图像306的中央区域301内。在本公开的至少一个示例中，对于放大的脸308，可以使用比将期望的更严重依赖于变形减少（1050）的校正方法。在本公开的至少一个示例中，对于离相机46更远——并且因此更小——的脸，使用对变形减少（1050）较少加权的校正方法，从而平衡了脸308和周围的背景的描绘的质量。由于镜头的性质和光传播的方式，在失真校正（508）和变形减少（1050）之间总是存在折衷。这些原理在图4和图5中图示。图4示出了利用广角相机46捕获的房间视角401图像400和其中房间视角401图像400的失真405已经减少407的经校正版本403。然而，离图像400、403的中央（304）更远的对象409的特征更明显变形使得对象411接近中央304）。

图5示出了在实现失真校正之后近中央参与者411的预失真校正讲话者视角500和近中央参与者411的讲话者视角502。图5还示出了在实现失真校正之后远离中央参与者409的预失真校正讲话者视角504和远离中央参与者409的讲话者视角506。因此，图5图示了更接近图像403的中央304的区域中的失真校正（如果不加以检查）可能在应用于图像403的更偏心区域的情况下引起更大的变形效果（变形）507。

在本公开的至少一个示例中，对于大多数广角镜头，在镜头失真校正508之后，由广角镜头捕获的视角的中央区域中的脸明显在视觉上令人愉悦。如图4和图5所示，Xingyue的外观500、502没有被镜头失真校正508明显改变。实际上，当将位于中央的脸410、411与位于更外围的脸409、412进行比较时，几乎没有可见的失真，而朝向图像400的外边缘定位的脸409的图像504将更明显地变形506。

在本公开的至少一个示例中，针对其镜头失真校正508不会引起脸的明显变形507的广角相机46所捕获的视角400的中央部分的半径300大约为700像素。在本公开的至少一个示例中，具有更宽角度的视角的镜头的“最小变形”区域将具有小于700像素的半径。

因此，脸部图像是否位于最小变形区域中是失真校正508是否将引起变形507（诸如图5中的针对Hailin所发生的变形）的主要决定因素。另一主要决定因素是图像400的对象离相机46的距离。该原理在图6中图示。在图6中，图像602和图像604都经历了镜头失真校正508。在图像602中，Tianran 603距离相机46约0.5米。在图像604中，Tianran 603距离相机46约2.0米。在图像606中，来自图像602中的Tianran 603在变焦（有效说话者）视角中被放大。在图像608中，来自图像604中的Tianran 603被放大。当Tianran 603坐得接近相机46时（例如，602、606），镜头失真校正508引起比Tianran 603坐得更远时（例如，604、608）更多的变形507。其原因在图7中图示。

图7图示了处理器1220（110）接收701由相机46捕获的脸部数据703的帧705。如图7所示，从相机46的角度来看，接近相机46的脸702的视场706大于与远离相机46的脸704对应的视场708。因此，图像306、400中的脸大小是对象离观察相机46的距离的换性指标（proxydata）。对于任何给定的原始视频馈送，更接近相机的人的脸将看起来比离得更远的人更大。捕获图像306、400中的脸308越大，针对捕获图像400中的镜头失真405已经校正508的图像403中的脸308的明显变形507越大（其他所有相等）。因此，当Tianran 603坐在离相机约0.5米处时，镜头失真校正508引起明显变形507（参见606）。相反，当Tianran 603坐得远离相机46约2.0米时，变形507更不明显（参见608）。在Tianran 603在0.5米处的变焦视角中，即使初始失真校正的一些效果被否定，也将适于使变形507基本上正确，观看者将更加重视Tianran的脸的比例性而不是在背景中可能注意到的直线的曲化。相反，当Tianran 603远离相机46范围时，将需要比他更接近（例如606）时更少的变形507减少/调整，并且因此仍然可以有力地实现对失真405的校正。

在本公开的至少一个示例中，将基于图像400、306中的脸相对于中央304的位置308（例如，脸308离中央304的距离300）和脸308离相机46的距离300来确定镜头失真405校正公式。如上所述，脸308离中央304的距离300和脸308离相机46的距离300都引起讨论中的脸308的变形507的变化507。本公开的至少一个示例包括平衡失真校正的需要与变形507减少/最小化（1050）的需要的计算高效的方式。本公开的至少一个示例包括基于脸308离中央304的距离300和脸离相机46的距离300而在三个不同的镜头失真校正表之间切换的方法。

图8图示了自适应地校正（1050）脸部图像变形507的方法800。根据方法800，首先，视频会议端点10将检测有效讲话者（例如，411）并创建803针对该人411的有效讲话者视角（例如，500）。然后，方法800确定803脸308离房间视角401图像306、400的中央304的距离300是否超过包括捕获房间视角401（306、400）的相机46的视场的因素所确定的阈值（D）。如果脸308离房间视角401图像306、400的中央304的距离300不超过阈值——意味着脸308更接近中央304——则使用第一“背景”查找表。背景查找表强调失真校正508。对失真校正508的加权是可接受的，因为如上所述失真校正508不会对图像306的中央区域301引起非常大的变形507。然而，如果脸308离房间视角401图像306、400的中央304的距离300超过阈值（D），则方法800使用对象302的脸的大小308来进行对象302离相机46的距离的确定809作为对象302离相机46的距离的接近（proximity）。如果脸308具有超过大小阈值（S）的大小，则使用“大脸”查找表813。如果脸308具有不超过大小阈值（S）的大小，则使用第三“温和（mild）”查找表811。大脸查找表813比背景表807和温和表811更加强调变形507减少（1050）。温和表811比背景表807和大脸表813更均匀地平衡变形507减少（1050）和失真校正508。

示例背景查找表807的值在下面表1中示出。示例混合查找表811的值在下面表3中示出。示例大脸查找表813的值在表3中。来自表807、811和813的一些值被绘制在图9的具有变形减少（1050）的镜头失真校正508图900中。在图900中，在x轴上示出给定像素离原始图像400的中央的距离，并且在y轴上示出调整后的该像素的对应位置。在图900中，曲线902对应于针对主要位于宽视角图像400的中央部分301中的脸308的描绘的具有变形减少（1050）的镜头失真校正508。在图900中，曲线904对应于针对主要位于宽视角图像400的中央部分301外的脸308的较小描绘的具有变形减少（1050）的镜头失真校正508。在图900中，曲线906对应于针对主要位于宽视角图像400的中央部分301外的脸308的较大描绘的具有变形减少（1050）的镜头失真校正508。

图10图示了多个1000个聚焦视角图像。在聚焦视角图像1002、1004、1006、1008、1010、1013中，修改了在图像602（其中Tianran离相机46为0.5米）中描绘Tianran 603的方式，其中图像1002图示了最少量的变形减少1050并且图像1013图示了最大量的变形减少1050。在聚焦视角图像1015、1017、1019、1021、1023和1025中，修改了在图像604（其中Tianran离相机46为两米）中描绘Tianran 603的方式，其中图像1015图示了最小量的变形减少1050，并且图像1025图示了最大量的变形减少1050。在示出Tianran在0.5米处的图像（1002、1004，1006、1008、1010、1013）中，图像1010是最自然的。在示出Tianran在2米处的图像（1015、1017、1019、1021、1023、1025）中，图像1019是最自然的。图10的图像1000表明了当对象更接近广角相机46（例如，602）（和偏离其中央）时，镜头失真校正具有比对象更远离相机46（例如，604）时更大的引起图像变形的趋势。

图11图示了根据本公开的示例的具有160度镜头的广角相机46的视场1102。盲区1108限定了相机视场1102的极限。相机46的视场1102具有中央区域1106（例如，301）。视场1102可以根据离相机46的距离和远离中央区域1106的角距离而细分为区域（A、B、C、D、E、F）。每个区域（A、B、C、D、E、F）可以具有其自己的查找表，如图表1104中所组织的。

图12图示了可以用于实践上述概念和方法800的电子设备1200（诸如视频会议端点10）。本文公开的组件可以整体或部分地并入平板计算机、个人计算机、手机和利用一个或多个麦克风的其他设备中。如所示，设备1200可以包括处理器（CPU或处理器）1220（110）和系统总线1210。系统总线1210将各种系统组件——包括系统存储器1230，诸如只读存储器（ROM）1240和随机存取存储器（RAM）1250——互连到处理器1220（110）。处理器1220（110）可以是DSP（例如，1233、1235，参见图12）。设备1200可以包括高速存储器的高速缓存1222，其直接与处理器1220（110）连接、在处理器1220（110）的附近或集成为处理器1220（110）的部分。设备1200将来自存储器1230和/或存储设备1260的数据复制到高速缓存1222，以便由处理器1220（110）快速访问。以这种方式，高速缓存提供了性能提升，其避免了处理器1220（110）在等待数据时的延迟。这些和其他模块可以控制或被配置成控制处理器1220（110）以执行各种动作。其他系统存储器1230也可以可用于使用。存储器1230可以包括具有不同性能特性的多种不同类型的存储器。处理器1220（110）可以包括任何通用处理器和硬件模块或软件模块，诸如存储在存储设备1260中的模块1（1262）、模块2（1264）和模块3（1266），其被配置成控制处理器1220（110）以及专用处理器，其中软件指令被并入实际处理器1220（110）设计中。处理器1220（110）可以基本上是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器1220（110）可以是对称的或非对称的。

系统总线1210可以是若干类型的总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任何一种的本地总线。存储在ROM 1240等中的基本输入/输出系统（BIOS）可以提供有助于诸如在启动期间在设备1200内的元件之间传送信息的基本例程。设备1200还包括存储设备1260，诸如硬盘驱动器、磁盘驱动器、光盘驱动器、磁带驱动器等。存储设备1260可以包括用于控制处理器1220（110）的软件模块1262、1264、1266。考虑其他硬件或软件模块。存储设备1260通过驱动接口连接到系统总线1210。驱动器和相关联的计算机可读存储介质为设备1200提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在至少一个示例中，执行功能的硬件模块包括存储在非暂时性计算机可读介质中的软件组件，其耦合到执行功能所必需的硬件组件，诸如处理器1220（110）、总线1210、输出设备1270等。

为了解释的清楚性，图12的设备被呈现为包括各个功能块，包括标记为“处理器”或处理器1220（110）的功能块。这些块表示的功能可以使用共享或专用硬件来提供，包括但不限于能够执行软件的硬件和诸如处理器1220的特制成操作为等效于在通用处理器上执行的软件的硬件。例如，图12中呈现的一个或多个处理器的功能可以由单个共享处理器或多个处理器提供。（术语“处理器”的使用不应被解释为专指能够执行软件的硬件。）本公开的一个或多个示例包括微处理器硬件和/或数字信号处理器（DSP）硬件、用于存储执行下面一个或多个示例中讨论的操作的软件的只读存储器（ROM）1240、以及用于存储结果的随机存取存储器（RAM）1250。还可以使用超大规模集成（VLSI）硬件组件，以及结合通用DSP电路（1233、1235）的定制VLSI电路。

图13图示了减少由宽视角相机捕获的图像中的偏差的方法1300。方法1300包括：接收1302对应于第一视角的第一帧；渲染（render）1304具有中央区域的第一宽视角图像；检测1306指示第一宽视角图像的第一脸部分309中的脸的数据；确定1308第一脸部分309的中央在第一宽视角图像的中央区域外部；确定1310第一脸部分的尺寸（例如，300像素的宽度、400像素的宽度）；确定1312第一脸部分309的尺寸是否小于预定阈值（例如，250像素的宽度）；渲染1314对应于第一脸部分的聚焦视角图像1011、1019；对聚焦视角图像1011、1019施加1316一定量的失真校正；对聚焦视角图像1011、1019施加1318一定量的变形减少1050；并且显示1320与经修改的聚焦视角图像1011、1019对应的脸视角图像。

本公开的示例包括：

示例1.一种用于减少由广角相机46捕获的图像400中的偏差的方法800、1300，包括：在处理器110、1220处接收701对应于第一视角401的第一帧705；使用处理器110、1220渲染对应于第一帧705的第一宽视角图像403，第一宽视角图像403具有中央区域301；使用处理器110、1220检测第一宽视角图像403的第一脸部分309中的脸308，第一脸部分309具有中央312；使用处理器110、1220确定1308第一脸部分309的中央312在第一宽视角图像403的中央区域301外部；使用处理器110、1220并基于第一脸部分309的中央312在第一宽视角图像403的中央区域301外部的确定1308来确定1310第一脸部分的尺寸；使用处理器110、1220确定1312第一脸部分309的尺寸小于预定阈值（例如，250个像素）；并且使用处理器110、1220渲染1314对应于第一脸部分309的第一聚焦视角图像1011、1019，其中渲染1314第一聚焦视角图像1011、1019包括对第一脸部分309施加一定程度的失真校正508并且对第一脸部分309施加一定程度的变形减少1050。

示例2.示例1的方法800、1300，还包括：在处理器110、1220处接收701对应于第二视角的第二帧705；使用处理器110、1220渲染对应于第二帧705的第二宽视角图像403，第二宽视角图像403具有中央区域301；使用处理器110、1220检测第二宽视角图像403的第二脸部分309中的第二脸308，第二脸部分309具有中央；使用处理器110、1220确定第二脸部分309的中央312在第二宽视角图像403的中央区域301外部；使用处理器110、1220并且基于第二脸部分309的中央312在第二宽视角图像403的中央区域301外部的确定来确定第二脸部分的尺寸；使用处理器110、1220确定第二脸部分309的尺寸大于或等于预定阈值；并且使用处理器110、1220渲染1314对应于第二脸部分的第二聚焦视角图像1011、1019，其中渲染1314第二聚焦视角图像1011、1019包括对第二脸部分309施加一定程度的失真校正508并对第二脸部分施加一定程度的变形减少1050，其中对第二脸部分309施加的失真校正508的程度低于对第一脸部分施加的失真校正508的程度，并且其中对第二脸部分309施加的变形减少1050的程度大于对第一脸部分309施加的变形减少1050的程度。

示例3.示例2的方法800、1300，还包括：在处理器110、1220处接收701对应于第三视角的第三帧705；使用处理器110、1220渲染对应于第三帧705的第三宽视角图像403，第三宽视角图像403具有中央区域301；使用处理器110、1220检测第三宽视角图像403的第三脸部分309中的第三脸308，第三脸部分309具有中央；使用处理器110、1220确定第三脸部分309的中央312在第三宽视角图像403的中央区域301内部；

使用处理器110、1220并且基于第三脸部分309的中央312在第三宽视角图像403的中央区域301外部的确定来渲染1314对应于第三脸部分的第三聚焦视角图像1011、1019，其中渲染1314第三聚焦视角图像1011、1019包括对第三脸部分309施加一定程度的失真校正508并对第三脸部分施加一定程度的变形减少1050，其中对第三脸部分309施加的失真校正508的程度大于对第一脸部分施加的失真校正508的程度，并且其中对第三脸部分309施加的变形减少1050的程度低于对第一脸部分施加的变形减少1050的程度。

示例4.示例3的方法800、1300，其中第一帧705、第二帧705和第三帧705是相同的，并且其中第一宽视角图像403、第二宽视角图像403和第三宽视角图像403是不同的。

示例5.示例3的方法800、1300，其中：对第一脸部分309施加一定程度的失真校正508并对第一脸部分309施加一定程度的变形减少1050包括从第一查找表取得值；对第二脸部分309施加一定程度的失真校正508并对第二脸部分309施加一定程度的变形减少1050包括从第二查找表取得值；对第三脸部分309施加一定程度的失真校正508并对第三脸部分309施加一定程度的变形减少1050包括从第三查找表取得值，并且其中第一查找表中的一些值基于第三查找表中的一些值的外推，并且第一查找表中的一些值基于第二查找表中的一些值的内插。

示例6.示例1的方法800、1300，其中第一宽视角图像403的中央区域301具有在第一宽视角图像403中居中（centered）的700个像素的半径。

示例7.示例1的方法800、1300，其中第一脸部分309的尺寸是宽度，并且预定阈值是250个像素。

示例8.示例1的方法800、1300，还包括使用广角镜头捕获对应于第一帧705的图像数据。

示例9.示例1的方法800、1300，其中具有大于一百五十九度且小于一百八十度的视场的图像传感器来捕获对应于第一帧705的图像数据。

示例10.示例1的方法800、1300，其中渲染第一宽视角图像403包括使用第一显示设备48显示第一宽视角图像403，并且其中渲染1314第一聚焦视角图像1011、1019包括使用第二显示设备1270显示第一聚焦视角图像1011、1019的至少一些。

示例11.示例10的方法800、1300，其中第一显示设备48和第二显示设备1270是不同的。

示例12. 一种视频会议端点10，包括：广角相机46；显示设备48；处理器110、1220，耦合到广角相机46和显示设备48；存储器，存储可由处理器110、1220执行的指令，其中所述指令包括用于以下操作的指令：接收对应于第一视角401的第一帧705；渲染第一宽视角图像403，第一宽视角图像403对应于第一帧705并具有中央区域301；检测第一宽视角图像403的第一脸部分309中的脸308，第一脸部分309具有中央；确定第一脸部分309的中央312在第一宽视角图像403的中央区域301外部；使用处理器110、1220并基于第一脸部分309的中央312在第一宽视角图像403的中央区域301外部的确定来确定第一脸部分的尺寸；确定第一脸部分309的尺寸小于预定阈值；使用显示设备48渲染对应于第一脸部分的聚焦视角图像1011、1019，其中使用显示设备48渲染聚焦视角图像1011、1019的指令包括对第一脸部分309施加一定程度的失真校正508并对第一脸部分施加一定程度的变形减少1050的指令。

示例13.示例12的视频会议端点10，其中，所述指令还包括用于以下操作的指令：接收对应于第二视角的第二帧705；使用显示设备48渲染对应于第二帧705的第二宽视角图像403，第二宽视角图像403具有中央区域301；检测第二宽视角图像403的第二脸部分309中的第二脸308，第二脸部分309具有中央；确定第二脸部分309的中央312在第二宽视角图像403的中央区域301外部；使用处理器110、1220并基于第二脸部分309的中央312在第二宽视角图像403的中央区域301外部的确定来确定第二脸部分的尺寸；确定第二脸部分309的尺寸大于或等于预定阈值；使用显示设备48渲染对应于第二脸部分的第二聚焦视角图像1011、1019，其中渲染第二聚焦视角图像1011、1019的指令包括对第二脸部分309施加一定程度的失真校正508并对第二脸部分309施加一定程度的变形减少1050的指令，其中对第二脸部分309施加的失真校正508的程度低于对第一脸部分施加的失真校正508的程度，并且其中对第二脸部分309施加的变形减少1050的程度大于对第一脸部分施加的变形减少1050的程度。

示例14.示例13的视频会议端点10，所述指令还包括用于以下操作的指令：接收对应于第三视角的第三帧705；使用显示设备48渲染对应于第三帧705的第三宽视角图像403，第三宽视角图像403具有中央区域301；检测第三宽视角图像403的第三脸部分309中的第三脸308，第三脸部分309具有中央；确定第三脸部分309的中央312在第三宽视角图像403的中央区域301的内部；使用显示设备48并基于第三脸部分309的中央312在第三宽视角图像403的中央区域301外部的确定来渲染对应于第三脸部分的第三聚焦视角图像1011、1019，其中，渲染第三聚焦视角图像1011、1019的指令包括对第三脸部分309施加一定程度的失真校正508并对第三脸部分施加一定程度的变形减少1050的指令，其中，对第三脸部分309施加的失真校正508的程度大于对第一脸部分施加的失真校正508的程度，并且其中对第三脸部分309施加的变形减少1050的程度低于对第一脸部分施加的变形减少1050的程度。

示例15.示例14的视频会议端点10，其中第一帧705、第二帧705和第三帧705是相同的，并且其中第一宽视角图像403、第二宽视角图像403和第三宽视角图像403是不同的。

示例16.示例14的视频会议端点10，其中：对第一脸部分309施加一定程度的失真校正508并对第一脸部分309施加一定程度的变形减少1050的指令包括从第一查找表取得值的指令；对第二脸部分309施加一定程度的失真校正508并对第二脸部分309施加一定程度的变形减少1050的指令包括从第二查找表取得值的指令；对第三脸部分309施加一定程度的失真校正508并对第三脸部分309施加一定程度的变形减少1050的指令包括从第三查找表取得值的指令，其中第一查找表、第二查找表和第三查找表是不同的。

示例17.示例12的视频会议端点10，其中第一宽视角图像403的中央区域301具有在第一宽视角图像403中居中的700个像素的半径。

示例18.示例12的视频会议端点10，其中第一脸部分309的尺寸是宽度，并且预定阈值是宽视角图像403的宽度的百分之十五。

示例19.示例12的视频会议端点10，其中广角相机46包括广角镜头。

示例20.示例12的视频会议端点10，其中广角相机46包括图像传感器，所述图像传感器具有大于一百五十九度且小于一百八十度的视场。

以上描述的示例仅以说明的方式提供，且不应解释为限制本公开的范围。在不脱离本公开的范围且不脱离以下权利要求的情况下，可以对本文描述的原理和示例进行各种修改和改变。

Claims (20)

1.一种用于减少由广角相机捕获的图像中的偏差的方法，包括：

在处理器处接收对应于第一视角的第一帧；

使用处理器渲染对应于第一帧的第一宽视角图像，第一宽视角图像具有中央区域；

使用处理器检测第一宽视角图像的第一脸部分中的脸，第一脸部分具有中央；

使用处理器确定第一脸部分的中央在第一宽视角图像的中央区域外部；

使用处理器并基于第一脸部分的中央在第一宽视角图像的中央区域外部的确定来确定第一脸部分的尺寸；

使用处理器确定第一脸部分的尺寸小于预定阈值；和

使用处理器渲染对应于第一脸部分的第一聚焦视角图像，其中渲染第一聚焦视角图像包括对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少。

2.根据权利要求1所述的方法，还包括：

在处理器处接收对应于第二视角的第二帧；

使用处理器渲染对应于第二帧的第二宽视角图像，第二宽视角图像具有中央区域；

使用处理器检测第二宽视角图像的第二脸部分中的第二脸，第二脸部分具有中央；

使用处理器确定第二脸部分的中央在第二宽视角图像的中央区域外部；

使用处理器并基于第二脸部分的中央在第二宽视角图像的中央区域外部的确定来确定第二脸部分的尺寸；

使用处理器确定第二脸部分的尺寸大于或等于所述预定阈值；

使用处理器渲染对应于第二脸部分的第二聚焦视角图像，其中渲染第二聚焦视角图像包括对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少，

其中对第二脸部分施加的失真校正的程度低于对第一脸部分施加的失真校正的程度，并且其中对第二脸部分施加的变形减少的程度大于对第一脸部分施加的变形减少的程度。

3.根据权利要求2所述的方法，还包括：

在处理器处接收对应于第三视角的第三帧；

使用处理器渲染对应于第三帧的第三宽视角图像，第三宽视角图像具有中央区域；

使用处理器检测第三宽视角图像的第三脸部分中的第三脸，第三脸部分具有中央；

使用处理器确定第三脸部分的中央在第三宽视角图像的中央区域的内部；

使用处理器并基于第三脸部分的中央在第三宽视角图像的中央区域外部的确定来渲染对应于第三脸部分的第三聚焦视角图像，其中，渲染第三聚焦视角图像包括对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少，

其中，对第三脸部分施加的失真校正的程度大于对第一脸部分施加的失真校正的程度，并且其中对第三脸部分施加的变形减少的程度低于对第一脸部分施加的变形减少的程度。

4.根据权利要求3所述的方法，其中，第一帧、第二帧和第三帧是相同的，并且其中第一宽视角图像、第二宽视角图像和第三宽视角图像是不同的。

5.根据权利要求3所述的方法，其中：

对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少包括从第一查找表取得值；

对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少包括从第二查找表取得值；

对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少包括从第三查找表取得值，并且

其中，第一查找表中的一些值基于第三查找表中的一些值的外推，并且第一查找表中的一些值基于第二查找表中的一些值的内插。

6.根据权利要求1所述的方法，其中，第一宽视角图像的中央区域具有在第一宽视角图像中居中的700个像素的半径。

7.根据权利要求1所述的方法，其中，所述第一脸部分的尺寸是宽度，并且所述预定阈值是250个像素。

8.根据权利要求1所述的方法，还包括使用广角镜头捕获对应于第一帧的图像数据。

9.根据权利要求1所述的方法，其中，使用具有大于一百五十九度且小于一百八十度的视场的图像传感器来捕获对应于第一帧的图像数据。

10.根据权利要求1所述的方法，其中，渲染第一宽视角图像包括使用第一显示设备显示第一宽视角图像，并且其中渲染第一聚焦视角图像包括使用第二显示设备显示第一聚焦视角图像的至少一些。

11.根据权利要求10所述的方法，其中，第一显示设备和第二显示设备是不同的。

12.一种视频会议端点，包括：

广角相机；

显示设备；

处理器，耦合到广角相机和显示设备；

存储器，存储可由处理器执行的指令，其中所述指令包括用于以下操作的指令：

接收对应于第一视角的第一帧；

渲染第一宽视角图像，第一宽视角图像对应于第一帧并且具有中央区域；

检测第一宽视角图像的第一脸部分中的脸，第一脸部分具有中央；

确定第一脸部分的中央在第一宽视角图像的中央区域外部；

使用处理器并基于第一脸部分的中央在第一宽视角图像的中央区域外部的确定来确定第一脸部分的尺寸；

确定第一脸部分的尺寸小于预定阈值；和

使用显示设备渲染对应于第一脸部分的聚焦视角图像，其中使用显示设备渲染聚焦视角图像的指令包括对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少的指令。

13.根据权利要求12所述的视频会议端点，其中所述指令还包括用于以下操作的指令：

接收对应于第二视角的第二帧；

使用显示设备渲染对应于第二帧的第二宽视角图像，第二宽视角图像具有中央区域；

检测第二宽视角图像的第二脸部分中的第二脸，第二脸部分具有中央；

确定第二脸部分的中央在第二宽视角图像的中央区域外部；

使用处理器并基于第二脸部分的中央在第二宽视角图像的中央区域外部的确定来确定第二脸部分的尺寸；

确定第二脸部分的尺寸大于或等于所述预定阈值；

使用显示设备渲染对应于第二脸部分的第二聚焦视角图像，其中渲染第二聚焦视角图像的指令包括对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少的指令，

其中对第二脸部分施加的失真校正的程度低于对第一脸部分施加的失真校正的程度，并且其中对第二脸部分施加的变形减少的程度大于对第一脸部分施加的变形减少的程度。

14.根据权利要求13所述的视频会议端点，所述指令还包括用于以下操作的指令：

接收对应于第三视角的第三帧；

使用显示设备渲染对应于第三帧的第三宽视角图像，第三宽视角图像具有中央区域；

检测第三宽视角图像的第三脸部分中的第三脸，第三脸部分具有中央；

确定第三脸部分的中央在第三宽视角图像的中央区域内部；

使用显示设备并基于第三脸部分的中央在第三宽视角图像的中央区域外部的确定来渲染对应于第三脸部分的第三聚焦视角图像，其中，渲染第三聚焦视角图像的指令包括对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少的指令，

其中，对第三脸部分施加的失真校正的程度大于对第一脸部分施加的失真校正的程度，并且其中对第三脸部分施加的变形减少的程度低于对第一脸部分施加的变形减少的程度。

15.根据权利要求14所述的视频会议端点，其中第一帧、第二帧和第三帧是相同的，并且其中第一宽视角图像、第二宽视角图像和第三宽视角图像是不同的。

16.根据权利要求14所述的视频会议端点，其中：

对第一脸部分施加一定程度的失真校正并对第一脸部分施加一定程度的变形减少的指令包括从第一查找表取得值的指令；

对第二脸部分施加一定程度的失真校正并对第二脸部分施加一定程度的变形减少的指令包括从第二查找表取得值的指令；并且

对第三脸部分施加一定程度的失真校正并对第三脸部分施加一定程度的变形减少的指令包括从第三查找表取得值的指令，

其中第一查找表、第二查找表和第三查找表是不同的。

17.根据权利要求12所述的视频会议端点，其中，第一宽视角图像的中央区域具有在第一宽视角图像中居中的700个像素的半径。

18.根据权利要求12所述的视频会议端点，其中，所述第一脸部分的尺寸是宽度，并且所述预定阈值是500个像素。

19.根据权利要求12所述的视频会议端点，其中，所述广角相机包括广角镜头。

20.根据权利要求12所述的视频会议端点，其中，所述广角相机包括图像传感器，所述图像传感器具有大于一百五十九度且小于一百八十度的视场。

Images