CN111741303B - 深度视频处理方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种深度视频处理方法、深度视频处理装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。该深度视频处理方法包括：获取待处理视频中至少两帧原始深度信息；根据所述至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频；根据所述至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频；将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频。本公开可以通过对深度视频的有效处理，提高深度视频的帧率。

Description

深度视频处理方法、装置、存储介质与电子设备

技术领域

本公开涉及视频处理技术领域，尤其涉及一种深度视频处理方法、深度图像处理装置、计算机可读存储介质与电子设备。

背景技术

随着图像、视频技术的不断发展，深度视频在很多领域都得到了广泛应用。其中，深度视频对应于彩色视频，其反映的是对象物体距离相机的远近。在实际应用中，为了满足人们的需求，经常会有需要提高深度视频的帧率情况，以获取流畅、清晰的视频。

现有技术中，往往是通过增加深度图像的采集频率来实现提高深度视频的帧率的，但是，这种方式通常对采集终端具有较高的硬件要求，导致终端硬件成本急剧增加，且较高的采集频率也会导致器件功耗的增大。因此，如何采取有效的深度视频处理方法是现有技术解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种深度视频处理方法、深度视频处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善终端设备进行视频处理的性能，提高深度视频的帧率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种深度视频处理方法，包括：获取待处理视频中至少两帧原始深度信息；根据所述至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频；根据所述至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频；将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频。

根据本公开的第二方面，提供一种深度视频处理装置，包括：原始信息获取模块，用于获取待处理视频中至少两帧原始深度信息；第一视频生成模块，用于根据所述至少两帧原始深度信息先进行深度图像转换，再进行插帧处理，生成第一中间视频；第二视频生成模块，用于根据所述至少两帧原始深度信息先进行插帧处理，再进行深度图像转换，生成第二中间视频；中间视频融合模块，用于将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述深度视频处理方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述深度视频处理方法。

本公开的技术方案具有以下有益效果：

根据上述深度视频处理方法、深度视频处理装置、计算机可读存储介质与电子设备，获取待处理视频中至少两帧原始深度信息；根据至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频；根据至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频；将第一中间视频与第二中间视频进行融合，生成目标深度视频。一方面，通过采用插帧的方式，实现提高深度视频的帧率，相比于现有技术通过增加深度图像的采集频率的方式，避免增加额外的硬件成本，且降低了终端设备的功耗；另一方面，本示例性实施例通过两种方式分别得到第一中间深度视频和第二中间深度视频，通过两路拟合的方式，以丰富且多样的插帧深度图像，确定目标深度图像，不仅提高了深度视频的帧率，还保证了插帧图像的准确性，和目标深度视频的流畅性；再一方面，本示例性实施例仅通过对获取的原始深度信息的处理，即可以得到最终的目标深度视频，处理过程简单，提高了终端设备的性能，且具有较广的应用范围。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式的一种系统架构的示意图；

图2示出本示例性实施方式的电子设备的示意图；

图3示出本示例性实施方式的一种深度视频处理方法的流程图；

图4示出本示例性实施方式的一种深度视频处理方法的子流程图；

图5示出本示例性实施方式的另一种深度视频处理方法的子流程图；

图6示出了本示例性实施方式的一种插帧处理过程的示意图；

图7示出本示例性实施方式中一种基于运动估计确定运动矢量的示意图；

图8示出本示例性实施方式中一种对修正后的运动矢量的示意图；

图9示出本示例性实施方式中一种基于运动补偿进行插帧的示意图；

图10示出本示例性实施方式的再一种深度视频处理方法的子流程图；

图11示出本示例性实施方式中一种结构光模组的架构示意图；

图12示出本示例性实施方式的一种深度视频处理装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种深度视频处理方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备110，网络120和服务器130。网络120用于在终端设备110和服务器130之间提供通信链路的介质。网络120可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备110可以是各种具有图像处理或视频处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器130可以是多个服务器组成的服务器集群等。

本公开实施例所提供的深度视频处理方法一般由终端设备110执行，相应地，深度视频处理装置一般设置于终端设备110中。但本领域技术人员容易理解的是，本公开实施例所提供的深度视频处理方法也可以由服务器130执行，相应的，深度视频处理装置也可以设置于服务器130中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，用户可以通过终端设备110设置的用于采集深度图像或视频的传感器收集待处理视频的原始深度信息，然后将原始深度信息上传至服务器130，服务器130通过本示例性实施例所提供的深度视频处理方法生成目标深度视频后，将目标深度视频传输给终端设备110等。

本公开的示例性实施方式提供一种用于实现深度视频处理方法的电子设备，其可以是图1中的终端设备110或服务器130。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行深度视频处理方法。

电子设备可以以各种形式来实施，例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、可穿戴设备、无人机等移动设备，以及台式电脑、智能电视等固定设备。下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成读取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。在一些实施方式中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施方式中，处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-IntegratedCircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端200的其他部件形成连接。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端200连接其他电子设备，例如连接电脑、外围设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理模块240可以通过移动终端200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为电子设备供电。

电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施方式中，电源管理模块241也可以设置于处理器210中。在另一些实施方式中，电源管理模块241和充电管理模块240也可以设置于同一个器件中。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施方式中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(Low Noise Amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波、放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施方式中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施方式中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器271，受话器272等)输出声音信号，或通过显示屏290显示图像或视频。在一些实施方式中，调制解调处理器可以是独立的器件。在另一些实施方式中，调制解调处理器可以独立于处理器210，与移动通信模块250或其他功能模块设置在同一个器件中。

无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(Global System for Mobile communications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(CodeDivision Multiple Access，CDMA)，宽带码分多址(Wideband Code DivisionMultipleAccess，WCDMA)，时分码分多址(Time Division-SynchronousCode DivisionMultiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(GlobalPositioning System，GPS)，全球导航卫星系统(Global Navigation Satellite System，GLONASS)，北斗卫星导航系统(BeidouNavigation Satellite System，BDS)，准天顶卫星系统(Quasi-Zenith Satellite System，QZSS)和/或星基增强系统(Satellite BasedAugmentation Systems，SBAS)。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏290用于显示图像，视频等。显示屏290包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)，有机发光二极管(Organic Light-EmittingDiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode，AMOLED)，柔性发光二极管(Flexlight-EmittingDiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(Quantum dot LightEmittingDiodes，QLED)等。在一些实施方式中，移动终端200可以包括1个或N个显示屏290，N为大于1的正整数。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。

ISP用于处理摄像模组291反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施方式中，ISP可以设置在摄像模组291中。

摄像模组291用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施方式中，移动终端200可以包括1个或N个摄像模组291，N为大于1的正整数，若移动终端200包括N个摄像头，N个摄像头中有一个是主摄像头。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当移动终端200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。移动终端200可以支持一种或多种视频编解码器。这样，移动终端200可以播放或录制多种编码格式的视频，例如：动态图像专家组(Moving Picture Experts Group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施方式中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。移动终端200可以通过扬声器271收听音乐，或收听免提通话。

受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当移动终端200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。

麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。移动终端200可以设置至少一个麦克风273。在另一些实施方式中，移动终端200可以设置两个麦克风273，除了采集声音信号，还可以实现降噪功能。在另一些实施方式中，移动终端200还可以设置三个，四个或更多麦克风273，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口274用于连接有线耳机。耳机接口274可以是USB接口230，也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform，OMTP)标准接口，美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA，CTIA)标准接口。

深度传感器2801用于获取景物的深度信息。在一些实施方式中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施方式中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。

陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器2803检测移动终端200抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消移动终端200的抖动，实现防抖。陀螺仪传感器2803还可以用于导航，体感游戏场景。

气压传感器2804用于测量气压。在一些实施方式中，移动终端200通过气压传感器2804测得的气压值计算海拔高度，辅助定位和导航。

此外，根据实际需要，还可以在传感器模块280中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等等。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。

马达293可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈，例如作用于不同应用(如拍照、游戏、音频播放等)的触摸操作，或者作用于显示屏290不同区域的触摸操作，可以对应不同的振动反馈效果。触摸振动反馈效果可以支持自定义。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和移动终端200的接触和分离。移动终端200可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口295可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。移动终端200通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施方式中，移动终端200采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在移动终端200中，不能和移动终端200分离。

下面对本公开示例性实施方式的深度视频处理方法和深度视频处理装置进行具体说明。

图3示出了本示例性实施方式中一种深度视频处理方法的流程，包括以下步骤S310～S340：

步骤S310，获取待处理视频中至少两帧原始深度信息。

待处理视频是指需要进行帧率转换处理，以提高其帧率的视频。在待处理视频中，其所包含的每一个图像帧中，用于反映像素点深度的信息，即为原始深度信息。在本示例性实施例中，原始深度信息可以直接通过终端设备中设置的深度传感器或摄像模组实时获取，例如可以通过终端设备中设置的结构光摄像模组获取，也可以通过TOF(Time OfFlight，飞行时间)传感器获取等等。此外，原始深度信息也可以通过从特定视频源中先获取待处理视频，再根据该待处理视频分析提取得到，例如从网络下载一视频，通过对该视频中每一帧图像进行分析，得到每一帧图像对应的原始深度信息等。

在一示例性实施例中，上述步骤S310可以包括以下步骤：

获取由深度传感器输出的至少两帧深度传感信号，其中每一帧深度传感信号与待处理视频中的一帧图像具有对应关系；

按照预设尺寸对至少两帧深度传感信号进行排列，得到二维的原始深度信息。

其中，深度传感器输出的每一帧深度传感信号与待处理视频中的图像具有对应关系，二维的原始深度信息可以包括二维图像信息。考虑到，不同传感器或者摄像模组直接收集到的深度传感信号的形式不同，本示例性实施例在接收到深度传感器输出的至少两帧深度传感信号后，可以对其进行数据转换处理。

具体的，当接收到的深度传感信号为一维信息时，可以根据预设尺寸按照特定顺序对一维信息进行排列，生成二维图像信息。例如，可以将CMOS感光元件上按行采集得到的电信号，根据预设尺寸，按列排布形成二维电荷图像，得到二维图像信息；当接收到的深度传感信号为二维信息时，还可以对二维信息按照一定顺序进行重排，生成二维图像信息。例如，可以对相位图像进行逆序重排；当接收到的深度传感信号为三维信息时，可以按时间轴顺序得到一系列的二维信息，针对多张二维信息，可以按照一定顺序进行像素级加权映射等操作，生成二维图像信息。其中，一定顺序可以是时间顺序、位置顺序或者预先指定的其它顺序等，本公开对此不做具体限定。

特别的，本示例性实施例可以应用于对结构光模组获取的结构光信号进行处理，则上述深度传感器可以包括结构光模组；

深度传感信号包括：结构光模组采集激光条纹、格雷码、正弦条纹中的任意一种或多种，并进行编码所得到的信号。

结构光模组中可以包括信号发射器和信号接收器，当信号接收器接收到原始的电荷信息后，可以对其进行预处理，以得到如激光条纹、格雷码、正弦条纹中的任意一种或多种电信号数据。此外，预处理还可以包括其他处理方式，例如将电荷信息处理为散斑信号后，在对其进行累加、时域或空域的分析等，以得到用于生成后续深度图像的中间数据等等。

步骤S320，根据至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频。

步骤S330，根据至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频。

其中，深度图像生成过程是指根据深度信息生成对应的深度图像的过程，插帧处理过程是指根据至少两帧深度信息或至少两帧深度图像进行插值，生成新的深度信息或深度图像的过程。本示例性实施例中，深度图像生成过程与插帧处理过程可以视为对待处理视频进行帧率转换的过程，通过提高待处理视频每秒的显示帧率，改变待处理视频的帧率，从而可以更加流畅和逼真的进行视频播放。

本示例性实施例可以分别通过两种方式得到对应的第一中间视频与第二中间视频，其中，第一中间视频与第二中间视频并非是最终的目标深度视频，而是用于生成最终目标深度视频的中间视频数据。

具体的，在一示例性实施例中，第一中间视频的生成过程，如图4所示，上述步骤S320可以包括以下步骤：

步骤S410，将至少两帧原始深度信息分别转换为对应的深度图像；

步骤S420，根据至少两帧原始深度信息对应的深度图像，进行插帧处理过程；

步骤S430，基于插帧得到的深度图像与至少两帧原始深度信息对应的深度图像，生成第一中间视频。

首先，将获取的原始深度信息进行深度图像的转换，生成对应的深度图像，其中，深度图像的生成过程可以包括，根据原始深度信息，确定深度图像中各像素点的赋值，然后根据赋值确定对应的深度图像。进一步的，深度图像生成后，根据至少两帧深度图像执行插帧处理过程，插帧时，可以是在任意相邻的两帧深度图像之间进行插帧，也可以是在多帧深度图像之间进行插帧，也可以根据实际需要在特定的至少两帧深度图像之间进行插帧，本示例性实施例对此不做具体限定。最后，将插帧得到的深度图像和至少两帧原始深度信息对应的深度图像按照时间顺序进行排列输出，即可以生成第一中间视频。

在一示例性实施例中，第二中间视频的生成过程，如图5所示，上述步骤S330可以包括以下步骤：

步骤S510，根据至少两帧原始深度信息进行插帧处理过程，并将插帧得到的深度信息与原始深度信息分别转换为对应的深度图像；

步骤S520，基于插帧得到的深度信息与原始深度信息分别对应的深度图像，生成第二中间视频。

第二中间视频的生成过程与第一中间视频的生成过程相反，需要先根据原始深度信息进行插帧处理，得到插帧深度信息后，再根据插帧得到的插帧信息和原始深度信息生成深度图像的生成。在对原始深度信息进行插帧处理过程时，由于可能出现不同形式的二维的原始深度信息，例如由一维信息或二维信息或一系列二维信息转化得到的二维图像信息。因此，针对不同形式原始深度信息，可以通过不同的方式进行插帧处理过程，具体可以包括，如果用于产生深度图像的原始深度信息为单帧，则可以直接采用对应的两帧原始深度信息进行插帧处理过程，生成新的插帧深度信息；如果用于产生深度图像的原始深度信息为一系列二维信息转化得到的，则在进行插帧处理过程时，可以按照固定顺序，分别用至少两幅二维信息作为输入，进行插帧处理过程，生成对应的插帧深度信息，该顺序为时间相位顺序或其他顺序等。举例说明，如图6所示，原始深度信息P和原始深度信息T，分别对应N幅二维信息P₁、P₂、…、P_N，以及T₁、T₂、…、T_N，按时间相位顺序，分别对每对二维信息进行插帧，得到不同的插帧二维信息Q₁、Q₂、…、Q_N，然后将得到的插帧二维信息进行合并，生成新的插帧深度信息Q。

在一示例性实施例中，上述插帧处理过程可以采用运动估计与运动补偿、光流法、神经网络中的任意一种或多种方法。

以运动估计与运动补偿的方法举例而言，插帧处理过程可以包括以下两个步骤：

1、运动估计

根据至少两幅图像，采用运动估计的方法确定两幅图像中所有物体或区域的运动矢量。具体的，可以将两幅图像记为当前图像和参考图像，按照预设大小对两幅图像进行分块，并对分块后的图像进行遍历，搜索当前图像中每个块在参考图像中的匹配块，确定当前图像每个块相对于参考图像的运动矢量(前向MV)，同理，采用上述方法确定参考图像每个块相对于当前图像的运动矢量(后向MV)，如图7所示。

随后，对前后向MV进行修正操作，其中，修正操作包括滤波，加权等多种操作中至少一种或多种的组合，最终确定每个块的前向或后向MV，如图8所示。

2、运动补偿

通过插帧时间相位对最终确定的每个块的前向或后向MV进行校正，然后在插帧图像中生成每个插值块相对于当前图像和参考图像的映射MV，按照该映射MV在参考图像和当前图像中找到对应块，进行两个块的权重插值，生成该插值块的所有像素，最终得到插帧图像，如图9所示。

在一示例性实施例中，上述插帧得到的深度图像与插帧得到的深度信息具有相同的帧数和相同的时间戳。

在本示例性实施例中，生成第一中间深度视频的过程中，对深度图像进行插帧，与生成第二中间深度视频的过程中，对深度信息进行插帧，其插帧的数量与插帧位置相同，时间戳即视频中的时间节点或时间相位。其中，待插帧的数量可以通过以下方式确定，可以根据最终的编码或显示帧率进行确定，例如输出需要以120Hz进行显示，此时输入只有30Hz，则待插帧的帧数为输入帧数量的3倍，总输出帧数为输入帧数量的4倍；或者可以根据视频中场景的变化剧烈程度进行确定，例如检测视频中主要物体的运动程度或场景的变化程度，变化的程度越强，插帧的数量越多，反之越少；再或者可以根据人工指定进行确定，通过插帧人员的需求手动指定插帧的数量等等，本公开对此不做具体限定。

待插帧的位置可以通过以下方式确定，确定待插帧的位置和插帧策略，在两帧原始帧图像之间等间距划分为N份，每一份为一个时间相位，等相位进行插帧，即待插帧数量为N，按时间顺序，在每个相位进行插帧；或者进行非等相位进行插帧，即N大于待插帧数量，待插帧在设定的相位进行插帧等等。

另外，在上述两种中间深度视频的插帧过程中，也可以使用相同的插帧策略，具体可以包括，根据已经得到的输出和输入帧数等信息，计算每两个输入帧之间待插帧的帧数量，并按照均匀时间相位，进行等相位插帧；或者根据输出的帧数和每两个输入帧之间的场景变化程度，进行非均匀插帧；或者变化剧烈的两个输入帧之间多插帧，变化缓慢的两个输入帧之间少插帧，甚至不插帧；再或者可以根据功耗的要求，进行非均匀插帧；变化剧烈的两个输入帧之间少插帧，甚至不插帧，变化缓慢的两个输入帧之间多插帧等等，本公开对此不做具体限定。

步骤S340，将第一中间视频与第二中间视频进行融合，生成目标深度视频。

其中，对第一中间视频与第二中间视频进行融合，可以通过多种方式，例如根据视频内容，对第一中间深度视频和第二中间深度视频进行剪辑和拼接处理，如目标深度视频的前半段采用第一中间深度视频，后半段采用第二中间深度视频；也可以对第一中间深度视频和第二中间深度视频中每一时间戳的图像帧进行加权计算等。

具体的，在一示例性实施例中，如图10所示，上述步骤S430可以包括以下步骤：

步骤S1010，对第一中间视频与第二中间视频中，处于相同时间戳的图像帧进行加权计算，得到每个时间戳对应的目标图像帧；

步骤S1020，将目标图像帧按照时间顺序排列，生成目标深度视频。

本示例性实施例可以通过将步骤S320和步骤S330中得到的中间视频中所包含的深度图像进行拟合，得到最终的高帧率的目标深度视频。拟合过程可以包括，在第一中间深度视频与第二中间深度视频中时间轴中，处于相同时间戳的对应的两幅图像帧进行加权计算，得到每个时间戳对应的目标图像帧，具体的，可以通过以下公式计算得到目标图像帧每个像素点的深度信息：

其中，i，j表示图像帧中每个像素点的坐标，F⁰和F¹分别为第一中间深度视频与第二中间深度视频处于同一时间戳的两张深度图像，w为权重，且不大于1，图像分辨率为M*N，权重的设置可以根据需要进行自定义设置，例如权重可以设置为0.5或1.0等。

下面以结构光模组为例，对本示例性实施例生成目标深度图像的架构进行说明，如图11所示，信号发射模块1110将结构光信息发射到任意对象1120，信号接收器1130在接收到原始深度信息后，通过两个过程，其一，先经由图像生成模块1140进行深度图像的生成，再经由插帧处理模块1150，对深度图像进行插帧，得到第一中间深度视频；其二，先经由插帧处理模块1150对深度信息进行插帧，再经由图像生成模块1140，生成插帧信息和原始深度信息对应的深度图像，得到第二中间深度视频。最后，由视频融合模块1160对第一中间视频和第二中间视频进行融合，得到目标深度视频。本示例性实施例通过对结构光模组架构的改造，可以降低终端设备的功耗，提高了结构光模组的性能，以及深度视频的帧率。

综上，本示例性实施方式中，获取待处理视频中至少两帧原始深度信息；根据至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频；根据至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频；将第一中间视频与第二中间视频进行融合，生成目标深度视频。一方面，通过采用插帧的方式，实现提高深度视频的帧率，相比于现有技术通过增加深度图像的采集频率的方式，避免增加额外的硬件成本，且降低了终端设备的功耗；另一方面，本示例性实施例通过两种方式分别得到第一中间深度视频和第二中间深度视频，通过两路拟合的方式，以丰富且多样的插帧深度图像，确定目标深度图像，不仅提高了深度视频的帧率，还保证了插帧图像的准确性，和目标深度视频的流畅性；再一方面，本示例性实施例仅通过对获取的原始深度信息的处理，即可以得到最终的目标深度视频，处理过程简单，提高了终端设备的性能，且具有较广的应用范围。

本公开的示例性实施方式还提供一种深度视频处理装置。如图12所示，该深度视频处理装置1200可以包括：原始信息获取模块1210，用于获取待处理视频中至少两帧原始深度信息；第一视频生成模块1220，用于根据至少两帧原始深度信息先进行深度图像转换，再进行插帧处理，生成第一中间视频；第二视频生成模块1230，用于根据至少两帧原始深度信息先进行插帧处理，再进行深度图像转换，生成第二中间视频；中间视频融合模块1240，用于将第一中间视频与第二中间视频进行融合，生成目标深度视频。

在一示例性实施例中，第一视频生成模块包括：图像转换单元，用于将至少两帧原始深度信息分别转换为对应的深度图像；插帧单元，用于根据至少两帧原始深度信息对应的深度图像，进行插帧处理过程；第一视频生成单元，用于基于插帧得到的深度图像与至少两帧原始深度信息对应的深度图像，生成第一中间视频。

在一示例性实施例中，第二视频生成模块包括：图像处理单元，用于根据至少两帧原始深度信息进行插帧处理过程，并将插帧得到的深度信息与原始深度信息分别转换为对应的深度图像；第二视频生成单元，用于基于插帧得到的深度信息与原始深度信息分别对应的深度图像，生成第二中间视频。

在一示例性实施例中，插帧得到的深度图像与插帧得到的深度信息具有相同的帧数和相同的时间戳。

在一示例性实施例中，中间视频融合模块包括：加权计算单元，用于对第一中间视频与第二中间视频中，处于相同时间戳的图像帧进行加权计算，得到每个时间戳对应的目标图像帧；视频生成单元，用于将目标图像帧按照时间顺序排列，生成目标深度视频。

在一示例性实施例中，原始信息获取模块包括：信号获取单元，用于获取由深度传感器输出的至少两帧深度传感信号，其中每一帧深度传感信号与待处理视频中的一帧图像具有对应关系；信号排列单元，用于按照预设尺寸对至少两帧深度传感信号进行排列，得到二维的原始深度信息。

在一示例性实施例中，深度传感器包括结构光模组；深度传感信号包括：结构光模组采集激光条纹、格雷码、正弦条纹中的任意一种或多种，并进行编码所得到的信号。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5或图10中任意一个或多个步骤。

本公开的示例性实施方式还提供了一种用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种深度视频处理方法，其特征在于，包括：

获取待处理视频中至少两帧原始深度信息；

根据所述至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频；

根据所述至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频；

将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两帧原始深度信息先进行深度图像生成过程，再进行插帧处理过程，生成第一中间视频，包括：

将所述至少两帧原始深度信息分别转换为对应的深度图像；

根据所述至少两帧原始深度信息对应的深度图像，进行插帧处理过程；

基于插帧得到的深度图像与所述至少两帧原始深度信息对应的深度图像，生成第一中间视频。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少两帧原始深度信息先进行插帧处理过程，再进行深度图像生成过程，生成第二中间视频，包括：

根据所述至少两帧原始深度信息进行插帧处理过程，并将插帧得到的深度信息与所述原始深度信息分别转换为对应的深度图像；

基于所述插帧得到的深度信息与所述原始深度信息分别对应的深度图像，生成第二中间视频。

4.根据权利要求3所述的方法，其特征在于，所述插帧得到的深度图像与所述插帧得到的深度信息具有相同的帧数和相同的时间戳。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频，包括：

对所述第一中间视频与所述第二中间视频中，处于相同时间戳的图像帧进行加权计算，得到每个时间戳对应的目标图像帧；

将所述目标图像帧按照时间顺序排列，生成目标深度视频。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理视频中至少两帧原始深度信息，包括：

获取由深度传感器输出的至少两帧深度传感信号，其中每一帧深度传感信号与所述待处理视频中的一帧图像具有对应关系；

按照预设尺寸对所述至少两帧深度传感信号进行排列，得到二维的原始深度信息。

7.根据权利要求6所述的方法，其特征在于，所述深度传感器包括结构光模组；

所述深度传感信号包括：所述结构光模组采集激光条纹、格雷码、正弦条纹中的任意一种或多种，并进行编码所得到的信号。

8.一种深度视频处理装置，其特征在于，包括：

原始信息获取模块，用于获取待处理视频中至少两帧原始深度信息；

第一视频生成模块，用于根据所述至少两帧原始深度信息先进行深度图像转换，再进行插帧处理，生成第一中间视频；

第二视频生成模块，用于根据所述至少两帧原始深度信息先进行插帧处理，再进行深度图像转换，生成第二中间视频；

中间视频融合模块，用于将所述第一中间视频与所述第二中间视频进行融合，生成目标深度视频。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images