CN119856487A - 编解码方法、解码器、编码器及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，能够提高编解码性能。方法包括：解析码流，确定第二尺度点云对应的编码信息，并确定第一尺度点云；基于第一尺度点云进行局部密度预测，确定第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率；第二尺度体素为第一尺度体素对应的上采样体素；局部密度表征第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；基于第二尺度体素对应的占据概率与第一尺度体素对应的局部密度，对第二尺度点云对应的编码信息进行解码重建，确定第二尺度点云对应的重建几何信息。

Description

编解码方法、解码器、编码器及计算机可读存储介质 技术领域

本申请涉及点云压缩编解码技术，尤其涉及一种编解码方法、解码器、编码器及计算机可读存储介质。

背景技术

点云是一组点的集合，它可以存储每个点的几何位置和相关属性信息，从而准确立体地描述空间中的物体。点云数据量庞大，一帧点云可以包含上百万的点，这也对有效地存储和传输点云带来了极大地困难与挑战。因此，压缩技术被用于减少点云存储中的冗余信息，从而方便后续的处理工作。

目前，代表性点云压缩算法包括：基于视频的点云压缩(Video-based Point Cloud Compression,V-PCC)和基于几何的点云压缩(Geometry-based Point Cloud Compression，G-PCC)。G-PCC中的几何压缩主要通过八叉树模型和/或三角形表面模型实现。V-PCC主要通过三维到二维的投影和视频压缩实现。在上述两种压缩算法中，都是通过重建点云几何信息的过程，来还原点云表达的真实环境的结构信息的。通常，重建点云几何信息的过程包括：利用稀疏卷积神经网络，将低尺度点云的体素化的几何信息作为输入，预测得到高尺度点云中各个高尺度体素的占据概率。进而根据各个高尺度体素的占据概率，确定各个高尺度体素的占用符，根据占用符表征被占用的高尺度体素重建高尺度点云的几何信息。

然而，根据占据概率预测进行几何重建的方法在多个高尺度体素的占据概率较为接近，或者占据概率阈值设置不合理等情况下，容易出现占用符确定不准确的问题，从而降低了几何重建的质量，进而降低了编解码性能。

发明内容

本申请实施例提供一种编解码方法、解码器、编码器及计算机可读存储介质，能够提高点云编解码几何重建的质量，从而提高编解码性能。

本申请的技术方案是这样实现的：

本申请实施例提供一种解码方法，包括：

解析码流，确定第二尺度点云对应的编码信息，并确定第一尺度点云；所述第一尺度点云为所述第二尺度点云对应的前一个已解码的点云数据；

基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述第二尺度体素为所述第一尺度体素对应的上采样体素；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占用的第二尺度体素的数量；

基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。

本申请实施例提供一种编码方法，包括：

对第二尺度点云进行体素下采样，确定第一尺度点云，并将所述第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素；

基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占用的第二尺度体素的数量；

根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息；

基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述编码信息写入码流。

本申请实施例提供一种解码器，包括：

解析部分，配置为解析码流，确定第二尺度点云对应的编码信息；

确定部分，配置为确定第一尺度点云；所述第一尺度点云为所述第二尺度点云对应的前一个已解码 的点云数据；

局部密度预测部分，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度；

占据概率预测部分，配置为基于所述第一尺度点云，对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述第二尺度体素为所述第一尺度体素对应的上采样体素；

解码重建部分，配置为基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。

本申请实施例提供一种编码器，包括：

下采样部分，配置为对第二尺度点云进行体素下采样，确定第一尺度点云；

局部密度预测部分，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度；

占据概率预测部分，配置为将所述第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素；并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；

重建部分，配置为根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息；

编码部分，配置为基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述编码信息写入码流。

本申请实施例提供一种码流，包括：

所述码流是根据编码信息进行比特编码生成的；其中，所述编码信息至少包括：第二尺度点云对应的编码信息。

本申请实施例提供一种解码器，包括：

第一存储器，配置为存储可执行指令；

第一处理器，配置为执行所述第一存储器中存储的可执行指令时，实现如上述任一项所述的解码方法。

本申请实施例提供一种编码器，包括：

第二存储器，配置为存储可执行指令；

第二处理器，配置为执行所述第二存储器中存储的可执行指令时，实现如上述任一项所述的编码方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起第一处理器执行时，实现上述的解码方法，或者，用于引起第二处理器执行时，实现上述的编码方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被第一处理器执行时，实现本申请实施例提供的解码方法；或者，所述计算机程序或指令被第二处理器执行时，实现本申请实施例提供的编码方法。

本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，解码器可以通过预测局部密度，确定每个第一尺度体素上采样得到的第二尺度体素中，被占据的第二尺度体素的数量。这样，可以结合局部密度对第二尺度体素对应的占据概率进行筛选，来确定出第二尺度体素的占据情况，根据第二尺度体素的占据情况重建第二尺度点云，确定第二尺度点云的重建几何信息。如此，可以使得确定出的第二尺度体素的占据情况更准确，提高第二尺度点云的重建几何信息的准确性，也即提高了解码器的重建几何质量，提高了解码性能。并且，在编码器中，基于第一尺度体素对应的局部密度，对第二尺度体素对应的占据概率进行筛选，可以提高确定第二尺度体素的占据情况的准确性，进而提高基于第二尺度体素的占据情况确定的第二尺度点云的重建几何信息进行编码的准确性，从而提高了编码性能。

附图说明

图1为G-PCC编码的流程框图；

图2为G-PCC解码的流程框图；

图3为本申请实施例提供的解码方法的一种可选的流程示意图；

图4为本申请实施例提供的体素上采样的一种可选的过程示意图；

图5为本申请实施例提供的解码方法的一种可选的流程示意图；

图6为本申请实施例提供的占据概率预测与局部密度预测过程的一种可选的流程示意图；

图7为本申请实施例提供的占据概率预测与局部密度预测过程的一种可选的流程示意图；

图8为本申请实施例提供的占据概率预测与局部密度预测过程的一种可选的流程示意图；

图9为本申请实施例提供的局部密度预测网络的一种可选的结构示意图；

图10为本申请实施例提供的特征提取网络的一种可选的结构示意图；

图11为本申请实施例提供的特征提取网络中残差层的一种可选的结构示意图；

图12为本申请实施例提供的占据概率预测网络的一种可选的结构示意图；

图13为本申请实施例提供的一种第二尺度体素对应的占据概率的示意图；

图14为本申请实施例提供的解码方法的一种可选的流程示意图

图15为本申请实施例提供的根据占据概率与局部密度进行点云几何信息重建的一种可选的过程示意图；

图16为本申请实施例提供的编码方法的一种可选的流程示意图；

图17为本申请实施例提供的体素下采样的一种可选的过程示意图；

图18为本申请实施例提供的体素下采样得到的占用符号的示意图；

图19为本申请实施例提供的解码方法应用于实际场景的一种可选的过程示意图；

图20为本申请实施例提供的解码器的一种可选的结构示意图；

图21为本申请实施例提供的编码器的一种可选的结构示意图；

图22为本申请实施例提供的解码器的一种可选的结构示意图；

图23为本申请实施例提供的编码器的一种可选的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)体素：体素是体积元素的简称，是数字数据于三维空间分割上的最小单位。通过体素，可以对3D空间进行网格划分，并赋予每个网格特征。示例性地，体素可以是三维空间中固定大小的立方块。体素可以广泛用于三维成像、科学数据与医学影像等领域。

点云压缩算法包括：基于视频的点云压缩(Video-based Point Cloud Compression，V-PCC)和基于几何的点云压缩(Geometry-based Point Cloud Compression，G-PCC)。其中，G-PCC中的几何压缩主要通过八叉树模型和/或三角形表面模型实现。V-PCC主要通过三维到二维的投影和视频压缩实现。

随着人工智能技术的发展，神经网络被应用于基于几何的点云压缩技术中。基于神经网络的点云几何压缩技术，可大致分为几何有损压缩与无损压缩。其中，无损压缩算法主要围绕体素占据概率的预测模型的设计展开。其中体素的数据表征通常使用八叉树模型，体积模型，稀疏张量表征等，在预测模型的设计中，对于几何无损压缩，在编码器端，往往需要以父节点，邻居节点等周围上下文为输入，经过神经网络(如卷积，全连接)层的处理，输出点云的几何数据中每个体素的占据概率，进而使用熵编码器，将每个体素的占据概率对应的体素占据符号，转换成码流。相应地，在解码器端，根据同样的过程预测每个体素的占据概率，根据预测的占据概率，使用熵解码器从码流中解码出体素占据符号，重建点云的几何数据。

可以看出，仅根据占据概率确定体素的占据符号，在多个相邻体素的占据概率较为接近，或者占据概率阈值设置不合理等情况下，容易出现占用符确定不准确的问题，尤其是在点云密度分布不均的情况下，容易出现占用符号表征被占据的体素的与实际被占据的体素数量不一致的情况，造成重建的几何信息中多点或少点。从而降低了几何重建的质量，进而降低了编解码性能。

本申请实施例提供一种编解码方法、解码器、编码器及计算机可读存储介质，能够提高编解码效率，提高编解码性能。为了便于对本申请实施例所提供的技术方案的理解，首先提供一种G-PCC编码的流程框图和G-PCC解码的流程框图。需要说明的是，本申请实施例描述的G-PCC编码的流程框图和G-PCC解码的流程框图仅是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的 技术方案的限定。本领域技术人员可知，随着点云压缩技术的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似G-PCC的点云编解码架构同样适用，本申请实施例压缩的点云可以是视频中的点云，但不局限于此。

在点云G-PCC编码器框架中，将输入三维图像模型的点云进行slice划分后，对每一个slice进行独立编码。

如图1所示的G-PCC编码的流程框图中，应用于编码器中，针对待编码的点云数据，先通过条带(slice)划分，将点云数据划分为多个slice。在每一个slice中，点云的几何信息和属性信息是分开进行编码的。在几何编码过程中，对几何信息进行坐标转换，使点云全都包含在一个包围盒(bounding box)中，然后再进行量化，量化主要起到缩放的作用，由于量化取整，使得一部分点云的几何信息相同，可以基于参数来决定是否移除重复点，量化和移除重复点这一过程又被称为体素化过程。接着对bounding box进行八叉树划分。在基于八叉树的几何信息编码流程中，将包围盒八等分为8个子立方体，对非空的(包含点云中的点)的子立方体继续进行八等分，直到划分得到的叶子结点为1x1x1的单位立方体时停止划分，对叶子结点中的点进行算术编码，生成二进制的几何比特流，即几何码流。在基于三角面片集(triangle soup，trisoup)的几何信息编码过程中，同样也要先进行八叉树划分，但区别于基于八叉树的几何信息编码，该trisoup不需要将点云逐级划分到边长为1x1x1的单位立方体，而是划分到子块(block)边长为W时停止划分，基于每个block中点云的分布所形成的表面，得到该表面与block的十二条边所产生的至多十二个交点(vertex)，对vertex进行算术编码(基于交点进行表面拟合)，生成二进制的几何比特流，即几何码流。Vertex还用于在几何重建的过程的实现，而重建的几何信息在对点云的属性编码时使用。

在属性编码过程中，进行颜色转换，将颜色信息(即属性信息)从RGB颜色空间转换到YUV颜色空间。然后，利用重建的几何信息对点云重新着色，使得未编码的属性信息与重建的几何信息对应起来。在颜色信息编码过程中，主要有两种变换方法，一是依赖于细节层次(Level of Detail，LOD)划分的基于距离的提升变换，二是直接进行区域自适应分层变换(Region Adaptive Hierarchal Transform，RAHT)的变换，这两种方法都会将颜色信息从空间域转换到频域，通过变换得到高频系数和低频系数，最后对系数进行量化(即量化系数)，最后，将经过八叉树划分及表面拟合的几何编码数据与量化系数处理属性编码数据进行slice合成后，依次编码每个block的vertex坐标(即算数编码)，生成二进制的属性比特流，即属性码流。

如图2所示的G-PCC解码的流程框图，应用于解码器中。解码器获取二进制码流，针对二进制码流中的几何比特流(即几何码流)和属性比特流分别进行独立解码。在对几何比特流的解码时，通过算术解码-八叉树合成-表面拟合-重建几何-反坐标变换，得到点云的几何信息；在对属性比特流的解码时，通过算术解码-反量化-基于LOD的反提升或者基于RAHT的反变换-反颜色转换，得到点云的属性信息，基于几何信息和属性信息还原待编码的点云数据的三维图像模型。

本申请实施例的编码方法，可以应用于如图1所示的G-PCC的几何信息编码流程中，在体素化完成之后，基于体素化后的第二尺度点云进行图1中的几何编码过程，得到几何比特流；在几何编码的重建几何过程中，对体素化后的第二尺度点云进行体素下采样，确定第一尺度点云，并将第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素；基于第一尺度点云进行局部密度预测，确定第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率；局部密度表征第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；根据第一尺度体素对应的局部密度与第二尺度体素对应的占据概率，确定第二尺度点云对应的重建几何信息；在属性编码过程中，基于第二尺度点云对应的重建几何信息重新着色过程以及颜色信息编码过程，得到属性比特流。

本申请实施例的解码方法，可以应用于如图2所示的G-PCC的几何信息解码流程中，通过解析码流，确定第二尺度点云对应的编码信息，并确定第一尺度点云；第一尺度点云为第二尺度点云对应的前一个已解码的点云数据。在几何解码过程中，对第二尺度点云对应的编码信息进行算术解码、八叉树合成以及表面拟合，在几何解码的重建几何过程中，基于第一尺度点云进行局部密度预测，确定第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率；第二尺度体素为第一尺度体素对应的上采样体素；局部密度表征第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；基于第二尺度体素对应的占据概率与第一尺度体素对应的局部密度，对第二尺度点云对应的编码信息进行解码重建，确定第二尺度点云对应的重建的几何信息。在属性解码过程中，利用第二尺度点云对应的重建几何信息进行基于LOD的反提升或者基于RAHT的反变换-反颜色转换，得到第二尺度点云的属性信息，基于重建的几何信息和属性信息还原第二尺度点云的三维图像模型。

需要说明的是，本申请实施例的编码方法与解码方法也可以用于G-PCC之外的其他点云编码和解码流程中。

下面说明本申请实施例提供的应用于解码器的解码方法。

参见图3，图3是本申请实施例提供的解码方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。

S101、解析码流，确定第二尺度点云对应的编码信息，并确定第一尺度点云。

本申请实施例中，解码器对接收到的码流进行解析，得到第二尺度点云对应的编码信息，并确定第一尺度点云。其中，第一尺度点云为第二尺度点云对应的前一个已解码的点云数据。

本申请实施例中，码流中通常包含编码器发送的至少一个尺度的点云对应的编码信息。解码器在解码时，以从低尺度到高尺度的顺序进行解码。也就是说，解码器在对第二尺度点云对应的编码信息进行解码之前，已经完成了对第二尺度点云的前一个尺度点云，也即第一尺度点云的编码信息解码，确定了已解码的第一尺度点云数据，也即第一尺度点云。这样，解码器可以利用已解码的低尺度的第一尺度点云数据，对高尺度的第二尺度点云对应的编码信息进行解码与几何信息的重建。

S102、基于第一尺度点云进行局部密度预测，确定第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率。

本申请实施例中，第一尺度点云与第二尺度点云的几何信息经过了编码器的体素化过程，可以通过体素网格的形式来表示。

本申请实施例中，对于体素化过程，点云中的一个点可以对应一个被占据的体素(即非空体素)，而未被占据的体素(即空体素)表示该体素位置上没有落入点云中的点。在一些实施例中，可以将被占据的体素标记为1，将未被占据的体素标记为0。如此，体素化后的点云可以通过体素网格中，各个位置上体素的占据符号，来表示点云的几何数据。

本申请实施例中，点云的尺度与该点云中体素的尺度是对应的。也就是说，第一尺度点云中包含的体素为第一尺度体素，第二尺度点云中包含的体素为第二尺度体素。其中，第二尺度体素为第一尺度体素对应的上采样体素。解码器可以对第一尺度点云中第一尺度体素进行体素上采样，示例性地，对于第一尺度点云中表征被占据的第一尺度体素进行上采样，得到每个第一尺度体素对应的多个第二尺度体素。

在一些实施例中，解码器可以通过池化的方式实现体素上采样，如采用步长为2×2×2最大池化层，将第一尺度点云中的1个第一尺度体素划分为8个第二尺度体素，每次上采样对第一尺度体素在三个维度上的尺寸进行平均划分，也即第二尺度体素在三个维度上的尺寸均第一尺度体素的一半。对第一尺度点云中的各个第一尺度体素进行上采样，即完成了从几何信息已知的低尺度点云向高尺度点云的上采样，得到几何信息待重建的第二尺度点云。

请参见图4，图4中示出了一个包含2×2×1个第一尺度体素的第一尺度点云，经一次体素上采样后，得到包含4×4×2个第二尺度体素的第二尺度点云。第一尺度点云为已解码的点云数据，在图4中以实的立方块表示被占据的第一尺度体素，代表有点云中的点所在的位置。第一尺度体素上采样为第二尺度体素之后，第二尺度体素是否被占据需要进一步通过几何重建过程来确定，在图4中以空的立方块表示。但图4的点云仅仅是示例性的，实际的点云可以包括更多的体素。

本申请实施例中，局部密度表征第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量。因此，解码器基于第一尺度点云进行局部密度预测，确定第一尺度点云中第一尺度体素对应的局部密度，即可确定每个第一尺度体素对应的多个第二尺度体素中，被占据的多个第二尺度体素的数量。从而可以结合多个第二尺度体素对应的多个占据概率，更准确地确定多个第二尺度体素中被占据的第二尺度体素。

本申请实施例中，解码器对由第一尺度体素上采样得到的第二尺度体素进行对第二尺度体素进行占据概率预测，确定第一尺度体素对应的多个第二尺度体素对应的多个占据概率。

在一些实施例中，基于图3，如图5所示，S102可以通过执行S201-S203的过程来实现，如下：

S201、对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征。

S202、将第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率。

本申请实施例中，第一尺度点云的几何信息可以包括第一尺度点云中各个体素的占用情况，以及各个体素的位置信息。在一些实施例中，占用情况可以是如0或1预设标志位，位置信息可以是体素的三维坐标。在一些实施例中，第一尺度点云的几何信息可以是对第一尺度点云的编码信息进行解码重建得到的，也即第一尺度点云的几何信息可以相当于第一尺度点云的重建几何信息。

本申请实施例中，解码器对第一尺度点云的几何信息进行特征提取，将第一尺度点云的几何信息映射至预设低尺度特征空间，确定第一尺度点云特征。在一些实施例中，第一尺度点云特征可以包括从第一尺度点云的几何信息中提取得到的隐式特征。

本申请实施例中，解码器将第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征。解 码器对初始第二尺度点云特征进行特征提取，确定第二尺度点云特征。解码器根据第二尺度点云特征，对第二尺度体素进行占据概率预测，预测各个第二尺度体素对应的体素位置落入点云中点的概率，也即确定第二尺度体素对应的占据概率。可理解，第二尺度点云特征是通过对第一尺度点云的几何信息进行两次特征提取得到的，因此，第二尺度点云特征具有更好的特征表达，可以提高解码器利用第二尺度点云特征进行占据概率预测的准确性。

S203、根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

本申请实施例中，解码器根据第一尺度点云特征进行局部密度预测，预测第一尺度点云中的每个第一尺度体素对应的多个第二尺度体素中，被占据的第二尺度体素的数量，作为每个第一尺度体素对应的局部密度。可理解，局部密度为一个数量值，可以是大于或等于1，且小于或等于一个第一尺度体素对应的第二尺度体素总数的整数值。

需要说明的是，S202中的特征上采样、初始第二尺度点云特征的特征提取以及占据概率预测的过程，与S203中局部密度预测的过程执行顺序不限于图5所示，实际应用中，也可以以任意先后顺序执行或同步执行，具体的根据实际情况进行选择，本申请实施例不作限定。

示例性地，上述S201-S203的过程可以如图6所示。解码器通过第三特征提取网络对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将第一尺度点云特征分别输入包含上采样网络、第四特征提取网络与占据概率预测网络的第一支路，以及包含局部密度预测网络的第二支路；通过第一支路输出每个第二尺度体素对应的占据概率，通过第二支路输出每个第一尺度体素对应的局部密度。在一些实施例中，上采样网络可以通过转置卷积网络来实现；第三特征提取网络用于对第一尺度点云的几何信息进行特征提取，第四特征提取网络用于对初始第二尺度点云特征进行特征提取；占据概率预测网络与局部密度预测网络可以利用预训练的神经网络来实现。

在一些实施例中，图3中的S102也可以通过执行S301-S304的过程来实现，如下：

S301、通过第一特征提取网络，对第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征。

S302、将第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率。

S303、通过第二特征提取网络，对第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征。

S304、根据第一尺度的第二点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

本申请实施例中，解码器也可以通过不同的特征提取网络，针对占据概率预测和局部密度预测过程，提取不同的第一尺度点云特征，也即第一点云特征与第二点云特征，分别用于占据概率预测与局部密度预测。

在一些实施例中，第一特征提取网络可以是与占据概率预测的神经网络进行联合学习或训练得到的，第二特征提取网络可以是与局部密度预测网络进行联合学习或训练得到的，如此，可以更有针对性地提取出用于预测占据概率的点云几何特征和用于预测局部密度的点云几何特征，提高局部密度预测与占据概率预测的准确性。

同样地，本申请实施例对S301-S302过程，以及S303-S304过程两者的执行顺序也不作限定。

示例性地，上述S301-S304的过程可以如图7所示。图7中的第一支路包括第一特征提取网络、上采样网络、以及占据概率预测网络；第二支路包括第二特征提取网络与局部密度预测网络。解码器将第一尺度点云的几何信息分别输入第一支路与第二支路，通过第一支路与第二支路分别对第一尺度点云的几何信息进行特征提取与网络预测；通过第一支路输出每个第二尺度体素对应的占据概率，通过第二支路输出每个第一尺度体素对应的局部密度。

需要说明的是，在一些实施例中，基于图7，在上采样网络之后，在占据概率预测网络之前，也可以对上采样网络输出的第二尺度点云特征进行进一步特征提取，将进一步特征提取后的第二尺度点云特征输入占据概率预测网络进行占据概率预测，以增强特征表达，进而提高占据概率预测的准确性。具体的根据实际情况进行选择，本申请实施例不作限定。

在一些实施例中，图3中的S102也可以通过执行S401-S403的过程来实现，如下：

S401、对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征。

S402、将第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率。

S403、根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

本申请实施例中，也可以基于对第一尺度点云的几何信息进行特征提取确定的第一尺度点云特征，分别进行占据概率预测与局部密度预测。这样，可以实现特征信息的复用，降低模块复杂度，提高解码器的处理效率。

同样地，本申请实施例对S402与S403的执行顺序也不作限定。

示例性地，上述S401-S403过程可以如图8所示。解码器通过第五特征提取网络对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将第一尺度点云特征分别输入包含上采样网络与占据概率预测网络的第一支路，以及包含局部密度预测网络的第二支路；通过第一支路输出每个第二尺度体素对应的占据概率，通过第二支路输出每个第一尺度体素对应的局部密度。这里，图8中的第五特征提取网络与图6中的第三特征提取网络可以是相同或不同的特征提取网络。

在一些实施例中，对于上述S203、S304、以及S403中局部密度预测的过程，可以利用局部密度预测网络，根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。其中，局部密度预测网络可以包括：第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。示例性地，局部密度预测网络可以如图9所示，包括：第一层的稀疏卷积层(即第一稀疏卷积层)、第二层的ReLu激活函数层(即第一激活函数层)、第三层的稀疏卷积层(即第二稀疏卷积层)以及第四层的Sigmoid函数层(即第二激活函数层)。局部密度预测网络用于根据点云隐式特征输出局部密度

在一些实施例中，对于上述S201、S202、S301、S303、S401、以及S402中的特征提取过程，可以利用如图10所示的特征提取网络来实现，包括：第一层的稀疏卷积层、第二层的激活函数层(例如ReLu激活函数层)、第三层的残差层和第四层的稀疏卷积层。在一些实施例中，第三层的残差层的网络结构可以如图11所示。

在一些实施例中，对于上述S202、S302、以及S402中的占据概率预测过程，可以利用如图12所示的占据概率预测网络来实现，包括：第一层的稀疏卷积层、第二层的激活函数ReLu层、第三层的稀疏卷积层、第四层的激活函数ReLu、第五层的稀疏卷积层、以及第六层的Sigmoid函数层。占据概率预测网络用于根据第二尺度的点云隐式特征，对由每个第一尺度体素上采样得到的每个第二尺度体素进行占据预测，得到每个第二尺度体素对应的占据概率。图12中的占据概率预测网络仅为示例，实际应用中也可以是其他层级结构的卷积神经网络(Convolution Neural Network，CNN)，具体的根据实际情况进行选择，本申请实施例不作限定。

本申请实施例中，占据概率预测网络在处理过程中，对于低尺度点云(即第一尺度点云)中未被占据的第一尺度体素，其上采样得到的高尺度的多个第二尺度体素也是未被占据的，不需要进行概率预测。而对第一尺度点云中被占据的第一尺度体素进行上采样得到的多个第二尺度体素需要进行预测。例如图4中的第二尺度点云，其朝向纸面一侧的第二尺度体素对应的占据概率可以如图13所示，图13中的占据概率仅仅为了方便说明，不能理解为实际运算的结果。可以看出，如果对实际被占据的第二尺度体素预测得到的占据概率越接近于1，而对实际未被占据的第二尺度体素预测得到的占据概率越接近于0，则预测越准确，点云几何信息的重建质量就越准确。

S103、基于第二尺度体素对应的占据概率与第一尺度体素对应的局部密度，对第二尺度点云对应的编码信息进行解码重建，确定第二尺度点云对应的重建几何信息。

本申请实施例中，解码器利用预测得到的第一尺度点云中每个第一尺度体素对应的局部密度，以及由每个第一尺度体素上采样得到的每个第二尺度体素对应的占据概率，确定每个第二尺度体素是否被占据，进而，根据每个第二尺度体素是否被占据的情况，对第二尺度点云对应的编码信息进行解码重建，解码出第二尺度点云中每个被占据的第二尺度体素对应的位置信息，根据第二尺度点云中每个被占据的第二尺度体素对应的位置信息，确定第二尺度点云对应的重建几何信息。

在一些实施例中，基于图3或图5，如图14所示，S103可以通过执行S1031-S1032的过程来实现，如下：

S1031、对于第一尺度点云中的每个第一尺度体素，将每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素。

本申请实施例中，由于局部密度表征了第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量，因此，可以根据每个第一尺度体素对应局部密度，对每个第一尺度体素对应的多个第二尺度体素的多个占据概率进行筛选，从中确定出占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素。

示例性地，以一个第一尺度体素上采样得到8个第二尺度体素为例，第一尺度体素对应的局部密度可以是1-8的任意值。以局部密度为4为例，解码器将8个第二尺度体素中占据概率高的4个第二尺度体素，确定为被占据的第二尺度体素，其他第二尺度体素确定为未被占据的第二尺度体素。如图15所示，第一尺度点云中的某个第一尺度体素上采样得到8个第二尺度体素，该第一尺度体素对应的局部密度为4；8个第二尺度体素对应的占据概率从高到低依次为：[0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2]，则可以根据局部密度，将占据概率为[0.9,0.8,0.7,0.6]的第二尺度体素确定为被占据的第二尺度体素；将其他的[0.5,0.4,0.3,0.2]对应的第二尺度体素确定为未被占据的第二尺度体素。

S1032、基于每个第一尺度体素对应的被占据的第二尺度体素，对第二尺度点云对应的编码信息进 行解码重建，确定第二尺度点云对应的重建几何信息。

本申请实施例中，被占据的第二尺度体素表征由第一尺度体素上采样得到的该第二尺度体素中落入了点云中的点。解码器可以基于每个第一尺度体素对应的被占据的第二尺度体素，对第二尺度点云对应的编码信息进行解码重建，从而确定第二尺度点云对应的重建几何信息。

在一些实施例中，解码器可以根据S1031的确定结果，以不同的占用符区分标记被占据的第二尺度体素以及未被占据的第二尺度体素。可以基于占用符标记表征被占据的每个第二尺度体素，对第二尺度点云对应的编码信息进行解码重建，确定第二尺度点云对应的重建几何信息。

这里，解码器在进行几何重建时，主要是针对第二尺度点云对应的编码信息中的几何编码信息进行解码重建。在确定第二尺度点云对应的重建几何信息之后，还可以通过属性解码过程，基于第二尺度点云对应的重建几何信息对第二尺度点云对应的属性编码信息进行解码，确定第二尺度点云对应的属性信息，从而结合第二尺度点云对应的重建几何信息与属性信息，还原第二尺度点云的三维图像模型。

可以理解的是，本申请实施例中，解码器可以通过预测局部密度，确定每个第一尺度体素上采样得到的第二尺度体素中，被占据的第二尺度体素的数量。这样，可以结合局部密度对第二尺度体素对应的占据概率进行筛选，来确定出第二尺度体素的占据情况，根据第二尺度体素的占据情况重建第二尺度点云，确定第二尺度点云的重建几何信息。如此，可以使得确定出的第二尺度体素的占据情况更准确，提高第二尺度点云的重建几何信息的准确性，也即提高了解码器的重建几何质量，提高了解码性能。

在一些实施例中，在S103之后，解码器还可以继续对码流进行解析，确定第i尺度点云对应的编码信息，i为大于或等于3的整数；通过本申请实施例中的上述解码方法，基于第i-1尺度点云的重建几何信息进行第i-1尺度体素的局部密度预测，确定i-1尺度体素对应的局部密度，并对i-1尺度体素对应的第i尺度体素进行占据概率预测，确定第i尺度体素对应的占据概率；第i尺度由第i-1尺度上采样得到；基于第i尺度体素对应的占据概率与第i-1尺度体素对应的局部密度，对第i尺度点云对应的编码信息进行解码重建，确定第i尺度点云对应的重建几何信息。也就是说，解码器在解码重建出第二尺度点云之后，还可以基于第二尺度点云的重建几何信息，利用本申请实施例中的解码方法对码流中更高尺度点云，如第三尺度点云的编码信息进行解码重建，得到第三尺度点云对应的重建几何信息。如此，解码器对相邻尺度进行解码时，可以利用前一个已解码的低尺度点云的已知几何数据，对高尺度点云的编码信息进行解码重建，确定高尺度点云的重建几何信息；通过逐尺度的解码，直至恢复至目标尺度点云的重建几何信息，目标尺度可以根据解码器的预设解码精度来确定。

在一些实施例中，在S103之后，解码器还可以通过本申请实施例中的上述解码方法，基于第n尺度点云对应的重建几何数据进行第n尺度体素的局部密度预测与第n+1尺度体素的占据概率预测，确定第n尺度体素对应的局部密度与第n+1尺度体素对应的占据概率；n为大于或等于2的正整数；第n+1尺度由第n尺度上采样得到；基于第n尺度体素对应的局部密度与第n+1尺度体素对应的占据概率，确定第n+1尺度点云对应的重建几何数据。

示例性地，对于码流中包含的多非相邻尺度的点云的编码信息，如包含第一尺度点云对应的编码信息、第三尺度点云对应的编码信息、以及第五尺度点云对应的编码信息等等的情况下，解码器可以在解码重建出第一尺度点云的基础上，基于第一尺度点云中的第一尺度体素进行体素上采样，得到第二尺度体素；并通过对第一尺度点云的几何信息进行特征提取，对第一尺度体素进行局部密度预测，以及对第二尺度体素进行占据概率预测，根据确定的第一尺度体素的局部密度与第二尺度体素的占据概率，结合根据第一尺度体素的第一位置信息上采样所确定的第二尺度体素的第二位置信息，重建出第二尺度点云对应的重建几何数据。利用第二尺度点云对应的重建几何数据对第三尺度点云对应的编码信息进行解码重建，以此类推。

需要说明的是，本申请实施例中的解码方法可应用于可伸缩的编解码方法中，也即对于编码器侧发送的多个尺度点云的多个编码信息，解码器可以根据实际解码精度的需要，以从低尺度向高尺度解码的顺序，解码重建至任意尺度的点云。示例性地，编码器在码流中写入并发送了第一尺度点云的编码信息、第二尺度点云的编码信息至第五尺度点云的编码信息，而解码器可以根据预设精度要求，根据本申请实施例提供的解码方法，从第一尺度点云解码至第三尺度点云，重建第三尺度点云的几何数据并还原第三尺度点云的三维图像模型后结束解码，不再继续对第五尺度点云对应的编码信息解码。具体的根据实际情况进行选择，本申请实施例不作限定。

可以理解的是，本申请实施例提供的解码方法可以重复应用于多个相邻尺度之间，且每组相邻尺度间的解码相互独立不依赖，因此可以灵活地实现尺度可伸缩的解码。

需要说明的是，上述解码器的每次解码过程都是将已解码的低尺度点云作为已知信息，对高尺度点云的编码信息进行解码的。对于解码器的首个解码过程，其已知信息可以是编码器侧发送的未编码的预设数量个点云信息。编码器可以将预设数量个点云信息，如点云中100个点的坐标作为首个已知信息，以未编码的方式直接发送至解码端，以使解码器无需对首个已知信息进行解码，直接利用编码器发送的 预设数量个点的位置信息，重建出相应尺度的点云，以继续之后的解码过程。

下面说明本申请实施例提供的应用于编码器的编码方法。

参见图16，图16是本申请实施例提供的编码方法的一个可选的流程示意图，将结合图16示出的步骤进行说明。

S501、对第二尺度点云进行体素下采样，确定第一尺度点云，并将第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素。

本申请实施例中，编码器对第二尺度点云的原始点云数据进行体素化，体素化后的点云可以通过体素网格中，各个位置上体素的占用符号，来表示点云的几何数据。编码器对体素化后的第二尺度点云进行体素下采样，确定第一尺度点云。

在一些实施例中，编码器可以通过池化的方式实现体素下采样，如图17所示，采用步长为2×2×2最大池化层，将8个第二尺度体素合并为1个第一尺度体素。经过体素下采样之后，第一尺度点云对应的4个第一尺度体素中有3个第一尺度体素被占据，1个第一尺度体素未被占据，第一尺度体素在三个维度上的尺寸均为第二尺度体素的一倍。编码器以占用符号来标记体素的占据情况，示例性地，第二尺度点云朝向纸面一侧的第二尺度体素对应的占用符号通过体素上采样，得到的第一尺度点云朝向纸面一侧的第一尺度体素对应的占用符号的过程可以如图18所示。这样，通过体素下采样，得到相对较低尺度的第一尺度点云的几何数据。

本申请实施例中，编码器再将第一尺度点云上采样至第二尺度，确定每个第一尺度体素对应的多个第二尺度体素，以通过对第二尺度体素的占据情况进行预测，实现无损编码过程。

S502、基于第一尺度点云进行局部密度预测，确定第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率。

本申请实施例中，局部密度表征第一尺度体素对应的第二尺度体素中，被占用的第二尺度体素的数量。编码器基于第一尺度点云进行局部密度预测，确定第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定第二尺度体素对应的占据概率的过程与解码器中相同的处理过程方法相同，此处不再赘述，

在一些实施例中，S502的过程可以包括：对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率；根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

或者，在一些实施例中，S502的过程也可以包括：通过第一特征提取网络，对第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征；将第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率；通过第二特征提取网络，对第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征；根据第一尺度的第二点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

或者，在一些实施例中，S502的过程还也可以包括：对第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据第二尺度点云特征进行占据概率预测，确定第二尺度体素对应的占据概率；根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度。

上述局部密度预测过程中，编码器可以利用局部密度预测网络，根据第一尺度点云特征进行局部密度预测，确定第一尺度体素对应的局部密度；其中，局部密度预测网络包括：第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。

上述处理过程与解码器的相同处理过程的描述一致，此处不再赘述。

S503、根据第一尺度体素对应的局部密度与第二尺度体素对应的占据概率，确定第二尺度点云对应的重建几何信息。

本申请实施例中，编码器根据第一尺度体素对应的局部密度与第二尺度体素对应的占据概率，确定第二尺度点云对应的重建几何信息与解码器的相同处理过程的描述一致，此处不再赘述。

在一些实施例中，S503可以通过执行S5031-S5032的过程来实现，如下：

S5031、对于第一尺度点云中的每个第一尺度体素，将每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占用的第二尺度体素；

S5032、基于每个第一尺度体素对应的被占用的第二尺度体素，确定第二尺度点云对应的重建几何信息。

这里，S5031-S5032的过程与上述S1031-S1032的过程描述一致，此处不再赘述。

S504、基于第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将编码信息写入码流。

本申请实施例中，编码器可以基于第二尺度点云对应的重建几何信息进行重新着色处理，得到着色的点云数据，基于着色的点云数据进行颜色信息编码，确定第二尺度点云对应的属性信息编码；对第二尺度点云的点云数据进行几何信息编码，确定第二尺度点云对应的几何信息编码；将几何信息编码与属性信息编码，确定为第二尺度点云对应的编码信息。

在一些实施例中，熵编码可以采用自适应上下文的二进制算术编码(CABAC：Context-based Adaptive Binary Arithmetic Coding)算法，但不局限于此。根据熵编码的原理，对体素的占用情况的预测越准，则信息熵越小，实际码率和带宽就越节省。如此，编码器将第二尺度点云对应的编码写入码流，发送至解码器，由解码器解析出第二尺度点云对应的编码信息，利用本申请实施例提供的解码方法，基于前一个已解码的低尺度点云的几何数据(如第一尺度点云)，送入熵解码器，就可以重建无损的第二尺度点云的几何数据，也即确定第二尺度点云对应的重建几何信息，进而基于第二尺度点云对应的重建几何信息实现对第二尺度点云的编码信息的几何解码与属性解码，还原第二尺度点云的三维图像模型。

可以理解的是，本申请实施例中，基于第一尺度体素对应的局部密度，对第二尺度体素对应的占据概率进行筛选，可以提高确定第二尺度体素的占据情况的准确性，进而提高基于第二尺度体素的占据情况确定的第二尺度点云的重建几何信息进行编码的准确性，从而提高了编码性能。

在一些实施例中，编码器还可以通过同样的编码过程，基于第一尺度点云进行至少一次体素下采样，确定出相对于第一尺度点云更低尺度的点云，并逐尺度完成多个尺度点云的编码。编码器将多个尺度点云的编码信息写入码流，发送至解码器。

可以理解的是，本申请实施例提供的编码方法可以重复应用于多个相邻尺度之间，且每组相邻尺度间的编码相互独立不依赖，因此可以灵活地实现尺度可伸缩的编码。

下面，结合图19，说明本申请实施例提供的解码方法在实际场景中的应用。

如图19所示，编码器对第一尺度点云的原始点云数据进行G-PCC编码，得到第一尺度点云对应的编码信息，并通过码流发送至解码器。解码器对第一尺度点云数据对应的编码信息进行G-PCC解码，通过以G-PCC解码中的几何解码过程确定第一尺度点云的重建几何信息。以G-PCC解码中的几何解码过程进行说明，解码器对第一尺度点云的重建几何信息进行特征提取，得到第一尺度点云特征，以2×2×2的转置卷积对第一尺度点云特征进行上采样至第二尺度，确定初始第二尺度点云特征；解码器对初始第二尺度点云特征进行特征提取，确定第二尺度点云特征。解码器根据第二尺度点云特征，对第一尺度点云中每个第一尺度体素上采样得到的多个第二尺度体素进行占据概率预测，得到多个第二尺度体素对应的多个占据概率；并且，根据第一尺度点云特征，对每个第一尺度体素的局部密度进行预测，得到每个第一尺度体素对应的局部密度。在重建过程中，解码器根据每个第一尺度体素对应的局部密度，对该第一尺度体素上采样得到的多个第二尺度体素对应的多个占据概率进行筛选；示例性地，将多个占据概率从高到低进行排序，确定出占据概率高的局部密度个占据概率，将占据概率高的局部密度个占据概率对应的局部密度个第二尺度体素，确定为局部密度个被占据的第二尺度体素。根据第一尺度点云中，每个第一尺度体素对应的局部密度个被占据的第二尺度体素确定第二尺度点云的重建几何信息。并基于第二尺度点云的重建几何信息，以同样的过程重建得到第三尺度点云的重建几何信息。

可以理解的是，本申请实施例相比传统的G-PCC方法，具有良好的几何重建质量，编解码性能更好。在一些实施例中，申请人在多个点云数据集上，将本申请实施例的编解码方法与传统的G-PCC方法进行了对比编解码测试，结果如表1所示，如下：

表1

点云数据集	本申请实施例相较于传统G-PCC的率失真性能增益
facade_00009_vox12	-25.91％
house_without_roof_00057_vox12	-43.11％
boxer_viewdep_vox12	-42.76％
soldier_viewdep_vox12	-45.60％
平均增益	-39.35％

表1中，facade_00009_vox12、house_without_roof_00057_vox12、boxer_viewdep_vox12与soldier_viewdep_vox12为不同的点云数据集，BD-rate gain over。率失真(Bjontegaard-Delta，BD-rate)性能增益数值与编解码性能负相关。增益越小，比如以负值表示的数值越小，代表编解码性能越好。可以看出，本申请实施例相较于传统G-PCC编解码方法，BD-rate增益更高，最高提升了45.60％，平均提升了39.35。这一数据说明了编解码性能的提升。

本申请实施例提供一种解码器1，如图20所示，包括：

解析部分11，配置为解析码流，确定第二尺度点云对应的编码信息；

确定部分12，配置为确定第一尺度点云；所述第一尺度点云为所述第二尺度点云对应的前一个已解 码的点云数据；

第一预测部分13，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述第二尺度体素为所述第一尺度体素对应的上采样体素；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；

解码重建部分14，配置为基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。

在一些实施例中，所述解码重建部分14，还配置为对于所述第一尺度点云中的每个第一尺度体素，将所述每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素；基于所述每个第一尺度体素对应的被占据的第二尺度体素，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。

在一些实施例中，所述第一预测部分13，还配置为对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将所述第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对所述初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第一预测部分13，还配置为通过第一特征提取网络，对所述第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征；将所述第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；通过第二特征提取网络，对所述第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征；根据所述第一尺度的第二点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第一预测部分13，还配置为对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将所述第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第一预测部分13，还配置为利用局部密度预测网络，根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述局部密度预测网络包括：

第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。

在一些实施例中，所述解析部分11，还配置为解析所述码流，确定第i尺度点云对应的编码信息；i为大于或等于3的整数；所述第一预测部分13，还配置为基于第i-1尺度点云的重建几何信息进行第i-1尺度体素的局部密度预测，确定所述i-1尺度体素对应的局部密度，并对所述i-1尺度体素对应的第i尺度体素进行占据概率预测，确定所述第i尺度体素对应的占据概率；第i尺度由第i-1尺度上采样得到；所述解码重建部分14，还配置为基于所述第i尺度体素对应的占据概率与所述第i-1尺度体素对应的局部密度，对所述第i尺度点云对应的编码信息进行解码重建，确定所述第i尺度点云对应的重建几何信息。

在一些实施例中，所述第一预测部分13，还配置为基于第n尺度点云对应的重建几何数据进行第n尺度体素的局部密度预测与第n+1尺度体素的占据概率预测，确定所述第n尺度体素对应的局部密度与所述第n+1尺度体素对应的占据概率；n为大于或等于2的正整数；第n+1尺度由第n尺度上采样得到；所述解码重建部分14，还配置为基于所述第n尺度体素对应的局部密度与所述第n+1尺度体素对应的占据概率，确定第n+1尺度点云对应的重建几何数据。

本申请实施例提供一种编码器2，如图21所示，包括：

下采样部分21，配置为对第二尺度点云进行体素下采样，确定第一尺度点云；

第二预测部分22，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；

重建部分23，配置为根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息；

编码部分24，配置为基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述编码信息写入码流。

在一些实施例中，所述重建部分23，还配置为对于所述第一尺度点云中的每个第一尺度体素，将所述每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素；基于所述每个第一尺度体素对应的被占据的第二尺度体素，确定所述第二尺度点云对 应的重建几何信息。

在一些实施例中，所述第二预测部分22，还配置为对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将所述第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对所述初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第二预测部分22，还配置为通过第一特征提取网络，对所述第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征；将所述第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；通过第二特征提取网络，对所述第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征；根据所述第一尺度的第二点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第二预测部分22，还配置为对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；将所述第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。

在一些实施例中，所述第二预测部分22，还配置为利用局部密度预测网络，根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度；其中，所述局部密度预测网络包括：第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。

在一些实施例中，所述编码部分24，还配置为基于所述第二尺度点云对应的重建几何信息进行重新着色处理，得到着色的点云数据，基于所述着色的点云数据进行颜色信息编码，确定所述第二尺度点云对应的属性信息编码；对所述第二尺度点云的点云数据进行几何信息编码，确定所述第二尺度点云对应的几何信息编码；将所述几何信息编码与所述属性信息编码，确定为所述第二尺度点云对应的编码信息。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

在一些实施例中，本申请实施例还提供一种解码器，图22为本申请实施例提供的解码器3的一种可选的结构示意图。如图22所示，解码器3包括：第一存储器32与第一处理器33。其中，第一存储器32和第一处理器33通过第一通信总线34连接；第一存储器32，用于存储可执行指令；第一处理器33，用于执行第一存储器32中存储的可执行指令时，实现本申请实施例提供的解码方法。

在一些实施例中，本申请实施例还提供一种编码器，图23为本申请实施例提供的编码器4的一种可选的结构示意图。如图23所示，编码器4包括：第二存储器42与第二处理器43。其中，第二存储器42和第二处理器43通过第二通信总线44连接；第二存储器42，用于存储可执行指令；第二处理器43，用于执行第二存储器42中存储的可执行指令时，实现本申请实施例提供的编码方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被第一处理器执行时，将引起第一处理器执行上述任一种本申请实施例提供的解码方法；或者，当可执行指令被第二处理器执行时，将引起第二处理器执行上述任一种本申请实施例提供的编码方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

工业实用性

本申请实施例提供了一种编解码方法、解码器、编码器及计算机可读存储介质，解码器可以通过预测局部密度，确定每个第一尺度体素上采样得到的第二尺度体素中，被占据的第二尺度体素的数量。这样，可以结合局部密度对第二尺度体素对应的占据概率进行筛选，来确定出第二尺度体素的占据情况，根据第二尺度体素的占据情况重建第二尺度点云，确定第二尺度点云的重建几何信息。如此，可以使得确定出的第二尺度体素的占据情况更准确，提高了第二尺度点云的重建几何信息的准确性，提高解码器的重建几何质量，也即提高了解码性能。并且，在编码器中，基于第一尺度体素对应的局部密度，对第二尺度体素对应的占据概率进行筛选，可以提高确定第二尺度体素的占据情况的准确性，进而提高基于第二尺度体素的占据情况确定的第二尺度点云的重建几何信息进行编码的准确性，从而提高了编码性能。

Claims (22)

1. 一种解码方法，包括：

   解析码流，确定第二尺度点云对应的编码信息，并确定第一尺度点云；所述第一尺度点云为所述第二尺度点云对应的前一个已解码的点云数据；

   基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述第二尺度体素为所述第一尺度体素对应的上采样体素；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；

   基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。
2. 根据权利要求1所述的方法，其中，所述基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息，包括：

   对于所述第一尺度点云中的每个第一尺度体素，将所述每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素；

   基于所述每个第一尺度体素对应的被占据的第二尺度体素，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。
3. 根据权利要求1所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

   对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；

   将所述第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对所述初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

   根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
4. 根据权利要求1所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

   通过第一特征提取网络，对所述第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征；

   将所述第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

   通过第二特征提取网络，对所述第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征；

   根据所述第一尺度的第二点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
5. 根据权利要求1所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

   对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；

   将所述第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

   根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
6. 根据权利要求3-5任一项所述的方法，其中，所述方法还包括：

   利用局部密度预测网络，根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
7. 根据权利要求6所述的方法，其中，所述局部密度预测网络包括：

   第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。
8. 根据权利要求1-5任一项、或权利要求7所述的方法，其中，所述方法还包括：

   解析所述码流，确定第i尺度点云对应的编码信息；i为大于或等于3的整数；

   基于第i-1尺度点云的重建几何信息进行第i-1尺度体素的局部密度预测，确定所述i-1尺度体素对应的局部密度，并对所述i-1尺度体素对应的第i尺度体素进行占据概率预测，确定所述第i尺度体素对应的占据概率；第i尺度由第i-1尺度上采样得到；

   基于所述第i尺度体素对应的占据概率与所述第i-1尺度体素对应的局部密度，对所述第i尺度点云对应的编码信息进行解码重建，确定所述第i尺度点云对应的重建几何信息。
9. 根据权利要求1-5任一项、或权利要求7所述的方法，其中，所述方法还包括：

   基于第n尺度点云对应的重建几何数据进行第n尺度体素的局部密度预测与第n+1尺度体素的占据概率预测，确定所述第n尺度体素对应的局部密度与所述第n+1尺度体素对应的占据概率；n为大于或等于2的正整数；第n+1尺度由第n尺度上采样得到；

   基于所述第n尺度体素对应的局部密度与所述第n+1尺度体素对应的占据概率，确定第n+1尺度点云对应的重建几何数据。
10. 一种编码方法，包括：

    对第二尺度点云进行体素下采样，确定第一尺度点云，并将所述第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素；

    基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；

    根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息；

    基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述第二尺度点云对应的编码信息写入码流。
11. 根据权利要求10所述的方法，其中，所述根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息，包括：

    对于所述第一尺度点云中的每个第一尺度体素，将所述每个第一尺度体素对应的多个第二尺度体素中占据概率高的局部密度个第二尺度体素，确定为被占据的第二尺度体素；

    基于所述每个第一尺度体素对应的被占据的第二尺度体素，确定所述第二尺度点云对应的重建几何信息。
12. 根据权利要求10所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

    对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；

    将所述第一尺度点云特征上采样至第二尺度，确定初始第二尺度点云特征，对所述初始第二尺度点云特征进行特征提取，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

    根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
13. 根据权利要求10所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

    通过第一特征提取网络，对所述第一尺度点云的几何信息进行特征提取，确定第一尺度的第一点云特征；

    将所述第一尺度的第一点云特征上采样至第二尺度，确定第二尺度点云特征，并基于所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

    通过第二特征提取网络，对所述第一尺度点云的几何数据进行特征提取，确定第一尺度的第二点云特征；

    根据所述第一尺度的第二点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
14. 根据权利要求10所述的方法，其中，所述基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度，并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率，包括：

    对所述第一尺度点云的几何信息进行特征提取，确定第一尺度点云特征；

    将所述第一尺度点云特征上采样至第二尺度，确定第二尺度点云特征，并根据所述第二尺度点云特征进行占据概率预测，确定所述第二尺度体素对应的占据概率；

    根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度。
15. 根据权利要求12-14任一项所述的方法，其中，所述方法还包括：

    利用局部密度预测网络，根据所述第一尺度点云特征进行局部密度预测，确定所述第一尺度体素对应的局部密度；

    其中，所述局部密度预测网络包括：

    第一稀疏卷积层、第一激活函数层、第二稀疏卷积层与第二激活函数层。
16. 根据权利要求10-14任一项所述的方法，其中，所述基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述编码信息写入码流，包括：

    基于所述第二尺度点云对应的重建几何信息进行重新着色处理，得到着色的点云数据，基于所述着色的点云数据进行颜色信息编码，确定所述第二尺度点云对应的属性信息编码；

    对所述第二尺度点云的点云数据进行几何信息编码，确定所述第二尺度点云对应的几何信息编码；

    将所述几何信息编码与所述属性信息编码，确定为所述第二尺度点云对应的编码信息。
17. 一种解码器，包括：

    解析部分，配置为解析码流，确定第二尺度点云对应的编码信息；

    确定部分，配置为确定第一尺度点云；所述第一尺度点云为所述第二尺度点云对应的前一个已解码的点云数据；

    预测部分，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度点云中第一尺度体素对应的局部密度，并对第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；所述第二尺度体素为所述第一尺度体素对应的上采样体素；所述局部密度表征所述第一尺度体素对应的第二尺度体素中，被占据的第二尺度体素的数量；

    解码重建部分，配置为基于所述第二尺度体素对应的占据概率与所述第一尺度体素对应的局部密度，对所述第二尺度点云对应的编码信息进行解码重建，确定所述第二尺度点云对应的重建几何信息。
18. 一种编码器，包括：

    下采样部分，配置为对第二尺度点云进行体素下采样，确定第一尺度点云；

    局部密度预测部分，配置为基于所述第一尺度点云进行局部密度预测，确定所述第一尺度体素对应的局部密度；

    占据概率预测部分，配置为将所述第一尺度点云中的第一尺度体素上采样至第二尺度，确定第一尺度体素对应的第二尺度体素；并对所述第二尺度体素进行占据概率预测，确定所述第二尺度体素对应的占据概率；

    重建部分，配置为根据所述第一尺度体素对应的局部密度与所述第二尺度体素对应的占据概率，确定所述第二尺度点云对应的重建几何信息；

    编码部分，配置为基于所述第二尺度点云对应的重建几何信息进行编码，确定第二尺度点云对应的编码信息，并将所述编码信息写入码流。
19. 一种码流，包括：

    所述码流是根据编码信息进行比特编码生成的；其中，所述编码信息至少包括：第二尺度点云对应的编码信息。
20. 一种解码器，包括：

    第一存储器，配置为存储可执行指令；

    第一处理器，配置为执行所述第一存储器中存储的可执行指令时，实现权利要求1至9任一项所述的方法。
21. 一种编码器，包括：

    第二存储器，配置为存储可执行指令；

    第二处理器，配置为执行所述第二存储器中存储的可执行指令时，实现权利要求10至16任一项所述的方法。
22. 一种计算机可读存储介质，存储有可执行指令，用于引起第一处理器执行时，实现权利要求1至9任一项所述的方法，或者，用于引起第二处理器执行时，实现权利要求10至16任一项所述的方法。