[go: up one dir, main page]

CN116600107B - 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置 - Google Patents

基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置 Download PDF

Info

Publication number
CN116600107B
CN116600107B CN202310893891.7A CN202310893891A CN116600107B CN 116600107 B CN116600107 B CN 116600107B CN 202310893891 A CN202310893891 A CN 202310893891A CN 116600107 B CN116600107 B CN 116600107B
Authority
CN
China
Prior art keywords
mode
modes
cnn
network model
ipms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310893891.7A
Other languages
English (en)
Other versions
CN116600107A (zh
Inventor
陈婧
李志鸿
曾焕强
林琦
朱建清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202310893891.7A priority Critical patent/CN116600107B/zh
Publication of CN116600107A publication Critical patent/CN116600107A/zh
Application granted granted Critical
Publication of CN116600107B publication Critical patent/CN116600107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于IPMS‑CNN和空域相邻CU编码模式的HEVC‑SCC快速编码方法及装置，将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相结合，旨在保持编码质量的同时减少编码时间，降低计算复杂度，方法首先搭建数据库，训练IBC/PLT模式选择的卷积神经网络模型；其次将输入的CTU通过模式选择网络，输出CTU的模式预测标签；最后通过统计相邻3个CU所使用的模式数量来预测当前CU选择的模式。本发明能够节省编码时间，降低屏幕内容视频的计算复杂度。

Description

基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方 法及装置
技术领域
本发明涉及视频编码领域，特别涉及一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法及装置。
背景技术
近年来，随着计算机视觉、多媒体技术和人机交互等领域的快速发展，屏幕共享、无线显示、远程教育等屏幕内容视频（Screen Content Video，SCV）的应用程序不断涌现，对传统处理自然视频的视频编码方法提出了巨大的挑战。传统处理自然视频的标准，例如高效视频编码（High Effcient Video Coding，HEVC），是专门为压缩相机拍摄采集的自然视频内容而制定的。而屏幕内容视频主要是由计算机生成的，它通常具有大面积的均匀平面、重复的图案和字符、颜色种类有限但具有高饱和度、图像对比度高、有锐利的边缘等特点。如果仍用传统的视频编码标准来处理屏幕内容视频，压缩效果往往不佳。因此为了利用屏幕内容视频的这些特殊特征，联合视频编码组在HEVC的基础上开发了屏幕内容编码（Screen Content Coding，SCC）标准：HEVC-SCC。该标准增加了四种新的模式：帧内块复制（Intra Block Copy，IBC，调色板模式（Palette Mode，PLT），自适应颜色变换（AdaptiveColor Transform，ACT），自适应运动矢量分辨率（Adaptive Motion Vector Resolution，AMVR）。
在这四种模式，IBC和PLT是提高压缩性能的两种主要模式。IBC模式有助于在同一帧内编码重复的模式，而PLT模式的目标是用一些有限的主要颜色进行编码。尽管这两种工具的加入能显著提高SCC的编码性能，但是其编码复杂度也显著增加。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法及装置，在保证主观质量的同时，能够节省编码时间，降低屏幕内容视频的计算复杂度，加速HEVC-SCC的编码过程。
本发明采用如下技术方案：
一方面，一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，包括：
数据集制作步骤，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
网络模型构建步骤，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层提取三种特征图，加上下采样后得到的特征图，共提取四种不同尺寸的特征图；
网络模型训练步骤，基于制作的数据集，对构建的网络模型进行训练，获得训练好的IBC/PLT模式选择卷积神经网络IPMS-CNN模型；
网络模型预测步骤，将LCU输入到训练好的IPMS-CNN，获得模式预测标签，以预测出CTU的模式选择；
当前CU模式预测步骤，计算相邻3个CU所使用的IBC/PLT模式数量和 相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预测当前8×8CU 模式；
编码步骤，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。
优选的，所述数据集制作步骤，具体包括：
自制三种不同分辨率的视频序列数据集，数据集涵盖图片数据集和视频数据集，包含TGM/M、A、CC三种类型视频序列；
接着通过标准编码软件平台进行编码，在全帧内配置下，设置不同量化参数QP下的各个CU的IBC/PLT模式的模式标签。
优选的，所述的数据集包括：训练集、验证集和测试集；所述训练集、验证集和测试集中的每一个集均包含三个子集；第一个子集的分辨率为1024×576，第二个子集的分辨率为1792×1024，第三个子集为2304×1280。
优选的，所述量化参数包括四个量化等级，分别为22、27、32和37。
优选的，网络模型构建步骤中，特征提取层中搭建三个卷积层，提取三种特征图，同时经过下采样后的特征图会直接送入网络的连接层中。
优选的，所述输出表达层中包括全连接层；所述全连接层的特征向量中添加有量化参数QP。
优选的，所述网络模型的损失函数如下：
其中，表示真实值和预测值的交叉熵，、、分别表示第 一级64×64、第二级32×32、第三级16×16CU的真实模式标签，表示64×64CTU的真 实模式标签，,表示4个32×32CTU的真实模式标签，表示4×4个16 ×16CTU的真实模式标签；同理，、、分别表示第一级64×64、第二级32 ×32、第三级16×16的预测标签，表示64×64CTU的预测模式标签，,则表示4个32×32CTU的预测模式标签，表示4×4个16×16CTU的预测模 式标签；网络的预测标签和真实标签都经过了二值化，范围在[0，1]之间。
优选的，所述网络模型预测步骤中，网络模型输出21个二进制标签表示64×64、32×32、16×16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式。
优选的，所述当前CU模式预测步骤，具体包括：
当CU尺寸为8×8时，计算相邻3个CU所使用的IBC、PLT模式数量和Intra模式数量；
具体的，当时，候选模式只有Intra模式；当且时，候选模式为IBC和PLT模式；当且时， 候选模式为Intra、IBC和PLT模式。
另一方面，一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码装置，包括：
数据集制作模块，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
网络模型构建模块，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层，提取三种特征图；
网络模型训练模块，基于制作的数据集，对构建的网络模型进行训练，获得训练好的网络模型IPMS-CNN；
网络模型预测模块，将CTU输入到训练好的IPMS-CNN，获得模式预测标签，以预测出CTU的模式选择；
当前CU模式预测模块，计算相邻3个CU所使用的IBC/PLT模式数量和 相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预测当前8×8CU 模式；
编码模块，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。
与现有技术相比，本发明的有益效果如下：
（1）本发明首先搭建数据库，训练IBC/PLT模式选择的卷积神经网络模型（IPMS-CNN）；其次将输入的CTU通过模式选择网络，输出CTU的模式预测标签；最后通过统计相邻3个CU所使用的模式数量来预测当前CU选择的模式，本发明能够在保持编码质量的同时减少编码时间，降低屏幕内容视频的计算复杂度；
（2）本发明采用四种尺度特征融合的网络结构，其中，下采样后的特征图会与后续经过卷积层得到的特征图一起送到连接层中，下采样后的图像提供了一部分深层特征，而卷积层的特征图则提供了一些浅层特征，这些浅层特征和深层特征的结合，不仅可以增加训练数据的数量，还可以给全连接层提供更多的特征信息，提高模型的特征表达能力和预测模式选择的准确性；
（3）本发明在输出表达层的全连接层中添加QP这个外部向量，可以使模型更好地学习如何在不同的QP下选择最佳的编码模式，能够让模型更好地适应各种QP值，进而生成更高质量的重建视频；
（4）本发明通过将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法结合，可以更加精确地预测CU的模式，从而降低模式选择的复杂度。
附图说明
图1为本发明的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法的流程图；
图2为本发明的IPMS-CNN卷积神经网络结构示意图；
图3为本发明的当前8×8CU和相邻CU示意图；
图4为本发明的将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相连接的详细流程图；
图5为本发明的MFF-CNN网络结构示意图；
图6为本发明的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码装置的结构框图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
为了解决HEVC-SCC中CU划分复杂度高的问题，本实施例提出一种基于多尺度特征融合（MFF-CNN）的HEVC-SCC帧内CU快速划分编码方法，用于在不影响主观质量的同时加快编码时间，降低编码复杂度。
具体的，参见图1所示，一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，包括：
S101，数据集制作步骤，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
S102，网络模型构建步骤，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层，特征提取层中搭建三个卷积层提取三种特征图，加上下采样后得到的特征图，共提取四种不同尺寸的特征图；
S103，网络模型训练步骤，基于制作的数据集，对构建的网络模型进行训练，获得训练好的IBC/PLT模式选择卷积神经网络（IBC /PLT Mode Selection ConvolutionNeural Network，IPMS-CNN）模型；
S104，将LCU输入到训练好的IPMS-CNN，获得64×64、32×32、16×16CU的模式预测标签，以预测出CTU的模式选择；
S105，8×8 CU模式预测步骤，8×8CU的模式预测则通过统计空域相邻CU所采用的 模式数量来预测当前CU可能选择的模式。计算相邻3个CU所使用的IBC/PLT模式数量和相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预 测当前8×8CU模式；
S106，编码步骤，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。
本实施例中，所述数据集制作步骤，具体包括：
制作三种不同分辨率的视频序列数据集：1024×576、1792×102、2304×1280，数据集涵盖图片数据集和视频数据集，且每种分辨率都包含TGM/M、A、CC三种类型视频序列；
将所有数据集序列通过HM16.12+SCM8.3进行编码，在全帧内（All Intra，AI）配置下，设置量化参数QP：22、27、32、37，获取四个QP下的各个CU的IBC/PLT模式的模式标签，用于下一步的网络模型训练。
参见图2所示，本实施例的IPMS-CNN网络有三个组成部分：输入层、特征提取层和输出表达层。在网络的特征提取层中搭建三个卷积层，提取三种特征图，同时将经过下采样后的特征图直接送入网络的连接层中。因此，网络可以获得12种不同尺度的特征图。网络采用交叉熵损失函数作为目标函数，公式如下：
其中，表示真实值和预测值的交叉熵，、、分别表示第 一级（64×64）、第二级（32×32）、第三级（16×16）CU的真实模式标签，表示64× 64CTU的真实模式标签，,则表示4个32×32CTU的真实模式标签， 则表示4×4个16×16CTU的真实模式标签；同理，、、分别表示第一级 （64×64）、第二级（32×32）、第三级（16×16）的预测标签，表示64×64CTU的预测模 式标签，,则表示4个32×32CTU的预测模式标签，则表示4×4个16 ×16CTU的预测模式标签；网络的预测标签和真实标签都经过了二值化，范围在[0，1]之间。
由于量化参数QP是一种可以控制视频压缩质量的参数，QP越大，其压缩比越高，但是压缩后的图像质量越低。而在HEVC-SCC中，QP对于SCC模式的选择也非常重要，因为其可以控制量化误差的大小，从而影响最终的图像质量。当对同一视频帧进行编码时，QP越大，编码后的CU模式选择越粗糙，往往选择Intra模式；而QP越小，则编码后的QP越有可能会找到合适的参考从而选择IBC或者PLT模式。因此，在输出表达层的全连接层中添加QP这个外部向量，可以使模型更好地学习如何在不同的QP下选择最佳的编码模式，能够让模型更好地适应各种QP值，进而生成更高质量的重建视频。
本实施例中，所述网络模型最终输出21个二进制标签表示64×64、32×32、16×16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式。
所述当前CU模式预测步骤，具体包括：
当时，候选模式只有Intra模式；当且时，候选模式为IBC和PLT模式；当且时， 候选模式为Intra、IBC和PLT模式。
参见图3所示，为本实施例当前8×8CU和相邻CU示意图。
参见图4所示，为本实施例的将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相连接的详细流程图，具体如下：
（a）网络输入LCU，调用多尺度特征融合的卷积神经网络模型MFF-CNN模型（Multi-scale Feature Fusion Convolution Neural Network）（见图5）、IPMS-CNN模式选择模型，分别输出21个二进制标签表示64×64、32×32、16×16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式；
（b）当CU尺寸为8×8时，计算相邻3个CU所使用的IBC、PLT模式数量和Intra模式数 量。当时，候选模式只有Intra模式；当且 时，候选模式为IBC、PLT模式；当且时，候选模式为Intra、 IBC、PLT模式；
（c）编码器根据步骤（a）调用网络标签，与步骤（b）一起预测CU划分结果，从而跳过不必要的模式遍历，减少编码时间，加速屏幕内容视频的编码过程。
参见图5所示，为本实施例MFF-CNN网络结构示意图。
参见图6所示，本实施例还公开了一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码装置，包括：
数据集制作模块601，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
网络模型构建模块602，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层，提取三种特征图；
网络模型训练模块603，基于制作的数据集，对构建的网络模型进行训练，获得训练好的网络模型IPMS-CNN；
网络模型预测模块604，将CTU输入到训练好的IPMS-CNN，获得模式预测标签，以预测出CTU的模式选择；
当前CU模式预测模块605，计算相邻3个CU所使用的IBC/PLT模式数量 和相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预测当前8× 8CU模式；
编码模块606，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。
一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码装置各模块的具体实现同一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，本实施例不再重复说明。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，包括：
数据集制作步骤，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
网络模型构建步骤，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层提取三种特征图，加上下采样后得到的特征图，共提取四种不同尺寸的特征图；
网络模型训练步骤，基于制作的数据集，对构建的网络模型进行训练，获得训练好的IBC/PLT模式选择卷积神经网络IPMS-CNN模型；
网络模型预测步骤，将LCU输入到训练好的IPMS-CNN，获得模式预测标签，以预测出CTU的模式选择；
当前CU模式预测步骤，计算相邻3个CU所使用的IBC/PLT模式数量NumSCCNeigh和相邻3个CU所使用的Intra模式数量NumIntraNeigh，根据两个数量关系联合预测当前8×8CU模式；编码步骤，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果；
所述网络模型预测步骤中，网络模型输出21个二进制标签表示64×64、32×32、16×16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式；
所述当前CU模式预测步骤，具体包括：
当CU尺寸为8×8时，计算相邻3个CU所使用的IBC、PLT模式数量和Intra模式数量；具体的，当NumSccNeigh＝0时，候选模式只有Intra模式；当NumSCCNeigh≠0且NumIntraNeigh＝0时，候选模式为IBC和PLT模式；当NumSCCNeigh≠0且NumIntraNeigh≠0时，候选模式为Intra、IBC和PLT模式。
2.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，所述数据集制作步骤，具体包括：
自制三种不同分辨率的视频序列数据集，数据集涵盖图片数据集和视频数据集，包含TGM/M、A、CC三种类型视频序列；
接着通过标准编码软件平台进行编码，在全帧内配置下，设置不同量化参数QP下的各个CU的IBC/PLT模式的模式标签。
3.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，所述的数据集包括：训练集、验证集和测试集；所述训练集、验证集和测试集中的每一个集均包含三个子集；第一个子集的分辨率为1024×576，第二个子集的分辨率为1792×1024，第三个子集为2304×1280。
4.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，所述量化参数包括四个量化等级，分别为22、27、32和37。
5.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，网络模型构建步骤中，特征提取层中搭建三个卷积层，提取三种特征图，同时经过下采样后的特征图会直接送入网络的连接层中。
6.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，所述输出表达层中包括全连接层；所述全连接层的特征向量中添加有量化参数QP。
7.根据权利要求1所述的基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法，其特征在于，所述网络模型的损失函数如下：
其中，H(*，*)表示真实值和预测值的交叉熵，分别表示第一级64×64、第二级32×32、第三级16×16CU的真实模式标签，表示64×64CTU的真实模式标签，表示4个32×32CTU的真实模式标签，表示4×4个16×16CTU的真实模式标签；同理，分别表示第一级64×64、第二级32×32、第三级16×16的预测标签，表示64×64CTU的预测模式标签， 则表示4个32×32CTU的预测模式标签，表示4×4个16×16CTU的预测模式标签；网络的预测标签和真实标签都经过了二值化，范围在[0，1]之间。
8.一种基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码装置，其特征在于，包括：
数据集制作模块，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC-SCC的各个CU是否使用IBC/PLT模式的真实标签；
网络模型构建模块，构建包括输入层、特征提取层和输出表达层的网络模型IPMS-CNN；其中，特征提取层中搭建三个卷积层，提取三种特征图；
网络模型训练模块，基于制作的数据集，对构建的网络模型进行训练，获得训练好的网络模型IPMS-CNN；
网络模型预测模块，将CTU输入到训练好的IPMS-CNN，获得模式预测标签，以预测出CTU的模式选择；
当前CU模式预测模块，计算相邻3个CU所使用的IBC/PLT模式数量NumSCCNeigh和相邻3个CU所使用的Intra模式数量NumIntraNeight，根据两个数量关系联合预测当前8×8CU模式；编码模块，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果；
所述网络模型预测模块中，网络模型输出21个二进制标签表示64×64、32×32、16×16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式；
所述当前CU模式预测模块，具体包括：
当CU尺寸为8×8时，计算相邻3个CU所使用的IBC、PLT模式数量和Intra模式数量；具体的，当NumSCCNeigh＝0时，候选模式只有Intra模式；当NumSCCNeigh≠0且NumINtraNeight＝0时，候选模式为IBC和PLT模式；当NumSCCNeigh≠0且NumIntraNeigh≠0时，候选模式为Intra、IBC和PLT模式。
CN202310893891.7A 2023-07-20 2023-07-20 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置 Active CN116600107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310893891.7A CN116600107B (zh) 2023-07-20 2023-07-20 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310893891.7A CN116600107B (zh) 2023-07-20 2023-07-20 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置

Publications (2)

Publication Number Publication Date
CN116600107A CN116600107A (zh) 2023-08-15
CN116600107B true CN116600107B (zh) 2023-11-21

Family

ID=87594223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310893891.7A Active CN116600107B (zh) 2023-07-20 2023-07-20 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置

Country Status (1)

Country Link
CN (1) CN116600107B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117915080B (zh) * 2024-01-31 2024-10-01 重庆邮电大学 一种适用于vvc scc的快速编码模式决策方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087172A (zh) * 2017-03-22 2017-08-22 中南大学 基于hevc‑scc的快速码率转码方法及其系统
CN107623850A (zh) * 2017-09-26 2018-01-23 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
CN112601087A (zh) * 2020-11-23 2021-04-02 郑州轻工业大学 一种针对h.266/vvc的快速cu分裂模式决策方法
CN113079373A (zh) * 2021-04-01 2021-07-06 北京允博瑞捷信息科技有限公司 一种基于hevc-scc的视频编码方法
CN114286093A (zh) * 2021-12-24 2022-04-05 杭州电子科技大学 一种基于深度神经网络的快速视频编码方法
CN115314710A (zh) * 2020-01-08 2022-11-08 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质
CN115941943A (zh) * 2022-12-02 2023-04-07 杭州电子科技大学 一种hevc视频编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087172A (zh) * 2017-03-22 2017-08-22 中南大学 基于hevc‑scc的快速码率转码方法及其系统
CN107623850A (zh) * 2017-09-26 2018-01-23 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
CN115314710A (zh) * 2020-01-08 2022-11-08 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质
CN112601087A (zh) * 2020-11-23 2021-04-02 郑州轻工业大学 一种针对h.266/vvc的快速cu分裂模式决策方法
CN113079373A (zh) * 2021-04-01 2021-07-06 北京允博瑞捷信息科技有限公司 一种基于hevc-scc的视频编码方法
CN114286093A (zh) * 2021-12-24 2022-04-05 杭州电子科技大学 一种基于深度神经网络的快速视频编码方法
CN115941943A (zh) * 2022-12-02 2023-04-07 杭州电子科技大学 一种hevc视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的屏幕内容帧内快速编码算法;张倩云;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第2021 年 第02期期);I136-539，第4.1-4.6.1节 *

Also Published As

Publication number Publication date
CN116600107A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN104244007B (zh) 一种图像编码方法和装置及解码方法和装置
CN112770120B (zh) 基于深度神经网络的3d视频深度图帧内快速编码方法
CN107483920A (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
US12154300B2 (en) Predictive coding of boundary geometry information for mesh compression
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN112637600B (zh) 对数据进行有损或无损压缩的编码、解码的方法或装置
CN104780379A (zh) 一种屏幕图像集合的压缩方法
CN110677644A (zh) 一种视频编码、解码方法及视频编码帧内预测器
Pinheiro et al. NF-PCAC: Normalizing flow based point cloud attribute compression
CN109996083B (zh) 帧内预测方法及装置
CN116600107B (zh) 基于ipms-cnn和空域相邻cu编码模式的hevc-scc快速编码方法及装置
CN113473139B (zh) 一种图像处理方法和图像处理装置
CN102592130B (zh) 一种针对水下显微视频的目标识别系统及其视频编码方法
CN118764649B (zh) 一种跨域应急指挥调度方法和系统
EP4330920A1 (en) Learning-based point cloud compression via tearing transform
CN116634147B (zh) 基于多尺度特征融合的hevc-scc帧内cu快速划分编码方法及装置
CN117337449A (zh) 点云质量增强方法、编码和解码方法及装置、存储介质
CN106961605A (zh) 一种基于宏像素边界匹配的光场图像压缩方法
Yang et al. Graph-convolution network for image compression
CN118250415A (zh) 一种基于多层次语义分割的实时视频抠图方法
CN114554175B (zh) 一种基于分类重排的二维点云距离图像的无损压缩方法
CN107087172B (zh) 基于hevc-scc的快速码率转码方法及其系统
CN119384681A (zh) 编解码方法、编码器、解码器以及存储介质
CN110913233A (zh) 一种3d-hevc深度图帧内快速编码的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant