[go: up one dir, main page]

CN111406404B - 获得视频文件的压缩方法、解压缩方法、系统及存储介质 - Google Patents

获得视频文件的压缩方法、解压缩方法、系统及存储介质 Download PDF

Info

Publication number
CN111406404B
CN111406404B CN201980005157.4A CN201980005157A CN111406404B CN 111406404 B CN111406404 B CN 111406404B CN 201980005157 A CN201980005157 A CN 201980005157A CN 111406404 B CN111406404 B CN 111406404B
Authority
CN
China
Prior art keywords
image data
color
pixel
image
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980005157.4A
Other languages
English (en)
Other versions
CN111406404A (zh
Inventor
周新生
李翔
阮俊瑾
张灵
潘永靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Uhdvision Technology Co ltd
Original Assignee
Shanghai Uhdvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Uhdvision Technology Co ltd filed Critical Shanghai Uhdvision Technology Co ltd
Publication of CN111406404A publication Critical patent/CN111406404A/zh
Application granted granted Critical
Publication of CN111406404B publication Critical patent/CN111406404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及图像处理技术领域,具体提供一种获得视频文件的压缩方法、解压缩方法、系统及存储介质,包括:按照时间顺序获取多幅待压缩处理的图像数据;基于所述图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置;将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩,以得到视频文件。本申请所提供的方案可有效降低码流,并同时保证高保真画质。由于本申请中的压缩方法可有效降低数据量,因此可通过现有技术中的4K编码器进行8k视频的编码。介于目前5G的上行稳定峰值是90Mbps,因此可实现5G实时传输8K视频,并同时具有高保真画质。

Description

获得视频文件的压缩方法、解压缩方法、系统及存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种获得视频文件的压缩方法、解压缩方法、系统及存储介质。
背景技术
随着人们对多媒体播放数据的播放质量越来越高,多媒体播放数据的数据量也越来越大。对于大数据量的多媒体播放数据,采用传统方式对其进行压缩编码后,数据量依然无法控制在可被稳定传输的范围内。为使多媒体播放数据可被稳定传输,通常只能将多媒体播放数据进一步压缩,但这种方法会导致颜色信息丢失严重,无法满足高画质的需求。因此,人们期望能够有一种更好的压缩方法,以实现对于数据量大的多媒体播放数据,可在保证传输稳定性的情况下满足高保真的效果。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种获得视频文件的压缩方法、解压缩方法、系统及存储介质,用于解决现有技术中超高清视频数据传输困难的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种获得视频文件的压缩方法,包括以下步骤:按照时间顺序获取多幅待压缩处理的图像数据;所述图像数据用于显示UHD4K及以上像素的视频图像;基于所述图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置;将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩,以得到视频文件。
在本申请的第一方面的某些实施方式中,所述图像数据中的每个像素表示单一颜色属性的情况下,所述基于图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的步骤包括:按照基于所述图像数据中的Bayer格式而设置的颜色格式,遍历所述图像数据;其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色值,并映射到相应图像块中的像素位置。
在本申请的第一方面的某些实施方式中,所述图像数据中的每个像素表示RGB颜色属性的情况下;所述基于图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的步骤包括:按照基于所述图像数据中的像素行格式而设置的颜色格式,遍历所述图像数据;其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色主分量或颜色拟合分量,并映射到相应图像块中的像素位置。
在本申请的第一方面的某些实施方式中,所述将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩的步骤包括:按照所述颜色格式中的颜色属性,将多幅图像数据所对应的多个图像块依序输入一第一编码器进行压缩处理。
在本申请的第一方面的某些实施方式中,所述将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩的步骤包括:在同步控制下,利用多个第二编码器分别将同一颜色属性的多个图像块进行压缩处理。
在本申请的第一方面的某些实施方式中,利用多个第二编码器进行压缩处理所得到的视频文件中包含用于解压缩视频文件以恢复多幅图像数据而设置的同步信息。
本申请的第二方面还提供一种视频文件的解压缩方法,包括:获取一视频文件;按照对应所述视频文件所使用的压缩方式对所述视频文件进行解压缩处理,得到多个图像块;其中,根据各图像块的颜色属性,所得到的多个图像块与待生成的多幅图像数据中的每一幅图像数据相对应;根据所述颜色属性,将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中;基于所述图像数据中各像素的颜色值,生成用于显示UHD 4K及以上像素的视频图像。
在本申请的第二方面的某些实施方式中,所述按照压缩方式对所述视频文件进行解压缩处理,得到多个图像块的步骤包括:在同步控制下,利用多个第二解码器分别依据颜色属性对所述视频文件进行解压缩处理;其中,每个第二解码器输出具有同一颜色属性的多个图像块;其中,每个图像块与待生成的一幅图像数据相对应。
在本申请的第二方面的某些实施方式中,每个第二解码器依据所述视频文件中的同步信息确定所解压缩的多个图像块与待生成的一幅图像数据之间的对应关系。
在本申请的第二方面的某些实施方式中,所述按照压缩方式对所述视频文件进行解压缩处理,得到多个图像块的步骤包括:利用第一解码器对所接收的视频文件进行解压缩处理,得到依据颜色格式中的不同颜色属性而划分的多组图像块;其中,每组图像块中的每个图像块与待生成的一幅图像数据相对应。
在本申请的第二方面的某些实施方式中,所述根据颜色属性,将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中的步骤包括:按照所述颜色格式,遍历各颜色属性的图像块中的像素位置,在遍历期间,将各图像块中相应像素位置的颜色值映射到所对应的图像数据中的像素位置,以生成图像数据;其中,所述图像数据中各像素位置的颜色值表示单一颜色属性。
在本申请的第二方面的某些实施方式中,所述基于图像数据中经映射得到的各像素的颜色值,生成用于显示UHD 4K及以上像素的视频图像的步骤还包括:根据所述颜色格式,将所得到的图像数据中的各像素位置进行插值处理,得到各像素中包含RGB颜色属性的视频图像。
本申请的第三方面还提供一种压缩设备,包括:通信接口,用于与外部的解压缩设备通信连接;存储器,用于存储至少一个程序和待压缩的图像数据;处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照本申请第一方面中任一所述的获得视频文件的压缩方法将所述图像数据进行压缩处理,以得到视频文件。
本申请的第四方面还提供一种解压缩设备,包括:通信接口,用于与外部的压缩设备通信连接;存储器,用于存储至少一个程序和待解压缩的视频文件;处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照如本申请第二方面中任一所述的视频文件的解压缩方法将所述视频文件进行解压缩处理,以便播放所述视频文件。
本申请的第五方面还提供一种视频传输系统,包括:如本申请的第三方面所述的压缩设备;以及如本申请的第四方面所述的解压缩设备。
本申请的第六方面还提供一种计算机可读存储介质,包括:存储有至少一程序;所述至少一程序在被调用时执行如本申请第一方面中任一所述的获得视频文件的压缩方法;或者,所述至少一程序在被调用时执行如本申请第二方面中任一所述的视频文件的解压缩方法。
如上所述,本申请的获得视频文件的压缩方法、解压缩方法、系统及存储介质,具有以下有益效果:本申请所提供的获得视频文件的压缩方法、解压缩方法、系统及存储介质可有效降低码流,并同时保证高保真画质。本申请中,多个图像块相加的数据量远远低于采用传统方法进行压缩处理后的数据量。其中,与YUV222格式相比,只有其一半的数据量;与YUV444格式相比,只有其1/3的数据量,但采用本申请的压缩方法所携带的信息量却相当于YUV444格式的信息量。以8K视频为例,每个颜色属性的图像块相当于只有亮度信息的4K视频YUV400格式,且与YUV422格式相比,数据量只有其一半。由于本申请中的压缩方法可有效降低数据量,因此可通过现有技术中的4K编码器进行8k视频的编码。同理,通过本申请的压缩方法也可通过2K视频的编码器对4K视频进行编码处理,或者通过8K视频的编码器对16k视频进行处理等。并且,藉由本申请的压缩方法可直接利用RGB视频图像或Bayer格式图像进行压缩,而无需转换成YUV格式。另外,通过本申请的压缩方法所产生的码流率可以控制在YUV422的一半左右,即24~80Mbps,介于目前5G的上行稳定峰值是90Mbps,因此可实现5G实时传输8K视频,并同时具有高保真画质。
附图说明
图1显示为本申请中的压缩方法在一实施方式中的流程图;
图2显示为本申请中的图像数据在一实施例中的示意图;
图3显示为本申请中将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法实施例示意图;
图4显示为本申请中图像数据中的每个像素表示RGB颜色属性的实施例示意图;
图5显示为本申请中将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的另一实施例示意图;
图6显示为本申请中利用一第一编码器进行压缩处理的实施例示意图;
图7显示为本申请中利用一第一编码器进行压缩处理的另一实施例示意图;
图8显示为本申请中图像数据中的每个像素表示RGB颜色属性的另一实施例示意图;
图9显示为本申请中压缩设备未预先获知每个像素中的主分量时的又一实施例示意图;
图10显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的一实施例示意图;
图11显示为本申请中压缩设备未预先获知每个像素中的主分量时的再一实施例示意图;
图12显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的另一实施例示意图;
图13显示为本申请中压缩设备未预先获知每个像素中的主分量时的又一实施例示意图;
图14显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的又一实施例示意图。
图15显示为所述解压缩方法在一实施方式中的流程图;
图16显示为本申请中利用一第一解码器进行解压缩处理的实施例示意图;
图17显示为本申请中利用一第一解码器进行解压缩处理的另一实施例示意图;
图18显示为本申请中解压缩设备将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中的实施例示意图;
图19显示为本申请中压缩设备的实施例示意图;
图20显示为本申请中解压缩设备的实施例示意图;
图21显示为本申请中的视频传输系统在一实施方式中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一解码器可以被称作第二解码器,并且类似地,第二解码器可以被称作第一解码器,而不脱离各种所描述的实施例的范围。第一解码器和解码器均是在描述一个阈值,但是除非上下文以其他方式明确指出,否则它们不是同一个解码器。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
随着用户对多媒体播放数据的播放质量要求的不断提升,例如,在节目直播、视频会议或是安全监控等领场景,技术人员需传输稳定性更好、保真率更高的多媒体播放数据。但是随着人们对多媒体播放数据的播放质量越来越高,多媒体播放数据的数据量也越来越大。对于大数据量的多媒体播放数据,采用传统方式对其进行压缩编码后的码流也较大,并且通常需要将RGB图像转换成YUV格式后再进行压缩编码。以30帧8K为例,如果采用YUV444格式为例,其数据量达到7680×4320×24bit×30fps≈3GByte/s,如果采用YUV422格式,虽然颜色分量丢失了一半,但其数据量仍然达到2Gbyte/s。在这种数据量下,如果采用现有技术中的方式进行压缩编码,码流为48~160Mbps,即使采用最新的5G技术,由于5G CPE的上行速度峰值均值在80~90Mbps,仍无法满足稳定传输的要求。另一方面,在一些实施方式中对多媒体播放数据的压缩大多采用YUV422或YUV420格式,颜色信息丢失严重,无法满足高画质的需求。人们期望能够有一种更好的压缩方法,能够实现对于数据量大的多媒体播放数据,可在低码率的情况下亦能做到高保真的效果。
为此,本申请提供一种获得视频文件的压缩方法,以解决上述问题,使高清视频的播放更流畅且保真度更高。所述压缩方法主要由图像的压缩设备来完成,其中,所述压缩设备可以为一种终端设备、或者服务器。在此,所述终端设备包括但不限于摄像设备、个人使用的电子终端设备等。
应当理解,所述摄像设备包括摄像装置、存储装置、处理装置,还可以包含接口装置等。所述摄像装置用于获取图像数据,其中,所述图像数据是由基于颜色而设置的多路图像数据组成的。所述摄像装置至少包含由透镜组构成的镜头、光感器件等,其中光感器件举例包含CCD器件、CMOS器件等。所述存储装置可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。所述存储装置还包括存储器控制器,其可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。所述存储装置用于存储至少一个程序和待编码的图像数据。存储在存储装置中的程序包括操作系统、通信模块(或指令集)、图形模块(或指令集)、文本输入模块(或指令集)、以及应用(或指令集)。所述存储装置中的程序还包括基于所述压缩方法所提供的技术方案而依时序对图像数据执行编码操作的指令集。所述处理装置包括但不限于:CPU、GPU、FPGA(Field-Programmable Gate Array现场可编程门阵列)、ISP(Image SignalProcessing图像处理芯片)、或者其他包含专用于处理存储装置中所存储的至少一个程序的处理芯片(如AI专用芯片)等。所述处理装置调用并执行存储装置中所存储的至少一个程序,以按照所述压缩方法对所保存的图像数据进行压缩处理。所述接口装置包括但不限于:数据线接口和网络接口;其中,数据线接口举例包括以下至少一种:如USB等串行接口、如总线接口能够并行接口等。网络接口举例包括以下至少一种:如基于蓝牙协议的网络接口、WiFi网络接口等短距离无线网络接口,如基于3G、4G或5G协议的移动网络的无线网络接口,如包含网卡的有线网络接口等。在一些场景中,所述摄像设备设置在道路上方的云台上,用于监控车辆违章,如超速、闯红灯等。在另一些场景中,所述摄像装置被配置在微创医疗设备上,其摄像装置通过光纤或其他专用数据线设置在软管前端。在另一些场景中,所述摄像装置被配置在体育场的高速移动的轨道上,用于摄取竞技比赛的高清画面。
应当理解,所述个人使用的电子终端设备包括台式电脑、笔记本电脑、平板电脑、和专用于制作电视节目、电影、电视剧等的剪接设备等。所述电子终端设备包含存储装置、处理装置。其中,存储装置和处理装置可与前述摄像设备中的对应装置相同或相似,在此不再详述。所述电子终端设备还可以包含摄像装置,用于摄取图像数据。在此,在一些示例中,所述摄像装置的硬件及软件模块可与前述摄像设备中的对应装置相同或相似,在此也不再重述。在又一些示例中,所述电子终端设备还可以包括图像获取接口,用于获取图像数据。所述图像获取接口可以为网络接口、数据线接口、或程序接口。其中,所述网络接口和数据线接口可与前述摄像设备中的对应装置相同或相似,在此不再详述。例如,藉由所述网络接口,所述电子终端设备的处理装置从互联网中下载的图像数据。又如,藉由所述程序接口,所述电子终端设备的处理装置获取绘图软件展示在显示屏上的图像数据。其中,所述绘图软件举例为PS软件、或截屏软件等。再如,藉由所述数据线接口,所述电子终端设备的处理装置从存储装置中获取未经剪辑处理的高清视频中的一帧图像数据。
所述服务器包括但不限于单台服务器、服务器集群、分布式服务器、基于云技术的服务端等。其中,所述服务器包括存储装置、处理装置和图像获取接口等。其中所述存储装置和处理装置可配置于同一台实体服务器设备中,或根据各实体服务器设备的分工而配置在多台实体服务器设备中。所述图像获取接口可以为网络接口、或数据线接口。所述服务器中所包含的存储装置、处理装置和图像获取接口等可与前述终端设备中所提及的对应装置相同;或基于服务器的吞吐量、处理能力、存储要求而专门设置的用于服务器的各对应装置。例如,所述存储装置还可包含固态硬盘等。例如,所述处理装置还可包含专用于服务器的CPU等。所述服务器中的图像获取接口获取来自互联网中的图像数据和编码指令,处理装置基于所述编码指令对所获取的图像数据执行本申请所述的压缩方法。
所述视频文件可以被存储在存储介质中,也可以利用60Mbps及以上的通信传输方式将所述视频文件传输至压缩设备。其中,所述传输方式包括但不限于:基于5G通信协议的无线传输方式、或光纤传输。
基于上述任一场景所产生的对图像数据进行压缩编码的需求,本申请提供一种获得视频文件的压缩方法,请参阅图1,其显示为所述压缩方法在一实施方式中的流程图。
在步骤S110中,按照时间顺序获取多幅待压缩处理的图像数据;所述图像数据用于显示UHD 4K及以上像素的视频图像。
其中,所述图像数据包括但不限于:超高清图像(如4K图像或8K图像)、以及已被压缩处理并解压缩后的图像等。例如,所述图像数据为来源于高清摄像机所摄取的原始视频中的高清图像。又如,所述图像数据为藉由专用数据通道传输得到的高清图像。再如,所述图像数据为来源于互联网且需要被重新编码的图像。其中,所述图像数据的格式可以是Bayer格式,或者是经Debayer后生成的RGB图像,又或者是YUV等格式。例如,所述图像数据是高清摄像机的传感器直接生成的Bayer格式。又如,高清摄像机的传感器生成的Bayer格式经过Debayer,即在Bayer格式中每个像素的颜色分量上拟合出另外两种颜色分量,由此生成RGB图像,并将RGB图像作为待处理的图像数据。
应当理解,Debayer即为马赛克处理,是一种数位影像处理算法,目的是从覆有滤色阵列(Color filter array,简称CFA)的感光元件所输出的不完全色彩取样中,重建出全彩影像。此法也称为滤色阵列内插法(CFAinterpolation)或色彩重建法(Colorreconstruction)。
应当理解,视频文件是由若干帧图像数据组成的,因此,压缩设备按照时间顺序获取若干帧待处理的图像数据,以便按照时间顺序将若干帧图像数据依次处理。
应当理解,UHD为Ultra High Definition,即超高清。UHD 4k及以上指清晰度在4K像素及以上的视频图像,如8k像素、16k像素等。为便于理解,本实施例中以8K像素为例进行描述,但本方案原理亦可用于压缩4k像素、16k像素甚至更高清的视频图像。
在此,用于显示UHD 4K及以上像素的视频图像的图像数据可为前述提及的Bayer格式的图像数据或RGB格式的图像数据。其中,RGB格式的图像数据包括RGB格式本身的图像数据以及可转换成RGB格式的其他格式(如YUV格式等)的图像数据。
请继续参阅图1,在步骤S120中,所述压缩设备基于所述图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置。
应当理解,像素为影像显示的基本单位。每个像素根据其所在的图像数据的格式不同,具有不同的颜色属性。例如,对于Bayer格式的图像数据,其像素的颜色属性为单一颜色分量;对于RGB等格式的图像数据,其像素的颜色属性包括红(R)、绿(G)、蓝(B)三种颜色分量。由于人眼对绿色相对其他颜色更为敏感,因此通常G分量的数量为其他颜色分量数量的2倍。因此,在某些实施例中,所述G分量用Gr分量或Gb分量表示。其中,每一像素均有对应其颜色属性的颜色值。例如,当所述图像数据为Bayer格式时,请参阅图2,其显示为本申请中的图像数据在一实施例中的示意图,如图所示,每个方块代表了一个像素,每个像素中只有R或G或B单一颜色分量,其中G分量用Gr分量和Gb分量表示,所述图像数据中每一像素的颜色值为该单一颜色分量的亮度值,即各像素的颜色值;当所述图像数据为RGB格式时,所述图像数据中每一像素的颜色值包括该像素中各颜色分量的亮度值。
为便于理解,在此以单幅图像数据举例说明。应当理解,多幅图像数据的处理方法即为按照所述单幅图像数据的处理方法分别处理多幅图像数据,并将处理后的结果分别提供给步骤S130。
在本实施例中,所述压缩设备基于颜色属性将图像数据分成多个图像块,为保证所述图像数据中的各像素与图像块中的各像素之间的关联性,以便在解码时能够还原图像数据,所述压缩设备将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置。
在一个示例性的实施例中,在所述图像数据中的每个像素表示单一颜色属性的情况下,所述步骤S120包括:按照基于所述图像数据中的Bayer格式而设置的颜色格式,遍历所述图像数据;其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色值,并映射到相应图像块中的像素位置。
请继续参阅图2,所述图像数据中的每个像素均表示单一颜色属性。在本实施例中,以4个(2×2)像素确定为颜色格式101,由于对Bayer数据扫描时,通常其奇数行输出G、R、G、R……,偶数行输出B、G、B、G……,因此在一个颜色格式101中具有4个不同颜色属性的像素数据。以所述像素单元中不同颜色属性的像素数据的相对位置作为像素行格式,遍历所述图像数据,从而提取各个像素数据并形成多个图像块。
在某些实施例中,请参阅图3,其显示为本申请中将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法实施例示意图。如图所示,在本实施例中,所述图像数据中的奇数行为Gr、R、Gr、R……,偶数行为B、Gb、B、Gb……,在此,将奇数行的Gr、R,偶数行的B、Gb确定为一个颜色格式101。为便于理解,定义第一行第一列的像素所在的颜色格式101中所有像素的坐标均为原点(0,0),即该颜色格式101中包括了Gr(0,0)、R(0,0)、B(0,0)和Gb(0,0)。如图3所示,以所述颜色格式101为基准,将在所述颜色格式101的水平方向上向右偏移1个单位的颜色格式中的各像素坐标确定为(0,1),将在所述颜色格式101的水平方向上向右偏移2个单位的颜色格式中的各像素坐标确定为(0,2),将在所述颜色格式101的水平方向上向右偏移3个单位的颜色格式中的各像素坐标确定为(0,3)……;同理,以所述颜色格式101为基准,将在所述颜色格式101的垂直方向上向下偏移1个单位的颜色格式中的各像素坐标确定为(1,0),将在所述颜色格式101的垂直方向上向下偏移2个单位的颜色格式中的各像素坐标确定为(2,0),将在所述颜色格式101的垂直方向上向下偏移3个单位的颜色格式中的各像素坐标确定为(3,0)……。以此规则遍历整个图像数据,则所述图像数据中的每一像素均有其位置信息,以便在解码时利用该位置信息还原图像数据。
在确定了各像素的位置信息后,所述压缩设备基于各像素的颜色属性,从所述图像数据中提取各像素的颜色值。在此,所述压缩设备将所述图像数据中的所有像素数据基于颜色属性分成多个图像块,且每个图像块中只包含一种颜色属性。请继续参阅图3,由于本实施例中的颜色属性包括R、Gr、Gb、B这4种属性,故在本实施例中将所述图像数据中的所有像素数据基于颜色属性分成了R、Gr、Gb、B这4个图像块。例如,Gr(0,0)被分至Gr颜色属性的图像块中,Gr(0,1)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移1个单位,Gr(0,2)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移2个单位,Gr(0,3)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移3个单位;Gr(1,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移1个单位,Gr(2,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移2个单位,Gr(3,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移3个单位……同理R、Gb、B颜色属性的各像素也一一被相应地分至各图像块中,且每个图像块中的每个像素位置均与其在图像数据中的像素位置具有对应关系,在此不一一赘述。
在另一个示例性的实施例中,请参阅图4,其显示为本申请中图像数据中的每个像素表示RGB颜色属性的实施例示意图。如图所示,所述压缩设备获取的图像数据为RGB图像,例如所述图像数据是在Bayer格式的基础上经过Debayer,即在图2显示的每个像素的颜色分量上拟合出另外两种颜色分量,由此生成RGB图像。在此,在所述图像数据中的每个像素表示RGB颜色属性的情况下,所述步骤S120包括:按照基于所述图像数据中的像素行格式而设置的颜色格式,遍历所述图像数据;其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色主分量或颜色拟合分量,并映射到相应图像块中的像素位置。
应当理解,由于图像拍摄设备的传感器所输出的数据通常都为Bayer格式,每个像素点只有单一分量。而编码器无法直接对Bayer格式进行编码,显示装置也无法对Bayer格式直接显示图像。因此,通常需要将Bayer格式进行Debayer处理,形成RGB格式。但经过Debayer处理后的数据量很大,为Bayer格式的三倍,由此造成码流过大,影响传输效率。因此,在一些实施方式中,还会将RGB格式转换成YUV格式,即变成亮度和色度格式,再消减色度,从而减少数据量。其中,YUV422会将数据量消减1/3,YUV420会将数据量消减1/2,但其数据量依然分别是Bayer格式的2倍和1.5倍。同时,将格式转换成YUV422或YUV420的方式还会带来颜色信息丢失严重的问题,无法满足高画质的需求。
请继续参阅图4,在本实施例中,所述图像数据中的每个像素均具有三个颜色分量,其中,每个像素中的黑体加粗部分表示该像素中的主分量,每个像素中的非黑体加粗部分表示基于所述像素中的主分量而拟合出的另外两种分量。以4个(2×2)像素确定为一个颜色格式101,由于在一个颜色格式101中,每个像素均具有三个颜色分量,为节省降低压缩编码后的码流,在此只在每个像素中提取一个颜色分量。
在某些实施例中,所述压缩设备预先获知每个像素中的主分量,则直接将每个像素中的主分量确定为待提取的颜色分量。在另一些实施例中,所述压缩设备无法预先获知每个像素中的主分量,则可以按照预设的规则将每个像素中的某一分量确定为待提取的颜色分量。在此,所述预设的规则举例但不限于为:按照奇数行提取G、R,偶数行提取B、G的规则;或者按照奇数行提取G、B,偶数行提取R、G的规则;或者按照奇数行提取R、G,偶数行提取G、B的规则;或者按照奇数行提取B、G,偶数行提取G、R的规则等。其中,当G分量表示为Gr分量和Gb分量时,所述预设的规则还可举例但不限于为:按照奇数行提取Gr、R,偶数行提取B、Gb的规则;或者按照奇数行提取Gb、B,偶数行提取R、Gr的规则;或者按照奇数行提取R、Gr,偶数行提取Gb、B的规则;或者按照奇数行提取B、Gb,偶数行提取Gr、R的规则等。应当理解,由于人眼对图像的辨识度有限,采用上述任一提取方式对于最终的成像效果影响均可忽略不计。
请继续参阅图4,在本实施例中,所述压缩设备预先获知每个像素中的主分量。在此,所述压缩设备将每个像素中的主分量确定为待提取的颜色分量,则所述颜色格式101确定为奇数行Gr、R,偶数行B、Gb。
请参阅图5,其显示为本申请中将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的另一实施例示意图。如图所示,为便于理解,定义所述图像数据中第一行第一列的像素所在的颜色格式101中所有像素的坐标均为原点(0,0),即该颜色格式101中包括了R Gr B(0,0)、R G B(0,0)、R G B(0,0)和R Gb B(0,0)。如图5所示,以所述颜色格式101为基准,将在所述颜色格式101的水平方向上向右偏移1个单位的颜色格式中的各像素坐标确定为(0,1),将在所述颜色格式101的水平方向上向右偏移2个单位的颜色格式中的各像素坐标确定为(0,2),将在所述颜色格式101的水平方向上向右偏移3个单位的颜色格式中的各像素坐标确定为(0,3)……;同理,以所述颜色格式101为基准,将在所述颜色格式101的垂直方向上向下偏移1个单位的颜色格式中的各像素坐标确定为(1,0),将在所述颜色格式101的垂直方向上向下偏移2个单位的颜色格式中的各像素坐标确定为(2,0),将在所述颜色格式101的垂直方向上向下偏移3个单位的颜色格式中的各像素坐标确定为(3,0)……。以此规则遍历整个图像数据,则所述图像数据中的每一像素均有其位置信息,以便在解码时利用该位置信息还原图像数据。
在确定了各像素的位置信息后,所述压缩设备基于各像素的颜色属性,从所述图像数据中提取各像素的颜色值。由于所述压缩设备预先获知每个像素中的主分量,因此所述压缩设备仅提取每个像素中的主分量即可。在此,所述压缩设备将所述图像数据中的所有主分量基于颜色属性分成多个图像块,且每个图像块中只包含一种颜色属性。请继续参阅图5,由于本实施例中的颜色属性包括R、Gr、Gb、B这4种属性,故在本实施例中将所述图像数据中的所有像素数据基于颜色属性分成了R、Gr、Gb、B这4个图像块。例如,Gr(0,0)被分至Gr颜色属性的图像块中,Gr(0,1)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移1个单位,Gr(0,2)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移2个单位,Gr(0,3)被分至Gr颜色属性的图像块中且在Gr(0,0)的水平方向上向右偏移3个单位;Gr(1,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移1个单位,Gr(2,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移2个单位,Gr(3,0)被分至Gr颜色属性的图像块中且在Gr(0,0)的垂直方向上向下偏移3个单位……同理R、Gb、B颜色属性的各像素也一一被相应地分至各图像块中,且每个图像块中的每个像素位置均与其在图像数据中的像素位置具有对应关系,在此不一一赘述。
在另一些实施例中,所述压缩设备未预先获知每个像素中的主分量。在此,分别以按照奇数行提取Gr、R,偶数行提取B、Gb的规则;按照奇数行提取Gb、B,偶数行提取R、Gr的规则;按照奇数行提取R、Gr,偶数行提取Gb、B的规则;按照奇数行提取B、Gb,偶数行提取Gr、R的规则举例说明。
请参阅图8,其显示为本申请中图像数据中的每个像素表示RGB颜色属性的另一实施例示意图。在本实施例中,所述压缩设备未预先获知每个像素中的主分量。在此,以奇数行提取Gr、R,偶数行提取B、Gb的规则确定待提取的颜色分量,则所述颜色格式确定为奇数行Gr、R,偶数行B、Gb。由于当颜色格式为奇数行Gr、R,偶数行B、Gb时与图5所示实施例的压缩方法相同,故不再重述。
请参阅图9,其显示为本申请中压缩设备未预先获知每个像素中的主分量时的又一实施例示意图。在本实施例中,按照奇数行提取Gb、B,偶数行提取R、Gr的规则确定待提取的颜色分量,则所述颜色格式101确定为奇数行Gb、B,偶数行R、Gr。
请参阅图10,其显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的一实施例示意图。如图所示,为便于理解,定义所述图像数据中第一行第一列的像素所在的颜色格式101中所有像素的坐标均为原点(0,0),即该颜色格式101中包括了R Gb B(0,0)、R GB(0,0)、R G B(0,0)和R Gr B(0,0)。如图10所示,以所述颜色格式101为基准,将在所述颜色格式101的水平方向上向右偏移1个单位的颜色格式中的各像素坐标确定为(0,1),将在所述颜色格式101的水平方向上向右偏移2个单位的颜色格式中的各像素坐标确定为(0,2),将在所述颜色格式101的水平方向上向右偏移3个单位的颜色格式中的各像素坐标确定为(0,3)……;同理,以所述颜色格式101为基准,将在所述颜色格式101的垂直方向上向下偏移1个单位的颜色格式中的各像素坐标确定为(1,0),将在所述颜色格式101的垂直方向上向下偏移2个单位的颜色格式中的各像素坐标确定为(2,0),将在所述颜色格式101的垂直方向上向下偏移3个单位的颜色格式中的各像素坐标确定为(3,0)……。以此规则遍历整个图像数据,则所述图像数据中的每一像素均有其位置信息,以便在解码时利用该位置信息还原图像数据。
在确定了各像素的位置信息后,所述压缩设备基于各像素的颜色属性,从所述图像数据中提取各像素的颜色值并分成多个图像块,且每个图像块中只包含一种颜色属性。请继续参阅图10,由于本实施例中的颜色属性包括R、Gr、Gb、B这4种属性,故在本实施例中将所述图像数据中的所有像素数据基于颜色属性分成了R、Gr、Gb、B这4个图像块。例如,Gb(0,0)被分至Gb颜色属性的图像块中,Gb(0,1)被分至Gb颜色属性的图像块中且在Gb(0,0)的水平方向上向右偏移1个单位,Gb(0,2)被分至Gb颜色属性的图像块中且在Gb(0,0)的水平方向上向右偏移2个单位,Gb(0,3)被分至Gb颜色属性的图像块中且在Gb(0,0)的水平方向上向右偏移3个单位;Gb(1,0)被分至Gb颜色属性的图像块中且在Gb(0,0)的垂直方向上向下偏移1个单位,Gb(2,0)被分至Gb颜色属性的图像块中且在Gb(0,0)的垂直方向上向下偏移2个单位,Gb(3,0)被分至Gb颜色属性的图像块中且在Gb(0,0)的垂直方向上向下偏移3个单位……同理B、R、Gr颜色属性的各像素也一一被相应地分至各图像块中,且每个图像块中的每个像素位置均与其在图像数据中的像素位置具有对应关系,在此不一一赘述。
请参阅图11,其显示为本申请中压缩设备未预先获知每个像素中的主分量时的再一实施例示意图。在本实施例中,按照奇数行提取R、Gr,偶数行提取Gb、B的规则确定待提取的颜色分量,则所述颜色格式101确定为奇数行R、Gr,偶数行Gb、B。
请参阅图12,其显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的另一实施例示意图。如图所示,为便于理解,定义所述图像数据中第一行第一列的像素所在的颜色格式101中所有像素的坐标均为原点(0,0),即该颜色格式101中包括了R G B(0,0)、RGr B(0,0)、R Gb B(0,0)和R G B(0,0)。如图10所示,以所述颜色格式101为基准,将在所述颜色格式101的水平方向上向右偏移1个单位的颜色格式中的各像素坐标确定为(0,1),将在所述颜色格式101的水平方向上向右偏移2个单位的颜色格式中的各像素坐标确定为(0,2),将在所述颜色格式101的水平方向上向右偏移3个单位的颜色格式中的各像素坐标确定为(0,3)……;同理,以所述颜色格式101为基准,将在所述颜色格式101的垂直方向上向下偏移1个单位的颜色格式中的各像素坐标确定为(1,0),将在所述颜色格式101的垂直方向上向下偏移2个单位的颜色格式中的各像素坐标确定为(2,0),将在所述颜色格式101的垂直方向上向下偏移3个单位的颜色格式中的各像素坐标确定为(3,0)……。以此规则遍历整个图像数据,则所述图像数据中的每一像素均有其位置信息,以便在解码时利用该位置信息还原图像数据。
在确定了各像素的位置信息后,所述压缩设备基于各像素的颜色属性,从所述图像数据中提取各像素的颜色值并分成多个图像块,且每个图像块中只包含一种颜色属性。请继续参阅图10,由于本实施例中的颜色属性包括R、Gr、Gb、B这4种属性,故在本实施例中将所述图像数据中的所有像素数据基于颜色属性分成了R、Gr、Gb、B这4个图像块。例如,R(0,0)被分至R颜色属性的图像块中,R(0,1)被分至R颜色属性的图像块中且在R(0,0)的水平方向上向右偏移1个单位,R(0,2)被分至R颜色属性的图像块中且在R(0,0)的水平方向上向右偏移2个单位,R(0,3)被分至R颜色属性的图像块中且在R(0,0)的水平方向上向右偏移3个单位;R(1,0)被分至R颜色属性的图像块中且在R(0,0)的垂直方向上向下偏移1个单位,R(2,0)被分至R颜色属性的图像块中且在R(0,0)的垂直方向上向下偏移2个单位,R(3,0)被分至R颜色属性的图像块中且在R(0,0)的垂直方向上向下偏移3个单位……同理Gr、Gb、B颜色属性的各像素也一一被相应地分至各图像块中,且每个图像块中的每个像素位置均与其在图像数据中的像素位置具有对应关系,在此不一一赘述。
请参阅图13,其显示为本申请中压缩设备未预先获知每个像素中的主分量时的又一实施例示意图。在本实施例中,按照奇数行提取B、Gb,偶数行提取Gr、R的规则确定待提取的颜色分量,则所述颜色格式101确定为奇数行B、Gb,偶数行Gr、R。
请参阅图14,其显示为本申请中压缩设备未预先获知每个像素中的主分量时,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的映射方法的又一实施例示意图。如图所示,为便于理解,定义所述图像数据中第一行第一列的像素所在的颜色格式101中所有像素的坐标均为原点(0,0),即该颜色格式101中包括了R G B(0,0)、RGb B(0,0)、R Gr B(0,0)和R G B(0,0)。如图14所示,以所述颜色格式101为基准,将在所述颜色格式101的水平方向上向右偏移1个单位的颜色格式中的各像素坐标确定为(0,1),将在所述颜色格式101的水平方向上向右偏移2个单位的颜色格式中的各像素坐标确定为(0,2),将在所述颜色格式101的水平方向上向右偏移3个单位的颜色格式中的各像素坐标确定为(0,3)……;同理,以所述颜色格式101为基准,将在所述颜色格式101的垂直方向上向下偏移1个单位的颜色格式中的各像素坐标确定为(1,0),将在所述颜色格式101的垂直方向上向下偏移2个单位的颜色格式中的各像素坐标确定为(2,0),将在所述颜色格式101的垂直方向上向下偏移3个单位的颜色格式中的各像素坐标确定为(3,0)……。以此规则遍历整个图像数据,则所述图像数据中的每一像素均有其位置信息,以便在解码时利用该位置信息还原图像数据。
在确定了各像素的位置信息后,所述压缩设备基于各像素的颜色属性,从所述图像数据中提取各像素的颜色值并分成多个图像块,且每个图像块中只包含一种颜色属性。请继续参阅图10,由于本实施例中的颜色属性包括R、Gr、Gb、B这4种属性,故在本实施例中将所述图像数据中的所有像素数据基于颜色属性分成了R、Gr、Gb、B这4个图像块。例如,B(0,0)被分至B颜色属性的图像块中,B(0,1)被分至B颜色属性的图像块中且在B(0,0)的水平方向上向右偏移1个单位,B(0,2)被分至B颜色属性的图像块中且在B(0,0)的水平方向上向右偏移2个单位,B(0,3)被分至B颜色属性的图像块中且在B(0,0)的水平方向上向右偏移3个单位;B(1,0)被分至B颜色属性的图像块中且在B(0,0)的垂直方向上向下偏移1个单位,B(2,0)被分至B颜色属性的图像块中且在B(0,0)的垂直方向上向下偏移2个单位,B(3,0)被分至B颜色属性的图像块中且在B(0,0)的垂直方向上向下偏移3个单位……同理Gb、Gr、R颜色属性的各像素也一一被相应地分至各图像块中,且每个图像块中的每个像素位置均与其在图像数据中的像素位置具有对应关系,在此不一一赘述。
应当理解,上述实施例中为便于理解,故以坐标的形式确定映射关系,但在一些实施方式中,所述基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色值,并映射到相应图像块中的像素位置的方法不限于通过坐标确定映射关系,还可包括序号等任何可被压缩设备识别以用于确定映射关系的信息。
在步骤S130中,所述压缩设备将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩,以得到视频文件。在此,将步骤S120中得到的多个图像块输入至编码器进行编码。其中,所述编码的标准可采用包括但不限于:H.265或AVS2即第二代数字音视频编解码技术标准等。
在某些实施例中,所述编码器可以集成在所述压缩设备中,例如,所述压缩设备的处理装置在执行步骤S110和S120后协调所述编码器执行步骤S130。或者,所述编码器也可以为独立的终端设备、或者服务器。所述编码器包含可进行逻辑控制和数字运算的处理模块,和用于存储所述处理模块运行期间所产生的中间数据的存储模块。其中,所述处理模块举例包括以下任一种或多种的组合:FPGA、MCU及CPU等。所述存储模块举例包括以下任一种或多种的组合:寄存器、堆栈及缓存等易失性存储器。
应当理解,视频编码器为能够对数字视频进行压缩的程序或者设备。通常,Bayer格式的数据由于每个像素只有单个颜色属性,缺少另外两位的颜色属性,故无法直接进入编码器编码。需要将Bayer格式的数据进行Debayer生成RGB格式,或是转换成YUV格式后才可进入编码器编码。在本实施例中,由于每个图像块中的像素只包括了单一颜色属性,因此,在进入编码器时不足的位数可以暂时以0进行填充,从而在一方面使图像块能够兼容现有技术中的编码器,另一方面便于编码器计算,保证编码器的处理效率。
在一个示例性的实施例中,可通过一个编码器分别对多个图像块进行处理,在此,所述步骤S130包括:按照所述颜色格式中的颜色属性,将多幅图像数据所对应的多个图像块依序输入一第一编码器进行压缩处理。
请参阅图6,其显示为本申请中利用一第一编码器进行压缩处理的实施例示意图。如图所示,图中显示了由①、②、③、④这4个不同帧的图像数据所生成的多个图像块,其中每个序号中的每个图像块中只包括单一颜色属性。在此,将多个图像块按照预设的次序输入一第一编码器进行压缩编码。其中,所述预设的次序包括但不限于:基于图像块对应的图像数据所获取的时间,或者基于图像块的颜色属性等方式。
在某些实施例中,所述预设的次序为基于图像块对应的图像数据所获取的时间所确定的。请参阅图7,其显示为本申请中利用一第一编码器进行压缩处理的另一实施例示意图。如图所示,在本实施例中,先将序号为①的四个图像块输入至第一编码器102进行压缩处理,再将序号为②的四个图像块输入至第一编码器102进行压缩处理,接着将序号为③的四个图像块输入至第一编码器102进行压缩处理,最后将序号为④的四个图像块输入至第一编码器102进行压缩处理。
在另一些实施例中,所述预设的次序为基于图像块的颜色属性所确定的,请继续参阅图6,先将颜色属性为Gr的图像块输入至第一编码器102进行压缩处理,再将颜色属性为R的图像块输入至第一编码器102进行压缩处理,接着将颜色属性为B的图像块输入至第一编码器102进行压缩处理,最后将颜色属性为Gb的图像块输入至第一编码器102进行压缩处理。由于相邻帧之间的颜色差值较小,因此通过本实施例中的方式可大大降低运算量,提高压缩效率。
在一个示例性的实施例中,为提高压缩处理的效率,可通过多个编码器分别对多个图像块进行处理,在此,所述步骤S130包括:在同步控制下,利用多个第二编码器分别将同一颜色属性的多个图像块进行压缩处理。
在某些实施例中,为了区分不同帧的图像数据生成的图像块,所述步骤S130还包括:利用多个第二编码器进行压缩处理所得到的视频文件中包含用于解压缩视频文件以恢复多幅图像数据而设置的同步信息。在此,所述第二编码器对每一图像块均会生成一同步信息,所述同步信息包括但不限于时间戳、序号等,例如:同一帧的图像具有相同的时间戳,不同帧的图像具有不同的时间戳,以便在解码端将相同时间戳的图像块还原成一幅图像数据。又如,同一帧的图像具有相同的序号,不同帧的图像具有不同的序号,以便在解码端将相同序号的图像块还原成一幅图像数据。其中,由于不同第二编码器的时间机制存在误差,故在此可藉由一同步服务器对多个第二编码器进行时间同步以协调多个第二编码器的时间机制保持一致或将误差控制在可接受的范围内。其中,所述服务器包括但不限于NTP(Network Time Protocol)服务器等。在还有一些实施例中,还可以基于同步协议,藉由多个第二编码器中的其中一个对其他的第二编码器进行同步控制,以协调其他的第二编码器处于同一时间机制中或将误差控制在可接受的范围内。其中,所述同步协议包括但不限于1588协议等。
在一个示例性的实施例中,所述图像数据为Bayer格式或RGB格式以外的其他格式,例如YUV格式等。则需要将图像数据转换成RGB或Bayer格式,再依照上述压缩处理方式对其进行压缩处理,压缩处理的方式在此不再一一重述。
经上述压缩方法所提供的技术思想而压缩后的图像数据,可被存储在存储介质上,或藉由利用60Mbps及以上的通信传输方式进行设备之间、或设备内部的数据传输。例如,在录放一体的摄录机中,构成压缩设备的各硬件在软件的指令调度下将所摄取的图像数据数据压缩成相应的压缩后图像数据,并保存在存储装置中。当用户操作摄录机播放所述压缩后图像数据时,构成解压缩设备的各硬件在软件的指令调度下将压缩后图像数据进行解压缩,并予以播放(或称为显示)。又如,可执行所述压缩方法的摄像设备将所摄取的图像数据数据压缩成相应的压缩后图像数据(如压缩文件、或码流),并利用基于5G通信协议的无线传输方式、光纤传输等传输方式将压缩后图像数据传输至一服务器,设置在所述服务器内的解压缩设备将所述压缩后图像数据进行解压缩,并予以播放(或称为显示)。
通过本申请的压缩方式可在保证超高清视频清晰度的同时保证传输时的稳定性,通过本申请中的压缩方式压缩编码后的数据量可藉由目前的4K编码器实现8K影像的传输,解决了现有技术中超高清视频传输困难的问题。
在本申请第二方面的实施例中还提供一种视频文件的解压缩方法,所述解压缩方法主要由图像的解压缩设备来完成,其中,所述解压缩设备可以为一种终端设备、或者服务器。在此,所述终端设备可以为一种终端设备、或者服务器等。
其中,所述终端设备包括但不限于播放设备、个人使用的电子终端设备等。其中所述播放设备包括存储装置、处理装置,还可以包含接口装置等。其中,所述存储装置可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。所述存储装置还包括存储器控制器,其可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。所述存储装置用于存储至少一个程序和待解压缩的图像数据。存储在存储装置中的程序包括操作系统、通信模块(或指令集)、图形模块(或指令集)、文本输入模块(或指令集)、以及应用(或指令集)。所述存储装置中的程序还包括基于所述解压缩方法所提供的技术方案而依时序对图像数据执行解压缩操作的指令集。所述处理装置包括但不限于:CPU、GPU、FPGA(Field-Programmable Gate Array现场可编程门阵列)、ISP(Image Signal Processing图像处理芯片)、或者其他包含专用于处理存储装置中所存储的至少一个程序的处理芯片(如AI专用芯片)等。所述处理装置调用并执行存储装置中所存储的至少一个程序,以按照所述解压缩方法对所保存的图像数据进行解压缩处理。其中,利用如FPGA等可并行处理矩阵数据的处理装置更适合高效、实时对所获取的图像数据进行解压缩处理。所述接口装置包括但不限于:数据线接口和网络接口;其中,数据线接口举例包括:如VGA接口、HDMI接口等显示接口、如USB等串行接口、和如数据总线等并行接口。网络接口举例包括以下至少一种:如基于蓝牙协议的网络接口、WiFi网络接口等短距离无线网络接口,如基于3G、4G或5G协议的移动网络的无线网络接口,如包含网卡的有线网络接口等。所述播放设备还包括显示装置用于将经解压缩得到的图像数据予以显示。所述显示装置至少包含由显示屏、显示屏控制器等,其中显示屏举例包含液晶显示屏、曲面显示屏、触摸屏等。所述显示屏控制器举例包括专用于显示装置的处理器、与处理装置中的处理器集成在一起的处理器等。在一些场景中,所述播放设备设置交通指挥中心,用于将来自摄像装置所传输的压缩后图像数据予以解压缩和显示。在另一些场景中,所述播放设备被配置在与微创医疗设备通信连接的计算机设备上,其通过光纤或其他专用数据线与微创医疗设备相连,并将当前微创医疗设备所提供的压缩后图像数据予以解压缩并播放。在另一些场景中,所述播放设备被配置在电视转发中心的机房中,用于将赛场上所设置的摄像装置所传输来的压缩后图像数据予以解压缩并播放,以供视频编辑。在另一些场景中,所述播放设备为机顶盒,其用于将电视信号中相应电视频道中的码流予以解压缩并输出给电视机以供显示。
所述个人使用的电子终端设备包括台式电脑、笔记本电脑、平板电脑、和专用于制作电视节目、电影、电视剧等的剪接设备等。所述电子终端设备包含存储装置、处理装置。其中,存储装置和处理装置可与前述摄像设备中的对应装置相同或相似,在此不再详述。所述电子终端设备还可以包含显示装置,用于显示经解压缩得到的图像数据。在此,在一些示例中,所述电子终端的硬件及软件模块可与前述播放设备中的对应装置相同或相似,在此也不再重述。在又一些示例中,所述电子终端设备还可以包括图像获取接口,用于获取源自于经压缩的压缩后图像数据。所述图像获取接口可以为网络接口、数据线接口、或程序接口。其中,所述网络接口和数据线接口可与前述播放设备中的对应装置相同或相似,在此不再详述。例如,藉由所述网络接口,所述电子终端设备的处理装置从互联网中下载的压缩后图像数据。再如,藉由所述数据线接口,所述电子终端设备的处理装置从存储装置中获取编辑文件。
所述服务器包括但不限于单台服务器、服务器集群、分布式服务器、基于云技术的服务端等。其中,所述服务器包括存储装置、处理装置和图像获取接口等。其中所述存储装置和处理装置可配置于同一台实体服务器设备中,或根据各实体服务器设备的分工而配置在多台实体服务器设备中。所述图像获取接口可以为网络接口、或数据线接口。所述服务器中所包含的存储装置、处理装置和图像获取接口等可与前述终端设备中所提及的对应装置相同;或基于服务器的吞吐量、处理能力、存储要求而专门设置的用于服务器的各对应装置。例如,所述存储装置还可包含固态硬盘等。例如,所述处理装置还可包含专用于服务器的CPU等。所述服务器中的图像获取接口获取来自互联网中的压缩后图像数据、和播放指令,处理装置基于所述播放指令对所获取的压缩后图像数据执行本申请所述的解压缩方法。
基于上述任一场景所产生的对图像数据进行解压缩的需求,本申请提供一种获得视频文件的解压缩方法,请参阅图15,其显示为所述解压缩方法在一实施方式中的流程图。
在步骤S210中,获取一视频文件。其中,所述的视频文件是根据本申请中的压缩方法对图形数据进行压缩处理后所得到的。
在某些实施方式中,所述视频文件可以来自于存储介质中,也可以利用60Mbps及以上的通信传输方式将所述视频文件传输至解压缩设备。其中,所述传输方式包括但不限于:基于5G通信协议的无线传输方式、或光纤传输。
在步骤S220中,按照对应所述视频文件所使用的压缩方式对所述视频文件进行解压缩处理,得到多个图像块;其中,根据各图像块的颜色属性,所得到的多个图像块与待生成的多幅图像数据中的每一幅图像数据相对应。
在此,将步骤S210中得到的视频文件输入至解码器进行解码。其中,所述解码的标准可采用包括但不限于:H.265或AVS2即第二代数字音视频编解码技术标准等。
在某些实施例中,所述解码器可以集成在所述解压缩设备中,例如,所述解压缩设备的处理装置在执行步骤S210后协调所述解码器执行步骤S220。或者,所述解码器也可以为独立的终端设备、或者服务器。所述解码器包含可进行逻辑控制和数字运算的处理模块,和用于存储所述处理模块运行期间所产生的中间数据的存储模块。其中,所述处理模块举例包括以下任一种或多种的组合:FPGA、MCU及CPU等。所述存储模块举例包括以下任一种或多种的组合:寄存器、堆栈及缓存等易失性存储器。
在一个示例性的实施例中,可通过一个解码器分别对多个图像块进行处理,在此,所述步骤S220包括:用第一解码器对所接收的视频文件进行解压缩处理,得到依据颜色格式中的不同颜色属性而划分的多组图像块。其中,每组图像块中的每个图像块与待生成的一幅图像数据相对应。
在此,依据在压缩编码时编码器对图像块的压缩编码方式,所述第一解码器对所接收的视频文件进行解压缩处理。并在通过第一解码器解码获得多组图像块后,所述第一解码器根据所获得的图像块次序以及压缩编码的规则,确定多个图像块之间的对应关系,以便将多个图像块生成图像数据。
在某些实施例中,请参阅图16,其显示为本申请中利用一第一解码器进行解压缩处理的实施例示意图。在本实施例中,在压缩编码期间,编码器是基于图像块对应的图像数据所获取的时间的规则来对多个图像块进行压缩编码的。因此,诚如图16所示,所述第一解码器依次获取了编号为①的Gr颜色属性的图像块、编号为①的R颜色属性的图像块、编号为①的B颜色属性的图像块、编号为①的Gb颜色属性的图像块、编号为②的Gr颜色属性的图像块、编号为②的R颜色属性的图像块……。在此,根据编码器进行压缩编码时的规则,确定多个图像块之间的对应关系,如编号为①的Gr颜色属性的图像块、编号为①的R颜色属性的图像块、编号为①的B颜色属性的图像块、编号为①的Gb颜色属性的图像块均来自于同一图像数据,编号为②的Gr颜色属性的图像块、编号为②的R颜色属性的图像块、编号为②的B颜色属性的图像块、编号为②的Gb颜色属性的图像块均来自于同一图像数据且次序位于①之后等。
在另一些实施例中,请参阅图17,其显示为本申请中利用一第一解码器进行解压缩处理的另一实施例示意图。在本实施例中,在压缩编码期间,编码器是基于图像块的颜色属性的规则来对多个图像块进行压缩编码的。因此,诚如图17所示,所述第一解码器依次获取了编号为①的Gr颜色属性的图像块、编号为②的Gr颜色属性的图像块、编号为③的Gr颜色属性的图像块、编号为④的Gr颜色属性的图像块、编号为①的R颜色属性的图像块、编号为②的R颜色属性的图像块……。在此,根据编码器进行压缩编码时的规则,确定多个图像块之间的对应关系,如编号为①的Gr颜色属性的图像块、编号为①的R颜色属性的图像块、编号为①的B颜色属性的图像块、编号为①的Gb颜色属性的图像块均来自于同一图像数据,编号为②的Gr颜色属性的图像块、编号为②的R颜色属性的图像块、编号为②的B颜色属性的图像块、编号为②的Gb颜色属性的图像块均来自于同一图像数据且次序位于①之后等。
在另一个示例性的实施例中,为提高解压缩处理的效率,还可通过多个解码器分别对多个图像块进行处理,在此,所述步骤S220包括:在同步控制下,利用多个第二解码器分别依据颜色属性对所述视频文件进行解压缩处理;其中,每个第二解码器输出具有同一颜色属性的多个图像块;其中,每个图像块与待生成的一幅图像数据相对应。在某些实施例中,为了区分不同帧的图像数据生成的图像块,每个第二解码器依据所述视频文件中的同步信息确定所解压缩的多个图像块与待生成的一幅图像数据之间的对应关系。
在此,所述第二解码器对每一图像块均会生成一同步信息,所述同步信息包括但不限于时间戳、序号等,例如:同一帧的图像具有相同的时间戳,不同帧的图像具有不同的时间戳,以便在解码端将相同时间戳的图像块还原成一幅图像数据。又如,同一帧的图像具有相同的序号,不同帧的图像具有不同的序号,以便在解码端将相同序号的图像块还原成一幅图像数据。其中,由于不同第二解码器的时间机制存在误差,故在此可藉由一同步服务器对多个第二解码器进行时间同步以协调多个第二解码器的时间机制保持一致或将误差控制在可接受的范围内。其中,所述服务器包括但不限于NTP(Network Time Protocol)服务器等。在还有一些实施例中,还可以基于同步协议,藉由多个第二解码器中的其中一个对其他的第二解码器进行同步控制,以协调其他的第二解码器处于同一时间机制中或将误差控制在可接受的范围内。其中,所述同步协议包括但不限于1588协议等。
请继续参阅图15,在通过上述解压缩方法得到多个图像块后,所述解压缩设备将所得到的多个图像块提供给步骤S230。
在步骤S230中,根据所述颜色属性,将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中。
应当理解,像素为影像显示的基本单位。每个像素根据其所在的图像数据的格式不同,具有不同的颜色属性。例如,对于Bayer格式的图像数据,其像素的颜色属性为单一颜色分量;对于RGB等格式的图像数据,其像素的颜色属性包括红(R)、绿(G)、蓝(B)三种颜色分量。由于人眼对绿色相对其他颜色更为敏感,因此通常G分量的数量为其他颜色分量数量的2倍。因此,在某些实施例中,所述G分量用Gr分量或Gb分量表示。其中,每一像素均有对应其颜色属性的颜色值。例如,当所述图像数据为Bayer格式时,每个像素中只有R或G或B单一颜色分量,其中G分量用Gr分量和Gb分量表示,所述图像数据中每一像素的颜色值为该单一颜色分量的亮度值,即各像素的颜色值;当所述图像数据为RGB格式时,所述图像数据中每一像素的颜色值包括该像素中各颜色分量的亮度值。
在一个示例性的实施例中,请参阅图18,其显示为本申请中解压缩设备将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中的实施例示意图。在此,所述解压缩设备获取到多个图像块后,根据图像块中的像素位置与该图像块所对应的图像数据中的像素位置的映射关系,将图像块中的各个像素的颜色值映射到所对应的图像数据中的像素位置中,从而将多个图像块还原成图像数据。如图18所示,所述解压缩设备多个图像块中的每一像素按照其位置信息映射到图像数据中,其中相同位置信息的不同颜色属性的像素按照其在压缩时的颜色格式排列。例如:Gr(0,0)、R(0,0)、B(0,0)、Gb(0,0)均被映射到图像数据中的(0,0)位置处,同时,根据在压缩时奇数行提取Gr、R,偶数行提取B、Gb的格式,将Gr(0,0)、R(0,0)、B(0,0)、Gb(0,0)按照该颜色格式排列。同理,图像块中的其他的像素也按照上述方法映射至图像数据中。故所述步骤S230还包括:按照所述颜色格式,遍历各颜色属性的图像块中的像素位置,在遍历期间,将各图像块中相应像素位置的颜色值映射到所对应的图像数据中的像素位置,以生成图像数据;其中,所述图像数据中各像素位置的颜色值表示单一颜色属性。在此,所述解压缩设备依据上述方法分别处理多个图像块,并将生成的多个图像数据依次发送给步骤S240。
应当理解,本实施例中的颜色格式是根据压缩时的颜色格式而确定的,确定颜色格式的方式在本申请第一方面的实施方式中已做说明,故在此不再一一重述。
在步骤S240中,基于所述图像数据中各像素的颜色值,生成用于显示UHD 4K及以上像素的视频图像。
应当理解,UHD为Ultra High Definition,即超高清。UHD 4k及以上指清晰度在4K像素及以上的视频图像,如8k像素、16k像素等。为便于理解,本实施例中以8K像素为例进行描述,但本方案原理亦可用于压缩4k像素、16k像素甚至更高清的视频图像。
在此,步骤S230所提供的图像数据相当于Bayer格式的图像数据。在某些实施方式中,为便于显示,所述解压缩设备将步骤S230所提供的图像数据进行Debayer等处理,从而生成RGB图像以显示。故在此,所述步骤S240还包括:根据所述颜色格式,将所得到的图像数据中的各像素位置进行插值处理,得到各像素中包含RGB颜色属性的视频图像。其中,RGB图像包括RGB格式本身的图像数据以及可转换成RGB格式的其他格式(如YUV格式等)的图像数据。
应当理解,Debayer即为马赛克处理,是一种数位影像处理算法,目的是从覆有滤色阵列(Color filter array,简称CFA)的感光元件所输出的不完全色彩取样中,重建出全彩影像。此法也称为滤色阵列内插法(CFAinterpolation)或色彩重建法(Colorreconstruction)。
请参阅图19,其显示为本申请中压缩设备的实施例示意图,如图所示,所述压缩设备包括:通信接口,用于与外部的解压缩设备通信连接;存储器,用于存储至少一个程序和待压缩的图像数据;处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照如本申请第一方面的实施例中任一所述的获得视频文件的压缩方法将所述图像数据进行压缩处理,以得到视频文件。
其中,存储器包含非易失性存储器、存储服务器等。其中,所述非易失性存储器举例为固态硬盘或U盘等。所述存储服务器用于存储所获取的各种用电相关信息和供电相关信息。通信接口包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232等。所述通信接口与各传感装置、第三方系统、互联网等数据连接。处理器连接通信接口和存储器,其包含:CPU或集成有CPU的芯片、可编程逻辑器件(FPGA)和多核处理器中的至少一种。处理器还包括内存、寄存器等用于临时存储数据的存储器。
所述通信接口用于与外部的解压缩设备通信连接。在此,所述通信接口举例包括网卡,其通过互联网或搭建的专用网络与解压缩设备通信连接。例如,所述通信接口将压缩设备所压缩处理完成的视频文件发送给解压缩设备。
所述存储器用于存储至少一个程序和待压缩的图像数据。在此,所述存储器举例包括设置在压缩设备中的存储卡。
所述处理器用于调用所述至少一个程序以协调所述通信接口和存储器执行前述任一示例所提及的压缩方法。
请参阅图20,其显示为本申请中解压缩设备的实施例示意图,如图所示,所述解压缩设备包括:通信接口,用于与外部的压缩设备通信连接;存储器,用于存储至少一个程序和待解压缩的视频文件;处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照如本申请第二方面的实施例中任一所述的视频文件的解压缩方法将所述视频文件进行解压缩处理,以便播放所述视频文件。
其中,存储器包含非易失性存储器、存储服务器等。其中,所述非易失性存储器举例为固态硬盘或U盘等。所述存储服务器用于存储所获取的各种用电相关信息和供电相关信息。通信接口包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232等。所述通信接口与各传感装置、第三方系统、互联网等数据连接。处理器连接通信接口和存储器,其包含:CPU或集成有CPU的芯片、可编程逻辑器件(FPGA)和多核处理器中的至少一种。处理器还包括内存、寄存器等用于临时存储数据的存储器。
所述通信接口用于与外部的压缩设备通信连接。在此,所述通信接口举例包括网卡,其通过互联网或搭建的专用网络与压缩设备通信连接。例如,所述通信接口接收压缩设备所压缩处理完成的视频文件,并将视频文件提供给所述处理器。
所述存储器用于存储至少一个程序和待解压缩的视频文件。在此,所述存储器举例包括设置在解压缩设备中的存储卡。
所述处理器用于调用所述至少一个程序以协调所述通信接口和存储器执行前述任一示例所提及的解压缩方法,从而将所述视频文件进行解压缩处理,以便播放所述视频文件。
基于上述任一提供的压缩和解压缩方式,本申请还提供一种视频传输系统,请参阅图21,其显示为本申请中的视频传输系统在一实施方式中的结构示意图。所述视频传输系统包括前述任一所述的压缩设备和解压缩设备。
在此,所述视频传输系统包含通信接口、存储器和处理器。其中,所述通信接口可以包含网络接口、数据线接口、或程序接口等。在压缩期间,通过所述压缩设备的通信接口获取摄像装置或互联网中的图像数据,处理装置通过调取存储器中所存储的程序来执行压缩操作,以将所获取的图像数据压缩编码成视频文件,并存储在存储装置中。当所述视频传输系统基于用户操显示该视频文件时,处理装置通过调用存储装置中的程序来执行解压缩操作,并将解压缩后所得到的图像数据显示在显示屏中。其中,该视频传输系统中的压缩和解压缩操作均可基于本申请所提供的相应方法来执行,在此不再重述。
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,还可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请还提供一种计算机可读存储介质,所述存储介质存储有至少一个程序,所述程序在被执行时实现前述的任一所述的压缩方法或解压缩方法。
基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如压缩方法或解压缩方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。
另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
综上所述,本申请所提供的视频文件的压缩方法可有效降低码流,并同时保证高保真画质。本申请中,多个图像块相加的数据量远远低于采用传统方法进行压缩处理后的数据量。其中,与YUV222格式相比,只有其一半的数据量;与YUV444格式相比,只有其1/3的数据量,但采用本申请的压缩方法所携带的信息量却相当于YUV444格式的信息量。以8K视频为例,每个颜色属性的图像块相当于只有亮度信息的4K视频YUV400格式,且与YUV422格式相比,数据量只有其一半。由于本申请中的压缩方法可有效降低数据量,因此可通过现有技术中的编码器进行8k视频的编码。同理,通过本申请的压缩方法也可通过2K视频的编码器对4K视频进行编码处理,或者通过8K视频的编码器对16k视频进行处理等。另外,通过本申请的压缩方法所产生的码流率可以控制在YUV422的一半左右,即24~80Mbps,介于目前5G的上行稳定峰值是90Mbps,因此可实现5G实时传输8K视频,并同时具有高保真画质。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (16)

1.一种获得视频文件的压缩方法,其特征在于,包括以下步骤:
按照时间顺序获取多幅待压缩处理的图像数据;所述图像数据用于显示UHD 4K及以上像素的视频图像;
基于所述图像数据中各像素的颜色属性将所述图像数据分成多个图像块,且每个图像块中只包含一种颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置,以使所述图像数据中的各像素与图像块中的各像素之间具有关联性;
以0填充所述图像块中各像素位置内的其他位数,并将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩,以得到视频文件;所述将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩包括对所述图像块进行编码。
2.根据权利要求1所述的获得视频文件的压缩方法,其特征在于,所述图像数据中的每个像素表示单一颜色属性的情况下,所述基于图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的步骤包括:
按照基于所述图像数据中的Bayer格式而设置的颜色格式,遍历所述图像数据;
其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色值,并映射到相应图像块中的像素位置。
3.根据权利要求1所述的获得视频文件的压缩方法,其特征在于,所述图像数据中的每个像素表示RGB颜色属性的情况下;所述基于图像数据中各像素的颜色属性,将每一图像数据中各像素的颜色值分别映射到多个图像块中的各像素位置的步骤包括:
按照基于所述图像数据中的像素行格式而设置的颜色格式,遍历所述图像数据;
其中,在遍历期间,基于所述颜色格式中各像素的颜色属性,从所述图像数据中提取各像素的颜色主分量或颜色拟合分量,并映射到相应图像块中的像素位置。
4.根据权利要求2或3所述的获得视频文件的压缩方法,其特征在于,所述将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩的步骤包括:
按照所述颜色格式中的颜色属性,将多幅图像数据所对应的多个图像块依序输入一第一编码器进行压缩处理。
5.根据权利要求1-3中任一所述的获得视频文件的压缩方法,其特征在于,所述将多幅图像数据中的每一个图像数据所对应的且具有同一颜色属性的图像块进行压缩的步骤包括:
在同步控制下,利用多个第二编码器分别将同一颜色属性的多个图像块进行压缩处理。
6.根据权利要求5所述的获得视频文件的压缩方法,其特征在于,利用多个第二编码器进行压缩处理所得到的视频文件中包含用于解压缩视频文件以恢复多幅图像数据而设置的同步信息。
7.一种视频文件的解压缩方法,其特征在于,包括:
获取一视频文件;
按照对应所述视频文件所使用的压缩方式对所述视频文件进行解压缩处理,得到多个图像块;其中,每个图像块中只包含一种颜色属性,所述图像块中各像素位置内的其他位数被0填充;所述解压缩处理包括解码;根据各图像块的颜色属性,所得到的多个图像块与待生成的多幅图像数据中的每一幅图像数据相对应;
根据所述颜色属性,将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中;所述图像数据中各像素位置的颜色值表示单一颜色属性;
基于所述图像数据中各像素的颜色值,生成用于显示UHD 4K及以上像素的视频图像。
8.根据权利要求7所述的视频文件的解压缩方法,其特征在于,所述按照压缩方式对所述视频文件进行解压缩处理,得到多个图像块的步骤包括:
在同步控制下,利用多个第二解码器分别依据颜色属性对所述视频文件进行解压缩处理;其中,每个第二解码器输出具有同一颜色属性的多个图像块;其中,每个图像块与待生成的一幅图像数据相对应。
9.根据权利要求8所述的视频文件的解压缩方法,其特征在于,每个第二解码器依据所述视频文件中的同步信息确定所解压缩的多个图像块与待生成的一幅图像数据之间的对应关系。
10.根据权利要求7所述的视频文件的解压缩方法,其特征在于,所述按照压缩方式对所述视频文件进行解压缩处理,得到多个图像块的步骤包括:
利用第一解码器对所接收的视频文件进行解压缩处理,得到依据颜色格式中的不同颜色属性而划分的多组图像块;其中,每组图像块中的每个图像块与待生成的一幅图像数据相对应。
11.根据权利要求7所述的视频文件的解压缩方法,其特征在于,所述根据颜色属性,将相应的各图像块中各像素位置的颜色值映射到图像数据的像素中的步骤包括:
按照所述颜色格式,遍历各颜色属性的图像块中的像素位置,在遍历期间,将各图像块中相应像素位置的颜色值映射到所对应的图像数据中的像素位置,以生成图像数据;其中,所述图像数据中各像素位置的颜色值表示单一颜色属性。
12.根据权利要求11所述的视频文件的解压缩方法,其特征在于,所述基于图像数据中经映射得到的各像素的颜色值,生成用于显示UHD 4K及以上像素的视频图像的步骤还包括:
根据所述颜色格式,将所得到的图像数据中的各像素位置进行插值处理,得到各像素中包含RGB颜色属性的视频图像。
13.一种压缩设备,其特征在于,包括
通信接口,用于与外部的解压缩设备通信连接;
存储器,用于存储至少一个程序和待压缩的图像数据;
处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照如权利要求1-6中任一所述的获得视频文件的压缩方法将所述图像数据进行压缩处理,以得到视频文件。
14.一种解压缩设备,其特征在于,包括:
通信接口,用于与外部的压缩设备通信连接;
存储器,用于存储至少一个程序和待解压缩的视频文件;
处理器,用于协调通信接口和存储器以执行所述程序,在执行期间按照如权利要求7-12中任一所述的视频文件的解压缩方法将所述视频文件进行解压缩处理,以便播放所述视频文件。
15.一种视频传输系统,其特征在于,包括:
如权利要求13所述的压缩设备;以及
如权利要求14所述的解压缩设备。
16.一种计算机可读存储介质,其特征在于,包括:存储有至少一程序;所述至少一程序在被调用时执行如权利要求1-6中任一所述的获得视频文件的压缩方法;或者,所述至少一程序在被调用时执行如权利要求7-12中任一所述的视频文件的解压缩方法。
CN201980005157.4A 2019-07-15 2019-07-15 获得视频文件的压缩方法、解压缩方法、系统及存储介质 Active CN111406404B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/095965 WO2021007742A1 (zh) 2019-07-15 2019-07-15 获得视频文件的压缩方法、解压缩方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111406404A CN111406404A (zh) 2020-07-10
CN111406404B true CN111406404B (zh) 2022-07-12

Family

ID=71414906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005157.4A Active CN111406404B (zh) 2019-07-15 2019-07-15 获得视频文件的压缩方法、解压缩方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN111406404B (zh)
WO (1) WO2021007742A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189689B (zh) * 2021-11-25 2024-02-02 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质
CN115883839B (zh) * 2023-03-09 2023-06-06 湖北芯擎科技有限公司 一种图像校验方法、装置、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284167A (zh) * 2013-07-08 2015-01-14 三星显示有限公司 图像捕获设备、图像显示设备、使用其之系统和方法
CN107846589A (zh) * 2016-09-19 2018-03-27 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10231613B4 (de) * 2002-07-12 2004-12-30 Atvisican Ag Verfahren zum Komprimieren und Dekomprimieren von Videobilddaten od. dgl.
CN100502507C (zh) * 2006-09-14 2009-06-17 浙江大学 视频数据压缩编码方法
CN102457722B (zh) * 2010-10-26 2014-01-22 珠海全志科技股份有限公司 Bayer图像的处理方法及装置
CN102075688B (zh) * 2010-12-28 2012-07-25 青岛海信网络科技股份有限公司 单帧双曝光图像宽动态处理方法
WO2017089146A1 (en) * 2015-11-24 2017-06-01 Koninklijke Philips N.V. Handling multiple hdr image sources
US10812820B2 (en) * 2016-11-30 2020-10-20 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284167A (zh) * 2013-07-08 2015-01-14 三星显示有限公司 图像捕获设备、图像显示设备、使用其之系统和方法
CN107846589A (zh) * 2016-09-19 2018-03-27 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法

Also Published As

Publication number Publication date
CN111406404A (zh) 2020-07-10
WO2021007742A1 (zh) 2021-01-21

Similar Documents

Publication Publication Date Title
US10645360B2 (en) Methods and systems for transmitting data in a virtual reality system
CN115225882A (zh) 用于对虚拟现实视频执行转换及流传输的系统及方法
CN102364945B (zh) 多画面图像解码显示的方法及其视频监控终端
CN102413320A (zh) 一种无线网络智能视频监控系统的实现方法
KR20190004280A (ko) 360도 비디오에 대한 하이브리드 그래픽들 및 픽셀 도메인 아키텍처
CN106992959A (zh) 一种3d全景音视频直播系统及音视频采集方法
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
CN107105185A (zh) 视频信号的传输方法及装置
CN111406404B (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
CN114125448B (zh) 视频编码方法、解码方法及相关装置
CN108307163B (zh) 图像数据处理方法及装置、计算机装置及可读存储介质
WO2021147463A1 (zh) 视频处理方法、装置及电子设备
CN114640882B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN107580228B (zh) 一种监控视频处理方法、装置及设备
CN114513675A (zh) 一种全景视频直播系统构建方法
CN105376585B (zh) 一种帧图像组合提高视频传输速度的方法
TW201138476A (en) Joint scalar embedded graphics coding for color images
CN111316644B (zh) 图像的编码方法、解码方法及所适用的设备、系统
Ilola et al. Real-time Delivery of Visual Volumetric Video-based Coding Data
WO2025087083A1 (zh) 一种视频传输方法、视频显示方法及设备
CN110798715A (zh) 基于图像串的视频播放方法及系统
CN206117889U (zh) 一种双目720度全景采集系统
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
CN103369325B (zh) 一种适用于无线视频传感网的低复杂度视频压缩传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant