CN119211608A - 用于庭审的流媒体数据编码、解码及存储方法 - Google Patents

Abstract

本发明涉及实时视频数据的处理方法领域，具体涉及用于庭审的流媒体数据编码、解码及存储方法，对将不同数据格式的流媒体数据按照原始数据处理、H.264编码、NALU结构的组织以及封装格式选择进行编码，并将编码后的数据进行传输；将接收到的编码数据进行解码后进行播放；在编码过程中，基于UDP的RTP协议进行低延迟传输，并按照预设比例降低协议头部开销，根据流媒体数据的特点优化划分和封装RTP数据包，再根据网络拥塞状况和接收端的反馈，动态调整RTP数据包的发送速率，以实时优先策略快速传输。本发明能够保证信息交互的效果。

Description

用于庭审的流媒体数据编码、解码及存储方法

技术领域

本发明涉及实时视频数据的处理方法领域，具体涉及用于庭审的流媒体数据编码、解码及存储方法。

背景技术

随着信息技术的飞速发展，各种信息的共享朝着越来越广的范围进行传递，尤其是少部分大众人群接触比较有限的信息，例如法庭相关的信息。近年来，为了让大众了解相关的法律信息，云上共享法庭的呼声越来越高。云上共享法庭是一种架构在数字空间、虚拟在群众身边的人民法庭。它依托镇街村社、行业组织的现有硬件设施，以“一根网线、一块屏”为标准配置入驻并遍布镇街、村社及行业组织，有效解决人民法庭总体数量偏少、服务半径偏大的问题，让司法服务深入到每个网络能够触及的地方。

目前，对于司法服务的共享普遍是通过电视网络的视频实时播放或录播方式进行，信息传递滞后，民众只能通过有限的电视渠道进行信息获取，实时性和互动性差。为此，云上共享法庭朝着功能多样化、互动多元化的方向发展，让云上共享法庭不再是简单的信息共享，进而使得云上共享法庭对基层社会矛盾纠纷化解起到了重要作用，形成了一体化矛盾纠纷调处化解工作闭环。它通过现代信息技术手段提升司法工作的效率和质量，实现了跨越地域限制、方便快捷、公正高效的诉讼服务。

为了实现云上共享法庭的多样化互动功能，云上法庭迫切需要解决的问题就是多方不同信息源数据交互的编码和解码，针对该问题，信息数据交互的编码和解码需要完成音频、视频和文字等信息的处理。但是，鉴于参与云上互动的信息源来源设备、信息格式等均存在差异，例如司法相关部门与外司法部门之间、司法部门的内网与外网之间、司法部门与当事人所用设备之间的数据和设备差异，让信息数据的编码和解码非常重要。如果针对每种信息数据分别进行编码和解码，容易引起信息交互出现延时卡顿的现象，严重时甚至中断交互。

发明内容

本发明意在提供一种用于庭审的流媒体数据编码、解码方法，以对多种来源的信息数据进行编码和解码，防止交互延时卡顿现象，预防交互中断。

本方案中的用于庭审的流媒体数据编码、解码方法，包括以下内容：

对将不同数据格式的流媒体数据按照原始数据处理、H.264编码、NALU结构的组织以及封装格式选择进行编码，并将编码后的数据进行传输；

将接收到的编码数据进行解码后进行播放；

在编码过程中，基于UDP的RTP协议进行低延迟传输，并按照预设比例降低协议头部开销，根据流媒体数据的特点优化划分和封装RTP数据包，再根据网络拥塞状况和接收端的反馈，动态调整RTP数据包的发送速率，以实时优先策略快速传输。

本方案的有益效果是：

本方案的云上法庭信息编解码，适应不同格式的数据处理，可以在原有设备的基础上进行处理，节省整体改造的设备成本，能够针对不同信源的数据在编码、或解码之后进行信息交互，让信息交互受到编码、或解码的干扰最小，预防延时卡顿现象，防止交互过程的中断。

优选的，为了不等待重发，降低数据传输的延迟，所述实时优先策略为针对偶发丢失的数据包，通过预设的纠错机制进行处理。

优选的，为了避免不必要的填充和分割，提高数据传输效率，在优化划分和封装RTP数据包时，通过对比时间戳、序列号、负载格式、适应的网络条件和统计信息各个字段的长度，将预设长度的字段划分至前面进行优化划分，并删除每个字段中不具有含义或冗余的信息后进行封装。

优选的，为了对丢失的原始包进行恢复，减少画面卡顿和音频中断，并使使播放效果尽量平滑过渡，减少明显的失真，所述预设的纠错机制为：

在发送时，通过RS纠错编码算法对原始媒体数据进行编码；

对传输过程中丢失包的数据进行错误隐藏，对监测到的关键帧或重要音频片段的数据丢失进行选择性重传；

根据网络状况是否良好，自适应调整缓冲区的大小。

优选的，为了提供清晰、锐利的图像，对云上共享法庭进行细节展示，还包括，在编码过程中，根据播放环境和终端设备的播放状态自动调整画面参数，增强画质显示状况；

在编码和解码过程中，设置多种音频格式和声道，具有音频均衡调节功能。

优选的，为了保持交互数据记录、存储的完整性，数据的保真性，以及前后数据的逻辑清晰性，还包括内容：

以简单的界面操作按钮进行庭审控制操作，并对庭审控制操作进行加密、故障自动恢复和容错；

并按照时间顺序同步获取实时记录得到的过程性文字信息，并结合外部环境将过程性文字信息对不同的信源方进行智能化展示。

优选的，为了让不同年龄、不同视力情况、不同理解速度和不同理解能力的信源方，快速、准确地查阅到交互过程中的重点、关键信息，所述智能化展示按照信源方当事人的年龄、工作、户籍地址评定当事人的文化水平，依据文化水平确定交互数据中的中心思想信息进行突出展示，当文化水平低于预设要求时，将中心思想信息翻译为易于理解的简单信息进行突出展示。

优选的，为了让智能化展示更清晰、重点突出，所述突出展示通过颜色标识、色彩和对比度调整、字体大小进行展示。

用于庭审的流媒体数据存储方法，包括以下内容：

将交互过程中的视频数据存储至预设区域，供操作管理，以预设算法根据视频的重要性和访问频率，自动调整存储位置和备份策略；

对录相任务进行操作、反馈管理，并自定义录相任务的参数，智能分析视频内容，自动识别重要事件和异常情况，为录相任务提供辅助决策；

历史录相任务的操作管理，进行快速检索和查询，自动生成历史录相的视频摘要；

以兼容性播放组件根据网络状况和设备性能，自动调整视频的播放质量，并支持多屏幕播放。

优选的，为了便于操作，还包括：

对视频进行合成、分解、文字叠加、图像叠加和特效操作；

设置多个API接口，并对API接口进行安全验证。

与现有技术相比，本方案的有益效果是：

将庭审现场的流媒体数据进行编码和解码，能够适应不同应用用户的不同版本和不同型号的终端数据融合，以在现有已有平台基础上，不增加额外设备、以及不更新新的设备前提下，让庭审现场能够对不同格式数据进行精准播放，提升庭审现场多方当事人用户对信息交互的流畅性、及时性、准确性和清晰性。同时，对庭审过程中的数据进行实时记录，并对相应的庭审数据进行智能显示，让视力、听力、以及文化水平等的不同状况的当事人用户能够精准捕捉到庭审交互过程中的关键、重要信息，以更好地理解庭审过程中的情况和信息，保证庭审的顺利、有序、快速进行。

附图说明

图1为本发明用于庭审的流媒体数据编码、解码方法实施例一的流程框图；

图2为本发明用于庭审的流媒体数据编码、解码方法实施例三的流程框图。

具体实施方式

下面通过具体实施方式进一步详细说明。

实施例一

用于庭审的流媒体数据编码、解码方法，如图1所示，包括以下内容：

对将不同数据格式的流媒体数据按照原始数据处理、H.264编码、NALU结构的组织以及封装格式选择进行编码，流媒体数据的数据的具体编码根据所需传送的目标终端的数据格式进行相应的编码操作，并将编码后的数据进行传输，例如将编码后的数据传输至不同位置、不同版本的用户终端上；将接收到的编码数据进行解码后进行播放，数据格式如MP4、AVI、MKV、FLV等，数据的解码根据所接收到用户终端的具体数据格式进行相应解码操作，具体的编码和解码原理和算法为现有，在此不再赘述。

在编码过程中，基于UDP的RTP协议进行低延迟传输，并按照预设比例降低协议头部开销，根据流媒体数据的特点优化划分和封装RTP数据包，再根据网络拥塞状况和接收端的反馈，动态调整RTP数据包的发送速率，以实时优先策略快速传输。RTP协议的头部相对较小，减少了在网络传输中因头部信息带来的额外数据量，从而降低了传输延迟。

动态调整数据包的发送速率，主要依赖于RTCP(Real-time Transport ControlProtocol)协议提供的反馈机制。RTCP与RTP(Real-time Transport Protocol)一起工作，用于提供端到端的实时传输功能，同时提供关于当前网络状况和数据接收质量的反馈。通过这些反馈信息，服务器可以实现对数据传输的控制，从而根据网络状态变化调整数据传输速率，实现流媒体业务的无中断流畅播放，提高用户的感知质量，以避免加剧网络拥塞。

实时优先策略为针对偶发丢失的数据包，通过预设的纠错机制进行处理，预设的纠错机制为：

在发送时，通过RS纠错编码算法对原始媒体数据进行编码，例如，对于每N个原始数据包，生成M个冗余数据包。接收端在部分数据包丢失时，通过这些冗余数据包和接收到的有效数据包进行计算，恢复丢失的信息。假设每10个数据包生成2个冗余包，即使丢失了2个原始数据包，也能通过冗余包和剩余的原始包进行恢复，减少画面卡顿和音频中断。

对传输过程中丢失包的数据进行错误隐藏，当数据包丢失导致画面受损时，对于图像数据，采用相邻像素的插值算法来估计丢失像素的值；对于音频数据，采用相邻音频帧的重复或平滑过渡方法进行错误隐藏。比如，在视频中，如果某一帧的部分数据丢失，利用相邻帧的相似性进行像素填补，使播放效果尽量平滑过渡，减少明显的失真。对监测到的关键帧或重要音频片段的数据丢失进行选择性重传，当检测到关键数据丢失且通过前向纠错和错误隐藏无法有效恢复时，在不显著影响低延迟性能的前提下，有选择地向发送端请求重传丢失的数据包。例如，对于视频的I帧或音频的起始部分，进行重传以确保重要信息的准确接收。

根据网络状况是否良好，自适应调整缓冲区的大小。在网络状况良好时，减小缓冲区大小以降低延迟；在网络波动时，适当增大缓冲区以应对短暂的数据包延迟或丢失，但严格控制缓冲区上限，避免过度增加延迟。例如，初始缓冲区大小设置为500ms的数据量，当连续检测到数据包延迟到达超过一定阈值时，逐步增加缓冲区至1000ms，但不超过1500ms。

在优化划分和封装RTP数据包时，通过对比时间戳、序列号、负载格式、适应的网络条件和统计信息各个字段的长度，将预设长度的字段划分至前面进行优化划分，并删除每个字段中不具有含义或冗余的信息后进行封装。预设长度根据实际不同格式的数据格式进行设置，例如预设长度为较短长度的4字符、2字符等。

在编码过程中，根据播放环境和终端设备的播放状态自动调整画面参数，增强画质显示状况。播放环境如环境的光线、亮度，以及终端设备的播放画质、屏幕分辨率、屏幕反光情况等，据此进行画面参数在环境光线大亮度大时的对比度增强等自动调整等，让画质的显示更容易被看清楚。

在编码和解码过程中，设置多种音频格式和声道，具体的音频格式和声道设置根据实际需求进行，具有音频均衡调节功能。

以简单的界面操作按钮进行庭审控制操作，并对庭审控制操作进行加密、故障自动恢复和容错，通过便捷的操作界面，快速、准确地记录庭审中的各种信息，包括各方陈述、证据展示、庭审流程等。

并按照时间顺序同步获取实时记录得到的过程性文字信息，并结合外部环境将过程性文字信息对不同的信源方进行智能化展示。

本实施例一的云上法庭信息编解码，将部分信息交互的工作提前于交互工作之前进行，能够在各个司法部门原有搭建的设备的基础上进行处理，节省整体改造的设备成本，还能够针对不同信源的数据在提前进行编码、或解码之后进行信息交互，让信息交互受到编码、或解码的干扰最小，预防延时卡顿现象，防止交互过程的中断。

实施例二

用于庭审的流媒体数据编码、解码方法，与实施例一的区别在于，还包括内容：

按照时间顺序同步获取实时记录得到的过程性文字信息，并结合外部环境将过程性文字信息对不同的信源方进行智能化展示。过程性文字信息如交互过程中，多方的陈述、观点、以及结论性语言信息。

智能化展示按照信源方当事人的年龄、工作、户籍地址评定当事人的文化水平，依据文化水平确定交互数据中的中心思想信息进行突出展示，突出展示通过颜色标识、字体大小进行展示。当文化水平低于预设要求时，预设要求根据实际情况进行设置，如能够识字、且具有基本辨别法律基础常识的能力，将中心思想信息翻译为易于理解的简单信息进行突出展示。如对于年龄超过50岁的当事人，自动将同步显示的文档字号加大2个字号，以提供更清晰舒适的阅读体验。例如，原本12号字的文档会调整为14号字，让年长的当事人能够轻松阅读。这种设计充分考虑到了不同年龄段人群的视力差异，体现了对年长当事人的关怀。

由于云上共享法庭设计的信源方当事人不确定，且其的文化水平差异比较大，对于各种交互信息的查看、理解能力存在较大的差异，所以，通过智能化展示，能够适应更广范围的人群使用，让整个云上法庭的信息交互能够顺利进行，提高司法过程的处理效率。从字号调整、色彩对比度调节、语音播报，到重点内容标注、多语言支持和情绪安抚等功能，全面照顾到不同当事人的特殊需求和心理状态，使产品充满人文关怀。简便的操作流程和贴心的引导提示，让各类人群都能在庭审中感受到尊重和便利。

实施例三

用于庭审的流媒体数据编码、解码方法，与实施例一的区别在于，如图2所示，还包括，按照预设的优先级别识别各个信源的信息交互接口标识，判断各个信源的地域信息和信息转换设备，根据优先级别动态调整数据编码、或解码的预留时间。

信息交互接口可以是不同信源方的不同设备的接口，例如HDMI、DVI、VGA等的接口，信息交互接口标识通过字母加数字的标识进行一一对应，并于内部存储器中存储对于的标识关系信息。信源的地域信息可以是远端网络所在的地域，例如远离共享法庭所在地的地域，信息转换设备可以是地域信息所在地信源的转换设备，其会因不同地域或单位企业的不同而存在较大的差异。

优先级别按照信息交互接口的数据进行编码、解码时的时间由长至短、由难至易进行确定，优先级别的预设根据信息交互接口对应的数据编码、或解码难度和时长越大越优先。

预留时间的动态调整，依据每个信息交互接口的优先级别越优先设置越长，预留时间能够覆盖每个接口的编码、或解码所需时间进行设置，当信息交互接口的优先级别变化后，预留时间适应性变化。

在预留时间内进行数据编码、或解码，并实时计算数据编码、或解码所需的剩余时长，剩余时长的计算根据现有方法进行，在此不再赘述。判断剩余时长是否小于已经编码、或解码数据的交互时长，交互时长即预计的一方信息播放后，另一方进行回复反馈，以及多方的信息交互所需的最短时长。若是，则实时获取地域信息处的环境状况，环境状况包括历史环境信息和实时环境信息，环境状况可以是历史或实时的天气情况，如暴雨、大风、晴天、小雨等，根据实时环境状况判断信息转换设备异常的异常概率；若否，则待预留时间结束后进行信息交互。

异常概率根据实时环境信息按照历史环境信息是否异常进行确定，例如多次的历史环境信息为中雨，均未引起设备异常，当实时环境为中雨时，确定异常概率为40％；再例如多次的历史环境信息为暴雨，80％的暴雨天气引起设备异常，当实时环境为暴雨时，确定异常概率为75％；再例如多次的历史环境信息为暴雨，10％的暴雨天气引起设备异常，当实时环境为暴雨时，确定异常概率为20％。

当异常概率小于预设阈值时，预设阈值根据实际需求进行设置，例如预设阈值设为60％，早于预留时间结束前进行信息交互，当异常概率大于预设阈值时，待预留时间结束后进行信息交互。

本实施例一的方案，将来源于不同地域和信息转换设备的数据编码、或解码设置不同的预留时间，让编码、或解码工作在正式交互之前的预留时间内进行，不占用太多的交互时间，以及交互所需的系统的运行内存；同时对编码、或解码的剩余时长与已经完成的信息交互时长进行对比，当剩余时长小于交互时长时，即编码、或解码工作所需的剩下时长小于播放已经编码、或解码的交互时长情况下，再根据地域处的环境状况判断信息转换设备受到干扰的异常概率，即判断信息转换设备受到环境影响而异常或损坏的改，在不同情况下判断何时进行信息交互，将信息交互之前的一些工作提前完成至一定程度后，再才进行相应的信息交互过程，减少信息交互过程受到编码、或解码工作干扰的几率。

实施例四

用于庭审的流媒体数据编码、解码方法，与实施例三的区别在于，在进行信息交互时，识别同一个区域内交互数据的播放器的播放时间起止点，播放器如电视机或电脑等的播放设备，将同一个区域内播放器的播放时间起止点对准到同一时刻点后再进行播放。能够在提前完成部分或全部编码、或解码工作，不影响后续信息交互的前提下，同步启动进行播放交互，尽可能地降低信息交互播放过程中的延迟情况，让播放源的播放时间没有延迟，同步进行信息的播放。

在播放时，实时识别当事人的情绪变化状态，情绪变化状态的识别可以通过面部表情、声音分贝、以及言语中的关键词进行，例如识别到面部表情变为愤怒、声音分贝突然提高25分贝太多、言语中的打人和损伤等攻击性关键词、脏话等表示情绪激动的内容，当识别到情绪变化状态为由正常情绪变化为激动情绪时，按照播放声调平缓的方式进行播放，播放声调平缓可以是让人感到愉悦的轻柔、平缓音调。

以情绪识别促发进行能够安抚人情绪的交互信息播放工作，能够智能地安抚到情绪激动的当事人，让法庭上的审查进度不会受到太多的干扰和影响。

实施例五

用于庭审的流媒体数据存储方法，基于实施例一、或实施例二、或实施例三、或实施例四的方法，和访问频率，自动调整存储位置和备份策略；

对录相任务进行操作、反馈管理，并自定义录相任务的参数，智能分析视频内容，例如分析视频内容中的当事人特殊微表情或语言词句等，自动识别重要事件和异常情况，为录相任务提供辅助决策；

历史录相任务的操作管理，如添加便于快速检索和查询的关键词设置等，进行快速检索和查询，自动生成历史录相的视频摘要，自动生成可以使用现有算法自动识别语音信息中的关键词、句进行；

以兼容性播放组件根据网络状况和设备性能，自动调整视频的播放质量，并支持多屏幕播放。

对视频进行合成、分解、文字叠加、图像叠加和特效操作；

设置多个API接口，并对API接口进行安全验证。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.用于庭审的流媒体数据编码、解码方法，其特征在于，包括以下内容：

对将不同数据格式的流媒体数据按照原始数据处理、H.264编码、NALU结构的组织以及封装格式选择进行编码，并将编码后的数据进行传输；

将接收到的编码数据进行解码后进行播放；

在编码过程中，基于UDP的RTP协议进行低延迟传输，并按照预设比例降低协议头部开销，根据流媒体数据的特点优化划分和封装RTP数据包，再根据网络拥塞状况和接收端的反馈，动态调整RTP数据包的发送速率，以实时优先策略快速传输。

2.根据权利要求1所述的用于庭审的流媒体数据编码、解码方法，其特征在于：所述实时优先策略为针对偶发丢失的数据包，通过预设的纠错机制进行处理。

3.根据权利要求1所述的用于庭审的流媒体数据编码、解码方法，其特征在于：在优化划分和封装RTP数据包时，通过对比时间戳、序列号、负载格式、适应的网络条件和统计信息各个字段的长度，将预设长度的字段划分至前面进行优化划分，并删除每个字段中不具有含义或冗余的信息后进行封装。

4.根据权利要求2所述的用于庭审的流媒体数据编码、解码方法，其特征在于：所述预设的纠错机制为：

在发送时，通过RS纠错编码算法对原始媒体数据进行编码；

对传输过程中丢失包的数据进行错误隐藏，对监测到的关键帧或重要音频片段的数据丢失进行选择性重传；

根据网络状况是否良好，自适应调整缓冲区的大小。

5.根据权利要求1所述的用于庭审的流媒体数据编码、解码方法，其特征在于：还包括，在编码过程中，根据播放环境和终端设备的播放状态自动调整画面参数，增强画质显示状况；

在编码和解码过程中，设置多种音频格式和声道，具有音频均衡调节功能。

6.根据权利要求1所述的用于庭审的流媒体数据编码、解码方法，其特征在于：还包括内容：

以简单的界面操作按钮进行庭审控制操作，并对庭审控制操作进行加密、故障自动恢复和容错；

并按照时间顺序同步获取实时记录得到的过程性文字信息，并结合外部环境将过程性文字信息对不同的信源方进行智能化展示。

7.根据权利要求6所述的用于庭审的流媒体数据编码、解码方法，其特征在于：所述智能化展示按照信源方当事人的年龄、工作、户籍地址评定当事人的文化水平，依据文化水平确定交互数据中的中心思想信息进行突出展示，当文化水平低于预设要求时，将中心思想信息翻译为易于理解的简单信息进行突出展示。

8.根据权利要求7所述的用于庭审的流媒体数据编码、解码方法，其特征在于：所述突出展示通过颜色标识、色彩和对比度调整、字体大小进行展示。

9.用于庭审的流媒体数据存储方法，其特征在于，包括以下内容：

将交互过程中的视频数据存储至预设区域，供操作管理，以预设算法根据视频的重要性和访问频率，自动调整存储位置和备份策略；

对录相任务进行操作、反馈管理，并自定义录相任务的参数，智能分析视频内容，自动识别重要事件和异常情况，为录相任务提供辅助决策；

历史录相任务的操作管理，进行快速检索和查询，自动生成历史录相的视频摘要；

以兼容性播放组件根据网络状况和设备性能，自动调整视频的播放质量，并支持多屏幕播放。

10.根据权利要求9所述的用于庭审的流媒体数据存储方法，其特征在于：还包括：

对视频进行合成、分解、文字叠加、图像叠加和特效操作；

设置多个API接口，并对API接口进行安全验证。