CN111641804A - 视频数据处理方法和装置、终端、摄像头及视频会议系统 - Google Patents
视频数据处理方法和装置、终端、摄像头及视频会议系统 Download PDFInfo
- Publication number
- CN111641804A CN111641804A CN202010549862.5A CN202010549862A CN111641804A CN 111641804 A CN111641804 A CN 111641804A CN 202010549862 A CN202010549862 A CN 202010549862A CN 111641804 A CN111641804 A CN 111641804A
- Authority
- CN
- China
- Prior art keywords
- camera
- video stream
- encoding
- coding
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000009877 rendering Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供一种视频数据处理方法和装置、终端、摄像头、视频会议系统及计算机存储介质,所述方法包括:从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;将所述编码视频流以透传方式传输至接收端。该技术方案,减少了摄像头将图像数据传输至终端设备的带宽需求,同时降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
Description
技术领域
本申请涉及互联网技术领域,具体而言,本申请涉及一种视频数据处理方法和装置、终端、摄像头、视频会议系统及计算机存储介质。
背景技术
随着互联网技术发展,视频会议系统技术在商务和社交场景中都得到了广泛应用,以常用视频会议系统为例,一般情况下都是通过终端设备(如平板电视一体机)结合摄像头的形式构成,通过摄像头采集图像数据,传输至终端设备,终端设备通过接入网络进行视频会议。
在目前的视频会议系统方案中,当要建立视频通话时,一般终端设备的处理流程是:视频采集、编码、传输、解码、渲染等。在上述处理过程中,对终端设备的处理能力有一定要求,由于当前视频会议一般采用高清视频数据,譬如1080p,那么对于摄像头的数据传输需要更高的带宽,对终端设备的硬件性能也有更高的要求,对于一些低性能的终端设备,则无法支持高清视频数据处理,影响了视频会议技术应用。
发明内容
本申请的目的旨在针对于上述技术缺陷,提供一种视频数据处理方法、装置、视频会议系统及存储介质,以减少摄像头的数据传输的带宽需求,降低对终端设备的硬件性能需求。
本申请提供一种视频数据处理方法,包括如下步骤:
从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;
基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;
将所述编码视频流以透传方式传输至接收端。
在一个实施例中,所述基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制的步骤包括:
基于虚拟编码器根据当前网络带宽的预估结果,统计过去一段时间内编码视频流中的保护数据包数量;
根据所述保护数据包数量计算出当前的编码码率;
通过所述虚拟编码器将所述编码码率反馈至所述摄像头,设置所述编码码率。
在一个实施例中,所述的视频数据处理方法还包括:
当编码视频流输入所述虚拟编码器时,检测终端设备当前的性能参数;根据所述性能参数对所述编码视频流进行选择性的丢包处理。
在一个实施例中,所述丢包处理包括:
若所述编码视频流具有优先级,则丢弃低优先级的视频帧,并发送剩下的高优先级的视频帧;
若所述编码视频流不具有优先级,则丢弃当前视频帧,并向所述摄像头请求关键视频帧。
在一个实施例中,所述的视频数据处理方法还包括:
读取从摄像头采集的编码视频流,利用解码模块在本地对所述编码视频流进行解码,并将解码得到视频数据渲染到本地显示器进行显示。
一种视频数据处理装置,包括:
采集单元,用于从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;
第一控制单元,用于基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;
传输单元,用于将所述编码视频流以透传方式传输至接收端。
一种终端,包括一个或多个处理器、存储器以及显示器;
所述终端连接摄像头;
所述终端设备的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括上述的视频数据处理方法的步骤。
本申请还提供一种视频数据处理方法,包括如下步骤:
对拍摄的图像数据进行编码得到编码视频流;
将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端;
根据所述编码参数对编码过程进行控制。
在一个实施例中,所述对拍摄的图像数据进行编码得到编码视频流的步骤,包括:
通过内置的编码模块对拍摄的图像数据进行编码,得到设定格式的编码视频流。
在一个实施例中,根据所述编码参数对编码过程进行控制的步骤,包括:
通过编码模块接收所述虚拟编码器反馈的编码码率;其中,所述编码码率是所述虚拟编码器根据当前网络带宽的预估结果以及统计过去一段时间内编码视频流中的保护数据包数量计算得到;
将所述编码码率设置到编码模块,控制所述编码模块的编码码率。
在一个实施例中,所述的视频数据处理方法还包括:
将所述编码视频流输出至终端设备的解码模块,使得所述解码模块对所述编码视频流进行解码,并将解码得到视频数据渲染到终端设备的显示器进行显示。
本申请还提供一种视频数据处理装置,包括:
编码单元,用于对拍摄的图像数据进行编码得到编码视频流;
反馈单元,用于将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端;
第二控制单元,用于根据所述编码参数对编码过程进行控制。
本申请还提供一种摄像头,包括摄像模块、一个或多个处理器以及存储器;
所述摄像头连接终端设备;
所述摄像头的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括上述的视频数据处理方法的步骤。
一种视频会议系统,其特征在于,包括:上述的摄像头和终端。
一种计算机设备存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上述的视频数据处理方法。
本申请的视频数据处理方法和装置、终端、摄像头、视频会议系统及计算机存储介质,通过摄像头对拍摄的图像数据进行编码得到编码视频流,从摄像头采集该编码视频流,并基于虚拟编码器对编码视频流的编码参数进行检测,并根据编码参数反馈至摄像头对编码过程进行控制;同时将编码视频流以透传方式传输至接收端。该技术方案,将编码流程设置在摄像头中实现,减少了摄像头将图像数据传输至终端设备的带宽需求,同时终端设备从摄像头中直接采集编码视频流,利用虚拟编码器实现反馈编码参数至摄像头进行编码过程控制,并将编码视频流透传至接收端,由此降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
进一步的,根据当前网络带宽的预估计算出当前的编码码率,并通过虚拟编码器反馈至摄像头设置摄像头的编码模块的编码码率,可以实现根据传输网络带宽来控制摄像头的编码码率,从而保证了编码视频流传输的稳定性。
更进一步的,通过检测终端设备当前的性能参数来对编码视频流进行选择性的丢包处理,并且可以结合优先级来进行丢帧处理;可以确保传输流畅性和完整性。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是视频会议系统拓扑图;
图2是一个实施例的视频数据处理方法流程示意图;
图3是一实施例的视频数据处理过程示意图;
图4是另一实施例的视频数据处理过程示意图;
图5是一个实施例的编码码率控制流程图;
图6是一实施例的视频数据处理装置结构示意图;
图7是另一个实施例的视频数据处理方法流程示意图;
图8是另一实施例的视频数据处理装置结构示意图;
图9是一个实施例的视频会议系统结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面结合图1的视频会议系统拓扑图产生本申请技术方案所应用的视频会议场景,如图中所示,当进行视频会议时,由A摄像头采集图像数据,图像数据传输至A终端设备,通过A终端设备可以在本地进行渲染显示,同时A终端设备对图像数据进行编码后得到视频流通过网络传输至B终端设备,B终端设备对视频流进行解码后,渲染在显示器上,同理B摄像头采集相应视频数据,对于编码视频流的格式,可以是采用H264编码。
参考上述拓扑图中,本申请采用技术方案中,在A摄像头实现了编码得到编码视频流,传输至A终端设备然后透传至B终端设备。
参考图2所示,图2是一个实施例的视频数据处理方法流程示意图,该流程主要是在终端设备上实现,包括如下步骤:
S110,从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流。
参考图3,图3是一实施例的视频数据处理过程示意图,以A终端设备为例,A摄像头采集图像数据,然后对图像数据进行编码得到编码视频流,A终端设备通过A摄像头采集该编码视频流。由于A终端设备采集的是编码视频流,因此,对于A摄像头与A终端设备之间的传输来说,降低了对A摄像头将图像数据传输至终端设备的带宽需求。以1080P高清视频数据为例,将1080P分辨率的图像数据传输,对于A摄像头带宽要求极高,大部分摄像头设备难以实现。
S120,基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制。
以A终端设备为例,A终端设备通过设置的虚拟编码器对编码视频流的相关编码参数进行检测,在此,虚拟编码器并非起到编码作用,而是执行了对编码控制和传输控制功能,将编码参数反馈至A摄像头,A摄像头对其编码过程进行编码控制,调节摄像头输出对应码率和分辨率的编码视频流的。
S130,将所述编码视频流以透传方式传输至接收端。
如上述示例,A终端设备将采集到的编码视频流以透传方式传输到接收端,通过采用透传方式,A终端设备无需对图像数据进行编码,从而可以降低了对A终端设备的硬件性能要求,使得系统能够处理和传输各种分辨率的高清视频,如1080P高清视频数据,降低了使用门槛,可以支持大部分的终端设备。
本实施例的技术方案,通过摄像头对拍摄的图像数据进行编码得到编码视频流,从摄像头采集该编码视频流,并基于虚拟编码器对编码视频流的编码参数进行检测,并根据编码参数反馈至摄像头对编码过程进行控制;同时将编码视频流以透传方式传输至接收端。该技术方案,将编码流程设置在摄像头中实现,减少了摄像头将图像数据传输至终端设备的带宽需求,同时终端设备从摄像头中直接采集编码视频流,利用虚拟编码器实现反馈编码参数至摄像头进行编码过程控制,并将编码视频流透传至接收端,由此降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
为了更加清晰本申请的技术方案,下面结合若干实施例对本申请方案进一步说明。
参考图4所示,图4是另一实施例的视频数据处理过程示意图;作为实施例,在摄像头中,设置了内置编码模块,通过所述编码模块对拍摄的图像数据进行编码,得到设定格式的编码视频流。
对于编码模块,可以是硬件模块,也可以基于软件程序算法模块,图中以A摄像头和A终端为例,通过在摄像头中设置编码模块可以实现对摄像头拍摄图像数据的编码处理,同时编码模块可以接收A终端设备的虚拟编码器反馈编码参数,实现对编码过程的控制。
继续参考图4,在视频会议系统中,基于本申请提供的视频数据处理方法,在本地显示图像数据时,采用如下技术方案:
读取从摄像头采集的编码视频流,利用解码模块在本地对所述编码视频流进行解码,并将解码得到视频数据渲染到本地显示器进行显示。
如图示,由于编码过程在A摄像头中执行,因此,A终端设备采集到的编码视频流,在本地通过解码器对其进行解码,并在本地渲染到显示器即可,虽然相对于传统方式增加了解码过程,当A终端设备具有高清视频解码能力时,可以根据实际情况来设定解码参数,因此不影响A终端设备对图像数据的显示过程。
在一个实施例中,进一步如图示,步骤S30的将所述编码视频流以透传方式传输至接收端的步骤,可以通过网络以透传方式将所述编码视频流发送至接收端;其中,所述接收端对所述编码视频流进行解码,并将解码得到的视频数据渲染到接收端显示器进行显示。
如图示,A终端设备的虚拟编码器通过传输模块将编码视频流以透传方式传输至B终端设备,B终端设备通过解码器对编码视频流进行解码,并在渲染至显示器进行显示。
基于本申请提供的视频传输方法,为了实现对传输过程进行控制,本申请还提供如下实施例。
在一个实施例中,参考图5所示,图5是一个实施例的编码码率控制流程图,步骤S120的基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制的步骤,可以具体包括如下:
S201,基于虚拟编码器根据当前网络带宽的预估结果,统计过去一段时间内编码视频流中的保护数据包数量;
S202,根据所述保护数据包数量计算出当前的编码码率;
S203,通过所述虚拟编码器将所述编码码率反馈至所述摄像头,设置所述编码码率。
以A终端设备为例,通过虚拟编码器可以预估当前网络带宽,通过统计过去一段时间内编码视频流中的保护数据包的数量,可以计算出当前网络带宽情况下的传输匹配码率,虚拟编码器将计算得到的编码码率反馈至摄像头的编码模块,编码模块按照该编码码率对图像数据进行编码,输出相应码率的码流。通过上述实施例的方案,实现了码率的控制,可以从而保证了编码视频流传输的稳定性。
在一个实施例中,为了更好地匹配好传输速度,在视频数据处理过程中,还可以通过虚拟编码器来对编码视频流进行丢包处理。具体的,当编码视频流输入所述虚拟编码器时,检测终端设备当前的性能参数;根据所述性能参数对所述编码视频流进行选择性的丢包处理。
对于丢包处理的方案,可以包括如下:
若所述编码视频流具有优先级,则丢弃低优先级的视频帧,并发送剩下的高优先级的视频帧;若所述编码视频流不具有优先级,则丢弃当前视频帧,并向所述摄像头请求关键视频帧。
以A终端设备为例,当A摄像头输出的编码视频流到达虚拟编码器时,A终端设备检测终端设备当前的性能参数,作为参考对编码视频流进行选择性的丢包处理;通过上述实施例的丢包处理及其优先级来进行丢帧处理方案,可以确保传输流畅性和完整性。
下面阐述视频数据处理装置的实施例,该装置应用在终端设备上。
参考图6所示,图6是一实施例的视频数据处理装置结构示意图,包括:
采集单元110,用于从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;
第一控制单元120,用于基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;
传输单元130,用于将所述编码视频流以透传方式传输至接收端。
本申请的视频数据处理装置,通过摄像头对拍摄的图像数据进行编码得到编码视频流,采集单元110从摄像头采集该编码视频流,并由第一控制单元120基于虚拟编码器对编码视频流的编码参数进行检测,并根据编码参数反馈至摄像头对编码过程进行控制;同时传输单元130将编码视频流以透传方式传输至接收端。该技术方案,将编码流程设置在摄像头中实现,减少了摄像头将图像数据传输至终端设备的带宽需求,同时终端设备从摄像头中直接采集编码视频流,利用虚拟编码器实现反馈编码参数至摄像头进行编码过程控制,并将编码视频流透传至接收端,由此降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
下面阐述另一个实施例的视频数据处理方法方案。
参考图7所示,图7是另一个实施例的视频数据处理方法流程示意图,该流程主要是在摄像头设备上实现,包括如下步骤:
S210,对拍摄的图像数据进行编码得到编码视频流。
参考图3,以A终端设备为例,A摄像头采集图像数据,然后对图像数据进行编码得到编码视频流,A终端设备通过A摄像头采集该编码视频流。
A终端设备采集的是编码视频流,因此,对于A摄像头与A终端设备之间的传输来说,降低了对A摄像头将图像数据传输至终端设备的带宽需求。以1080P高清视频数据为例,将1080P分辨率的图像数据传输,对于A摄像头带宽要求极高,大部分摄像头设备难以实现。
作为实施例,可以通过内置的编码模块对拍摄的图像数据进行编码,得到设定格式的编码视频流。
S220,将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端。
作为实施例,如图4,在摄像头中,设置了内置编码模块,通过所述编码模块对拍摄的图像数据进行编码,得到设定格式的编码视频流。
对于编码模块,可以是硬件模块,也可以基于软件程序算法模块,图中以A摄像头和A终端为例,通过在摄像头中设置编码模块可以实现对摄像头拍摄图像数据的编码处理,同时编码模块可以接收A终端设备的虚拟编码器反馈编码参数,实现对编码过程的控制。
如图4,A终端设备将采集到的编码视频流以透传方式传输到接收端,通过采用透传方式,A终端设备无需对图像数据进行编码,从而可以降低了对A终端设备的硬件性能要求,使得系统能够处理和传输各种分辨率的高清视频,如1080P高清视频数据,降低了使用门槛,可以支持大部分的终端设备。
S230,根据所述编码参数对编码过程进行控制。
以A终端设备为例,A终端设备通过设置的虚拟编码器对编码视频流的相关编码参数进行检测,在此,虚拟编码器并非起到编码作用,而是执行了对编码控制和传输控制功能,将编码参数反馈至A摄像头,A摄像头对其编码过程进行编码控制,调节摄像头输出对应码率和分辨率的编码视频流的。
在一个实施例中,对于步骤S230的根据所述编码参数对编码过程进行控制的步骤,可以包括如下:
(1)通过编码模块接收所述虚拟编码器反馈的编码码率;其中,所述编码码率是所述虚拟编码器根据当前网络带宽的预估结果以及统计过去一段时间内编码视频流中的保护数据包数量计算得到。
(2)将所述编码码率设置到编码模块,控制所述编码模块的编码码率。
例如,A终端设备通过设置的虚拟编码器对编码视频流的相关编码参数进行检测,在此,虚拟编码器并非起到编码作用,而是执行了对编码控制和传输控制功能,将编码参数反馈至A摄像头,A摄像头对其编码过程进行编码控制,调节摄像头输出对应码率和分辨率的编码视频流的。
本实施例的技术方案,通过摄像头对拍摄的图像数据进行编码得到编码视频流,终端设备从摄像头采集该编码视频流,并基于虚拟编码器对编码视频流的编码参数进行检测,并根据编码参数反馈至摄像头对编码过程进行控制;同时将编码视频流以透传方式传输至接收端。该技术方案,将编码流程设置在摄像头中实现,减少了摄像头将图像数据传输至终端设备的带宽需求,同时终端设备从摄像头中直接采集编码视频流,利用虚拟编码器实现反馈编码参数至摄像头进行编码过程控制,并将编码视频流透传至接收端,由此降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
在一个实施例中,本申请的视频数据处理方法,还可以将所述编码视频流输出至终端设备的解码模块,使得所述解码模块对所述编码视频流进行解码,并将解码得到视频数据渲染到终端设备的显示器进行显示。
下面阐述视频数据处理装置的实施例。
参考图8,图8是一个实施例的视频数据处理装置结构示意图,包括:
编码单元210,用于对拍摄的图像数据进行编码得到编码视频流;
反馈单元220,用于将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端;
第二控制单元230,用于根据所述编码参数对编码过程进行控制。
下面阐述摄像头实施例。
本申请提供的摄像头,包括摄像模块、一个或多个处理器以及存储器;所述摄像头连接终端设备;所述摄像头的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括上述任一实施例的视频数据处理方法的步骤。
本申请还提供一种摄像头,包括摄像模块、一个或多个处理器以及存储器;
所述摄像头连接终端设备;
所述摄像头的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括上述的视频数据处理方法的步骤。
如上所述的摄像头,该摄像头可以内置编码模块,能够实现编码功能,从而可以与其他终端进行连接,为终端提供编码视频流,无需终端进行编码,由此降低了对终端设备的硬件性能要求,使得一些低性能的终端设备都可以支持高清视频数据处理,促进了视频会议技术推广应用。
下面阐述视频会议系统的实施例。
参考图9所示,图9是一个实施例的视频会议系统结构示意图,包括:任一实施例的摄像头和终端。
其中,所述终端设备包括一个或多个处理器、存储器以及显示器;所述摄像头内置编码模块;
所述摄像头内置编码模块,用于对拍摄的图像数据进行编码得到编码视频流输出至所述电子设备;所述终端的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括上述任意实施例的视频数据处理方法的步骤。
具体的,如图示中,本申请的视频会议系统硬件部分包括摄像头和终端设备,其中,摄像头可以内置编码模块,用于对图像数据进行编码输出。终端设备可以包括处理器、存储器和显示器,实现对存储的应用程序运行,以实现视频数据处理。
下面阐述计算机设备存储介质的实施例。
本申请提供的一种计算机设备存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述任意实施例的视频数据处理方法。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种视频数据处理方法,其特征在于,包括如下步骤:
从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;
基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;
将所述编码视频流以透传方式传输至接收端。
2.根据权利要求1所述的视频数据处理方法,其特征在于,所述基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制的步骤包括:
基于虚拟编码器根据当前网络带宽的预估结果,统计过去一段时间内编码视频流中的保护数据包数量;
根据所述保护数据包数量计算出当前的编码码率;
通过所述虚拟编码器将所述编码码率反馈至所述摄像头,设置所述编码码率。
3.根据权利要求1所述的视频数据处理方法,其特征在于,还包括:
当编码视频流输入所述虚拟编码器时,检测终端设备当前的性能参数;根据所述性能参数对所述编码视频流进行选择性的丢包处理。
4.根据权利要求3所述的视频数据处理方法,其特征在于,所述丢包处理包括:
若所述编码视频流具有优先级,则丢弃低优先级的视频帧,并发送剩下的高优先级的视频帧;
若所述编码视频流不具有优先级,则丢弃当前视频帧,并向所述摄像头请求关键视频帧。
5.根据权利要求1所述的视频数据处理方法,其特征在于,还包括:
读取从摄像头采集的编码视频流,利用解码模块在本地对所述编码视频流进行解码,并将解码得到视频数据渲染到本地显示器进行显示。
6.一种视频数据处理装置,其特征在于,包括:
采集单元,用于从摄像头采集编码视频流;其中,所述编码视频流为所述摄像头对拍摄的图像数据进行编码得到的码流;
第一控制单元,用于基于虚拟编码器对所述编码视频流的编码参数进行检测,并根据所述编码参数反馈至所述摄像头,以使得所述摄像头对编码过程进行控制;
传输单元,用于将所述编码视频流以透传方式传输至接收端。
7.一种终端,其特征在于,包括一个或多个处理器、存储器以及显示器;
所述终端连接摄像头;
所述终端设备的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括权利要求1-5任一项所述的视频数据处理方法的步骤。
8.一种视频数据处理方法,其特征在于,包括如下步骤:
对拍摄的图像数据进行编码得到编码视频流;
将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端;
根据所述编码参数对编码过程进行控制。
9.根据权利要求8所述的视频数据处理方法,其特征在于,所述对拍摄的图像数据进行编码得到编码视频流的步骤,包括:
通过内置的编码模块对拍摄的图像数据进行编码,得到设定格式的编码视频流。
10.根据权利要求9所述的视频数据处理方法,其特征在于,根据所述编码参数对编码过程进行控制的步骤,包括:
通过编码模块接收所述虚拟编码器反馈的编码码率;其中,所述编码码率是所述虚拟编码器根据当前网络带宽的预估结果以及统计过去一段时间内编码视频流中的保护数据包数量计算得到;
将所述编码码率设置到编码模块,控制所述编码模块的编码码率。
11.根据权利要求8所述的视频数据处理方法,其特征在于,还包括:
将所述编码视频流输出至终端设备的解码模块,使得所述解码模块对所述编码视频流进行解码,并将解码得到视频数据渲染到终端设备的显示器进行显示。
12.一种视频数据处理装置,其特征在于,包括:
编码单元,用于对拍摄的图像数据进行编码得到编码视频流;
反馈单元,用于将所述编码视频流发送至终端设备,并接收所述终端设备反馈的编码参数;其中,所述终端设备基于虚拟编码器对所述编码视频流的编码参数进行检测,并将所述编码视频流以透传方式传输至接收端;
第二控制单元,用于根据所述编码参数对编码过程进行控制。
13.一种摄像头,其特征在于,包括摄像模块、一个或多个处理器以及存储器;
所述摄像头连接终端设备;
所述摄像头的存储器中存储一个或多个应用程序,其中所述应用程序被配置为由所述处理器执行,所述一个或多个程序执行时包括权利要求8-11任一项所述的视频数据处理方法的步骤。
14.一种视频会议系统,其特征在于,包括:权利要求7所述的终端以及权利要求13所述的摄像头。
15.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5或者8-11任一项所述的视频数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010549862.5A CN111641804A (zh) | 2020-06-16 | 2020-06-16 | 视频数据处理方法和装置、终端、摄像头及视频会议系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010549862.5A CN111641804A (zh) | 2020-06-16 | 2020-06-16 | 视频数据处理方法和装置、终端、摄像头及视频会议系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111641804A true CN111641804A (zh) | 2020-09-08 |
Family
ID=72330743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010549862.5A Pending CN111641804A (zh) | 2020-06-16 | 2020-06-16 | 视频数据处理方法和装置、终端、摄像头及视频会议系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111641804A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038165A (zh) * | 2021-03-26 | 2021-06-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 确定编码参数组的方法、设备及存储介质 |
| CN113038062A (zh) * | 2021-03-12 | 2021-06-25 | 随锐科技集团股份有限公司 | 视频通信方法及系统 |
| CN114222169A (zh) * | 2021-12-14 | 2022-03-22 | 咪咕互动娱乐有限公司 | 一种视频流传输方法、装置及通信设备 |
| CN114339344A (zh) * | 2020-10-10 | 2022-04-12 | 海信视像科技股份有限公司 | 一种智能设备及视频录制的方法 |
| CN115118601A (zh) * | 2022-05-26 | 2022-09-27 | 广东跃昉科技有限公司 | 多路usb摄像头的传输带宽分配方法、装置和计算机设备 |
| CN115604531A (zh) * | 2022-09-30 | 2023-01-13 | 联想(北京)有限公司(Cn) | 图像数据处理方法和装置 |
| CN116170555A (zh) * | 2021-11-25 | 2023-05-26 | 中移(杭州)信息技术有限公司 | 通信方法、装置、终端及存储介质 |
| CN119967116A (zh) * | 2025-01-08 | 2025-05-09 | 北京麦哲科技有限公司 | 视频会议通信方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080025413A1 (en) * | 2006-07-28 | 2008-01-31 | John Apostolopoulos | Selecting bit rates for encoding multiple data streams |
| CN103607564A (zh) * | 2013-11-11 | 2014-02-26 | 天脉聚源(北京)传媒科技有限公司 | 一种基于摄像头的视频采集实现的方法及装置 |
| CN107087138A (zh) * | 2017-04-07 | 2017-08-22 | 华南理工大学 | 一种基于h.265视频编码格式的视频会议系统 |
| CN207869239U (zh) * | 2017-12-28 | 2018-09-14 | 天津益华微电子有限公司 | 一种便携式4k高清音视频直播系统 |
| CN109729439A (zh) * | 2019-01-11 | 2019-05-07 | 北京三体云联科技有限公司 | 实时视频传输方法 |
-
2020
- 2020-06-16 CN CN202010549862.5A patent/CN111641804A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080025413A1 (en) * | 2006-07-28 | 2008-01-31 | John Apostolopoulos | Selecting bit rates for encoding multiple data streams |
| CN103607564A (zh) * | 2013-11-11 | 2014-02-26 | 天脉聚源(北京)传媒科技有限公司 | 一种基于摄像头的视频采集实现的方法及装置 |
| CN107087138A (zh) * | 2017-04-07 | 2017-08-22 | 华南理工大学 | 一种基于h.265视频编码格式的视频会议系统 |
| CN207869239U (zh) * | 2017-12-28 | 2018-09-14 | 天津益华微电子有限公司 | 一种便携式4k高清音视频直播系统 |
| CN109729439A (zh) * | 2019-01-11 | 2019-05-07 | 北京三体云联科技有限公司 | 实时视频传输方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339344A (zh) * | 2020-10-10 | 2022-04-12 | 海信视像科技股份有限公司 | 一种智能设备及视频录制的方法 |
| CN114339344B (zh) * | 2020-10-10 | 2024-03-05 | 海信视像科技股份有限公司 | 一种智能设备及视频录制的方法 |
| CN113038062A (zh) * | 2021-03-12 | 2021-06-25 | 随锐科技集团股份有限公司 | 视频通信方法及系统 |
| CN113038062B (zh) * | 2021-03-12 | 2022-09-09 | 随锐科技集团股份有限公司 | 视频通信方法及系统 |
| CN113038165A (zh) * | 2021-03-26 | 2021-06-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 确定编码参数组的方法、设备及存储介质 |
| CN116170555A (zh) * | 2021-11-25 | 2023-05-26 | 中移(杭州)信息技术有限公司 | 通信方法、装置、终端及存储介质 |
| CN114222169A (zh) * | 2021-12-14 | 2022-03-22 | 咪咕互动娱乐有限公司 | 一种视频流传输方法、装置及通信设备 |
| CN114222169B (zh) * | 2021-12-14 | 2023-10-20 | 咪咕互动娱乐有限公司 | 一种视频流传输方法、通信设备及计算机可读存储介质 |
| CN115118601A (zh) * | 2022-05-26 | 2022-09-27 | 广东跃昉科技有限公司 | 多路usb摄像头的传输带宽分配方法、装置和计算机设备 |
| CN115604531A (zh) * | 2022-09-30 | 2023-01-13 | 联想(北京)有限公司(Cn) | 图像数据处理方法和装置 |
| CN119967116A (zh) * | 2025-01-08 | 2025-05-09 | 北京麦哲科技有限公司 | 视频会议通信方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111641804A (zh) | 视频数据处理方法和装置、终端、摄像头及视频会议系统 | |
| US8774283B2 (en) | Information processing device and method | |
| US9628834B2 (en) | Method and system for playback of motion video | |
| CN110113610B (zh) | 数据传输方法及装置 | |
| CN110996122B (zh) | 视频帧传输方法、装置、计算机设备及存储介质 | |
| CN107800989B (zh) | 基于动态帧率检测的视频显示方法、系统及网络录像机 | |
| CN113259671B (zh) | 视频编解码中的环路滤波方法、装置、设备及存储介质 | |
| CN111263192A (zh) | 视频处理方法及相关设备 | |
| CN112153413A (zh) | 一种同屏广播处理花屏的方法和服务器 | |
| US7403566B2 (en) | System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers | |
| WO2021057477A1 (zh) | 视频编解码方法和相关装置 | |
| CN103929682B (zh) | 一种在视频直播系统中设置关键帧的方法及装置 | |
| CN115134629A (zh) | 视频传输方法、系统、设备及存储介质 | |
| CN107181744A (zh) | 一种视频处理及编码方法、处理器与编码器 | |
| CN113794903A (zh) | 视频图像处理方法、装置及服务器 | |
| TWI519131B (zh) | 影像傳輸系統及其傳輸端裝置與接收端裝置 | |
| WO2021057697A1 (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN102843566B (zh) | 一种3d视频数据的通讯方法和设备 | |
| CN103733615B (zh) | 用于端到端编码的视频传输系统的按需内部更新 | |
| CN111770347A (zh) | 一种视频传输方法及系统 | |
| KR100899666B1 (ko) | 분산 다중 스트리밍 전송 장치 | |
| US20140369424A1 (en) | Video codec system and video stream transmission method | |
| US20160057431A1 (en) | Method and device for transmitting a sequence of pictures, and corresponding method and device for reception, computer program and recording medium | |
| CN110248047B (zh) | 一种视频矩阵的同步切换方法及系统 | |
| CN110266911B (zh) | 一种可实现视频矩阵同步切换的解码方法、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |
|
| RJ01 | Rejection of invention patent application after publication |