CN111988560B - 编码和通过多个网络连接流传输视频序列的方法和设备 - Google Patents

Abstract

本发明涉及一种编码和通过多个网络连接流传输视频序列的方法和设备。视频序列被并行编码(S04)为具有不同视频属性的多个编码后的视频序列。然后，编码后的视频序列通过多个网络连接并行流传输(S06)。每个编码后的视频序列通过多个网络连接中的至少一个网络连接被流传输，并且对于每个网络连接，编码后的视频序列具有与网络连接的期望视频属性相匹配的视频属性。响应于检测到(S08)网络连接中的一个网络连接的期望视频属性已经改变，增加或减少(S10)编码后的视频序列的数量。

Description

编码和通过多个网络连接流传输视频序列的方法和设备

技术领域

本发明涉及视频流传输的领域。具体地，它涉及一种用于编码和通过多个网络连接流传输视频序列的方法和设备。

背景技术

在视频监控的领域内，通常使捕获视频的摄像机处理和编码视频，并且将视频实时流传输到接收方。视频不仅可以流传输到一个接收方，而且数个接收方可以请求具有同时流传输的同一视频。例如，视频可以被同时流传输到网络附接存储器、到用于监控的命令中心以及到用于现场警卫的移动客户端。这有时被称为视频多播，意味着视频流被广播到多个接收方。

在这种情况下，通常将视频编码一次并且将相同的、编码后的视频发送到所有接收方。然而，由于不同接收方的连接在带宽方面可能有所不同并且接收方可能在图像质量方面具有不同的需求，所以单个编码后的视频可能不足以同时满足所有接收方。例如，如果编码后的视频的比特率适应于与最低带宽相关联的接收方，则具有更高带宽连接的接收方可能由于视频的低比特率而不满足他们的图像质量。

解决这个问题的一种方法是并行运行预定的大量视频编码。这样，将可以从在比特率和视频质量方面具有不同属性的数个版本的编码后的视频中进行选择。然后，取决于接收方的带宽和期望视频质量，可以为每个接收方选择最合适的版本的编码后的视频。然而，产生数个版本的编码后的视频在计算上是昂贵的。进一步，某些版本的编码后的视频可能产生而从未被发送到接收方。从而，无缘无故做了一些计算工作。所以，需要进行改进。

发明内容

鉴于以上所述，因此本发明的目标是缓解以上问题并且提供用于以更低的计算成本同时向多个接收方流传输视频使得每个接收方的需求被满足的方案。

根据本发明的第一方面，以上目标通过一种编码和通过多个网络连接流传输视频序列的方法实现，该方法包括：

接收通过摄像机捕获的视频序列；

使用不同的编码参数将视频序列并行编码为多个编码后的视频序列，使得编码后的视频序列具有不同的视频属性；

通过多个网络连接并行流传输编码后的视频序列，其中，每个编码后的视频序列通过多个网络连接中的至少一个网络连接被流传输，并且对于每个网络连接，具有与网络连接的期望视频属性相匹配的视频属性的编码后的视频序列被流传输；

检测到网络连接中的一个网络连接的期望视频属性已经改变；以及

响应于该检测，增加或减少被并行编码和通过多个网络连接被流传输的多个编码后的视频序列。

采用这个方案，每个编码后的视频序列取决于连接的期望视频属性而通过连接中的至少一个连接被流传输。因此，一方面，因为没有编码后的视频序列产生而不发送到接收方，所以节省了计算工作。另一方面，因为对于每个网络连接，与网络连接的期望视频属性相匹配的编码后的视频序列被流传输，所以满足了网络连接的可能的不同需求。

网络连接的需求可能随着时间而改变。例如，网络连接的质量可能升高或降低，或使用网络连接的接收方可能改变其偏好。为了保证满足网络连接的需求，该方法随着时间来适应随着期望视频属性的改变而生成和流传输的并行的、编码后的视频序列的数量。具体地，随着网络连接中的一个网络连接的期望视频属性的改变，编码后的视频序列的数量可以根据该改变而被调整。该调整可以包括增加或减少编码后的视频序列的数量。例如，另一编码后的视频序列可能必须被生成以与该网络连接的新的需求相匹配，或者因为可用的编码后的视频序列中的一个满足了该网络连接的新的需求，所以可用的编码后的视频序列中的另一个的编码可能被中止。因此，通过使用所提出的方法，只有对满足网络连接的需求所必需的多个编码后的视频序列在每个时间点被并行生成和流传输。

当编码视频序列时，编码器使用描述编码器应该如何压缩和编码视频序列的编码参数。编码参数的非限制性示例是量化参数、图像分辨率、帧速率、图片组(GOP)长度、GOP结构(I-帧对帧内刷新)、对比度、锐度以及帧内的量化参数的空间变化水平。GOP长度是指两个连续的帧内编码(intra-coded)帧之间的距离。GOP结构是指使用帧内编码帧还是帧内刷新(intra-refresh)。

作为使用特定编码参数的结果，编码后的视频将具有在本文中被称为视频属性的特定属性。具体地，与编码后的视频序列相关联的属性可以与编码后的视频序列的视频质量、编码后的视频序列的比特率、编码后的视频序列的关于数据包丢失的稳定性和编码后的视频序列的关于数据包延迟的稳定性中的至少一个有关。

编码后的视频的关于数据包丢失的稳定性反映了在对结果视频进行流传输期间数据包丢失的影响，即，就数据包丢失后视频要花多长时间来恢复而言。在数据包丢失后允许更快恢复的编码后的视频比花费更长时间恢复的编码后的视频更稳定。例如，由于数据包丢失，视频可能不能被恢复，直到已经接收到下一个帧内编码帧为止。通过减小GOP长度和/或增大帧速率，可获得对数据包丢失更稳定的编码后的视频。

编码后的视频的关于数据包延迟的稳定性反映了通过网络的数据包输送时间的可变性，诸如，数据包是否以30-36ms的延迟或以10-100ms的延迟被输送。高可变的延迟可能对网络元件造成问题。数据包延迟时间与编码后的视频的比特率的暂时可变性有关。比特率的更高的可变性通常导致数据包输送时间的更高的可变性，反之亦然。通过减小编码后的视频的比特率的暂时可变性(例如，通过使用帧内刷新而不是全内帧以避免比特率中的峰值)，编码后的视频关于数据包延迟变得更稳定。另一减小特定编码后的视频序列的数据包延迟的可变性的方式是给与该编码后的视频序列更高的内部优先级，诸如实时优先级。通过这种方式，与其他编码后的视频序列的数据包相比，该编码后的视频序列的数据包在它涉及到传送时被给与更高的优先级，并且可以因此减小传送延迟。

如上文所述，不同的网络连接在它涉及通过连接被流传输的视频的视频属性时，可以具有不同的偏好或期望。换句话说，每个网络连接可以具有期望视频属性。例如，期望视频属性可以涉及期望比特率、期望视频质量或编码后的视频的关于数据包丢失的期望稳定性。因此，网络连接的期望视频属性可以被称作反映网络连接的状况和偏好。例如，期望比特率可以反映网络连接的带宽状况，其中，更低的带宽对应于更低的比特率，并且反之亦然。

网络连接中的一个网络连接的期望视频属性的改变的检测可能导致编码后的视频序列的数量的增加。如果网络连接的新期望视频属性与当前可用的编码后的视频序列中的任意一个的视频属性不匹配，则这通常会发生。如果是这样，另一编码后的视频序列被生成并且被流传输到相关的视频连接。更详细地，多个编码后的视频序列可以通过将视频序列并行编码为又一编码后的视频序列以及所述多个编码后的视频序列而被增加，其中，又一编码后的视频序列通过网络连接中的所述一个网络连接被流传输，而剩余的编码后的视频序列通过多个网络连接中的其他网络连接被继续流传输。

该又一视频序列可以被编码为具有与网络连接中的所述一个网络连接的期望视频属性相对应的视频属性。通过这种方式，这种方法保持满足每个网络连接的需求。

在检测到连接中的一个连接的期望视频属性的改变之后，还可能发生编码后的视频序列的数量被减少。如果连接的之前期望视频属性不再被连接中的任意一个连接所期望，并且连接的新期望视频属性与可用的编码后的视频序列的视频属性相匹配，则这通常会发生。如果是这样，多个编码后的视频序列可以通过中止被流传输到网络连接中的所述一个网络连接的编码后的视频序列的编码和流传输而被减少，同时保持任意剩余的编码后的视频序列的编码和流传输。进一步，剩余的编码后的视频序列可以被流传输到网络连接中的所述一个网络连接，剩余的编码后的视频序列具有与网络连接中的所述一个网络连接的已改变的期望视频属性相匹配的视频属性。结果，在网络连接中的每一个网络连接的需求被满足时，多个编码后的视频序列因此会被减少。

该方法可进一步包括：测量或接收关于多个网络连接的期望视频属性的反馈。然后，测量或反馈可被分析以查看需要编码多少不同的、编码后的视频序列。更详细地，方法可以包括：在多个网络连接的期望视频属性之中识别多个不同的期望视频属性，并且将多个编码后的视频序列设置为与多个不同的期望视频属性相对应。在这方面，如果一个网络连接的期望视频属性与另一网络连接的期望视频属性的不同大于预定阈值，则它们被认为不同。通过这种方式，该方法可以在保持计算工作尽可能低的同时，跟踪在任意时间点需要编码多少不同的、编码后的视频序列以满足网络连接的需求。

具体地，当测量或反馈指示网络连接中的一个网络连接的期望视频属性已经改变时，该方法可以包括分析连接的多个不同的期望视频属性以找出是否增加多个编码后的视频序列、减少多个编码后的视频序列或使多个编码后的视频序列保持不变。更详细地，多个编码后的视频序列可以被增加或减少，使得在网络连接中的所述一个网络连接的期望视频属性已经改变之后，多个编码后的视频序列还可以保持与网络连接的多个不同的期望视频属性相对应。

该方法可以进一步包括：设置当产生多个编码后的视频序列时使用的编码参数，使得多个编码后的视频序列的不同的视频属性与多个网络连接的期望视频属性相匹配。通过这种方式，编码能被控制，使得网络连接的需求被满足。编码参数可以通过控制器设置，控制器的任务是控制作为编码器的输出的编码后的视频序列的视频属性。例如，可以使用比特率控制器来设置编码参数，使得编码后的视频序列的比特率与网络连接的期望比特率相对应。换句话说，作为输入提供到比特率控制器的目标比特率可以被设置为与多个网络连接的期望比特率相对应。因此，被输入到控制器的目标比特率也可以认为是最终支配编码器应该如何压缩和编码视频序列的编码参数。

网络连接的带宽可以随着时间而改变。例如，随着带宽下降，网络连接可能开始丢失数据包。进一步，流传输缓冲区中的数据包的数量可能增加，这最终将导致数据包被丢弃。这种问题指示编码后的视频的比特率高于网络连接当前能够处理的比特率。换句话说，网络连接因此期望更低的比特率。相反，随着带宽的增大，网络连接上可能存在用于附加的数据包的流传输的空间。在这种情况下，网络连接可以处理更高的比特率。相应地，检测到网络连接中的一个网络连接的期望视频属性已经改变可以包括：测量或接收网络连接中的所述一个网络连接的带宽的改变的反馈。该测量或反馈可以反映流传输缓冲区的大小的改变或正丢失的数据包的数量的改变。

与多个网络连接相关联的接收器在涉及视频质量时可能具有不同的偏好。这些偏好可能随着时间而改变。例如，考虑视频从监控摄像机流传输到有操作者实时观看视频的监视中心的情况。突然，视频中可能存在感兴趣的事件(诸如犯罪嫌疑人)，并且操作者可能突然想用更高的质量来观看和记录视频。然后，操作者可以向摄像机发送更高的视频质量的请求，例如通过按下紧急按钮。作为响应，摄像机可以用更高的质量编码和流传输视频给请求接收方。因此，检测到网络连接中的一个网络连接的期望视频属性已经改变可以包括：从网络连接中的所述一个网络连接接收更高的视频质量的请求。

如以上示例所指示的，该方法可以在摄像机中实时执行。在这种情况下，该方法可以包括：使用摄像机的传感器捕获视频序列；将所捕获的视频序列转发到摄像机的图像处理流水线，以对视频序列执行图像处理；以及将所捕获的和所图像处理的视频序列从图像处理流水线转发到摄像机的编码器，以执行视频序列的所述编码。因此，被输入到编码器的视频序列从图像传感器经由图像处理阶段无延迟地直接被转发。换句话说，视频序列的编码与编码后的数据的转码不是一回事。

根据本发明的第二方面，以上目标通过用于编码和通过多个网络连接流传输视频序列的设备实现，该设备包括：

编码器，该编码器被配置为接收由摄像机捕获的视频序列，并且使用不同的编码参数将视频序列并行编码为多个编码后的视频序列，使得编码后的视频序列具有不同的视频属性；

网络接口，该网络接口被配置为通过多个网络连接并行流传输编码后的视频序列，其中，每个编码后的视频序列通过多个网络连接中的至少一个网络连接被流传输，并且对于每个网络连接，具有与网络连接的期望视频属性相匹配的视频属性的编码后的视频序列被流传输；以及

控制器，该控制器被配置为检测到网络连接中的一个网络连接的期望视频属性已经改变，并且响应于该检测，指示编码器增加或减少被并行编码和通过多个网络连接被流传输的多个编码后的视频序列。

根据本发明的第三方面，以上目标通过视频摄像机实现，该视频摄像机包括：

用于捕获视频序列的图像传感器；以及

根据用于编码和通过多个网络连接流传输视频序列的第二方面的设备。

根据本发明的第四方面，以上目标通过计算机程序产品实现，该计算机程序产品包括存储计算机代码指令的非瞬态计算机可读介质，计算机代码指令在被具有处理能力的设备执行时适于执行第一方面的方法。

第二方面、第三方面和第四方面通常具有与第一方面相同的特征和优势。要进一步注意的是，除非另有明确说明，否则本发明涉及特征的所有可能组合。

附图说明

参照附图，通过本发明实施例的以下说明性的和非限制性的详细描述，将更好地理解本发明的以上以及其他目标、特征和优势，在附图中，相同的附图标记将用于类似的元件，其中：

图1示意性地图示根据实施例的用于编码和通过多个网络连接流传输视频序列的系统。

图2示意性地图示根据实施例的用于编码和通过多个网络连接流传输视频序列的设备。

图3a、图3b、图3c是图示图2的设备的功能的示例的序列。

图4是用于编码和通过多个网络连接流传输视频序列的方法的流程图。

具体实施方式

现在，将在下文中参照附图更全面地描述本发明，在附图中示出本发明的实施例。

图1图示视频摄像机100。视频摄像机100可以是为了监控目的而用于监视场所(premises)的监视摄像机。摄像机100包括图像传感器102、图像处理流水线104以及编码和流传输设备106。图像传感器102捕获图像序列(即，视频序列110)。图像传感器102将视频序列110转发到图像处理流水线104。图像处理流水线104对视频序列110中的图像执行本领域已知的各种图像处理，诸如降噪、图像缩放以及图像增强。然后，处理后的视频序列112被转发到编码和流传输设备106。编码和流传输设备106对处理后的视频序列112进行编码，并且通过多个网络连接(这里，由第一网络连接114a、第二网络连接114b和第三网络连接114c图示)并行流传输编码后的视频。多个网络连接114a、114b和114c每个与接收设备(这里，由第一接收设备116a、第二接收设备116b、第三接收设备116c图示)相关联。通过示例的方式，接收设备116a可以是在受监视的场所处的警卫的移动客户端，接收设备116b可以是在监控中心的视频管理系统，并且接收设备116c可以是网络附接存储器。

当涉及编码后的视频的属性时，不同的网络连接114a、114b、114c可以具有不同的需求。例如，接收设备116a、116b、116c中的一些可以比其他期望更高的视频质量。在图1的示例中，视频管理系统116b和视频记录器116c可以比移动客户端116a期望更高的视频质量。进一步，网络连接114a、114b、114c中的一些可以比其他具有更高的带宽，从而支持编码后的视频的更高的比特率。例如，网络连接114b和114c可以比与移动客户端116a相关联的网络连接114a支持更高的比特率。更进一步，接收设备116a、116b、116c中的一些可以期望编码后的视频的更高的稳定性以降低编码后的视频的数据包丢失的影响。相应地，不同的网络连接114a、114b、114c可以基于终端用户的网络条件和偏好而期望编码后的视频的不同视频属性。为了满足网络连接114a、114b、114c的不同期望，编码和流传输设备106可以同时准备多于一个版本的用于通过网络连接114a、114b、114c流传输的编码后的视频。例如，不同版本的编码后的视频可以具有不同的比特率、不同的图像质量和/或不同的关于数据包丢失的稳定性。进一步，由于所期望的网络连接114a、114b、114c的视频属性可能随着时间而改变，所以编码和流传输设备106可以适应性地改变被并行编码的、编码后的视频的版本的数量，如下面将详细地解释的。

图2详细地图示编码和流传输设备106。它包括编码器202、网络接口204和控制器206。通常，设备104可以包括被配置为实现编码器202、网络接口204和控制器206的电路。

在硬件实现方式中，部件202、204、206中的每一个可以与专用于和特定地设计为提供部件的功能的电路相对应。电路可以采取一个或多个集成电路的形式，诸如一个或多个专用集成电路或一个或多个现场可编程门阵列。通过示例的方式，控制器可以因此包括当在使用时控制要由编码器产生的编码后的视频流的数量的电路。

在软件实现方式中，电路可替代地采取处理器(例如，微处理器)的形式，处理器与存储在(非瞬态)计算机可读介质(诸如非易失性存储器)上的计算机代码指令相关联，使得设备106执行本文所公开的任意方法。非易失性存储器的示例包括只读存储器、闪存、铁电RAM、磁性计算机存储设备、光盘等。在软件情况下，部件202、204、206每个可以因此与存储在计算机可读介质上的计算机代码指令的一部分相对应，计算机代码指令在由处理器执行时，使得设备106执行部件的功能。

要理解的是，还可以具有硬件和软件的实现方式的组合，意味着部件202、204、206中的一些的功能是在硬件中实现的，而其他是在软件中实现的。

现在将参照图4的流程图解释编码和流传输设备106的操作。在步骤S02，编码器202接收通过摄像机100捕获和处理的视频序列112作为输入。在步骤S04，编码器202然后将所接收的视频序列112编码为多个编码后的视频序列208a、208b。为了这个目的，编码器202可以实现任意已知的编码方案，例如，H.264或H.265编码。要理解的是，视频序列112的帧通常被顺序地接收，并且帧在接收时一个接一个地被编码。编码后的视频序列的数量通过控制器206设置，并且可以随着时间在一个网络连接直到网络连接114a、114b、114c的数量之间改变。因此，虽然图2的示例中图示两个编码后的视频序列208a、208b，但是要理解的是，在该示例中，编码后的视频序列的数量可以在一个和三个之间改变。还要理解的是，在一些情况下，编码器202的能力可以为它可以并行产生多少编码后的视频序列设置限制。

要编码的视频序列的数量可以通过控制器206基于来自网络连接114a、114b、114c的反馈210a、210b、210c而确定。反馈210a、210b、210c可以与网络连接114a、114b、114c的期望视频属性(诸如期望比特率、期望视频质量和/或编码后的视频的关于数据包丢失或数据包延迟的期望稳定性)有关。反馈210a、210b、210c可以采取以下形式：网络连接114a、114b、114c的当前带宽(即，当前期望比特率)的测量、来自网络连接114a、114b、114c的对特定视频质量或视频稳定性的明确请求。

可以进行各种指示带宽的测量。这包括数据包丢失和缓冲区大小的测量。例如，接收方116a、116b、116c可经由网络协议支持的消息传递提供关于哪些数据包被输送、哪些数据包不被输送以及何时数据包被输送的反馈。这种消息传递在TCP/IP协议等中得到支持。不被输送的数据包的数量指示带宽，因为随着带宽的下降，更多的数据包将丢失。网络中还存在各种缓冲区，诸如，在摄像机100中、在接收方116a、116b、116c中以及在网络中的交换机中，从缓冲区中可以接收反馈。例如，摄像机100中可能存在一个或多个缓冲区以存储未通过一个或多个连接114a、114b、114c发送的数据包。这些缓冲区的大小指示连接114a、114b、114c的带宽，因为当带宽下降时，数据包趋向于在缓冲区中积累。除了上面提到的测量之外，测量还可以包括其他参数(诸如TCP窗口大小或数据包预期到达和实际到达之间的时间(有时被称为抖动))的测量。如何执行这些测量和接收这些请求本身是本领域已知的并且可以以各种方式执行。

与视频稳定性有关的反馈可以采取对降低的丢包率的请求的形式、可以采取可接受的图像帧的丢失百分比的上限的形式和/或可以采取数据包的传输延迟的上限的形式。

从反馈210a、210b、210c中，控制器206可以确定通过编码器202应该产生多少编码后的视频序列。可以为每个图像帧或更少的图像帧做出该确定，例如每个GOP一次或每秒一次。更详细地，控制器206可以比较不同网络连接114a、114b、114c彼此之间的期望视频属性来看看这些期望视频属性之中有多少是不同的。换句话说，控制器206找出由网络连接114a、114b、114c所期望的不同组的视频属性有多少。然后，控制器206可以将编码后的视频序列208a、208b的数量设置为与不同组的期望视频属性的数量相等。例如，如果所有网络连接114a、114b、114c期望相同组的视频属性，则不同的期望视频属性的数量等于一。如果所有网络连接114a、114b、114c期望不同组的视频属性，则不同的期望视频属性的数量等于网络连接的数量。如果网络连接114a、114b、114c中的一些期望相同组的视频属性而其他期望不同组的视频属性，则不同视频属性的数量将是在一和网络连接114a、114b、114c的数量之间的某个值。在图2的示例中，假设网络连接中的两个(诸如连接114b和114c)期望相同的视频属性而第三个网络连接114a期望不同的视频属性。因此，在图2的示例中，不同的期望视频属性的数量等于二。当彼此比较期望视频属性时，控制器可以应用特定容差，使得如果一个网络连接的期望视频属性的组与另一网络连接的期望视频属性的组彼此在预定裕度内，则认为他们相同。这个预定裕度可以是控制器206的可配置参数。

当将所接收的视频序列112编码为编码后的视频序列208a、208b时，控制器206可以进一步确定要由编码器202使用的编码参数211a、211b。控制器206可以为每个编码后的视频序列208a、208b确定一组编码参数。在图2的示例中，存在当产生第一编码后的视频序列208a时由编码器202使用的第一组编码参数211a以及当产生第二编码后的视频序列208b时使用的第二组编码参数211b。编码参数可以例如包括量化参数、分辨率、帧速率、GOP长度以及GOP结构。控制器206设置编码参数211a、211b，使得编码后的序列208a、208b的结果视频属性与网络连接114a、114b、114c当前的期望视频属性相匹配。如果视频属性(或一组视频属性)和期望视频属性(或一组期望视频属性)彼此比预定阈值(或预定阈值组)更接近，则可以说它们匹配。在图2的示例中，编码参数211a可以被设置，使得编码后的视频序列208b的视频属性与网络连接114a的期望视频属性相匹配，而编码参数211b被设置为将编码后的视频序列208a的视频属性与网络连接114b和114c的期望视频属性相匹配。为了这个目的，可以使用任意已知的控制方案(诸如比例控制)。更详细地，控制器206可以接收关于编码后的视频序列208a、208b的当前视频属性212a、212b的反馈212a、212b。然后，控制器206可以基于编码后的视频序列208a、208b的当前视频属性212a、212b的比较而将编码参数212a、212b设置为网络连接114a、114b、114c的不同的期望视频属性。期望视频属性可以因此用作编码后的视频序列208a、208b的对应视频属性的目标值。例如，控制器206可以实现比特率控制器，在比特率控制器中，网络连接114a、114b、114c的不同的期望比特率水平被提供为编码后的视频序列208a、208b的比特率水平的目标值。

然后，编码器将视频序列208a、208b转发到网络接口204，在步骤S06，网络接口204通过网络连接114a、114b、114c并行流传输编码后的序列208a、208b。为了这个目的，网络接口204可以包括保存尚未传输的编码后的序列208a、208b的数据包的流传输缓冲区。控制器206跟踪应该通过每个网络连接114a、114b、114c流传输哪个编码后的视频序列208a、208b。例如，控制器206可以维护将编码后的视频序列208a、208b映射到网络连接114a、114b、114c的表格。控制器206可以将信息113中继到网络接口204。通过这种方式，具有与网络连接的期望视频属性相匹配的视频属性的编码后的视频序列208a、208b可以被流传输到每个网络连接114a、114b、114c。在图2的示例中，网络接口204可以因此通过网络连接114a流传输编码后的视频序列208b，同时它通过网络连接114b、114c流传输编码后的视频序列208a。显而易见，每个编码后的视频序列208a、208b因此通过网络连接114a、114b、114c中的至少一个被流传输。

网络连接114a、114b、114c的期望视频属性可以随着时间而改变。在步骤S08，控制器206可以因此监视反馈210a、210b、210c以检测网络连接114a、114b、114c的期望视频属性的改变。例如，如果丢包率或流传输缓冲区大小存在显著变化，则控制器206可以检测到带宽的改变。进一步，当从网络连接114a、114b、114c中的一个接收到请求时，控制器206可以检测到存在改变。如果检测到网络连接114a、114b、114c中的一个或多个的期望视频属性的改变，则控制器206可以检查编码后的视频序列208a、208b的数量是否需要调整以满足所有网络连接114a、114b、114c的需求。例如，控制器206可以检查检测到的改变是否已导致网络连接114a、114b、114c的不同组的期望视频属性的数量的改变。如果是这样，则控制器206调整编码后的视频序列的数量。随着检测到的期望视频属性的改变，在步骤S10，控制器206可以因此增加或减少编码后的视频序列的数量。如果在步骤S08中没有检测到改变，则可以保持当前编码后的视频序列的数量。

现在将描述示例的序列以进一步说明编码后的视频序列的数量的调整。

图3a图示其中网络连接114a、114b、114c期望相同的视频属性的情形，这种情况下比特率相同，并且因此单个编码后的视频序列208a通过每个网络连接114a、114b、114c被并行流传输。基于来自连接的反馈210a、210b、210c，控制器206可以检测到网络连接中的一个(诸如网络连接114a)的带宽的改变。例如，控制器206可以检测到网络连接114a已经开始丢弃数据包或者丢弃的数据包的数量已增加超过特定水平。相应地，单个编码后的视频序列208a不再足以同时满足所有网络连接的需求。具体地，一方面网络连接114a以及另一方面网络连接114b、114c需要编码后的视频序列具有不同的比特率。并且因此，如图3b中所图示，控制器206指示编码器开始产生附加的编码后的视频序列208b。附加的编码后的视频序列208b的编码参数被设置，使得编码后的视频序列208b的比特率与网络连接114a所需的比特率相匹配。例如，编码后的视频序列208b可以采用量化参数的更高值编码以实现减小的比特率。可替代地或附加地，GOP结构可被改变为使用帧内刷新而不是帧内编码帧，以避免可能导致数据包丢失的比特率峰值。然后，编码后的视频序列208b被流传输到网络连接114a，而其他编码后的视频序列208a仍然通过其他网络连接114b、114c被流传输。

来自网络连接114a、114b、114c的反馈210a、210b、210c也可以采用改变的图像质量的请求的形式。例如，在视频中的感兴趣的事件之后，与网络连接114a、114b、114c中的一个(诸如网络连接114b)相关联的用户可以请求更高的图像质量。这可以被使用的情形是，当在监视中心处的操作者在视频中正在描绘的犯罪场景之后按下紧急按钮时。为了将更高的图像质量输送到网络连接114b，控制器206可以指示编码器开始另一编码后的视频序列208c，如图3c中所示。编码后的视频序列208c可以使用导致由网络连接114b的用户请求的更高的图像质量的编码参数311c(诸如更高分辨率或量化参数的更低值)来产生。视频序列208c可以被流传输到网络连接114b，而其他视频序列208a、208b仍然被分别流传输到网络连接114c和114a。

一段时间之后，网络连接114b期望图像质量可能再次返回到正常。如果是这样，则编码后的视频序列208c变成多于的并且可以被移除。在这种情况下，控制器206可以指示编码器202停止编码后的视频序列208c的编码。替代地，编码后的视频序列208a可以再次被流传输到网络连接114b和114c两者，而编码后的视频序列208b被流传输到网络连接114a。相应地，情形将再次返回到图3b中所示的情形。

也可能发生网络连接114a的带宽再次返回到它的初始值。在这种情况下，从图3b中的情形开始，控制器206将指示编码器202停止编码后的视频序列208b的编码，并且替代地，如图3a中所图示将编码后的视频序列208a流传输到所有网络连接114a、114b、114c。

将理解的是，本领域技术人员可以通过多种方式修改上述实施例并且仍然使用如以上实施例中所示的本发明的优势。例如，所述构思可以用于以快速方式启动新的视频流。更详细地，参照图3c，进一步的视频序列208c可以使用与可用流208a相同的参数进行初始编码。然后，进一步的视频序列208c的参数可以被更新，使得它的视频属性与由网络连接114b期望的那些视频属性相匹配。作为另一示例，如果编码器202中可用的计算资源不充足，则编码后的序列的数量可以减少。进一步，视频属性不限于本文所提到的那些。也可以考虑其他视频属性，诸如编码后的视频是否应该被加密。因此，本发明不应仅限于所示的实施例，而是仅应被所附的权利要求限定。此外，如本领域技术人员所理解的，所示的实施例可以被组合。

Claims (10)

1.一种在用于捕获、编码和通过多个网络连接流传输视频序列的摄像机中执行的方法，包括：

使用所述摄像机的图像传感器捕获视频序列；

使用不同的编码参数将所述视频序列并行编码为多个编码后的视频序列，使得所述编码后的视频序列具有不同的比特率；

通过所述多个网络连接并行流传输所述编码后的视频序列，其中，每个编码后的视频序列通过所述多个网络连接中的至少一个网络连接被流传输，并且对于每个网络连接，具有与由所述网络连接的带宽支持的比特率相匹配的比特率的编码后的视频序列被流传输；

检测到所述网络连接中的一个网络连接的所述带宽已经改变；以及

响应于所述检测，根据所述带宽改变而增加或减少被并行编码和通过所述多个网络连接被流传输的所述多个编码后的视频序列。

2.根据权利要求1所述的方法，其中，所述多个编码后的视频序列通过将所述视频序列并行编码为又一编码后的视频序列以及所述多个编码后的视频序列而被增加，其中，所述又一编码后的视频序列通过所述网络连接中的所述一个网络连接被流传输，而剩余的编码后的视频序列通过所述多个网络连接中的其他网络连接被继续流传输。

3.根据权利要求2所述的方法，其中，所述又一编码后的视频序列被编码为具有与由所述网络连接中的所述一个网络连接的所述带宽支持的所述比特率相对应的比特率。

4.根据权利要求1所述的方法，其中，所述多个编码后的视频序列通过中止被流传输到所述网络连接中的所述一个网络连接的所述编码后的视频序列的编码和流传输而被减少，同时保持任意剩余的编码后的视频序列的所述编码和所述流传输。

5.根据权利要求4所述的方法，其中，剩余的编码后的视频序列被流传输到所述网络连接中的所述一个网络连接，所述剩余的编码后的视频序列具有与由所述网络连接中的所述一个网络连接的已改变的所述带宽支持的所述比特率相匹配的比特率。

6.根据权利要求1所述的方法，进一步包括：

测量或接收关于所述多个网络连接的带宽的反馈；

识别由所述多个网络连接的所述带宽支持的多个不同的比特率；

将所述多个编码后的视频序列设置为与由所述多个网络连接的所述带宽支持的所述多个不同的比特率相对应。

7.根据权利要求6所述的方法，其中，所述多个编码后的视频序列被增加或减少，使得在所述网络连接中的所述一个网络连接的所述带宽已经改变之后，所述多个编码后的视频序列还保持与由所述网络连接的所述带宽支持的所述多个不同的比特率相对应。

8.根据权利要求1所述的方法，进一步包括：

设置当产生所述多个编码后的视频序列时使用的编码参数，使得所述多个编码后的视频序列的所述不同的比特率与由所述多个网络连接的所述带宽支持的所述比特率相匹配。

9.根据权利要求1所述的方法，进一步包括：

将所捕获的视频序列转发到所述摄像机的图像处理流水线，以对所述视频序列执行图像处理；以及

将所捕获的和所图像处理的视频序列从所述图像处理流水线转发到所述摄像机的编码器，以执行所述视频序列的所述编码。

10.一种用于捕获、编码和通过多个网络连接流传输视频序列的视频摄像机，包括：

用于捕获视频序列的图像传感器；

编码器，所述编码器被配置为接收由所述图像传感器捕获的所述视频序列，并且使用不同的编码参数将所述视频序列并行编码为多个编码后的视频序列，使得所述编码后的视频序列具有不同的比特率；

网络接口，所述网络接口被配置为通过所述多个网络连接并行流传输所述编码后的视频序列，其中，每个编码后的视频序列通过所述多个网络连接中的至少一个网络连接被流传输，并且对于每个网络连接，具有与由所述网络连接的带宽支持的比特率相匹配的比特率的编码后的视频序列被流传输；以及

控制器，所述控制器被配置为检测到所述网络连接中的一个网络连接的所述带宽已经改变，并且响应于所述检测，指示所述编码器根据所述带宽改变而增加或减少被并行编码和通过所述多个网络连接被流传输的所述多个编码后的视频序列。

Images