[go: up one dir, main page]

CN107211193B - 感知体验质量估计驱动的智能适应视频流传输方法和系统 - Google Patents

感知体验质量估计驱动的智能适应视频流传输方法和系统 Download PDF

Info

Publication number
CN107211193B
CN107211193B CN201680008584.4A CN201680008584A CN107211193B CN 107211193 B CN107211193 B CN 107211193B CN 201680008584 A CN201680008584 A CN 201680008584A CN 107211193 B CN107211193 B CN 107211193B
Authority
CN
China
Prior art keywords
quality
video
experience
stream
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680008584.4A
Other languages
English (en)
Other versions
CN107211193A (zh
Inventor
王舟
曾凯
阿卜杜勒·雷曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imas Co
Original Assignee
Visual Wave Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Wave Co filed Critical Visual Wave Co
Publication of CN107211193A publication Critical patent/CN107211193A/zh
Application granted granted Critical
Publication of CN107211193B publication Critical patent/CN107211193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明是一种系统或方法，其通过利用在视频准备阶段，在视频托管处或在缓存服务器端侧，或在视频传输网络内部执行并发送给客户端的感知视频体验预测，促进在客户端侧为在视频传输网络上的适应性视频流传输进行智能决策。与现有技术的适应性比特率视频流传输技术相比，本发明可以产生以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。

Description

感知体验质量估计驱动的智能适应视频流传输方法和系统
技术领域
本发明一般性地涉及将视频流从视频托管服务器通过视频传输网络传输到客户端，以便优化客户端用户的体验质量。更具体地说，将服务器侧的视频流分成多个片段，每个片段都具有不同比特率和分辨率的多个流。本发明涉及一种方法或系统，其在客户侧做出从服务器侧的多个流中挑选出下一个片段的最佳决策，以便实现以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。本发明可以使用在采用通用适应性流传输方式的很多应用中。
背景技术
在过去几年中，通过网络传输的视频数据量呈指数级增长。视频点播(VoD)应用的越来越流行的方式是采用适应性视频流传输技术。在适应性视频流传输中，在视频流准备阶段，每个源视频内容被编码/转码成不同比特率和分辨率的多个变体(或流)。视频流被分为多个时间片段，并且所有流都存储在视频托管服务器中。当客户端观看视频内容时，它可以基于网络带宽、缓冲区大小、回放速度等为每个时间片段适应性地挑选多个流中的一个。由于重复性的编码/转码需求和存储相同内容的多个流的增加的存储空间会导致CPU功率的提高，适应性视频流传输框架将负担加在服务器侧。然而，它允许为与网络连接的用户提供各种变体而不改变基础设施，并有可能为每个用户在每一时刻基础上提供最好的可能服务。
然而，适应性流传输技术的当前实施和部署的一个主要问题是不能适当地考虑观看者的体验质量(QoE)。近年来视频质量评估一直是一个活跃的研究课题。当我们使用视频质量这一术语时，意思是指视频流的感知质量，而不考虑视频正在进行网络传送、在具有不同的分辨率的不同设备上显示以及观看条件不同等情况下的感知质量差异。相比之下，用QoE，意思是指考虑尽可能多的这种差异。例如，在视频传输服务的服务器侧，只能评估视频质量，并且无法直接测量视频QoE，但可以估计可以帮助预测视频QoE的某些参数。在客户端侧，因为所有相关信息变得可用，所以可以估计视频QoE。由于视频传输服务的最终目标是为客户端提供在其可视视频QoE方面最佳的可能视频，适当地评估视觉QoE并使用这样的评估作为视频传输系统的设计和优化的关键因素是非常有利的。遗憾的是，这正是当前适应性视频流传输实现方式中所缺少的。现实系统通常使用比特率作为关键因素，将其等同于视觉质量指标，但使用相同的比特率对不同的视频内容进行编码可能导致显著不同的视觉质量，其范围可能在标准五类(优秀、良好、一般、较差、极差)人类主观评价的两个极端之间。更糟糕的是，实际的用户QoE取决于用于显示视频的设备而不同，这是通过比特率驱动的流传输策略无法考虑另一因素。
本发明涉及如何使视频QoE估计可用于客户端以及如何在客户端站点处在适应性视频流传输的决策步骤中使用QoE估计。回到驱动者的位置，重新设计视频传输系统。
发明内容
使用视觉QoE作为在视频传输网络上提供智能适应性视频流传输或智能流传输的关键因素的方法或系统。
一个实施例涉及通过视频传输网络的适应性视频流传输，其从相同的视频源内容创建不同比特率和分辨率的多个视频流，并将其划分为多个时间片段。生成QoE预测参数，并且将QoE预测参数在发送视频流之前或与视频流一起发送到接收者客户端站点。在客户端站点处，估计视觉QoE并用作请求视频流的下一个视频片段的关键决策因素。
另一实施例涉及通过将QoE预测参数与即时网络和接收器条件组合来在客户端站点处提供QoE估计，所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。
另一实施例涉及使用全参考、简化参考和/或无参考客观视频质量评估的模型、使用能够比较不同空间和/或时间分辨率的视频质量的模型、以及使用根据观看设备的类型和设置、观看设备上的回放窗口的分辨率和/或观看条件预测感知QoE的模型产生QoE预测参数。
另一个实施例涉及将所述体验质量预测参数作为元数据在发送所述视频流之前或与视频流一起发送，或者通过将参数作为水印或隐藏消息嵌入到视频流中来发送所述体验质量预测参数。
另一个实施例涉及在客户站点处为每个视频流的每个片段创建观看者QoE的矩阵，并且通过将QoE估计与其他可用信息组合来决定视频的下一个片段，所述其他可用信息包括视频流的比特率、视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
另一个实施例涉及进行在所述客户端站点处选择视频的下一个片段的智能适应性流传输决策，通过使用QoE作为在不切换、切换到更低比特率以及切换到更高比特率之间决策的关键因素，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
另一个实施例涉及进行在客户端站点处选择视频的接着多个片段的智能适应性流传输决策，通过使用动态规划方法找到最大化视觉QoE的平均质量和/或平滑度的最佳路径，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
应当理解，本发明的应用不限于以及在说明书或其中提供的或在附图中示出的实例中阐述的结构细节和部件的布置。本发明能够具有其他实施例并且能够以各种方式实践和实施。应当理解，这里使用的措辞和术语是为了描述的目的，不应被视为限制。本应用中描述的特征和优点并不是穷尽的。对于本领域普通技术人员而言，在附图、权利要求和说明书的基础上，附加的特征和优点将是显而易见的。选择本应用程序中使用的语言以获得更好的可读性和指导目的，并且并非用于限制或限定所公开的主题。
附图说明
图1示出基于感知QoE估计的适应性视频流传输过程的系统图。
图2示出有关视频QoE预测的视频流准备阶段中的流程图。
图3示出本发明的一个实施例中视频托管服务器、视频传输网络和客户端之间的流程图。
图4示出使用接收到的QoE预测参数作为与其他即时侧信息组合的关键因素进行动态观看者QoE估计的流程图。
图5绘出为将每个视频流中的每个视频片段的接收到的视频QoE预测参数阵列转换成每个视频流中的每个视频片段的观看者QoE估计矩阵的流程图。
图6绘出选择下一个片段的智能适应性流传输决策的流程图。观看者QoE估计矩阵具有中心作用，附加信息包括视频流的比特率、视频流的分辨率、网络的可用带宽、以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
图7绘出应用“流过滤器”的流程图，“流过滤器”将下一个片段的所有可用流的数量减少到至可承受的流的子集。通过对视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率中的一个或多个的约束来实现“流过滤”过程。
图8绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。现有技术方法不具有可用的QoE估计信息，但假设更高的比特率导致更高的QoE。本发明通过选择具有最大QoE的流来允许不同的决策。
图9绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。当不进行切换，QoE维持在预定目标阈值水平或以上时，即使这样的切换是可承受的，本发明也可以拒绝切换到更高比特率和/或更高分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而无论该流的实际QoE如何。
图10绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。当进行切换导致QoE增加低于阈值时，即使这样的切换是可承受的，本发明也可以拒绝切换到更高比特率和/或更高分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而无论通过切换到该流可以实现多少QoE改进。
图11绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当进行切换导致QoE下降低于阈值时，并且当通过这种切换，QoE保持在预定目标阈值QoE水平或以上时，本发明也可以切换到更低比特率和/或更低分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法将继续请求等于或高于当前流的比特率的流，但不会切换到更低的比特率流。
图12绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当进行切换导致QoE下降低于阈值时，或者当通过这种切换，QoE保持在或高于预定目标阈值QoE水平时，本发明也可以切换到更低比特率和/或更低分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法将继续请求等于或高于当前流的比特率的流，但不会切换到更低的比特率流。
图13绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当预测到将来的视频片段需要高于当前比特率以维持相同水平的QoE时，本发明也可以切换到更低比特率和/或更低分辨率流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而不知晓在视频的未来部分中维持相同水平的QoE的困难。
图14绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的增加，当不进行切换，QoE下降多于阈值，并且当在下一个片段处更高比特率的流和当前流之间QoE的差的绝对值低于另一阈值时，本发明也可以切换到更高比特率的流和/或更高分辨率的流。这与现有技术方法不同，现有技术方法不知晓在下一个片段中维持相同水平的QoE并保持在相同的流中的困难。
图15示出本发明的一个实施例中联合选择接着的多个视频的片段序列的决策的说明性示例，其通过执行动态规划优化来决定最大化平均质量和/或QoE的平滑度的最佳路径实现。现有技术的适应性流传输方法不具有可用的QoE信息，因此不能执行这样的优化过程，该优化过程在带宽、缓冲区大小和/或其他因素的约束下给出最佳总体QoE。
图16示出了现有技术的适应性视频流传输和本发明的实施例的智能流传输中帧索引的函数的缓冲区大小的说明性示例。
图17示出了现有技术适应性视频流(a)以及基于本发明的实施例的智能流传输(b)的切换决策的说明性示例。
图18示出了现有技术适应性视频流(a)以及基于本发明的实施例的智能流传输(b)中作为帧索引的函数的帧比特率的说明性示例。
图19示出了现有技术适应性视频流和基于本发明的实施例的智能流传输中作为帧索引的函数的基于SSIMplus的视觉QoE的说明性示例。
在附图中，举例说明了本发明的实施例。应当明确地理解，描述和附图仅仅是为了说明的目的，并且作为对理解的帮助，而不是作为对本发明的限制的定义。
具体实施方式
本公开涉及用于通过视频传输网络进行智能适应性视频流传输的方法、系统或计算机程序。我们称之为智能适应性视频流传输或智能流传输的技术具有以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不会牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。
本发明的一个实施例是一种方法、系统或计算机程序，其包括以下步骤：1)100：从相同的视频源内容创建不同比特率和分辨率的多个视频流，并将其划分为多个时间片段；2)102：在视频准备阶段，在视频托管站点处和/或视频传输网络内执行视频流的QoE预测，得到用于视频流的QoE预测参数的多维阵列；3)104：将QoE预测参数在发送视频流之前或与视频流一起发送到接收方客户端站点；以及4)106：在客户端站点，使用接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际用户QoE，并且108：请求视频流的下一个片段。图1给出了整个系统流程图。图2给出了在视频流准备阶段有关视频流的QoE预测的流程图。图3给出了有关在视频托管服务器和/或视频传输网络处的视频流的QoE预测的流程图，其还给出了本发明的一个实施例中在创建即时QoE估计和进行流传输决策的客户端站点处的流程图。
本发明的另一个实施例通过直接使用从网络接收的QoE预测参数410在客户站点处静态地进行QoE估计。在本发明的又一个实施例中，客户端站点处的QoE估计412通过组合从具有一个或多个即时网络400的网络接收的QoE预测参数410和接收器条件402、404、406、408动态地执行。这些条件可以包括错误发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件和用户期望中的一个或多个。图4给出了示出QoE预测参数起关键作用的动态QoE估计过程。
在本发明的另一个实施例中，在视频准备阶段，在视频托管站点处或视频传输网络内，在视频流上进行人主观QoE测量。使用主观测量结果计算的统计特征，诸如主观意见得分的平均意见得分和标准偏差/方差，作为QoE预测参数。
在本发明的另一个实施例中，诸如PSNR[1]、SSIM[2,3]、MS-SSIM[4]、VQM[5]、MOVIE[6]和SSIMplus[7,8,9]的全参考、简化参考和/或无参考客观视频质量计算评估模型可以用作感知QoE预测因素。
本发明的另一个实施例使用产生能够将跨不同空间和/或时间分辨率的视频质量进行比较的参数的全参考和/或简化参考客观感知模型作为感知QoE预测因素。大多数现有的客观感知模型没有这种能力。用于此目的的理想候选是SSIMplus测量。
本发明的另一实施例使用根据观看设备的类型和设置、观看设备上的回放窗口的空间和时间分辨率和/或客户端站点处视频的观看条件来产生预测感知QoE的参数的客观感知视频质量模型。大多数现有的客观感知模型没有这种能力。用于此目的的理想候选是SSIMplus测量。
本发明的另一个实施例将所述体验质量预测参数作为元数据在视频流的发送之前或与所述视频流的发送一起发送。例如，QoE参数可以被包括在视频文件头中，或者在发送视频流之前作为发送到客户端XML文件中的元数据部分发送。在本发明的另一个实施例中，QoE预测参数可以使用水印或数据隐藏技术嵌入到视频流本身中，与视频流一起发送到客户端站点。
本发明的另一实施例在客户端站点504处为每个视频流的每个片段创建观看者QoE估计的矩阵502，然后在流传输决策步骤中使用该矩阵来选择视频的下一个片段。图5中示出了生成QoE估计矩阵512的过程，其中QoE预测参数500是与所有流中的所有片段的即时网络和接收器条件506(如图4所示)进一步组合的最关键因素。
本发明的另一实施例包括在客户端站点处选择视频的下一个片段608的流传输决策步骤606，其将QoE估计604与包括视频流的比特率600、视频流的分辨率602、网络的可用带宽610、解码速度614、显示速度616、缓冲区大小612和接收设备的功率618中的一个或多个其他可用信息组合。图6中示出了说明该过程的流程图。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，其在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率等的约束条件708下，挑选最大QoE视频流。在对于下一个片段的所有可用的视频流702、704应用所有这样的约束之后，留下了这些视频流的子集710、712。在该应用中将该过程称为“流过滤器706”，并且在应用流过滤器之后的剩余流被称为“可承受的流712”。例如，在采用视频流(以减少重新缓冲或停顿的可能性)之后，缓冲区大小应该保持在阈值水平以上，并且为了满足这样的条件，具有高比特率的一些流是不可承受的，因此被过滤掉。图7中示出了一般过程的流程图。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，其在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率的约束下，挑选最大QoE视频流。图8给出了流程图。现有技术方法没有可用的QoE估计信息，而是假设更高的比特率导致更高的QoE，并因此选择最高比特率的流804，其可能不是最佳QoE806、810的最佳选择。本发明通过找到所有可承受的流的最大QoE 806、810来允许不同的决策。这具有三个优点中的一个或多个：1)由QoE_{最高QoE流810}与QoE_{最高比特率流808}之间的差异给出的提高的QoE；2)由比特率_{最高比特率流808}-比特率_{最高QoE流810}之间的差异给出的降低的比特率；3)由于视频流的更低速率导致更大的缓冲区(给定相同的网络带宽条件)，这降低了可能在视频回放过程中触发重新缓冲或停顿的低或空缓冲区运行的概率，因此重新缓冲/停顿事件的概率更低。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，当不进行切换，QoE维持在预定目标阈值水平或以上时，通过拒绝914切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图9示出了流程图。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，不管客户端的实际QoE如何。这样的差异使得本发明通过不切换到最高的可承受的比特率的流来节省比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，所以降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，当进行切换导致QoE增加低于阈值1010时，通过拒绝1016切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图10示出了流程图。这与现有技术方法不同，现有技术方法在客户端侧尽最大努力来请求最高可承受的比特率的流，不管通过切换到该流可以实现多少QoE改进。这种差异使得本发明通过不切换到更高的可承受的比特率的流节省了比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，所以降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，(A)当进行切换导致QoE下降低于阈值1108、1208时，和/或(B)当进行这种切换，QoE维持在预定目标阈值QoE水平1106、1206或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图11和图12示出了两个流程图，具有上述条件(A)和(B)的不同组合1118、1218。这与现有技术方法不同，现有技术方法在客户端处尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法继续请求等于或高于当前流的比特率的流，而不会切换到更低的比特率的流。这样的差异使得本发明通过切换到更低比特率的流来节省比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，因此降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率的以维持相同水平的QoE1310、1314时，通过切换到更低比特率和/或更低分辨率的流1316，以节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图13示出流程图。这与现有技术方法不同，现有技术在客户端处尽最大努力来请求最高可承受的比特率的流，而不知晓在视频的未来部分中维持相同水平的QoE的困难。因此，当不存在网络带宽或缓冲区大小的下降时，现在技术方法将继续请求等于或高于当前流的比特率的流，并且不会切换到更低的比特率流。切换到更低比特率流的能力使本发明与现有技术不同。这种差异使得本发明通过切换到更低比特率流1316来在低复杂度内容的当前时刻节省比特率，并为更复杂的并且希望更多比特率来维持QoE的未来视频片段预留带宽容量。因此，本发明导致QoE的平滑度得到改善，降低了未来复杂片段的重新缓冲和停顿事件的概率，并且提高了总体QoE。
本发明的另一实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，QoE下降超过阈值1406、1414并且当在下一个片段处更高比特率的流与当前流之间的QoE的差的绝对值低于另一阈值1408、1416时，通过切换到更高比特率的流和/或更高分辨率的流来维持QoE的当前水平和平滑度。图14中给出了示出说明性示例的流程图。在当前流K中，当前片段i和下一个片段i+1的复杂度和QoE可能截然不同(QoE_{i，K}-QoE_{i+1，K}>T_h 1406)，因此下一个片段停留在流K则不能保持相同水平的QoE，并且还降低QoE随时间的平滑性。现有技术的适应性流传输方法由于缺乏QoE信息而没有意识到这点，并且当看不到网络带宽或缓冲区大小的增加时，将不会切换到更高的比特率流。相比之下，本发明检测潜在的QoE下降并找到另一个流J，其具有更高的比特率，但是下一个片段的QoE更好地与当前片段的流K的QoE匹配(Abs[QoE_{i+1，J}-QoE_{i，K}]<T_l 1408)。这使得本发明更好地维持QoE随时间的平滑度，从而更好地维持客户端用户的总体QoE。
本发明的另一个实施例包括在客户端站点处对视频的接着多个片段的序列的联合选择的流传输决策步骤，通过执行动态规划优化例如维特比算法来决定最大化QoE的平均质量和/或平滑度的最佳路径1502。图15中给出了说明性的示例。现有技术的适应性流传输方法不具有可用的QoE信息，因此不能执行在带宽、缓冲区大小和/或其他因素的约束下给出最佳的总体QoE这样的动态程序优化程序。相反，本发明的一个实施例使用QoE矩阵1500来执行关于固定网络带宽或某些网络带宽模式的可能的额外假设的动态规划优化。所得到的最佳路径1502可以提供可能的最佳的总体QoE和/或最平滑的QoE，这是不能通过现有技术方法实现的。
本文所描述的示例仅仅是为了举例说明本发明的可能实施例。本领域技术人员将认识到，本发明的其他实施例也是可能的。本领域技术人员将理解，在不脱离本发明的范围的情况下，也可以实施本文所描述的实施例的其他变型。因此，其他修改是可能的。
下面给出一个有启发性的例子。为了提高可读性，该示例在很大程度上是从现实世界的场景中简化而来的，并且仅使用演示发明的创新步骤的一部分。该示例主要用于说明本发明的智能流传输(SS)发明的实施例如何与现有技术的适应性流传输(AS)方法不同。该示例不应用于限制本发明的广泛用途。
假设在主机服务器上存在分别具有500kbps、1000kbps和2000kbps的比特率的来自相同源内容的3层视频流。(每个视频帧的实际比特率存在波动)。还假设网络带宽恒定在800kbps。还假设在播放视频之前，客户端侧的播放器最初缓冲了2秒的视频。
图16比较了现有技术适应性流传输方法和本发明的实施例160中智能流传输方法的作为帧索引函数的缓冲区大小，其中现有技术的适应性流传输方法使用8秒缓冲区和2秒缓冲区分别作为触发切换到更高的比特率和更低的比特率的阈值。在该特定示例中，由于800kbps的实际网络带宽在500kbps的第一层视频流的比特率和1000kbps的第二层视频流之间，所以现有技术的适应性流传输方法将在这两层之间交替切换。所得到的切换决策可以如图17的(a)1700所示，并且所得实际比特率作为帧索引的函数示于图18的(a)1800。因为比特率比帧索引平滑，所以现有技术适应性流传输中使用比特率作为视频质量的指标，这样的性能是正常和理想的。然而，恒定(或类似)的比特率并不意味着相同的视频质量或视觉QoE，这在很大程度上取决于视频内容的复杂度。在这种特殊情况下，视频内容的最后部分要比前面的部分复杂得多。结果，尽管现有技术适应性流传输视频的最后部分与较前的部分相比具有相似的比特率，但视觉QoE明显更低。这可以使用诸如SSIMplus的有效QoE测量来检测，并且图19所示的现有技术适应性流传输视频的SSIMplus曲线示出了观看者的QoE从视频1900的较前部分到稍后部分发生显著变化。这可能导致总体视觉QoE的显著下降，并且很大程度上影响用户不满意和客户参与。
相比之下，本发明的实施例中的智能流传输方法在这种情况下的行为不同。图16示出了作为帧索引1600的函数的缓冲区大小，图17的(b)示出了智能流传输情况1702的实际切换决策，并且图18的(b)给出了作为帧索引函数1802所得到的实际比特率。首先，因为每层视频流中未来帧的QoE可用，所以智能流传输模块不会在视频的中间部分触发切换到更高的比特率，这是因为这种切换不会导致QoE的充分改善，并且还因为智能流传输模块预见到高难度的未来片段(视频的最后部分)。第二，为了维持视频最后部分的视觉QoE的平滑度，智能流传输模块触发切换到2000kbps的第三层视频流，这是比网络带宽高得多的比特率。图17的(b)中所得到的切换决策和图18的(b)中作为帧索引的函数的实际比特率显示出在视频的最后部分至更高的比特率的很大的跳转，这是在现有技术的适应性流传输方法中观察不到的效果。这种新的决策策略导致图19中基于SSIMplus的QoE曲线，其中智能流传输曲线在整个视频中维持在高质量水平，在QoE 1900中具有显著更好的平滑度和总体性能。此外，智能流传输情况的总比特率甚至比适应性流传输情况的总比特率更低(其可以由图16中的曲线末端的缓冲区大小确定)。即使将来，图16中的智能流传输情况的缓冲区大小曲线高于适应性流传输的曲线，这意味着智能流传输更适于降低重新缓冲和停顿事件1600。总之，由于采用智能流传输方式作为本发明的一个实施例，比现有技术具有更好的总体用户QoE和更平滑的用户QoE，以及使用更低的总体比特率和维持更健康的缓冲区的潜力。
参考文献
[1]Z.Wang和A.Bovik,"Mean squared error:love it or leave it？-a newlook at signal fidelity measures(平均误差：爱它还是离开它？——信号保真措施的新观点),"IEEE Signal Processing Magazine(IEEE信号处理杂志),第26卷,第98-117页,2009年1月。
[2]Z.Wang,A.C.Bovik,H.R.Sheikh,和E.P.Simoncelli,"Image qualityassessment:From error visibility to structural similarity(图像质量评估：从错误可见性到结构相似性),"IEEE Transactions on Image Processing(关于图像处理的IEEE事务),第13卷,第4册,第600-612页,2004年4月。
[3]Z.Wang,L.Lu,和A.C.Bovik,"Video quality assessment based onstructural distortion measurement(基于结构失真测量的视频质量估计)"SignalProcessing:Image Communication(信号处理：图像通信),第19卷,第121-132页,2004年2月。
[4]Z.Wang,E.P.Simoncelli,和A.C.Bovik,"Multi-scale structuralsimilarity for image quality assessment(用于图像质量估计的多尺度结构相似性)",IEEE Asilomar Conference on Signals,Systems and Computers(关于信号、系统和计算机的IEEE Asilomar会议),2003年11月.
[5]M.H.Pinson,"A new standardized method for objectively measuringvideo quality(用于客观测量视频质量的新标准化方法)",IEEE Transactions onBroadcasting(关于广播的IEEE事务),第50卷,第3册,第312-322页,2004年9月。
[6]K.Seshadrinathan和A.C.Bovik,"Motion tuned spatio-temporal qualityassessment of natural videos(天然视频的运动调整的空-时质量评估)",IEEETransactions on Image Processing(关于图像处理的IEEE事务),第19卷,第2册,第335-350页,2010年2月。
[7]A.Rehman,K.Zeng和Z.Wang,https://ece.uwater100.ca/～z70wang/research/ssimplus/
[8]A.Rehman,K.Zeng和Z.Wang,"Display device-adapted video quality-of-experience assessment(适应显示设备的视频体验质量评估),"IS&T-SPIE ElectronicImaging,Human Vision and Electronic Imaging XX(IS&T-SPIE电子成像，人类视觉和电子成像XX),2015年2月。
[9]Z.Wang,A.Rehman和K.Zeng,"Method and system for perceptualobjective video quality assessment(感知客观视频质量评估方法与系统),"美国临时专利申请61/496,923,2013,PCT 2014。

Claims (37)

1.一种用于通过视频传输网络从视频托管站点向接收方客户端站点进行视频源内容的适应性视频流传输的方法，包括：
(a)从所述视频源内容创建不同比特率和分辨率的多个视频流，并且将所述多个视频流中的每一个划分为多个时间片段；
(b)在以所述视频源内容作为输入之一的视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的所述时间片段的每一个的体验质量预测，以获得被分段的所述视频流的体验质量预测参数；
(c)将所述体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收方客户端站点；
(d)使用接收到的体验质量预测参数和客户端侧网络参数、接收设备和观看环境信息来估计所述接收方客户端站点处的终端用户体验质量，以获得每个视频流的每个时间片段的使用接收设备的观看者体验质量估计；以及
(e)在所述接收方客户端站点处使用所述多个视频流的多个时间片段的观看者体验质量估计来从所述多个视频流的所述多个时间片段中选择一时间片段，并且请求所选择的视频流的下一个时间片段。
2.根据权利要求1所述的方法，进行体验质量预测的操作还包括执行人主观体验质量测量以获得每个时间片段的主观评级，并且其中所述主观评级被作为体验质量预测因素。
3.根据权利要求1所述的方法，进行体验质量预测的操作还包括使用全参考、简化参考和/或无参考客观视频质量计算评估模型作为感知体验质量预测因素。
4.根据权利要求3所述的方法，其中，所述视频质量计算评估模型包括PSNR、SSIM、MS-SSIM、VQM、MOVIE和SSIMplus。
5.根据权利要求1所述的方法，进行体验质量预测的操作还包括使用产生能够比较跨不同空间和/或时间分辨率的视频质量的参数的全参考和/或简化参考客观感知模型作为所述体验质量预测因素。
6.根据权利要求1所述的方法，还包括使用根据观看设备的类型和设置、所述观看设备上的回放窗口的分辨率和/或所述客户端站点处所述视频的观看条件来产生预测感知体验质量的参数的客观感知视频质量模型。
7.根据权利要求1所述的方法，还包括将所述体验质量预测参数作为元数据在发送所述视频流之前发送或与发送所述视频流一起发送。
8.根据权利要求1所述的方法，还包括通过将所述体验质量预测参数作为水印或隐藏消息嵌入到所述视频流中来发送所述体验质量预测参数。
9.根据权利要求1所述的方法，还包括基于估计观看者的体验质量估计的方法，在所述客户端站点处为每个视频流的每个片段创建观看者体验质量估计的矩阵，然后在选择视频流的下一个时间片段时将所述矩阵用作所述观看者体验质量估计，其中，所述估计观看者的体验质量估计的方法包括：
从所述网络接收多个视频流的多个时间片段的体验质量预测参数，所述体验质量预测参数是在以所述视频流的视频源内容作为输入之一的视频准备阶段估计的；
接收客户侧网络参数、接收设备和观看环境信息；以及
将从网络接收的体验质量预测参数与一个或多个即时客户端侧参数进行组合来计算每个视频流的每个时间片段的观看者体验质量估计，
其中所述客户端侧参数包括错误的发送和/或解码、初始缓冲和重新缓冲、接收设备的像素分辨率、所述接收设备的物理尺寸、所述接收设备上的视频帧像素分辨率、视频时间分辨率、所述接收设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望中的一个或多个。
10.根据权利要求1所述的方法，其中，在所述客户端站点处选择所述下一个时间片段包括：将体验质量估计与其他可用信息组合，所述其他可用信息包括视频流的比特率、所述视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的计算功率中的一个或多个。
11.根据权利要求1所述的方法，在所述客户端站点处选择所述下一个时间片段包括：在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备计算功率的约束下，挑选最大体验质量视频流。
12.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频流的下一个时间片段的流传输决策步骤，当不进行切换，体验质量维持在预定目标阈值水平或以上时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
13.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频流的下一个时间片段的流传输决策步骤，当进行切换导致体验质量提高低于阈值时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
14.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频流的下一个时间片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当进行切换导致体验质量下降低于阈值时和/或当进行切换，体验质量维持在预定目标阈值体验质量水平或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
15.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频流的下一个时间片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率以维持相同水平的体验质量时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
16.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频流的下一个时间片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，体验质量下降超过阈值并且当在下一个片段处更高比特率的流与当前流之间的体验质量的差的绝对值低于另一阈值时，通过切换到更高比特率的流和/或更高分辨率的流来维持体验质量的当前水平和平滑度。
17.根据权利要求1所述的方法，还包括在客户端站点处对视频流的接着多个时间片段的序列的联合选择的流传输决策步骤，其通过执行动态规划优化来决定最大化体验质量的平均质量和/或平滑度的最佳路径。
18.根据权利要求17所述的方法，其中，所述动态规划优化利用维特比算法。
19.一种估计对通过视频传输网络从视频托管站点向接收方客户端站点传输的视频流的接收方客户端站点处观看者体验质量估计的方法，包括：
从所述网络接收多个视频流的多个时间片段的体验质量预测参数，所述体验质量预测参数是在以所述视频流的视频源内容作为输入之一的视频准备阶段估计的；
接收客户侧网络参数、接收设备和观看环境信息；以及
将从网络接收的体验质量预测参数与一个或多个即时客户端侧参数进行组合来计算每个视频流的每个时间片段的观看者体验质量估计，
其中所述客户端侧参数包括错误的发送和/或解码、初始缓冲和重新缓冲、接收设备的像素分辨率、所述接收设备的物理尺寸、所述接收设备上的视频帧像素分辨率、视频时间分辨率、所述接收设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望中的一个或多个。
20.一种用于通过视频传输网络从视频托管站点向接收方客户端站点进行视频源内容的适应性视频流传输的系统，包括：
创建模块，用于从所述视频源内容创建不同比特率和分辨率的多个视频流，并且将所述多个视频流中的每一个划分为多个时间片段；
预测模块，用于在以所述视频源内容作为输入之一的视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的所述时间片段的每一个的体验质量预测，以获得被分段的所述视频流的体验质量预测参数；
发送模块，用于将体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收方客户端站点；
估计模块，用于使用接收到的体验质量预测参数和客户端侧网络参数、接收设备和观看环境信息来估计所述接收方客户端站点处的终端用户体验质量，以获得每个视频流的每个时间片段的使用接收设备的观看者体验质量估计；以及
选择模块，用于在所述接收方客户端站点处使用所述多个视频流的多个时间片段的观看者体验质量估计来从所述多个视频流的所述多个时间片段中选择一时间片段，并且请求所选择的视频流的接下来的时间片段。
21.根据权利要求20所述的系统，还包括使用全参考、简化参考和/或无参考客观视频质量计算评估模型作为感知体验质量预测因素。
22.根据权利要求21所述的系统，其中，所述视频质量计算评估模型包括PSNR、SSIM、MS-SSIM、VQM、MOVIE和SSIMplus。
23.根据权利要求20所述的系统，还包括使用产生能够将跨不同空间和/或时间分辨率的视频质量进行比较的参数的全参考和/或简化参考客观感知模型作为体验质量预测因素。
24.根据权利要求20所述的系统，还包括使用根据观看设备的类型和设置、观看设备上的回放窗口的分辨率和/或所述客户端站点处视频的观看条件来产生预测感知体验质量的参数的客观感知视频质量模型。
25.根据权利要求20所述的系统，还包括将所述体验质量预测参数作为元数据在发送所述视频流之前发送或与所述视频流一起发送。
26.根据权利要求20所述的系统，还包括通过将所述体验质量预测参数作为水印或隐藏消息嵌入到所述视频流中来发送所述体验质量预测参数。
27.根据权利要求20所述的系统，还包括基于估计观看者的体验质量估计的方法，在所述客户端站点处为每个视频流的每个片段创建观看者体验质量估计的矩阵，然后在选择视频流的下一个时间片段时将所述矩阵用作所述观看者体验质量估计，其中，所述估计观看者的体验质量估计的方法包括：
从所述网络接收多个视频流的多个时间片段的体验质量预测参数，所述体验质量预测参数是在以所述视频流的视频源内容作为输入之一的视频准备阶段估计的；
接收客户侧网络参数、接收设备和观看环境信息；以及
将从网络接收的体验质量预测参数与一个或多个即时客户端侧参数进行组合来计算每个视频流的每个时间片段的观看者体验质量估计，
其中所述客户端侧参数包括错误的发送和/或解码、初始缓冲和重新缓冲、接收设备的像素分辨率、所述接收设备的物理尺寸、所述接收设备上的视频帧像素分辨率、视频时间分辨率、所述接收设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望中的一个或多个。
28.根据权利要求20所述的系统，其中，这样在所述客户端站点处选择所述视频流的下一个时间片段：将体验质量估计与其他可用信息组合，所述其他可用信息包括视频流的比特率、视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的计算功率中的一个或多个。
29.根据权利要求20所述的系统，其中，这样在所述客户端站点处选择所述视频流的下一个时间片段：在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备计算功率的约束下，挑选最大体验质量视频流。
30.根据权利要求20所述的系统，其中，在所述客户端站点处选择所述视频流的下一个时间片段，从而当不进行切换，体验质量维持在预定目标阈值水平或以上时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
31.根据权利要求20所述的系统，其中，在所述客户端站点处选择所述视频流的下一个时间片段，从而当进行切换导致体验质量提高低于阈值时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
32.根据权利要求20所述的系统，其中，在所述客户端站点处选择所述视频流的下一个时间片段，从而无论有或没有看到网络带宽或缓冲区大小的下降，当进行切换导致体验质量下降低于阈值时和/或当进行切换，体验质量维持在预定目标阈值体验质量水平或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
33.根据权利要求20所述的系统，其中，在所述客户端站点处选择所述视频流的下一个时间片段，从而无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率以维持相同水平的体验质量时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
34.根据权利要求20所述的系统，其中，在所述客户端站点处选择所述视频流的下一个时间片段，从而无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，体验质量下降超过阈值并且当在下一个片段处更高比特率的流与当前流之间的体验质量的差的绝对值低于另一阈值时，通过切换到具有更高比特率的流和/或更高分辨率的流来维持体验质量的当前水平和平滑度。
35.根据权利要求20所述的系统，其中，这样在客户端站点处对视频流的接着多个时间片段的序列的进行联合选择：通过执行动态规划优化来决定最大化体验质量的平均质量和/或平滑度的最佳路径。
36.根据权利要求35所述的系统，其中，所述动态规划优化利用维特比算法。
37.一种估计对通过视频传输网络从视频托管站点向接收方客户端站点传输的视频流的接收方客户端站点处观看者体验质量估计的系统，包括：
第一模块，用于从所述网络接收每个视频流的每个时间片段的体验质量预测参数，所述体验质量预测参数是在以所述视频流的视频源内容作为输入之一的视频准备阶段估计的；
第二模块，用于接收客户侧网络参数、接收设备和观看环境信息；以及
第三模块，用于将从网络接收的体验质量预测参数与一个或多个即时客户端侧参数进行组合来计算每个视频流的每个时间片段的观看者体验质量估计，
其中所述客户端侧参数包括错误的发送和/或解码、初始缓冲和重新缓冲、接收设备的像素分辨率、所述接收设备的物理尺寸、所述接收设备上的视频帧像素分辨率、视频时间分辨率、所述接收设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望中的一个或多个。
CN201680008584.4A 2015-02-07 2016-02-08 感知体验质量估计驱动的智能适应视频流传输方法和系统 Active CN107211193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562113401P 2015-02-07 2015-02-07
US62/113,401 2015-02-07
PCT/CA2016/050111 WO2016123721A1 (en) 2015-02-07 2016-02-08 Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations

Publications (2)

Publication Number Publication Date
CN107211193A CN107211193A (zh) 2017-09-26
CN107211193B true CN107211193B (zh) 2021-04-13

Family

ID=56563275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008584.4A Active CN107211193B (zh) 2015-02-07 2016-02-08 感知体验质量估计驱动的智能适应视频流传输方法和系统

Country Status (6)

Country Link
US (1) US10863217B2 (zh)
EP (1) EP3254470B8 (zh)
JP (1) JP6845808B2 (zh)
CN (1) CN107211193B (zh)
CA (1) CA2975904C (zh)
WO (1) WO2016123721A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544352B2 (en) * 2013-06-11 2017-01-10 Bitmovin Gmbh Adaptation logic for varying a bitrate
US10129126B2 (en) * 2016-06-08 2018-11-13 Bank Of America Corporation System for predictive usage of resources
US10291487B2 (en) 2016-06-08 2019-05-14 Bank Of America Corporation System for predictive acquisition and use of resources
US10178101B2 (en) 2016-06-08 2019-01-08 Bank Of America Corporation System for creation of alternative path to resource acquisition
US10581988B2 (en) 2016-06-08 2020-03-03 Bank Of America Corporation System for predictive use of resources
US10440082B1 (en) * 2016-06-21 2019-10-08 Amazon Technologies, Inc. Adjusting parameter settings for bitrate selection algorithms
US11102535B1 (en) * 2016-06-21 2021-08-24 Amazon Technologies, Inc. Adjusting parameter settings for bitrate selection algorithms
KR102532645B1 (ko) * 2016-09-20 2023-05-15 삼성전자 주식회사 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치
US10454987B2 (en) 2016-10-28 2019-10-22 Google Llc Bitrate optimization for multi-representation encoding using playback statistics
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US10917644B2 (en) 2017-02-23 2021-02-09 Netflix, Inc. Iterative techniques for encoding video content
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10425683B2 (en) * 2017-05-31 2019-09-24 Netflix, Inc. Temporal placement of a rebuffering event
US10873775B2 (en) 2017-06-12 2020-12-22 Netflix, Inc. Staggered key frame video encoding
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
US12255940B2 (en) 2017-07-18 2025-03-18 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
CN107800886A (zh) * 2017-11-15 2018-03-13 珠海市魅族科技有限公司 终端控制方法、装置、计算机装置及计算机可读存储介质
CN108462899B (zh) * 2018-03-19 2021-04-30 海信视像科技股份有限公司 基于设备能力的流媒体码流自适应传输方法、播放设备及播放系统
US10623788B2 (en) 2018-03-23 2020-04-14 At&T Intellectual Property I, L.P. Methods to estimate video playback buffer
CN109040744B (zh) * 2018-07-27 2020-03-10 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
US11575958B2 (en) * 2018-08-31 2023-02-07 International Business Machines Corporation Progressive increase in multimedia streaming quality
US11388464B2 (en) * 2018-09-25 2022-07-12 Microsoft Technology Licensing, Llc Increasing video bit rates while maintaining video quality
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
EP3664456A1 (en) * 2018-12-03 2020-06-10 Nokia Solutions and Networks Oy Apparatus and method for playing streamed media
US11363345B2 (en) * 2019-03-26 2022-06-14 Ssimwave Inc. Unified end-to-end quality and latency measurement, optimization and management in multimedia communications
CN109982118B (zh) * 2019-03-27 2021-05-14 北京奇艺世纪科技有限公司 一种视频码率自适应调整方法、装置及电子设备
WO2021024456A1 (ja) * 2019-08-08 2021-02-11 日本電気株式会社 通信制御方法、通信装置及び通信システム
CN110572697A (zh) * 2019-09-16 2019-12-13 世纪海航(厦门)科技有限公司 一种多视频通道的远程教学方法、装置及服务器
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN111031347A (zh) * 2019-11-29 2020-04-17 广州市百果园信息技术有限公司 一种视频处理的方法及装置、电子设备、存储介质
FR3103988A1 (fr) * 2019-11-29 2021-06-04 Orange Procédé de gestion d’une liste de contenus accessibles au zapping, les contenus numériques étant téléchargeables en mode de téléchargement progressif adaptatif (HAS), dispositif de gestion, lecteur de flux multimédia et programme d’ordinateur correspondants.
CN113132765A (zh) * 2020-01-16 2021-07-16 北京达佳互联信息技术有限公司 码率决策模型训练方法、装置、电子设备及存储介质
US12333741B2 (en) * 2020-01-28 2025-06-17 Imax Corporation No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
US11962781B2 (en) * 2020-02-13 2024-04-16 Ssimwave Inc. Video encoding complexity measure system
JP2021132259A (ja) * 2020-02-18 2021-09-09 日本放送協会 受信装置及びプログラム
US11736699B2 (en) 2020-05-14 2023-08-22 Ssimwave, Inc. Perceptual quality assessment metric based content and viewer aware encoding
US20210385513A1 (en) * 2020-06-04 2021-12-09 Comcast Cable Communications, Llc Distributed storage of content across storage subsystems
KR102798023B1 (ko) * 2020-07-29 2025-04-23 삼성전자주식회사 비디오 품질 평가 방법 및 장치
CN112202802B (zh) * 2020-10-10 2021-10-01 中国科学技术大学 C-ran架构中基于强化学习的vr视频多级缓存方法和系统
FR3116684B1 (fr) * 2020-11-20 2024-01-19 Orange Gestion du téléchargement progressif adaptatif d’un contenu acheté, tenant compte d’un historique de niveaux de qualité de lecture de contenu par un terminal lecteur de flux multimédia
CN113115077B (zh) * 2021-03-12 2022-04-26 上海交通大学 一种静态点云服务器码率自适应传输方法及系统
US11271984B1 (en) * 2021-03-29 2022-03-08 International Business Machines Corporation Reduced bandwidth consumption via generative adversarial networks
JP7698469B2 (ja) * 2021-05-24 2025-06-25 日本放送協会 配信ビットレート決定装置およびそのプログラム
KR20220167469A (ko) * 2021-06-14 2022-12-21 주식회사 네트워크디파인즈 적응형 미디어 스트리밍 환경에서 비디오 편집 속도 향상 방법 및 장치
US11706104B2 (en) 2021-06-15 2023-07-18 Cisco Technology, Inc. Inferring quality of experience (QoE) based on choice of QoE inference model
WO2023013927A1 (en) * 2021-08-05 2023-02-09 Samsung Electronics Co., Ltd. Method and wearable device for enhancing quality of experience index for user in iot network
CN113905221B (zh) * 2021-09-30 2024-01-16 福州大学 一种立体全景视频非对称传输流自适应方法及系统
US11784945B2 (en) * 2021-10-04 2023-10-10 Nec Corporation Dynamic self-optimization of application quality-of-service requests to mobile networks
CN113891083B (zh) * 2021-10-29 2025-04-29 咪咕视讯科技有限公司 边缘智能环境下的视频处理方法、装置及计算设备
CN116419016B (zh) * 2021-12-30 2025-10-03 中兴通讯股份有限公司 一种码率分配方法、存储方法、装置、设备及存储介质
KR20230132222A (ko) 2022-03-08 2023-09-15 에스케이케미칼 주식회사 재생 비스-2-히드록시에틸테레프탈레이트를 이용한 폴리에스테르 수지 및 이를 포함하는 물품
CN114640851B (zh) * 2022-03-18 2023-06-23 广西昊华科技股份有限公司 基于质量感知的自适应全向视频流的传输方法
KR102751922B1 (ko) 2022-04-20 2025-01-09 에스케이케미칼 주식회사 재생 비스(2-히드록시에틸)테레프탈레이트를 포함하는 폴리에스테르 수지 및 이를 이용한 필름
US20230344666A1 (en) * 2022-04-26 2023-10-26 Zoom Video Communications, Inc. Virtual Background Adjustment For Quality Retention During Reduced-Bandwidth Video Conferencing
US12309523B2 (en) 2022-04-26 2025-05-20 Zoom Communications, Inc. Video stream segmentation for quality retention during reduced-bandwidth video conferencing
US11632413B1 (en) * 2022-07-18 2023-04-18 Rovi Guides, Inc. Methods and systems for streaming media content
US12335563B2 (en) 2022-08-31 2025-06-17 Adeia Guides Inc. Intelligent delivery and playout to prevent stalling in video streaming
CN115720257B (zh) * 2022-10-13 2023-06-23 华能信息技术有限公司 一种视频会议系统的通信安全管理方法及系统
CN115883528A (zh) * 2022-11-15 2023-03-31 中国传媒大学 注意力机制下基于卷积循环神经网络的流媒体QoE预测方法
US12470771B1 (en) * 2023-12-08 2025-11-11 Amazon Technologies, Inc. Adaptive video streaming algorithm for optimized model predictive control
WO2025236243A1 (en) * 2024-05-16 2025-11-20 Lemon Inc. Determining video resolution for video streaming
CN119729056B (zh) * 2024-12-20 2025-09-30 中国科学技术大学 一种基于网络视频流量QoE识别的运营商带宽分配方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290492A1 (en) * 2009-06-12 2013-10-31 Cygnus Broadband, Inc. State management for video streaming quality of experience degradation control and recovery using a video quality metric
US9124642B2 (en) * 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
US9191284B2 (en) * 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US20120278441A1 (en) * 2011-04-28 2012-11-01 Futurewei Technologies, Inc. System and Method for Quality of Experience Estimation
EP2761881A4 (en) * 2011-09-30 2015-06-17 Intel Corp EXPERIENCE QUALITY IMPROVEMENTS BETWEEN WIRELESS NETWORKS
US20130263167A1 (en) 2012-03-30 2013-10-03 Bytemobile, Inc. Adaptive Traffic Management in Cellular Wireless Networks
TWI610554B (zh) * 2012-07-10 2018-01-01 Ｖｉｄ衡器股份有限公司 無線傳輸/接收單元中內容切換/品質驅動切換的方法
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
JP6236459B2 (ja) * 2012-10-19 2017-11-22 インターデイジタル パテント ホールディングス インコーポレイテッド Ｈｔｔｐストリーミングのための多仮説レート適合
EP2936742B1 (en) * 2012-12-21 2019-10-09 Koninklijke KPN N.V. Low-latency streaming
JP6270873B2 (ja) * 2013-01-15 2018-01-31 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． メディアコンテンツの適応型ストリーミングのための品質情報の使用
US9118480B2 (en) * 2013-02-11 2015-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Frame quality estimation during viterbi decoding
US9756142B2 (en) 2013-03-14 2017-09-05 The Regents Of The University Of California System and method for delivering video data from a server in a wireless network by caching the video data
WO2014158264A1 (en) * 2013-03-29 2014-10-02 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
WO2015010056A1 (en) * 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol
US10362081B2 (en) 2013-08-30 2019-07-23 Citrix Systems, Inc. Methods and systems for quantifying the holistic quality of experience for internet multimedia

Also Published As

Publication number Publication date
JP2018520560A (ja) 2018-07-26
EP3254470A4 (en) 2018-06-20
JP6845808B2 (ja) 2021-03-24
CA2975904C (en) 2023-02-14
WO2016123721A1 (en) 2016-08-11
CA2975904A1 (en) 2016-08-11
CN107211193A (zh) 2017-09-26
EP3254470B8 (en) 2022-06-08
EP3254470A1 (en) 2017-12-13
EP3254470B1 (en) 2022-03-30
US20180041788A1 (en) 2018-02-08
US10863217B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107211193B (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
US12149699B2 (en) Content adaptation for streaming
US9571827B2 (en) Techniques for adaptive video streaming
Gaddam et al. Tiling in interactive panoramic video: Approaches and evaluation
JP5215288B2 (ja) 映像符号化のための時間的品質メトリック
US20170347159A1 (en) Qoe analysis-based video frame management method and apparatus
US20130304934A1 (en) Methods and systems for controlling quality of a media session
EP2727344B1 (en) Frame encoding selection based on frame similarities and visual quality and interests
US10609440B1 (en) Timing data anomaly detection and correction
Li et al. A super-resolution flexible video coding solution for improving live streaming quality
AU2018250308B2 (en) Video compression using down-sampling patterns in two phases
US11997366B2 (en) Method and apparatus for processing adaptive multi-view streaming
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
Zhang et al. A QOE-driven approach to rate adaptation for dynamic adaptive streaming over http
KR102153801B1 (ko) 비디오 스트리밍 방법 및 장치
CN114640851B (zh) 基于质量感知的自适应全向视频流的传输方法
WO2016077712A1 (en) System and method for adaptive video streaming with quality equivalent segmentation and delivery
CN112367524B (zh) 一种全景视频编码方法
Kumar et al. Double sarsa based machine learning to improve quality of video streaming over HTTP through wireless networks
US12506877B1 (en) Adaptive bitrate optimization for content delivery
Shi et al. A user-perceived video quality assessment metric using inter-frame redundancy
CN110121080A (zh) 虚拟现实视频传输和下载播放的方法、系统及计算机设备
WO2025034201A1 (en) System and method for predictive mixed-scale encoding of a media stream
CN116582717A (zh) 一种初始视频档位设置方法、系统、设备及存储介质
CN104995914A (zh) 用于基于上下文的视频质量评估的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210325

Address after: 140 Columbia street, Waterloo, Ontario, Canada

Applicant after: Visual wave Co.

Address before: 430 Kelso Road, Waterloo, Ontario, Canada

Applicant before: Wang Zhou

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: Rika University

Patentee after: Imas Co.

Country or region after: Canada

Address before: 140 Columbia street, Waterloo, Ontario, Canada

Patentee before: Visual wave Co.

Country or region before: Canada