[go: up one dir, main page]

CN103202032A - 用于视频流的客户端合成的装置和方法 - Google Patents

用于视频流的客户端合成的装置和方法 Download PDF

Info

Publication number
CN103202032A
CN103202032A CN201180053863XA CN201180053863A CN103202032A CN 103202032 A CN103202032 A CN 103202032A CN 201180053863X A CN201180053863X A CN 201180053863XA CN 201180053863 A CN201180053863 A CN 201180053863A CN 103202032 A CN103202032 A CN 103202032A
Authority
CN
China
Prior art keywords
stream
synthetic
medium
multiplexed
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180053863XA
Other languages
English (en)
Inventor
M·D·卡罗尔
P·A·威尔福特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44789584&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103202032(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN103202032A publication Critical patent/CN103202032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种用于视频流的客户端合成的装置和方法。该方法包括通过视频显示设备（103）从远程视频服务器（102）接收多路复用后的数据流。所述多路复用后的数据流包括子流，所述子流包括描述符子流、至少一个媒体子流、和合成指令子流。该方法还包括通过视频显示设备（103）根据描述符子流将多路复用后的数据流去多路复用成子流；和通过视频显示设备（103）根据合成指令子流在显示屏（104）上显示至少一个媒体子流，其中所述合成指令子流包括关于至少一个媒体子流的合成的指令。

Description

用于视频流的客户端合成的装置和方法
背景技术
许多视频交付系统在服务器处执行所有视频合成。然而，这样的服务器端合成通常得到没有很好地适应客户的设备或客户的个人偏好的最终合成的视频。
例如，当广播网络广播篮球比赛时，客户设备通常显示包含比赛的当前状态（当前比分、当前得球和投篮计数等）的一个或两个信息框。这些屏幕显示（OSD）原本显示于显示屏的左上角和右上角。当在传统的正方形电视机上观看篮球比赛时，在这个位置显示OSD。然而，当在更新的宽屏电视机上观看篮球比赛时，OSD可能不会位于显示屏的左上角和右上角。相反，OSD可显示在更靠近显示屏的角落。这个行为的发生是因为视频图像有意地在视频服务器处合成，从而OSD在所有类型的显示屏上可见。因为宽屏电视机与传统的正方形电视机相比具有更大的水平显示面积，OSD看起来更加接近于宽屏显示器的角落。因此，可理解，通常，显示视频流的最好途径是客户设备的显示屏的类型起作用。另一实例中，用户可希望不显示广播方发送的OSD。不幸地，传统的服务器处合成的方法不允许用户控制是否显示OSD。另一实例中，用户可想要根据他/她正在使用什么类型的客户设备来切换电影的格式。例如，如果按宽屏格式拍摄电影并且用户具有传统的正方形电视机，则用户可能想要选择是按信箱（letter-box）格式还是正方形格式显示的能力。不幸地，根据用户的偏好改变显示图像的组合在传统的系统中受到限制。
发明内容
本发明涉及一种用于视频流的客户端合成的装置和方法。
该方法包括通过视频显示设备从远程视频服务器接收多路复用后的数据流。所述多路复用后的数据流包括子流，其中所述子流包括描述符子流、至少一个媒体子流、和合成指令子流。该方法还包括通过视频显示设备根据描述符子流将多路复用后的数据流去多路复用成子流；和通过视频显示设备根据合成指令子流在显示屏上显示至少一个媒体子流，其中所述合成指令子流包括关于至少一个媒体子流的合成的指令。
显示步骤在合成指令子流指示的显示屏的区域中将至少一个媒体子流显示为屏幕显示或画中画。
该方法还包括通过视频显示设备从用户接收第一指令命令。所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，其中显示步骤根据改变后的合成来显示至少一个媒体子流。同样，所述第一指令命令指示在多路复用后的数据流中包括的媒体子流的去除。同样，所述第一指令命令指示至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。此外，所述第一指令命令可指示媒体子流向多路复用后的数据流的增加。
另一实施例中，一种多路复用后的数据流可包括多个媒体子流。多个媒体子流的每个包括根据不同显示纵横比的相同视频数据。显示步骤基于合成指令子流显示具有最接近于视频显示设备的显示纵横比的多个媒体子流的至少一个。
本发明的实施例还包括一种通过视频服务器对媒体流进行客户端合成的方法。该方法包括通过视频服务器生成合成指令子流。所述合成指令子流包括关于至少一个媒体子流的合成的指令。该方法还包括通过视频服务器将描述符子流、至少一个媒体子流、和合成指令子流进行多路复用；和通过视频服务器发送多路复用后的数据流，以根据合成指令子流在显示屏上显示。
合成指令子流指示显示屏的区域将至少一个媒体子流显示为屏幕显示或画中画。
该方法还包括通过视频服务器从视频显示设备接收第一指令命令。所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，其中生成步骤生成指示改变后的合成的更新合成指令子流。所述第一指令命令指示在多路复用后的数据流中包括的媒体子流的去除。同样，所述第一指令命令指示在多路复用后的数据流中包括的至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。同样，所述第一指令命令指示媒体子流向多路复用后的数据流的增加。
另一实施例中，多路复用后的数据流多个媒体子流。多个媒体子流的每个包括根据不同显示纵横比的相同视频数据。合成指令子流可包括用于视频显示设备选择具有最接近于视频显示设备的显示纵横比的多个媒体子流的一个的指令。
本发明的实施例还包括用于媒体流的客户端合成的视频显示设备。该视频显示设备包括去多路复用器，配置为将多路复用后的数据流去多路复用成子流。子流包括描述符子流、至少一个媒体子流、和合成指令子流。合成指令子流包括关于至少一个子流的合成的指令。视频显示设备还包括控制器，配置为根据合成指令子流在显示屏上显示至少一个媒体子流。控制器可在合成指令子流指示的显示屏中将至少一个媒体子流显示为屏幕显示或画中画。
同样，视频显示设备可配置为从用户接收第一指令命令。所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，其中控制器根据改变后的合成来显示至少一个媒体子流。所述第一指令命令指示在多路复用后的数据流中包括的媒体子流的去除。所述第一指令命令指示至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。同样，所述第一指令命令指示媒体子流向多路复用后的数据流的增加。
根据另一实施例，多路复用后的数据流多个媒体子流。多个媒体子流的每个包括根据不同显示纵横比的相同视频数据，控制器基于合成指令子流显示具有最接近于视频显示设备的显示纵横比的多个媒体子流的至少一个。
本发明的实施例还包括用于媒体流的客户端合成的视频服务器。该视频服务器包括控制器，配置为生成合成指令子流。合成指令子流包括关于至少一个媒体子流的合成的指令。该视频服务器还包括多路复用器，配置为将描述符子流、至少一个媒体子流、和合成指令子流进行多路复用，以及配置为发送多路复用后的数据流，以根据合成指令子流在显示屏上显示。
合成指令子流指示显示屏的区域将至少一个媒体子流显示为屏幕显示或画中画。
同样，该视频服务器配置为从视频显示设备接收第一指令命令。所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，并且控制器生成指示改变后的合成的更新合成指令子流。所述第一指令命令可指示在发送的多路复用后的数据流中包括的媒体子流的去除。同样，所述第一指令命令指示在多路复用后的数据流中包括的至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。此外，所述第一指令命令指示媒体子流向多路复用后的数据流的增加。
另一实施例中，多路复用后的数据流多个媒体子流。多个媒体子流的每个包括根据不同显示纵横比的相同视频数据。合成指令子流可包括用于视频显示设备选择具有最接近于视频显示设备的显示纵横比的多个媒体子流的一个的指令。
附图说明
通过本文下面给出的详细描述以及附图，可以更全面地了解实施例实例，在所述附图中，相同的部件由相同的参考标号表示，这些标号仅用于说明，因此并不限制本发明，在所述附图中：
图1示出根据本发明的实施例的用于向视频显示设备发送数据流的系统的各个组件；
图2示出根据本发明的实施例的视频显示设备；
图3示出根据本发明的实施例的视频服务器；
图4示出根据本发明的实施例的多路复用后的数据流；
图5示出根据本发明的实施例的具有多于一个媒体子流的多路复用后的数据流；
图6示出根据本发明的实施例的数据流的客户端调节的改变的实例；和
图7示出根据本发明的实施例的数据流的服务器调节的改变的实例。
具体实施方式
现在将参考附图更全面地描述本发明的各种实施例。附图中相同的部件由相同的参考标号进行标示。
如在此使用的那样，单数形式“一”、“一个”和“所述”旨在同样包括复数形式，除非上下文明确地另有所指。还将理解，当在此说明书中使用时，术语“包括”、“包含”、“含有”和/或“涵盖”指定存在声明的特征、整数、步骤、操作、元素和/或组件，但是并不排除存在或增加一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们构成的组。
现在将参考附图描述本发明。各种结构、系统和设备仅出于说明的目的在附图中示意性地示出，这样就不会因所属领域的技术人员公知的细节使得本发明晦涩难懂。虽然如此，包括附图是为了描述和解释本发明的示例性实施例。在此使用的单词和短语应被理解和解释为其所表达的含义与所属领域的技术人员对这些单词和短语的理解一致。当术语或短语旨在表达特殊含义（即，非所属领域的技术人员理解的含义）时，这种特殊定义将在直接且明确地提供这些术语或短语的特殊定义的说明书中明确指出。
示例性实施例提供一种方法和装置，允许用户对于视频图像在显示屏上的显示具有更多控制。例如，本发明的实施例在视频显示设备上而并非在视频服务器上合成媒体数据流的至少一个。例如，如下所述，本发明的实施例能够在视频显示设备（客户端）处执行一些或所有合成操作，从而能够在合成操作期间更好地考虑客户的设备和偏好，因此得到适应客户的设备和偏好的最终合成的视频。
图1示出根据本发明的实施例的用于向视频显示设备发送数据流的系统的各个组件。例如，图1示出经由通信接口向至少一个视频显示设备103发送多路复用后的数据流以显示于视频显示设备103的显示屏104上的至少一个视频服务器102。显示屏104可包括在视频显示设备103中或经由有线和/或无线连接与视频显示设备103连接的独立设备中。多路复用后的数据流可代表至少一个媒体流。媒体流可以是任意类型的媒体流，包括但不限于，用于屏幕显示（OSD）的音频/视频（A/V）流、和文本/图形流。媒体流覆盖任意数目和类型的编解码，例如MPEG或HTML（例如本发明是编解码中性的）。以下进一步说明多路复用后的数据流的细节。
视频显示设备103可包括能够处理和显示发送的数据流的任意类型的系统。例如，视频显示设备103可包括例如电视103-1或个人计算机103-3、或其任意组合。电视103-1可以是任意类型的传统电视机。此外，电视103-1可以与例如电缆箱、卫星接收器、或游戏控制台的任意类型的机顶盒103-2相结合。个人计算机103-3可以是具有处理器、存储器、和用于显示发送的多路复用后的数据流的显示屏的任意类型的个人计算机。视频服务器102是专用于交付视频数据的基于计算机的设备（还称为“主机”）。
视频服务器102通过例如无线/有线因特网连接、射电传输（例如广播或卫星）、或电缆连接的任意类型的通信接口向至少一个视频显示设备103发送多路复用后的数据流。
根据本发明的实施例，并非在视频服务器102处合成所有数据流，视频显示设备103根据在视频服务器102处生成的合成指令子流合成并显示媒体流的至少一个。例如，在任意给定时刻，从视频服务器102向视频显示设备103发送的多路复用后的数据流包括一个多路复用描述符子流（描述符子流）、0个或多个媒体子流、以及0个或1个合成指令子流。描述符子流始终存在于多路复用后的数据流中。然而，在任意给定时刻，数据流可额外地包括一个或多个媒体子流和/或合成指令子流。合成指令子流包括关于一个或多个媒体子流的合成的指令。换句话说，合成指令子流包括关于如何合成媒体流的一个或多个的指令集。通常，当视频服务器102需要改变合成指令时，合成后的数据流包括合成指令子流，如以下详述。
描述符子流描述多路复用后的数据流的当前内容，例如在多路复用后的数据流中当前存在的每个类型子流的数目，并且在媒体流的情况下，对于每个这样的子流使用编码。支持的媒体编码至少为MPEG和HTML。然而，本发明的实施例涵盖任意类型的编码/解码。
图2示出根据本发明的实施例的视频显示设备103。例如，视频显示设备103包括多路复用器201、合成器203、控制器202、用户接口204、和显示屏104（这在图2中未示出）。视频显示设备103还包括对于本领域技术人员已知的其他组件，例如用于接收发送的多路复用后的数据流的调谐器和/或天线、用于解码视频数据的解码器、和用于存储解码后的视频数据的帧的存储器/缓冲器。视频显示设备103的组件可在电视103-1、机顶盒103-2、和/或个人计算机103-3中按本领域技术人员的方式实现。
参照图2，视频显示设备103经由调谐器或接收器天线（未示出）接收多路复用后的数据流。如上所示，在任意给定点，多路复用后的数据流包括1个描述符子流、0个或多个媒体流、和0个或1个合成指令子流。去多路复用器201根据描述符指令将多路复用后的数据流去多路复用成子流。描述符子流包括例如关于在多路复用后的数据流中包括的子流的数目和类型的信息。描述符子流还包括使得接收器能够适当解码在多路复用后的数据流中包括的媒体流的必要编解码信息。首先，去多路复用器201取出多路复用描述符，去多路复用器201知道其存在于多路复用后的数据流中。然后，去多路复用器201读取该描述符，找出多路复用后的数据流中包含的其他内容。去多路复用器201使用这个信息来去多路复用所述多路复用后的数据流的剩余部分。例如，去多路复用器201基于描述符子流来去多路复用媒体子流（AV1到AVN，ODS1到OSDN）。尽管附图将媒体流示出为用于OSD的A/V流和文本/图形流，但是本发明的实施例覆盖任意类型的媒体流。例如，每个媒体流具有编码，并且根据合成指令来分别合成。A/V和OSD种类仅用于说明的目的。此外，去多路复用器201从多路复用后的数据流来去多路复用合成指令子流INSTR，如果这个子流存在于多路复用后的数据流中。参照图2，所述子流包括任意数目媒体子流（包括0）。尽管未示出，视频显示设备103解码所选的媒体子流，生成可在视频显示设备103中的缓冲器存储器中存储的帧。
接着，控制器203根据合成指令子流在视频显示设备103的显示屏104上显示去多路复用后的媒体子流，如说明书中随后所述可进行修改。例如，在去多路复用之后，在合成器203中接收多路复用后的数据信号中存在的媒体子流。控制器202控制合成器203，根据合成指令子流合成媒体子流。合成指令包括用于媒体子流的合成的合成指令集。合成可涉及例如媒体子流的显示大小、显示颜色、显示形状、和显示位置。然而，合成指令可包括涉及媒体子流的显示的任意类型的合成指令。例如，合成指令可以是在多路复用后的数据流中包括至少一个字节的预定义的编码或语法。例如，定义的代码（例如1，01，101等）可被视频显示设备103或视频服务器102识别为关于特定类型的指令。在说明书中随后讨论特定类型的指令的实例。
在根据合成指令在合成器203中合成媒体子流之后，图形显示子系统（未示出）在视频显示设备103的显示屏104上显示合成后的显示信号。
此外，视频显示设备103包括用户接口204，配置为从例如计算机鼠标或远程控制器的输入设备接收用户输入。此外，用户可通过按压视频显示设备103本身上的控制按钮向视频显示设备103直接提供输入。视频显示设备103可显示菜单，其允许用户将媒体子流的合成改变为与合成指令子流指示的合成不同的合成。
基于来自用户的用户信号，视频服务器102或视频显示设备103可执行合成改变。这个特征在说明书中随后说明。
图3示出根据本发明的实施例的视频服务器102。视频服务器102包括控制器302和多路复用器301。视频服务器102还包括视频服务器中已知的其他组件。控制器302控制多路复用器301选择哪些子流组合在多路复用后的数据信号中。例如，控制器302指示多路复用器301将任意数目媒体子流多路复用在多路复用后的数据流中。此外，视频服务器102可包括编码器（未示出），使用任意已知的编码技术来编码媒体子流。
控制器302生成合成指令子流INSTR和描述符子流，与媒体子流多路复用。例如，控制器302基于数据流的设计者的输入生成合成指令子流INSTR。如先前所示，合成指令子流包括关于由视频显示设备103如何合成媒体子流的指令。控制器302基于包含在多路复用后的数据流中的每个类型媒体子流的数目和要应用编码的类型来生成描述符子流。视频服务器102经由通信接口向视频显示设备103发送多路复用后的数据流。
此外，视频服务器102可在多路复用后的数据流中包括多个媒体流，其中每个子流可对应于或不对应于相同视频内容。本发明的一个实施例中，每个媒体子流可对应于电视节目的相同主视图，但是涉及对于不同大小的显示屏的显示纵横比。因为不同显示屏具有不同纵横比，所以每个视频显示设备103必须将媒体子流压缩或延伸至显示屏的大小。然而，为了防止不期望的压缩和延伸，视频服务器102可包括多个媒体子流，其中所述多个媒体子流包括根据不同显示纵横比的相同视频数据，并且视频显示设备103基于合成指令子流显示具有最接近于视频显示设备103的显示屏104的显示纵横比的媒体子流。例如，控制器302生成合成指令子流，包括指示视频显示设备103选择具有视频显示设备103的显示屏104的最接近显示纵横比的媒体子流的指令集。
图4示出根据本发明的实施例的多路复用后的数据流。在时间A，多路复用后的数据流包括MPEG媒体子流2和描述符子流1，后者根据需求始终存在。假设MPEG媒体子流2对应于篮球比赛的音频和视频内容。在时间B，首先显示包含比赛的当前状态（当前比分、当前得球和投篮计数等）的屏幕显示（例如文本/图形子流3和文本/图形子流4）。在时间B，多路复用数据流包括合成指令子流0、多路复用描述符1、MEPG媒体子流2、和HTML子流3和HTML子流4。
合成指令子流0可包括关于如何在显示屏104的显示区域中作为屏幕显示来显示HTML子流3和HTML子流4的指令。例如，合成指令子流可包括指定以下内容的指令：“在左上角合成HTML子流3，在右上角合成HTML子流4，并在那里持续合成直到进一步通知”。可通过包括至少一个字节的至少一个预定代码来代表以上识别的合成指令和所述实施例涵盖的任意其他合成指令。
在时间C，假设由于比赛的比分的改变，需要更新与HTML文本/图形子流3和第二HTML文本/图形子流4对应的屏幕显示。在此时，多路复用后的数据流包括合成指示子流0、多路复用描述符1、MPEG媒体子流2、和HTML媒体子流3（包括更新后的信息）。在时间C处，合成指令子流可包括以下合成指令：“从合成体去除先前HTML媒体子流4，在右上角合成新子流3，并在那里持续合成直到进一步通知”。
图5示出根据本发明的实施例的具有多于一个媒体子流的多路复用后的数据流。例如，可期望将与一个MPEG子流相关的图像数据作为另一MPEG子流的画中画来显示。为了完成这个操作，在时间B，视频服务器102发送以下多路复用后的数据流：合成指令子流0、描述符子流1、MPEG媒体子流2、和另一MPEG媒体子流3。合成指令子流包括关于将MPEG媒体子流3与MPEG媒体子流2如何合成的指令。例如，合成指令子流可包括以下合成指令：“在右下角合成流3”。在时间C，合成指令子流可停止合成MPEG子流3。
如先前所述，视频显示设备103可显示菜单，其允许用户将媒体子流的合成改变为与合成指令子流指示的合成不同的合成。例如，用户经由输入设备或在视频显示设备103本身上提供由用户接口204接收的他的选择。这个用户命令转发至控制器202。
基于来自用户的用户命令，视频服务器102或视频显示设备103可执行合成改变。如果视频服务器102执行改变，则可称为服务器调节的观察者改变。如果视频显示设备103执行改变，则可称为客户端调节的观察者改变。
参照图2，在客户端调节的观察者改变中，控制器202控制合成器203，根据用户的偏好合成媒体子流。例如，如果用户已指示不显示特定媒体子流，则合成器203不将该媒体子流合成到最终显示信号中。此外，控制器202可控制合成器203，基于用户的指令命令按不同显示位置、显示形状、显示大小、显示颜色等合成媒体流。
图6示出根据本发明的实施例的数据流的客户端调节的改变的实例。参照图6，在时间A，多路复用后的数据流包括描述符子流1和一个MPEG媒体子流2。在时间B，多路复用后的数据流包括描述符子流1、MPEG媒体子流2、合成指令子流0和2个HTML子流3和4。合成指令子流0可包括关于2个HTML子流3和4的显示位置的指令。在时间C，用户使用输入设备拉下显示菜单，并选择“仅显示MPEG视频流2”或“关闭OSD”。再参照图2，控制器202随后指示合成器203停止将所有其他媒体流合成到最终显示信号中。然而，视频服务器102继续在多路复用后的数据流中发送这些数据流。
为了节省网络带宽，控制器202可在用户控制信道上向视频服务器102发送指令信号，其指示视频服务器102应该或不应该发送哪些子流。用户控制信道可以是用于向视频服务器102承载观察者输入的相同上游控制信道。
在服务器调节的改变中，视频服务器102执行用户发起的改变。例如，代替控制器202指示合成器203改变媒体子流的合成，控制器202在用户控制信道上向视频服务器102发送包括的用户的改变的指令信号。然后，视频服务器102对于媒体子流的合成作出适当改变。例如，视频服务器102可增加由用户指示的额外媒体子流。同样，视频服务器102可移除用户指示的任意类型的媒体流。同样，视频服务器102可改变任意媒体子流的显示位置、显示形状、显示大小、显示颜色等。
图7示出根据本发明的实施例的数据流的服务器调节的改变的实例。在图7，在时间C，用户使用输入设备拉下服务器提供的菜单，并选择“不显示HTML子流3和4”。响应地，视频显示设备103经由用户控制信道向视频服务器102发送指令信号。参照图3，控制器301生成合成指令子流，其包括不显示文本子流3和4的指令集，例如“停止合成媒体子流3和4”。在图7，在时间D，合成指令到达客户端。此外，视频服务器102可停止发送媒体子流3和4。结果，视频服务器102不在多路复用后的数据流中发送这个媒体子流。
本发明的实施例实例的变形不应被视为偏离本发明的实施例实例的精神和范围，对于所属领域的技术人员而言，很明显所有这些变形旨在包括在本发明的范围内。

Claims (10)

1.一种通过视频显示设备（103）对媒体流进行客户端合成的方法，该方法包括：
通过视频显示设备（103）从远程视频服务器（102）接收多路复用后的数据流，所述多路复用后的数据流包括子流，所述子流包括描述符子流、至少一个媒体子流、和合成指令子流；
通过视频显示设备（103）根据描述符子流将多路复用后的数据流去多路复用成子流；
通过视频显示设备（103）根据合成指令子流在显示屏（104）上显示至少一个媒体子流，所述合成指令子流包括关于至少一个媒体子流的合成的指令。
2.如权利要求1所述的方法，其中显示步骤在合成指令子流指示的显示屏（104）的区域中将至少一个媒体子流显示为屏幕显示或画中画。
3.如权利要求1所述的方法，还包括：
通过视频显示设备（103）从用户接收第一指令命令，所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，其中显示步骤根据改变后的合成来显示至少一个媒体子流。
4.如权利要求3所述的方法，其中所述第一指令命令指示在多路复用后的数据流中包括的媒体子流的去除。
5.如权利要求3所述的方法，其中所述第一指令命令指示至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。
6.一种通过视频服务器（102）对媒体流进行客户端合成的方法，该方法包括：
通过视频服务器（102）生成合成指令子流，其包括关于至少一个媒体子流的合成的指令；
通过视频服务器（102）将描述符子流、至少一个媒体子流、和合成指令子流进行多路复用；
通过视频服务器（102）发送多路复用后的数据流，以根据合成指令子流在显示屏（104）上显示。
7.如权利要求6所述的方法，其中合成指令子流指示显示屏（104）的区域将至少一个媒体子流显示为屏幕显示或画中画。
8.如权利要求6所述的方法，还包括：
通过视频服务器（102）从视频显示设备（103）接收第一指令命令，所述第一指令命令将至少一个媒体子流的合成改变为与合成指令子流指示的合成不同的合成，其中生成步骤生成指示改变后的合成的更新合成指令子流。
9.如权利要求8所述的方法，其中所述第一指令命令指示在多路复用后的数据流中包括的至少一个媒体子流的显示大小、显示颜色、显示形状、或显示位置的至少一个的改变。
10.如权利要求9所述的方法，其中所述第一指令命令指示媒体子流向多路复用后的数据流的增加。
CN201180053863XA 2010-09-29 2011-09-15 用于视频流的客户端合成的装置和方法 Pending CN103202032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/923,592 2010-09-29
US12/923,592 US8640180B2 (en) 2010-09-29 2010-09-29 Apparatus and method for client-side compositing of video streams
PCT/US2011/051714 WO2012050729A2 (en) 2010-09-29 2011-09-15 Apparatus and method for client-side compositing of video streams

Publications (1)

Publication Number Publication Date
CN103202032A true CN103202032A (zh) 2013-07-10

Family

ID=44789584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180053863XA Pending CN103202032A (zh) 2010-09-29 2011-09-15 用于视频流的客户端合成的装置和方法

Country Status (7)

Country Link
US (1) US8640180B2 (zh)
EP (1) EP2622846B1 (zh)
JP (2) JP2013543700A (zh)
KR (1) KR101445991B1 (zh)
CN (1) CN103202032A (zh)
ES (1) ES2768231T3 (zh)
WO (1) WO2012050729A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015230B2 (en) * 2011-02-23 2015-04-21 Broadcom Corporation Gateway/set top box image merging for delivery to serviced client device
JPWO2013021643A1 (ja) * 2011-08-11 2015-03-05 パナソニック株式会社 放送通信連携システム、データ生成装置及び受信装置
US9716904B2 (en) * 2012-05-17 2017-07-25 Ericsson Ab Video content presentation override control systems, methods and devices
US9137501B2 (en) * 2012-09-12 2015-09-15 The Directv Group, Inc. Method and system for communicating between a host device and user device through an intermediate device using syntax translation
US9535722B2 (en) 2012-09-12 2017-01-03 The Directv Group, Inc. Method and system for communicating between a host device and a user device through an intermediate device using a composite graphics signal
US10521250B2 (en) 2012-09-12 2019-12-31 The Directv Group, Inc. Method and system for communicating between a host device and user device through an intermediate device using a composite video signal
TWI482118B (zh) * 2012-10-18 2015-04-21 Wistron Corp 處理圖形運算負載平衡之方法及系統
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
US20160261927A1 (en) * 2013-10-09 2016-09-08 Disney Enterprises, Inc. Method and System for Providing and Displaying Optional Overlays
US11936936B2 (en) * 2013-10-09 2024-03-19 Disney Enterprises, Inc. Method and system for providing and displaying optional overlays
US20150170334A1 (en) * 2013-12-18 2015-06-18 Xiaomi Inc. Method and terminal device for adaption of page
CN103678259B (zh) * 2013-12-18 2016-08-17 小米科技有限责任公司 一种页面的适配方法、装置和终端设备
CN106817615B (zh) * 2015-12-02 2019-10-01 南宁富桂精密工业有限公司 多路信号处理方法及应用该方法的流媒体装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069669A (en) * 1995-12-23 2000-05-30 Electronics And Telecommunications Research Institute Video window control apparatus and method thereof
JP2003125414A (ja) * 2001-10-18 2003-04-25 Nippon Hoso Kyokai <Nhk> オブジェクト送信装置およびオブジェクト受信装置
US20050108778A1 (en) * 2003-11-14 2005-05-19 Stone Christopher J. Method and apparatus for simultaneous display of multiple audio/video programs transmitted over a digital link

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020195B1 (en) * 1999-12-10 2006-03-28 Microsoft Corporation Layered coding and decoding of image data
JP2003111054A (ja) * 2001-09-28 2003-04-11 Access:Kk 動画配信システム
US20060168291A1 (en) * 2005-01-05 2006-07-27 Van Zoest Alexander Interactive multichannel data distribution system
US20120063743A1 (en) * 2010-02-12 2012-03-15 Lightspeed Vt Llc System and method for remote presentation provision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069669A (en) * 1995-12-23 2000-05-30 Electronics And Telecommunications Research Institute Video window control apparatus and method thereof
JP2003125414A (ja) * 2001-10-18 2003-04-25 Nippon Hoso Kyokai <Nhk> オブジェクト送信装置およびオブジェクト受信装置
US20050108778A1 (en) * 2003-11-14 2005-05-19 Stone Christopher J. Method and apparatus for simultaneous display of multiple audio/video programs transmitted over a digital link

Also Published As

Publication number Publication date
WO2012050729A3 (en) 2012-09-20
KR20130080842A (ko) 2013-07-15
JP2015159561A (ja) 2015-09-03
WO2012050729A9 (en) 2012-08-09
WO2012050729A2 (en) 2012-04-19
US20120075531A1 (en) 2012-03-29
EP2622846B1 (en) 2019-12-04
US8640180B2 (en) 2014-01-28
ES2768231T3 (es) 2020-06-22
KR101445991B1 (ko) 2014-09-29
JP2013543700A (ja) 2013-12-05
EP2622846A2 (en) 2013-08-07

Similar Documents

Publication Publication Date Title
CN103202032A (zh) 用于视频流的客户端合成的装置和方法
US6314569B1 (en) System for video, audio, and graphic presentation in tandem with video/audio play
JP5124279B2 (ja) 遠隔装置へのコンテンツ・ストリーム通信
EP0947094B1 (en) Method and system for providing interactive look-and-feel in a digital broadcast via an x-y protocol
US20160261927A1 (en) Method and System for Providing and Displaying Optional Overlays
WO1998057499A1 (en) System for the transmission of audio, video and auxiliary data
US10425688B2 (en) Reception device
CN1201578C (zh) 提供节目和频道替换的节目指南信息和处理器
US20030142129A1 (en) Content processing and distribution systems and processes
US20090158372A1 (en) Method and apparatus for providing broadcast service information in cable network
JP5341820B2 (ja) 受信装置及び表示方法
JP4905525B2 (ja) 受信装置及び受信方法
JP4208033B2 (ja) 受信装置
JP4654306B2 (ja) 受信装置
JP4558087B2 (ja) 受信装置及び受信方法
JP2006180540A (ja) 受信装置
HK1019531B (zh) 在数字广播中利用x-y规约提供交替作用的观看和触模的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130710