[go: up one dir, main page]

CN1894965B - 视频信号中编码文本的翻译 - Google Patents

视频信号中编码文本的翻译 Download PDF

Info

Publication number
CN1894965B
CN1894965B CN2004800377553A CN200480037755A CN1894965B CN 1894965 B CN1894965 B CN 1894965B CN 2004800377553 A CN2004800377553 A CN 2004800377553A CN 200480037755 A CN200480037755 A CN 200480037755A CN 1894965 B CN1894965 B CN 1894965B
Authority
CN
China
Prior art keywords
text
text data
video
video signal
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800377553A
Other languages
English (en)
Other versions
CN1894965A (zh
Inventor
克里斯托弗·科奈克
托尼·莫伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1894965A publication Critical patent/CN1894965A/zh
Application granted granted Critical
Publication of CN1894965B publication Critical patent/CN1894965B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

可以基于隐藏式字幕或其他类型的编码文本数据显示各种不同的语言和格式。在一个实施方案中,本发明包括接收具有编码文本数据的视频信号、解码该编码文本数据、翻译已解码文本数据以及将已翻译文本数据与视频信号的视频部分组合以用于显示。

Description

视频信号中编码文本的翻译
背景
本发明涉及使用广播和多播媒体表示文本的领域,具体地说,涉及当在广播或多播频道上接收到编码文本时,翻译所述编码文本。
现在许多广播和多播视频信号包括可以在电视或其他显示设备上显示的文本。一种此类文本是隐藏式字幕(CC)文本。典型地,CC文本是视频中所说的文字的抄本(transcription),此抄本有时还有对声道(soundtrack)中具有少量文字的部分的描述性叙述。开始CC文本是为了方便有听力障碍的残障人士,后来CC文本也用在周围噪音级别(或者很高或者很低)使得信号中音频部分很难听见的环境中,例如酒吧、餐馆、机场、医务室等。
存在被包括在视频信号中的其他文本服务,所述服务包括可以包含文本的TeleText、Ceefax和Oracle,所述文本涉及节目、电子节目指南、新闻、体育和紧急通告以及许多其他类型的信息。现在,大多数文本服务被编码到视频信号的VBI(垂直消隐间隔)内。但是,数字视频信号,包括MPEG-2(活动图像专家组)编码信号,也被构建(structure)来将一些文本数据与信号的音频与视频部分一同携带(carry)。
在任何视频信号中可以携带的文本数量受编码系统的限制。使用VBI系统仅具有有限量的用于携带文本的容量。由于CC文本必须全部被携带在VBI的21线上,所以存在有限的可以被编码到每帧内的字符数。此外,可以被传输的字符和格式(formatting)的类型受到限制,例如,既不支持Cyrillic、Arabic和Asian字符也不能修改这些字符的大小和字体。TeleText具有更好的性能,但是仍然显著地受到限制。
嵌入式文本信号也受到信号创建者或提供者决定传送的内容的限制。例如在美国,可以获得英语CC文本,并且通常可以获得西班牙语的文本。信号中的容量和市场需求几乎无法考虑任何其他选择。由于缺乏容量和市场需求,不支持将文本翻译成葡萄牙语、亚美尼亚语、匈牙利语和许多其他语言。不能提供到中文、保加利亚语、泰语和希伯来语的翻译,是因为编码结构不支持在这些和许多其他语言中使用的字符。TeleText和其他编码文本传输系统遭遇类似的约束。
附图简要说明
从下面给出的详细说明和本发明的各种实施方案的附图将能够更完整地理解本发明。然而,这些附图并不把本发明限制于特定实施方案,而仅仅是用于解释和理解。
图1是根据本发明的一个实施方案,翻译隐藏式字幕文本的流程图;
图2是根据本发明的一个实施方案,隐藏式字幕文本翻译系统的框图;
图3是适合于实现本发明的实施方案的媒体中心的框图;以及
图4是适合于与本发明一起使用的娱乐系统的框图。
详细描述
参见图1,隐藏式字幕或其他类型的编码文本数据可以被翻译成用户选择的任何语言。首先,在框13中接收具有编码文本数据的视频信号。可以从任意的各种不同来源,例如录像带、盘或存储器播放器、网络连接或广播调谐器接收视频信号。这些视频信号的一个普遍来源是通过无线和有线(cable)媒体的电视广播。这些信号可以是任意的支持编码文本的类型。美国已经采用NTSC(全国电视标准委员会)和ATSC(先进电视系统委员会)标准,而欧洲已经采用PAL(逐行倒相)和SECAM(顺序传送彩色与记忆)标准等等,而且日本还使用不同的标准。
编码文本可以对应许多不同的格式,所述格式使用在用于传输编码文本的这些和其他标准中。在模拟视频信号中,编码文本通常在对应于信号的VBI(垂直消隐间隔)的光栅扫描线中传输。CC(隐藏式字幕)、Videotex、TeleText、Ceefax、Oracle和其他标准也使用VBI中的线。
数字信号还分配每个分组(packet)的某个部分用于文本数据的传输。ATSC分派(allocate)9600比特每秒的数据速率供隐藏式字幕使用。这是NTSC系统中的容量的10倍,并且扩展了提供修饰(embellished)文本特性、多种颜色、更多语言频道以及许多其他特征的能力。HD-SDI(高清晰串行数字接口)隐藏式字幕和相关数据携带在HD-SDI比特流、图像用户数据、节目映射表(PMT)和事件信息表(EIT)的三个分别的部分中。字幕文本和窗体命令被携带在HD-SDI运送频道中(所述频道依次地被携带在图像用户位中)。HD-SDI字幕频道服务目录被携带在PMT中,并且用电缆可选地携带在EIT中。
存在许多其他使用中和开发中的文本编码系统。上面提及的文本编码系统被提供来作为实施例。本发明可以被应用于任何编码或同时传输的文本,而不管是如何接收、编码或调制所述文本的。所述文本可以包括嵌入式和边带(sideband)文本数据以及在不同频道、频率或流上提供的补充(supplemental)文本数据。
接收完视频信号后,在框15中编码文本数据被解码。解码可以由常规的CC或TeleText解码器执行,所述解码器在商业上可以从很多种类的不同来源获得。可替换地,解码器可以是一般化的数字解码器或其他视频处理设备的部分。对于本发明的NTSC CC文本实施方案而言,解码器读取VBI的21线上的信号,并将这些信号解码成字母数字(alphanumeric)字符。不同的模拟和视频标准应用不同的规范(convention)。
解码处理的结果通常是与视频同步的有序文本串。文本可以使用与视频节目相同的语言(例如CC或Oracle文本),或者使用与视频节目不同的语言(例如对白字幕(subtitle))。但是,使用一些文本系统时,文本不需要或不要求任何与视频的同步。例如,如果文本涉及职业体育比赛的比分,那么比分可以与当前视频的时间安排(timing)没有任何显著的关系。例如,Oracle被用来传送视频声道的抄本,而TeleText提供一般新闻信息,所述一般新闻信息与携带它的视频没有特定的关系。
在框17中翻译已解码文本数据。翻译可以以不同的方式发生。在一个实施方案中,向电子字典查询所述文本,所述电子字典将初始语言的文字替换为另一种语言的文字。通过为语言提供合适的字典,可以支持任何语言。使用软件翻译系统,可以调整翻译的语法、用法、术语和其他细微差别,以提供经改进的翻译。可以使用任何各种不同的翻译系统。翻译导致另一种语言的新的文本流。
然后,已翻译文本可以在框19中与视频信号组合在一起。与视频的此组合可以通过用新文本替换初始的编码文本来完成,或者可以创建组合了文本和视频的全新视频信号。如何显示已翻译文本的选择将取决于包括接收器和显示系统的功能的具体应用。
在另一个实施方案中,不翻译文本。文本被如上所述地解码,并且向字典查询所述文本。然而,通过提供与已解码文本相同语言的字典,所述字典可以用来纠正编码文本中的拼写、语法和句法错误。对于直播事件和一些低预算的作品(production),文本是被实时或匆忙录入的并且之后没有被编辑。于是,字典可以用来纠正简单的错误。然后,已纠正文本可以如上面关于参考图1的框19所描述的那样与视频信号组合在一起。
参见图2,示出了能够翻译编码文本的调谐器系统11。此系统可以被构建在单个适配器卡或印刷电路板上、在单个模块上,或者可以从更大系统中的不同位置上连接在一起,所述系统的一个实施例是在图3中示出的媒体中心。此系统可以是电视或视频显示器、视频或音频记录器、用于连接到娱乐系统的分离的调谐器或任何各种其他设备。
图2的调谐器系统11具有一个或更多个模拟、数字或组合视频调谐器13。所述调谐器可以具有相同类型,以允许画中画观看或同步观看和记录(recording),或者它们可以具有不同类型,以允许接收不同种类的来源。调谐器可以用于各种不同的模拟和数字电视或视频信号(不论是广播、多播还是点到点)中的任意一种。实施例包括NTSC、ATSC信号,PAL(逐行倒相)、各种可能的标准下的有线电视信号,或任何其他类型的音频或视频信号。
在本实施例中,调谐器被耦合到电视同轴电缆、陆地广播天线或DBS(直播卫星)天线,并创建应用于其他组件的MPEG-2(活动图像专家组)编码信号。优选的(preferred)输出信号的准确性质(nature)将取决于特定的设备。作为替换,调谐器可以包括解码器,从而产生未压缩的数字或模拟视频输出信号。
在本实施例中,调谐器输出信号被应用于隐藏式字幕(CC)解码器27,以从已调谐信号中提取数字字符串。被提取的字符串被传送到CC逻辑(logic)29,所述CC逻辑29决定CC文本是否应该被示出和是否应该被翻译。此逻辑可以驻留在调谐器系统中或者驻留在系统中的某个其他处理器中。基于这些决定,文本可以被传送到翻译引擎31,所述翻译引擎向字典15查询所述文本。所述字典提供使用其自身语言的单词、短语、表达或直译(transliteration)来替换CC文本。对CC文本的实施例来讲,文本通常包括常用短语(stockphrase),所述常用短语传递(relay)关于场景中接下来是什么的信息。这些短语可能翻译得不好。因此,为CC文本的常用短语特别设计的自定义字典可以用来增强翻译的可理解性。
已翻译CC文本被传送回CC逻辑以供使用。CC逻辑、翻译引擎和字典可以全部在相同硬件中实现或在系统的不同部分中实现。字典可以存入可重写存储器,从而可以为不同的用户支持不同的语言。可以在单个组件内或者在通信总线(例如I2C(Inter-IC,飞利浦半导体设计的一种总线))或任何其他类型数据总线上执行这些通信。
同样类型的翻译处理也可以被应用于音频信号。已经提出各种标准用于补充具有文本的广播音频,并且一些卫星无线电系统已经这样做了。AM(调幅)和FM(调频)广播无线电可以携带包括PTY(节目类型)数据的RDS(无线电数据系统)文本。翻译可以被应用于此文本或任何其他嵌入或旁带数据,从而在被显示前所述数据被提取和翻译。
替换上面描述的RF(射频)调谐器或除上面描述的RF(射频)调谐器之外,可以使用复合视频调谐器。此设备可以允许系统接收来自录像机、摄像机、外部调谐器或任何其他设备的视频和音频信号。然后,此信号可以通过解码器27和翻译引擎29以与任何其他视频或音频信号相同的方式来处理。大量各种不同连接器可以被用于此调谐器,从同轴电缆到RCA分量视频、S-Video、DIN连接线、DVI(数字视频接口)、HDMI(高清晰多媒体接口)、VGA(视频图形适配器)等等。
如图2进一步示出,CC解码器将视频(包括任意音频)频道(channel)传送到图形控制器或其他视频信号处理设备的视频平面(plane)17。适当的设备可以是图3的图形控制器41,但是也可以使用更强或更弱性能的组件。已翻译CC文本在图形平面19上被传送到相同控制器。这些信号在阿尔法混合器(blender)中被组合,以产生可以被视频设备显示和存储的信号。阿尔法混合器使用阿尔法值将视频和图形平面混合在一起,以提供菜单、EPG(电子节目指南)数据和节目信息。视频平面、图形平面和阿尔法混合器的功能可以由许多其他设备来执行。图2的体系结构对于本发明不是必需的。
已混合的输出可以或者是具有不同编码文本的相同视频信号,或者是包括作为视频图像的部分的已翻译文本的视频信号。在一个实施方案中,观众被允许选择编码文本或者作为图形嵌入在视频中的文本。通过编码已翻译文本和替换初始文本,图形控制器允许所有的常规的文本编码、解码和显示技术来控制文本。例如,使用具有CC文本的NTSC信号时,电视屏幕(monitor)可以使用电视的内建解码器显示已翻译文本。文本显示功能可以由电视控制,而无须将任何命令传送到调谐器系统或CC逻辑。另一方面,将文本包括在视频图像中,避免了在显示器中对解码器的需要并降低了对编码文本与特定视频帧同步的精确性要求。
可替换地,通过生成已翻译字符的图形显示并且将这些字符与视频信号的图像组合在一起,文本数据系统的性能可以得到加强。例如,可以扩展字符的数目。从英语到法语的翻译可能通常需要比原始的英语多百分之五十的字符。如果编码文本已经接近它的最大容量,那么法语翻译不能以与英语文本同样的方式被编码到视频信号中。可以生成可视文本、文字电视广播、隐藏式字幕或其他文本系统不支持的其他字符。例如,具有编码英语CC文本的ATSC信号可以被翻译成中文并使用传统或现代汉字来显示。在CC编码中完全不支持中文。
除了将文本叠加在视频上,已翻译文本可以以不同大小、字体、具有不同背景效果的颜色等来被示出。可以在显示器上提供任何可以被编程到视频处理器21中的性能,而不需要在所述显示器中具有文本解码器。可以为观众提供菜单来选择文本的背景类型(例如标准黑、其他颜色或透明)、文本的颜色、文本的位置以及字体和大小。例如,当观看的视频使用的格式比显示器屏幕更宽时,观众可以选择将文本放在比水平黑条更高或更低的位置。如果文本被编码回视频信号中,则这是不可能的。
图3示出适于使用上面描述的调谐器系统的媒体中心43的框图。图2的系统可以是整个更大的系统。被示出并关于图2描述的硬件足够用来提供具有增强文本性能的集成或机顶调谐器盒。它在调谐器13处接收输入并提供来自阿尔法混合器21的输出。通过显示器以及用户输入的用户接口可以由逻辑引擎29来管理和处理。可以使用磁带、盘或存储器记录器、使用附加的输入和输出或附加的调谐器来增加图2的硬件。字典15可以被提供为厂家默认或者为可互换存储器芯片或模块。通过提供输入/输出接口,字典可以在相同或不同的存储器中被更新、修改或替换,以提供任何期望的一种或多种语言。输入/输出接口可以直接地或通过逻辑引擎29指向字典。
在图3中,图2的更简单系统的性能被广泛地增强了。使用例如上面描述的I2C接口,图2中的调谐器系统11被耦合到图形控制器41。在一个实施方案中,视频平面17、图形平面19和阿尔法混合器21都驻留在图形控制器内。但是,其他体系结构也是可能的。关于图2描述的多个视频、音频和文本输出被耦合到复用器51。如果需要的话,其他源也可以被耦合到复用器,例如IEEE 1394装置53被示为也被耦合到复用器。一些这样的设备可以包括磁带播放器、盘播放器和MP3播放器等等。在图形控制器控制下的复用器选择调谐器或其他输入中的哪一个将被连接到媒体中心的其他部分。
被选出的调谐器输入被耦合到复用器输出。在本实施例中,这些复用器输出分别被路由到各自的MPEG-2编码器53-1、53-2,并且随后被路由到图形控制器41。在数字电视、无线电、数字电缆或卫星信号的情况下,复用器可以将信号路由在MPEG-2编码器周围,或者当这些信号已经被编码时,禁止(disable)编码过程。
来自图形控制器的视频和音频信号可以是用于显示、储存或记录的输出。在一个实施方案中,图形控制器包括MPEG-2和MPEG-3解码器以及视频信号处理器,以格式化被期望的装置使用的视频和音频信号,并将命令、控制、菜单、消息和其他图像与来自调谐器的视频和音频组合起来。如下面所描述,图形控制器可以驱动整个设备,或者仅操作用于在另一个高级别处理器控制下的图形功能。
为了简单起见,图3仅示出一个视频输出和一个音频输出,但是输出的数目和种类可以大大地依赖于具体应用而变化。如果媒体中心作为调谐器来运用,那么单个DVI或分量视频输出连同单个数字音频输出(例如光学S/PDIF(索尼/飞利浦数字接口))就可能够用。在示出的配置中,媒体中心可以被用作具有在屏幕上的画中画显示的调谐器,或者它可以被用来在示出另一个频道的同时记录一个频道。如果媒体中心要提供更多功能,那么可以期望一种或更多种不同类型的附加音频和视频连接。
用于视频和音频连接的实际连接器和格式可以具有许多不同类型和不同数目。一些连接器格式包括同轴电缆、RCA复合视频、S-Video、分量视频、DIN(德国工业标准)连接器、DVI(数字视频接口)、HDMI(高清晰多媒体接口)、VGA(视频图形适配器)以及甚至USB和IEEE 1394。还存在对于具体应用来说可能是优选的几种不同的专有连接器。可以修改连接器的类型以适合于具体应用,或者可以作为不同的连接器被采用。
媒体中心也可以包括大容量储存设备,例如硬盘驱动器、易失性存储器、磁带驱动器(例如用于VTR)或光驱动器。此设备可以用来存储用于图形控制器的指令、维持EPG(电子节目指南)或记录从调谐器系统接收到的音频或视频。
虽然对于许多消费类电子、家庭娱乐和家庭影院设备,例如调谐器(陆地、有线和卫星机顶盒)、VTR、PVR和电视等等来说,上面描述的组件足够用。可以使用下面描述的附加组件的一些来提供另外的功能。此外,前置放大器和功率放大器、控制面板或显示器(未示出)可以按需要被耦合到图形控制器。
媒体中心还可以包括耦合到主控制器63或芯片组的CPU(中央处理单元)61。可以使用任意数目的不同CPU和芯片组。在一个实施方案中,使用具有Intel
Figure 200480037755310000210003_0
830芯片组的移动IntelCeleron处理器,但是本发明不受此限制。此处理器提供了足够用的处理能力、连通性和节能模式。主处理器具有耦合到I/O控制器中心(ICH)65(例如Intel
Figure 10003_3
FW82801DB(ICH4))的北桥,以及耦合到板载存储器67(例如RAM(随机访问存储器))的南桥。芯片组还具有与图形控制器41耦合的接口。注意,本发明不限于在此建议的处理器的特定选择。在一个实施方案中,如下所述,翻译引擎31由CPU和芯片组提供,而字典15被存储在硬盘驱动器87上。
ICH 65提供针对宽范围的不同设备的连通性。已经良好确立的规定和协议可以用于这些连接。连接可以包括LAN(局域网)端口69、USB集线器(USB hub)71和本地BIOS(基本输入/输出系统)闪存73。SIO(超级输入/输出)端口75可以为具有按钮和显示器的前端面板77、键盘79、鼠标81和红外设备85(例如红外增强器(IR blaster)或遥控传感器)提供连通性。I/O端口还可以支持软盘、并行端口以及串行端口连接。可替换地,这些设备的任意一个或更多个可以从USB、PCI或任何其他类型的总线得到支持。
ICH还可以提供用于连接到盘驱动器87、89或其他大存储器设备的IDE(集成电子设备)总线。大容量储存装置可以包括硬盘驱动器和光驱动器。所以,例如软件程序、用户数据、EPG数据和已记录娱乐节目可以存储在硬盘驱动器或其他驱动器上。除了CD(致密盘)外,DVD(数字多用途盘)和其他储存媒体可以在耦合到IDE总线的驱动器上播放。
PCI(外设部件互连)总线91被耦合到ICH并且允许宽范围的设备和端口被耦合到ICH。图3中的实施例包括WAN(广域网)端口93、无线端口95、数据卡连接器97和视频适配器卡99。存在更多可用于连接PCI端口的设备和大量更多可能的功能。PCI设备可以允许到本地设备,例如摄像机、存储器卡、电话、PDA(个人数字助理)或附近的计算机的连接。它们还可以允许到各种外围设备,例如打印机、扫描仪、录制器(recorder)、显示器等等的连接。它们还可以允许到更多远程器件或者任意大量不同的接口的有线或无线连接。远程器件可以允许节目或EPG数据的通信、维护(maintenance)或遥控,或者游戏、因特网冲浪或其他性能。
最后,ICH被示为具有AC-Link(音频编解码链路)101,所述AC-Link 101是支持具有针对音频和调制解调器的独立功能的编解码器的数字链路。在音频区中,支持麦克风输入和左右音频信道。在图3的实施例中,AC-Link支持用于连接到PSTN的调制解调器103,以及到图形控制器41的音频链路。AC-Link将CPU、主控制器或ICH生成的任何音频传送到图形控制器,以与音频输出57集成(integration)。可替换地,ISA(工业标准结构)总线、PCI总线或任何其他类型的连接可以用来达到此目的。如从图3中可以看到的,存在许多不同方式来支持调谐器产生的信号和控制调谐器的操作。图3的体系结构允许宽范围的不同功能和性能。特定的设计将取决于特定的应用。
图4示出适于与图3的媒体中心一起使用的娱乐系统111的框图。图4示出具有宽范围的已安装器件的娱乐系统。此设备作为许多可能性的实施例被示出。本发明可以用在简单得多或复杂得多的系统中。图3中所描述的媒体中心能够支持通过WAN和LAN连接、蓝牙、IEEE 802.11USB、1394、IDE、PCI和红外的通信。此外,调谐器系统接收来自天线、组件、和复合视频与音频以及IEEE 1394设备的输入。这在设备类型方面提供了极高灵活性和多样性,所述设备可以被连接到媒体中心并且和媒体中心一起操作。随着新接口被开发出来并且根据媒体中心的具体应用,其他接口可以被增加或被用来替换那些被描述的接口。许多连接可以被移除以降低成本。图4中示出的具体设备代表了可以适合于消费者家庭娱乐系统的配置的一个实施例。
媒体中心43具有上述的几种不同的可能输入。在图4的实施例中,这些输入包括电视电缆117、广播天线119、卫星接收器121、视频播放器123(例如磁带或盘播放器)、音频播放器125(例如磁带、盘或存储器播放器)以及数字设备127(例如由IEEE 1394连接来连接)。
处理、选择和控制后,这些输入可以用来为用户生成输出。这些输出可以在屏幕129、或投影仪131或任何其他类型的可察觉的视频显示器上被呈现(render)。音频部分可以通过放大器133(例如A/V接收器或声音处理引擎)被路由到达耳机135、扬声器137或任何其他类型的声音生成设备。输出也可以被传送到外部记录器139,例如VTR、PVR、CD或DVD记录器、存储器卡等等。
媒体中心还提供通过例如电话端口141和网络端口143连接到外部设备的连通性。通过例如键盘145或遥控器147提供用户接口,并且媒体中心可以通过其自身的红外端口149与其他设备通信。可移除储存设备153可以允许在便携式设备上存储MP3压缩音频并在以后播放所述音频,或者允许在屏幕129上显示摄像机图像。
存在许多不同的用于使用图3的媒体中心的娱乐中心的设备配置以及要连接设备的许多不同的可能选择。使用典型的当前可获得设备的典型家庭娱乐系统可以如下所述。作为输入,所述典型家庭娱乐系统可以具有电视天线119以及到媒体中心的调谐器系统的有线电视117输入或DBS 121输入中的一个。VTR或DVD记录器可以被连接为输入设备123和输出设备139。可以增加用于音乐的CD播放器125和MP3播放器127。此系统还可以包括宽屏高清晰电视129,以及耦合到六个或八个扬声器137的环绕声接收器133。此同样的用户系统会拥有供用户使用的小型遥控器147并且提供从媒体中心到电视、接收器、VTR和CD播放器的遥控操作149。网络连接141和键盘145将允许网上冲浪、升级和信息下载,而计算机网络将允许文件交换以及在住宅内的来自个人计算机或到个人计算机的远程控制。
应该意识到,比上面描述的实施例更少或更多装备的娱乐系统和媒体中心对于某些实现来说可能是优选的。因此,娱乐系统和媒体中心的配置根据不同的实是变化的,这取决于多个因素,例如价格约束、性能需求、技术改进或其他情形。本发明的实施方案也可以被应用于其他类型的软件驱动的系统,所述系统使用与图2、3和4示出的硬件体系结构不同的硬件体系结构。
在以上描述中,出于解释的目的,阐述了很多具体的细节,以提供对本发明的完整理解。然而,本领域的技术人员将会清楚,无需使用这些具体的细节中的一些就可以实现本发明。此外,公知结构和装置以框图形式被示出。
本发明可以包括各种步骤。本发明的步骤可以由硬件组件(例如图2、3和4中示出的那些)执行,或者可以以机器可执行指令具体实施,所述指令可以用来导致使用所述指令编程的通用或专用的处理器或者逻辑电路执行所述步骤。可替换地,所述步骤可以由硬件和软件的组合来执行。
本发明可以被提供为可以包括其上存有指令的机器可读介质的计算机编程产品,所述指令可以用来给媒体中心(或其他电子设备)编程,以根据本发明来执行处理。机器可读介质可以包括,但不限于,软盘、光盘、CD-ROM和磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪存存储器或是适于存储电子指令的其他类型的媒体/机器可读介质。此外,本发明还可以作为计算机编程产品被下载,其中,所述程序可以以载波或其他传播介质具体实施的数据信号的方式,经由通信链路(例如调制解调器或网络连接)从远程计算机被传输到请求的计算机。
许多方法和装置是以它们最基本的形式描述的,但是不背离本发明的基本范围,可以向方法中增加步骤或从方法中删除步骤,并且可以向描述的装置中增加组件或从描述的装置中去除组件。本领域技术人员将会清楚可以进行许多进一步修改和改动。具体实施方案不是提供来限制本发明而是示出本发明的。本发明的范围不由上面提供的特定实施例确定而仅由所附的权利要求书确定的。

Claims (16)

1.一种视频信号中编码文本的翻译的装置,包括:
视频接收器,所述视频接收器接收具有编码文本数据的视频信号;
解码器,所述解码器解码所述编码文本数据;
文本处理器,所述文本处理器处理已解码文本数据;以及
视频处理器,所述视频处理器将已处理文本数据与所述视频信号的视频部分组合以用于显示,其中,
所述文本处理器将已解码文本数据应用于一字典以纠正拼写、语法和句法。
2.如权利要求1所述的装置,其中,所述编码文本数据包括隐藏式字幕文本。
3.如权利要求1所述的装置,其中,所述解码器读取来自所述视频信号的垂直消隐间隔的数据。
4.如权利要求1所述的装置,其中,所述解码器从所述视频信号的视频传输流提取文本数据分组。
5.如权利要求1所述的装置,其中,所述解码器包括数字视频传输流解码器。
6.如权利要求1所述的装置,其中,所述文本处理器将已解码文本数据从所述文本被接收时的语言翻译成第二种语言。
7.如权利要求6所述的装置,其中,翻译所述文本数据的操作还包括向短语字典查询已解码文本中的短语。
8.如权利要求6所述的装置,其中,所述文本处理器还包括字典和处理器,所述处理器向所述字典查询已解码文本数据,以翻译所述文本数据。
9.如权利要求1所述的装置,其中,所述文本处理器还包括字典和处理器,所述处理器向所述字典查询已解码文本数据,以纠正所述文本数据。
10.如权利要求1所述的装置,其中,所述视频处理器生成已解码文本数据的字符图像并将所述字符图像叠加在所述视频信号的所述视频部分的图像之上,所述字符图像包括具有所述编码文本不支持的字符的图像。
11.如权利要求10所述的装置,其中,所述视频处理器为要叠加在所述视频信号的所述视频部分的图像之上的所述字符图像生成字体和背景。
12.一种视频信号中编码文本的翻译的方法,包括:
接收具有编码文本数据的视频信号;
解码所述编码文本数据
处理已解码文本数据;以及
将已处理文本数据与所述视频信号的视频部分组合以用于显示,其中,
通过将已解码文本数据应用于一字典以纠正拼写、语法和句法来处理已解码文本数据。
13.如权利要求12所述的方法,其中,对所述文本数据解码的操作包括从所述视频信号的视频传输流中提取文本数据分组。
14.如权利要求12所述的方法,其中,处理所述文本数据的操作包括向短语字典查询已解码文本中的短语。
15.如权利要求12所述的方法,其中,组合已处理文本数据还包括生成已解码文本数据的字符图像并将所述字符图像叠加在所述视频信号的所述视频部分的图像之上,且其中所述字符图像包括所述编码文本不支持的字符的图像。
16.如权利要求15所述的方法,其中,生成所述字符图像的操作包括为要叠加在所述视频信号的所述视频部分的图像之上的所述字符图像生成字体和背景。
CN2004800377553A 2003-10-17 2004-10-07 视频信号中编码文本的翻译 Expired - Fee Related CN1894965B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/687,987 US20050086702A1 (en) 2003-10-17 2003-10-17 Translation of text encoded in video signals
US10/687,987 2003-10-17
PCT/US2004/033167 WO2005041573A1 (en) 2003-10-17 2004-10-07 Translation of text encoded in video signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011100086390A Division CN102036045A (zh) 2003-10-17 2004-10-07 视频信号中编码文本的翻译

Publications (2)

Publication Number Publication Date
CN1894965A CN1894965A (zh) 2007-01-10
CN1894965B true CN1894965B (zh) 2011-02-16

Family

ID=34521075

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011100086390A Pending CN102036045A (zh) 2003-10-17 2004-10-07 视频信号中编码文本的翻译
CN2004800377553A Expired - Fee Related CN1894965B (zh) 2003-10-17 2004-10-07 视频信号中编码文本的翻译

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2011100086390A Pending CN102036045A (zh) 2003-10-17 2004-10-07 视频信号中编码文本的翻译

Country Status (7)

Country Link
US (1) US20050086702A1 (zh)
EP (1) EP1673935A1 (zh)
JP (1) JP2007508785A (zh)
KR (1) KR100816136B1 (zh)
CN (2) CN102036045A (zh)
TW (1) TWI318843B (zh)
WO (1) WO2005041573A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8063916B2 (en) * 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US20050289631A1 (en) * 2004-06-23 2005-12-29 Shoemake Matthew B Wireless display
JP2006211120A (ja) * 2005-01-26 2006-08-10 Sharp Corp 文字情報表示機能を備えた映像表示システム
WO2007021923A2 (en) 2005-08-11 2007-02-22 Sokol Anthony B System and method of adjusting audiovisual content to improve hearing
US20070211169A1 (en) * 2006-03-06 2007-09-13 Dotsub Llc Systems and methods for rendering text onto moving image content
CN105490766A (zh) * 2006-04-20 2016-04-13 高通股份有限公司 用于广播无线电的标记语言
US9679602B2 (en) * 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
JP4980018B2 (ja) * 2006-09-21 2012-07-18 パナソニック株式会社 字幕生成装置
KR101306706B1 (ko) * 2006-11-09 2013-09-11 엘지전자 주식회사 디지털 티브이와 연결된 외부기기 자동 설정 장치 및 방법
US8140341B2 (en) * 2007-01-19 2012-03-20 International Business Machines Corporation Method for the semi-automatic editing of timed and annotated data
US8144990B2 (en) 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
US20080284909A1 (en) * 2007-05-16 2008-11-20 Keohane Michael F Remote Multimedia Monitoring with Embedded Metrics
US20080297657A1 (en) * 2007-06-04 2008-12-04 Richard Griffiths Method and system for processing text in a video stream
US8638219B2 (en) * 2007-06-18 2014-01-28 Qualcomm Incorporated Device and methods of providing radio data system information alerts
US8744337B2 (en) * 2007-06-18 2014-06-03 Qualcomm Incorporated Apparatus and methods of enhancing radio programming
JP2009164655A (ja) * 2007-12-11 2009-07-23 Toshiba Corp 字幕情報送出装置、字幕情報処理装置およびこれら装置の連携方法
US8149330B2 (en) * 2008-01-19 2012-04-03 At&T Intellectual Property I, L. P. Methods, systems, and products for automated correction of closed captioning data
JP2010074772A (ja) * 2008-09-22 2010-04-02 Sony Corp 映像表示装置、及び映像表示方法
US8913188B2 (en) * 2008-11-12 2014-12-16 Cisco Technology, Inc. Closed caption translation apparatus and method of translating closed captioning
US9547642B2 (en) * 2009-06-17 2017-01-17 Empire Technology Development Llc Voice to text to voice processing
CN101989260B (zh) * 2009-08-01 2012-08-22 中国科学院计算技术研究所 统计机器解码特征权重的训练方法和解码方法
US8379801B2 (en) * 2009-11-24 2013-02-19 Sorenson Communications, Inc. Methods and systems related to text caption error correction
JP5577415B2 (ja) 2010-02-22 2014-08-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
JP5754080B2 (ja) * 2010-05-21 2015-07-22 ソニー株式会社 データ送信装置、データ受信装置、データ送信方法およびデータ受信方法
US9191692B2 (en) 2010-06-02 2015-11-17 Microsoft Technology Licensing, Llc Aggregated tuner scheduling
KR101902320B1 (ko) * 2011-12-30 2018-10-02 삼성전자 주식회사 디스플레이장치, 이에 연결되는 외장형 주변장치 및 영상표시방법
WO2014155744A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
JP2017184056A (ja) * 2016-03-30 2017-10-05 ミハル通信株式会社 放送装置および放送方法
CN114666674A (zh) * 2020-12-23 2022-06-24 富泰华工业(深圳)有限公司 字幕信息的转换方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3143627A1 (de) * 1981-11-04 1983-05-11 Philips Patentverwaltung Gmbh, 2000 Hamburg Schaltungsanordnung zum wiedergeben von fernseh-textsignalen
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system
WO2003081917A1 (en) * 2002-03-21 2003-10-02 Koninklijke Philips Electronics N.V. Multi-lingual closed-captioning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543851A (en) * 1995-03-13 1996-08-06 Chang; Wen F. Method and apparatus for translating closed caption data
JPH09289065A (ja) * 1996-04-25 1997-11-04 Sony Corp カードスロットユニットとその製造方法、およびコンピュータ装置
JPH1023377A (ja) * 1996-07-05 1998-01-23 Toshiba Corp テレビジョン受信機を利用したテキストデータ処理装置
US6553566B1 (en) * 1998-08-27 2003-04-22 X Out Corporation Viewer controlled multi-function system for processing television signals
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US7130790B1 (en) * 2000-10-24 2006-10-31 Global Translations, Inc. System and method for closed caption data translation
US6952236B2 (en) * 2001-08-20 2005-10-04 Ati Technologies, Inc. System and method for conversion of text embedded in a video stream
US7054804B2 (en) * 2002-05-20 2006-05-30 International Buisness Machines Corporation Method and apparatus for performing real-time subtitles translation
US7463311B2 (en) * 2002-09-09 2008-12-09 General Instrument Corporation Method and system for including non-graphic data in an analog video output signal of a set-top box
US7106381B2 (en) * 2003-03-24 2006-09-12 Sony Corporation Position and time sensitive closed captioning
US20050073608A1 (en) * 2003-10-02 2005-04-07 Stone Christopher J. Method and system for passing closed caption data over a digital visual interface or high definition multimedia interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3143627A1 (de) * 1981-11-04 1983-05-11 Philips Patentverwaltung Gmbh, 2000 Hamburg Schaltungsanordnung zum wiedergeben von fernseh-textsignalen
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system
WO2003081917A1 (en) * 2002-03-21 2003-10-02 Koninklijke Philips Electronics N.V. Multi-lingual closed-captioning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP平8-331525A 1996.12.13

Also Published As

Publication number Publication date
TW200522731A (en) 2005-07-01
KR20060096037A (ko) 2006-09-05
CN1894965A (zh) 2007-01-10
WO2005041573A1 (en) 2005-05-06
KR100816136B1 (ko) 2008-03-21
EP1673935A1 (en) 2006-06-28
JP2007508785A (ja) 2007-04-05
TWI318843B (en) 2009-12-21
CN102036045A (zh) 2011-04-27
US20050086702A1 (en) 2005-04-21

Similar Documents

Publication Publication Date Title
CN1894965B (zh) 视频信号中编码文本的翻译
CN1890961B (zh) 用于控制多个视频信号的重叠的方法和装置
US7050109B2 (en) Methods and apparatus for the provision of user selected advanced close captions
JP4223099B2 (ja) 放送ビデオと共に強化したコンテンツを提供する方法およびシステム
US20030046075A1 (en) Apparatus and methods for providing television speech in a selected language
JP5423425B2 (ja) 画像処理装置
JP2005521346A (ja) 多言語のクローズドキャプション
US20080012995A1 (en) Image display apparatus
WO2013031658A1 (ja) 表示装置、受信装置、表示方法、テレビジョン受像機、表示システム、プログラムおよび記録媒体
US20060158551A1 (en) Caption service menu display apparatus and method
KR100773883B1 (ko) 다중 온 스크린 디스플레이 포맷을 포함하는 비디오를 처리하는 방법 및 시스템과, 비디오를 저장하기 위한 온 스크린 디스플레이 메모리
WO2014207874A1 (ja) 電子機器、出力方法およびプログラム
KR20040098852A (ko) 디지털 텔레비전의 채널 전환시 화면 표시 방법 및 그 장치
JP2009260685A (ja) 放送受信装置
KR100728929B1 (ko) 디지털 캡션을 이용한 개인적인 데이터 삽입 장치 및 그방법
KR100292358B1 (ko) 자막 신호의 제한적 디스플레이 제어방법
JP2007013561A (ja) 字幕放送受信装置および字幕放送受信方法
KR20090074631A (ko) 자막 번역 서비스 제공 방법
KR200424121Y1 (ko) 외장형 멀티미디어 박스
US20090064263A1 (en) Broadcast-receiving apparatus and method of outputting data by a broadcast-receiving apparatus
JP2016001918A (ja) 表示装置、受信装置、表示方法、テレビジョン受像機、表示システム、プログラムおよび記録媒体
KR20090074626A (ko) 어학용 방송 프로그램 재생 방법
JP2008148175A (ja) 字幕情報処理装置、文字列情報出力装置、および文字列情報出力方法
KR19990010928A (ko) 광고용 화면 발생장치
KR20060109041A (ko) Epg 상세 정보 음성 제공장치 및 제공방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110216

Termination date: 20161007