JP5685969B2

JP5685969B2 - 表示制御方法、表示制御装置

Info

Publication number: JP5685969B2
Application number: JP2011029408A
Authority: JP
Inventors: 幸一内村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-02-15
Filing date: 2011-02-15
Publication date: 2015-03-18
Anticipated expiration: 2031-02-15
Also published as: BR112013020267A2; KR20140039154A; CN103370929A; EP2677738A4; RU2572833C2; EP2677738B1; BR112013020267B1; RU2013137246A; JP2012169885A; US20130302014A1; US9338422B2; CN103370929B; WO2012111513A1; EP2677738A1; KR101924662B1

Description

本技術は、Timed Text字幕についての表示制御方法及び表示制御装置に関するものである。

Ｗ３Ｃ（World Wide Web Consortium）、"Timed Text Markup Language (TTML) 1.0"、[online]、2010年11月18日、[2011年2月7日検索]、インターネット＜ＵＲＬ：http://www.w3.org/TR/ttaf1-dfxp＞

例えば動画のインターネット配信やデジタルテレビ放送などにおいて、字幕表示にTimed Text字幕を用いるということが考えられている。特に、インターネット配信におけるTimed Text字幕の使用については、例えばＤＥＣＥ（Digital Entertainment Content Ecosystem LLC）などの各種規格でサポートされている。

Timed Textには幾つかの種類が存在するが、なかでもＷ３Ｃ（World Wide Web Consortium）が提唱するＷ３Ｃ Timed Text、すなわちＴＴＭＬ（Timed Text Markup Language）がその汎用性等の面で有望視されている（例えば上記非特許文献１を参照）。

ここで、動画データの再生時に行われる字幕表示は、予めユーザ操作によりそのオン／オフを指定できるようにされているのが通常である。具体的には、予めユーザに字幕表示設定のオン／オフを指定させておき、動画再生時には、当該字幕表示設定の内容に従って字幕を表示／非表示とするというものである。

これに対し、ユーザによる字幕表示設定は無視して、字幕表示を強制的に実行するということも考えられる。
このような字幕強制表示の概念を適用すれば、動画上の所定位置で、例えばwarning card等としての所定のメッセージが視聴者に必ず提示されるようにしたり、また外国語を話すシーンのみに対応して字幕を表示するなどといったことができ、字幕機能の用途の幅を広げることができる。

しかしながら、ＴＴＭＬでは、字幕表示設定を無視して強制的に所定の字幕部分を表示するという字幕強制表示機能はサポートされていない。

本技術はかかる問題点に鑑み為されたもので、ＴＴＭＬベースで字幕強制表示機能を実現することをその課題とする。

上記課題の解決のため、以下の表示制御方法を提案する。
すなわち、本技術に係る表示制御方法は、文書の要素を定義するタグ内に字幕強制表示に係る所定の属性情報を記述したＴＴＭＬ（Timed Text Markup Language）データを生成する生成手順を有する。
また、上記生成手順により生成した上記ＴＴＭＬデータを所要の記録媒体に記録する記録手順を有する。
また、上記記録媒体に記録された上記ＴＴＭＬデータを入力する入力手順を有する。
さらに、上記入力手順により入力した上記ＴＴＭＬデータ内の上記所定の属性情報に基づき、当該属性情報が書き込まれたタグにより指定されるテキストデータに基づく文字が、字幕表示設定のオン／オフに関わらず表示部に表示されるように制御する表示制御手順を有するものである。

上記構成により、ＴＴＭＬデータ内の各文書要素（字幕としてのテキストデータ）のうち、所定の文書要素としてのテキストデータを、字幕表示設定のオン／オフに関わらず表示することができる。すなわち、ＴＴＭＬベースで字幕強制表示機能を実現できる。

本技術により、ＴＴＭＬベースで字幕強制表示機能を実現することができる。

実施の形態としての表示制御手法の概要について説明するための図である。実施の形態としてのＴＴＭＬデータの生成手法の一例（<span>タグに対する属性情報の記述例）について説明するための図である。 <body>タグに対する属性情報の記述例を示した図である。 <div>タグに対する属性情報の記述例を示した図である。 <p>タグに対する属性情報の記述例を示した図である。 <region>タグに対する属性情報の記述例を示した図である。実施の形態の表示制御装置の構成例を示した図である。ＴＴＭＬデータに基づく字幕強制表示制御に係る処理の具体的な手順を示したフローチャートである。

以下、本技術に係る実施の形態について説明していく。
なお、説明は以下の順で行う。

＜１．表示制御手法の概要＞
＜２．ＴＴＭＬデータ生成の具体例＞
＜３．表示制御装置＞
＜４．実施の形態のまとめ及び変形例＞

＜１．表示制御手法の概要＞

図１は、実施の形態としての表示制御手法の概要について説明するための図である。
この図１に示すように、実施の形態の表示制御手法は、ＴＴＭＬ（Timed Text Markup Language）データ生成手順Ｓ１、映像データとの合成手順Ｓ２、記録手順Ｓ３、ＴＴＭＬデータ抽出手順Ｓ４、ＴＴＭＬデータに基づく字幕強制表示制御手順Ｓ５の５つの手順に大別することができる。

先ず、ＴＴＭＬデータ生成手順Ｓ１では、字幕強制表示を実現するためのＴＴＭＬデータの生成を行う。
ここで言うＴＴＭＬとは、Ｗ３Ｃ Timed Text（Ｗ３Ｃ：World Wide Web Consortium）を意味する。
当該ＴＴＭＬデータ生成手順Ｓ１は、例えばパーソナルコンピュータ等の情報処理装置を用いて行われる。具体的には、ＴＴＭＬデータの作成者としての作業員がテキストの入力操作を行って上記情報処理装置にＴＴＭＬデータを生成させるものである。
なお、実施の形態としてのＴＴＭＬデータの具体的な生成手法（作成手法）については後に改めて説明する。

続く映像データとの合成手順Ｓ２では、上記手順Ｓ１にて生成されたＴＴＭＬデータと、映像データとを合成する。具体的には、これら映像データとＴＴＭＬデータとをマルチプレックスして、所定形式によるストリームデータ（配信用データ）を得る。
なお、上記ストリームデータの形式としては、例えばＭＰＥＧ-２（ＭＰＥＧ：Moving Picture Experts Group）やＭＰＥＧ-４ＡＶＣ（ＡＶＣ：Advanced Video Coding）などに基づくものを挙げることができる。
当該映像データとの合成手順Ｓ２としても、例えばパーソナルコンピュータ等の情報処理装置を用いて行う。

次の記録手順Ｓ３では、上記ストリームデータとしての配信用データを所要の記録媒体に記録する。
例えば、配信をインターネット等のネットワークＮＴを介して行うのであれば、所定の配信用サーバ装置が備える例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記録媒体に記録する。
或いは、光ディスクやメモリカード等のリムーバブルメディアＲＭを配布して配信する場合には、当該リムーバブルメディアＲＭに対して上記配信用データ記録する。

続くＴＴＭＬデータ抽出手順Ｓ４では、ネットワークＮＴ又はリムーバブルメディアＲＭを介して入力される配信用データから、ＴＴＭＬデータを抽出する。つまりこの場合は、上記配信用データとしての、映像データとＴＴＭＬデータとがマルチプレキシングされたストリームデータから、ＴＴＭＬデータの抽出（デマルチプレックス）を行う。

さらに、次のＴＴＭＬデータに基づく字幕強制表示制御手順Ｓ５では、上記手順Ｓ４にて抽出したＴＴＭＬデータに基づき、字幕強制表示に係る制御を行う。
なお、当該手順Ｓ５における字幕強制表示制御の具体的内容についても後に改めて説明する。

ここで、本例の場合、ＴＴＭＬデータ抽出手順Ｓ４及びＴＴＭＬデータに基づく字幕強制表示制御手順Ｓ５は、後述する実施の形態としての表示制御装置（再生装置１）を用いて行われることになる。

＜２．ＴＴＭＬデータ生成の具体例＞

図２は、実施の形態としてのＴＴＭＬデータの生成手法の一例について説明するための図である。
本実施の形態では、字幕強制表示を実現するためのＴＴＭＬデータとして、文書の要素を定義するタグ内に、字幕強制表示に係る所定の属性情報を記述したＴＴＭＬデータを生成する。図２では、このような実施の形態としてのＴＴＭＬデータの生成手法の一例として、<span>タグ内に上記所定の属性情報を記述した例を示している。

具体的に本例では、<span>の開始タグに対して、上記所定の属性情報を書き込むものとしている。そして本例の場合、上記所定の属性情報としては、当該所定の属性情報である旨を表すテキストデータと共に、これと対応づけられた属性値とを記述するものとしている。より具体的には、上記所定の属性情報である旨を表すテキストデータを”forced”とし、上記属性値についてはブーリアン（boolean）を採用して”true”と”false”の２値を定義した上で、これら”forced”と属性値とを”＝”で対応づけて記述するものとしている。

上記のように<span>の開始タグに”forced”としての新たな属性情報を記述することで、図中の<p>のタグで定義（指定）された文書要素である”abcdefghijklmn”の文書（テキスト）のうち、<span>のタグによって定義された文書要素である”hijk”としてのテキストデータが、強制表示のオン／オフの対象であることを表すものとしている。
そして、当該”forced”に対応づけられた属性値”true”又は”false”の別により、上記”hijk”の強制表示のオン／オフ（強制表示／非強制表示）の別を表すものとしている。具体的に、属性値”true”が強制表示を表し、属性値”false”は非強制表示を表す。

ここで、字幕強制表示に係る所定の属性情報の記述は、文書の要素を定義するタグに対して行われればよく、上記の<span>タグに限定されるべきものではない。例えば<span>タグの他にも、<body>、<div>、<p>や<region>のタグに対しても記述することができる。

図３〜図６は、それぞれ<body>、<div>、<p>、<region>のタグに上記属性情報を記述した場合のＴＴＭＬデータの例を示している。
文書要素を定義する任意のタグに上記属性情報を記述することで、そのタグにより指定される文書要素（テキスト）が、字幕強制表示制御の対象である旨を表すことが可能となる。換言すれば、上記属性情報を記述するタグを選択することにより、字幕強制表示制御の対象とするテキスト部分を自由に選択可能となる。

＜３．表示制御装置＞

図７は、実施の形態の表示制御装置としての再生装置１の構成例を示している。
図７において、再生装置１は、入力部２、デマルチプレクサ３、表示処理部４、コントローラ５、操作部６、及び表示部７を備える。

入力部２は、先の図１に示したネットワークＮＴを介して受信される配信用データ、又はリムーバブルメディアＲＭに記録された配信用データを入力するように構成される。
入力部２により入力された配信用データは、デマルチプレクサに供給される。

デマルチプレクサ３は、上記配信用データをデマルチプレックスすることで、映像データとＴＴＭＬデータとをそれぞれ抽出（分離）する。
映像データは表示処理部４に供給され、ＴＴＭＬデータはコントローラ５に供給される。

表示処理部４は、表示部７に映像データに基づく映像や字幕の表示を実行させるための各種処理を行う。後述する字幕表示設定がオンの場合、表示処理部４は、コントローラ５からの指示に基づき、ＴＴＭＬデータに基づく字幕データを映像データに合成して表示部７に表示させる処理を行う。

表示部７は例えば液晶ディスプレイや有機ＥＬディスプレイとされ、表示処理部４により表示駆動される。

コントローラ５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成され、再生装置１の全体制御を行う。
本例の場合、コントローラ５は、ＴＴＭＬデータに基づくTimed Text字幕についての表示／非表示の設定（字幕表示設定）の受付処理を行う。具体的には、操作部６を介して行われるユーザの操作入力に基づき、字幕表示設定のオン／オフ（表示／非表示）の指示を受け付ける。

また、特に本例の場合、コントローラ５は、ＴＴＭＬデータの記述内容及び上記字幕表示設定の内容に基づくTimed Text字幕の表示制御（つまり通常の字幕表示制御処理）を行うと共に、ＴＴＭＬデータに記述された前述の属性情報に基づく字幕強制表示制御に係る処理も行う。

図８は、コントローラ５が行うＴＴＭＬデータに基づく字幕強制表示制御に係る処理の具体的な手順を示したフローチャートである。
なおこの図８に示す処理は、コントローラ５が例えば上述のＲＯＭ等のメモリに格納されたプログラムに基づき実行するものである。

先ず、ステップＳ１０１では、強制表示属性情報の記述が検知されるまで待機する処理を実行する。すなわち、デマルチプレクサ３より供給されるＴＴＭＬデータ内（タグ内）に、強制表示属性情報を表す”forced”の記述が検知されるまで待機する。

強制表示属性情報の記述が検知された場合は、ステップＳ１０２に進み、属性値の判別を行う。すなわち本例の場合は”forced”に対応づけられて記述される属性値”true”又は”false”の判別を行うものである。

ステップＳ１０２において、属性値が”false”である、つまり非強制表示の指示であるとの判別結果が得られた場合は、ステップＳ１０３に進む。
またステップＳ１０２において、属性値が”true”である、すなわち強制表示の指示であるとの判別結果が得られた場合はステップＳ１０４に進む。

ステップＳ１０３では、字幕表示設定のオン／オフを判別する。
このステップＳ１０３において、字幕表示設定がオンであるとの判別結果が得られた場合は、図示するように「ＲＥＴＵＲＮ」となる。
なお確認のため述べておくと、字幕表示設定がオンの場合は、図８に示す処理と並行してコントローラ５が行っている通常の字幕表示制御処理により、ＴＴＭＬデータに基づく字幕表示が行われるものとなる。

一方、上記ステップＳ１０３において、字幕表示設定がオフであるとの判別結果が得られた場合は、ステップＳ１０４に処理を進める。

ステップＳ１０４では、属性情報が記述されたタグが指示するテキストデータに応じた文字の表示指示を行う。すなわち、表示処理部４に対して、属性情報が記述されたタグが指示するテキストデータ（字幕データ）の転送とその表示指示（合成指示）とを行う。
なおこのとき、字幕データの表示指示は、当該字幕データについての表示タイミングが、ＴＴＭＬデータにより指定されるタイミングとなるようにして行う。

ステップＳ１０４の処理を実行した後は、図示するように「ＲＥＴＵＲＮ」となる。

なお、図７においては、再生装置１がディスプレイとしての表示部７を備える構成を例示したが、もちろん表示部７は外付けとされてもよい。すなわち、再生装置１としては、図中の表示部７を除いた構成とすることもできる。

＜４．実施の形態のまとめ及び変形例＞

上記により説明したように、本実施の形態の表示制御手法によれば、ＴＴＭＬベースで、字幕強制表示機能を実現することができる。
また、本実施の形態では、強制表示に係る属性情報をタグに対して記述するようにしたことで、属性情報を記述するタグの選択により字幕強制表示制御の対象とするテキスト部分を自由に選択することができる。

このとき、字幕強制表示機能が無い従来では、warning cardは、映画としての映像の一部として挿入するということが行われている。すなわち、映像ファイルとして挿入するものである。
warning cardは、コンテンツの配信先に応じて、それぞれ異なる言語によるものを挿入すべきであるが、このように映像ファイルとして挿入するとしたときは、各言語ごとに映像ファイルを用意しておくということとなり、その分、配信元で大容量の記録媒体を用意する必要があることとなったり、また作業負担の増大によりコンテンツ制作に係るコストの増加も招く虞がある。

これに対し、ＴＴＭＬベースでの字幕強制表示を実現する本実施の形態によれば、言語別に保持しておくのはＴＴＭＬデータとしてのテキストデータのみで良く、その分、記録を要するデータ容量の削減、及び制作に係るコストの削減が図られる。

ここで、確認のため、このような各言語ごとのＴＴＭＬデータの生成と、所望の言語による字幕表示の選択を行うための手順・構成について以下で説明しておく。
先ずこの場合は、先の図１に示したＴＴＭＬデータ生成手順Ｓ１において、各言語の字幕について個別にＴＴＭＬデータを作成する。また、映像データとの合成手順Ｓ２では、これら言語ごとに生成された複数のＴＴＭＬデータと映像データとをマルチプレックスした配信用データを生成し、記録手順Ｓ３では、当該配信用データを所要の記録媒体（配信用サーバ装置の記録媒体又はリムーバブルメディアＲＭ）に記録する。

この場合の再生装置１では、上記映像データとしてのコンテンツの再生前などに、ユーザからの言語指定をコントローラ５が受け付けるようにしておく。
コントローラ５は、再生時には、指定された言語に対応するＴＴＭＬデータのみを抽出するようにデマルチプレクサ３に指示し、抽出されるＴＴＭＬデータに基づき、先に説明したものと同様の字幕強制表示制御を行う。
これにより指定された言語についての字幕強制表示が実現される。

或いは、配信用データとして、映像データと１つの字幕言語について生成したＴＴＭＬデータとをマルチプレックスしたものを字幕言語ごとに個別に生成しておき、それら言語ごとの配信用データを所要の記録媒体に記録しておくということもできる。
このとき、ネットワーク配信の場合には、配信用サーバ装置が、再生装置１側からの言語指定に応じて、指定された言語に対応する配信用データをその再生装置１に送出するようにしておく。またリムーバブルメディアＲＭを利用した配信の場合には、各国に対し、その国の字幕言語について作成した配信用データを記録したリムーバブルメディアＲＭを配布するものとしておく。
これにより再生装置１側において、その国に対応した言語による字幕強制表示が行われるようにできる。
このような手法とすれば、上述の手法とする場合と比較して、配信データ量をより小とすることができ、ネットワーク配信の場合は通信データ量の低減が、またリムーバブルメディアＲＭを利用する場合は当該リムーバブルメディアＲＭの記録容量の削減が図られる。

なお、本技術は、これまでで説明した具体例に限定されるべきものではない。
例えばこれまでの説明では、「属性値」を記述する例を挙げたが、当該「属性値」の記述は不要とすることもできる。
具体的に、任意のタグに対して属性情報である旨を表す”forced”などの所定データを記載したときに、字幕強制表示がオンである旨を表すものと定義する場合には、”true”又は”false”などの属性値の記述は不要である。この場合、再生装置１は、タグ内に”forced”等の字幕強制表示に係る所定のデータの記述がある場合に、当該所定のデータが記述されたタグにより指定される字幕データの強制表示を行うように構成しておく。
属性値を記述する場合は、強制表示をオフとするときも”forced”とその属性値を記述する必要があるが、上記の手法とした場合、強制表示をオフとするときは”forced”と属性値の記述は不要となり、その分、ＴＴＭＬデータの作成作業の効率化が図られる。

またこれまでの説明では、本技術を映像コンテンツについてのネットワーク配信やリムーバブルメディアを利用しての配信に適用する場合を例示したが、例えばデジタルテレビ放送の字幕表示に対しても本技術は好適に適用できる。

また本技術は、強制表示の対象として、文字情報と共にビットマップデータ等に基づく画像も併せて表示する場合等にも好適に適用できる。

１再生装置、２入力部、３デマルチプレクサ、４表示処理部、５コントローラ、６操作部、７表示部、ＮＴネットワーク、ＲＭリムーバブルメディア

Claims

文書の要素を定義するタグ内に字幕強制表示に係る所定の属性情報を記述したＴＴＭＬ（Timed Text Markup Language）データを生成する生成手順と、
上記生成手順により生成した上記ＴＴＭＬデータを所要の記録媒体に記録する記録手順と、
上記記録媒体に記録された上記ＴＴＭＬデータを入力する入力手順と、
上記入力手順により入力した上記ＴＴＭＬデータ内の上記所定の属性情報に基づき、当該属性情報が書き込まれたタグにより指定されるテキストデータに基づく文字が、字幕表示設定のオン／オフに関わらず表示部に表示されるように制御する表示制御手順と
を有する表示制御方法。
上記所定の属性情報は、当該属性情報である旨を表すデータと対応づけられて記述される属性値に応じて強制表示のオン／オフを表すように記述される
請求項１に記載の表示制御方法。
上記生成手順では、
異なる言語の字幕についてそれぞれ上記ＴＴＭＬデータを生成し、それら複数のＴＴＭＬデータと映像データとをマルチプレックスした配信用データを生成し、
上記記録手順では、上記配信用データを上記記録媒体に記録し、
上記入力手順では、
上記配信用データから上記映像データを分離すると共に、上記複数のＴＴＭＬデータのうち指定された言語についての上記ＴＴＭＬデータを選択して入力する
請求項２に記載の表示制御方法。
上記生成手順では、上記所定の属性情報を<span>タグ内に記述する請求項１に記載の表示制御方法。
上記生成手順では、上記所定の属性情報を<body>タグ内に記述する請求項１に記載の表示制御方法。
上記生成手順では、上記所定の属性情報を<div>タグ内に記述する請求項１に記載の表示制御方法。
上記生成手順では、上記所定の属性情報を<p>タグ内に記述する請求項１に記載の表示制御方法。
上記生成手順では、上記所定の属性情報を<region>タグ内に記述する請求項１に記載の表示制御方法。
文書の要素を定義するタグ内に字幕強制表示に係る所定の属性情報を記述したＴＴＭＬ（Timed Text Markup Language）データを取得する取得部と、
上記取得部により取得した上記ＴＴＭＬデータ内の上記所定の属性情報に基づき、当該属性情報が書き込まれたタグにより指定されるテキストデータに基づく文字が、字幕表示設定のオン／オフに関わらず表示部に表示されるように制御する表示制御部と
を備える表示制御装置。
上記所定の属性情報は、当該属性情報である旨を表すデータと対応づけられて記述される属性値に応じて強制表示のオン／オフを表すように記述され、
上記表示制御部は、
上記属性値に応じて字幕強制表示のオン／オフを制御する
請求項９に記載の表示制御装置。
異なる言語の字幕についてそれぞれ上記ＴＴＭＬデータが生成され、それら複数のＴＴＭＬデータと映像データとをマルチプレックスした配信用データが、所要の記録媒体に記録されており、
上記取得部は、
上記配信用データから上記映像データを分離すると共に、上記複数のＴＴＭＬデータのうち指定された言語についての上記ＴＴＭＬデータを選択して取得する
請求項９に記載の表示制御装置。