JP2012138670A - Digital broadcast receiver, digital broadcast receiver control method, and control program - Google Patents
Digital broadcast receiver, digital broadcast receiver control method, and control program Download PDFInfo
- Publication number
- JP2012138670A JP2012138670A JP2010288244A JP2010288244A JP2012138670A JP 2012138670 A JP2012138670 A JP 2012138670A JP 2010288244 A JP2010288244 A JP 2010288244A JP 2010288244 A JP2010288244 A JP 2010288244A JP 2012138670 A JP2012138670 A JP 2012138670A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- subtitle
- data
- unit
- broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000013500 data storage Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920003208 poly(ethylene sulfide) Polymers 0.000 description 1
- 229920006393 polyether sulfone Polymers 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、字幕データに基づいて字幕を選択的に表示するデジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラムに関する。 The present invention relates to a digital broadcast receiving apparatus that selectively displays subtitles based on subtitle data, a control method for the digital broadcast receiving apparatus, and a control program.
従来、デジタル放送に用いる映像信号および音声信号は、それぞれデジタル圧縮され、符号化されて映像エレメンタリーストリーム(ES: Elementary Stream)及び音声エレメンタリーストリームとされる。これらの映像エレメンタリーストリームあるいは音声エレメンタリーストリームは、適当な大きさに分割されてパケット化され、PES(Packetized Elementary Stream)とされる。さらにこれらのPESは、時系列に繋がれ映像トランスファーストリーム(TS)及び音声トランスファーストリームとされる。
デジタル放送で字幕放送を行う場合には、字幕データは符号化後にエレメンタリーストリームとされ、このエレメンタリーストリームは適当な大きさに分割及びパケット化されてPESとされ、時系列に繋がれ字幕トランスファーストリーム(TS)とされる。
これらの映像トランスファーストリーム、音声トランスファーストリーム及び字幕トランスファーストリームは、一つのトランスファーストリームTSに多重化され、デジタル放送信号として送信されていた(例えば、特許文献1参照)。
Conventionally, a video signal and an audio signal used for digital broadcasting are each digitally compressed and encoded to be a video elementary stream (ES) and an audio elementary stream. These video elementary streams or audio elementary streams are divided into packets of appropriate size and packetized to form PES (Packetized Elementary Stream). Further, these PESs are connected in time series to be a video transfer stream (TS) and an audio transfer stream.
When subtitle broadcasting is performed by digital broadcasting, the subtitle data is converted into an elementary stream after encoding. The elementary stream is divided and packetized into an appropriate size to form a PES, which is connected in time series and is transferred to the subtitle. Stream (TS).
These video transfer stream, audio transfer stream, and subtitle transfer stream are multiplexed into one transfer stream TS and transmitted as a digital broadcast signal (see, for example, Patent Document 1).
デジタル放送受信装置側では、上述した手順とは逆の手順で、受信した多重信号を映像トランスファーストリーム、音声トランスファーストリーム、字幕トランスファーストリームに分離後それぞれ復号化し、元の映像信号、音声信号、字幕信号としていた。
ところで、デジタル放送における字幕信号は、クローズドキャプションであり、アナログ放送における字幕(オープンキャプション)とは異なっており、表示/非表示の設定または選択が送信側または受信側で設定または選択ができる。
また、字幕放送を行う場合、映像や音声との同期をとる場合には、字幕の表示タイミングが問題になるが、タイムスタンプという仕組みを用いて、映像や音声との同期をとっている。
On the digital broadcast receiver side, the received multiplexed signal is separated into a video transfer stream, an audio transfer stream, and a caption transfer stream in a procedure reverse to the above-described procedure, and then decoded to obtain the original video signal, audio signal, and caption signal. I was trying.
By the way, a caption signal in digital broadcasting is a closed caption, which is different from a caption (open caption) in analog broadcasting, and display / non-display setting or selection can be set or selected on the transmission side or the reception side.
Also, when subtitle broadcasting is performed, when synchronizing with video and audio, the display timing of subtitles becomes a problem, but synchronization with video and audio is performed using a mechanism called a time stamp.
ところで、地上波デジタルテレビ放送においては、電波状況が悪くなると、まず、映像を表示できなくなり、次に音声再生が途切れることとなる。
特に車載用デジタル放送受信装置においては、ドライバーは音声により放送内容を把握しているため、音声が途切れると全く放送内容を把握することができなくなってしまう。
この場合に、字幕データに基づいて音声を再生することが考えられるが、一定の音声を用いた場合、通常のテレビ音声と、字幕データに基づく字幕音声との差が大きくなり、通常の音声再生と字幕データに基づく字幕音声再生との切り替え時に、ユーザに違和感を与えるおそれがある。
本発明は、上述した事情に鑑みてなされたものであり、テレビ音声と字幕音声との切り替え時の違和感を低減することが可能なデジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラムを提供することを目的とする。
By the way, in the terrestrial digital television broadcasting, when the radio wave condition is deteriorated, the video cannot be displayed first, and then the sound reproduction is interrupted.
In particular, in the in-vehicle digital broadcast receiving apparatus, since the driver grasps the broadcast content by sound, if the sound is interrupted, the broadcast content cannot be grasped at all.
In this case, it is conceivable to reproduce the audio based on the caption data. However, if a certain audio is used, the difference between the normal TV sound and the subtitle sound based on the subtitle data becomes large, and the normal audio reproduction is performed. And the subtitle sound reproduction based on the subtitle data may cause the user to feel uncomfortable.
The present invention has been made in view of the above-described circumstances, and provides a digital broadcast receiving apparatus, a control method for a digital broadcast receiving apparatus, and a control program capable of reducing a sense of incongruity when switching between TV sound and subtitle sound. The purpose is to provide.
上記目的を達成するために、本発明は、テレビ音声の字幕データが含まれるデジタルテレビ放送を受信して、映像及び音声を再生するデジタル放送受信装置において、音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成する字幕音声生成部と、前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整する字幕音声調整部と、を備えたことを特徴とする。
上記構成によれば、音声再生が途切れている間に、字幕データに基づいて字幕を読み上げる字幕音声を生成する字幕音声生成部を備えたため、テレビ音声が途切れてしまった場合であっても、字幕データに基づいて字幕音声を再生できる。また、デジタルテレビ放送の番組内容あるいはテレビ音声の特徴に合わせて字幕音声を調整する字幕音声調整部を備えたため、通常のテレビ音声と、字幕データに基づく字幕音声との差が小さくなり、テレビ音声再生と字幕データに基づく字幕音声再生との切り替え時の違和感を低減できる。
In order to achieve the above-mentioned object, the present invention receives a digital television broadcast including television audio subtitle data and reproduces video and audio while the audio reproduction is interrupted. A subtitle audio generation unit that generates subtitle audio that reads out subtitles based on subtitle data, and a subtitle audio adjustment unit that adjusts the subtitle audio in accordance with the program content of the digital TV broadcast or the characteristics of the TV audio. It is characterized by that.
According to the above configuration, the subtitle audio generation unit that generates the subtitle audio that reads out the subtitle based on the subtitle data while the audio reproduction is interrupted includes the subtitle audio generation unit. Subtitle audio can be played back based on the data. In addition, since it has a subtitle audio adjustment unit that adjusts subtitle audio in accordance with digital TV broadcast program content or TV audio characteristics, the difference between normal TV audio and subtitle audio based on subtitle data is reduced. It is possible to reduce a sense of incongruity when switching between reproduction and subtitle audio reproduction based on subtitle data.
上記構成において、データ放送を取得するデータ放送取得部を備え、前記字幕音声調整部は、前記字幕データ又は前記データ放送に含まれる発話者情報に合わせて前記字幕音声を調整してもよい。 In the above configuration, a data broadcast acquisition unit that acquires a data broadcast may be provided, and the subtitle audio adjustment unit may adjust the subtitle audio in accordance with the caption data or speaker information included in the data broadcast.
上記構成において、データ放送を取得するデータ放送取得部を備え、前記字幕音声調整部は、前記データ放送に含まれる番組情報に合わせて前記字幕音声を調整してもよい。 In the above configuration, a data broadcast acquisition unit that acquires data broadcast may be provided, and the caption audio adjustment unit may adjust the caption audio in accordance with program information included in the data broadcast.
上記構成において、前記テレビ音声を記憶する音声データ記憶部を備え、前記字幕音声調整部は、前記音声データ記憶部に記憶された、音声再生が途切れる前のテレビ音声の特徴に合わせて前記字幕音声を調整してもよい。 In the above configuration, the audio data storage unit for storing the TV audio is provided, and the subtitle audio adjusting unit is stored in the audio data storage unit according to the characteristics of the TV audio before audio reproduction is interrupted. May be adjusted.
また、本発明は、字テレビ音声の字幕データが含まれるデジタルテレビ放送を受信して、映像及び音声を再生するデジタル放送受信装置の制御方法において、音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成し、前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整する。 The present invention also provides a method for controlling a digital broadcast receiving apparatus that receives a digital television broadcast including subtitle data of character television audio and reproduces video and audio, while the audio reproduction is interrupted. The subtitle sound that reads out the subtitle is generated based on the above, and the subtitle sound is adjusted according to the program content of the digital television broadcast or the characteristics of the TV sound.
また、本発明は、テレビ音声の字幕データが含まれるデジタルテレビ放送を受信して、映像及び音声を再生するデジタル放送受信装置を制御部により制御するための制御プログラムにおいて、前記制御部を、音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成し、前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整する手段として機能させることを特徴とする。 According to another aspect of the present invention, there is provided a control program for controlling a digital broadcast receiving apparatus that receives digital television broadcast including television audio subtitle data and reproduces video and audio by the control unit. Generate subtitle sound for reading out subtitles based on the subtitle data while playback is interrupted, and function as means for adjusting the subtitle sound in accordance with the program content of the digital TV broadcast or the characteristics of the TV sound It is characterized by.
本発明によれば、テレビ音声が途切れてしまった場合であっても、字幕データに基づいて字幕音声を再生できるとともに、通常のテレビ音声と、字幕データに基づく字幕音声との差が小さくなり、テレビ音声再生と字幕データに基づく字幕音声再生との切り替え時の違和感を低減できる。 According to the present invention, even when the TV sound is interrupted, the subtitle sound can be reproduced based on the subtitle data, and the difference between the normal TV sound and the subtitle sound based on the subtitle data is reduced. It is possible to reduce a sense of incongruity when switching between TV sound reproduction and caption sound reproduction based on caption data.
以下、図面を参照して本発明の実施の形態について説明する。以下の説明では、デジタル放送受信装置として、車載型の車載用デジタル放送受信装置について例示する。
図1は、本実施の形態に係る車載用デジタル放送受信装置の概要構成ブロック図である。
車載用デジタル放送受信装置10は、例えば車両のコンソールパネル等に設置されている。車載用デジタル放送受信装置10は、地上波デジタルテレビ放送を受信するための外部アンテナ11に接続され、このアンテナを介して、地上波デジタルテレビ放送に係る信号(以下、単にデジタル放送信号と言う。)を受信する。この車載用デジタル放送受信装置10は、制御部22と、入力部23と、チューナ部12と、トランスファーストリームデコーダ部13と、映像デコーダ部14と、音声デコーダ部15と、字幕デコーダ部16と、データ放送デコーダ部(データ放送取得部)24と、音声合成部(字幕音声生成部)17と、音声処理部19と、映像処理部21と、記憶部60とを備えている。
Embodiments of the present invention will be described below with reference to the drawings. In the following description, a vehicle-mounted in-vehicle digital broadcast receiver is illustrated as the digital broadcast receiver.
FIG. 1 is a schematic block diagram of the in-vehicle digital broadcast receiving apparatus according to the present embodiment.
The in-vehicle
制御部22は、CPUや、ROM、RAM、その他の周辺回路等を備え、車載用デジタル放送受信装置10を構成する各部を中枢的に制御する。また、制御部22は、文字を認識する文字認識部22Aと、音声データを解析する音声データ解析部22Bとを備えている。
入力部23は、キーボードやマウス等の入力デバイスや、車載用デジタル放送受信装置10本体に設けられた操作スイッチ、図示せぬリモートコントローラーからの信号を受信する受信機等に接続され、ユーザによる車載用デジタル放送受信装置10に対する番組選択を含む各種の指示入力を検出し、制御部22に出力する。
The
The
チューナ部12は、制御部22の制御の下、外部アンテナ11により受信したデジタル放送信号を復調して放送信号を生成し、トランスファーストリームデコーダ部13に出力する。
トランスファーストリームデコーダ部13は、制御部22の制御の下、チューナ部12から入力されたトランスファーストリーム形式の放送信号から、ユーザが選択した番組に対応する映像PES、音声PES、字幕PESおよびデータ放送データを抽出し、映像PESを映像デコーダ部14に、音声PESを音声デコーダ部15に、字幕PESを字幕デコーダ部16に、データ放送をデータ放送データとしてデータ放送デコーダ部24に出力する。また、トランスファーストリームデコーダ部13は、映像データ、音声データ、字幕データおよびデータ放送を抽出できない場合には、それぞれのエラーデータを制御部22に出力する。
The
The transfer
映像デコーダ部14は、制御部22の制御の下、トランスファーストリームデコーダ部13から入力された映像PESを復号し、映像信号SGとして映像処理部21に出力する。
音声デコーダ部15は、制御部22の制御の下、トランスファーストリームデコーダ部13から入力された音声PESを復号し、音声信号SAとして音声処理部19に出力する。また、音声デコーダ部15は、複合した音声データを制御部22に出力する。
字幕デコーダ部16は、制御部22の制御の下、トランスファーストリームデコーダ部13から入力された字幕PES(独立PES)を復号し、字幕信号SCとして映像処理部21に、字幕データDCとして音声合成部17に出力する。また、字幕デコーダ部16は、複合した字幕データを制御部22に出力する。
Under the control of the
The
The
データ放送デコーダ部24は、制御部22の制御の下、トランスファーストリームデコーダ部13から入力されたデータ放送データを復号し、データ放送信号SDとして映像処理部21に出力する。すなわち、データ放送デコーダ部24は、データ放送を取得する。また、データ放送デコーダ部24は、複合したデータ放送データを制御部22に出力する。
データ放送データには、番組情報や番組配列情報等が含まれており、番組情報に関連するデータとして、個々の番組のジャンル(例えば、ニュース番組、スポーツ番組、ドラマ番組、映画番組、アニメ番組等)を示すデータや、個々の番組のタイトルを示すデータ、個々の番組を特徴付づけるキーワード(例えば、出演者名や役名等)のデータ等が存在する。
The data
The data broadcast data includes program information, program arrangement information, and the like. As data related to the program information, the genre of each program (for example, news program, sports program, drama program, movie program, animation program, etc.) ), Data indicating the titles of individual programs, data on keywords (for example, names of performers and roles) that characterize the individual programs, and the like.
音声合成部17は、制御部22の制御の下、字幕データDCに基づいて字幕を読み上げる字幕音声を生成し、字幕音声信号SCAとして音声処理部19に出力する。
音声処理部19は、D/A変換器や増幅器等を備え、音声信号SAあるいは字幕音声信号SCAに対して各種処理を行い、外部スピーカー18に出力する。
映像処理部21は、映像信号SG、字幕信号SCおよびデータ放送信号SDに対して各種の映像処理を行い、ディスプレイ20に出力する。ディスプレイ20は、液晶ディスプレイや、有機ELディスプレイ、CRTディスプレイ等の表示ディスプレイを備え、この表示ディスプレイに映像処理部21から入力された映像信号SGに基づいて、テレビ画面等の映像を表示する。
Under the control of the
The
The
記憶部60は、ハードディスクやEEPROM等の記憶装置を備え、制御部22の制御の下、各種データを書き換え可能に記憶する。記憶部60は、音声デコーダ部15が出力した音声データを記憶する音声データ記憶部60Aと、字幕デコーダ部16が出力した字幕データを記憶する字幕データ記憶部60Bと、データ放送デコーダ部24が出力したデータ放送データを記憶するデータ放送データ記憶部60Cと、発話者データベース61(図4参照)を記憶する発話者記憶部60Dと、番組情報データベース62(図4参照)を記憶する番組情報記憶部60Eと、とを有している。
The
図2は、字幕デコーダ部16の概要構成ブロック図である。
字幕デコーダ部16は、大別すると、字幕データの解析を行うデータ解析部25と、データ解析部25の解析結果に基づいて字幕信号SCおよび字幕データDCを生成し出力する字幕制御部26と、を備えている。
データ解析部25は、字幕PESが入力され、入力された字幕PESの符号解析を行って、制御情報および文字情報を抽出して出力する符号解析部27と、符号解析部27により抽出された制御情報を解析し、字幕文字の表示位置、字幕文字の表示開始タイミング(PTS:Presentation Time Stamp)、字幕文字の表示サイズ、字幕文字の表示色などの表示制御情報を解析結果として出力する制御情報解析部28と、符号解析部27により抽出された文字情報を解析し、字幕文字の文字コード、外字情報などの文字制御情報を解析結果として出力する文字情報解析部29と、を備えている。
FIG. 2 is a schematic configuration block diagram of the
The
The
図3は、デジタル放送信号のフォーマットの一例の説明図である。
デジタル放送信号30は、映像トランスファーストリーム31、音声トランスファーストリーム32、字幕トランスファーストリーム33及びデータ放送トランスファーストリーム34を備えている。
映像トランスファーストリーム31、音声トランスファーストリーム32及び字幕トランスファーストリーム33は、同様の構成を採っている。より具体的には、映像トランスファーストリーム31は、トランスファーストリームの先頭を表すトランスファストリームヘッダー41と、実際の映像データが格納された映像PES42と、を備えている。また、音声トランスファーストリーム32は、トランスファーストリームの先頭を表すトランスファストリームヘッダー44と、実際の音声データが格納された音声PES45と、を備えている。また、字幕トランスファーストリーム33は、トランスファーストリームの先頭を表すトランスファストリームヘッダー47と、実際の字幕データが格納された字幕PES48と、を備えている。データ放送トランスファーストリーム34は、トランスファーストリームの先頭を表すトランスファストリームヘッダー71と、実際のデータ放送が格納されたデータ放送パケット72と、を備えている。
FIG. 3 is an explanatory diagram of an example of a format of a digital broadcast signal.
The
The
ここで、字幕PESについてより詳細に説明する。
字幕PES48は、格納されている字幕データの種類(同期型あるいは非同期型)を表すPESヘッダー51と、実際の字幕データが複数組格納されたPESデータ52と、を備えている。
PESデータ52は、PESデータ52の先頭部分であることを示すヘッダー53と、複数組の字幕データに対応する情報が格納されたデータグループデータ54と、誤り検出用のCRCコードを格納したCRCデータ55と、を備えている。
データグループデータ54は、字幕文字の表示開始タイミング(PTS)を含む各種制御情報を格納した制御情報部56と、実際の字幕データが格納されたデータユニット57と、で構成される字幕データグループ58を複数個備えている。
データユニット57は、文字位置、文字サイズ情報、色情報、文字間隔指定情報、行間隔指定情報、字幕本文の文字コード、規格外の文字のビットマップイメージなどの外字情報などを格納している。
Here, the caption PES will be described in more detail.
The
The
The
The
図4は、データベースを示す図であり、図4(A)は発話者データベース61を示す図であり、図4(B)は番組情報データベース62を示す図である。
図4(A)に示すように、発話者データベース61の1件のレコードには、発話者の名前を示す発話者名フィールド61Aと、音声調整情報を示すデータが格納される音声調整情報フィールド61Bとが含まれている。音声調整情報には、デフォルトの字幕音声に対して声質や口調を変化させるパラメータが格納されている。
図4(B)に示すように、番組情報データベース62の1件のレコードには、番組情報を示すデータが格納される番組情報フィールド62Aと、音声調整情報を示すデータが格納される音声調整情報フィールド62Bとが含まれている。番組情報には、番組のジャンルや、タイトル、キーワードが格納されている。例えば、番組ジャンルがニュース番組であるレコードに、デフォルトの字幕音声を落ち着いた口調に変化させる音声調整情報PG1が格納されている。
4 is a diagram showing a database, FIG. 4 (A) is a diagram showing a
As shown in FIG. 4A, in one record of the
As shown in FIG. 4B, in one record of the
次に、図1〜図3を参照し、本実施の形態の動作を説明する。
車載用デジタル放送受信装置10のチューナ部12は、外部アンテナ11を介して受信したデジタル放送信号を復調し、トランスファーストリームデコーダ部13に出力する。
トランスファーストリームデコーダ部13は、放送信号からトランスファーストリームのデコードを行い、映像PES42を映像デコーダ部14に出力し、音声PES45を音声デコーダ部15に出力し、字幕PES48を字幕デコーダ部16に出力する。
Next, the operation of the present embodiment will be described with reference to FIGS.
The
The transfer
これにより、映像デコーダ部14は、映像PES42の復号化を行い映像信号SGとして映像処理部21に出力する。
また、音声デコーダ部15は、音声PES45の復号化を行い音声信号SAとして音声処理部19に出力する。
また、字幕デコーダ部16のデータ解析部25は、符号解析部27により入力された字幕PES48の符号解析を行って、制御情報である制御情報部56を抽出して制御情報解析部28に出力する。また、符号解析部27は、文字情報であるデータユニット57を抽出して文字情報解析部29に出力する。
As a result, the
Further, the
The
これらの結果、制御情報解析部28は、符号解析部27により抽出された制御情報を解析し、字幕文字の表示位置、字幕文字の表示開始タイミング(PTS)、字幕文字の表示サイズ、字幕文字の表示色などの表示制御情報を解析結果として字幕制御部26に出力する。
一方、文字情報解析部29は、符号解析部27により抽出された文字情報を解析し、字幕文字の文字コード、外字情報などの文字制御情報を解析結果として字幕制御部26に出力する。
As a result, the control
On the other hand, the character
そして、字幕制御部26は、表示制御情報および文字制御情報に基づいて字幕信号SCを生成して映像処理部21に出力する。なお、本実施の形態において、字幕はクローズドキャプションであるので、表示設定がなされていない場合には、映像処理部21に字幕信号SCが出力されることはない。
また、字幕制御部26は、字幕データDCを生成して音声合成部17に出力する。
Then, the
The
ところで、制御部22は、トランスファーストリームデコーダ部13の動作状態を監視し、電波状態が悪くなって、音声デコーダ部15により通常の音声(テレビ音声)を再生できない状態になったかを常時監視している。
そして、音声デコーダ部15により音声再生ができない状態になったと判別した場合には、字幕デコーダ部16から出力された字幕データDCに基づいて音声合成部17に音声合成を行わせ、音声処理部19を介して、字幕音声の再生を行わせることとなる。
By the way, the
When the
図5は、音声再生監視処理を示すフローチャートである。
まず、制御部22は、トランスファーストリームデコーダ部13の動作状態を監視し(ステップS11)、映像再生が可能であるか否かを判別する(ステップS12)。このとき、制御部22は、トランスファーストリームデコーダ部13から映像データのエラーデータが入力されていなければ、映像再生が可能であると判別する。
ステップS12の判別において、映像再生が可能である場合には(ステップS12;Yes)、制御部22は、音声データ記憶部60Aに音声データを記憶させる(ステップS13)。音声データ記憶部60Aには、所定時間分あるいは所定量の音声データが記憶される。
次いで、制御部22は、映像処理部21に映像信号SGに基づいて映像再生を行わせるとともに、音声処理部19に音声信号SAに基づいて音声を再生させ(ステップS14)、処理を再びステップS11に移行させ、以下同様の処理を行わせる。
FIG. 5 is a flowchart showing the audio reproduction monitoring process.
First, the
If it is determined in step S12 that video playback is possible (step S12; Yes), the
Next, the
ステップS12の判別において、映像再生が可能ではない場合には(ステップS12;No)、制御部22は、トランスファーストリームデコーダ部13の動作状態に基づいて、音声再生が可能であるか否かを判別する(ステップS15)。このとき、制御部22は、トランスファーストリームデコーダ部13から音声データのエラーデータが入力されていなければ、音声再生が可能であると判別する。
If it is determined in step S12 that video reproduction is not possible (step S12; No), the
ステップS15の判別において、音声再生が可能である場合には(ステップS15;Yes)、制御部22は、音声データ記憶部60Aに音声データを記憶させ(ステップS16)、音声処理部19に音声信号SAに基づいて音声再生を行わせ(ステップS17)、処理を再びステップS11に移行させ、以下同様の処理を行わせる。
ステップS15の判別において、音声再生が可能ではない場合には(ステップS15;No)、字幕音声の再生が必要であるので、制御部22は、字幕音声再生処理を行い(ステップS18)、処理をステップS11に移行する。
If it is determined in step S15 that sound reproduction is possible (step S15; Yes), the
If it is determined in step S15 that audio reproduction is not possible (step S15; No), since subtitle audio needs to be reproduced, the
図6は、字幕音声再生処理を示すフローチャートである。
字幕音声再生処理において、制御部22は、音声合成部17が生成した字幕音声を調整する字幕音声調整部として機能する。
まず、制御部22は、音声再生が途切れた場合には、音声合成部17に字幕データDCから字幕音声を生成させる(ステップS21)。このとき、音声合成部17が生成する字幕音声がデフォルトの字幕音声である。
次いで、制御部22は、データ放送が有るか否か判別する(ステップS22)。このとき、制御部22は、トランスファーストリームデコーダ部13からデータ放送のエラーデータが入力されていなければ、データ放送が有ると判別する。
FIG. 6 is a flowchart showing subtitle audio reproduction processing.
In the caption audio reproduction processing, the
First, when the audio reproduction is interrupted, the
Next, the
ステップS22の判別において、データ放送が有る場合には(ステップS22;Yes)、制御部22は、データ放送に含まれる番組内容に合わせて字幕音声を調整する(ステップS23)。
より詳細には、制御部22は、文字認識部22Aに、字幕データ記憶部60Bに記憶された字幕データの文字を認識させ、字幕データに出演者名又は役名等の発話者名を特定する発話者情報が含まれているか否か判別する。例えば、制御部22は、ドラマ番組や映画番組、アニメ番組において、字幕の最初に付される役名を発話者情報として認識する。さらに、制御部22は、文字認識部22Aに、データ放送データ記憶部60Cに記憶されたデータ放送の文字を認識させ、データ放送と、字幕データに含まれていた発話者情報とを比較することで、発話者名を特定してもよい。
If it is determined in step S22 that there is a data broadcast (step S22; Yes), the
More specifically, the
そして、制御部22は、発話者記憶部60Dに記憶された発話者データベース61の発話者名フィールド61Aを参照し、発話者名を含むレコードを特定する。制御部22は、発話者名を含むレコードを特定すると、特定したレコードの音声調整情報を音声合成部17に出力してデフォルトの字幕音声を調整し、音声合成部17に、調整した字幕音声を字幕音声信号SCAとして出力させる。
And the
制御部22は、発話者情報を特定できなかった場合、あるいは、特定した発話者名を示すレコードが特定できなかった場合には、音声合成部17にデフォルトの字幕音声を字幕音声信号SCAとして出力させる。このとき、制御部22は、番組情報記憶部60Eに記憶された番組情報データベース62を参照し、ユーザにより選択された番組の番組情報に合わせて字幕音声を調整してもよい。例えば、ユーザにより選択された番組がニュース番組の場合、制御部22は、番組情報データベース62の番組情報フィールド62Aを参照し、ユーザにより選択された番組の番組情報を含むレコードを特定する。制御部22は、番組情報を含むレコードを特定すると、特定したレコードの音声調整情報を用いてデフォルトの字幕音声を落ち着いた音声に調整する。
When the speaker information cannot be specified or when the record indicating the specified speaker name cannot be specified, the
ステップS22の判別において、データ放送が無い場合には(ステップS22;No)、制御部22は、途切れる前のテレビ音声の特徴に合わせて字幕音声を調整して再生する(ステップS24)
より詳細には、制御部22は、音声データ解析部22Bに、音声データ記憶部60Aに記憶された音声データを解析させる。そして、制御部22は、周波数等の解析結果から音声調整情報を生成し、生成した音声調整情報を音声合成部17に出力してデフォルトの字幕音声を調整し、音声合成部17に、調整した字幕音声を字幕音声信号SCAとして出力させる。
If it is determined in step S22 that there is no data broadcast (step S22; No), the
More specifically, the
次いで、制御部22は、音声処理部19に調整した字幕音声を再生させる(ステップSS25)。音声処理部19は、調整された字幕音声信号SCAに対して各種処理を行い、外部スピーカー18に出力するので、外部スピーカー18から発話者の音声特徴に合った字幕音声が再生される。
これにより、電波状況の悪化により、映像ばかりでなく音声が途切れてしまった場合であっても、字幕データに基づいて字幕音声が再生されるので、視聴者であるユーザは視聴していた番組がどのような状況になっているのかを容易に把握できる。
特に車載用テレビ受信装置においては、ドライバーは、テレビ画面を注視することができないので、映像ばかりでなく音声が途切れてしまった場合には、従来においては全く放送内容を把握することができなかった。本実施の形態では、音声が途切れてしまった場合に字幕音声が再生されるので、ドライバーは放送内容を把握できる。しかも、番組情報や発話者情報等の番組内容あるいは途切れる前のテレビ音声に合わせて字幕音声が調整されるので、通常の音声再生と字幕データに基づく字幕音声再生との切り替え時の違和感を最小限に抑えることができる。
Next, the
As a result, even if the sound is interrupted as well as the video due to the deterioration of the radio wave condition, the subtitle audio is reproduced based on the subtitle data. You can easily grasp the situation.
Especially in the in-car TV receiver, the driver cannot watch the TV screen, so if the sound is interrupted as well as the video, the broadcast contents could not be grasped at all in the past. . In this embodiment, since the subtitle sound is reproduced when the sound is interrupted, the driver can grasp the broadcast content. In addition, subtitle sound is adjusted according to the program contents such as program information and speaker information or the TV sound before interruption, so that the discomfort when switching between normal audio playback and subtitle audio playback based on subtitle data is minimized. Can be suppressed.
なお、ステップS25の字幕音声の再生において、制御部22は、一区切りの字幕に基づく字幕音声の再生が終了した際に、次の字幕に基づく字幕音声に対しステップS23又はステップS24で行った調整を引き継いでもよいし、次の字幕に基づく字幕音声をデフォルトの字幕音声として再生してもよい。ここで、一区切りの字幕としては、例えば、一又は複数のデータユニット57に含まれる字幕、あるいは、一又は複数の字幕PES48に含まれる字幕があげられる。
In the reproduction of subtitle audio in step S25, the
以上説明したように、本実施の形態によれば、音声再生が途切れている間に、字幕データに基づいて字幕を読み上げる字幕音声を生成する音声合成部17と、デジタルテレビ放送の番組内容に合わせて字幕音声を調整する制御部22と、データ放送を取得するデータ放送デコーダ部24とを備え、制御部22は、番組情報や発話者情報等の番組内容に合わせて字幕音声を調整する構成とした。このため、電波状況の悪化により、映像ばかりでなく音声が途切れてしまった場合であっても、字幕データに基づいて字幕音声を再生でき、視聴者であるユーザは視聴していた番組がどのような状況になっているのかを容易に把握できる。しかも、番組情報や発話者情報に合わせて字幕音声が調整されるので、通常のテレビ音声と、字幕データに基づく字幕音声との差が小さくなり、通常の音声再生と字幕データに基づく字幕音声再生との切り替え時の違和感を低減できる。
As described above, according to the present embodiment, the
また、本実施の形態によれば、テレビ音声を記憶する音声データ記憶部60Aを備え、制御部22は、音声データ記憶部60Aに記憶された、音声再生が途切れる前のテレビ音声の特徴に合わせて字幕音声を調整する構成とした。このため、例えば、データ放送が無い場合でも、途切れる前のテレビ音声に合わせて字幕音声が調整されるので、通常のテレビ音声と、字幕データに基づく字幕音声との差が小さくなり、通常の音声再生と字幕データに基づく字幕音声再生との切り替え時の違和感を低減できる。
In addition, according to the present embodiment, the audio data storage unit 60A for storing the TV audio is provided, and the
但し、上記実施の形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
例えば、上記実施の形態では、ステップS23において、制御部22は、発話者情報から音声調整情報を特定できなかった場合に、番組内容に合わせてデフォルトの字幕音声を調整したいたが、発話者情報の特定を試みることなく、直接、番組内容に合わせてデフォルトの字幕音声を調整してもよい。
また、上記実施の形態では、番組情報をデジタルテレビ放送に含まれるデータ放送から取得していたが、番組情報をネットワークを介して取得してもよい。
However, the above embodiment is an aspect of the present invention, and it is needless to say that the embodiment can be appropriately changed without departing from the gist of the present invention.
For example, in the above embodiment, in step S23, the
In the above embodiment, program information is acquired from a data broadcast included in a digital television broadcast. However, program information may be acquired via a network.
また、上記実施の形態では、デジタル放送受信装置は、車載型の車載用デジタル放送受信装置として説明したが、例えば、携帯電話、PND(Personal Navigation Device)、ゲーム機等の携帯端末に内蔵される携帯型のデジタル放送受信装置や、据置型のデジタル放送受信装置であってもよい。 In the above-described embodiment, the digital broadcast receiving apparatus is described as an in-vehicle digital broadcast receiving apparatus. However, the digital broadcast receiving apparatus is built in a mobile terminal such as a mobile phone, a PND (Personal Navigation Device), or a game machine. It may be a portable digital broadcast receiver or a stationary digital broadcast receiver.
10 車載用デジタル放送受信装置(デジタル放送受信装置)
17 音声合成部(字幕音声生成部)
22 制御部(字幕音声調整部)
24 データ放送デコーダ部(データ放送取得部)
25 記憶部
25A 音声データ記憶部
10 In-vehicle digital broadcast receiver (digital broadcast receiver)
17 Speech synthesis unit (Subtitle audio generation unit)
22 Control unit (Subtitle audio adjustment unit)
24 Data broadcast decoder section (data broadcast acquisition section)
25 storage unit 25A voice data storage unit
Claims (6)
音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成する字幕音声生成部と、
前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整する字幕音声調整部と、
を備えたことを特徴とするデジタル放送受信装置。 In a digital broadcast receiving apparatus that receives a digital TV broadcast including TV audio subtitle data and reproduces video and audio,
A subtitle audio generation unit that generates subtitle audio that reads out subtitles based on the subtitle data while audio reproduction is interrupted;
A subtitle audio adjustment unit that adjusts the subtitle audio in accordance with the program content of the digital TV broadcast or the characteristics of the TV audio;
A digital broadcast receiver characterized by comprising:
前記字幕音声調整部は、前記字幕データ又は前記データ放送に含まれる発話者情報に合わせて前記字幕音声を調整することを特徴とする請求項1に記載のデジタル放送受信装置。 It has a data broadcast acquisition unit that acquires data broadcasts,
The digital broadcast receiving apparatus according to claim 1, wherein the subtitle audio adjusting unit adjusts the subtitle audio in accordance with speaker information included in the subtitle data or the data broadcast.
前記字幕音声調整部は、前記データ放送に含まれる番組情報に合わせて前記字幕音声を調整することを特徴とする請求項1に記載のデジタル放送受信装置。 It has a data broadcast acquisition unit that acquires data broadcasts,
The digital broadcast receiving apparatus according to claim 1, wherein the subtitle audio adjusting unit adjusts the subtitle audio in accordance with program information included in the data broadcast.
前記字幕音声調整部は、前記音声データ記憶部に記憶された、音声再生が途切れる前のテレビ音声の特徴に合わせて前記字幕音声を調整することを特徴とする請求項1に記載のデジタル放送受信装置。 An audio data storage unit for storing the TV audio;
2. The digital broadcast reception according to claim 1, wherein the subtitle audio adjusting unit adjusts the subtitle audio in accordance with the characteristics of the television audio stored in the audio data storage unit before the audio reproduction is interrupted. apparatus.
音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成し、前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整することを特徴とするデジタル放送受信装置の制御方法。 In a control method of a digital broadcast receiving apparatus that receives a digital TV broadcast including caption data of TV audio and reproduces video and audio,
Generating subtitle sound for reading out subtitles based on the subtitle data while audio reproduction is interrupted, and adjusting the subtitle sound in accordance with the program content of the digital TV broadcast or the characteristics of the TV sound. To control a digital broadcast receiving apparatus.
前記制御部を、音声再生が途切れている間に、前記字幕データに基づいて字幕を読み上げる字幕音声を生成し、前記デジタルテレビ放送の番組内容あるいは前記テレビ音声の特徴に合わせて前記字幕音声を調整する手段として機能させることを特徴とする制御プログラム。 In a control program for controlling a digital broadcast receiving apparatus that receives digital TV broadcast including caption data of TV audio and reproduces video and audio by a control unit,
While the audio playback is interrupted, the control unit generates subtitle sound that reads out the subtitle based on the subtitle data, and adjusts the subtitle sound in accordance with the program content of the digital TV broadcast or the characteristics of the TV sound. A control program which is made to function as a means to perform.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010288244A JP2012138670A (en) | 2010-12-24 | 2010-12-24 | Digital broadcast receiver, digital broadcast receiver control method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010288244A JP2012138670A (en) | 2010-12-24 | 2010-12-24 | Digital broadcast receiver, digital broadcast receiver control method, and control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012138670A true JP2012138670A (en) | 2012-07-19 |
Family
ID=46675782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010288244A Pending JP2012138670A (en) | 2010-12-24 | 2010-12-24 | Digital broadcast receiver, digital broadcast receiver control method, and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012138670A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016091057A (en) * | 2014-10-29 | 2016-05-23 | 京セラ株式会社 | Electronic device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003333445A (en) * | 2002-05-16 | 2003-11-21 | Seiko Epson Corp | Caption extraction device |
| JP2006050013A (en) * | 2004-07-30 | 2006-02-16 | Casio Comput Co Ltd | Television broadcast receiving device, recording / reproducing device |
| JP2008141582A (en) * | 2006-12-04 | 2008-06-19 | Casio Hitachi Mobile Communications Co Ltd | Mobile terminal and program |
| JP2008160749A (en) * | 2006-12-26 | 2008-07-10 | Toshiba Corp | Television receiver and subtitle display method |
-
2010
- 2010-12-24 JP JP2010288244A patent/JP2012138670A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003333445A (en) * | 2002-05-16 | 2003-11-21 | Seiko Epson Corp | Caption extraction device |
| JP2006050013A (en) * | 2004-07-30 | 2006-02-16 | Casio Comput Co Ltd | Television broadcast receiving device, recording / reproducing device |
| JP2008141582A (en) * | 2006-12-04 | 2008-06-19 | Casio Hitachi Mobile Communications Co Ltd | Mobile terminal and program |
| JP2008160749A (en) * | 2006-12-26 | 2008-07-10 | Toshiba Corp | Television receiver and subtitle display method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016091057A (en) * | 2014-10-29 | 2016-05-23 | 京セラ株式会社 | Electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2011111321A1 (en) | Voice reading apparatus and voice reading method | |
| JP2010010744A (en) | Captioned image reproducing device, captioned image reproducing method and program | |
| JP2009111777A (en) | Digital broadcast receiver | |
| JPWO2011142129A1 (en) | Digital broadcast receiving apparatus and digital broadcast receiving method | |
| JP2006129262A (en) | Electronic device and power consumption control method for the same | |
| US20090013371A1 (en) | Digital broadcasting receiving apparatus | |
| JP2009141810A (en) | Subtitled video playback device, and method and program thereof | |
| US7518656B2 (en) | Signal processing apparatus, signal processing method, signal processing program, program reproducing apparatus, image display apparatus and image display method | |
| JP2009159125A (en) | Reproducer for video image with caption, search result notifying method for reproducer for video image with caption, and program | |
| JP2012138670A (en) | Digital broadcast receiver, digital broadcast receiver control method, and control program | |
| JP5551186B2 (en) | Broadcast receiving apparatus and program information audio output method in broadcast receiving apparatus | |
| JP2007006405A (en) | Digital broadcast receiver | |
| JP2003037790A (en) | Broadcast receiver | |
| JP5240833B2 (en) | Subtitled video playback device, subtitled video playback method and program | |
| JP2000324417A (en) | Auxiliary information playback device | |
| JP2009152753A (en) | Video display device | |
| JP2010258776A (en) | Audio signal processing device | |
| JP5110521B2 (en) | Subtitled video playback device and program | |
| JP2006197085A (en) | Electronic program guide receiving device, digital television device and electronic device | |
| JP5311448B2 (en) | Subtitled video playback device, subtitled video playback method and program | |
| JP5500980B2 (en) | Television receiver, television receiver control method and control program | |
| JP4210997B2 (en) | Digital broadcast receiver | |
| JP4287243B2 (en) | Broadcast program recording apparatus, broadcast program reproducing apparatus, broadcast program recording / reproducing apparatus, and broadcast program recording / reproducing method | |
| JP2008141463A (en) | On-screen display device and television receiver | |
| JP2001196956A (en) | Audio digital broadcast receiver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150414 |