JP4958748B2 - 音声処理装置、映像処理装置及びそれらの制御方法 - Google Patents

Description

本発明は、映像表示に関する遅延情報を通信して、音声信号の遅延時間を制御する音声処理装置、映像処理装置、及びそれらの制御方法に関する。

従来より、映像音声再生機器において、表示される映像と出力される音声との時間ずれを解消し、映像と音声とを同期再生する技術が知られている。下記特許文献１では、以下の映像音声同期方法が開示されている。映像処理装置モニタが、映像表示のための固有の遅延要素により生じた遅延時間情報を制御コマンドとしてシルアルバスを介してアンプに対して送出する。アンプは、制御コマンドに応じて映像表示との同期に必要な時間だけ音声を遅延させて出力するものである。
特開２００２−３４４８９８号公報

上記特許文献１の映像音声同期方法においては、映像と音声との時間ずれは、モニタ内で行われる処理の固有の遅延要素にもとづき設定される。そのため、例えば入力機器の種類により画像処理が変化する場合には、十分な同期がとれないという課題がある。

静止画／動画及び解像度などの入力映像信号の種類、ゲーム機又はＤＶＤプレイヤなどの入力機器の種類、ユーザによる画質設定、などにより画像処理時間は変化する。画像処理時間の変化により、映像表示遅延時間が変化すると映像と音声の同期が不十分な再生となる。

本発明に係る映像音声処理システムは、複数の入力ソース機器に接続された音声処理装置と、当該音声処理装置に接続された映像処理装置とを備える映像音声処理システムであって、
前記音声処理装置は、
前記複数の入力ソース機器から１つの入力ソース機器を選択し、選択された入力ソース機器から出力された映像信号と、音声信号と、当該入力ソース機器の機器種類を示す機器種類情報とを受信する選択手段と、
前記選択された入力ソース機器から受信した映像信号と前記機器種類情報とを、前記映像処理装置に送信する第１送信手段と、
前記前記機器種類情報に基づいて決定される、前映像信号の画像処理に係る遅延時間情報を、前記映像処理装置から受信する第１受信手段と、
前記遅延時間情報にもとづいて、前記選択された入力ソース機器から受信した音声信号を遅延させる遅延手段と、を有し、
前記映像処理装置は、
前記選択された入力ソース機器から出力された映像信号と前記機器種類情報とを、前記音声処理装置から受信する第２受信手段と、
前記選択された入力ソース機器の機器種類を示す前記機器種類情報に基づいて、前記映像信号に対して画像処理を行う画像処理手段と、
入力ソース機器として想定し得る複数の機器種類に対応する遅延時間を示すテーブルを参照して、前記選択された入力ソース機器の機器種類を示す前記機器種類情報に基づいて、前記画像処理手段が前記映像信号に対して行う画像処理に係る遅延時間を決定する決定手段と、
前記決定手段により決定された遅延時間を示す遅延時間情報を前記音声処理装置に送信する第２送信手段とを
有することを特徴とする。

本発明によれば、
選択された入力ソース機器の機器種類、映像信号の種類、設定された画質モードなどの条件に対応した画像処理に、それぞれ適応して映像と音声を同期させた適応型の同期再生が可能となる。

以下、図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。

図１は、本実施形態における音声処理装置と映像処理装置のブロック図である。音声処理装置１と映像処理装置２は互いに接続可能な配置をとる。

音声処理装置１と映像処理装置２は、第１のインターフェイスケーブル３により接続される。

音声処理装置１と、入力ソースである第１の映像音声出力機器４及び第２の映像音声出力機器５は、第２のインターフェイスケーブル６及び第３のインターフェイスケーブル７によりそれぞれ接続される。

第１、第２及び第３のインターフェイスケーブルはいずれも、映像信号と音声信号が多重化されて伝送される映像音声信号線３１と、制御信号線３２が物理的に集合されて構成される。具体的にはＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルを用いることができる。

映像音声信号線３１は、映像信号と、映像信号に対応付けられた音声信号とからなる映像音声信号を伝送する。

制御信号線３２は、接続される機器が相互に認証するための機器種類に関する情報、機器の動作を制御する命令情報などからなる制御信号を伝送する。

音声処理装置１は、複数の入力ソースの音声信号が処理可能で、以下の構成を有する。

選択部８（選択手段に対応）は、複数の入力ソースから、第１の制御部１３の制御により特定の入力ソースを選択し、選択された入力ソースの映像音声信号を出力する。また、選択された入力ソースの映像音声信号は、同時に映像処理装置２へも送信される。

音声分離部９は、選択部８が出力する映像音声信号のうち、音声信号を抽出し出力する（入力音声信号が映像信号と多重化されていない場合は不要）。

遅延部１０（遅延手段に対応）は、音声分離部９が出力する音声信号を設定された時間分遅延して出力する。

増幅部１１は、遅延部から出力された音声信号をスピーカ部１２が駆動できるレベルに増幅する。

スピーカ部１２は、増幅された音声信号を可聴音に変換する。

第１の制御部１３（送信手段・受信手段に対応）は、選択部８へ出力する制御信号により選択する入力ソースを指示し、映像処理装置２の第２の制御部２１に選択された入力ソースの種類を送信する。さらに、第２の制御部２１が送信する遅延情報を受信し、遅延情報に基づき遅延時間を設定し、遅延部１０に出力する。

映像処理装置２は、以下の構成を有する。

映像分離部２３は、音声処理装置１における選択部８が出力する映像音声信号のうち、映像信号を抽出し出力する（入力映像信号が音声信号と多重化されていない場合は不要）。

判別部２４（判別手段に対応）は、映像分離部２３が出力する映像信号の解像度、走査方式（インターレース・プログレッシブ）や動画・静止画などの信号種類を解析する。解析結果より、映像信号の種類を判別し、判別結果を第２の制御部２１へ出力する。

画像処理部２５（画像処理手段に対応）は、映像分離部２３が出力する映像信号を、第２の制御部２１の指示により、入力ソースの種類にもとづいて、加工、演算、補正などの信号処理を施して出力する。

表示部２６は、画像処理部で信号処理された映像信号にもとづいた映像を表示する。

設定入力部２２は、ユーザ操作により入力される、表示部２６が表示する映像に関する画質設定情報を出力する。

第２の制御部２１（設定手段、送信手段に対応）は、判別部２４、設定入力部２２、及び音声処理装置１の第１の制御部１３の出力に応じた画像処理をするための制御信号を画像処理部２５に出力する。

以下、図５に示す処理フロー図を用いて、映像音響処理装置及び映像処理装置の動作について詳細に説明する。

音声処理装置１は電源投入により動作を開始する。第１の制御部１３は、複数の入力ソースのうちのいずれかを選択し、選択された入力ソースの映像音声信号を出力するように、選択部８を制御する（選択部制御処理（Ｓ１０１））。入力ソースの選択動作は、ユーザ操作による接続機器選択指示にもとづいて行われる。また、接続機器が１つの場合は自動的に接続機器の入力が選択される。選択された入力ソースの映像音声信号は映像処理装置へ出力されるとともに、音声分離部９により音声信号が取り出される（音声信号分離処理（Ｓ１０３））。選択された入力ソースの制御信号は第１の制御部１３へ入力され、機器の種類に関する情報を映像制御装置２における第２の制御部２１に送信する（制御信号送信処理（Ｓ１０２））。

映像処理装置２は、選択部制御処理（Ｓ１０１）により選択された入力ソースの映像音声信号が入力されると、映像分離部２３により映像信号が取り出され画像処理部２５へ出力される。さらに、判別部２４により解像度、走査方式、及び動画／静止画などの映像信号の種類が判別される（信号分離判別処理（Ｓ２０１））。制御信号送信処理（Ｓ１０２）により第１の制御部１３から送信された制御信号は、第２の制御部２１により受信される（制御信号受信処理（Ｓ２０２））。第２の制御部２１は、制御信号に含まれる機種種別に関する情報を認識する（機種種別情報認識処理（Ｓ２０３））。第２の制御部２１は設定入力部２２の出力を認識する（設定入力認識処理（Ｓ２０４））。第２の制御部２１は、設定入力認識処理（Ｓ２０４）の結果、機器種類情報認識処理（Ｓ２０３）の結果、及び映像信号分離判別処理（Ｓ２０１）の結果から、最適な画像処理を確定させる。さらに、その画像処理に要する遅延時間を設定する（画像処理確定処理（Ｓ２０５））。即ち、各々の画像処理に関連付けされた遅延時間が設定される。確定した画像処理は、画像処理部２５に設定される（画像処理設定処理（Ｓ２０６））とともに、遅延時間に係る遅延時間情報は第１の制御部１３に送信される（映像遅延時間送信処理（Ｓ２０７））。以上によりユーザが視聴している映像信号の種類、機器の種類、及びユーザによる設定入力に適した画像処理（Ｓ２０８）が映像信号に施され、映像が表示される（映像出力処理（Ｓ２０９））。

遅延時間情報は、画像処理に要する時間を含めた、映像信号の入力から、映像信号にもとづく映像が表示部で表示されるまでの遅延時間に係る情報である。

音声処理装置１は、第１の制御部１３が映像遅延時間送信処理（Ｓ２０７）により送信された遅延時間情報を受信する（遅延時間受信処理（Ｓ１０４））。第１の制御部１３は、遅延時間情報に基づき、遅延部１０に遅延時間を設定する（遅延時間設定処理（Ｓ１０５））。音声信号分離処理（Ｓ１０３）によって取り出された音声信号は、遅延部１０に設定された時間分遅延される（遅延処理（Ｓ１０６））。以上により、視聴している映像信号と同期して、音声信号が増幅部１１により増幅されてスピーカ部１２から音声出力される（音声出力処理（Ｓ１０７））。

以下に、機器の種類にもとづく画像処理の具体例を示す。機器の種類がＤＶＤプレイヤの場合は、シネマモードに対応した画像処理を行い、ゲーム機器の場合はゲームモードに対応した画像処理を行う。

シネマモードに対応した画像処理としては、２−３プルダウン処理を用いることができる。２−３プルダウン処理は、フレーム補完処理であるため表示遅延時間は長くなる。

ゲームモードに対応した画像処理としては、フィールド内補完処理を用いることができる。ノイズリダクション処理をせずに、最低限度必要な画像処理のみとして表示遅延時間を短くし、操作に対する違和感を少なくすることができる。

このように、映像処理装置２は入力に接続された機器に対応した画像処理を選択的に実行するため、画像処理時間が変動する。

以下に、映像信号の種類にもとづく画像処理の具体例を示す。
映像信号がプログレッシブ信号の場合は、映像信号を表示部が表示可能な解像度に変換する。映像信号がインターレース信号の場合は、映像信号をプログレッシブ信号に変換するとともに、表示部が表示可能な解像度に変換する。また、映像信号が静止画か動画かに応じて、上記の画像処理をそれぞれに適した処理としてもよい。

このように、映像処理装置２は入力に接続された機器が出力する映像信号種類に対応した画像処理の設定をするため、画像処理時間が変動する。

以下に、画質設定情報にもとづく画像処理の具体例を示す。

ユーザがダイナミック画質を設定した場合は、色補正処理が行われる。また、スタンダード画質を設定した場合は、色補正処理をしない、もしくは処理レベルを弱める。また、ユーザによる設定に応じて、ノイズリダクションやガンマ補正などの画像補正をしてもよい。
このように、ユーザが設定した画質設定に応じて画像処理時間が変動する。

画像処理の開始から映像を表示するまでに要する遅延時間データは、図６に示すようなテーブルデータとして、第２の制御部２１内のメモリに格納される。機器の種類、映像信号の種類及びユーザによる画質設定に応じた遅延時間データは、第１の制御部１３に送信される。遅延時間データは、第２の制御部２１内部のレジスタや外部のメモリに書き込み、第１の制御部１３がアクセスして取得する構成としてもよい。

以上により、機器の種類、映像信号の種類及びユーザによる画質設定に対応して画像処理時間が変動しても、映像表示と同期した音声再生が可能となる。

以下、本発明に係る第２の実施形態について説明する。
図２は、第２の実施形態における音声処理装置と映像処理装置のブロック図である。

第１の実施形態との違いは、
音声処理装置１と第１の映像音声出力機器４を接続する第２のインターフェイスケーブルを、映像信号と音声信号と制御信号を時分割多重した信号を伝送する多重信号線２７とする点である。さらに、音声処理装置１における音声分離部９は、選択部８の出力から音声信号と映像信号と制御信号をそれぞれ分離し出力する。 音声分離部９により分離された映像信号は、映像信号線３３により画像処理部２５及び判別部２４へ出力され、判別部２４により映像信号の種類が判別される。制御信号は第１の制御部１３から映像処理装置２における第２の制御部２１へ送信される。
他の処理は、第１の実施形態と同様である。

以上により、第１の実施形態における映像分離部２３を省略し、音声処理装置１の入力インターフェイスを多種類とした形態においても、映像表示と同期した音声が再生される。

以下、本発明に係る第３の実施形態について説明する。

図３は、第３の実施形態における音声処理装置と映像処理装置のブロック図である。他の実施形態との違いは、
音声処理装置１と第１の映像音声出力機器４及び第２の映像音声出力装置５を接続する第２及び第３のインターフェイスケーブルを、映像音声信号線３１のみで構成するとともに、ユーザにより機器の種類が入力される第２の設定入力部２８を設けた点である。

第２の設定入力部により、ユーザが選択部８により選択される入力の機器の種類情報を入力し定義する。第１の制御部１３は、選択部８の制御状態に対応した機器種類情報を記憶するとともに、映像処理装置２における第２の制御部２１へ送信する。
他の処理は、第１の実施形態と同様である。

以上により、音声処理装置１の入力インターフェイスを制御信号線のない形態とした場合においても、映像表示と同期した音声が再生される。

以下、本発明に係る第４の実施形態について説明する。
図４は、第４の実施形態における音声処理装置と映像処理装置のブロック図である。他の実施形態との相違は、
画像処理部２５の入力信号と出力信号を比較して、入出力遅延時間を測定し第２の制御部２１へ出力する遅延測定部２９を設けた点である。

遅延測定部２９は、画像処理部２５の入力及び出力の映像信号から、映像信号に重畳されているフレーム番号情報や、輝度変化によるシーンチェンジを検出して、入出力遅延時間を測定する。第２の制御部２１は、記憶している表示部２６の応答時間と、遅延測定部２９から入力された入出力遅延時間とを合計し、遅延時間情報として第１の制御部１３に送信する。
他の処理は、第１の実施形態と同様である。

以上により、画像処理部２５の内部で入力映像信号を分析し、その結果に応じて動的に画像処理を変化させるような場合においても、映像表示と同期した音声が再生される。

本発明に係る一実施形態における音声処理装置及び映像処理装置のブロック図である。 第２実施形態における音声処理装置及び映像処理装置のブロック図である。 第３実施形態における音声処理装置及び映像処理装置のブロック図である。 第４実施形態における音声処理装置及び映像処理装置のブロック図である。 本発明に係る一実施形態における音声処理装置及び映像処理装置の処理フロー図である。 本発明に係る一実施形態における映像処理装置の内部データテーブルである。

符号の説明

１ 音声処理装置
２ 映像処理装置
３ 第１のインターフェイスケーブル
４ 第１の映像音声出力機器
５ 第２の映像音声出力機器
６ 第２のインターフェイスケーブル
７ 第３のインターフェイスケーブル
８ 選択部
９ 音声分離部
１０ 遅延部
１１ 増幅部
１２ スピーカ部
１３ 第１の制御部
２１ 第２の制御部
２２ 設定入力部
２３ 映像分離部
２４ 判別部
２５ 画像処理部
２６ 表示部
２７ 多重信号線
２８ 第２の設定入力部
２９ 遅延測定部
３１ 映像音声信号線
３２ 制御信号線
３３ 映像信号線
Ｓ１０１ 選択部制御処理
Ｓ１０２ 制御信号送信処理
Ｓ１０３ 音声信号分離処理
Ｓ１０４ 遅延時間受信処理
Ｓ１０５ 遅延時間設定処理
Ｓ１０６ 遅延処理
Ｓ１０７ 音声出力処理
Ｓ２０１ 信号分離判別処理
Ｓ２０２ 制御信号受信処理
Ｓ２０３ 機種種別情報認識処理
Ｓ２０４ 設定入力認識処理
Ｓ２０５ 画像処理確定処理
Ｓ２０６ 画像処理設定処理
Ｓ２０７ 映像遅延時間送信処理
Ｓ２０８ 画像処理
Ｓ２０９ 映像出力処理

Claims (6)

1. 複数の入力ソース機器に接続された音声処理装置と、当該音声処理装置に接続された映像処理装置とを備える映像音声処理システムであって、
   前記音声処理装置は、
   前記複数の入力ソース機器から１つの入力ソース機器を選択し、選択された入力ソース機器から出力された映像信号と、音声信号と、当該入力ソース機器の機器種類を示す機器種類情報とを受信する選択手段と、
   前記選択された入力ソース機器から受信した映像信号と前記機器種類情報とを、前記映像処理装置に送信する第１送信手段と、
   前記機器種類情報に基づいて決定される、前映像信号の画像処理に係る遅延時間情報を、前記映像処理装置から受信する第１受信手段と、
   前記遅延時間情報にもとづいて、前記選択された入力ソース機器から受信した音声信号を遅延させる遅延手段と、を有し、
   前記映像処理装置は、
   前記選択された入力ソース機器から出力された映像信号と前記機器種類情報とを、前記音声処理装置から受信する第２受信手段と、
   前記選択された入力ソース機器の機器種類を示す前記機器種類情報に基づいて、前記映像信号に対して画像処理を行う画像処理手段と、
   入力ソース機器として想定し得る複数の機器種類に対応する遅延時間を示すテーブルを参照して、前記選択された入力ソース機器の機器種類を示す前記機器種類情報に基づいて、前記画像処理手段が前記映像信号に対して行う画像処理に係る遅延時間を決定する決定手段と、
   前記決定手段により決定された遅延時間を示す遅延時間情報を前記音声処理装置に送信する第２送信手段とを
   有することを特徴とする映像音声処理システム。
2. 前記画像処理手段が前記映像信号に対して行う画像処理は、フレーム補完処理、フィールド内補完処理、インターレース／プログレッシブ変換処理、色補正処理、ノイズリダクション処理、ガンマ補正処理のうちの少なくとも１つを含み、
   前記決定手段が決定する遅延時間は、前記画像処理手段が前記映像信号に対して行う画像処理の内容に応じて異なることを特徴とする請求項１に記載の映像音声処理システム。
3. 前記機器種類情報がＤＶＤプレイヤーであることを示す場合と、前記機器種類情報がゲーム機器であることを示す場合とで、前記決定手段が決定する遅延時間が異なることを特徴とする請求項１又は２に記載の映像音声処理システム。
4. 前記映像処理装置は、
   前記第２受信手段により受信された映像信号がインターレース信号であるかプログレッシブ信号であるかを判別する判別手段をさらに有し、
   前記画像処理手段は、前記映像信号がインターレース信号であると判別された場合に、前記第２受信手段により受信された映像信号に対してインターレース／プログレッシブ変換処理を行い、
   前記映像信号がインターレース信号であると判別された場合と、前記映像信号がプログレッシブ信号であると判別された場合とで、前記決定手段が決定する遅延時間が異なることを特徴とする請求項１から請求項３までのいずれか１項に記載の映像音声処理システム。
5. 前記映像処理装置は、
   ユーザの指示に従って、ダイナミック画質とスタンダード画質を含む複数の画質モードの中から、前記映像信号に適用する画質モードを設定する画質設定入力手段をさらに有し、
   前記画像処理手段は、前記設定された画質モードに対応する画像処理を、前記映像信号に対して行い、
   前記決定手段は、前記複数の画質モードに対応する遅延時間を示すテーブルを参照して、前記設定された画質モードに基づいて、前記画像処理手段が前記映像信号に対して行う画像処理に係る遅延時間を決定することを特徴とする請求項１から請求項４までのいずれか１項に記載の映像音声処理システム。
6. 前記音声処理装置と前記映像処理装置とは、ＨＤＭＩケーブルで接続され、
   前記音声処理装置と前記複数の入力ソース機器とは、ＨＤＭＩケーブルで接続され、前記機器種類情報および前記遅延時間情報は、ＨＤＭＩケーブルを介して伝送されることを特徴とする請求項１から請求項５までのいずれか１項に記載の映像音声処理システム。

Images