JP4845581B2 - 画像及び音声通信機能付テレビジョン放送受像機 - Google Patents

Description

本発明は、画像及び音声通信機能を備えたテレビジョン放送受像機に関する。

電話回線等の通信回線を介して画面に表示された通信相手と画面を介して擬似的な対面会話が可能である画像及び音声通信機能を有する装置が一般的にテレビ電話装置として知られている。又、同様に通信回線を介して画面に表示された会議の会話参加者の発言を画面を介して対面拝聴が可能である画像及び音声通信機能を有する装置が一般的にテレビ会議システムとして知られている。又、テレビ局からのテレビジョン放送を受信しての番組を再生して画面に表示させるテレビジョン放送受像機も知られている。

更に、テレビジョン放送受像機とテレビ電話装置を組み合わせ、画面に表示されたテレビジョン放送の番組を試聴しながら同時に画面に表示された通信相手と擬似的な対面会話が可能である画像及び音声通信機能（テレビ電話機能）を有する画像及び音声通信機能付テレビジョン放送受像機も知られている。そのような従来の画像及び音声通信機能付テレビジョン放送受像機としては、例えば、家庭用のテレビジョン放送受像機の拡張スロットに付加されると共に電話回線にも接続されて、一般電話機能と画像及び音声通信機能を話中でも遠隔操作装置の操作により切り替え可能であるテレビ電話装置が知られている（例えば、特許文献１参照）。そのテレビ電話装置では、設置場所を減少させるために画面を兼用させてテレビジョン放送の親画面の右下の一部が画面の縦横比で切り取られて形成された固定の子画面にテレビ電話の通信相手が表示され、テレビ電話を受信した場合に当初は大きめの子画面で表示され、遠隔操作装置の操作により小画面の表示寸法を小さくすることが選択でき、テレビ電話の通信相手の音声がテレビジョン放送受像機のスピーカから出力される。

また、従来のテレビ会議システムとしては、通信回線に接続された各会議会話参加者の端末装置から入力する音声信号から各発言者の端末装置とその地点数を自動的に検出し、発言者が１人の場合には、発言者以外の各端末装置に発言者の画像を送出し、会議会話参加者中の発言者の数が増加するに従って単純に画面の均等分割数を２分割から４分割・・・ｎ分割と分割数を増加させた各発言者の合成画像を各端末装置に送出する多地点制御装置を備えたテレビ会議システムが知られている（例えば、特許文献２参照）。その多地点制御装置を備えたテレビ会議システムでは、発言者が複数の場合には、各発言者の複数の画像を均等分割された１画面に合成し、合成された画像を各会議会話参加者の端末装置に向けて送信するが、その際に、合成画像から送信先の発言者自身の画像が他の会議会話参加者の画像に差し替えられて各端末装置に送信される。

特開平１０−５６６７５号公報（段落００１４〜００１７、図１） 特許３３０５０３７号公報（段落００２６〜００２９、図１）

特許文献１には、従来のテレビジョン放送受像機に付加されるテレビ電話装置では、テレビ電話の通信相手の音声がテレビジョン放送受像機のスピーカから出力されることは記載されているが、その際のテレビジョン放送の番組の音声についてはどのように処理されるのかが記載されていない。このことから、特許文献１ではテレビジョン放送を試聴しながら同時にテレビ電話の通信相手と会話することは想定されていないと考えられる。テレビジョン放送の試聴とテレビ電話の通信相手と会話が同時でなく択一的に実施されるとすると、常識的にテレビ電話時には、テレビジョン放送の音声はミュートされて再生されないか、会話の邪魔にならない固定的な小音量で再生されてテレビ電話の通信相手の音声と混合されて出力されるかの何れかであると考えられる。又、その際にテレビ電話の通信相手が表示された子画面は、上記したように若干の寸法調整は可能であるもののテレビジョン放送の親画面中の右下等に固定的に配置されたままである。

テレビジョン放送受像機に付加されるテレビ電話装置の音量については、例えば、テレビ電話の通信相手と同一局のテレビジョン放送の内容等を視聴しながら会話する場合は、テレビ電話装置の使用者にとっては、視聴中のテレビジョン放送の音声を通常音量に近い音量で再生することが希望され、従来のミュート又は小音量化だけでは使用者の希望を満足できないと場合があると考えられる。従来の装置では、そのような場合に、会話状況やテレビの視聴状況に合わせて自動的に音量を変化させたり手動で音量を選択することについては全く考慮されていない。

また、画面表示についても、特許文献１のように親画面中の右下等に固定的にテレビ電話の通信相手の画像が配置されていると、例えば、サッカーの試合の中継では画面右下からのゴールシーンやキックシーン等を視聴することができなくなり不都合である。それに対して、例えば、特許文献２のようにテレビジョン放送受像機の画面を左右均等に２分割して、テレビ放送の番組の画面とテレビ電話の通信相手の画面を各々表示させることも可能であるが、テレビ放送の番組の画面寸法は上下と左右共に半分の寸法になるので面積は１／４に縮小され、例えば、スポーツ中継等ではフィールドに対する個々の選手が小さくなってしまい、選手の細かい動き等が見づらくなる。従来の装置では、そのような場合に、会話状況やテレビの視聴状況に合わせて自動的に画面の大きさ（全画面中の縦横寸法）及びレイアウト（配置）を変化させたり、手動で選択することについては全く考慮されていない。

特許文献２では、会議会話参加者の各音声信号から発言者の数が増加するに従って単純に画面の均等分割数を２分割から４分割・・・ｎ分割と自動的に分割数を増加させることができると考えられるが、会話状況やテレビの視聴状況に合わせて個別の画面の大きさ（縦横の表示寸法）を変更することや自動的に画面の大きさを変化させることについては、全く記載されていない。

上記した従来の技術に基づいて、テレビジョン放送の視聴番組とテレビ会議の複数の発言者を、表示画面を均等に分割して固定的な表示位置及び寸法で表示させる方法や、テレビジョン放送の視聴番組とテレビ電話の通信相手を、固定的な表示位置及び寸法で表示させるいくつかの方法が考えられる。例えば、表示画面の中央にテレビジョン放送の視聴番組を表示させると共に周囲に会議の発言者又は通信相手を配置させるように画面を合成する方法や、表示画面の上部にテレビジョン放送の視聴番組を表示させると共に下部に会議の発言者又は通信相手を配置させるように画面を合成する方法等である。尚、テレビ電話装置はテレビ会議システムにおける１対１の場合と考えられるので、以下の説明では、使用者が用いる装置がテレビ会議システムの場合のみについて記載し、テレビ電話の場合については特に必要な場合を除いて記載を省略する。

しかし、テレビジョン放送で視聴される番組はスポーツ番組、バラエティ、ドラマ等多種多彩であり、視聴者（＝テレビ電話／会議装置の使用者）にとってのテレビジョン放送の注目度（重要度）は、番組の内容にもよるし、その時点での個人の興味や趣味等にもより千差万別であって例えばタイミングによっても変わり予測や定義・定量化等が非常に難しい項目である。テレビジョン放送の番組を視聴する場合の画面上における使用者の注目点は、使用者の視線が単純なテレビ会議システムの場合とは異なり、テレビジョン放送の番組の状況により変化するため、最適な画面の表示寸法の比率は刻一刻と変化し検出は容易ではない。又、各使用者にとっての重要度も、テレビジョン放送の番組状況と、通信相手との会話（又は会議の他の発言者の発言内容）の状況により刻一刻と変化しており、注目点から単純に判断できるものでもない。

例えば、テレビ会議システムの使用中に、テレビジョン放送の番組ではスポーツ番組の攻撃シーンと選手交代シーン、ドラマの導入部分とエンディング部分、番組本編とコマーシャル等があった場合には、その内容に応じて、テレビ視聴者（テレビ会議システム使用者）にとっての重要度が、番組視聴が中心となるか、又は、会議の他の会話参加者の発言（通信相手との会話）が中心となるかが変わる。

従来の装置では、例えば、テレビジョン放送の視聴番組とテレビ会議の発言者を固定比率で合成表示させる場合には、テレビジョン放送の視聴番組に使用者があまり興味がないにもかかわらず大きな固定寸法のままで画面表示されたり、重要でない発言をした発言者が比較的大きな固定寸法のままで画面表示されていた。つまり、各表示画面毎の寸法が、番組の内容に対する各会議会話参加者の感じる重要度と連携していなかった。その場合の視聴の興味に連携しない固定寸法の視聴番組の画面や、発言内容や発言の有無に連携しない固定寸法の各通信相手の画面に対しては、使用者は、自分の興味及び希望や自分の感じる重要度と画面表示内容等とが不一致であることに感覚的に不自然さと不満足感を感じ、また、会議では重要な発言をした発言者と他の発言者の区別が判別し辛く、結果的に装置が使用しづらいという問題があった。

同様に音声についても、例えば、テレビ会議における発言者の発言内容も多種多様であり、テレビ会議の使用者にとっての各発言内容の重要度も千差万別である。従来の装置のように、例えば、テレビジョン放送の視聴番組の音声とテレビ会議の発言者の音声を固定比率で混合させる場合には、テレビジョン放送の視聴番組にあまり興味がないにもかかわらず大きな固定音量のままで音声出力されていたり、重要でない発言をした発言者が比較的大きな固定音量のままで音声出力されていたりするというように、各画面毎の音量と、番組の内容に対する各会議会話参加者の重要度とが連携しないので、使用者の感覚的に不自然で使いづらい場合があるという問題があった。

本発明は、上記した問題を解決するためになされたもので、テレビジョン放送の番組の画面及び音声の視聴と、テレビ会議（テレビ電話）の発言者の画面を介しての対面拝聴の双方が合成画面により同時に可能である画像及び音声通信機能付テレビジョン放送受像機において、少なくとも合成画面における各画面毎の表示寸法を、番組の内容及びテレビ会議（テレビ電話）の各会話参加者の重要度と連携させて切り替え、使用者の感覚的に自然で使いやすい画像及び音声通信機能付テレビジョン放送受像機を提供することを目的とする。

この発明に係る画像及び音声通信機能付テレビジョン放送受像機は、
受信したテレビジョン放送のデジタル信号を復号してテレビ映像信号及びテレビ音声信号及びそれらに付帯されるテレビ制御信号を検出するテレビデコーダ部と、
撮像手段からの入力映像信号及び音声入力手段からの入力音声信号を画像及び音声通信処理に適した形式に変換する映像音声調整部と、
通信回線からの入力信号を復号して通信映像信号及び通信音声信号を検出する通信デコーダ部と、
通信回線に対する映像及び音声の入出力信号とそれに付帯される通信制御信号の入出力を制御する通信制御部と、
前記テレビデコーダ部からのテレビ映像信号及び前記通信デコーダ部からの通信映像信号が入力されて、画像及び音声通信時には、前記テレビジョン放送で受信した番組の画像と通信回線から入力した画像とが合成された合成映像信号を出力する映像合成部と、
前記テレビジョン放送で受信した番組の画像を表示させると共に画像及び音声通信時には前記合成映像信号を表示させる表示部と、
少なくとも前記映像音声調整部からの入力音声信号及び前記通信デコーダ部からの通信音声信号が入力されて使用者と通信相手の会話状況を判定して合成制御信号を出力する会話状況判定部と、を備え、
前記会話状況判定部は、番組情報検出部と、盛り上がり検出部と、合成モード選定部と、を含み、
前記番組情報検出部は、視聴されている番組のジャンルを検出し、
前記盛り上がり検出部は、テレビ放送の音声から周波数の変化、音量の変化を分析して前記番組情報検出部で検出された前記番組のジャンルに特有の盛り上がり状況を検出して合成モード選定部に出力し、
前記合成モード選定部は、前記盛り上がり検出部で検出された前記番組のジャンルに特有の盛り上がり状況に基づいて、前記番組の盛り上がり時には、テレビ放送の映像と音声を認識しやすいように画像合成と音声混合を調整し、前記番組が盛り上がっていないときには会話参加者の映像と音声を認識しやすいように映像合成と音声混合を調整する合成制御信号を生成し、
前記映像合成部は、更に前記会話状況判定部からの合成制御信号が入力され、該合成制御信号に基づいて前記合成映像信号を合成し、
前記表示部は、前記合成制御信号に基づく合成映像信号を表示させる
ことを特徴とする。

この発明に係る画像及び音声通信機能付テレビジョン放送受像機は、少なくとも合成画面における各画面毎の表示寸法を、番組の内容及びテレビ会議（テレビ電話）の各会話参加者の重要度と連携させて切り替え、使用者の感覚的に自然で使いやすい画像及び音声通信機能付テレビジョン放送受像機を提供することができる。

実施の形態１．
図１は、本発明の実施の形態１の画像及び音声通信機能付テレビジョン放送受像機に係る一例の概略構成を示すブロック図である。
図１において、画像及び音声通信機能付テレビジョン放送受像機１は、テレビ局からのテレビジョン放送を受信しての番組を再生して画面に表示させると共に、例えば、同様に通信回線を介して画面に表示された会議の会話参加者の発言を画面を介して対面拝聴が可能である画像及び音声通信機能を有するテレビ会議システム、又は、電話回線等の通信回線を介して画面に表示された通信相手と画面を介して対面会話が可能である画像及び音声通信機能を有するテレビ電話装置を備える。尚、本実施の形態においても、テレビ電話装置はテレビ会議システムにおける１対１の場合と考えられるので、以下の説明では、使用者が用いる装置がテレビ会議システムの場合のみについて記載し、テレビ電話の場合については、特に必要な場合を除いて記載を省略する。

遠隔操作装置２は、電波又は赤外線を用いた無線信号により画像及び音声通信機能付テレビジョン放送受像機を遠隔操作するために、テレビジョン放送受像機及びテレビ会議システムの操作に用いられるボタン（又はキー）を備えている。更に、後述する会話状況判定部４１からの合成制御信号の出力のオン／オフ又は合成制御信号の制御内容変更の入力操作が可能であるボタンを備えている。使用者が遠隔操作装置２を操作することで、電波又は赤外線を用いた無線信号を介して使用者の操作内容が会話状況判定部４１に伝わり、更に会話状況判定部４１からの合成制御信号が出力されて、最終的に使用者の希望に従い画面のレイアウト及び音声の混合方式を切り替えることができる。

又、遠隔操作装置２には、他の会話参加者が視聴している番組に自動的に合わせることができるボタンが設けられている。使用者がそのボタンを押した場合には、音声通信機能付テレビジョン放送受像機１は、他の会話参加者が視聴中の番組をその視聴されている画像及び音声通信機能付テレビジョン放送受像機に問い合わせ、返信内容から、その他の会話参加者と同じ番組に視聴する番組を自動的に切り替える。

システム制御部１１は、画像及び音声通信機能付テレビジョン放送受像機１内の各部と接続（不図示）されており、受像機全体の動作を制御する。

映像音声入力部１２には、例えば、ビデオカメラ等の使用者を撮像する画像入力手段及びマイクロフォン等の使用者の発言が入力される音声入力手段が接続されて、使用者の映像及び音声が入力され映像音声調整部１３に出力される。

映像音声調整部１３は、撮像手段からの入力映像信号及び音声入力手段からの入力音声信号が映像音声入力部１２を介して入力され、後段の画像及び音声通信処理に適した形式に変換されて通信エンコーダ部３３及び会話状況判定部４１に送出される。

映像合成部１４は、テレビデコーダ部２２からのテレビ映像信号及び通信デコーダ部３４からの通信映像信号が入力されて、画像及び音声通信時には、更に会話状況判定部４１からの合成制御信号が入力され、テレビジョン放送で受信した番組の画像と通信回線から入力した画像とがその合成制御信号に基づいて合成された合成映像信号が出力される。具体的には、映像合成部１４は、合成される各画像の寸法比率が異なる複数の合成レイアウトテンプレートの内容を含む合成制御信号の画面レイアウトに従って合成された合成映像信号を出力し、表示部１５に出力して表示させる。

表示部１５は、テレビジョン放送で受信した番組の画像を表示させると共に、画像及び音声通信時には合成制御信号に基づく合成映像信号を表示させる。

音声混合部１６は、テレビデコーダ部２２からのテレビ音声信号及び通信デコーダ部３４からの通信音声信号及び映像音声調整部１３からの入力音声信号及び会話状況判定部４１からの合成制御信号が入力されて、合成制御信号に基づいて各会話参加者の音量レベルについても各々変化させて混合された混合音声信号が出力される。具体的には、音声混合部１６は、各画像に対応する各音声の混合される各音量レベルが異なる複数の音声混合テンプレートの内容を含む合成制御信号の割合に従って混合された混合音声信号が音声出力部１７に出力され、音声として出力される。

遠隔操作受信部１８は、遠隔操作装置２からの画像及び音声通信機能付テレビジョン放送受像機を遠隔操作するための無線信号を受信してシステム制御部１１に出力する。これにより、使用者の操作内容が画像及び音声通信機能付テレビジョン放送受像機で受け付けられる。

チューナ部２１は、アンテナ（図示せず）及びテレビデコーダ部２２と接続され、アンテナで受信された放送波が入力される。その後、使用者の指示等によりチューニング（選局）されたチャンネル（番組）の受信信号がテレビデコーダ部２２に向けて出力される。

テレビデコーダ部２２では、受信されたテレビジョン放送のチューニングされたチャンネル（番組）のデジタル信号が復号され、テレビ映像信号及びテレビ音声信号及びそれらに付帯される各種モードや番組の分類などを含む付帯情報及びテレビ制御信号が検出されて、復号された映像信号は映像合成部１４に入力され、復号された音声信号は音声混合部１６に入力される出力される。

通信インタフェース部３１は、通信回線（図示せず）及び通信制御部３２と接続される。通信制御部３２から入力した信号は、通話中の通信相手に通信インタフェース部３１及び通信回線を介して送信され、通信回線から入力した信号は通信制御部３２に送出される。

通信制御部３２は、通信インタフェース部３１、通信エンコーダ部３３、通信デコーダ部３４、映像音声調整部１３、及び、会話状況判定部４１と接続され、通信回線に対する映像及び音声の入出力信号とそれに付帯される通信制御信号の入出力を制御する。

通信制御部３２は、出力する通信制御信号に、例えば、使用者の発言量情報と発声音量レベル情報、使用者の視聴するテレビ放送番組のチャンネル情報及び付帯情報、使用者の注目点情報、及び、遠隔操作装置２から無線信号により指示された内容を含めて出力する。一方、通信制御部３２は、入力する通信制御信号からは、例えば、通信相手の発言量情報と発声音量レベル情報、使用者の視聴するテレビ放送番組のチャンネル情報及び付帯情報、使用者の注目点情報、及び、通信相手の遠隔操作装置から無線信号により指示された内容を検出する。

通信エンコーダ部３３は、映像音声調整部１３から入力した映像信号（カメラ入力）及び音声信号（マイク入力）を符号化して通信制御部３２に送出する。

通信デコーダ部３４は、通信回線からの入力信号を復号して通信映像信号及び通信音声信号を検出する。
又、通信デコーダ部３４で復号された映像は、映像合成部１４に入力され、音声は音声混合部１６に入力される。

会話状況判定部４１は、映像音声調整部１３、テレビデコーダ部２２、通信制御部３２、通信デコーダ部３４と接続されて（不図示）、会話状況を判定するために映像情報・音声情報とその他の付帯情報が収集される。例えば、映像音声調整部１３からの入力音声信号、テレビデコーダ部２２からのチャンネル情報とテレビ音声信号とテレビ制御信号、通信デコーダ部３４からの通信音声信号、通信制御部３２からの通信制御信号が入力されて、それらの各信号を用いて使用者と通信相手の会話状況が判定されて合成制御信号が出力される。テレビ制御信号には、使用者が視聴中のテレビ放送番組のジャンル情報と、使用者が視聴中のテレビ放送番組の音声モード情報が含まれる。通信制御信号には、通信相手が視聴するテレビ放送番組の付帯情報中のジャンル情報及び／又は音声モード情報が含まれる。

例えば、会話状況判定部４１では、映像音声調整部１３からの入力音声信号から検出される使用者の発言量及び／又は発声音量レベルと、通信デコーダ部３４からの通信音声信号から検出される通信相手の発言量及び／又は発声音量レベルに基づいて会話状況を判定し、発言量の多い人及び／又は発声音量レベルの高い人の画像が大きく表示されるように合成制御信号を生成する。

会話状況判定部４１は、通信制御部３２からの通信制御信号が入力されて、該通信制御信号から会話参加者の人数を判別する。会話参加者の人数が３人以上である場合には、例えば、発言量の多い順番に各会話参加者の画像が大きくなるように合成制御信号を生成するか、又は、発言量が最多の人の画像が大きくなるように合成制御信号を生成する。

会話状況判定部４１は、映像音声調整部１３からの入力映像信号及び／又は遠隔操作装置指示入力情報から、使用者が表示部１５のどこを注目しているかの注目点を判定する注目点検出部５４を備えている。会話状況判定部４１は、会話参加者全員の注目点情報を用いることで、会話状況を判定して合成制御信号を出力することができる。例えば、会話状況の判定、視聴されるテレビ放送番組の画面の合成制御、会話参加者全体中の最も注目される被注目者の画面の合成制御、会話参加者全体中の相互に注目し合う各会話参加者の画面の合成制御には、その注目点の情報が利用可能である。

合成制御部４２は、会話状況判定部４１からの判定情報を受け取り、映像合成部１４、音声混合部１６の制御を行う。具体的には、合成制御部４２は、合成される各画像の個々についてレイアウト及び寸法を制御することが可能であり、予め保持される合成レイアウトテンプレートに対応させて合成可能な合成制御信号、又、混合される各音声の個々について音量レベルの制御が可能であり、予め保持される音声混合テンプレートに対応させて混合可能な合成制御信号を出力する。

合成制御部４２では、会話状況判定部４１から受信した合成制御信号としてのテンプレートの内容に対応させて、画面を合成させる指示（合成制御信号）を映像合成部１４に出力し、受信したテンプレートの内容に対応させて、音声を混合させる指示（合成制御信号）を音声混合部１６に出力する。

図２は、図１の会話状況判定部４１の概略の内部構成の一例を示すブロック図である。
ネット検索部５１は、通信制御部３２及び後述する番組情報検出部５６と接続され、通信制御部３２を介してインターネット等のネット上に公開されているサイトを検索して視聴中又は視聴予定の番組の番組情報を収集することで、例えば、視聴中のアナログ放送番組のジャンル情報を検索することができる。番組のジャンル情報は、デジタル放送では放送される番組の制御信号等に付加される場合が多いが、アナログ放送では制御信号は付加されないので、そのようなアナログ放送の番組の番組情報を検索する場合に有効であり、その他に、デジタル放送に付加された制御信号中の番組情報では不足している場合の、例えば、番組付加情報中のジャンル分けよりもより詳しいジャンル分けを調査する場合にネットを用いた検索が有効である。

被注目者検出部５２は、通信制御部３２及び後述する注目点検出部５４及び後述する合成モード選定部７３と接続され、注目点検出部５４からは使用者の注目点の判定結果が入力される。一方、通信制御部３２からは、各々の通信相手がどの通信相手を注目しているかの情報が入力され、例えば、テレビ会議会話参加者（会話参加者）全員の中で最も注目されている通信相手を検出（推定）する。又は、例えば、各会話参加者の注目度合いに応じて、段階的なランク付けをするように検出してもよい。この画像及び音声通信機能付テレビジョン放送受像機１の使用者の注目点の検出結果については、通信制御部３２及び通信回線を介して通信相手の画像及び音声通信機能付テレビジョン放送受像機１に送出する。又、例えば、検出の精度を向上させるためや通信相手の画像及び音声通信機能付テレビジョン放送受像機１における演算負荷を軽減させるために、最も注目されている通信相手の検出結果についても全通信相手の画像及び音声通信機能付テレビジョン放送受像機１に送出してもよい。

視線一致検出部５３も、通信制御部３２及び注目点検出部５４及び合成モード選定部７３と接続され、注目点検出部５４からは使用者の注目点の検出結果が入力され、通信制御部３２からは、各々の通信相手がどの通信相手を注目しているかの情報を得るが、視線一致検出部５３では、例えば、この画像及び音声通信機能付テレビジョン放送受像機１の使用者の注目点と、各通信相手の画像及び音声通信機能付テレビジョン放送受像機１における使用者（通信相手）の注目点とが相互に相手を注目し合っているか、即ち、テレビ画面を介して擬似的に各通信相手と視線が一致しているかを検出（推定）し、それにより視線が一致している通信相手を検出する。

注目点検出部５４は、映像音声調整部１３及び映像合成部１４及び被注目者検出部５２及び注目点検出部５４及び合成モード選定部７３と接続され、映像音声調整部１３からは、映像音声入力部１２に入力されたこの画像及び音声通信機能付テレビジョン放送受像機１の使用者の映像が入力される。映像合成部１４からは、画面上のどこに何の画像が表示されるかの情報が入力される。注目点検出部５４では、例えば、入力した使用者の映像から、顔の輪郭に対する目の位置、目全体に対する黒目の位置、黒目の輪郭等が検出され、それらの検出結果を映像合成部１４からの画面上のどこに何の画像が表示されるかの情報と照合し、この使用者が画面上のどこを注目しているかの注目点を検出する。又、注目点を検出する他の方法として、例えば表示部１５の近傍に光源を設置できる場合には、特開平６−３１９７０１号公報等で示されている網膜反射光を利用して注目点を検出する方法を用いることができる。

音声モード検出部５５は、テレビデコーダ部２２及び合成モード選定部７３と接続され、テレビデコーダ部２２から放送信号の付帯情報のうちの音声関係情報が入力される。その音声関係情報から、例えば、現在使用者に視聴されている番組の音声モードが２カ国語モードであるか、ステレオモードであるかを検出し、検出結果を合成モード選定部７３に出力する。

番組情報検出部５６は、テレビデコーダ部２２及びネット検索部５１及び合成モード選定部７３と接続され、テレビデコーダ部２２から放送信号の付帯情報のうちの番組関係情報が入力される。その番組関係情報から、現在使用者に視聴されている番組のジャンルを検出し、検出結果を合成モード選定部７３に出力する。アナログ放送等のテレビデコーダ部２２からの番組関係情報が入力されない場合や、付帯情報のうちの番組関係情報よりも詳しい番組関係情報（ジャンル分け）を得たい場合には、番組情報検出部５６は、ネット検索部５１によりネット上に公開されている番組情報を検索して現在使用者に視聴されている番組の詳しいジャンルを調べることができる。

盛り上がり検出部６１は、テレビデコーダ部２２及び番組情報検出部５６及び合成モード選定部７３と接続され、番組情報検出部５６から現在使用者に視聴されている番組のジャンルの情報が入力され、その番組ジャンルに特有の番組の盛り上がり状況やハイライトシーンをテレビデコーダ部２２からの音声信号から検出し、検出結果を合成モード選定部７３に出力する。ある番組のジャンルに特有の盛り上がり状況やハイライトシーンを音声から検出することは、例えば、特定のジャンルの番組の一例としてサッカー中継では、アナウンサーはゴールシーンでは声量（音量）が増加し、トーンも高くなる場合が多い。野球のホームランの場合も同様にアナウンサーの声量（音量）が増加し、トーンも高くなる場合が多い。このことから、サッカーや野球の試合の盛り上がり状況とアナウンサーの声量及びトーンとの間には相関関係があるといえる。このアナウンサーの声量及びトーンと試合の盛り上がり状況との相関関係を利用して、番組の盛り上がり状況を検出することができる。

通話総量検出部６２は、映像音声調整部１３及び通信デコーダ部３４及び合成モード選定部７３と接続され、映像音声調整部１３からは、映像音声入力部１２に入力されたこの画像及び音声通信機能付テレビジョン放送受像機１の使用者の音声が入力されると共に、通信デコーダ部３４からは、通信相手の音声が入力され、使用者の音声と通信相手の音声とを合わせた全体での音量（音声の大きさ）と持続時間が検出され、その全体の音量と持続時間の統計処理結果から通信機能での通話総量を検出し、検出結果を合成モード選定部７３に出力する。通話総量については、通話総量検出部６２では、例えば、持続時間として過去１分間の会話音声の音量の統計を取って検出する。また、例えば、全体の音声信号から、盛り上がり検出部６１のように通信相手の声量及びトーンを利用して、会話の盛り上がり状況を検出することができるようにしてもよい。

最多発言者検出部６３も、映像音声調整部１３及び通信デコーダ部３４及び合成モード選定部７３と接続され、映像音声調整部１３からは、映像音声入力部１２に入力されたこの画像及び音声通信機能付テレビジョン放送受像機１の使用者の音声が入力されると共に、通信デコーダ部３４からは、通信相手の音声が入力されるが、使用者の音声と通信相手の音声との個々の音量（音声の大きさ）と持続時間が検出され、その個々の音量と持続時間の統計処理結果から、最も多く発言している通信相手を検出するか又は発言量の順に通信相手を比率で分けて検出し、検出結果及びその比率を合成モード選定部７３に出力する。

検出内容判定テーブル７１は、合成モード選定部７３と接続され、画面レイアウトの合成モードを選択するために、予め実験や検討により決定された通話総量等の検出内容の判定基準及び検出内容に対する比重の係数がテーブル形式で格納される。

レイアウト・音声混合テンプレート７２も、合成モード選定部７３と接続され、予め考えられる事態の各画像が様々な位置で様々な大きさに配置された画面レイアウトのテンプレートと、各会話参加者の音声を様々なレベルで混合させる音声混合のテンプレートが格納されている。

合成モード選定部７３は、検出内容判定テーブル７１、レイアウト・音声混合テンプレート７２と接続され、更に、被注目者検出部５２、視線一致検出部５３、注目点検出部５４、音声モード検出部５５、番組情報検出部５６、盛り上がり検出部６１、通話総量検出部６２、最多発言者検出部６３と接続されている。合成モード選定部７３には、被注目者検出部５２、視線一致検出部５３、注目点検出部５４、音声モード検出部５５、番組情報検出部５６、盛り上がり検出部６１、通話総量検出部６２、及び、最多発言者検出部６３から各々の検出結果が入力され、各検出結果に検出内容判定テーブル７１の検出基準及び比重が掛け合わせられて補正され、それらの補正された各検出結果に基づいて合成モードが選定され、その選定された合成モードに適合する画面レイアウトと音声混合のテンプレートが選択され、選択結果が合成制御部４２に指示（合成制御信号）として出力される。

このように合成モード選定部７３には、通信回線で入出力される信号の他に、テレビデコーダ部２２からの音声信号や制御信号も入力されるが、以下の合成モード選定部７３の内部構成ブロックの説明では、基本的な通信回線で入出力される信号による動作のみに簡略化して、各ブロックの動作内容を説明する。

合成モード選定部７３の内部の放送・通話比算出部８１では、入力された通話総量検出部６２の検出結果を検出内容判定テーブル７１の判断基準及び係数を用いて、会話重点及び放送重点の比率を算出することで、放送の視聴とテレビ会議での会話のどちらに重点が置かれているかを判断し、判断結果をテンプレート選択部８４に出力する。この判断結果としては、例えばレイアウト・音声混合テンプレート７２から候補となるテンプレートを選択し、その選択結果をテンプレート選択部８４に出力する。

特定発言者重点検知部８２では、入力された最多発言者検出部６３の検出結果を検出内容判定テーブル７１の判断基準及び係数を用いて、重点表示する通信相手を算出することで、特定の通信相手の重点表示を実施するかどうかと、どの通信相手の重点表示するかを判断し、判断結果をテンプレート選択部８４に出力する。この判断結果としては、例えばレイアウト・音声混合テンプレート７２から候補となるテンプレートを選択し、その選択結果をテンプレート選択部８４に出力する。

使用者選択モード記憶部８３は、遠隔操作装置２により選択された映像合成モードあるいは音声混合モードがシステム制御部１１から入力され、その選択されたモードに従って、例えばレイアウト・音声混合テンプレート７２から候補となるテンプレートを選択して記憶する。

テンプレート選択部８４では、放送・通話比算出部８１、特定発言者重点検知部８２の結果と使用者選択モード記憶部８３の記憶内容に基づいて、レイアウト・音声混合テンプレート７２から最終的なテンプレートを選択し、そのテンプレートの内容を合成制御信号として合成制御部４２に送信する。

テレビジョン放送の番組視聴とテレビ会議システムによる会話が同時に行われる場合の画像及び音声通信機能付テレビジョン放送受像機１の全般的な動作について説明する。

まず、テレビジョン放送の番組視聴に関する動作について説明する。画像及び音声通信機能付テレビジョン放送受像機１では、アンテナで受信された放送波は、チューナ部２１でチューニングされ、テレビデコーダ部２２で復号され、そこでテレビジョン放送の番組の映像信号、音声信号、及び、各種モードや番組の分類などを含む付帯情報を含んだ制御信号が検出されて出力される。検出された番組の映像信号は、映像合成部１４を経由して表示部１５に映像として表示される。また、検出された番組の音声信号は、音声混合部１６を経由して音声出力部１７から出力される。このようにして、テレビジョン放送の番組の映像と音声が画像及び音声通信機能付テレビジョン放送受像機１によって提供される。

次に、テレビ会議システムによる会話に関する動作について説明する。通信回線を経由して送信されてきたテレビ会議システムの会話用データは、通信インタフェース部３１で受信されて通信制御部３２で制御に必要なデータが検出された後、通信デコーダ部３４でデコードされて映像信号と音声信号として出力される。通信相手が複数存在する場合には、通信制御部３２で制御信号によるか又は通信デコーダ部３４で復号結果により各通信相手毎に出力（映像信号及び音声信号）が分離される。検出された映像信号は、映像合成部１４を経由して表示部１５に表示され、検出された音声信号は、音声混合部１６を経由して音声出力部１７から出力される。このようにして、テレビ会議システムでの通信相手に関する映像と音声が画像及び音声通信機能付テレビジョン放送受像機１によって提供される。

また、テレビ会議システムによる会話では、使用者自身の映像も確認するために表示されるのでその動作について説明する。例えばビデオカメラ等から入力された映像信号及びマイクロフォン等から入力された音声信号は、映像音声入力部１２を介してテレビ会議システムで利用するために適した形式に映像音声調整部１３で加工されて、通信エンコーダ部３３に入力されて符号化される。通信エンコーダ部３３で符号化された映像信号と音声信号は、通信制御部３２、通信インタフェース部３１を介して通信相手に送出される。その際に、映像音声調整部１３から出力される映像信号は、映像合成部１４を経由して表示部１５に表示され、音声信号は、音声混合部１６を経由して音声出力部１７から出力される。このようにして、テレビ会議システムでの使用者自身に関する映像と音声が画像及び音声通信機能付テレビジョン放送受像機１によって提供される。

本実施の形態のように番組視聴とテレビ会議システムの会話との両方を同時に行う装置では、テレビジョン放送の番組、１人または複数の通信相手、使用者自身の複数の映像を同時に表示させたり、複数の音声を同時に出力させる必要がある。これらの情報の各映像は映像合成部１４で一つの画像に合成されて表示され、各音声は音声混合部１６で混合された音声で出力されることになる。

ここで、上記したテレビジョン放送の番組の映像、テレビ会議システムにおける通信相手の映像、テレビ会議システムにおける自分自身の映像を一つの画面に合成して表示させる場合、その各映像を合成したレイアウトとしては多数のパターンが考えられる。例えば、番組視聴重視の場合には番組の画面を大きく表示させて通信相手や自分自身は小さく表示させるが、会話重視の場合には、通信相手や自分自身を大きく表示させて番組の画面は小さく表示させることになる。本実施の形態では、その多数のパターンの各々に適応させてテンプレートを作成し、会話状況判定部４１内に格納している。

図３は、図１の画像及び音声通信機能付テレビジョン放送受像機で番組視聴重視の場合の一例として本人を含めて４人で会話する場合の画面レイアウトを示す図である。
同じ番組を見ながらテレビ会議システムで会話する場合について考えた場合、最適な画面レイアウトは番組内容によって異なると考えられる。例えば、番組として映画やドラマを見る場合には、一般的に番組視聴に重点が置かれ、テレビ会議システムでの会話にはあまり重点が置かれないと考えられる。図３はそのような場合の画面レイアウトの例であり、合成表示画面１０１において、重点が置かれる番組画面６０１は表示寸法が比較的大きく表示され、テレビ会議システムの４人の会話参加者２０１、３０１、４０１、５０１は表示寸法が比較的小さく表示される。つまり、視聴される番組が映画やドラマの場合には、番組画面６０１は表示寸法が比較的大きく、テレビ会議システムの４人の会話参加者２０２、３０２、４０２、５０２の表示寸法が比較的小さく表示される図３のレイアウトのような合成画面が適していると考えられる。

図４は、図１の画像及び音声通信機能付テレビジョン放送受像機で会話重視の場合の一例として本人を含めて４人で会話する場合の画面レイアウトを示す図である。
例えば、バラエティ番組を見る場合には、一般的に番組視聴にはそれほど重点が置かれず、テレビ会議システムでの会話に置かれる重点と同等であるか会話の重点の比率が高まると考えられる。極端な場合には、テレビジョン放送の番組の内容は話題提供的な見方で重点がほとんど置かれず、テレビ会議システムでの会話が中心になってほとんどの重点が置かれる場合も考えられる。図４はそのような場合の画面レイアウトの例であり、合成表示画面１０２において、重点が置かれない番組画面６０２は表示寸法が比較的小さく表示され、テレビ会議システムの４人の会話参加者２０２、３０２、４０２、５０２は表示寸法が比較的大きく表示される。つまり、視聴される番組がバラエティ番組の場合には、番組画面６０２は表示寸法が比較的小さく、テレビ会議システムの４人の会話参加者２０２、３０２、４０２、５０２の表示寸法が比較的大きく表示される図４のレイアウトのような合成画面が適していると考えられる。

尚、図３及び図４に示したレイアウトは一例であり、番組視聴重視の場合のレイアウトあるいは会話重視の場合のレイアウトとしては、図３及び図４に示したレイアウトの他にも様々な画面レイアウトが考えられる。極端なレイアウトとしては、例えば、通信相手を表示しないレイアウトやテレビジョン放送の番組を表示しないレイアウトも考えられる。

本実施の形態では、上記のように合成画面のレイアウトについては、番組の内容に応じて最適なレイアウトに変更することが希望されるため、本実施の形態の音声通信機能付テレビジョン放送受像機では、番組内容に応じて番組視聴重視の場合のレイアウトあるいは会話重視の場合のレイアウトを自動的に切り替えるようにしている。そのために、テレビデコーダ部２２からは放送で番組と共に送信されてくる各種の付帯情報を含む制御信号を出力させ、会話状況判定部４１ではその付帯情報中から番組のジャンル情報を検出して、その番組のジャンルに応じた画面レイアウトを出力し、合成制御部４２では、番組のジャンルに応じた画面レイアウトを出力できるようなレイアウト及び音声混合方式を指示するように、自動的に出力する制御信号（テンプレート）を切り替えることができる。

また、本実施の形態では、番組の付帯情報等の番組情報は、例えば受信した無線電波の放送信号から得られるだけでなく、インターネット等の通信回線に接続されたテレビ局やテレビ関係情報の取り扱いサイトから通信制御部３２、通信インタフェース部３１を経由して番組情報を取得することができる。そして、会話状況判定部４１では、その番組情報から番組のジャンルを検出して出力する制御信号（テンプレート）を切り替え、合成制御部４２で番組のジャンルに応じた画面レイアウト及び音声混合方式に自動的に切り替えることができる。

また、本実施の形態の会話状況判定部４１では、番組の内容や状況に応じてステレオや２カ国語放送など音声モードも切り替わる音声モードの状態を識別し、合成制御部４２で音声モードの状態に応じた音声混合方式に自動的に切り替えることができる。

また、本実施の形態では、スポーツ中継番組などの試合の盛り上がりとアナウンサーの声の音量・トーンとの相関関係があることを利用して、会話状況判定部４１でテレビジョン放送の番組の音声を検出して判定することで、番組の盛り上がり状況を判定し、合成制御部４２で番組の盛り上がり状況に応じた画面レイアウト及び音声混合方式に自動的に切り替えることができる。

また、本実施の形態では、テレビ会議システムの音声を会話状況判定部４１で調べることができ、テレビ会議システムを介しての各発言量（音声情報量）が多い場合には、テレビ視聴よりも会話に重点が移っていると判断し、会話状況判定部４１で会話の盛り上がり具合を調べて、合成制御部４２で会話の盛り上がり具合に応じた画面レイアウト及び音声混合方式に自動的に切り替えることができる。

また、本実施の形態では、映像音声調整部１３から出力される使用者の画像及び合成映像の画面レイアウトを利用して、会話状況判定部４１で使用者が現在注視している画面上の位置（視線）を検出することにより、使用者が見ている画面位置を検出して、合成制御部４２で画面の注視状況に応じた画面レイアウト及び音声混合方式に自動的に切り替えるようにできる。例えば、視線がテレビジョン放送の番組の画面に向いている場合には、テレビジョン放送の番組の画面が大きい画面レイアウトに切り替え、現在注目しているのがテレビ会議システムの画面である場合にはテレビ会議システムの画面の大きいレイアウトに切り替えることができる。

また、本実施の形態では、使用者の視線を検知する場合に、現在注視している画面の情報を通信回線経由で通信相手（テレビ会議会話参加者）と相互に交換することにより、会話状況判定部４１で会議参加メンバー全体での注目度を検出することができる。その場合の合成制御部４２では、会議参加メンバー全体での画面注視状況に応じた画面レイアウト及び音声混合方式に自動的に切り替えることができる。

また、本実施の形態では、音声及び視線に応じて画面レイアウト及び音声混合方式を自動的に切り替えることができるが、使用者にとってはその画面レイアウト及び音声混合方式が最適であるとは限らない。そこで、本実施の形態では、さらに使用者が遠隔操作装置２を操作することにより、使用者の希望する画面レイアウト及び音声混合方式を会話状況判定部４１に伝え、会話状況判定部４１で画面レイアウト及び音声混合方式を使用者の希望に従うように切り替えるようにもできる。

さらに、本実施の形態では、使用者の希望する画面レイアウト及び音声混合方式の切り替えに関する情報を通信回線経由で通信相手に送信し、使用者と通信相手との双方の合成画面を同じ画面レイアウトにそろえることができる。

ここまでは、テレビ会議システムの各会話参加者の画面を各々同一寸法として、テレビジョン放送の番組の画面との合成画面の画面レイアウトの切り替えに関して説明してきたが、複数メンバーによるテレビ会議システムの場合、テレビ会議システムの各会話参加者の画面寸法の大小関係を個々に制御した方が良い場合がある。
例えば、会話の中心となって発言量が多い会話参加者は大きい寸法で表示し、あまり発言量が多くない会話参加者は小さく表示する等の制御が考えられる。

図５は、テレビ会議システムの４人の会話参加者の画面を各々同一寸法としてテレビジョン放送の番組の画面と合成した合成画面の画面レイアウトを示す図であり、図６は、テレビ会議システムの４人の会話参加者の内の特定の会話参加者のみを大きく表示してテレビジョン放送の番組の画面と合成した合成画面の画面レイアウトを示す図である。

図５の合成表示画面１０３においては、番組画面６０３は合成表示画面１０３の中央に表示寸法が比較的大きく表示され、テレビ会議システムの４人の会話参加者２０３、３０３、４０３、５０３は、合成表示画面１０３の４角に表示寸法が比較的小さく表示されている。一方、図６の合成表示画面１０４においては、番組画面６０４は同様に合成表示画面１０４の中央に表示寸法が比較的大きく表示されるが、テレビ会議システムの４人の会話参加者２０４、３０４、４０４、５０４については、会話参加者２０４、４０４、５０４は同様に合成表示画面１０３の各角に表示寸法が比較的小さく表示されるものの、会話参加者３０４は合成表示画面１０３の左下角に拡大されて大きく表示されている。

本実施の形態では、画面レイアウトを図５の合成画面から図６の合成画面に切り替える場合には、例えば、図５の合成画面が表示される状況において、会話状況判定部４１の最多発言者検出部６３で各会話参加者の音声から最多発言者を検出し、最多発言者の注目度が高いと判定し、その最多発言者の画像が拡大されたテンプレートを選択して合成制御信号として合成制御部４２に出力する。合成制御部４２では、映像合成部１４で合成される画像では最多発言者の映像が大きく表示された画面レイアウトとなるように合成制御信号を自動的に切り替える。

また、本実施の形態では、画面レイアウトを図５の合成画面から図６の合成画面に切り替える場合としては、音声から最多発言者を検出して画面レイアウトを制御する方法に代えて、会話状況判定部４１の注目点検出部５４で使用者の視線を検出することで使用者が注視している会話参加者の画面を検出し、その会話参加者の注目度が高いと判定し、その注目度が高い会話参加者の画像が拡大されたテンプレートを選択して合成制御信号として合成制御部４２に出力する方法を用いることができる。その場合、合成制御部４２では、映像合成部１４で合成される画像ではその注目度が高い会話参加者の映像が大きく表示された画面レイアウトとなるように合成制御信号を自動的に切り替える。

また、本実施の形態では、使用者の視線を検知する場合に、現在注視している画面の情報を通信回線経由で通信相手（テレビ会議会話参加者）と相互に交換することにより、会話状況判定部４１で会議参加メンバー全体での注目度を検出することができる。その場合の合成制御部４２では、会議参加メンバー全体での画面注視状況に応じて、会話参加者の多くが注目している通信相手の映像を大きく表示する画面レイアウトとなるように合成制御信号を自動的に切り替えることができる。

また、本実施の形態では、使用者の視線を検知する場合に、現在注視している画面の情報を通信回線経由で通信相手（テレビ会議会話参加者）と相互に交換することにより、会話状況判定部４１で、テレビ画面を介して擬似的に各通信相手と相互に視線が一致しているかを検出（推定）し、相互に視線が一致する会話参加者同士のお互いの画面だけを大きく配置した画面レイアウトに自動的に切り替えることもできる。

例えば、図６の会話参加者２０４、会話参加者３０４、会話参加者４０４、会話参加者５０４の４人で会話している場合で、会話参加者２０４が会話参加者３０４の画面を注視し、会話参加者３０４も会話参加者２０４の画面を注視、会話参加者４０４は会話参加者２０４を、会話参加者５０４はテレビ画面を注視している場合とする。その場合、会話参加者２０４の注視している画面では、会話参加者３０４の映像が大きく表示され、会話参加者３０４の注視している画面では、会話参加者２０４の映像が大きく表示されたレイアウトとなる。その場合に図６は、２０４の注視している画面を示すことになる。
又、その場合の会話参加者４０４、会話参加者５０４の注視している画面では、４人の会話参加者全員の映像が均等の大きさで表示される。

また、会話参加者が４人以上である場合には、例えば、図６の会話参加者２０４と会話参加者３０４が相互に注視し合って会話し、会話参加者４０４と会話参加者５０４が相互に注視し合って会話をする場合のように、視線検出により各々の通信相手を特定してその通信相手を大きく表示する処理が複数の組で実施される場合がある。この場合、画面については視線検出により相互に注視し合う相手が大きく表示される画面レイアウトに切り替えることができるが、音声については２組の会話音声の音量が均等に混合されて出力されるので、各組の個別の相手の音声が聞き取りにくい場合がある。そのような場合に、本実施の形態では、各組の個別の相手の画面の大きさを調整する際に、その相手の音声の混合比が大きくなるように調整することができる。従って、本実施の形態では、テレビ会議システムの１つの画面の中で複数組の会話参加者による複数の会話が存在する場合でも、個々の会話参加者に対応する相手の音声の混合比を大きくして混合させることができるので、個々の会話参加者が自分の会話相手の音声を自然に識別しやすく（聞き取りやすく）することができる。

このように本実施の形態の画像及び音声通信機能付テレビジョン放送受像機では、合成画面における各画面毎の表示寸法を、番組の内容に対する各会議会話参加者の重要度と連携させて切り替えることができ、更に、合成画面における各会議会話参加者毎の画面の表示寸法を、各会議会話参加者に個別の重要度と連携させて切り替えることができ、音声についても、対応する会話相手の音声の混合比が大きくなるように混合させて出力させることができるので、使用者の感覚的に自然で使いやすい画像及び音声通信機能付テレビジョン放送受像機を提供することができる。

実施の形態２．
上記した実施の形態１では、各会議会話参加者の注目点及び視線の検出結果を画面レイアウトの切り替えに利用していたが、各会議会話参加者の注目点及び視線の検出結果は、例えば、合成画面における同一テレビ番組の画面上に、各会話参加者の注目点をマーキングさせることで、各会話参加者に共通の話題を提供することができる。以下に示す実施の形態２では、そのような合成画面における同一テレビ番組の画面上に各会話参加者の注目点をマーキングさせる場合について説明する。

本実施の形態の構成については、基本的に図１及び図２の各ブロック図に示した実施の形態１と同様であるが、一部の構成ブロックに以下に説明する相違点を有する。
会話状況判定部４１内のレイアウト・音声混合テンプレート７２には、各会話参加者の注目点を示す特定記号を予め記憶し、注目点検出部５４の検出した各会話参加者の注目点に、その特定記号の映像を合成する。例えば、各会話参加者の注目点の各々を示す第１の特定記号と、各注目点から最も多く注目される最被注目点を示す第２の特定記号をレイアウト・音声混合テンプレート７２に記憶する場合、注目点検出部５４の検出した各会話参加者の注目点に第１の特定記号の映像を合成し、最被注目点には第２の特定記号の映像を合成する。

図７は、図３の本人を含めて４人で会話する場合の画面レイアウトに会話参加者の注目点を示す特定記号を追加して示した図である。
図７は、図３と同様に番組視聴に重点が置かれ、テレビ会議システムでの会話にはあまり重点が置かれない場合であり、合成表示画面１０５において、番組画面６０５は表示寸法が比較的大きく表示され、テレビ会議システムの４人の会話参加者２０５、３０５、４０５、５０５は表示寸法が比較的小さく同一寸法で表示される。

本実施の形態における各会話参加者２０５、３０５、４０５、５０５の視線（注目点）を検出した結果は、通信回線経由で交換され、各々の注視する合成画面の番組画面６０５上に、各会話参加者２０５、３０５、４０５、５０５の注視点を示す「○」マーク等の特定記号が表示される。
特定記号としては、その表示位置を強調できるように、円「○」や十字「＋」等、周囲の画像や色調にとけ込みにくい形状及び色調のものが用いられる。更に、その特定記号の輝度の変化、色の変化等により強調してもよい。この特定記号の表示機能により、各会話参加者２０５、３０５、４０５、５０５は、お互いが注目している画面上の位置がわかるので、各参加者に共通の話題が提供されることになる。

画面上のマークは、個人を特定できないように各会話参加者を同じ特定記号で表示させることもできるが、目的によっては各会話参加者中の誰の視線を表示しているのかがわかる方が良い場合もあるので、その場合には、各会話参加者毎に異なる特定記号を表示させる。その場合の各会話参加者毎に異なる各特定記号としては、例えば、形状が同じでも色分けしたり、形状の一部変更等を実施することで、画面上に表示された視線マークが誰の視線を表すのかを容易に識別できるようにできる。

色分けによる識別を行う場合、例えば、図７の画面上に表示された各会話参加者２０５、３０５、４０５、５０５の顔表示の枠線を各々異なる色で表示する。会話参加者２０５の枠線が赤色、会話参加者３０５の枠線が青色、会話参加者４０５の枠線が緑色、会話参加者５０５の枠線が黄色等である。次に、各会話参加者２０５、３０５、４０５、５０５の視線を示す特定記号（円）を各参加者の枠線の色と同じ色付きの円で表示させる。このように色分けすると、各会話参加者２０５、３０５、４０５、５０５の視線を、特定記号の色と顔表示の枠線を対照することで、視線を示す特定記号がだれの視線かを容易に識別することができる。

このように本実施の形態では、各会話参加者の注目点をマーキングさせることで、各会話参加者に共通の話題を提供することができる。

実施の形態３．
上記した実施の形態２では、合成画面における同一テレビ番組の画面上に各会話参加者の注目点をマーキングさせていたが、各会話参加者の視聴する合成画面に同一テレビ番組の画面を表示させる方法については記載されていなかった。その他の場合でも、画像及び音声通信機能付テレビジョン放送受像機では、会話参加者が同じテレビジョン放送の番組を見ていることが前提で会話が実施されることがある。以下に示す実施の形態３では、そのような各会話参加者の視聴する合成画面に同一テレビ番組の画面を表示させる方法について説明する。

本実施の形態の構成については、基本的に図１及び図２の各ブロック図に示した実施の形態１と同様であるが、一部の構成ブロックに以下に説明する相違点を有する。
会話状況判定部４１内の番組情報検出部５６は、使用者がチャンネルを切り替えた場合等に、その切り替わったチャンネルの情報を、他の会話参加者の画像及び音声通信機能付テレビジョン放送受像機に送信する。又、遠隔操作装置２は、他の会話参加者の画像及び音声通信機能付テレビジョン放送受像機に視聴中の番組を問い合わせて結果を受信し、その番組のチャンネルを自動的に選局することで、他の会話参加者が視聴中の番組と使用者が視聴する番組とを一致させるボタンを備える。

各会話参加者の視聴する合成画面に同一テレビ番組の画面を表示させる方法としては、例えば、使用者がチャンネルを切り替えた場合等に、その切り替わったチャンネルの情報を、他の会話参加者の画像及び音声通信機能付テレビジョン放送受像機に送信することが必要である。そのため、遠隔操作装置２によりチャンネル変更の操作が実施された場合には、番組情報検出部５６は、テレビデコーダ部２２の制御情報から現在視聴中のチャンネル情報を得て、例えば、会話状況判定部４１内の番組情報検出部５６及びネット検索部５１等を用いて通信制御部３２及び通信インターフェース部３１から通信回線経由で、そのチャンネル情報を他の会話参加者へ送信する。一方、そのチャンネル情報を受信した画像及び音声通信機能付テレビジョン放送受像機では、会話状況判定部４１内の番組情報検出部５６及びネット検索部５１等を用いて、自動的にそのチャンネルに切り替わるようにする。

各会話参加者の画像及び音声通信機能付テレビジョン放送受像機において、目的によっては、チャンネル切り替えの情報を無視したり、送信せずに自分の画像及び音声通信機能付テレビジョン放送受像機のチャンネルだけを切り替えたりすることもできる。

又、現在の会話参加者に新しい会話参加者が加わる場合には、例えば、遠隔操作装置に他の会話参加者の見ている番組に合わせるためのボタン持たせておき、そのボタンを押すことで、他の通信相手の画像及び音声通信機能付テレビジョン放送受像機に視聴中の番組を問い合わせ、そのチャンネルに自動的に切り替わるようにする。

このように本実施の形態では、各会話参加者の視聴する合成画面に同一テレビ番組の画面を表示させることができる。

実施の形態４．
上記した実施の形態１では、主に各画面の大きさと画面レイアウト及び音声の混合比を切り替えることによって、主な通信相手を識別しやすくしていたが、例えば、通信デコーダ部３４の能力が乏しく各会話参加者の画像表示寸法を変更することが厳しい場合等には、例えば、各会話参加者の画像のフレームレートを切り替えることによって主な通信相手を識別しやすくすることができる。以下に示す実施の形態４では、そのような各会話参加者の画像のフレームレートを切り替える場合について説明する。

図８は、本発明の実施の形態４の画像及び音声通信機能付テレビジョン放送受像機に係る一例の概略構成を示すブロック図である。
図８に示した本実施の形態の構成は、基本的に図１で示した実施の形態１と同様であるが、以下に説明する相違点を有する。図２については同様である。
レイアウト・音声混合テンプレート７２には、予め考えられる事態の各画像が様々な位置で様々にフレームレートを増減された画面レイアウトのテンプレートが格納されている。
合成制御部４２には、合成制御信号を利用して、強調して表示させる画像に対するフレームレートを増加させて表示させるフレームレート制御部４３を備える。
フレームレート制御部４３は、強調して表示させる必要のない画像に対してはフレームレートを減少させる。

本実施の形態では、例えば、注目している通信相手の画像は秒３０コマで表示し、それ以外の通信相手は秒１コマで表示するなどの方法で、各会話参加者の画像から主な通信相手を識別しやすくすることができる。
このフレームレートを変化させる方法は、上記した画像サイズを変更する方法と併用することも可能である。

このように本実施の形態では、各会話参加者の画像のフレームレートを切り替えることによって主な通信相手を識別しやすくすることができる。

図１は、本発明の実施の形態１の画像及び音声通信機能付テレビジョン放送受像機に係る一例の概略構成を示すブロック図である。 図１の会話状況判定部４１の概略の内部構成の一例を示すブロック図である。 図１の画像及び音声通信機能付テレビジョン放送受像機で番組視聴重視の場合の一例として本人を含めて４人で会話する場合の画面レイアウトを示す図である。 図１の画像及び音声通信機能付テレビジョン放送受像機で会話重視の場合の一例として本人を含めて４人で会話する場合の画面レイアウトを示す図である。 テレビ会議システムの４人の会話参加者の画面を各々同一寸法としてテレビジョン放送の番組の画面と合成した合成画面の画面レイアウトを示す図である。 テレビ会議システムの４人の会話参加者の内の特定の会話参加者のみを大きく表示してテレビジョン放送の番組の画面と合成した合成画面の画面レイアウトを示す図である。 図３の本人を含めて４人で会話する場合の画面レイアウトに会話参加者の注目点を示す特定記号を追加して示した図である。 本発明の実施の形態４の画像及び音声通信機能付テレビジョン放送受像機に係る一例の概略構成を示すブロック図である。

符号の説明

１ 画像及び音声通信機能付テレビジョン放送受像機、 ２ 遠隔操作装置、 １１ システム制御部、 １２ 映像音声入力部、 １３ 映像音声調整部、 １４ 映像合成部、 １５ 表示部、 １６ 音声混合部、 １７ 音声出力部、 １８ 遠隔操作受信部、 ２１ チューナ部、 ２２ テレビデコーダ部、 ３１ 通信インタフェース部、 ３２ 通信制御部、 ３３ 通信エンコーダ部、 ３４ 通信デコーダ部、 ４１ 会話状況判定部、 ４２ 合成制御部、 ４３ フレームレート制御部、 ５１ ネット検索部、 ５２ 被注目者検出部、 ５３ 視線一致検出部、 ５４ 注目点検出部、 ５５ 音声モード検出部、 ５６ 番組情報検出部、 ６１ 盛り上がり検出部、 ６２ 通話総量検出部、 ６３ 最多発言者検出部、 ７１ 検出内容判定部、 ７２ レイアウト・音声混合テンプレート、 ７３ 合成モード選定部、 ８１ 放送・通話比算出部、 ８２ 特定発言者重点検知部、 ８３ 使用者選択モード記憶部、 ８４ テンプレート選択部。

Claims (24)

1. 受信したテレビジョン放送のデジタル信号を復号してテレビ映像信号及びテレビ音声信号及びそれらに付帯されるテレビ制御信号を検出するテレビデコーダ部と、
   撮像手段からの入力映像信号及び音声入力手段からの入力音声信号を画像及び音声通信処理に適した形式に変換する映像音声調整部と、
   通信回線からの入力信号を復号して通信映像信号及び通信音声信号を検出する通信デコーダ部と、
   通信回線に対する映像及び音声の入出力信号とそれに付帯される通信制御信号の入出力を制御する通信制御部と、
   前記テレビデコーダ部からのテレビ映像信号及び前記通信デコーダ部からの通信映像信号が入力されて、画像及び音声通信時には、前記テレビジョン放送で受信した番組の画像と通信回線から入力した画像とが合成された合成映像信号を出力する映像合成部と、
   前記テレビジョン放送で受信した番組の画像を表示させると共に画像及び音声通信時には前記合成映像信号を表示させる表示部と、
   少なくとも前記映像音声調整部からの入力音声信号及び前記通信デコーダ部からの通信音声信号が入力されて使用者と通信相手の会話状況を判定して合成制御信号を出力する会話状況判定部と、を備え、
   前記会話状況判定部は、番組情報検出部と、盛り上がり検出部と、合成モード選定部と、を含み、
   前記番組情報検出部は、視聴されている番組のジャンルを検出し、
   前記盛り上がり検出部は、テレビ放送の音声から周波数の変化、音量の変化を分析して、前記番組情報検出部で検出された前記番組のジャンルに特有の盛り上がり状況を検出して合成モード選定部に出力し、
   前記合成モード選定部は、前記盛り上がり検出部での検出結果に基づいて、前記番組が盛り上がっているときには、テレビ放送の映像と音声を認識しやすいように画像合成と音声混合を調整し、前記番組が盛り上がっていないときには、会話参加者の映像と音声を認識しやすいように映像合成と音声混合を調整する合成制御信号を生成し、
   前記映像合成部は、更に前記会話状況判定部からの合成制御信号が入力され、該合成制御信号に基づいて前記合成映像信号を合成し、
   前記表示部は、前記合成制御信号に基づく合成映像信号を表示させる
   ことを特徴とする画像及び音声通信機能付テレビジョン放送受像機。
2. 前記会話状況判定部は、前記映像音声調整部からの入力音声信号から検出される使用者の発言量と、前記通信デコーダ部からの通信音声信号から検出される通信相手の発言量に基づいて会話状況を判定し、発言量の多い人の画像が大きく表示されるように合成制御信号を生成する
   ことを特徴とする請求項１に記載の画像及び音声通信機能付テレビジョン放送受像機。
3. 前記映像合成部は、合成される各画像の寸法比率が異なる複数の合成レイアウトテンプレートの内容を含む前記合成制御信号に従い合成された合成映像信号を出力する
   ことを特徴とする請求項１又は２に記載の画像及び音声通信機能付テレビジョン放送受像機。
4. 前記通信制御部は、少なくとも出力する前記通信制御信号には使用者の発言量情報を含めて出力し、入力する前記通信制御信号からは通信相手の発言量情報を検出する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
5. 前記会話状況判定部は、通信制御部からの通信制御信号が入力されて、該通信制御信号から会話参加者の人数を判別し、３人以上である場合に発言量の多い順番に各会話参加者の画像が大きくなるように合成制御信号を生成する
   ことを特徴とする請求項４に記載の画像及び音声通信機能付テレビジョン放送受像機。
6. 前記会話状況判定部は、通信制御部からの通信制御信号が入力されて、該通信制御信号から会話参加者の人数を判別し、３人以上である場合に発言量が最多の人の画像が大きくなるように合成制御信号を生成する
   ことを特徴とする請求項４に記載の画像及び音声通信機能付テレビジョン放送受像機。
7. 前記テレビデコーダ部からのテレビ音声信号及び前記通信デコーダ部からの通信音声信号及び前記映像音声調整部からの入力音声信号及び前記会話状況判定部からの合成制御信号が入力されて、該合成制御信号に基づいて混合された混合音声信号を出力する音声混合部を備え、
   前記合成制御信号により、前記音声混合部で各会話参加者の音量レベルについても各々変化させる
   ことを特徴とする請求項４〜６の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
8. 前記音声混合部は、各画像に対応する各音声の混合される各音量レベルが異なる複数の音声混合テンプレートの内容を含む前記合成制御信号に従い混合された混合音声信号を出力する
   ことを特徴とする請求項７に記載の画像及び音声通信機能付テレビジョン放送受像機。
9. 前記通信制御部では、出力される前記通信制御信号には使用者の発声音量レベル情報を含めて出力し、入力する前記通信制御信号からは通信相手の発声音量レベル情報を検出し、
   前記会話状況判定部は、前記発言量に加えて、前記映像音声調整部からの入力音声信号における使用者の発声音量レベルと、前記通信デコーダ部からの通信音声信号における通信相手の発声音量レベルに基づき会話状況を判定する
   ことを特徴とする請求項２〜８の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
10. 前記会話状況判定部には、更に前記テレビデコーダ部からのテレビ制御信号がチャンネル情報と共に入力され、
    前記テレビ制御信号には、少なくとも使用者が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記チャンネル情報及び前記ジャンル情報から、映画又はドラマに対応する番組が視聴されていると判断した場合には、テレビ放送の映像と音声を認識しやすいように画像合成と音声合成を調整する
    ことを特徴とする請求項１〜９の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
11. 前記会話状況判定部には、更に前記テレビデコーダ部からのテレビ制御信号がチャンネル情報と共に入力され、
    前記テレビ制御信号には、少なくとも使用者が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記チャンネル情報及び前記ジャンル情報から、バラエティに対応する番組が視聴されていると判断した場合には、会話参加者の映像と音声を認識しやすいように画像合成と音声合成を調整する
    ことを特徴とする請求項１〜１０の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
12. 前記会話状況判定部には、更に前記テレビデコーダ部からのテレビ制御信号がチャンネル情報と共に入力され、
    前記テレビ制御信号には、少なくとも使用者が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記チャンネル情報及び前記ジャンル情報から、映画又はドラマに対応する番組が視聴されていると判断した場合には、テレビ音声が小さくなったときに、テレビ放送の映像と音声を認識しやすいように画像合成と音声合成を調整する
    ことを特徴とする請求項１〜９の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
13. 前記会話状況判定部には、更に前記テレビデコーダ部からのテレビ制御信号がチャンネル情報と共に入力され、
    前記テレビ制御信号には、少なくとも使用者が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記チャンネル情報及び前記ジャンル情報から、バラエティ又はスポーツに対応する番組が視聴されていると判断した場合には、テレビ音声が大きくなったときに、会話参加者の映像と音声を認識しやすいように画像合成と音声合成を調整する
    ことを特徴とする請求項１〜９の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
14. 前記通信制御部は、出力される前記通信制御信号には使用者の視聴するテレビ放送番組のチャンネル情報及び付帯情報を含めて出力し、入力する前記通信制御信号からは通信相手のテレビ放送番組のチャンネル情報及び付帯情報を検出し、
    前記付帯情報には、少なくとも前記通信相手が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記通信相手が視聴中のテレビ放送番組のジャンル情報から、映画又はドラマに対応する番組が視聴されていると判断した場合には、当該映画又はドラマに対応する番組を視聴している通信相手の映像と音声を合成する際に、通常より小さい映像及び小さい音声として合成する
    ことを特徴とする請求項１〜１３の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
15. 前記通信制御部は、出力される前記通信制御信号には使用者の視聴するテレビ放送番組のチャンネル情報及び付帯情報を含めて出力し、入力する前記通信制御信号からは通信相手のテレビ放送番組のチャンネル情報及び付帯情報を検出し、
    前記付帯情報には、少なくとも前記通信相手が視聴中のテレビ放送番組のジャンル情報が含まれており、
    前記会話状況判定部は、前記前記通信相手が視聴中のテレビ放送番組のジャンル情報から、バラエティに対応する番組が視聴されていると判断した場合には、当該バラエティに対応する番組を視聴している通信相手の映像と音声を合成する際に、通常より大きい映像及び大きい音声として合成する
    ことを特徴とする請求項１〜１３の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
16. 前記通信制御部は、出力される前記通信制御信号には、使用者が画面上のどこを注目しているかを示す、使用者の注目点情報を含めて出力し、入力する前記通信制御信号からは、通信相手が画面上のどこを注目しているかを示す、通信相手の注目点情報を検出し、
    前記会話状況判定部は、注目点検出部と、被注目者検出部と、をさらに含み、
    前記注目点検出部は、前記撮像手段からの入力映像信号から使用者の注目点を検出し、
    前記被注目点判定部は、前記使用者の注目点情報及び前記通信相手の使用者の注目点情報から、会話参加者全体中の最も注目されている通信相手を検出し、
    前記合成モード選定部は、前記被注目点検出部が検出した通信相手の映像と音声を、他の参加者の映像と音声よりも認識しやすくする
    ことを特徴とする請求項１０〜１５の何れか１項に記載に記載の画像及び音声通信機能付テレビジョン放送受像機。
17. 前記通信制御部は、出力される前記通信制御信号には、使用者が画面上のどこを注目しているかを示す、使用者の注目点情報を含めて出力し、入力する前記通信制御信号からは、通信相手が画面上のどこを注目しているかを示す、通信相手の注目点情報を検出し、
    前記会話状況判定部は、注目点検出部と、視線一致検出部と、をさらに含み、
    前記注目点検出部は、前記撮像手段からの入力映像信号から使用者の注目点を検出し、
    前記視線一致検出部は、前記使用者の注目点情報及び前記通信相手の使用者の注目点情報から、使用者が注目し、かつ、使用者を注目している通信相手を検出し、
    前記合成モード選定部は、前記視線一致検出部が検出した通信相手の映像と音声を、他の参加者の映像と音声よりも認識しやすくする
    ことを特徴とする請求項１０〜１５の何れか１項に記載に記載の画像及び音声通信機能付テレビジョン放送受像機。
18. 前記会話状況判定部は、各会話参加者の前記注目点を示す特定記号を予め記憶し、
    前記注目点検出部の検出した注目点に前記特定記号の映像を合成する
    ことを特徴とする請求項１６又は１７に記載の画像及び音声通信機能付テレビジョン放送受像機。
19. 前記会話状況判定部は、各会話参加者の前記注目点の各々を示す第１の特定記号と、前記各注目点から最も多く注目される最被注目点を示す第２の特定記号を予め記憶し、
    前記注目点検出部の検出した各会話参加者の注目点に前記第１の特定記号の映像を合成し、前記最被注目点には前記第２の特定記号の映像を合成する
    ことを特徴とする請求項１８に記載の画像及び音声通信機能付テレビジョン放送受像機。
20. 電波又は赤外線を用いた無線信号により画像及び音声通信機能付テレビジョン放送受像機を遠隔操作できる遠隔操作装置及びその無線信号を受信する遠隔操作受信部を備え、
    前記遠隔操作装置は、前記会話状況判定部からの前記合成制御信号の出力のオン／オフ又は前記合成制御信号の制御内容変更の入力操作が可能である
    ことを特徴とする請求項１４〜１９の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
21. 前記通信制御部は、出力される前記通信制御信号には前記遠隔操作装置から無線信号により指示された内容を含めて出力し、入力する前記通信制御信号からは通信相手の遠隔操作装置から無線信号により指示された内容を検出し、
    前記会話状況判定部は、全会話参加者の遠隔操作装置指示入力情報を前記注目点を判定するために用いる
    ことを特徴とする請求項２０に記載の画像及び音声通信機能付テレビジョン放送受像機。
22. 前記遠隔操作装置は、他の会話参加者の画像及び音声通信機能付テレビジョン放送受像機に視聴中の番組を問い合わせて結果を受信し、該番組のチャンネルを自動的に選局することで、他の会話参加者が視聴中の番組と使用者が視聴する番組とを一致させるボタンを備える
    ことを特徴とする請求項２０又は２１に記載の画像及び音声通信機能付テレビジョン放送受像機。
23. 前記合成制御信号を利用して、強調して表示させる画像に対するフレームレートを増加させて表示させるフレームレート制御部を備える
    ことを特徴とする請求項１〜２２の何れか１項に記載の画像及び音声通信機能付テレビジョン放送受像機。
24. 前記フレームレート制御部は、強調して表示させる必要のない画像に対してはフレームレートを減少させる
    ことを特徴とする請求項２３に記載の画像及び音声通信機能付テレビジョン放送受像機。

Images