JP2009033298A - 通信システム及び通信端末 - Google Patents

Abstract

【課題】音源定位スピーカを備える３つ以上の通信端末を、通信回線を介して互いに接続してマルチトークを実現する通信システムであって、複数の話者が同時に発言をした際にも、各話者の発言を聞き手が容易に区別できる通信システムを提供する。
【解決手段】通信システム１０の通話交換装置１２は、接続中の通信端末から音声信号を送信している１つ以上の通信端末を識別し、識別した通信端末と通信端末が送信する音声信号の音量とを対応付けた通信状態情報を生成する通信状態検出部３４と、通信状態情報を受信し、現在送信されている音声信号を受信する通信端末を受信端末として識別し、識別した受信端末毎に設定されている音像合成規則に基づいて、現在送信されている音声信号について各受信端末毎に音像合成を行い、合成した音像を当該受信端末に送信する音像合成処理部３５と、を備える。
【選択図】図３

Description

本発明は、通信システム及び通信端末に関し、更に詳しくは、音源定位スピーカを備える３つ以上の通信端末を、通信回線を介して互いに接続してマルチトークを実現する通信システム、及び、その通信システムに用いられる通信端末に関する。

３人以上のユーザが通信端末を介して同時に通話するマルチトークシステムが既に実現されており、通信技術の進歩に伴って、今後更に普及することが予想される。ところで、３人以上の人が実際に集まって会話をする場合には、複数の話者が同時に発言しても、聞き手は各話者の発言を聞き分けることが出来る。この現象はカクテルパーティ効果と呼ばれ、人の脳は、音が左右の耳に到達する時間差や、音源の距離感、視覚から得られる情報などに基づき、現在聞こえている音から複数の音源を分離する能力を持っているためとされている。

しかし、上記のマルチトークシステムでは、３人以上の人が集まって会話をする場合とは異なり、複数の話者が同時に発言した際に、単にスピーカで各話者の音声を再生するだけでは、音が左右の耳に到達する時間差や、音源の距離感などが均一化される。このため、聞き手は、各話者の音声を聞き分けることが難しくなり、誰が発言しているのかを理解できなくなるという問題が生じる。

上記の問題を解決するために、特許文献１は、マルチトークシステムにおける通信端末のスピーカをステレオスピーカで構成すると共に、各話者の音源を定位する旨を記載している。音源を定位するとは、ステレオスピーカ等から再生される立体的な音声において、各話者の音声が互いに異なる位置から聞こえるように、各話者の音源を擬似的に異なる位置に配置することを言う。
特開２００４−２７４１４７号公報

本発明者は、特許文献１に記載のような、各話者の音源を定位したマルチトークシステムにおいて、更に研究を行った。その結果、各話者の音源を定位した場合でも、複数の話者が同時に発言をした際には、一方の発言が他方の発言に遮られて聞き取りにくくなる場合があることが判った。

本発明は、上記に鑑み、音源定位スピーカを備える３つ以上の通信端末を、通信回線を介して互いに接続してマルチトークを実現する通信システム、及び、その通信システムに用いられる通信端末であって、複数の話者が同時に発言をした際にも、各話者の発言を聞き手が容易に区別できる通信システム及び通信端末を提供することを目的とする。

上記目的を達成するために、本発明の第１の視点に係る通信システムは、
音源定位スピーカを備える３つ以上の通信端末を、通信回線を介して互いに接続してマルチトークを実現する通信システムであって、
接続中の通信端末から音声信号を送信している１つ以上の通信端末を識別し、該識別した通信端末と該通信端末が送信する音声信号の音量とを対応付けた通信状態情報を生成する通信状態検出部と、
前記通信状態情報を受信し、現在送信されている音声信号を受信する通信端末を受信端末として識別し、該識別した受信端末毎に設定されている音像合成規則に基づいて、現在送信されている音声信号について各受信端末毎に音像合成を行い、該合成した音像を当該受信端末に送信する音像合成装置と、を備えることを特徴とする。

本発明の第２の視点に係る通信システムは、
音源定位スピーカ及び映像表示装置を備える３つ以上の通信端末を、通信回線を介して互いに接続してテレビ電話マルチトークを実現する通信システムであって、
接続中の通信端末から音声信号及び映像信号を送信している１つ以上の通信端末を識別し、該識別した通信端末と該通信端末が送信する音声信号の音量とを対応付けた通信状態情報を生成する通信状態検出部と、
前記通信状態情報を受信し、現在送信されている音声信号及び映像信号を受信する通信端末を受信端末として識別し、該識別した受信端末毎に設定されている映像合成規則に基づいて、現在送信されている映像信号について各受信端末毎に映像合成を行い、該合成した映像を当該受信端末に送信する映像合成装置と、を備えることを特徴とする。

本発明の第１の視点に係る通信システムによれば、音像合成装置が、通信端末装置から受信した音像合成規則に基づいて、通話状態にある他の各通信端末装置からの音声信号を音像に合成するので、聞き手にとって聞き取り易い最適な音像に合成できる。これらによって、複数の話者が同時に発言をした際にも、各話者の発言を聞き手が容易に区別できる。

本発明の第２の視点に係る通信システムによれば、映像と音像とが対応するので、各話者の発言を聞き手がより容易に区別できる。

以下に、添付図面を参照し、本発明の実施例を詳しく説明する。図１は、本発明の第１実施例に係る通信システムのブロック図である。通信システム１０は、マルチトークシステムであって、通信端末１１と、通信回線１３を介して通信端末１１と接続された通話交換装置１２とを有する。通話交換装置１２は、３つ以上の通信端末１１を同時に接続して、マルチトークを実現することが出来る。同図は、４つの通信端末１１ａ〜１１ｄが同時に接続された状態を示している。

図２は、通信端末１１のブロック図である。通信端末１１は、例えば携帯電話機として構成され、ユーザの入力操作を受け付ける入力装置２１と、液晶表示パネルからなる表示装置２２と、記憶装置２３と、通信装置２４と、スピーカからなる受話装置２５と、マイクからなる送話装置２６と、制御装置２７とを有する。

受話装置２５は、音源定位スピーカとして構成される。音源定位スピーカとは、一般にステレオスピーカやサラウンドスピーカと呼ばれ、複数の音源が擬似的に互いに異なる方角及び距離から聞こえるように再生されるスピーカ又はスピーカセットである。通信装置２４は、通話交換装置１２との間で音声信号の送受信を行う。制御装置２７は、一時記憶装置及び中央演算装置を備え、所定の制御プログラムによって動作し、通信端末１１における各部２１〜２６の動作を制御する。

図３は、通話交換装置１２のブロック図である。通話交換装置１２は、複数の通信端末１１との間で音声信号の送受信を行う通信装置３１と、記憶装置３２と、制御装置３３とを有する。制御装置３３は、一時記憶装置及び中央演算装置を備え、所定の制御プログラムによって動作し、通話交換装置１２における各部３１，３２の動作を制御する。

制御装置３３は、現在の通話状態を検出する通話状態検出部３４と、各通信端末１１から受信した音声信号を音像に合成する音像合成処理部（音像合成装置）３５とを有する。音像に合成するとは、音源定位スピーカから再生される立体的な音声において、各話者の音声が互いに異なる位置から聞こえるように、各話者の音源を擬似的に異なる位置に配置し（音源定位）、又は、各話者の音量を調節し（音量調節）、若しくは、これら双方を行うことを言う。

図４は、図１の通信システム１０を用いた通話方法の手順を示すフローチャートである。通信端末１１の記憶装置２３に、予め音像合成規則を格納する（ステップＳ１１）。音像の合成は、複数の話者の音声信号を一つの音像に合成するものであり、例えば、現在通話状態にある人の数、現在の発言の数、発言の声の大きさ、又は、現在通話状態にある人に関する情報等に基づいて行う。音像合成規則は、その音像合成の際のルールを定めたものである。

音像合成規則は、ユーザが入力装置２１を用いて予め設定することができ、通話中であっても変更することが出来る。また、音像合成規則の幾つかの候補を予め記憶装置２３に格納しておき、それらの候補からユーザが入力装置２１を介して選択できるようにしてもよい。

通信端末１１の制御装置２７は、自己の通信端末１１を含めて３つ以上の通信端末１１が同時に接続され、マルチトークが実現されると、記憶装置２３から音像合成規則を読み出し、通信装置２４を介して通話交換装置１２に送信する（ステップＳ１２）。通話交換装置１２の制御装置３３は、受信した音像合成規則を記憶装置３２に格納すると共に、通話状態検出部３４及び音像合成処理部３５を起動する（ステップＳ１３）。

通話状態検出部３４は、現在の通話状態を検出し、音像合成規則を受信した通信端末１１に接続されている各通信端末１１の識別情報と音声信号の音量の情報とを対応付けて通信状態情報を生成し、音像合成処理部３５に出力する（ステップＳ１４）。音像合成処理部３５は、通話状態検出部３４から得た通信状態情報及び音像合成規則に基づき、各通信端末１１から受信した音声信号を、音像に合成する（ステップＳ１５）。音像の合成に際しては、各通信端末１１から受信した音声信号の音源定位及び音量調節の何れか、又は、双方を行う。

音像合成処理部３５は、合成した音像を、通信装置３１を介して、音像合成規則を受信した通信端末１１に送信する（ステップＳ１６）。通信端末１１の制御装置２７は、通話交換装置１２から音像を受信し、受信した音像を受話装置２５から再生させる（ステップＳ１７）。音源定位や音量調節がなされた音像が再生されることによって、聞き手には、各話者が互いに異なる位置で発言しているように聞こえ、各話者の発言を区別できる。

図５（ａ）、（ｂ）に、音像合成規則の一例を示す。音像の合成に際しては原則的に、複数の音源を可能な限り等方的に配置する。等方的に配置するとは、１次元、２次元、又は、３次元の空間内に、複数の音源を聞き手を中心として互いに対称的な方位に配置することを言う。

例えば、２つの音源を配置する際には、図５（ａ）に示すように、２つの音源を、聞き手と交差する直線上に、聞き手を挟んで対称になるように配置する。３つの音源を配置する際には、図５（ｂ）に示すように、３つの音源を、聞き手を中心とする正三角形の頂点に配置する。４つの音源を配置する際には、聞き手を中心とする正方形又は正四面体の頂点に、４つの音源を配置する。このように複数の音源を等方的に配置することによって、各話者の発言を聞き手が容易に区別できる。

音像合成規則の他の一例として、図５（ａ）、（ｂ）等に示したように音源の方位が決定された後に、聞き手と音源との距離を設定してもよい。例えば、各話者の音量に基づいて、音量の大きな音源を聞き手から近い所に、音量の小さな音源を聞き手から遠い所に配置してもよい。

音像合成規則の他の一例として、音声信号の音量が一定のレベルを超えたものを発言として抽出し、この発言として抽出された音声信号のみを音源に合成してもよい。各話者の配置を固定する場合に比して、発言同士を離して配置できるので、各話者の発言を聞き手がより容易に区別できる。この場合、更に、各発言の音量が均一になるように調節してもよい。

音像合成規則の他の一例として、音声信号の音量が、発言と見なされるレベルＡを更に上回るレベルＢを超えると、当該発言を音量の大きな発言であると見なす。更に、音量がレベルＢを超える発言を優先的に等方的に配置した後、音量がレベルＢを超えない発言を音量がレベルＢを超える発言の配置場所の間に、可能な限り等方的に配置してもよい。

音像合成規則の他の一例として、通信端末１１の電話帳機能によって通話相手を特定し、電話帳データから通話相手の関連情報を抽出する。また、抽出された通話相手の関連情報に基づいて、通話相手をグループ分けし、或いは、順位付けする。また、グループごとに、又は、順位に基づいて、各通話相手による音声信号の音源定位や音量調節を行う。

音像合成規則の他の一例として、通信端末１１の電話帳機能によって通話相手を特定し、通話記録から通話相手との過去の通話回数や、通話時間などの情報を、メール送受信記録から通話相手との過去のメール送受信回数や、送受信したメールのサイズなどの情報を抽出する。また、抽出したこれらの情報に基づいて、通話相手をグループ分けし、或いは、順位付けする。また、グループごとに、又は、順位に基づいて、各通話相手による音声信号の音源定位や音量調節を行う。

上記のように音像合成規則が通信端末１１の電話帳機能等を利用することを規定している場合には、通信端末１１の制御装置２７は、ステップＳ１２の音像合成規則の送信に先立って、電話帳機能等の利用を行い、音像合成規則の詳細な設定を行う。音像合成規則は、上記に述べた例を互いに組み合わせて構成してもよい。また、上記に述べた例の他にも、通信システム１０やユーザの目的に応じて、種々の態様を採用できる。

ユーザが音像合成規則を変更すると、ステップＳ１２、Ｓ１３に従って、通話交換装置１２の記憶装置３２に変更された新たな音像合成規則が格納され、ステップＳ１４では、通話交換装置１２の音像合成処理部３５は新たな音像合成規則に基づいて、音像を合成する。

通話中に音像合成規則を変更する方法の例の一つとして、通信端末１１の記憶装置２３に格納された複数の音像合成規則から現在選択されている音像合成規則とは異なるものを選択することが出来る。また、各話者の音源の位置を互いに入れ替えることが出来る。更に、各話者の音量の大小を互いに切り替えることが出来る。更に、各話者の音源の位置の関係と、各話者の音量の大小の関係とを互いに切り替えることが出来る。

本実施例では、聞き手が通話中に音像合成規則を変更できるように構成したので、現在適用されている音像合成規則で、聞き手が各話者の発言を聞き分けにくいと感じた場合にも、音像合成規則を変更することで、聞き分け易くすることが出来る。また、現在適用されている音像合成規則が聞き手の意図に適合しない場合にも、聞き手は所望のものに変更できるので、聞き手が不便を感じることを防止できる。

例えば、マルチトーク中に２人の話者が同時に発言をしていて、且つ、この２人の話者の音源が互いに近い位置に配置されている場合には、聞き手は各話者の発言を区別しにくい。この場合には、２人の話者の音源を互いに遠い位置に配置すれば、各話者の発言を聞き分け易く出来る。

また、複数の話者が同時に発言している際に、聞き手が特定の話者の発言に注意を向けたいが、他の話者の発言に遮られて聞き取りにくい場合が考えられる。この場合には、この特定の話者の発言が聞き取り易くなるように各話者の音源の配置を入れ替え、又は、各話者の音量を調節すれば、前述の発言を聞き取り易く出来る。更に、各話者の音量に合わせて、それら各話者の音源と聞き手との擬似的な距離を調節すれば、各話者の発言をより聞き分け易くでき、且つ、臨場感のある通話を楽しむことが出来る。

本実施例の通信システム１０によれば、音像合成処理部３５が、通信端末１１から受信した音像合成規則に基づいて、通話状態にある他の各通信端末１１からの音声信号を音像に合成するので、聞き手にとって区別し易い最適な音像に合成できる。これらによって、複数の話者が同時に発言をした際にも、各話者の発言を聞き手が区別し易くできる。

なお、第１実施例の通信システム１０では、通話状態検出部３４及び音像合成処理部３５の双方が通話交換装置１２内に配設されている必要はなく、例えば何れか一方又は双方が通信端末１１の制御装置２７内に配設されてもよい。

本発明の第２実施例の通信システムは、テレビ電話マルチトークシステムとして構成される。通信端末１１は、図２に示した各種機能に加えて、撮影装置（図示せず）を有する。通信端末１１の通信装置２４は、通話中に撮影を行い、撮影した映像情報を通話交換装置１２に送信する。また、通話中に通話交換装置１２から映像情報を受信し、表示装置２２上に表示する。

図６は、本実施例における通話交換装置１２の制御装置３３のブロック図である。通話交換装置１２の制御装置３３は、通話状態検出部３４及び音像合成処理部３５に加えて、通話状態にある各通信端末１１から受信した映像を合成する映像合成処理部（映像合成装置）３６を有する。

図７は、本実施例の通信システムを用いた通話方法の手順を示すフローチャートである。通信端末１１の記憶装置２３に、予め映像合成規則を格納する（ステップＳ２１）。映像の合成は、複数の話者の映像を一つの映像に合成するものであり、映像合成規則は、その映像合成の際のルールを定めたものである。映像合成規則も、前述の音像合成規則と同様に、聞き手が入力装置２１を用いて予め設定することができ、通話中であっても変更することが出来る。また、映像合成規則の幾つかの候補を予め記憶装置２３に格納しておき、それらの候補から聞き手が入力装置２１を介して選択できるようにしてもよい。

通信端末１１の制御装置２７は、自己の通信端末１１を含めて３つ以上の通信端末１１が同時に接続され、テレビ電話マルチトークが実現されると、記憶装置２３から映像合成規則を読み出し、通信装置２４を介して通話交換装置１２に送信する（ステップＳ２２）。通話交換装置１２の制御装置３３は、受信した映像合成規則を記憶装置３２に格納すると共に、通話状態検出部３４、音像合成処理部３５、及び、映像合成処理部３６を起動する（ステップＳ２３）。

通話状態検出部３４は、現在の通話状態を検出し、映像合成規則を受信した通信端末１１に接続されている各通信端末１１の識別情報と音声信号の音量の情報とを対応付けて通信状態情報を生成し、映像合成処理部３６に出力する（ステップＳ２４）。

映像合成処理部３６は、通話状態検出部３４から得た通信状態情報及び映像合成規則に基づき、各通信端末１１から受信した映像の配置、大きさ、動き、表示状態の一部又は全てを決定し、この決定に基づいて各通信端末１１から受信した映像を合成する（ステップＳ２５）。映像合成処理部３６は、合成した映像の情報を映像合成規則を受信した通信端末１１に送信すると共に、各通信端末１１の識別情報と、各通信端末１１から受信した映像の配置、大きさ、動き、表示状態の情報とを対応付けて映像合成情報を生成し、音像合成処理部３５に出力する（ステップＳ２６）。

音像合成処理部３５は、映像合成情報に基づいて、各通信端末１１から受信した音像を合成する（ステップＳ２７）。音像合成処理部３５は、合成した音像の情報を映像合成規則を受信した通信端末１１に送信する（ステップＳ２８）。通信端末１１は、映像合成処理部３６から映像情報を受け取り映像を表示装置２２に表示させる（ステップＳ２９）と共に、音像合成処理部３５から音像情報を受け取り音像を受話装置２５で再生させる（ステップＳ３０）。

映像合成規則の一例として、音声信号の音量に応じて対応する映像の大きさや配置を設定してもよい。この場合、特定の話者の映像が他の話者の映像上にオーバーレイするように表示させてもよい。映像合成規則の他の一例として、音声信号の音量が一定のレベルを超えたものを発言として抽出し、発言中の話者の映像を相対的に大きく表示してもよい。或いは、発言中の話者の映像のみを画面上に配置してもよい。これらの場合、発言中の話者の映像を画面上に等方的に配置してもよい。

映像合成規則の他の一例として、各話者の映像を画面の端部に配置し、或いは、表示させず、音声信号の音量が一定のレベルを超えた際に発言と見なして、発言者の映像を画面の端から中央付近に向かって移動表示させてもよい。この場合、発言中の話者の映像を画面の中央付近に等方的に配置してもよい。

映像合成規則の他の一例として、音声信号の音量が、発言と見なされるレベルＡを更に上回るレベルＢを超えると、当該発言を音量の大きな発言であると見なす。更に、音量がレベルＢを超える発言に対応する映像を優先的に等方的に配置した後、音量がレベルＢを超えない発言に対応する映像を、音量がレベルＢを超える発言に対応する映像の配置場所の間に、可能な限り等方的に配置してもよい。

映像合成規則の他の一例として、通信端末１１の電話帳機能によって通話相手を特定し、電話帳データから通話相手の関連情報を抽出する。また、抽出された通話相手の関連情報に基づいて、通話相手をグループ分けし、或いは、順位付けする。また、グループごとに、又は、順位に基づいて、各通話相手の映像の配置、大きさ、動き、表示状態を設定する。

映像合成規則の他の一例として、通信端末１１の電話帳機能によって通話相手を特定し、通話記録から通話相手との過去の通話回数や、通話時間などの情報を、メール送受信記録から通話相手との過去のメール送受信回数や、送受信したメールのサイズなどの情報を抽出する。また、抽出したこれらの情報に基づいて、通話相手をグループ分けし、或いは、順位付けする。また、グループごとに、又は、順位に基づいて、各通話相手の映像の配置、大きさ、動き、表示状態を設定する。

これらによって、複数の話者が同時に発言をした際にも、視覚的な効果が相まって、聞き手は各話者の発言をより容易に区別できる。なお、上記のように映像合成規則が通信端末１１の電話帳機能等を利用することを規定している場合には、通信端末１１の制御装置２７は、ステップＳ２２の映像合成規則の送信に先立って、電話帳機能等の利用を行い、映像合成規則の詳細な設定を行う。映像合成規則は、上記に述べた例を互いに組み合わせて構成してもよい。映像合成規則は、上記に述べた例の他にも、通信システムやユーザの目的に応じて、種々の態様を採用できる。

ステップＳ２７の音像の合成に際しては、例えば、各話者の音源の配置や方位が、各話者の映像の配置に対応するように設定できる。この場合、映像と音像とが一致するので、複数の話者が同時に発言をした際に、聞き手は各話者の発言をより容易に区別できる。

本実施例の通信システムによれば、テレビ電話マルチトークを実現して通話を行う際に、映像と音像とを対応させることが出来るので、複数の話者が同時に発言をした際にも、視覚的な効果も相まって、聞き手は各話者の発言を容易に区別できる。

なお、第２実施例の通信システムでは、通話状態検出部３４、及び、音像合成処理部３５、及び、映像合成処理部３６の全てが通話交換装置１２内に配設されている必要はなく、例えば何れかが通信端末１１の制御装置２７内に配設されてもよい。

以上、本発明をその好適な実施例に基づいて説明したが、本発明の通信システム及び通信端末は、上記実施例の構成にのみ限定されるものではなく、上記実施例の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

本発明の第１実施例に係る通信システムのブロック図である。 図１の通信端末のブロック図である。 図１の通話交換装置のブロック図である。 図１の通信システムの動作手順を示すフローチャートである。 図５（ａ）、（ｂ）は、音像合成規則の一例を模式的に示す図である。 本発明の第２実施例に係る通信システムについて、通話交換装置の制御装置のブロック図である。 本発明の第２実施例に係る通信システムの動作手順を示すフローチャートである。

符号の説明

１０：通信システム
１１，１１ａ〜１１ｄ：通信端末
１２：通話交換装置
１３：通信回線
２１：入力装置
２２：表示装置
２３：記憶装置
２４：通信装置
２５：受話装置
２６：送話装置
２７：制御装置
３１：通信装置
３２：記憶装置
３３：制御装置
３４：通話状態検出部
３５：音像合成処理部
３６：映像合成処理部

Claims (26)

1. 音源定位スピーカを備える３つ以上の通信端末を、通信回線を介して互いに接続してマルチトークを実現する通信システムであって、
   接続中の通信端末から音声信号を送信している１つ以上の通信端末を識別し、該識別した通信端末と該通信端末が送信する音声信号の音量とを対応付けた通信状態情報を生成する通信状態検出部と、
   前記通信状態情報を受信し、現在送信されている音声信号を受信する通信端末を受信端末として識別し、該識別した受信端末毎に設定されている音像合成規則に基づいて、現在送信されている音声信号について各受信端末毎に音像合成を行い、該合成した音像を当該受信端末に送信する音像合成装置と、を備えることを特徴とする通信システム。
2. 前記音像合成規則が、音源定位及び音量調節のための規則を含む、請求項１に記載の通信システム。
3. 前記音像合成規則が、所定の音量レベルを超えた音声信号の音源を、等方的に配置する旨を規定する、請求項２に記載の通信システム。
4. 前記音像合成規則が、所定の音量レベルを超えた音声信号の音量を、均一にする旨を規定する、請求項２又は３に記載の通信システム。
5. 前記音像合成規則が、音声信号の音源の距離を、音量に対応させる旨を規定する、請求項２〜４の何れか一に記載の通信システム。
6. 前記音像合成規則が、音声信号を音量に応じて複数の段階に選別し、該選別した段階ごとに音声信号の音源を配置する旨を規定する、請求項２に記載の通信システム。
7. 音源定位スピーカ及び映像表示装置を備える３つ以上の通信端末を、通信回線を介して互いに接続してテレビ電話マルチトークを実現する通信システムであって、
   接続中の通信端末から音声信号及び映像信号を送信している１つ以上の通信端末を識別し、該識別した通信端末と該通信端末が送信する音声信号の音量とを対応付けた通信状態情報を生成する通信状態検出部と、
   前記通信状態情報を受信し、現在送信されている音声信号及び映像信号を受信する通信端末を受信端末として識別し、該識別した受信端末毎に設定されている映像合成規則に基づいて、現在送信されている映像信号について各受信端末毎に映像合成を行い、該合成した映像を当該受信端末に送信すると共に、前記合成した映像に関する映像合成情報を生成する映像合成装置と、
   前記映像合成情報に基づいて、現在送信されている音声信号について各受信端末毎に音像合成を行い、該合成した音像を当該受信端末に送信する音像合成装置と、を備えることを特徴とする通信システム。
8. 前記映像合成規則が、映像配置のための規則を含む、請求項７に記載の通信システム。
9. 前記映像合成規則が、所定の音量レベルを超えた音声信号に対応する映像を、等方的に配置する旨を規定する、請求項８に記載の通信システム。
10. 前記映像合成規則が、所定の音量レベルを超えた音声信号に対応する映像のみを、表示する旨を規定する、請求項８又は９に記載の通信システム。
11. 前記映像合成規則が、音声信号の音量に応じて対応する映像の大きさを設定する旨を規定する、請求項８〜１０の何れか一に記載の通信システム。
12. 前記映像合成規則が、所定の音量レベルを超えた音声信号に対応する映像を、画面の中央に向かって移動表示させる旨を規定する、請求項８に記載の通信システム。
13. 前記映像合成規則が、所定の音量レベルを超えた音声信号を音量に応じて複数の段階に選別し、前記選別した段階ごとに音声信号に対応する映像を配置する旨を規定する、請求項８に記載の通信システム。
14. 請求項１〜６の何れか一に記載の通信システムに用いられる通信端末であって、
    音像合成規則を格納する記憶装置と、
    前記記憶装置から音像合成規則を読み出して送信する制御装置と、
    を備えることを特徴とする通信端末。
15. 前記記憶装置に格納された音像合成規則が、入力装置を介して、設定又は変更可能に構成されている、請求項１４に記載の通信端末。
16. 前記記憶装置には、複数の音像合成規則の候補が格納されており、
    前記記憶装置に格納された複数の音像合成規則の候補から、入力装置を介して、所望の音像合成規則が選択可能に構成されている、請求項１４に記載の通信端末。
17. 前記制御装置は、
    通信回線を介して接続された通信端末のユーザを電話帳機能を利用して特定すると共に、該特定したユーザの情報を抽出する機能と、
    前記特定したユーザの情報に基づいて、前記音像合成規則を設定する機能と、
    を有する、請求項１４に記載の通信端末。
18. 前記特定したユーザの情報が、該特定したユーザとの過去の通話回数、通話時間、メール送受信回数、又は、送受信したメールのサイズであり、
    前記制御装置は、前記音像合成規則の設定に際して、前記特定した複数のユーザをグループ分け、又は、順位付けする、請求項１７に記載の通信端末。
19. 請求項７〜１３の何れか一に記載の通信システムに用いられる通信端末であって、
    映像合成規則を格納する記憶装置と、
    前記記憶装置から映像合成規則を読み出して送信する制御装置と、
    を備えることを特徴とする通信端末。
20. 前記記憶装置に格納された映像合成規則が、入力装置を介して、設定又は変更可能に構成されている、請求項１９に記載の通信端末。
21. 前記記憶装置には、複数の映像合成規則の候補が格納されており、
    前記記憶装置に格納された複数の映像合成規則の候補から、入力装置を介して、所望の映像合成規則が選択可能に構成されている、請求項１９に記載の通信端末。
22. 前記制御装置は、
    通信回線を介して接続された通信端末のユーザを電話帳機能を利用して特定すると共に、該特定したユーザの情報を抽出する機能と、
    前記特定したユーザの情報に基づいて、前記映像合成規則を設定する機能と、
    を有する、請求項１９に記載の通信端末。
23. 前記特定したユーザの情報が、該特定したユーザとの過去の通話回数、通話時間、メール送受信回数、又は、送受信したメールのサイズであり、
    前記制御装置は、前記映像合成規則の設定に際して、前記特定した複数のユーザをグループ分け、又は、順位付けする、請求項２２に記載の通信端末。
24. 請求項１〜６の何れか一に記載の通信システムに用いられる通信端末であって、
    接続中の通信端末が送信する音声信号と通信状態情報とを受信し、端末内に設定されている音像合成規則に基づいて、現在送信されている音声信号について音像合成を行う音像合成装置を備えることを特徴とする通信端末。
25. 請求項７〜１３の何れか一に記載の通信システムに用いられる通信端末であって、
    接続中の通信端末が送信する映像信号と通信状態情報とを受信し、端末内に設定されている映像合成規則に基づいて、現在送信されている映像信号について映像合成を行う映像合成装置を備えることを特徴とする通信端末。
26. 請求項７〜１３の何れか一に記載の通信システムに用いられる通信端末であって、
    接続中の通信端末が送信する映像信号と映像合成情報とを受信し、該受信した映像合成情報に基づいて、現在送信されている音声信号について音像合成を行う音像合成装置を備えることを特徴とする通信端末。

Images