JP2016010010A - 音声入出力機能付き撮像装置およびテレビ会議システム - Google Patents

Abstract

【課題】低コストに製造可能なテレビ会議用の音声入出力機能付き撮像装置およびテレビ会議システムを提供する。【解決手段】テレビ会議システムで用いられる音声入出力機能付き撮像装置１は、マイク５、スピーカ６および全方位カメラ７を備え、互いに近傍となる位置にマイク５、スピーカ６および全方位カメラ７が配置されている。音声入出力機能付き撮像装置１は、テレビ会議に参加する参加者が囲んで座るテーブルに置かれて用いられる。会議の発言者は、マイク５に向かって話すとともに、スピーカ６の音を聞くためにスピーカを向く可能性が高い。したがって、全方位カメラ７で、発言者を正面から撮影する状況となる。【選択図】図１

Description

本発明は、音声入出力機能付き撮像装置およびテレビ会議システムに関する。

近年、会議室には、テーブル上に配置されたマイクおよびスピーカを備える音声入出力装置と、テーブルの近傍に配置されるディスプレイと、このディスプレイの近傍に配置された動画撮影用のカメラ（例えば録画機能の無いテレビカメラ）とを備え、離れた場所の別の会議室との間で、画像と音声を用いた所謂テレビ会議が可能となるテレビ会議システムが設けられている場合がある。

このようなテレビ会議システムでは、テレビカメラの画角を調整して、会議の参加者の全員が撮影範囲に入るようにする場合が多い。この場合に、参加者の着席位置が制限されたり、参加者全員を撮影範囲に収めることが困難であったりする場合がある。また、会議開始前にテレビカメラの画角やズーム等を調整するのに少し時間がかかることがあり、参加者が全員揃ってから会議開始までに時間差が生じてしまう。

また、会議において、主な発言者が予め決まっている場合には、発言者にテレビカメラの撮影範囲のなるべく中央側に座って貰うなどの対策が可能であるが、参加者の誰が発言するか分からない状態では、発言者が撮影範囲の端の方にいて、よく見えないなどの問題が生じる。

そこで、音声入力用マイクを複数設けるか、複数の広角度カメラを設け、これら複数のマイクの音声信号や複数の広角カメラの画像データから発言者の位置を特定し、発言者の位置に基づいて、発言者の発する音声を主に音声入力するようにマイクを制御し、かつ、発言者を主に撮影するようにカメラを制御する提案がなされている（特許文献１参照）。

また、近年の会議システムでは、カメラとしてＰＴＺカメラが用いられる。ＰＴＺとは、カメラを左右に首振りさせるパーン（Ｐ）と、上下に首振りさせるチルト（ｔ）、画像を拡大するズーム（Ｚ）が可能なカメラであり、例えば、会議の発言者が中心となるようにカメラの向きとズームを制御することができる。また、上述のように発言者の位置が特定できるシステムの場合に、自動でＰＴＺカメラを発言者に向けることができる。

特開平１０−１４５７６３号公報

ところで、特許文献１の発明では、複数台のマイクやカメラを用いて発言者の位置を特定し、この特定された発言者の位置に基づいて、発言者が主に撮影されるようにカメラを制御したり、発言者の発言の音声が主に入力されるようにマイクを制御したりする。したがって、特許文献１では、複数のマイクやカメラが必要で、かつ、マイクやカメラを制御する制御装置が必要であり、会議システムのコストが高くなる。

例えば、１つの会議室の参加者が数十人を超えるような場合には、発言者の位置を特定し、特定された発言者を撮像するためのカメラの制御や、発言者の発言の音声を抽出するためのマイクの制御が必要となるかもしれないが、１つの会議室の参加者が十数人以下の場合に、コストパフォーマンス的に問題がある。

本発明は、前記事情に鑑みてなされたものであり、低コストに製造可能なテレビ会議用の音声入出力機能付き撮像装置およびこの音声入出力機能付き撮像装置を有するテレビ会議システムを提供することを目的とする。

前記課題を解決するために、本発明の音声入出力機能付き撮像装置は、周囲を撮像対象とする全方位カメラと、
前記全方位カメラの近傍に設けられ、外部から入力される音声信号を音声として周囲に出力する音声出力手段と、
前記全方位カメラの近傍に設けられ、周囲の音声を音声信号として入力する音声入力手段とを備え、
前記全方位カメラにより撮像された画像データと、前記音声入力手段により入力された音声信号を出力することを特徴とする。

このような構成によれば、音声入出力機能付き撮像装置を会議システムの撮像装置、音声出力手段としてのスピーカ、音声入力手段としてのマイクとして使用する場合に、当該音声入出力機能付き撮像装置をテーブルに配置し、このテーブルを囲んで会議の複数の参加者に座って貰うことにより、全方位カメラにより参加者の全員を撮影することが可能となる。この場合、テーブルを囲む参加者は、それぞれ、テーブル上の音声入出力機能付き撮像装置を見るか、テレビ会議の他の会場が映し出されたディスプレイを見ることになる。

但し、発言者の多くは、基本的に音声入力手段としてのマイクに向かって発言する場合が多く、また、他の参加者の音声が出力されるスピーカの方向を向く可能性も高い。一般に音源が顔の正面方向にある方が、音が聞き取り易く、音が良く聞こえるように音源の方を見ることが多い。すなわち、テーブル上の全方位カメラの周囲を囲んで会議の参加者が座った場合に少なくとも発言者がマイクやスピーカの方を向くことで、マイクやスピーカの近傍にある全方位カメラの方向を向くことになり、全方位カメラで正面から参加者を撮影する状態となり、発言者を撮像した画像データ上では、発言者が画像データを見ているテレビ会議の他の会場の参加者を向いて発言しているように見える。

すなわち、マイクとスピーカとカメラを略同じ位置に配置することにより、少なくとも会議の参加者が発言する場合に、カメラを向いて発言させるように促すことができ、発言者の画像を明確にすることができる。

また、全方位カメラは、テーブル状に配置されて、テーブル周囲に座る参加者を撮影するので参加者と距離が短く、かつ、各参加者による距離の差が少ない。したがって、高い解像度を有する全方位カメラでなくても、参加者の撮影が十分可能であり、高い解像度の全方位カメラを用いる場合よりもコストの低減を図ることができる。

なお、全方位カメラで撮像された全方位画像データをそのまま平面に投影した状態に出力すると歪んだ画像となるので、例えば、パノラマ画像に変換したり、各被写体となる会議の参加者毎の画像に変換したりするとともに、歪みをとる画像処理を行う必要がある。また、全方位カメラは、例えば、魚眼レンズを用いた魚眼カメラや、円錐状に近い形状のミラーを用いたカメラや、全天球カメラが含まれる。また、音声出力手段は、例えば、スピーカである。また、音声入力手段は、例えば、マイクである。

本発明の前記構成において、前記全方位カメラの近傍で当該全方位カメラによる周囲の撮像を妨げない位置に、周囲の複数方向から視認可能に外部から入力された画像データを表示する複数台のディスプレイが設けられていることが好ましい。

このような構成によれば、基本的に会議の参加者は、他の会場の参加者が映し出されたディスプレイ、他の会場の参加者の発言が音声として出力されるスピーカ、他の会場の参加者へ話しかけるためのマイクの方向を向く可能性が高いが、これらディスプレイ、マイク、スピーカが互いに近傍にまとまって存在するので、基本的に会議の参加者は、その多くが自然に全方位カメラの方向を向くことになり、他の会場のディスプレイでは、他の会場の参加者の方向を向いている参加者が映し出されることになる。

また、全方位カメラをテーブル上に置いた場合に、各参加者とディスプレイとの距離が短くなり、比較的小さなサイズのディスプレイでも別会場の参加者の識別が可能になるので、ディスプレイを複数用いるものとしても大きなディスプレイを１つ用いる場合よりもコストの低減を図ることができる。なお、四角いテーブルに、参加者が２列で向かい合って座るような場合に、ディスプレイを２つとすることができる。円卓の周囲に参加者が円状に並んで座る場合や、四角いテーブルの４辺のうちの３辺以上に、分かれて参加者が座る場合には、ディスプレイが３つ以上あることが好ましい。

本発明の前記構成において、前記音声入力手段は、少なくとも周囲の異なる方向をそれぞれ向いた少なくとも３つのマイクを備え、
各マイクに入力する音声の音量から音源の方向を特定する音源方向認識手段と、
前記全方位カメラで撮像された全方位画像データを、前記音源方向認識手段により特定された音源の方向を中心とする画像データに変換する画像処理手段を備えることが好ましい。

このような構成によれば、参加者のうち発言している発言者を特定して、発言者を左右の略中央とするパノラマ画像を他の会議会場のディスプレイに表示したり、発言者を抜き出した状態の画像を他の会場のディスプレイに表示したりすることが可能になる。本発明においては、全方位カメラおよびその近傍のマイクの周囲に参加者がいるので、指向性の高いマイクでなくとも、各マイクの音量を比較することで、比較的容易に音源としての発言者の方向を特定可能であるとともに、発言者の全方位画像上の位置を特定するのに音源の方向さえ特定できれば、音源の位置まで特定する必要がなく、音源の位置を特定するのにマイクアレーや指向性の高いマイク等を用いなくてもよいので、コストの低減を図ることができる。また、マイクにより特定された発言者を中心（主体）とする画像データを作成する際には、全方位画像データ上で方向を指定することにより、容易に発言者を主体とする画像データを作成することができる。

本発明の前記構成において、前記全方位カメラで撮像された画像データ中に撮像されている被撮像者の顔を認識するとともに、認識された前記顔の口の動きから前記被撮像者のうちの発言している前記被撮像者を特定する画像認識手段と、
前記全方位カメラで撮像された全方位画像データを、前記画像認識手段により発言していると特定された前記被撮像者を中心とする画像データに変換する画像処理手段とを備えることが好ましい。

このような構成におれば、音声の場合と同様に発言者の方向を特定すれば、発言者を主体とする画像データを作成可能であり、位置を特定する必要がないので、複数のカメラを用いる必要がなく、コストの低減を図ることができる。また、音声で発言者の方向を特定した場合と同様に、特定された発言者を主体とする画像データを作成する際には、全方位画像データ上で方向を指定することにより、容易に発言者を主体とする画像データを作成することができる。

本発明のテレビ会議システムは、本発明の音声入出力機能付き撮像装置を複数備え、各音声入出力機能付き撮像装置は、他の前記音声入出力機能付き撮像装置に前記画像データと前記音声信号を出力し、かつ、他の前記音声入出力機能付き撮像装置から出力された前記画像データおよび前記音声信号を入力するための通信手段を備えることを特徴とする。

このような構成によれば、本発明のテレビ会議システムは、各音声入出力機能付き撮像装置の上述の作用効果を奏することができる。なお、音声入出力機能付き撮像装置には、ディスプレイが無い構成の場合もあるが、他の音声入出力機能付き撮像装置で撮像された画像データが入力されることにより、音声入出力機能付き撮像装置において、外部のディスプレイに画像データを出力することが可能になる。

本発明の音声入出力機能付き撮像装置およびテレビ会議システムによれば、低コストに製造可能であり、かつ、発言者がディスプレイに表示された場合に、ディスプレイを見る人を向いた状態となる可能性が高くなる。

第１の実施の形態の音声入出力機能付き撮像装置を示すカバーを半透明化した図であって、（ａ）が平面図であり、（ｂ）が側面図である。 同、音声入出力機能付き撮像装置の使用状況を説明するための図である。 同、音声入出力機能付き撮像装置の全方位カメラに撮影された画像を説明するための図である。 同、音声入出力機能付き撮像装置から出力される画像を説明するための図であって、（ａ）は全方位画像から変換されたパノラマ画像の概略を示す図であり、（ｂ）は全方位画像から変換されたパノラマ画像を分割して２列にしたものであり、（ｃ）は、発言者の画像を加えたものであり、（ｄ）異なる３か所で撮影された全方位画像をそれぞれパノラマ画像としたものである。 第２の実施の形態の音声入出力機能付き撮像装置を示すカバーを半透明化した図であって、（ａ）が平面図であり、（ｂ）が側面図である。 第３の実施の形態の音声入出力機能付き撮像装置を示すカバーを半透明化した図であって、（ａ）が平面図であり、（ｂ）が側面図である。 第４の実施の形態の音声入出力機能付き撮像装置を示す図であって、（ａ）が正面図であり、（ｂ）が背面図である。

以下、図面を参照しながら本発明の第１の実施の形態について説明する。
本実施の形態のテレビ会議システムは、図１（ａ）、（ｂ）に示す音声入出力機能付き撮像装置１を複数用いるものであり、離れた複数箇所の会議室に音声入出力機能付き撮像装置１を配置することにより、テレビ会議システムが構築される。

図１に示す音声入出力機能付き撮像装置１は、略円板状のベース板２と、ベース板２上を覆う略ドーム状のカバー３と、ベース板２の外周部に周方向に沿って等間隔に配置されるとともに後述の制御基板４に接続されたマイク（音声入力手段）５と、ベース板２とカバー３との間に、カバー３で覆われた状態に配置されたスピーカ（音声出力手段）６と、カバー３上に固定された全方位カメラ７とを備える。マイク５と、スピーカ６と、全方位カメラ７は、互いに近接して設けられている。すなわち、マイク５と、スピーカ６と、全方位カメラ７とは互いに近傍となる配置となっている。また、スピーカ６と、全方位カメラ７とは、それらの中心軸が略一致するように配置され、マイク５は、上述の中心軸から略等距離となる位置に配置されている。

ベース板２は、その上面に、マイク５、スピーカ６、制御基板４を取り付けるための取付構造が設けられている。また、円板状のベース板２の外周部には、ベース板２と略同径のカバー３の円形の下側縁部（外周縁部）を取り付けるための取付構造が設けられている。

カバー３は、マイク５に対応する位置に図示しない１つまたは複数の孔が設けられ、マイク５への音声入力を妨げないようになっている。まあ、ドーム状のカバー３の上部（中央部）には、スピーカ６からの音声出力用の開口部３ａが設けられている。まあ、カバー３の開口部３ａには、全方位カメラ７をカバー３の上部の中央部に固定するための橋状のカメラ固定部３ｂが設けられている。

マイク５は、例えば、指向性を有するものであり、最も感度の高い方向を、全方位カメラ７の例えば撮影範囲となる半球面や円筒面の中心軸に直交する半径方向に合わせている。また、マイク５の配置位置は、撮影範囲の中心軸に対して半径方向に等距離で、それぞれ９０度ずれた位置（周方向に等間隔）に配置されている。なお、マイク５として無指向性のマイク５を用いてもよい。各マイク５は、制御基板４に接続されており音声を音声信号に変換して制御基板４に入力している。なお、音声信号はアナログであってもデジタルであってもよい。

スピーカ６は、全方位型のものであり、１つのスピーカ６により音声が全方位に略同等に出力する。なお、全方位型でないスピーカを３つまたは４つ等のように複数用いてもよい。スピーカ６は、制御基板４に接続されており、制御基板４から出力される音声信号を音声に変換して周囲に出力する。

全方位カメラ７は、例えば、半球状の撮像範囲を有する魚眼カメラであり、周囲を撮像対象としているが、例えば、複数のカメラで撮影された画像から全方位画像データＦ（図２に図示）を得るようなものであっても良いし、略円錐状のミラーを介して周囲を撮影するカメラであってもよいし、全天球カメラであってもよい。全方位カメラ７では、テーブルＴに置かれた音声入出力機能付き撮像装置１からテーブルＴの周囲に座る被写体としての参加者を撮像できればよく、例えば、上方向の画像データは必要としない。

また、全方位カメラ７の配置位置が高い場合、例えば、座った参加者の頭部以上の高さを有する場合など、半球状の撮影範囲では、参加者の胸像を撮影することができなくなるので、全方位カメラ７の配置位置が高くなる場合には、全天球カメラを好適に用いることができる。

制御基板４は、音源方向認識手段として、４つのマイク５から入力される音声信号の音量レベル（音の大きさ）から音源の方向を特定するようになっている。本実施の形態では、音源の方向と音源までの距離を特定することにより音源の位置を特定することはしないので、４つのマイク５の音量レベルから音源の位置を測定する。例えば、音量レベルが高い上位２本の隣り合うマイク５を特定し、これらの２つのマイクの音量の差からこれら２つのマイク５の中間となる方向を決定する。

例えば、２つのマイク５で音量に差が無ければ、これらマイク５の略中央となる方向に音源があると特定し、どちらかのマイク５の音量が高ければ、これらマイク５の中央となる方向と、音量が高い方のマイク５の方向との間に音源の方向があることになる。また、音量が２位となるマイク５と、音量が３位となるマイク５とで音量が略同じならば、音量が１位のマイク５が向く方向に音源があることになる。

なお、各マイク５における音の位相のずれから音源を特定するものとしてもよい。すなわち、音源からの距離の違いによる各マイク５における音の到達時間の違いに基づいて音源の方向を特定する周知の方法を用いてもよい。
また、画像認識手段としての制御基板４は、全方位カメラ７から入力される全方位画像データＦから発言者の方向を特定するようになっている。基本的には、周知の顔認識により全方位画像データＦから各参加者（被撮像者）の顔を認識することにより、各参加者の方向を特定する。また、各参加者の口を画像認識し、口（唇）が動いているか否かを判定し、口が動いていると判定された顔の方向を発言者の方向とする。

なお、画像処理および画像認識に関しては、インテル（登録商標）オープンＣＶ（Ｉｎｔｅｌ Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を利用して容易に作成可能である。例えば、顔認識プログラムを作成する場合に、オープンＣＶに登録されているオブジェクト検出プログラムを用いることができる。画像認識の原理として、学習フェーズと認識フェーズがあり、画像から特徴量を抽出し、学習アルゴリズムによってオブジェクトの特徴を学習することにより、例えば、顔認識等の画像認識が可能となる。オープンＣＶでは、画像特徴量としてＨａａｒ・Ｌｉｋｅ特徴量を用い、学習アルゴリズムとしてＡｄａｂｏｏｓｔと呼ばれるアルゴリズムを使用している。オブジェクト検出プログラムにおいて、特徴点に基づいて顔の画像か否かを機械学習させることにより、オブジェクト検出プログラムにおいて、顔の画像を顔として認識することが可能となる。なお、画像認識プログラムに必ずしもオープンＣＶを利用しなくてもよいし、既存のプログラムや、既存の画像認識回路を搭載したチップを利用してもよい。発言者の口の動きの認識も上述のオープンＣＶのオブジェクト検出プログラムを用いて、機会学習させることにより、例えば、話している口と、黙っている口の違いを認識させることができる。

本実施の形態では、顔認識を行って各参加者の方向を認識するとともに、口の動きを検出して発言者の方向を認識する。なお、上述のように制御基板４では、音声によっても発言者としての音源の方向を特定しているので、本実施の形態では、これら音源方向認識と画像認識に基づく発言者の方向が例えば所定角度範囲内（例えば０〜１０度以内）で一致する場合に、これら音源方向認識と画像認識で求められた２つの方向のうち、例えば、画像認識で得られた方向を、発言者の方向としている。

音源方向認識による音源方向と画像認識による発言者の方向とが所定角度範囲以内とならない場合には、発言者がいないと判定する。これにより、小声で私語を話している参加者や、あくびをしている参加者や、椅子を動かした際に大きな音を出した参加者などが、一時的にでも発言者として認識されて例えば別の会場のディスプレイ８に大きく表示されてしまうような状態を防止している。なお、音源方向認識だけで、発言者の方向を決定しても良いし、画像認識だけで発言者の方向を決定してもよい。

また、制御基板４は、全方位カメラ７から入力された全方位画像データＦを周知の画像処理によりパノラマ画像に変換する画像処理手段として機能する。この際には、全方位画像データＦからパノラマ画像の右端および左端となる位置を決定して、全方位画像データＦからパノラマ画像データを作成する。上述のように発言者の方向が特定された場合には、発言者の方向から１８０度、すなわち、発明者の方向の反対となる方向の位置で、全方位画像データＦを切り開き、この位置をパノラマ画像の右端および左端の位置とする。また、発言者がいない場合には、例えば、上述のように顔認識された各参加者の間隔を判定し、最も広い間隔の中央をパノラマ画像の左端および右端の位置とする。

また、制御基板４は、発言者の方向を特定した場合に、その方向で顔認識された参加者が主に被写体となっている発言者の画像データを作成する。なお、この画像データの作成においては、顔認識された参加者の画像部分を取り出して画像データとしてもよいし、特定された発言者の方向の所定角度範囲の画像部分を発言者の画像データとしてもよい。

また、通信手段としての制御基板４は、ローカルエリアネットワーク（ＬＡＮ）や、インターネットや公衆電話回線網や、携帯電話回線網や専用通信回線等を利用して、離れた場所にある他の音声入出力機能付き撮像装置１とデータ通信を行い、マイク５により入力された音声信号および全方位カメラ７で撮影された全方位画像データＦを上述のように画像処理したパノラマ画像データおよび発言者の画像データを他の音声入出力機能付き撮像装置１に送信する。

また、他の音声入出力機能付き撮像装置１から送信された音声信号、パノラマ画像データ、発言者の画像データ等を受信する。なお、発言者の画像データは、当該画像データが作成された場合にだけ送受信される。また、本実施の形態では、音声入出力機能付き撮像装置１にはディスプレイ８が無いので、受信された画像データは、ディスプレイ８用の接続端子に出力され、接続端子に接続されたディスプレイ８に画像データを表示する。なお、後述のように音声入出力機能付き撮像装置１にディスプレイ８を含めて受信した画像データを音声入出力機能付き撮像装置１のディスプレイ８に出力するようにしてもよい。

また、制御基板４で、音源方向認識、画像認識、画像処理等を行うものとしたが、制御基板４では、主に音声信号、画像データの入出力だけを制御し、制御基板４に有線ＬＡＮや無線ＬＡＮやＵＳＢ等で接続されたパーソナルコンピュータ（パソコンＰＣ：図２に図示）で音源方向認識、画像認識、画像処理を行うものとしてもよい。また、各種画像処理を、全方位画像を撮影した全方位カメラ７がある音声入出力機能付き撮像装置１で行うものとしたが、画像処理を、画像データを受信する側の音声入出力機能付き撮像装置１またはそれに接続されたパソコンＰＣで行ってもよい。すなわち、画像データとして全方位カメラ７で撮影された全方位画像データＦをそのまま送信して、受信した音声入出力機能付き撮像装置１において、画像処理してディスプレイ８に表示するものとしてもよい。

このような電話会議システムの音声入出力機能付き撮像装置１は、例えば、図２に示すように、会議室のテーブルＴの上に置いて用いられる。会議の参加者Ｐは、テーブルＴを囲んで座ることになる。ここでは、長方形状のテーブルＴの２つの長辺にそれぞれ参加者Ｐが２列に座っている。なお、図２では、上述のようにパソコンＰＣを用いるものとし、ディスプレイ８は、パソコンＰＣを介して接続されており、パソコンＰＣで処理された画像データがディスプレイ８に表示される。

図２に示す状態で、全方位カメラ７で撮像された全方位画像データＦは、図３に示す状態となる。なお、図３では、立体的な全方位画像データＦを平面に投影した状態で簡略化して示している。制御基板４では、この全方位画像データＦを画像処理して、図４（ａ）または図４（ｂ）に示すディスプレイ８の表示中に表示されるパノラマ画像Ｇ１またはパノラマ画像Ｇ１を２つに分割したパノラマ画像Ｇ２、Ｇ３としている。

本実施の形態では、図４（ｂ）に示すように、全方位画像データＦ中の各参加者Ｐの間隔を判定し、所定間隔（角度）以上の間隔がある場合に、パノラマ画像Ｇ１を分離し、分離された部分の間隔をカットすることで、パノラマ画像Ｇ２，Ｇ３の左右幅を圧縮している。なお、パノラマ画像Ｇ１、Ｇ２、Ｇ３の作成に際し、参加者Ｐ同士の間の間隔を全てカットするようにしてもよい。また、所定幅（所定角度範囲）で各参加者Ｐの画像データを作成し、これを横に並べることでパノラマ画像を作成してもよい。この場合も、参加者Ｐ同士の間隔を表示しないようにできる。なお、図４（ｂ）では、２つに分離した画像データを上下二段に表示することにより、各パノラマ画像Ｇ２，Ｇ３を大きく表示している。

また、発言者を特定した場合には、図４（ｃ）に示すように、図４（ａ）に示すパノラマ画像Ｇ１に加えて発言者を主体とする画像Ｇ１０を別に表示する。なお、テレビ会議は、２箇所だけで行われるとは限らず、３か所以上で行われる場合があるので、その場合には、例えば、図４（ｄ）に示すように、ディスプレイ８の画面を分割して、各分割箇所にパノラマ画像Ｇ１，Ｇ４，Ｇ５を表示する。図４（ｄ）では、４か所を結んでテレビ会議が行われ、ディスプレイ８がある会議室以外の他の３か所の会議室の画像が表示された状態となっている。

この音声入出力機能付き撮像装置１を用いたテレビ会議システムでは、各会議室に設置された音声入出力機能付き撮像装置１の上述のように通信手段としての制御基板４において、各会議室で撮影された画像データと入力された音声信号を送受信することにより、上述のようにディスプレイ８に、他の会議室の参加者の画像が表示されるとともに、スピーカ６から他の会議室で入力された音声信号が出力される。

このような音声入出力機能付き撮像装置１およびテレビ会議システムにおいては、上述のように全方位カメラ７とマイク５とスピーカ６とが略一体的に構成されており、発言する参加者（発言者）は、基本的にマイク５に向かって発言しようとする。この場合に、マイク５の近傍に全方位カメラ７があるので、発言者は、全方位カメラ７に向かって発言する状態となり、発言者は正面から撮影される状態となる。この場合に、発言者の画像Ｇ１０をディスプレイ８に表示した際に、発言者がディスプレイ８を見ている他の会議室の参加者に向かって話しているように見える可能性が高い。

また、他の会議室の参加者と話し合っている状態の場合には、他の会議室の発言者の音声が、全方位カメラ７の近傍のスピーカ６から聞こえるので、音を聞き取り易くするためにスピーカ６の方を向くことになる。これにより、発言者が全方位カメラ７に向かって話す状態となり安い。したがって、上述のように発言者が他の会議室の参加者の方を向いて話している状態の画像を得易くなる。これらのことから、ディスプレイ８の画面において、発言者が全方位カメラ７以外の方向を向いて話すことによるテレビ会議特有の違和感が生じるのを抑制することができる。言い換えれば、発言者が意識してカメラの方を向くように努力しなくても、自然に全方位カメラ７の方を向くように促すことができる。

また、全方位カメラ７により、基本的にテーブルＴの周囲に坐っている全ての参加者が略同等の大きさで撮影されているので、特に全方位カメラ７を制御しなくても、上述のように発言している参加者を特定すれば、容易に発言者の画像を得ることができる。

次に、本発明の第２の実施の形態を説明する。
図５（ａ）、（ｂ）に示すように、第２の実施の形態の音声入出力機能付き撮像装置１ａは、第１の実施の形態の音声入出力機能付き撮像装置１と同様に、ベース板１１、カバー１２、図示しない制御基板（図１の制御基板４）、マイク５、スピーカ６、全方位カメラ７を備える。第２の実施の形態の音声入出力機能付き撮像装置１ａは、さらにディスプレイ８を備える、すなわち、第１の実施の形態の音声入出力機能付き撮像装置１と第２の実施の形態の音声入出力機能付き撮像装置１ａとの違いは、ディスプレイ８が音声入出力機能付き撮像装置１に対して別体になっているか、音声入出力機能付き撮像装置１ａに、ディスプレイ８が備えられているかの違いである。

本実施の形態において、ベース板１１は、矩形板状に形成され、その四隅部のそれぞれにマイク５が備えられている。また、ベース板１１の互いに離れた一対の側縁部には、それぞれ表示画面を反対方向（外側）に向けてディスプレイ（例えば、液晶ディスプレイ）８が取り付けられている。また、ベース板１１の２つのディスプレイ８の間に、図示しない制御基板とスピーカ６が配置されている。

カバー１２は、矩形状のベース板１１に対応する直方体状に形成され、ベース板１１を覆うように取り付けられている。カバー１２の上述の２つのディスプレイ８に対応する互いに平行な２つの側面には、ディスプレイ８の表示画面を外部から視認可能とする窓部１２ａが設けられている。また、カバー１２の天板には、スピーカ６に対応して開口部１２ｂが設けられている。カバー１２の開口部１２ｂの部分には、橋状にカメラ固定部１２ｃが設けられ、このカメラ固定部１２ｃに全方位カメラ７が取り付けられている。なお、カバー１２のマイク５に対応する位置には、１つか複数の孔を設けてもよい。

また、この音声入出力機能付き撮像装置１ａは、図２に示すように、テーブルＴの互いに平行な２つの側縁にそれぞれ参加者Ｐが並んで座る場合に好適に用いられるように、２つのディスプレイ８を互いに反対向きに配置している。また、ディスプレイ８としては、例えば、７インチから１５インチ程度の比較的画面の小さいディスプレイ８を用いてＩおり、テーブルＴ上に置いた場合に、互いに対向して坐っている参加者同士の視線を遮らないようになっている。また、ディスプレイ８にかかるコストを低減している。

このような第２の実施の形態の音声入出力機能付き撮像装置１ａによれば、第１の実施の形態の音声入出力機能付き撮像装置１と略同様の作用効果を得ることができる。また、全方位カメラ７の近傍にディスプレイ８が設けられており、上述のようにテーブルＴの回りに参加者が着席した場合に、頭の向きを斜めにしたりすることなく、正面を向いた状態で無理なくディスプレイ８を見ることができる。

また、参加者Ｐがディスプレイ８の方を向くと、ディスプレイ８の近傍でディスプレイ８の略上に全方位カメラ７があることにより、全方位カメラ７を見ることになり、参加者の略全員が他の会場の参加者を見ているような画像データを得られる。すなわち、第１の実施の形態では、主に発言者が全方位カメラ７を見て発言するように促す構造であったが、他の参加者は、全方位カメラ７と異なる場所にあるディスプレイ８を見ている可能性があり、発言者以外の参加者が全方位カメラ７を見ておらず、発言者以外の参加者がよそを向いている画像が撮像されるのを抑制することが困難であった。

それに対して、第２の実施の形態では、全方位カメラ７の近傍に、ディスプレイ８を配置し、参加者がディスプレイ８を見ると参加者の顔が全方位カメラ７の方向くことになる。また、発言者もディスプレイ８を見るために、マイク５、スピーカ６、全方位カメラ７の方向から顔の向きを逸らす必要がなくなり、発言中は、全方位カメラ７に顔を向けた状態となる。

次に、本発明の第３の実施の形態を説明する。
図６（ａ）、（ｂ）に示すように、第３の実施の形態の音声入出力機能付き撮像装置１ｂは、第１の実施の形態の音声入出力機能付き撮像装置１と同様に、ベース板２１、カバー２２、制御基板（図１の制御基板４）、マイク５、スピーカ６、全方位カメラ７を備える。第３の実施の形態の音声入出力機能付き撮像装置１ｂは、第２の実施の形態の場合と同様に、ディスプレイ８を備える。

本実施の形態において、ベース板２１は、三角形の板状に形成され、その３つの隅部のそれぞれにマイク５が備えられている。また、ベース板２１の３つの側縁部には、それぞれ表示画面を外側に向けてディスプレイ８が取り付けられている。また、ベース板１１の３つのディスプレイ８の内側に、図示しない制御基板とスピーカ６が配置されている。

カバー２２は、三角形状のベース板２１に対応する三角柱状に形成され、ベース板２１を覆うように取り付けられている。カバー２２の３つの側面それぞれのディスプレイ８に対応する位置には、ディスプレイ８の表示画面を外部から視認可能とする窓部２２ａが設けられている。また、カバー２２の天板には、スピーカ６に対応して開口部２２ｂが設けられている。カバー２２の開口部２２ｂの部分には、Ｙ字橋状にカメラ固定部２２ｃが設けられ、このカメラ固定部２２ｃに全方位カメラ７が取り付けられている。なお、カバー２２のマイク５に対応する位置には、１つか複数の孔を設けてもよい。

第３の実施の形態の音声入出力機能付き撮像装置１ｂは、基本的にディスプレイ８とマイク５の数の違いと、平面形状が四角形か三角形かの違い以外は、第２の実施の形態の音声入出力機能付き撮像装置１ａと略同様の構造を有するものであり、同様の作用効果を奏する。また、第３の実施の形態では、ディスプレイ８が互いに１２０度離れた３方向を向いているので、テーブルＴの周囲でディスプレイ８の画面が見られない死角となる方向を減らすことができる。なお、第２の実施の形態の形状で、カバー１２の全ての側面にディスプレイ８を設けることで、音声入出力機能付き撮像装置１ａが４つのディスプレイ８を持つものとしてもよい。

次に、本発明の第４の実施の形態を説明する。
図７（ａ）、（ｂ）に示すように、第４の実施の形態の音声入出力機能付き撮像装置１ｃは、第１の実施の形態の音声入出力機能付き撮像装置１と同様に、制御基板（図１の制御基板４）、マイク５ａ、スピーカ６ａ、全方位カメラ７ａを備える。第４の実施の形態の音声入出力機能付き撮像装置１ｃは、第２、第３の実施の形態の場合と同様に、ディスプレイ８ａを備える。

本実施の形態においては、例えば、１５インチより大きいディスプレイ８ａとして、例えば２０〜３２インチ程度（それ以上であってもよい）のディスプレイ８ａに音声入出力機能付き撮像装置１ｃの制御基板、マイク５ａ、スピーカ６ａを組み込み、ディスプレイ８ａの上面の中央部に、全方位カメラ７ａが取り付けられている。すなわち、パソコン用ディスプレイなどで、スピーカとマイクを内蔵するディスプレイに制御基板と全方位カメラ７ａを設けた構成となっている。但し、ディスプレイ８ａをパソコンと接続し、制御基板のデータの入出力以外の機能をパソコンＰＣに持たせるものとしてもよい。この場合にディスプレイ８ａとパソコンＰＣの接続は、スピーカ、マイク、カメラを備えるタイプのディスプレイをパソコンＰＣに接続する場合と同様に行うことができる。

図７（ａ）、（ｂ）に示すように、第４の実施の形態では、ディスプレイ８ａは、表裏面の両方に表示画面１４ａ、１４ｂを有するものであり、図２に示すように、互いに対向して坐る参加者がそれぞれ別の表示画面１４ａ、１４ｂを見るようになっている。なお、音声入出力機能付き撮像装置１ｃにおいて、裏面側に表示画面１４ｂを設けないものとして、複数台の音声入出力機能付き撮像装置１ｃを用いるものとしてもよい。この場合に、全方位カメラ７ａが複数となるが、必ずしも複数台の全方位カメラ７ａを必要としないので、全方位カメラ７ａを有するタイプと、全方位カメラ７ａが無いタイプとを組み合わせるものとしてもよい。また、ディスプレイ８の大きさによっては、参加者に対して全方位カメラ７ａの位置が高くなり過ぎて、半球状の撮影範囲に参加者の胸像部分の上部しか映らない可能性があり、最悪、参加者の顔の上部しか映らない可能性がある。そこで、撮影範囲が半球より広く全球に近い撮影範囲を有する全天球カメラを全方位カメラ７ａとすることが好ましい。

第４の実施の形態の音声入出力機能付き撮像装置１ｃによれば、第１および第２の実施の形態と略同様の作用効果を得ることができる。

１，１ａ，１ｂ，１ｃ 音声入出力機能付き撮像装置
４ 制御基板（画像認識手段、画像処理手段、音源方向認識手段、通信手段）
５，５ａ マイク（音声入力手段）
６，６ａ スピーカ（音声出力手段）
７，７ａ 全方位カメラ
８，８ａ ディスプレイ

Claims (5)

1. 周囲を撮像対象とする全方位カメラと、
   前記全方位カメラの近傍に設けられ、外部から入力される音声信号を音声として周囲に出力する音声出力手段と、
   前記全方位カメラの近傍に設けられ、周囲の音声を音声信号として入力する音声入力手段とを備え、
   前記全方位カメラにより撮像された画像データと、前記音声入力手段により入力された音声信号を出力することを特徴とする音声入出力機能付き撮像装置。
2. 前記全方位カメラの近傍で当該全方位カメラによる周囲の撮像を妨げない位置に、周囲の複数方向から視認可能に外部から入力された画像データを表示する複数台のディスプレイが設けられていることを特徴とする請求項１に記載の音声入出力機能付き撮像装置。
3. 前記音声入力手段は、少なくとも周囲の異なる方向をそれぞれ向いた少なくとも３つのマイクを備え、
   各マイクに入力する音声の音量から音源の方向を特定する音源方向認識手段と、
   前記全方位カメラで撮像された全方位画像データを、前記音源方向認識手段により特定された音源の方向を中心とする画像データに変換する画像処理手段を備えることを特徴とする請求項１または請求項２に記載の音声入出力機能付き撮像装置。
4. 前記全方位カメラで撮像された画像データ中に撮像されている被撮像者の顔を認識するとともに、認識された前記顔の口の動きから前記被撮像者のうちの発言している前記被撮像者を特定する画像認識手段と、
   前記全方位カメラで撮像された全方位画像データを、前記画像認識手段により発言していると特定された前記被撮像者を中心とする画像データに変換する画像処理手段とを備えることを特徴とする請求項１から請求項３のいずれか１項に記載の音声入出力機能付き撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の前記音声入出力機能付き撮像装置を複数備え、各音声入出力機能付き撮像装置は、他の前記音声入出力機能付き撮像装置に前記画像データと前記音声信号を出力し、かつ、他の前記音声入出力機能付き撮像装置から出力された前記画像データおよび前記音声信号を入力するための通信手段を備えることを特徴とするテレビ会議システム。

Images