JP2018019263A - 音声モニタリングシステム及び音声モニタリング方法 - Google Patents

Abstract

【課題】店舗等のモニタリング対象のエリアにおいて、指定された過去の一定期間において、人物がどのくらいの時間、どの程度の音声レベルで来店客に対して接客していたか等を分析し、分析結果を視覚的に示し、モニタリング分析精度を向上する。【解決手段】音声モニタリングシステムにおいて、記録装置７０は、映像及び撮像時間と音声とを記録する。音パラメータ算出部７１、４４１は、音声を基に、撮像時刻におけるモニタリングエリアの音の大きさを特定する音パラメータを画素毎に、かつ、一定時間毎に算出する。音パラメータ保存部７２は、音パラメータを保存する。音パラメータ表示制御部４４２は、音パラメータに応じて、音声ヒートマップを、モニタリングエリアの撮像画像に重畳してモニタ５５に表示する。このとき、音パラメータ表示制御部４４２は、時間範囲の指定に応じて、音の大きさの時間累計値に基づく音声ヒートマップを表示する。【選択図】図２

Description

本発明は、モニタリング対象のエリア内の人物の動線を分析するための音声モニタリングシステム及び音声モニタリング方法に関する。

従来、モニタリング対象のエリア（例えば店舗内）の人物（例えば店員、来店客）の動線を分析する技術として、画像解析による人物検知及び人物追跡の技術を用いた動線の可視化技術が知られている。この可視化技術では、人物の移動箇所を分析することは可能であるが、例えば接客が頻繁に行われる飲食店やコンビニエンスストア等の店舗内のどの場所でどの程度の時間、店員及び来店客の会話が行われているか、もしくは来店客が単に立ち止まっているだけであるかを区別することはできない。

上述した動線の可視化技術に関連する先行技術として、例えば特許文献１に示す画像処理装置が提案されている。この画像処理装置は、カメラにより撮影された画像を処理して会議出席者の顔を検出し、複数のマイクによって音声の到来方向を検出し、ずれ時間情報に基づいて音声を収音する方向を変更し、収音された音声レベルを算出する。また、画像処理装置は、顔検出情報、音声到来方向情報、音声レベル情報を基に、会議室画像の会議出席者の発言者の頭上に、音声レベルを示す画像を表示する。

特開２０１２−１４７４２０号公報

しかしながら、特許文献１の構成では、発言者によって現在発言されている音声の音声レベルの瞬時値が算出され、その算出結果（音声レベルの瞬時値）を示す画像が会議出席者の発言者の頭上に表示されるだけであった。つまり、特許文献１の構成では、過去に発言された一定期間の音声の音声レベルを算出してその結果を可視化する等の音声分析はできなかった。従って、例えば店舗内の店員の行動等をモニタリングしている人物（例えば監視者）は、店舗内で店員が過去のある期間に接客していた場合に、どれくらいの時間、どの程度の音声レベルで店員の会話が継続しているのかを視覚的に把握することはできなかった。

本発明は、上述した従来の状況に鑑みて案出され、店舗等のモニタリング対象のエリアにおいて、指定された過去の一定期間において、人物がどのくらいの時間、どの程度の音声レベルで来店客に対して接客していたか等を分析し、分析結果を視覚的に示し、モニタリング分析精度を向上する音声モニタリングシステム及び音声モニタリング方法を提供することを目的とする。

本発明は、モニタリング対象のエリアを撮像するカメラと、前記エリアの音を収音するマイクアレイと、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録するレコーダと、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に繰り返して算出する音パラメータ算出部と、前記音パラメータ算出部により算出された前記音パラメータを、前記撮像時刻における撮像画像上の位置情報と対応付けて保存する音パラメータ保存部と、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタに表示する音パラメータ表示制御部と、を備え、前記音パラメータ表示制御部は、時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、音声モニタリングシステムを提供する。

また、本発明は、カメラと、マイクアレイと、レコーダと、再生制御装置とを含む音声モニタリングシステムにおける音声モニタリング方法であって、前記カメラは、モニタリング対象のエリアを撮像し、前記マイクアレイは、前記エリアの音を収音し、前記レコーダは、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録し、前記再生制御装置は、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に繰り返して算出し、前記再生制御装置は、算出された前記音パラメータを、前記撮像時刻における撮像画像上の位置情報を対応付けて前記レコーダに保存し、前記再生制御装置は、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタすることを特徴とし、前記再生制御装置は、時間範囲の指定に応じて、前記レコーダに保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、音声モニタリング方法を提供する。

本発明によれば、店舗等のモニタリング対象のエリアにおいて、指定された過去の一定期間において、人物がどのくらいの時間、どの程度の音声レベルで来店客に対して接客していたか等を分析し、分析結果を視覚的に示し、モニタリング分析精度を向上することができる。

第１の実施形態の音声モニタリングシステムの店舗への設置例を示す図 第１の実施形態の音声モニタリングシステムのシステム構成の一例を詳細に示すブロック図 マイクアレイの内部構成の一例を詳細に示すブロック図 全方位カメラの内部構成の一例を詳細に示すブロック図 モニタに表示されるＧＵＩの一例を示す図 第１の実施形態のレコーダにおける音パラメータの算出、保存の各動作手順の一例を詳細に説明するフローチャート 音パラメータの算出例を説明する図 第１の実施形態の音パラメータが格納されるファイルの構造例を示す図 第１の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャート モニタに表示される時刻ｔ２におけるＧＵＩの一例を示す図 第３の実施形態のＲＧＢ値への変換動作手順の一例を詳細に説明するフローチャート 第５の実施形態のモニタに表示されるＧＵＩの一例を示す図 第６の実施形態の６０秒単位の音パラメータが格納されるファイルの構造例を示す図 第８の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャート 第９の実施形態のモニタに表示されるＧＵＩの一例を示す図 第１０の実施形態のモニタリングエリアにおいて検知された音の大きい領域の一例を示す図 （Ａ）指定された時間範囲（１０：００〜１０：３０）で指定エリアＦＲの座標（Ｕｘ，Ｕｙ）における音声検知の時間変化（音声の有無）を示すグラフ、（Ｂ）（Ａ）において検知された音声検知期間における音声の再生リストの一例を示す図 第１０の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャート 第１１の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャート モニタリングエリアの中からユーザにより選択された指定エリアの座標（Ｕｘ，Ｕｙ）の一例を示す図 指定エリアの座標（Ｕｘ，Ｕｙ）における音声検知の時間変化例を示すグラフ 第１２の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャート 第１３の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャート 第１４の実施形態の音声モニタリングシステムのシステム構成の一例を詳細に示すブロック図 第１４の実施形態のモニタに表示されるＧＵＩの一部分の一例を示す図 ユーザ操作により指定された時間範囲の表示開始時刻における撮像画像に、音源視覚画像（音声ヒートマップＭＰ）が重畳された表示例を示す図 ユーザ操作により指定された検索時刻における撮像画像に、音源視覚画像（音声ヒートマップＭＰ）と複数人の発話内容とが重畳された表示例を示す図 第１４の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャート

以下、適宜図面を参照しながら、本発明に係る音声モニタリングシステム及び音声モニタリング方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（第１の実施形態）
図１は、第１の実施形態の音声モニタリングシステム５の店舗への設置例を示す図である。音声モニタリングシステム５は、例えば飲食店やコンビニエンスストア等の店舗２００に設置され、店長等の監視者によりモニタリングされる対象（例えば店員）の接客状況をモニタリングする。なお、以下の説明では、音声モニタリングシステム５は、店舗内に設置されるとして説明するが、設置先は店舗に限定されず、例えば工場、図書館等の公共施設、オフィス内に設置されてよい。店舗２００には、多くの商品が陳列された商品棚２０１、カウンタ２０２等が設置されている。カウンタ２０２は、接客の一例として、来店客が購入した商品の精算等を行うために使用され、例えばレジカウンターである。商品の清算等を行う際、店員ｐ１と来店客ｐ２は、通常、カウンタ２０２を挟んで対面し、会話する。

音声モニタリングシステム５は、マイクアレイ・カメラ装置１０と、閲覧装置３０と、記録装置７０とを含む構成である。マイクアレイ・カメラ装置１０は、マイクアレイＭＡと全方位カメラＣＡとが同軸方向に組み合わされて一体化して構成され、カウンタ２０２の上方に固定して取り付けられている。例えば、マイクアレイ・カメラ装置１０は、店舗２００の天井に取り付けられる。全方位カメラＣＡは、カウンタ２０２を含むモニタリングエリアＳＡを撮像する。モニタリングエリアは、音声モニタリングシステム５により店員等の接客状況がモニタリングされる対象のエリアであり、以下同様とする。マイクアレイＭＡは、モニタリングエリアＳＡを覆う領域から発せられる音を収音する。

閲覧装置３０は、店舗２００のバックヤード２００ｚに配置され、全方位カメラＣＡにより撮像された画像（撮像画像）を閲覧可能に表示し、更に、マイクアレイＭＡにより収音された音をスピーカ５０（図２参照）から出力する。

レコーダとしての記録装置７０は、閲覧装置３０と同様、店舗２００のバックヤード２００ｚに配置され、全方位カメラＣＡにより撮像された画像（撮像画像）及び撮像時刻と、マイクアレイＭＡにより収音された音及び収音時刻とを対応付けて記録する。また、記録装置７０は、一定間隔毎に算出された音パラメータ（後述参照）を繰り返し保存する。

図２は、第１の実施形態の音声モニタリングシステム５のシステム構成の一例を詳細に示すブロック図である。マイクアレイ・カメラ装置１０、閲覧装置３０、及び記録装置７０は、ネットワークＮＷを介して、相互にデータ通信可能に接続される。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

記録装置７０は、各種のデータを記録するものであり、レコーダＲ１とレコーダＲ２とを含む。レコーダＲ１は、マイクアレイＭＡにより収音された音のデータ及び収音時刻と、全方位カメラＣＡにより撮像された撮像画像のデータ及び撮像時刻とを対応付けて記録する。収音時刻は、マイクアレイＭＡから送信された音のデータに含まれる時刻情報の時刻でもよいし、マイクアレイＭＡから送信された音のデータがレコーダＲ１により受信された時の時刻でもよい。同様に、撮像時刻は、全方位カメラＣＡから送信された撮像画像のデータに含まれる時刻情報の時刻でもよいし、全方位カメラＣＡから送信された撮像画像のデータがレコーダＲ１により受信された時の時刻でもよい。

レコーダＲ２は、音パラメータ算出部７１及び音パラメータ保存部７２を有する。

音パラメータ算出部７１は、レコーダＲ１に記録された音データ、あるいはマイクアレイＭＡにより収音された音データを基に、音パラメータを算出する。以下の説明において、音パラメータは、マイクアレイＭＡにより収音された音の大きさを示すパラメータであり、例えば音圧である。なお、音パラメータは、音圧に限らず、音量レベルでもよいし、単に音の有無、あるいは音圧と音声検知時間とをかけた量等であってもよい。音パラメータ算出部７１の音パラメータの算出処理の詳細は、後述する音パラメータ算出部４４１の音パラメータの算出処理と同一であるため、ここでは説明を省略する。

音パラメータ保存部７２は、音パラメータ算出部７１により算出された音パラメータを、算出時の時刻情報と対応付けて保存する。なお図２では、記録装置７０は、レコーダＲ１とレコーダＲ２とが別装置として構成されているが、レコーダＲ１とレコーダＲ２とが一体化された構成でもよい。また、図２に示すように、レコーダＲ２は、レコーダＲ１に記録されている記録データ（つまり、画像データ及び撮像時刻のデータ、並びに、音データ及び収音時刻のデータ）を更に記録してもよい。

閲覧装置３０は、再生制御装置４０と、スピーカ５０と、モニタ５５と、操作部５８とを含む構成である。再生制御装置４０は、全方位カメラＣＡにより撮像された撮像画像のデータをモニタ５５に表示したり、マイクアレイＭＡにより収音された音のデータをスピーカ５０から再生したりする。再生制御装置４０は、再生制御部４１、指向音データ生成部４２、メモリ４３、信号処理部４４、指定部４５及び判断部４６を有する。

再生制御部４１は、例えば監視者（以下、「ユーザ」ともいう）により一定の時間範囲の指定操作があった場合に、レコーダＲ１に記録された音データ及び画像データから該当する時間範囲の音データ及び画像データを取得し、音データをスピーカ５０により音声出力させ、更に、画像データをモニタ５５に表示させる。

また、再生制御部４１は、監視者により一定の時間範囲の指定操作並びにモニタ５５に表示された撮像画像上に対する位置の指定操作があると、後述する指向音データ生成部４２に対し、指定された時間範囲の音データの強調処理を指示する。再生制御部４１は、指向音データ生成部４２から出力された強調処理済みの音データをスピーカ５０により音声出力させて再生する。

指向音強調部としての指向音データ生成部４２は、例えば再生制御部４１の指示に応じて、レコーダＲ１に記録されている音データを用いて、マイクアレイＭＡから、例えば店長等の監視者の操作により指定された撮像画像上の位置に対応する音源位置に向かう方向の音を指向方向として強調処理する。具体的には、指向音データ生成部４２は、指向方向に対して、音声の指向性を形成することで、指向方向の音声が強調処理された音のデータを生成する。

メモリ４３は、例えばＲＡＭ（Random Access Memory）又はＨＤＤ（Hard Disk Drive）を用いて構成され、音パラメータ算出部４４１により算出された音パラメータや一定期間分の音パラメータの時間累計値Ｆ等の各種情報（後述参照）を記憶する。また、メモリ４３は、後述するＧＵＩ１００（図５参照）に表示される、録画日時、表示時間単位、指定エリアの座標、再生リスト等の各種情報を記憶する。

信号処理部４４は、全方位カメラＣＡから配信された撮像画像（つまり、現在のライブ映像を構成する画像）又はレコーダＲ１に記録された撮像画像（つまり、過去の録画映像を構成する画像）に重畳される音源視覚画像（後述参照）を生成する。信号処理部４４は、音パラメータ算出部４４１、音パラメータ表示制御部４４２、及び色情報変換部４４３を少なくとも有する。

音パラメータ算出部４４１は、全方位カメラＣＡにより撮像された撮像画像の画像データとマイクアレイＭＡにより収音された音の音データとを基に、画像データを構成する一つ一つの画素毎に音パラメータ（例えば音圧）を算出する。この音圧の算出処理は公知技術であり、その詳細については割愛する。本実施形態を含む各実施形態では、音パラメータ算出部４４１は、例えば公知技術を用いて音パラメータを算出する際、マイクアレイＭＡから、算出対象となる画素に対応するモニタリングエリアＳＡの位置に向かう方向に指向性（後述参照）を形成してその方向の音を強調処理した上で、音の有無を判断して音圧を算出する。また、音パラメータ算出部４４１は、画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。なお、音パラメータ算出部４４１は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップを生成すると説明したが、一つ一つの画素毎に音圧を算出せず、所定数（例えば２×２＝４個、３×３＝９個）の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップを生成してもよい。

音パラメータ表示制御部４４２は、全方位カメラＣＡから配信された撮像画像（つまり、現在のライブ映像を構成する画像）又はレコーダＲ１に記録された撮像画像（つまり、過去の録画映像を構成する画像）に音源視覚画像を重畳するための表示制御を行う。音パラメータ表示制御部４４２の動作の詳細については後述する。

色情報変換部４４３は、音パラメータ算出部４４１により算出された音パラメータを基に、ＲＧＢ値をそれぞれ計算し、ＲＧＢ値に対応する音源視覚画像を生成する。色情報変換部４４３による色情報（ＲＧＢ値）に対応する音源視覚画像の生成処理については後述する。

指定部４５は、領域指定部４５１及び表示対象日時指定部４５２を有する。領域指定部４５１は、ユーザ操作により、ユーザが音声を聞きたい領域である指定エリアＦＲ（図５参照）を指定する。表示対象日時指定部４５２は、ユーザ操作により、ユーザが音声を聞きたい日時を指定する。ユーザが聞きたい日時は、ＧＵＩ１００（図５参照）上の録画日時選択部１０４、表示時間単位設定部１０５及び表示対象範囲設定部１０６を用いて、ユーザが時間軸上の音声区間（時間範囲）を指示することで指定される。

判断部４６は、ユーザ操作により表示対象範囲設定部１０６に指定された時間範囲が、レコーダＲ２に既に記録された音声パラメータの第１間隔としての保存間隔ＡＡ１より小さいか否かを判断する。なお、判断部４６は、後述する第８の実施形態において使用され、判断部４６の動作の詳細は後述する。

スピーカ５０は、マイクアレイＭＡによりリアルタイムに収音される音の音データ、あるいはレコーダＲ１に記録された音データを音声出力する。

モニタ５５は、グラフィカルユーザインターフェース（ＧＵＩ）１００（図５参照）を表示する。ＧＵＩ１００の詳細については後述する。

操作部５８は、ＧＵＩ１００に対するユーザからの操作指示を受け付けるものであり、マウス、キーボード等の入力デバイスの他、モニタ５５と一体化されたタッチパネルであってもよい。ユーザからの操作指示としては、映像音声ファイルの指定、指定エリアの位置の指定、表示する音の時間範囲の指定、再生開始の指示等が挙げられる。

図３は、マイクアレイＭＡの内部構成の一例を詳細に示すブロック図である。マイクアレイＭＡは、複数のマイクロホンＭ１〜Ｍｎ（例えばｎ＝８、１６又は３２）、複数のマイクロホンＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ、各増幅器ＰＡ１〜ＰＡｎから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｎ、圧縮処理部２５及び送信部２６を含む。

圧縮処理部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部２６は、圧縮処理部２５で生成された音声データのパケットを、ネットワークＮＷを介して閲覧装置３０又は記録装置７０に送信する。

このように、マイクアレイＭＡは、マイクロホンＭ１〜Ｍｎの出力信号を増幅器ＰＡ１〜ＰＡｎで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｎでデジタル音声信号に変換した後、圧縮処理部２５で音声データのパケットを生成する。マイクアレイＭＡは、この音声データのパケットを、ネットワークＮＷを介して閲覧装置３０又は記録装置７０に送信する。

図４は、全方位カメラＣＡの内部構成の一例を詳細に示すブロック図である。全方位カメラＣＡは、ＣＰＵ６１、通信部６２、電源管理部６４、イメージセンサ６５、メモリ６６及びネットワークコネクタ６７を有する。

ＣＰＵ６１は、全方位カメラＣＡの各部を統括的に制御する。イメージセンサ６５は、モニタリングエリアＳＡを撮像して画像データを取得するものであり、ＣＭＯＳ（相補性金属酸化膜半導体）センサで構成される。なお、ＣＭＯＳセンサの代わりに、ＣＣＤ（電荷結合素子）センサが用いられてもよい。

メモリ６６は、動作プログラムや設定値のデータが格納されたＲＯＭ６６ｚ、画像データやワークデータを記憶するＲＡＭ６６ｙ、及び全方位カメラＣＡに挿抜自在に接続され、各種データが記憶されるメモリカード６６ｘを有する。

通信部６２は、ネットワークコネクタ６７を介して接続されるネットワークＮＷとのデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。

電源管理部６４は、全方位カメラＣＡの各部に直流電源を供給し、また、ネットワークコネクタ６７を介してネットワークＮＷに接続される機器に直流電源を供給する。ネットワークコネクタ６７は、画像データ等の通信データを伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。

なお、本実施形態では、全方位カメラが用いられたが、全方位カメラの代わりに、パン・チルト・ズーム可能なＰＴＺカメラや、画角が固定された定点カメラが用いられてもよい。

図５は、モニタ５５に表示されるＧＵＩ１００の一例を示す図である。ＧＵＩ１００は、モニタ５５に表示されるユーザインターフェースであり、具体的には、表示画面１０１、動作モード設定部１０２、ライブモード設定部１０３、録画日時選択部１０４、表示時間単位設定部１０５、表示対象範囲設定部１０６、設定情報表示部１０７、及び再生リスト１０８を含む。このＧＵＩ１００は、例えば音パラメータ表示制御部４４２により生成されてモニタ５５に表示され、以下の各実施形態においても同様である。

表示画面１０１には、全方位カメラＣＡにより撮像された撮像画像ＧＺ（つまり、魚眼画像）と、この撮像画像上に重畳される音源視覚画像（音声ヒートマップＭＰ）が合成画像として表示される。音源視覚画像（音声ヒートマップＭＰ）は、マイクアレイＭＡにより収音された音に基づいて信号処理部４４により生成された音声ヒートマップである。つまり、音声ヒートマップは、撮像画像ＧＺの中で、どの位置に音源が存在しているかを視覚的に示すマップデータである。なお、音声ヒートマップは、撮像画像ＧＺの全域を対象とする全体的なマップデータでもよいし、撮像画像ＧＺの中で音源が存在している位置のみを対象とする部分的なマップデータのどちらでも構わない。図５に示す表示画面１０１には、ユーザ操作により指定された指定エリアＦＲが、音パラメータが大きい場所（言い換えると、音の発生した場所であってつまり音源）として、青色の矩形枠で表示されている。また、指定エリアＦＲの音パラメータよりも音パラメータの大きい領域ｍｐｚ１，ｍｐｚ２は、別の音源位置を示すとして、赤色の略円形で表示されている。

動作モード設定部１０２は、ユーザにより選択可能なラジオボタンを有する。動作モード設定部１０２は、例えば表示画面１０１に表示される合成画像（上述参照）をリアルタイムに表示するためのライブモードと、記録装置７０に記録された過去の画像データ及び音データを用いて算出された音パラメータに基づいて過去の指定日時に対応する合成画像（上述参照）を表示する日時指定モードとのいずれかを選択可能である。いずれかのモードが選択されると、選択中のモードに対応するラジオボタンの色が変わる。図５では、日時指定モードが選択されている。以下の説明では、日時指定モードが選択されたとして説明する。

ライブモード設定部１０３は、ユーザにより選択可能なプルダウンメニューを有し、選択された可視化対象時間を設定する。図５では、可視化対象時間として、例えば「過去１時間」が設定されている。これは、上述した合成画像を生成するために、例えば現在から過去１時間前までの音データ及び画像データを用いることを指定するものである。

録画日時選択部１０４は、ユーザにより選択可能なプルダウンメニューを有し、選択された録画日時を設定する。図５では、録画の日時情報として、例えば「２０１６／５／１」の日付が設定されている。このプルダウンメニューには、日付の他、時間帯も設定可能な項目として含まれる。

表示時間単位設定部１０５は、ユーザにより選択可能なプルダウンメニューを有し、選択された表示時間単位を設定する。図５では、例えば「１時間」が設定されている。

表示対象範囲設定部１０６は、上述した合成画像の表示対象となる時間帯（時間範囲）を指定するスライドバーを有し、ユーザがスライダ１０６ｚを時間軸上に移動させることで表示対象の時間帯（時間範囲）を設定する。スライダ１０６ｚは例えば矩形の形状を有する。スライダ１０６ｚを示す矩形の左辺は上述した時間帯（時間範囲）の表示開始時刻ｔ０を示し、矩形の長さは表示時間単位τ（ここでは１時間）を示す。スライダ１０６ｚを示す矩形の右辺は、表示終了時刻（ｔ０＋τ）を示す。図５では、例えば「９：００〜１７：００」の時間軸上で表示対象の時間帯（つまり、表示時間単位τの開始時刻及び終了時刻）が変更可能である。表示対象範囲設定部１０６のスライドバーが「９：００〜１７：００」の時間帯で示されていることは、あくまで一例であって、他の例として一日を示す「０：００〜２３：５９」でもよい。

設定情報表示部１０７は、ユーザ操作により指定された指定エリアＦＲ、及び指定エリアＦＲの累計発話時間を表示する。指定エリアＦＲは、その中心座標（Ｘ，Ｙ）で表される、矩形領域である。図５では、例えば指定エリアＦＲの中心座標（Ｘ，Ｙ）は、（１００，２００）である。また、累計発話時間は、例えば４分２０秒である。

再生リスト１０８は、ユーザ操作により指定された時間範囲の中で、指定エリアＦＲにおいて音声が検知された音声検知期間の開始時刻を時系列に表示する。再生リスト１０８中のいずれかの音声検知期間の開始時刻を選択すると、閲覧装置３０は、その開始時刻からの音声をスピーカ５０から音声出力することで再生可能である。図５では、例えば「１０：０５：０５」、「１０：０５：３０」、「１０：０６：１０」を開始時刻とする音声検知期間がラベル順に表示されている。また、現在再生中の「１０：０５：０５」における音声検知期間には、例えば音パラメータ表示制御部４４２によりマーク１０８ｚが示されている。

上述した構成を有する音声モニタリングシステム５の動作を説明する。

始めに、記録装置７０における、全方位カメラＣＡにより撮像された画像の記録動作（つまり録画）、マイクアレイＭＡにより収音された音声の記録動作（つまり録音）、及び音パラメータの算出及び保存の動作を説明する。

図６は、第１の実施形態のレコーダＲ２における音パラメータの算出、保存の各動作手順の一例を詳細に説明するフローチャートである。閲覧装置３０の操作部５８は、ユーザによる記録操作の指示を受け付ける（Ｓ１）。ユーザによる記録操作の指示が受け付けられると、この指示をトリガとして、レコーダＲ１は、全方位カメラＣＡにより撮像された画像の画像データの記録を開始する（Ｓ２）。また、レコーダＲ１は、マイクアレイＭＡにより収音された音声の音声データの記録を開始する（Ｓ３）。

レコーダＲ２の音パラメータ算出部７１は、レコーダＲ１に記録された画像データ及び音声データを基に、音パラメータである音圧を算出する（Ｓ４）。

図７は、音パラメータの算出例を説明する図である。図６のステップＳ４では、音パラメータは、図７に示すモニタリングエリアＳＡの撮像画像ＧＺを構成する画素毎に算出される。図７では、画素毎の音パラメータが撮像画像ＧＺに重畳されている。なお、撮像画像ＧＺは、例えば、０〜Ｎｘ，０〜Ｎｙのマス目（つまり、画素）に区画される。一例として、Ｎｘ＝２１０，Ｎｙ＝２１０が挙げられる。マス目を単位として、音の大きさを示す音パラメータが算出される。

ここで、撮像画像ＧＺ上の座標（ｉ，ｊ）における、ある時間ｔの音の大きさ（音圧）を、ｆ（ｔ，ｉ，ｊ）で表す。なお、ある時間ｔの音の大きさは、瞬時値でもよいし、ある時間幅（例えば１分）の平均値、最大値、あるいは加算値であってもよい。レコーダＲ２の音パラメータ算出部７１は、表示開始時刻ｔ０から表示終了時刻（ｔ０＋τ）（図５参照）における、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を、数式（１）に従って算出する。

ここで、音パラメータ算出部４４１は、レコーダＲ２の音パラメータ算出部７１による上述算出処理と同様の処理を行う。また、色情報変換部４４３は、撮像画像ＧＺ上の全ての座標（ｉ，ｊ）における音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）の正規化を行い、正規化後の値を音声ヒートマップＭＰを構成するＲＧＢ値に変換する（数式（２）〜（４）参照）。赤色の値（つまり、Ｒ値）であるＲ_ｔ０，τ（ｉ，ｊ），緑色の値（つまり、Ｇ値）であるＧ_ｔ０，τ（ｉ，ｊ），青色の値（つまり、Ｂ値）であるＢ_ｔ０，τ（ｉ，ｊ）は、それぞれ数式（２）、数式（３）、数式（４）により示される。

数式（２）〜数式（４）において、ｋ_Ｒ，ｋ_Ｇ，ｋ_Ｂは、それぞれ赤色要素、緑色要素、青色要素の強さをそれぞれ示す定数である。｜｜Ｆ｜｜は、ノルムＦを示す。なお、ここでは、色情報変換部４４３は、音源視覚画像をＲＧＢ値で表したが、例えばＹＵＶ値等の他の色情報で表現してもよいし、ＲＧＢ値の３色全ての値を使用せずに音源視覚画像を表してもよい。更には、色情報変換部４４３は、音源視覚画像を、アルファ値を用いて不透明度で表してもよい。

図８は、第１の実施形態の音パラメータが格納されるファイルの構造例を示す図である。音パラメータが格納されるファイルは、ファイルヘッダの欄、ファイルサイズの欄、記録日時の欄、記録時間の欄、“ｆｍｔ”（ｆｍｔ（フォーマット）チャンク）の欄、フォーマットバージョンの欄、及び“ｄａｔａ”（ｄａｔａチャンク）の欄により構成される。音パラメータを構成する各要素は、それぞれ４バイトのサイズを有する。音パラメータの実データは、“ｄａｔａ”（ｄａｔａチャンク）欄に格納される。

図６に戻り、音パラメータ保存部７２は、音パラメータ保存部７２における記録データの一部として、音パラメータ算出部７１により算出された音パラメータ（例えば、音の大きさを示すｆ（ｔ，ｉ，ｊ）、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を含む）を保存する（Ｓ５）。このとき、記録（録画、録音）日時等の時刻情報も記録データの一部として保存される。

記録装置７０は、操作部５８を介して行われた、ユーザによる記録の停止要求があるか否かを確認する（Ｓ６）。停止要求が無かった場合（Ｓ６、ＮＯ）、記録装置７０の処理はステップＳ２に戻り、停止要求があるまで同様の処理が繰り返される。一方、停止要求があった場合（Ｓ６、ＹＥＳ）、記録装置７０は本動作を終了する。

図９は、第１の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャートである。閲覧装置３０の操作部５８は、ユーザ操作により指定された、レコーダＲ１に記録された画像データ及び音データを含む映像音ファイルを受け付ける（Ｓ１１）。映像音ファイルを指定する場合、録画日時選択部１０４で設定された録画日時の情報が用いられる。

表示対象日時指定部４５２は、操作部５８を介してユーザ操作により指定された、表示対象の時間範囲を受け付ける（Ｓ１２）。再生制御装置４０は、指定された時間範囲に該当する映像をレコーダＲ１から読み込む（Ｓ１３）。

音パラメータ算出部４４１は、ステップＳ１２において指定された時間範囲に該当する音パラメータをレコーダＲ２から読み込む（Ｓ１４）。色情報変換部４４３は、読み込まれた音パラメータを基に、数式（２）〜数式（４）に従って、音の大きさの時間累計値ＦをＲＧＢ値に変換する（Ｓ１５）。ＲＧＢ値は、０〜２５５の範囲で２５６段階に設定される。色情報変換部４４３は、例えば青色Ｂの値を数式（５）に従って算出し、赤色Ｒの値をは数式（６）に従って算出する。

このＲＧＢ値の変換では、例えば音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値（便宜的に「正規化値」という）が「０．２」より小さい場合、この画素では、正規化値に応じた青が発色し、赤は発色しない。従って、画素は透明から青みがかった範囲の色を呈する。

また、正規化値が「０．２」以上である場合、この画素では、青が一定のＢ値（ここでは、「５１」）で発色し、赤は正規化値に応じて発色する。これにより、音が大きくなるにつれて、画素は、無色 → 暗い青 → 赤へと変化する。

音パラメータ表示制御部４４２は、全方位カメラＣＡにより撮像された撮像画像ＧＺ（例えば、ユーザ操作により指定された時間範囲の先頭時刻における撮像画像ＧＺ。以下同様とする）に、ステップＳ１５で変換されたＲＧＢ値に基づく音源視覚画像（音声ヒートマップＭＰ）を重畳して合成画像を生成してモニタ５５に表示する（Ｓ１６）。この後、音パラメータ表示制御部４４２は本動作を終了する。なお、ここでは、音パラメータ算出部４４１が音の大きさの時間累計値Ｆの算出を行う場合を示したが、音パラメータ表示制御部４４２が行ってもよい。

モニタ５５に表示されるＧＵＩ１００では、図５において前述したように、表示時間単位設定部１０５のプルダウンメニューによって表示時間単位が例えば「１時間」に設定されると、表示対象範囲設定部１０６の時間軸上に配置されるスライダ１０６ｚの幅（矩形の長さ）に相当する表示時間単位τが変化する。図５では、スライダ１０６zの中心位置が時刻ｔ１にあり、表示画面１０１には、時刻ｔ１（例えば１０：０５：０５）における、撮像画像ＧＺと音声ヒートマップＭＰとの合成画像が表示される。音声ヒートマップＭＰでは、音の大きい２つの領域ｍｐｚ１，ｍｐｚ２が略円形に表示される。

ユーザがスライダ１０６ｚを例えば右方向に動かし、時刻ｔ１から時刻ｔ２に変化させると、撮像画像ＧＺが変化するとともに、音声ヒートマップＭＰが変化し、時刻ｔ２における、撮像画像ＧＺに重畳された音声ヒートマップＭＰが表示される。図１０は、モニタ５５に表示される時刻ｔ２におけるＧＵＩ１００の一例を示す図である。時刻ｔ２における表示画面１０１では、撮像画像ＧＺにおいて、発話している人物が変わったことによって、図５と比べ、音の大きい領域ｍｐｚ３が移動していることが分かる。

このように、第１の実施形態の音声モニタリングシステム５では、全方位カメラＣＡは、モニタリングエリアＳＡを撮像する。マイクアレイＭＡは、モニタリングエリアＳＡの音を収音する。記録装置７０は、全方位カメラＣＡにより撮像された撮像画像及び撮像時刻とマイクアレイＭＡにより収音された音とを対応付けて記録する。音パラメータ算出部７１，４４１は、全方位カメラＣＡの撮像中にマイクアレイＭＡにより収音された音を基に、撮像時刻におけるモニタリングエリアＳＡの音の大きさを示す音パラメータを、モニタリングエリアＳＡの撮像画像を構成する画素の所定単位毎に、一定時間毎に算出する。音パラメータ保存部７２は、音パラメータ算出部７１，４４１により算出された音パラメータを、撮像時刻における撮像画像上の位置情報と対応付けて保存する。音パラメータ表示制御部４４２は、音パラメータ算出部７１，４４１により算出された画素の所定単位毎の音パラメータに基づく音源視覚画像を、モニタリングエリアＳＡの撮像画像を構成する画素の所定単位毎に重畳してモニタ５５に表示する。このとき、音パラメータ表示制御部４４２は、時間範囲の指定に応じて、音パラメータ保存部７２に保存された音パラメータの時間範囲における音の大きさの累計値Ｆに基づく音源視覚画像を、モニタリングエリアＳＡの撮像画像を構成する画素の所定単位毎に重畳してモニタ５５に表示する。

これにより、音声モニタリングシステム５は、マイクアレイＭＡにより収音された音の大きさを示す音パラメータを用いて、モニタリングエリアＳＡにおける音源を具体的に可視化することができる。また、音源を可視化する際、音の大きさと累計時間（継続時間）を基に、色情報（例えば、ＲＧＢ値）を提示することができる。従って、店舗内で店員と来店客とが会話している音声等を可視化することができ、店員の接客態度や来店客の動向を分析できる。更に、店舗内の音声を分析する場合、単に音の大きさだけでなく、音の累計時間（音声継続時間）である会話量も得られるので、過去に遡って多くの会話量を情報として収集し分析可能である。また、映像と併せることでより詳細な分析も可能となる。また、モニタリングエリアＳＡで収音された音の大きさの分布をリアルタイムで可視化することも可能である。このように、音声を可視化して分析することができる。従って、モニタリングエリアＳＡのどの場所で会話が頻繁に行われているか、ユーザに対して視覚的に提示することができ、店舗内で発話している来店客の動向が分かるようになる。

（第２の実施形態）
第２の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

第１の実施形態では、閲覧装置３０は、音圧パラメータとして、撮像画像上の座標（ｉ，ｊ）における、ある時間ｔの音の大きさをｆ（ｔ，ｉ，ｊ）で表し、このｆ（ｔ，ｉ，ｊ）を用いて音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を算出した。第２の実施形態では、音の検知の有無によって音の情報量を２値化（つまり、圧縮）してから、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を算出する。

具体的に、音パラメータ算出部７１は、数式（７）に示すように、ある時間ｔの座標（ｉ，ｊ）における音の大きさｆ（ｔ，ｉ，ｊ）と、音声を検出するための閾値Ｖｄｅｔとを比較することで、音の有無を示すパラメータｆ’（ｔ，ｉ，ｊ）を算出する。

なお、閾値Ｖｄｅｔは、定数でなく、例えば時間によって変動する値Ｖｄｅｔ（ｔ）であってもよい。音パラメータ算出部７１は、表示開始時刻ｔ０から表示終了時刻（ｔ０＋τ）（図５参照）における、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を、数式（８）に従って算出する。

なお、音パラメータ算出部４４１は、レコーダＲ２の音パラメータ算出部７１による上述算出処理と同様の処理を行う。また、色情報変換部４４３は、第１の実施形態と同様に、撮像画像ＧＺ上の全ての座標（ｉ，ｊ）における音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）の正規化を行い、正規化後の値を音声ヒートマップＭＰを構成するＲＧＢ値に変換する。

このように、第２の実施形態の音声モニタリングシステム５では、音パラメータ算出部７１，４４１は、音の大きさを音声の検知の有無を示す２値化情報を用いて、音パラメータ並びに音の大きさの時間累計値Ｆを算出する。このように、音の有無を検出し、音の情報量を圧縮してから、音の時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を算出するので、音パラメータ算出部７１，４４１における処理の負荷を相当に軽減できる。

（第３の実施形態）
第３の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

閲覧装置３０は、画素の所定単位毎の音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）をＲＧＢ値に変換して音源視覚画像に色を付与する際、表示対象としてユーザ操作により指定された時間範囲が長くなる程、モニタリングエリアＳＡ全体に万遍なく音声検知を行う。このため、撮像画像ＧＺの表示画面１０１全体に色が付くことになる。このような表示画面１０１全体に色が付いて見にくくなることを回避するために、第３の実施形態では、所定の条件を満たす音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）に対してのみ、音パラメータに対応するＲＧＢ値をそれぞれ算出する。

具体的には、閲覧装置３０は、ユーザ操作により指定された時間範囲の中で、「どれだけの時間、音声を検出したか」という情報を用い、指定された時間範囲の何％以上、音声検知が行われたかという条件を基にして、対応する画素の音源視覚画像に色を付ける。

これにより、撮像画像ＧＺの中でユーザが必要としない余分な音源の周囲に色の付いた音源視覚画像を画面表示することが抑制される。一例として、閲覧装置３０は、指定された時間範囲が３０分である場合に、その１０％に相当する３分に満たない音声に対しては、その音声の音源の周囲に表示する音源視覚画像に色を付けないようにしてもよい。

図１１は、第３の実施形態のＲＧＢ値への変換動作手順の一例を詳細に説明するフローチャートである。色情報変換部４４３は、座標（ｉ，ｊ）における音の大きさの時間累計値Ｆが閾値Ｖｍｉｎ以上であるか否かを判別する（Ｓ２１）。ここで、閾値Ｖｍｉｎは、音声が検知された音源の周囲に表示される音源視覚画像に色を付けるか否かを判断するための閾値である。例えば、ユーザ操作により指定された時間範囲をＴｓｅｌとし、表示閾値ｐ％とした場合、閾値Ｖｍｉｎは、Ｖｍｉｎ ＝ Ｔｓｅｌ × Ｐ／１００ で表される。ここで、表示閾値は、ユーザ操作により指定された時間範囲に応じて、音声が検知された音源の周囲に色の付いた音源視覚画像を表示してよいと判断可能な相対割合を示す。

音の大きさの時間累計値Ｆが閾値Ｖｍｉｎ以上である場合（Ｓ２１、ＹＥＳ）、色情報変換部４４３は、例えば数式（９）及び数式（１０）に従って、音の大きさの時間累計値ＦをＲＧＢ値に変換する（Ｓ２２）。なお、数式（９）ではＢ（青色）の値を、数式（１０）ではＲ（赤色）の値をそれぞれ例示しており、Ｇ（緑色）の値は例えばゼロである。但し、Ｇ（緑）の値も、数式（９）や数式（１０）のように音の大きさの時間累計値Ｆの大きさに従って変化するように設定されても構わない。

一例として、このＲＧＢ値の変換では、閾値Ｖｍｉｎは、「０．５」より小さい値に設定される。音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値が閾値Ｖｍｉｎより小さい場合、Ｂ_ｔ０，τ（ｉ，ｊ）で表される青色のＢ値は、「０」であり、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値が０．５未満である場合、Ｒ_ｔ０，τ（ｉ，ｊ）で表される赤色のＲ値は、「０」である。

また、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値が閾値Ｖｍｉｎ以上であり、かつ、「０．５」より小さい場合、青色のＢ値は音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値に応じて変化し、赤色のＲ値は「０」である。この場合、音の大きさによって画素は青みがかってくる。

更に、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値が「０．５」以上である場合、青色のＢ値は「５１」と一定値であり、赤色のＲ値は音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）を正規化した値に応じて変化する。従って、音が大きくなるにつれて、赤色が強くなってくる。これにより、音源の音が大きくなるにつれて、閲覧装置３０は、該当する画素に対応する音源視覚画像を、無色→青→赤へと色を変化させる。

音パラメータ表示制御部４４２は、全方位カメラＣＡにより撮像された撮像画像ＧＺに、ステップＳ２２で変換されたＲＧＢ値に基づく音源視覚画像（音声ヒートマップＭＰ）を重畳して合成画像を生成してモニタ５５に表示する（Ｓ２３）。この後、音パラメータ表示制御部４４２は本動作を終了する。

このように、第３の実施形態の音声モニタリングシステム５では、音パラメータ表示制御部４４２は、ユーザ操作により指定された時間範囲とその時間範囲における音の大きさの時間累計値との相対値に基づいて、音声ヒートマップＭＰ（音源視覚画像）を色情報で表示する。これにより、閲覧装置３０は、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）をＲＧＢ値に変換して画面に色を付ける際、時間範囲を長時間とする表示対象に設定しても、画面全体に色が付いて見にくくなることを回避することができる。また、音パラメータ表示制御部４４２は、音の大きさの時間累計値Ｆの絶対値に基づいて、音声ヒートマップＭＰ（音源視覚画像）を色情報で表示してもよく、上述と同様の効果を得ることができる。

（第４の実施形態）
第４の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

第４の実施形態では、第３の実施形態と同様、閲覧装置３０は、画素の所定単位毎の音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）をＲＧＢ値に変換して音源視覚画像に色を付ける際、所定の条件を満たす音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）に対してだけ、ＲＧＢ値を算出する。

具体的には、閲覧装置３０は、ユーザ操作により指定された時間範囲に拘わらず、「どれだけの時間、音声を検出したか」という情報を用い、一定時間の音声検知が行われた場合に対応する画素の音源視覚画像に色を付ける。

第４の実施形態の閲覧装置３０におけるＲＧＢ変換動作は、第３の実施形態と同様であるので、その説明を省略する。例えば、図１１のステップＳ２１の判断において、音の大きさの時間累計値Ｆが閾値Ｖｍｉｎ以上であっても、絶対値としての一定時間の音声検知が行われていない場合には、「ＮＯ」と判断されてＲＧＢ値の算出が行われないようにする。

このように、第４の実施形態における音声モニタリングシステム５では、閲覧装置３０は、例えば累計１分以上の発話があった場所のみ画面上に表示させることができ、音の大きさの時間累計値Ｆ_ｔ０，τ（ｉ，ｊ）をＲＧＢ値に変換して画面に色を付ける際、時間範囲を長時間とする表示対象に設定しても、画面全体に色が付いて見にくくなることを回避することができる。

（第５の実施形態）
第５の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

第３及び第４の実施形態では、閾値Ｖｍｉｎは、予め設定された固定値（例えば「０．５」より小さな値）であったが、第５の実施形態では、ユーザが閾値Ｖｍｉｎを任意に設定可能である場合を示す。

図１２は、第５の実施形態のモニタ５５に表示されるＧＵＩ１００の一例を示す図である。第１の実施形態のＧＵＩ１００と同一の構成要素については同一の符号を付すことで、その説明を省略する。ＧＵＩ１００には、更に、表示下限設定部１１１が設けられる。表示下限設定部１１１は、プルダウンメニュー１１１ｚを有し、音声検知に基づく音源視覚画像を表示画面１０１上に表示させるか否かを判断するための閾値Ｖｍｉｎの条件を任意に設定可能である。ここでは、プルダウンメニュー１１１ｚに、「５分以上の発話を表示」、「１０分以上の発話を表示」、「１０％以上の発話を表示」、「すべて表示」を含む複数の項目が表示され、ユーザによって選択可能である。図１２では、「１０分以上の発話を表示」の項目が選択されている。

表示画面１０１には、表示下限設定部１１１で設定された閾値Ｖｍｉｎの条件に従って音パラメータ算出部４４１により算出された音の大きさの時間累計値Ｆに基づいて色情報変換部４４３により生成された音声ヒートマップＭＰ（つまり、音源視覚画像）が撮像画像ＧＺに重畳されて表示されている。

このように、例えば、「５分以上の発話を表示」や「指定時間の１０％以上の発話を表示」の項目を設定することで、ユーザは、表示画面１０１上の色の付き方と発話時間との関連性を直感的に把握することができる。

第５の実施形態における音声モニタリングシステム５では、閲覧装置３０は、音の時間累計値Ｆに基づいて音声ヒートマップＭＰをＲＧＢ値で表示する際、ＧＵＩ１００に対してユーザ操作により指定された条件を受け付け可能である。つまり、ＧＵＩ１００を用いて、閾値Ｖｍｉｎに基づく条件をユーザが任意に設定可能であることから、ユーザの操作性と視認性が向上する。

（第６の実施形態）
第６の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

閲覧装置３０は、記録装置７０に録画録音されたデータを用いて、ユーザが指定した時間範囲における音パラメータに基づいて音源視覚画像（音声ヒートマップＭＰ）をモニタ５５に表示する際、時間範囲が１時間や１日等長い場合、一定時間毎に保存された音パラメータを全て足し合わせたり、平均化したりするのに時間がかかることがある。

第６の実施形態では、ユーザ操作により指定された時間範囲が長くても、音源視覚画像（音声ヒートマップＭＰ）の表示までの音パラメータの演算等の処理時間を短縮するために、音パラメータ保存部７２は、例えば１秒に１回の間隔で音パラメータを保存する場合に、更に、６０秒毎に６０秒分の足し合わせ又は平均化した音パラメータ（６０秒を１区間とする、区間の音パラメータ）も算出して保存する。また、音パラメータ表示制御部４４２は、ユーザ操作により指定された時間範囲に応じて、読み込む音パラメータを１秒単位か６０秒単位のいずれかを選択する。音パラメータ算出部７１は、選択された単位で音パラメータを算出する。なお、一定時間の単位として、６０秒が用いられたが、この値は一例に過ぎず、より長い時間、例えば１時間、２４時間等の任意の時間が単位として用いられてもよい。

図１３は、第６の実施形態の６０秒単位の音パラメータが格納されるファイルの構造例を示す図である。６０秒単位の音パラメータは、第１の実施形態における図８に示すファイルの構造例に加え、「１秒毎の音パラメータ×６０個」、「直前６０秒分の音パラメータ平均値」、…の要素を含む。

音パラメータ保存部７２は、１秒に１回の頻度で音パラメータを保存する他、音パラメータ算出部７１によって算出された、６０秒毎に６０秒分の音パラメータを足し合わせ又は平均化した音パラメータを保存する。更には、音パラメータ保存部７２は、音パラメータ算出部７１によって算出された、１時間毎に１時間分の音パラメータを足し合わせ又は平均化した音パラメータを保存する。

このように、第６の実施形態の音声モニタリングシステム５では、音パラメータ算出部７１，４４１は、音パラメータを一定時間毎に算出する間隔（第１間隔）のＮ（Ｎは値２以上の整数）倍以上の間隔（第２間隔）を１つの区間として、区間の音パラメータを算出する。音パラメータ保存部７２は、同区間の音パラメータを保存する。

例えば、ユーザによって指定された時間範囲が１時間と長い場合であっても、音パラメータ算出部４４１は、音パラメータ保存部７２に保存された、「１秒毎の音パラメータ×６０個」、あるいは「直前６０秒分の音パラメータ平均値」のデータを用いて、１時間分のデータを加算もしくは平均することで得る。従って、１時間分の音パラメータとして、１秒毎の音パラメータ×３６００個を加算する場合と比べ、計算処理が速くなる。また、指定された時間範囲の音パラメータを比較的簡単に計算することができる。これにより、ユーザが時間範囲を指定した後の計算時間を短縮することができる。なお、音パラメータ保存部７２は、記録装置７０に書き込むタイミングを上述間隔通りに行うことなく、一旦書込時間の短いメモリに蓄えてからまとめて書込時間の長い記憶媒体に書き込むようにしてもよい。

（第７の実施形態）
第７の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

第６の実施形態では、音パラメータ保存部７２は、１秒に１回の頻度で音パラメータを保存する場合、６０秒毎に６０秒分の音パラメータを足し合わせて又は平均化して音パラメータを保存した。また、音パラメータ保存部７２は、１時間毎に１時間分の音パラメータを足し合わせて又は平均化して音パラメータを保存した。

第７の実施形態では、音パラメータ算出部４４１は、指定された時間範囲に応じて読み込む音パラメータを、例えば第１間隔である１秒単位（短期間）、第２間隔である６０秒単位（中期間）、第３間隔である１時間単位（長期間）の少なくとも３つの単位で予め算出しておく。音パラメータ保存部７２は、これら算出された３つ以上の時間単位の音パラメータを保存する。

このように、第７の実施形態の音声モニタリングシステム５では、閲覧装置３０は、第６の実施形態と同様、ユーザが指定した時間範囲に応じて、３つ以上の時間単位で算出されて保存されている音パラメータのうち適切な（例えば時間範囲の時間単位と同一の単位で算出された）音パラメータの保存結果を用いることで、ユーザが時間範囲を指定した後の計算時間を短縮することができる。なお、音パラメータは、１２時間毎に、２４時間毎に足し合わせて保存されてもよい。更に、音パラメータは、１時間、１０分、１分毎に足し合わせて保存されてもよい。

（第８の実施形態）
第８の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

閲覧装置３０は、記録装置７０に録画録音されたデータを用いて、ユーザが指定した時間範囲における音パラメータに基づいて音源視覚画像（音声ヒートマップＭＰ）をモニタ５５に表示する際、音パラメータを記録装置７０のレコーダＲ２に保存する間隔が短いと、１秒当たりに書き込むべきデータ量が増える。このため、レコーダＲ２の記憶領域を圧迫することになる。一方、ユーザによっては、音パラメータのデータがレコーダＲ２に記録された後から指定した時間範囲における音声ヒートマップＭＰを見たい場合、１秒単位もしくはそれより短い間隔で見たいことがある。

第８の実施形態では、音パラメータ保存部７２は、保存する音パラメータを例えば１秒以上（５秒等）の間隔で保存する。再生時、閲覧装置３０の判断部４６は、ユーザ操作により指定された時間範囲に応じて、音パラメータ保存部７２に保存された音パラメータを参照するか、それともレコーダＲ１に記録された音データから音パラメータを算出するかを判断する。

図１４は、第８の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャートである。ステップＳ３１〜Ｓ３３の処理は、第１の実施形態におけるステップＳ１１〜Ｓ１３の処理と同じであるので、その説明を省略する。

判断部４６は、音源視覚画像（音声ヒートマップＭＰ）の表示される時間範囲（言い換えると、ユーザ操作により指定された時間範囲）が音パラメータを保存する間隔（保存間隔、例えば５秒）Ａ１以上であるか否かを判別する（Ｓ３４）。表示する時間範囲が保存間隔ＡＡ１以上である場合（Ｓ３４、ＹＥＳ）、第１の実施形態におけるステップＳ１４、Ｓ１５、Ｓ１６と同様、ステップＳ３５、Ｓ３６、Ｓ３７の処理が行われる。即ち、音パラメータ算出部４４１は、ステップＳ３２において指定された時間範囲に該当する音パラメータをレコーダＲ２から読み込む（Ｓ３５）。色情報変換部４４３は、読み込まれた音パラメータを基に、数式（２）〜数式（４）に従って、音の大きさの時間累計値ＦをＲＧＢ値に変換する（Ｓ３６）。

音パラメータ表示制御部４４２は、全方位カメラＣＡにより撮像された撮像画像ＧＺに、ステップＳ３６で変換されたＲＧＢ値に基づく音源視覚画像（音声ヒートマップＭＰ）を重畳して合成画像を生成してモニタ５５に表示する（Ｓ３７）。この後、音パラメータ表示制御部４４２は本動作を終了する。

一方、ステップＳ３４で、表示する時間範囲が保存間隔ＡＡ１未満である場合（Ｓ３４、ＮＯ）、例えば音源視覚画像（音声ヒートマップＭＰ）の表示される時間範囲（言い換えると、ユーザ操作により指定された時間範囲）が１秒である場合、レコーダＲ２に保存された５秒間隔の音パラメータを使えない。音パラメータ算出部４４１は、レコーダＲ１に保存された元の音声データを読み込み（Ｓ３８）、例えば１秒間隔の音パラメータを算出する（Ｓ３９）。この後、音パラメータ算出部４４１の処理はステップＳ３６に進む。

このように、第８の実施形態の音声モニタリングシステム５では、音パラメータ表示制御部４４２は、音声ヒートマップＭＰ（音源視覚画像）をモニタ５５に表示する場合、ユーザ操作により指定された時間範囲に応じて、音パラメータ保存部７２に保存された音パラメータを用いるか、レコーダＲ１に記録された音データを基に音パラメータを算出して用いるかを選択する。

これにより、音パラメータ保存部７２は、レコーダＲ２に保存する音パラメータを、表示する時間範囲より長い保存間隔ＡＡ１（例えば５秒以上）の間隔で保存することができる。従って、レコーダＲ２に保存するデータ量を抑えつつ、元の音声データを用いて音パラメータを再計算する場合を除き、再生時に計算量が増大することなくリアルタイムに音パラメータを表示可能なシステムを提供できる。一方で、音パラメータ算出部４４１は、ユーザが保存間隔ＡＡ１より短い間隔の時間範囲の音声ヒートマップＭＰ（音源視覚画像）を見たい場合に、レコーダＲ１に記録された音データを基に、保存間隔ＡＡ１より短い間隔の時間範囲（例えば３秒）より短い保存間隔（例えば１秒）の間隔で音パラメータを算出及び保存ができる。これにより、ユーザは、保存間隔ＡＡ１より短い時間範囲を指定した場合でも、撮像画像ＧＺに重畳される音声ヒートマップＭＰ（音源視覚画像）を把握でき、ユーザの使い勝手が向上する。

（第９の実施形態）
第９の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

例えば店舗内で人物が発話した場合、閲覧装置３０は、店舗内の壁や障害物によって反射される音に基づいて、音声検知に基づく音源視覚画像（音声ヒートマップＭＰ）として撮像画像ＧＺ上に重畳して表示する可能性がある。第９の実施形態では、除外エリア設定部としての領域指定部４５１は、マイクアレイＭＡにより収音された音を無効化するための収音除外エリアとして、ユーザ操作により指定されたエリアの座標情報を設定する。

図１５は、第９の実施形態のモニタ５５に表示されるＧＵＩ１００の一例を示す図である。ＧＵＩ１００では、表示画面１０１には、収音除外エリアｍｋ１が表示されている。撮像画像ＧＺ上の収音除外エリアｍｋ１の座標情報は、例えばレコーダＲ１の撮像画像ＧＺのデータと対応付けて記録されてもよいし、閲覧装置３０のメモリ４３に撮像画像ＧＺのデータと対応付けて保存されてもよい。音パラメータ算出部７１，４４１は、音パラメータを算出する際、音声が検知された音源の位置を示す座標が収音除外エリアｍｋ１として登録されているか否かを判定し、登録されている場合には、音パラメータの出力を値０とする。

このように、第９の実施形態の音声モニタリングシステム５では、閲覧装置３０は、マイクアレイＭＡにより収音された音を収音対象から除外する収音除外エリアｍｋ１（除外エリア）を設定する。音パラメータ算出部７１，４４１は、設定された収音除外エリアｍｋ１からの音声を抑えて音パラメータを算出する。これにより、明らかに発話が無いような壁や障害物等の場所において、発話等による音声検知の結果が表示されることを防ぐことができる。なお、音パラメータ算出部７１，４４１は、収音除外エリアｍｋ１からの音声を値０として出力する代わりに、低減させて出力してもよい。

（第１０の実施形態）
第１０の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

第１０の実施形態における音声モニタリングシステム５では、閲覧装置３０は、音源が音源視覚画像（音声ヒートマップＭＰ）により具体的に視覚化された情報を基に、ユーザ操作により指定された撮像画像ＧＺ上の音源周囲の実際の音を強調して出力することができる。前述したように、指向音データ生成部４２は、マイクアレイＭＡにより収音された音に対し、マイクアレイＭＡから、ユーザ操作により指定された音源の位置に向かう方向の音声を強調し、音声の指向性を形成する。この技術は、ビームフォーマ技術とも称される。従って、閲覧装置３０は、マイクアレイＭＡに搭載された各マイクで収音した音を記録装置７０に保存しておき、ユーザが希望する再生時に記録された音の信号処理を行うことで、ユーザが指定した位置に該当する箇所に指向性のある音声を形成することが可能である。

また、ＧＵＩ１００の再生リスト１０８に、短い時間の音声検知期間の項目が数多く載ると、ラベルの数（項目数）が増えて視認性が悪くなる。第１０の実施形態では、一定時間未満の音声を無視する。また、音声検知があってから次の音声検知があるまでの時間（音声検知間隔）が短い場合、音声区間をひとくくりにまとめる。例えば、音声検知間隔がＮ（Ｎは値２以上の整数）倍以上長い間隔をひとまとめにしてひとつの区間とする。Ｎ倍は一例として１０倍である。

また、音パラメータ算出部７１（又は音パラメータ算出部４４１）は、ひとくくりにまとめられた区間内の音声パラメータを時間平均又は加算することで、区間内の音パラメータを算出する。音パラメータ保存部７２は、算出した区間内の音パラメータを保存する。これにより、音パラメータの算出にかかる時間を抑えることができる。

また、音パラメータをひとまとめにして保存する区間として、音声検知間隔がＮ倍（例えば１０倍）以上長い間隔を示したが、短期間、中期間、長期間と少なくとも３つを含むようにしてもよい。例えば、１分、１０分、１時間、１日単位のデータを保存することができ、会話等の状況に応じた適切な区間を設定可能である。

図１６は、第１０の実施形態のモニタリングエリアＳＡにおいて検知された音の大きい領域ｍｐｚ４，ｍｐｚ５，ｍｐｚ６の一例を示す図である。ユーザ操作により指定された時間範囲が１０：００〜１０：３０であり、指定エリアＦＲの座標（Ｕｘ，Ｕｙ）が音の大きい領域ｍｐｚ４に設定された場合を示す。ここで、ユーザによって指定された座標（Ｘ，Ｙ）を座標（Ｕｘ，Ｕｙ）と表記する。

図１７（Ａ）及び図１７（Ｂ）は、指定された時間範囲で指定エリアＦＲの座標（Ｕｘ，Ｕｙ）における音声検知の状態を説明する図である。図１７（Ａ）は、時間範囲１０：００〜１０：３０における音声の有無（音声検知の時間変化）を示すグラフである。図１７（Ｂ）は、図１７（Ａ）に対応する再生リスト１０８を示す図である。再生リスト１０８では、ラベル番号００１に「１０：０２〜１０：０３」の音声検知期間がある。この音声検知期間における音声は、例えば音の大きい領域ｍｐｚ６において検知されたとする。また、ラベル番号００２に「１０：０５」の音声検知期間がある。この音声検知期間における音声は、再生リスト１０８に載るものの、１秒に満たない音声時間であり、本実施形態では無視されるので、音の大きい領域を示す音声視覚画像は生成されない。

また、ラベル番号００３に「１０：１０〜１０：１１」の音声検知期間がある。この音声検知期間における音声は、例えば音の大きい領域ｍｐｚ４において検知されたとする。ラベル番号００４に「１０：１４〜１０：２０」の音声検知期間がある。この音声検知期間における音声は、音声検知間隔が短い音声をひとくくりにまとめたもの（図１７（Ａ）の符号ｗ参照）であり、例えば音の大きい領域ｍｐｚ５において検知されたとする。ここでは、４つの音声検知期間が１つにまとめられている。

また、ラベル番号００５に「１０：２２」の音声検知期間がある。この音声検知期間における音声は、１秒に満たない音声時間であり、本実施形態では無視されるので、音の大きい領域を示す音声視覚画像は生成されない。最後に、ラベル番号００６に「１０：２８」の音声検知期間がある。この音声検知期間における音声は、ラベル番号００５の音声検知と同様の扱いがなされるので、同様な説明は省略する。

図１８は、第１０の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャートである。再生制御装置４０は、撮像画像ＧＺに音声ヒートマップＭＰを重畳した音パラメータの表示処理を行う（Ｓ５１）。このステップＳ５１の処理は、第１の実施形態のステップＳ１１〜Ｓ１６の処理と同様であるため、説明を省略する。なお、ステップＳ５１の処理は、第８の実施形態における図１４に示すフローチャートで示される処理であってもよい。

領域指定部４５１は、ユーザが操作部５８を介して指定した、撮像画像ＧＺにおいて音声を再生したい位置の指定を受け付ける（Ｓ５２）。再生したい位置の指定は、ユーザが指定エリアＦＲを移動させることで行われる。

指向音データ生成部４２は、マイクアレイＭＡから、ユーザ操作により指定された位置に向かう指向方向の音声を強調処理（つまり、指向方向に音声の指向性を形成）する（Ｓ５３）。再生制御部４１は、指向性が形成された指向方向の音声の中から、ユーザが指定した時間範囲の音声を最初から再生する（Ｓ５４）。音声再生後、再生制御装置４０は本動作を終了する。

このように、第１０の実施形態の音声モニタリングシステム５では、操作部５８は、モニタ５５に表示された音声ヒートマップＭＰ（音源視覚画像）の位置を指定する操作を受け付ける。指向音データ生成部４２は、指定された音声ヒートマップＭＰの位置を指向方向として、マイクアレイＭＡにより収音された音声の指向性を形成し、指向方向の音声データを生成する。再生制御部４１は、指向方向の音声データの音声を再生してスピーカ５０に出力させる。

このように、ユーザは、ＧＵＩ１００に配置された表示画面１０１上で任意の位置を指定することで、例えばユーザ操作により指定された時間範囲内で表示された音声ヒートマップＭＰに対し音の大きい領域を指定することで、所望の音声の内容を聞くことができる。なお、再生制御装置４０は、音パラメータの情報を用いて算出した、音声可視化画像に含まれる音の大きい領域をユーザに複数提示して、その選択肢を与えるようにしてもよい。また、音声検知間隔が短い音声をひとくくりにすることで、関連性のある、例えば会話中の音声を漏れなく聞けるようにすることもできる。また、音パラメータの算出にかかる時間を抑えることができる。

（第１１の実施形態）
第１１の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

ユーザ操作により指定された時間範囲の音を再生する場合、その時間範囲のどの時間帯に音声があるのか分からないので、再生制御部４１が指定された時間範囲の最初から再生しても暫くの間、ユーザには何も音が聞こえないことがあった。また、表示画面１０１上に可視化された音声視覚画像は、例えば人物の移動等によって時間の経過とともに変化し、音の大きい領域の座標もぶれる（変位する）ので、ユーザが表示画面を見て音源の位置を正確に指し示すことが難しいこともあった。

第１１の実施形態の音声モニタリングシステム５では、音パラメータ表示制御部４４２は、記録装置７０から音パラメータを読み込み、指定された時間範囲の音の大きさの時間累計値Ｆを算出するとともに、音声検知を行った時間情報も併せて保持しておく。再生制御部４１は、再生時、指定された時間範囲に対し、音声検知を行った時間情報をオフセットとして加えて再生する。これにより、再生が開始すると、ユーザはすぐに音声を聞くことができる。

また、ユーザが表示画面に表示された音の大きい領域の座標を指定する際、領域指定部４５１は、その座標を周囲Ｎｃｍ（Ｍピクセル）の指定エリアの中で最も音声が大きい座標、又は音声検知している時間が最も長い座標に補正して指定する。これにより、ユーザは、音源の位置（音声の指向方向）を正確に指し示すことができる。また、閲覧装置３０は、ビームフォーマ技術を適用した後の音声をより明瞭に再生することができる。

図１９は、第１１の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャートである。第１０の実施形態における図１８のフローチャートに示すステップ処理と同一のステップ処理については同一のステップ番号を付すことで、その説明を省略する。

音パラメータ算出部４４１は、第１０の実施形態のステップＳ５１〜Ｓ５３と同様の処理を行う（Ｓ６１）。図２０は、モニタリングエリアＳＡの中からユーザによって選択された指定エリアＦＲの座標（Ｕｘ，Ｕｙ）の一例を示す図である。指定エリアＦＲは、音の大きい領域ｍｐｚ７，ｍｐｚ８，ｍｐｚ９の中から選択される。

図２１は、指定エリアＦＲの座標（Ｕｘ，Ｕｙ）における音声検知の時間変化例を示すグラフである。図２１では、ユーザは、「１０：００〜１０：１０」を時間範囲に指定している。この時間範囲において、有音期間が無音期間に対して不定期に現れる。

音パラメータ算出部４４１は、ユーザによって指定された時間範囲において、ステップＳ６１で指向性が形成された方向（指向方向）の音声の中で、音の大きさの時間累計値Ｆを数式（１）に従って算出する（Ｓ６２）。音パラメータ算出部４４１は、ユーザによって指定された座標の、周囲の座標に対しても、同様に音の大きさの時間累計値Ｆを数式（１）に従って算出する（Ｓ６３）。

指向音データ生成部４２は、ユーザに視聴させる音声を、ステップＳ６２，Ｓ６３で算出された音の大きさの時間累計値Ｆの中から、最も音の大きさの時間累計値Ｆが大きい座標を算出し、マイクアレイＭＡからこの座標に対応する音源に向かう方向を指向方向として、音声の指向性を形成する（Ｓ６４）。再生制御部４１は、ステップＳ６４で指向性が形成された、指向方向の音声において、音声検知が最初に行われるまでのオフセット時間ｔ_{ｏｆｆｓｅｔ}を推定する（Ｓ６５）。図２１では、前述したように、時間範囲は「１０：００〜１０：１０」に指定される。また、オフセット時間ｔ_{ｏｆｆｓｅｔ}は、「１０：０４」辺りであり、このタイミングから有音期間が始まる。

再生制御部４１は、ユーザによって指定された時間範囲の最初の時間にオフセット時間ｔ_{ｏｆｆｓｅｔ}を加えた時間、つまり「１０：００＋ ｔ_{ｏｆｆｓｅｔ}」から、指向性が形成された（強調処理された）音声を再生する（S６６）。この後、再生制御装置４０は本動作を終了する。なお、再生制御部４１は、「１０：００＋ ｔ_{ｏｆｆｓｅｔ}」の期間からすぐに、指向性が形成された（強調処理された）音声を再生するのではなく、「１０：００＋ ｔ_{ｏｆｆｓｅｔ}」より所定時間（例えば数秒）前から音声を再生しても構わない。

このように、第１１の実施形態の音声モニタリングシステム５では、再生制御部４１は、指定された時間範囲において、音声が検知された音声検知期間（有音期間）からマイクアレイＭＡで収音された音を再生する。これにより、ユーザは、撮像画像に重畳して表示された音声可視化画像を見て、聞きたい位置と時間範囲を指定して再生の開始を指示すると、再生が開始されてすぐに音声を聞くことができるようになる。

（第１２の実施形態）
第１２の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

ユーザによって指定された時間範囲が長いと、どの時間帯でどれくらいの音が出ているか、撮像画像に重畳された音声可視化画像（色情報）だけでは、把握が困難な場合がある。第１２の実施形態では、音パラメータ表示制御部４４２は、記録装置７０から音パラメータを読み込んで、指定された時間範囲において音の大きさの時間累計値Ｆを算出する際、音声検知を行った時間情報も併せて保持しておく。

また、ユーザが音を再生したい撮像画像ＧＺ上の位置を指定すると、音パラメータ表示制御部４４２は、音パラメータ保存部７２を参照し、音声検知区間が複数検知されている場合に、その指定された位置（つまり、撮像画像ＧＺ上の座標）に対応する音パラメータに関する情報の項目（例えば時間帯、図５参照）を、音声検知した時間情報に従って一覧リスト（例えば再生リスト１０８）にリストアップする。なお、このとき、第１１の実施形態で示したように、ユーザによって指定される位置（座標）を補正するようにしてもよい。

また、リストアップされた音パラメータに関する情報の項目をユーザが選択すると、指定された時間範囲に対して項目に記載された時間情報をオフセットとして加えて再生する。これにより、再生が開始すると、ユーザはすぐに音声を聞くことができる。

図２２は、第１２の実施形態の音声の強調処理、再生の各動作手順の一例を詳細に説明するフローチャートである。第１０の実施形態における図１８のフローチャートに示すステップ処理と同一のステップ処理については同一のステップ番号を付すことで、その説明を省略する。

音パラメータ算出部４４１は、第１１の実施形態におけるステップＳ６１の処理と同様、第１０の実施形態のステップＳ５１〜Ｓ５３の処理を行う（Ｓ７１）。音パラメータ算出部４４１は、ユーザによって指定された時間範囲における、上述指向方向の中で音声の有無を判定する（Ｓ７２）。

音パラメータ算出部４４１は、音声有りと判定された時間帯を再生リスト１０８のラベルとして追加する（Ｓ７３）。また、音パラメータ算出部４４１は、その時間帯を再生用としてメモリ４３に記憶する。再生制御部４１は、ユーザが操作部５８を介して指定した、再生リスト１０８の１つを受け付ける（Ｓ７４）。

再生制御部４１は、ステップＳ５４の処理と同様、指向方向が形成された音声の中から、ユーザが指定した時間範囲のうち、指定された再生リスト１０８の１つの時間帯の最初から音声を再生する（Ｓ７４）。音声再生後、再生制御装置４０は本動作を終了する。

このように、第１２の実施形態の音声モニタリングシステム５では、再生制御部４１は、指定された時間範囲における、再生リスト（音声検知期間の一覧）を表示し、この再生リストから選択された音声検知期間の音声を再生する。

これにより、ユーザが音の情報を取得したい指定エリアＦＲの位置を指定すると、音パラメータ表示制御部４４２は、音パラメータの中でその座標に対応する音パラメータに関する情報の項目を、音声検知した時間情報に従って、再生リスト１０８にリストアップする。このように、ユーザは、再生リストに挙げられた項目を選択することで、ユーザによって指定された時間範囲が長い場合であっても、所望の音声をすぐに聞くことができる。

（第１３の実施形態）
第１３の実施形態の音声モニタリングシステム５のシステム構成は第１の実施形態の音声モニタリングシステムのシステム構成と同一であるため、重複する説明は簡略化又は省略し、異なる内容について説明する。

ユーザ操作により指定された時間範囲において音声検知に基づく音源視覚画像（音声ヒートマップＭＰ）が重畳される際、背景となる撮像画像ＧＺの代わりに、音声検知期間における動画が表示されることが考えられる。この場合、指定された時間範囲の最初から単純に動画を再生してもよいが、音源視覚画像（音声ヒートマップＭＰ）と動画との関連が分かりにくくなる。第１３の実施形態では、閲覧装置３０は、動画ではなく、その動画を構成する複数の画像フレームから１枚の撮像画像の画像フレームを抽出して用いることで、音源視覚画像（音声ヒートマップＭＰ）と背景となる撮像画像との関連を分かり易くする。

図２３は、第１３の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャートである。ステップＳ８１〜Ｓ８４の処理は、第１の実施形態におけるステップＳ１１〜Ｓ１４の処理と同じであるので、その説明を省略する。

音パラメータ算出部４４１は、撮像画像上の座標（ｉ，ｊ）における音の大きさの時間累計値Ｆ（ｉ，ｊ）を算出し、その中で最も大きな音の大きさの時間累計値Ｆ（ｉ_１，ｊ_１）を算出する（Ｓ８５）。更に、音パラメータ算出部４４１は、座標（ｉ_１，ｊ_１）の中で、指定された時間範囲（つまり、表示開始時刻ｔ０〜表示終了時刻（ｔ０＋τ））における最も音声検知時間が長い時間ｔｍを算出する（Ｓ８６）。再生制御部４１は、指定された時間範囲（つまり、表示開始時刻ｔ０〜表示終了時刻（ｔ０＋τ））におけるレコーダＲ１に記録されている画像（動画）の中から、時間ｔｍの画像フレームを抽出してモニタ５５の画面に表示する（Ｓ８７）。

色情報変換部４４３は、第１の実施形態におけるステップＳ１５と同様、読み込まれた音パラメータを基に、音の大きさの時間累計値ＦをＲＧＢ値に変換する（Ｓ８８）。音パラメータ表示制御部４４２は、時間ｔｍの画像フレームに、ステップＳ８８で変換されたＲＧＢ値に基づく音源視覚画像（音声ヒートマップＭＰ）を重畳して合成画像とし、モニタ５５に表示する（Ｓ８９）。この後、再生制御装置４０は本動作を終了する。

このように、第１３の実施形態における音声モニタリングシステム５では、閲覧装置３０は、ユーザ操作により指定された時間範囲において、音声検知期間が最も長い時間帯を求める。再生制御部４１は、音声ヒートマップＭＰが重畳される、この時間帯に含まれるシーンのモニタリングエリアＳＡの撮像画像をモニタ５５に表示する。このように、音源視覚画像（音声ヒートマップＭＰ）と最も関連する映像（撮像画像）を１枚絵のように表示することで、音源視覚画像（音声ヒートマップＭＰ）と映像との関連が分かり易くなる。従って、ユーザは、モニタ５５に表示された映像における音源を容易に把握できる。

（第１４の実施形態）
ユーザ操作により指定された時間範囲が長時間である場合や実際の音声を再生する場合には、閲覧装置３０は、その時間範囲の音データを再生しても早期に音声部分を再生できるとは限らず、音声部分が再生されるまでユーザが待たなくてはならないこともある。

第１４の実施形態では、閲覧装置３０は、ユーザ操作により時間範囲が指定されると、その時間範囲における音データをレコーダＲ１から読み出して分析し、ユーザが音声検知期間を直感的かつ視覚的に判別可能に、分析結果（例えば発話内容、発話傾向）をモニタ５５に表示する。また、閲覧装置３０は、分析結果の発話内容を吹き出しとして表示する。これにより、ユーザは、自身が再生したいと考えている音声をモニタ５５を見ながら簡単に指定するだけで、音声部分が再生されるまでじっと待つことなく、早期に（つまり、ストレスフリーに）音声部分を聞くことができる。

第１４の実施形態の音声モニタリングシステム５Ａのシステム構成は、上述した各実施形態の音声モニタリングシステム５と一部異なるので、図２４を参照して説明する。図２４は、第１４の実施形態の音声モニタリングシステム５Ａのシステム構成の一例を詳細に示すブロック図である。図２４の説明において、図１と同一の構成については同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

図２４において、閲覧装置３０Ａの再生制御装置４０Ａの信号処理部４４Ａは、音パラメータ算出部４４１、音パラメータ表示制御部４４２、色情報変換部４４３に加え、発話分析部４４４を有する。指定部４５Ａは、領域指定部４５１、表示対象日時指定部４５２に加え、吹き出し指定部４５３を有する。

発話分析部４４４は、ユーザ操作により録画日時（例えば２０１６年５月１日）と表示時間単位（例えば１時間）と時間範囲ＲＮＧ（図２５参照、例えば１０：００〜１１：００）とが指定されると、レコーダＲ２に記録された音パラメータのデータを用いて、時間範囲ＲＮＧのモニタリングエリアＳＡにおける人物の発話傾向及び発話内容を分析する。発話分析部４４４は、例えば人物の発話傾向として、モニタリングエリアＳＡにおいて「少人数（例えば１人）が所定時間以上に発話しているか」、又は「大人数（例えば２人以上の人物）が所定時間未満に発話しているか」を分析する。発話分析部４４４は、例えば人数と発話時間にそれぞれ固有の閾値を有し、これらの閾値との比較結果に従って、「少人数（例えば１人）が所定時間以上に発話しているか」、又は「大人数（例えば２人以上の人物）が所定時間未満に発話しているか」を分析する。発話分析部４４４は、人物の発話傾向の分析結果を人物の発話期間と対応付けてモニタ５５のＧＵＩ１００Ａに表示する（図２５参照）。

図２５は、第１４の実施形態のモニタ５５に表示されるＧＵＩ１００Ａの一部分の一例を示す図である。図２５のＧＵＩ１００Ａでは、録画日時選択部１０４、表示時間単位設定部１０５、表示対象範囲設定部１０６とシークバー１０６Ａとが拡大抽出されて示されており、図５に示すＧＵＩ１００の表示画面１０１、動作モード設定部１０２、ライブモード設定部１０３、設定情報表示部１０７、再生リスト１０８の図示は省略されている。

図２５に示すＧＵＩ１００Ａでは、ユーザ操作により指定された時間範囲ＲＮＧ（例えば１０：００〜１１：００）の詳細が判別可能となるように、時間範囲ＲＮＧの詳細が示されたシークバー１０６Ａが表示されている。このシークバー１０６Ａは、発話分析部４４４により生成されて表示されている。但し、シークバー１０６Ａの表示は、音パラメータ表示制御部４４２により行われても構わない。

シークバー１０６Ａの左端（つまり、表示開始時刻１０：００）から、右端（つまり、表示終了時刻１１：００）にかけて、発話分析部４４４の分析結果が示されている。具体的には、「少人数が所定時間以上（つまり、長時間）に発話している」と分析された発話期間が例えば赤色のブロックＲＲ１，ＲＲ２で示され、「大人数が所定時間未満（つまり、短期間）に発話している」と分析された発話期間が例えば青色のブロックＢＢ１，ＢＢ２で示される。第１４の実施形態では、各ブロックＲＲ１，ＢＢ１，ＢＢ２，ＲＲ２の先頭の時刻（つまり、左端に相当する時刻）を、「検索時刻」という。検索時刻は、発話分析部４４４における分析結果として、少人数又は大人数の発話時の音声が検知された時の先頭時刻を示す。

ここで、少人数が所定時間以上（つまり、長時間）に発話している状況とは、例えば会議等において発言者（例えば、司会進行者又は説明者）がずっと司会進行をしていたり、議題の説明をしたりしている状況が考えられる。また、大人数が所定時間未満（つまり、短時間）に発話している状況とは、例えば会議等において複数の人物が議題について意見交換等している状況が考えられる。

なお、発話分析部４４４は、各ブロックにユーザ操作によりカーソルが近付けられると、該当するブロックに対応する発話内容の要約情報を生成し、その要約情報をポップアップ表示させてもよい。ここでいう要約情報は、例えば発話人物や発話内容などの音声のデータから得られるものや、その他外部から取得されるデータを表示させても構わない。なお、発話人物は、撮像画像に映っている人物の情報が予め外部ＤＢ等に保存されている場合に、発話が検知された時の撮像画像上の位置（音パラメータが算出された画素の位置）と上述した撮像画像に映っている人物の情報との照合により、発話分析部４４４により判断可能である。

吹き出し制御部としての吹き出し指定部４５３は、発話分析部４４４の分析により得られた人物の発話内容を吹き出しとして、撮像画像ＧＺ中の該当する人物に対応付けてモニタ５５に表示する。吹き出し指定部４５３は、人物の発話内容に対応する音パラメータに基づく音源視覚画像が無色である撮像画像ＧＺ上の位置を、吹き出しの表示位置として決定する。また、吹き出し指定部４５３は、人物の発話内容に対応する音パラメータに基づく音源視覚画像が有色（例えば赤色、青色）である撮像画像ＧＺ上の位置を、吹き出しの表示位置として使用しないと決定する。これにより、音源視覚画像が有色であればその周囲に音源が存在し、更に、音源視覚画像が無色であれば、その周囲に音源が存在していないので、閲覧装置３０は、音源視覚画像の視認性を劣化させず、音源視覚画像が無色である撮像画像ＧＺ上の位置を、吹き出しの適切な表示位置として使用できる。

また、吹き出し指定部４５３は、撮像画像ＧＺの中心点Ｏと撮像画像ＧＺ上の音源の位置とを結ぶ線に沿って、かつ中心点Ｏから離反する位置を、吹き出しの表示位置として決定してもよい（図２７参照）。図２６は、ユーザ操作により指定された時間範囲ＲＮＧの表示開始時刻における撮像画像ＧＺに、音源視覚画像（音声ヒートマップＭＰ）が重畳された表示例を示す図である。図２７は、ユーザ操作により指定された検索時刻における撮像画像ＧＺに、音源視覚画像（音声ヒートマップＭＰ）と複数人の発話内容とが重畳された表示例を示す図である。図２７の説明において、図２６と同一のものには同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。

図２６では、ＧＵＩ１００Ａの表示画面１０１Ａにおいて、人物ＪＢ１の発話時の音パラメータに基づく音源視覚画像（例えば赤色）が領域ｍｐｚ１で示され、人物ＪＢ２の発話時の音パラメータに基づく音源視覚画像（例えば赤色），音源視覚画像（例えば青色）が領域ｍｐｚ２，ｍｐｚ４でそれぞれ示され、更に、人物ＪＢ３の発話時の音パラメータに基づく音源視覚画像（例えば青色）が領域ｍｐｚ３で示されている。また、人物の発話ではない他の音源に基づく音源視覚画像（例えば青色）が領域ｍｐｚ５，ｍｐｚ６，ｍｐｚ７でそれぞれ示されている。

図２７では、撮像画像ＧＺの中心点Ｏ（つまり、撮像画像ＧＺの画像中心）と音源視覚画像の領域ｍｐｚ１，ｍｐｚ２，ｍｐｚ３とを結ぶ線ＬＮ１，ＬＮ２，ＬＮ３に沿って、かつ中心点Ｏからそれぞれ離反する位置に、吹き出しＦ１，Ｆ２，Ｆ３が表示されている。撮像画像ＧＺは例えば魚眼レンズを用いた全方位カメラＣＡにより撮像されているので、撮像画像ＧＺの外側は歪みが生じやすく、また壁等の不必要な物が映ることもあるので、一般に画像情報としての視認性は、画像外側の方が画像中心側に比べると良くないという特性がある。吹き出し指定部４５３は、この特性を利用して、撮像画像ＧＺの中心点Ｏと音源視覚画像の領域ｍｐｚ１，ｍｐｚ２，ｍｐｚ３とを結ぶ線ＬＮ１，ＬＮ２，ＬＮ３に沿って、かつ中心点Ｏからそれぞれ離反する位置に、吹き出しＦ１，Ｆ２，Ｆ３の表示位置と決定して吹き出しＦ１，Ｆ２，Ｆ３をそれぞれ表示する。

また、全方位カメラＣＡの筐体背面（不図示）が例えば天井面に当接し、魚眼レンズのレンズ中心が鉛直下方向を向くように取り付けられた場合、撮像画像ＧＺに映った人物は、頭部が中心より外側（つまり、撮像画像の中心点Ｏから離反する側）に位置し、足部が中心より内側（つまり、撮像画像の中心点Ｏに近付く側）に位置することが多い。この観点から見ても、吹き出しＦ１，Ｆ２、Ｆ３が中心点Ｏから離反する位置に表示されると、頭部に近い位置で吹き出しが表示されるので、より吹き出しの表示位置として適切となる。

図２８は、第１４の実施形態の音パラメータの表示の動作手順の一例を詳細に説明するフローチャートである。ステップＳ９１，Ｓ９２，Ｓ９３の処理は、第１の実施形態におけるステップＳ１１，Ｓ１２，Ｓ１３及びＳ１４の処理とそれぞれ同じであるので、その説明を省略する。

音パラメータ表示制御部４４２は、ステップＳ９１〜ステップＳ９３の処理により、ユーザ操作により指定された時間範囲ＲＮＧ（図２５参照）の例えば先頭時刻における撮像画像に、音パラメータに基づく色情報変換済みの音源視覚画像（音声ヒートマップＭＰ）を生成してモニタ５５の表示画面１０１の撮像画像ＧＺ上に重畳して表示する（Ｓ９４）。

発話分析部４４４は、ユーザ操作により録画日時と表示時間単位と時間範囲ＲＮＧ（図２５参照）とが指定されると（Ｓ９２）、ステップＳ９３においてレコーダＲ２から読み出した音パラメータのデータを用いて、時間範囲ＲＮＧのモニタリングエリアＳＡにおける人物の発話傾向及び発話内容を分析する（Ｓ９５）。更に、発話分析部４４４は、この分析結果を基に、それぞれの人物の発話内容の発話時となる検索時刻を、それぞれの発話内容毎に算出する（Ｓ９５）。上述したように、検索時刻は、図２５の各ブロックＲＲ１，ＢＢ１，ＢＢ２，ＲＲ２の先頭（左端）の時刻を示す。発話分析部４４４は、検索時刻の算出に伴い、ＧＵＩ１００Ａのシークバー１０６Ａ上に、各発話期間を示す各ブロックＲＲ１，ＢＢ１，ＢＢ２，ＲＲ２を色付け表示してシークバー１０６Ａの表示を更新する（Ｓ９６）。

ここで、ユーザ操作により、いずれか１つの検索時刻（言い換えると、各ブロックＲＲ１，ＢＢ１，ＢＢ２，ＲＲ２のうちいずれかのブロック）が指定されたとする（Ｓ９７）。発話分析部４４４は、指定された検索時刻における音データをレコーダＲ１から読み出し（Ｓ９８）、その音データを用いて吹き出しに表示される発話内容のテキストデータを生成する（Ｓ９９）。例えば、発話分析部４４４は、読み出した音データに対して公知技術の音声認識処理を施すことで、音データから得られた発話内容（例えば会話内容）のテキストデータを抽出して生成する。

吹き出し指定部４５３は、指定された検索時刻（つまり、指定されたブロック）における音パラメータのデータを基に、ステップＳ９９により生成された発話内容が含まれる吹き出しの表示位置を決定する（Ｓ１００）。音パラメータ表示制御部４４２は、指定された検索時刻（つまり、指定されたブロック）における撮像画像（例えば、検索時刻の時に撮像されていた撮像画像）をレコーダＲ１から読み出す（Ｓ１０１）。

音パラメータ表示制御部４４２は、ユーザ操作により指定された検索時刻における撮像画像に、検索時刻を含むブロックの時間範囲内の音パラメータに基づく色情報変換済みの音源視覚画像（音声ヒートマップＭＰ）を生成してモニタ５５の表示画面１０１の撮像画像上に重畳して表示する（Ｓ１０２）。

更に、音パラメータ表示制御部４４２は、ステップＳ１００において決定した表示位置に、ステップＳ９９により生成されたテキストデータを含む吹き出しを表示する（Ｓ１０３、図２７参照）。

このように、第１４の実施形態の音声モニタリングシステム５Ａでは、発話分析部４４４は、ユーザ操作により指定された時間範囲ＲＮＧに応じて、レコーダＲ２の音パラメータ保存部７２に保存された音パラメータを基に、時間範囲ＲＮＧのモニタリングエリアＳＡにおける人物の発話傾向及び発話内容を分析する。音パラメータ表示制御部４４２は、人物の発話傾向の分析結果を人物の発話期間（つまり、図２５のシークバー１０６Ａのブロック）と対応付けてモニタ５５のＧＵＩ１００Ａに表示する。これにより、閲覧装置３０は、ユーザ操作により時間範囲が指定されると、ユーザが音声検知期間を直感的かつ視覚的に判別可能に、分析結果（例えば発話内容、発話傾向）をモニタ５５に表示できる。また、閲覧装置３０は、分析結果の発話内容を吹き出しとして表示できる。これにより、ユーザは、自身が再生したいと考えている音声をモニタ５５を見ながら簡単に指定するだけで、音声部分が再生されるまでじっと待つことなく、早期に（つまり、ストレスフリーに）音声部分を聞くことができ、音声の確認時間を短縮できる。

また、発話分析部４４４は、人物の発話傾向として、モニタリングエリアＳＡにおいて１人が所定時間以上発話しているか、又は複数人が所定時間未満に発話しているかを分析する。これにより、閲覧装置３０は、ユーザ操作により指定された時間範囲ＲＮＧにおいて、人物の発話傾向をより具体的かつ分かり易く分析でき、ユーザの嗜好にかなう使い勝手の良い発話分析を行うことができる。なお、発話分析部４４４は、複数人が所定時間以上発話していたり、１人が所定時間未満に発話したりしていることも同様に分析可能である。

また、音パラメータ表示制御部４４２は、発話分析部４４４による分析により得られた人物の発話を吹き出しとして、撮像画像中の人物に対応付けてモニタ５５に表示する。これにより、閲覧装置３０は、ユーザが音声を再生する前に発話内容を確認することができ、ユーザが気になる音声の検索時刻（ブロック）の選択に資することができる。

また、吹き出し指定部４５３は、人物の発話内容に対応する音パラメータに基づく音源視覚画像が無色である撮像画像中の位置を、吹き出しの表示位置として決定する。これにより、音源視覚画像が有色であればその周囲に音源が存在し、更に、音源視覚画像が無色であれば、その周囲に音源が存在していないので、閲覧装置３０は、音源視覚画像の視認性を劣化させず、音源視覚画像が無色である撮像画像ＧＺ上の位置を、吹き出しの適切な表示位置として使用できる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、上述した各実施形態を適宜組み合わせた音声モニタリングシステムの構成としても構わない。

本発明は、店舗等のモニタリング対象のエリアにおいて、指定された過去の一定期間において、人物がどのくらいの時間、どの程度の音声レベルで来店客に対して接客していたか等を分析し、分析結果を視覚的に示し、モニタリング分析精度を向上することができる音声モニタリングシステム及び音声モニタリング方法として有用である。

５、５Ａ 音声モニタリングシステム
１０ マイクアレイ・カメラ装置
２５ 圧縮処理部
２６ 送信部
３０、３０Ａ 閲覧装置
４０、４０Ａ 再生制御装置
４１ 再生制御部
４２ 指向音データ生成部
４３ メモリ
４４、４４Ａ 信号処理部
４５、４５Ａ 指定部
４６ 判断部
５０ スピーカ
５５ モニタ
５８ 操作部
６１ ＣＰＵ
６２ 通信部
６４ 電源管理部
６５ イメージセンサ
６６ｘ メモリカード
６６ｙ ＲＡＭ
６６ｚ ＲＯＭ
６７ ネットワークコネクタ
７０ 記録装置
７１ 音パラメータ算出部
７２ 音パラメータ保存部
４４１ 音パラメータ算出部
４４２ 音パラメータ表示制御部
４４３ 色情報変換部
４４４ 発話分析部
４５１ 領域指定部
４５２ 表示対象日時指定部
４５３ 吹き出し指定部
ＣＡ 全方位カメラ
ＭＡ マイクアレイ

Claims (19)

1. モニタリング対象のエリアを撮像するカメラと、
   前記エリアの音を収音するマイクアレイと、
   前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録するレコーダと、
   前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に繰り返して算出する音パラメータ算出部と、
   前記音パラメータ算出部により算出された前記音パラメータを、前記撮像時刻における撮像画像上の位置情報と対応付けて保存する音パラメータ保存部と、
   前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタに表示する音パラメータ表示制御部と、を備え、
   前記音パラメータ表示制御部は、時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、
   音声モニタリングシステム。
2. 請求項１に記載の音声モニタリングシステムであって、
   前記音パラメータ算出部は、前記マイクアレイにより収音された音に含まれる音声区間の有無を示す情報を用いて、前記音パラメータを算出する、
   音声モニタリングシステム。
3. 請求項１に記載の音声モニタリングシステムであって、
   前記音パラメータ表示制御部は、前記時間範囲と前記時間範囲における前記累計値との相対値に基づいて、前記音源視覚画像に色を付与して表示する、
   音声モニタリングシステム。
4. 請求項１に記載の音声モニタリングシステムであって、
   前記音パラメータ表示制御部は、前記累計値の絶対値に基づいて、前記音源視覚画像に色を付与して表示する、
   音声モニタリングシステム。
5. 請求項３又は４に記載の音声モニタリングシステムであって、
   前記音パラメータ表示制御部は、前記音源視覚画像を色表示するための条件設定画面を前記モニタに表示する、
   音声モニタリングシステム。
6. 請求項１に記載の音声モニタリングシステムであって、
   前記音パラメータ算出部は、前記音パラメータを第１間隔毎に繰り返し算出するとともに、前記第１間隔のＮ（Ｎは２以上の整数）倍以上となる第２間隔毎に、前記音パラメータを繰り返し算出し、前記第１間隔毎の前記音パラメータの算出結果と前記第２間隔毎の前記音パラメータの算出結果とを前記音パラメータ保存部に保存する、
   音声モニタリングシステム。
7. 請求項６に記載の音声モニタリングシステムであって、
   前記音パラメータ算出部は、前記第１間隔のＰ（Ｐ＞Ｎの整数）倍以上となる第３間隔毎に、前記音パラメータを繰り返し算出し、前記第１間隔、前記第２間隔、前記第３間隔の少なくとも３個の間隔毎に算出した音パラメータの算出結果を前記音パラメータ保存部に保存する、
   音声モニタリングシステム。
8. 請求項１に記載の音声モニタリングシステムであって、
   前記音パラメータ表示制御部は、指定された前記時間範囲に応じて、第１間隔毎に前記音パラメータ算出部により算出されて前記音パラメータ保存部に保存された前記音パラメータを用いるか、又は前記レコーダに記録された前記音を基に前記第１間隔より短い間隔毎で前記音パラメータ算出部により音パラメータを算出させて用いるかを選択する、
   音声モニタリングシステム。
9. 請求項１に記載の音声モニタリングシステムであって、
   前記マイクアレイにより収音された音を無効化するための収音除外エリアを設定する除外エリア設定部、を更に備え、
   前記音パラメータ算出部は、前記収音除外エリアを音源とする音の音パラメータをゼロとして算出する、
   音声モニタリングシステム。
10. 請求項１に記載の音声モニタリングシステムであって、
    前記モニタに表示された前記音源視覚画像の指定操作に応じて、前記マイクアレイにより収音された音を用いて、前記マイクアレイから、指定された前記音源視覚画像に対応する音源に向かう指向方向の音を強調処理する指向音強調部と、
    強調処理された前記指向方向の音を再生してスピーカに出力させる再生制御部と、を更に備える、
    音声モニタリングシステム。
11. 請求項１０に記載の音声モニタリングシステムであって、
    前記音パラメータ算出部は、指定された前記時間範囲において、指定された前記音源視覚画像を含む周囲で最も前記音パラメータの累計値が大きい位置を算出し、
    前記指向音強調部は、前記マイクアレイから、算出された前記累計値が大きい位置に向かう方向を前記指向方向として、前記マイクアレイにより収音された音を強調処理する、
    音声モニタリングシステム。
12. 請求項１０に記載の音声モニタリングシステムであって、
    前記再生制御部は、指定された前記時間範囲の中で、前記マイクアレイにより収音された音から音声が検知された音声検知期間における、前記指向音強調部による強調処理済みの音声を再生する、
    音声モニタリングシステム。
13. 請求項１２に記載の音声モニタリングシステムであって、
    前記再生制御部は、指定された前記時間範囲の中で前記音声検知期間が複数検知された場合に、前記音声検知期間の一覧リストを前記モニタに表示し、前記一覧リストから選択された音声検知期間における、前記指向音強調部による強調処理済みの音声を再生する、
    音声モニタリングシステム。
14. 請求項１０に記載の音声モニタリングシステムであって、
    前記音パラメータ算出部は、指定された前記時間範囲において、前記マイクアレイにより収音された音から音声が検知された音声検知期間が最も長い時間帯を求め、
    前記再生制御部は、前記音声検知期間が最も長い時間帯に前記カメラにより撮像された撮像映像に、前記音源視覚画像を重畳して前記モニタに表示する、
    音声モニタリングシステム。
15. 請求項１に記載の音声モニタリングシステムであって、
    前記時間範囲の指定に応じて、前記音パラメータ保存部に保存された前記音パラメータを基に、前記時間範囲の前記エリアにおける人物の発話傾向を分析する発話分析部、を更に備え、
    前記音パラメータ表示制御部は、前記人物の発話傾向の分析結果を前記人物の発話期間と対応付けて前記モニタに表示する、
    音声モニタリングシステム。
16. 請求項１５に記載の音声モニタリングシステムであって、
    前記発話分析部は、前記人物の発話傾向として、前記エリアにおいて１人が所定時間以上に発話しているか、又は複数人が前記所定時間未満に発話しているかを分析する、
    音声モニタリングシステム。
17. 請求項１５に記載の音声モニタリングシステムであって、
    音パラメータ表示制御部は、前記発話分析部により分析された前記人物の発話内容を吹き出しとして、前記撮像画像中の前記人物に対応付けて前記モニタに表示する、
    音声モニタリングシステム。
18. 請求項１７に記載の音声モニタリングシステムであって、
    前記人物の発話内容に対応する音パラメータに基づく前記音源視覚画像が無色である前記撮像画像中の位置を、前記吹き出しの表示位置として決定する吹き出し制御部、を更に備える、
    音声モニタリングシステム。
19. カメラと、マイクアレイと、レコーダと、再生制御装置とを含む音声モニタリングシステムにおける音声モニタリング方法であって、
    前記カメラは、モニタリング対象のエリアを撮像し、
    前記マイクアレイは、前記エリアの音を収音し、
    前記レコーダは、前記カメラにより撮像された撮像画像及び撮像時刻と前記マイクアレイにより収音された音とを対応付けて記録し、
    前記再生制御装置は、前記カメラの撮像中に前記マイクアレイにより収音された音を基に、撮像時刻における前記エリアの音の大きさを示す音パラメータを、前記撮像画像を構成する画素の所定単位毎に繰り返して算出し、
    前記再生制御装置は、算出された前記音パラメータを、前記撮像時刻における撮像画像上の位置情報を対応付けて前記レコーダに保存し、
    前記再生制御装置は、前記音パラメータに基づく音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳してモニタすることを特徴とし、
    前記再生制御装置は、時間範囲の指定に応じて、前記レコーダに保存された前記音パラメータの前記時間範囲における累計値に基づく前記音源視覚画像を、前記撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、
    音声モニタリング方法。