以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<システム構成>
図1は、本実施形態による見守りシステムの全体構成を示す図である。見守りシステムは、見守り対象者および見守り者に対する見守りサービスを実現するシステムである。図1に示す見守りシステムは、対象者システム100と、センターサーバ200と、見守り者端末300とを備える。対象者システム100、センターサーバ200および見守り者端末300の各々は、ネットワーク400を介して接続されている。
対象者システム100は、見守り対象者の情報を取得するシステムである。対象者システム100は、複数の装置群により構成される。センターサーバ200は、対象者システム100により得られた見守り対象者の情報を処理し加工して見守り者端末300に提供するサーバである。図1に示す例では、一つのセンターサーバ200が示されているが、センターサーバ200は、単体のサーバマシンに限定されず、ネットワーク上に設けられた複数のサーバマシンに分散させてセンターサーバ200の機能を実現しても良い(いわゆるクラウド環境等)。見守り者端末300は、見守り者にセンターサーバ200から送られた情報を提示する端末装置である。見守り者端末300は、単体の装置として構成しても良いし、複数の装置により構成しても良い。ネットワーク400は、各システムおよび装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して各装置を接続するように構成しても良い。
<対象者システムの構成>
図2は、対象者システム100の構成を示す図である。対象者システム100は、見守り対象者の状況を把握する把握手段の一例である。対象者システム100は、図2に示す構成例において、対象者システム100は、カメラ101と、マイクロフォン102と、センサ103と、通信サーバ104とを備える。カメラ101、マイクロフォン102およびセンサ103は、通信サーバ104に接続されている。通信サーバ104は、さらにネットワーク400を介してセンターサーバ200と接続される。
カメラ101は、見守り対象者および見守り対象者の周囲の空間の画像を取得する撮像装置である。カメラ101により取得された画像は、デジタル・データとして通信サーバ104へ送られる。カメラ101により取得される画像は、動画および静止画のいずれであっても良いが、ここでは動画が取得されるものとする。動画フォーマットによる動画データの他、一定時間ごとに撮影された時系列の静止画データの集合を取得する構成としても良い。カメラ101としては、使用環境に応じて種々の構成のものを用いて良い。例えば、可搬型のカメラであっても良いし、固定カメラであっても良い。また、周囲の広い空間の画像を取得する広角カメラや全周カメラ、特定の対象物や場所を様々な角度で撮影する複数のカメラ群等を用いても良い。例えば、見守り対象者が複数の部屋を移動する場合、部屋ごとにカメラ101を設置しても良い。さらに、取得される画像のデータ形式に着目すれば、デジタル画像として画像を取得するデジタル・カメラであっても良いし、アナログ画像として画像を取得するアナログ・カメラであっても良い。アナログ・カメラの場合、アナログ画像として取得された画像は、デジタル・データに変換して出力される。対象者システム100における具体的なカメラ101の構成は、画像の取得が行われる環境や場面、使用可能な機器の制約等に応じて特定される。
マイクロフォン102は、情報としての音(音響情報)を収録する録音装置である。マイクロフォン102としては、収録しようとする場所や音響情報の種類等に応じて種々の特性や構成を有するものを用いて良い。例えば、部屋の音声や環境音を収録する場合は、無指向性や指向性の低いマイクロフォン102が用いられる。また、見守り対象者や特定の対象物の作動音を収録する場合は、音声や作動音の音域に合わせた音域特性を有し、指向性の高いマイクロフォン102が用いられる。マイクロフォン102により収録された音響情報は、デジタル・データとして通信サーバ104へ送られる。また、マイクロフォン102自体の構成としては、固定マイクや集音マイク、個人が装着するピン・マイク、強い指向性を持つマイクロフォン・アレイ等、様々な構成を取り得る。対象者システム100における具体的なマイクロフォン102の構成は、収録が行われる環境や場面、使用可能な機器の制約等に応じて特定される。
センサ103は、見守り対象者や見守り対象者の周囲の環境から様々な情報を物理量として検出する検出装置である。センサ103としては、検出しようとする情報の種類に応じて様々な種類のものを用いて良い。例えば、温度センサ、湿度センサ、照度センサ、速度センサ、振動センサ等が単体で、あるいは組み合わせて用いられる。そして、これらのセンサ103により、室温や部屋の明るさ等の環境情報、血圧や脈拍等の生体情報、水道やガス等の設備、電気製品、家具など生活に伴って使用される対象の使用状況、対象物の位置や動作状態を特定する情報等の様々な情報が取得される。対象者システム100における具体的なセンサ103の構成は、情報を取得しようとする対象や取得しようとする情報の種類に応じて特定される。センサ103により取得された情報は、デジタル・データとして通信サーバ104へ送られる。
通信サーバ104は、カメラ101、マイクロフォン102およびセンサ103により取得した情報をセンターサーバ200へ送信する通信制御装置である。通信サーバ104としては、例えば、パーソナル・コンピュータ(PC)等が用いられる。また、カメラ101、マイクロフォン102およびセンサ103(以下、これらをまとめて「情報取得デバイス」と呼ぶ)が接続されたLANを構成するルータに情報処理機能および通信制御機能を持たせたものを用いても良い。さらに、ネットワーク400に接続する機能および情報処理機能を備えた各種の情報機器(テレビ受像機やファクシミリ装置等)を用いても良い。
通信サーバ104は、設定に応じて、各情報取得デバイスから情報を収集する。具体的には、常時連続的に情報を取得しても良いし、一定の時間間隔で断続的に情報を取得しても良いし、予め定められた事象(イベント)が発生したことを契機(トリガー)として情報を取得しても良い。情報取得デバイスからプッシュ型通信で情報を送っても良いし、通信サーバ104から情報取得デバイスへ問い合わせるプル型通信で情報を取得しても良い。通信が衝突(コリジョン)しない範囲において、個々の情報取得デバイスごとに異なる方式や態様で通信サーバ104へ情報を送るように構成しても良い。
また、通信サーバ104は、設定に応じて、取得した情報をセンターサーバ200へ送信する。具体的には、常時センターサーバ200と接続して連続的に情報を送信しても良いし、一定の時間間隔で断続的にセンターサーバ200と接続して情報を送信しても良い。また、予め定められた事象(イベント)が発生したことを契機(トリガー)としてセンターサーバ200と接続して情報を送信しても良い。例えば、見守り対象者に異常事態(部屋で昏倒した等)が発生したことを表す情報が得られた場合に、非常通報を行うようにしても良い。また、情報を取得したデバイスの種類に応じて異なる方式や態様でセンターサーバ200へ情報を送信するように構成しても良い。例えば、カメラ101で取得された動画は連続的に送信し、設備や電気製品の使用状況を表す情報は一定時間ごとにまとめて送信するようにしても良い。
また、通信サーバ104は、制御手段および処理手段としてのコンピュータと記憶手段としての記憶装置(メモリや磁気ディスク装置等)を備え、情報取得デバイスから取得した情報を蓄積すると共に、設定に基づいてデータを加工する。例えば、複数のセンサ103から取得した情報を組み合わせて見守り対象者の行動(例えば、起床、部屋の移動等)を表す情報や、特定の事象が発生したことを表す情報を生成しても良い。また、情報取得デバイスから連続的に取得したデータを間引いたり、数値を丸めたり、簡単な統計処理を行ったりしても良い。蓄積された情報は、センターサーバ200へ送信された後に削除しても良いし、一定期間または記憶装置の記憶容量に応じて保存しても良い。情報を取得したデバイスの種類に応じて個別に定められた消去条件に基づいて、個々の情報を消去しても良い。
なお、図1に示したカメラ101、マイクロフォン102およびセンサ103は、情報取得デバイスの一例に過ぎない。本実施形態では、カメラ101は必須とするが、その他の情報取得デバイスは、情報を収集する環境や収集しようとする情報の種類等に応じて、適宜取捨選択される。また、図1に示したカメラ101、マイクロフォン102およびセンサ103以外のデバイスにより情報を取得しても良い。例えば、電気製品のスイッチのオン・オフや機能調整等の操作履歴を、通信サーバ104において情報として蓄積しても良い。
さらに、Wi−Fi等で用いられる電波をセンサとして利用して、屋内の人や物品の移動や動きを検知しても良い。例えば、Wi−Fiの電波の反射経路と屋内環境との間には相関関係を見出すことができる。そこで、電波の反射状況の変化から屋内環境の変化を検知することができる。カメラ101に加えてこのWi−Fiの電波を用いた検知技術を用いることにより、カメラ101の撮影範囲から外れる領域に関しても、人や物品の移動や動きを検知することができ、カメラ101を用いて取得される情報を補完することができる。また、カメラ101に替えてこのWi−Fiの電波を用いた検知技術を用いれば、可視化したくない場所に関してプライバシーに配慮した検知を行うことができる。
なお、カメラ101に替えてこのWi−Fiの電波を用いた検知技術やセンサ103によるセンサ・データを用いて人や物品の移動や動きを検知する場合、カメラ101で撮影した撮影画像から検知される動きよりも大きい動きしか検知できないことが考えられる。例えば、人が顔の向きを変えるような動作は、撮影画像からは抽出できても、Wi−Fiの電波を用いた検知技術では検知できない可能性がある。しかし、見守りシステムの利用態様に着目すれば、人の移動や体勢(立っているか、座っているか、横になっているか等)がわかる程度の検知ができれば良い場合が多い。したがって、カメラ101による撮影画像に基づく検知を、Wi−Fiの電波を用いた検知技術等に基づく検知に置き換えても良い。
<センターサーバの構成>
センターサーバ200は、カメラ101で取得された画像(撮影画像)を加工し、撮影画像に基づくコンテンツ画像を生成して見守り者端末300に提供するサーバである。具体的には、センターサーバ200は、撮影画像に写った領域(現実空間)を模した仮想空間を表現する背景画像と、撮影画像に写った人物に対応付けて設定されたキャラクタ画像とを生成し、これらを合成してコンテンツ画像を生成する。これにより、見守り者端末300では、撮影画像がそのまま表示されるのではなく、仮想空間とキャラクタとを組み合わせたコンテンツ画像に置き換えられて表示される。
図3は、センターサーバ200の機能構成を示す図である。センターサーバ200は、取得手段として情報取得部201を備え、解析手段として画像解析部202と、動作認識部203と、音響解析部204と、音声解析部205と、センサ・データ解析部206とを備える。また、センターサーバ200は、仮想空間の管理手段として、背景情報データベース(DB)207と、仮想空間構築部208と、仮想空間管理部209とを備える。また、センターサーバ200は、キャラクタの管理手段として、キャラクタ情報データベース(DB)210と、キャラクタ設定部211と、キャラクタ制御部212とを備える。また、センターサーバ200は、コンテンツ出力手段として、コンテンツ生成部213と、出力部214とを備える。なお、センターサーバ200は、単体のサーバマシンに限定されず、複数のサーバにより上記の機能を分散させたシステムであっても良い。
情報取得部201は、ネットワーク400を介して対象者システム100の通信サーバ104から情報を取得する通信手段である。通信態様としては、常時通信サーバ104と接続して連続的に情報を受信しても良いし、一定の時間間隔で断続的に通信サーバ104と接続して情報を受信しても良い。また、通信方式としては、通信サーバ104からプッシュ型通信で情報を送っても良いし、センターサーバ200から通信サーバ104へ問い合わせるプル型通信で情報を取得しても良い。情報取得部201は、見守り対象者の情報を取得する取得手段の一例である。
画像解析部202は、対象者システム100から取得された情報のうち、カメラ101により撮影された撮影画像を解析する処理手段である。画像解析部202は、撮影画像を解析し、撮影された領域を3次元空間として認識する。また、画像解析部202は、撮影された対象物のうち人物と人物以外の物とを識別する。また、画像解析部202は、撮影された人物のうち、少なくとも見守り対象者を識別する。さらに、画像解析部202は、見守り対象者以外の個々の人物を識別しても良い。また、画像解析部202は、人物以外の物のうち、動物を識別しても良い。また、家具や建具、その他の物品等を識別しても良い。画像解析による人物やその他の物の識別は、画像認識に係る既存技術を用いて行うことができる。なお、見守り対象者や特定の人物の識別に関しては、画像解析部202による画像解析に加えてまたは画像解析に替えて、個人識別情報(ID)を記録したIC(integrated circuit)カードを所持させ、このICカードから取得される個人識別情報に基づいて識別しても良い。
動作認識部203は、画像解析部202により識別された人物等の動作を認識する処理手段である。動作認識部203は、画像解析部202による撮影画像の解析結果に基づき、人物(少なくとも見守り対象者)として識別された対象の動作を認識する。具体的には、動作認識部203は、例えば、撮影画像における人物として識別された対象の部分(以下、「人物部分画像」と呼ぶ)の時間経過に伴う形状変化に基づいて、人物部分画像に対応する人物がどのような動作を行っているかを認識する。動作の認識には、例えば、パターン認識や骨格モデルに基づく動作の特定等、既存の種々の技術を用いて良い。また、画像解析部202が動物を識別する場合、動作認識部203は、識別された動物の動作を認識しても良い。
音響解析部204は、対象者システム100から取得された情報のうち、マイクロフォン102により収録された音響情報を解析する処理手段である。音響解析部204は、収録された音響情報を解析し、人の音声を識別する。また、音響解析部204は、音響情報から、環境情報として予め定められた特定の音や動物の鳴き声を識別しても良い。
音声解析部205は、音響解析部204により識別された人の音声を解析する処理手段である。音声解析部205は、音声を解析して発話内容を認識する。音声解析部205は、発話内容の認識結果に基づき、音声命令を抽出しても良い。音声命令とは、音声により発せられた命令である。例えば、照明のスイッチをオンにする「電気をつけて」という音声、エアコンの設定温度を調整する「部屋の温度を下げて」という音声等である。また、音声解析部205は、音声を解析して発話者を識別しても良い。
センサ・データ解析部206は、対象者システム100から取得された情報のうち、センサ103により取得されたデータ(センサ・データ)を解析する処理手段である。センサ・データ解析部206は、センサ・データの種類(あるいは、センサ・データを取得したセンサ103の種類)に応じて、予め設定されたデータ処理を行い、情報を抽出する。抽出された情報は、見守り者端末300に提供される。また、抽出された情報は、他の解析手段における解析やキャラクタ制御部212によるキャラクタの制御において、必要に応じて参酌される。
背景情報DB207は、仮想空間を構築するのに用いられる部品データを保存するデータベースである。背景情報DB207には、現実空間を模した仮想空間を構築するための種々の部品データが保存されている。具体的には、例えば、地面や床、壁、天井等の領域(場所)を表現する部品、家具や電気製品等の領域に配置される物品を表現する部品、部屋に設けられた設備を表現する部品、植物やキャラクタとして表現されない動物を表現する部品等のデータが保存されている。部品データは、3次元のコンピュータ・グラフィクスデータ(3DCGデータ)である。これらの部品は、様々なテーマに沿って設定される屋内や屋外の空間を想定して用意しても良い。例えば、屋内の空間としては、洋室、和室、居間、寝室、台所、廊下、玄関などをテーマとして、そのような空間に存在することが想定される物品等を表現する部品を用意しても良い。屋外の空間としては、公園、広場、野原、森林、海中、宇宙空間などをテーマとして、そのような空間に存在することが想定される物品等を表現する部品を用意しても良い。また、同じテーマであっても、写実性や誇張の度合い、簡略化の度合い等が異なる複数の部品群を用意しても良い。例えば、同じテーマに関して、より写実的に構成された部品群と、より様式的に構成された部品群とを用意しても良い。
仮想空間構築部208は、背景情報DB207に保持されている部品データを用いて仮想空間を構築する処理手段である。仮想空間構築部208は、見守りサービスの対象領域である現実空間に模して仮想空間を構築する。見守りサービスの対象領域とは、見守り対象者の見守りを行うべき場所として設定された領域である。具体的には、例えば、見守り対象者が主に滞在したり活動したりする領域、見守り対象者が頻繁に移動する経路や移動先の領域等が挙げられる。見守りサービスの対象領域は、一人の見守り対象者に対して複数設定しても良い。この場合は、見守りサービスの対象領域の数に応じた数の仮想空間が構築される。見守りサービスの対象領域である現実空間の情報は、例えば、画像解析部202の解析結果から得られる。仮想空間のデータは、3次元空間の3DCGデータとして生成される。
仮想空間構築部208により構築される仮想空間には、原型となった現実空間に存在する物品や設備等に対応する部品(以下、「対応部品」と呼ぶ)が配置される。ここで、仮想空間は、上記の背景情報DB207の説明で述べたテーマに沿って構築しても良い。この場合、仮想空間に配置される対応部品は、その仮想空間に設定されたテーマに沿ったものとなる。例えば、現実空間に椅子が存在し、森林をテーマにした仮想空間が構築される場合、椅子を切り株(部品)に置き換えて配置しても良い。これにより、仮想空間は、見守りサービスの対象領域の状態を反映させた空間として構築される。
なお、原型である現実空間の状態と仮想空間状態とは厳密に一致していなくても良い。例えば、屋内(例えば、居間)である現実空間に対し、森林や野原等の屋外の空間をテーマにした仮想空間を構築しても良い。また、現実空間に有る物品等と仮想空間に配置される部品とが同一でなくても良く、上記のように椅子を切り株に置き換えても良い。
仮想空間管理部209は、仮想空間構築部208により構築された仮想空間を管理する管理手段である。仮想空間管理部209は、仮想空間構築部208により構築された仮想空間を、見守りサービスの対象領域に対する置き換え用の背景空間として管理する。具体的には、例えば、構築された仮想空間の3DCGデータを図示しない記憶装置に保存し、仮想空間の原型である見守りサービスの対象領域の現実空間を特定する識別情報と対応付けて管理する。すなわち、仮想空間管理部209は、背景画像保持手段の一例である。仮想空間管理部209は、管理している仮想空間に関して、仮想空間構築部208の再構築による更新を受け付ける。また、仮想空間管理部209は、見守りサービスの対象領域の一つに対応する仮想空間が複数構築されている場合、外部装置(例えば、見守り者端末300)からの指示を受け付けて、置き換え用の背景空間として用いる仮想空間を切り替える。すなわち、仮想空間管理部209は、見守り対象者の背景の置き換えとなる背景画像の選定を受け付ける背景選定受け付け手段の一例である。また、仮想空間管理部209は、適当なユーザ・インターフェイスにより、ユーザの手動操作による仮想空間の編集、更新を受け付ける。
ユーザの手動操作による仮想空間の編集は、例えば、次のようにして行われる。まず、ユーザ・インターフェイスとして、仮想空間の3DCGを表示可能なグラフィック・ソフトウェアがインストールされた端末装置(例えば、見守り者端末300)を用意する。この端末装置をセンターサーバ200に接続し、仮想空間管理部209に編集対象である仮想空間の3DCGデータの呼び出しを指示する。そして、端末装置は、呼び出した3DCGを表示し、グラフィック・ソフトウェアのインターフェイスにより、ユーザの操作を受け付けて、3DCGを編集する。これにより、手動操作により、仮想空間に配置された部品の配置を変更したり、部品を他の部品に置き換えたりすることができる。さらに、仮想空間において、現実空間に物品が存在しない場所に何らかの部品を配置しても良いし、反対に、現実空間に物品が存在する場所に部品を配置せずに空間としても良い。手動操作により編集された内容は、仮想空間構築部208の再構築による仮想空間の更新が行われる際にも反映される。
キャラクタ情報DB210は、仮想空間管理部209で管理される仮想空間で動作するキャラクタのデータを保存するデータベースである。キャラクタ情報DB210には、種々のキャラクタに関する全体像や身体の部分ごとのデータが保存されている。キャラクタのデータは、3DCGデータである。また、2次元のグラフィクスデータによるキャラクタを加えても良い。キャラクタとしては、同種の人物に関して異なるデザインの複数のキャラクタを用意しても良い。また、背景情報DB207に保存されている部品データのテーマに対応するテーマに沿ったキャラクタを用意しても良い。例えば、ロボット、擬人化された動物、人形などをモチーフとするキャラクタであっても良い。また、写実性や誇張の度合い、簡略化の度合い等が異なる様々なキャラクタを用意しても良い。
キャラクタ設定部211は、キャラクタ情報DB210に保持されているキャラクタのデータを用い、仮想空間管理部209により管理される仮想空間で動作するキャラクタを設定する処理手段である。キャラクタ設定部211は、対象者システム100のカメラ101で撮影された画像中の見守り対象者およびその他の人物を置き換えるキャラクタを設定する。また、キャラクタ設定部211は、画像解析部202により動物が識別される場合は、識別された動物を置き換えるキャラクタを設定しても良い。キャラクタの設定は、キャラクタ情報DB210に保持されているキャラクタの全体像や身体の各部のデータを組み合わせて行われる。設定されるキャラクタは、例えば、仮想空間管理部209に管理されている仮想空間のテーマに沿って選択される。また、外部装置(例えば、見守り者端末300)から、設定されるキャラクタの選択指示を受け付けても良い。キャラクタ情報DB210およびキャラクタ設定部211は、キャラクタ画像保持手段の一例である。また、キャラクタ設定部211は、キャラクタ選定受け付け手段の一例である。
キャラクタ制御部212は、キャラクタ設定部211により設定されたキャラクタの動作を制御する処理手段である。キャラクタ制御部212は、対象者システム100のカメラ101で撮影された画像から動作認識部203により認識された人物の状況に基づき、キャラクタを制御し状態を変化させる。具体的には、人物の移動や動作に応じて、対応するキャラクタを移動させたり動作させたりする。キャラクタの制御には、必要に応じて音声解析部205による解析結果やセンサ・データ解析部206による解析結果も参酌される。例えば、音響情報の解析結果により特定の人物が発話したことが検知された場合、発話のタイミングに合わせてこの人物に対応するキャラクタの口を動かす制御を行っても良い。また、センサ・データにより見守り対象者の体温が高いことが検知された場合、見守り対象者に対応するキャラクタの顔を赤く表示する制御を行っても良い。また、キャラクタ制御部212は、見守りサービスの対象領域に対応する背景空間として選択された仮想空間におけるキャラクタの動作を制御する。したがって、キャラクタの動作は、背景空間として選択された仮想空間の広さや形状、配置された部品等により制約を受ける。例えば、キャラクタが移動する経路上に部品が配置されている場合は、その部品を避けるようにキャラクタを移動させる。
また、キャラクタ制御部212は、キャラクタに対応する人物の状況を逸脱しない範囲で、キャラクタの状態に関して予め定められた演出を行っても良い。例えば、人物が部屋の中を歩いている場合、その人物に対応するキャラクタを人間のように歩かせるのではなく、選択されているキャラクタらしい動作で移動させても良い。また、人物が寝具に横になっており、かつ生体センサから得られるセンサ・データから安静な状態が把握された場合は、キャラクタを単に横にするだけでなく、あたかも眠っているような状態に制御しても良い。その他、対象者システム100の情報取得デバイスにより取得できない状況や見守りの観点から重要でない状況に関して、人物に対応するキャラクタに応じた演出を行っても良い。例えば、人物が立っている状態や椅子に座っている状態は、対応するキャラクタの動作に反映させる一方、顔の向きや腕の動きは、人物の動作に基づくのではなく、選択されているキャラクタらしい動作に置き換えるようにしても良い。
コンテンツ生成部213は、見守りサービスの対象領域に対応する背景空間として選択された仮想空間とキャラクタ設定部211により設定されたキャラクタとを合成してコンテンツ画像を生成する処理手段である。コンテンツ生成部213は、背景空間として選択された仮想空間において、キャラクタ制御部212の制御によりキャラクタが動作する様子を表す動画をコンテンツ画像として生成する。すなわち、コンテンツ生成部213は、画像生成手段の一例である。コンテンツ画像は、例えば、3DCGアニメーションとして生成される。コンテンツ画像には、音響解析部204および音声解析部205により抽出された音声や環境音等の音響データが合成される。このとき、抽出された音声等の音響データをそのまま合成しても良いし、周波数変換等の処理を施して合成しても良い。また、音響解析部204および音声解析部205の解析結果に基づいて、特定の発話音声や発生音を消去して合成しても良い。さらに、キャラクタ制御部212により制御されるキャラクタの動作に応じて、特定の発話音声や効果音を生成してコンテンツ画像に合成しても良い。
出力部214は、コンテンツ生成部213により生成されたコンテンツ画像を見守り者端末300へ出力する処理手段である。出力部214は、ネットワーク400を介して見守り者端末300に接続し、例えば、3DCGアニメーションによるコンテンツ画像をストリーミング方式で送信する。
<見守り者端末の構成>
見守り者端末300は、対象者システム100およびセンターサーバ200により取得された見守り対象者の情報を見守り者に提示する提示手段である。見守り者端末300は、見守り者の情報を画像や音声により出力するための出力手段を有する。
図4は、見守り者端末300の機能構成を示す図である。見守り者端末300は、コンテンツ取得部301と、制御部302と、出力手段としての表示部303および音響出力部304とを備える。なお、特に図示していないが、見守り者端末300は、センターサーバ200から取得した見守り対象者の情報を保持する記憶装置を備えても良い。見守り者端末300は、例えば、パーソナル・コンピュータ(PC)やタブレット型情報端末等の種々の情報処理装置により実現される。
コンテンツ取得部301は、センターサーバ200から見守り対象者に関するコンテンツ画像を取得する処理手段である。コンテンツ取得部301は、ネットワーク400を介してセンターサーバ200と接続し、例えば、ストリーミング方式で送信された3DCGアニメーションであるコンテンツ画像を取得する。見守り者端末300が記憶装置を有する場合は、取得したコンテンツ画像を記憶装置に保持しても良い。
制御部302は、コンテンツ取得部301により取得したコンテンツ画像の表示制御および音響情報の出力(再生)制御を行う制御手段である。制御部302は、例えば、表示部303におけるコンテンツ画像の表示領域のサイズに合わせて画像サイズを調整し、調整したコンテンツ画像を表示部303の表示領域に表示させる。また、コンテンツ画像を記憶装置に保持している場合は、記憶装置からコンテンツ画像を読み出して表示部303に表示させても良い。
表示部303は、コンテンツ画像を表示する出力手段である。すなわち、表示部303は、表示手段の一例である。表示部303は、例えば液晶ディスプレイ等の表示装置である。表示部303は、表示画面の全体を表示領域としてコンテンツ画像を表示しても良いし、表示画面の一部に設定したウィンドウ等の表示領域にコンテンツ画像を表示しても良い。また、コンテンツ画像を記憶装置に保持している場合、表示部303は、制御部302の制御により、記憶装置から読み出されたコンテンツ画像を表示しても良い。
音響出力部304は、コンテンツ画像に合成された音響データに基づく音響出力を行う出力手段である。また、コンテンツ画像を記憶装置に保持している場合、音響出力部304は、制御部302の制御により、記憶装置から読み出されたコンテンツ画像の音響データに基づく音響出力を行っても良い。音響出力部304は、見守り対象者に異常事態が発生した場合に警告音を発するようにしても良い。
<コンテンツ画像の表示例>
図5は、コンテンツ画像の表示例を示す図であり、図5(a)は、見守り対象者を撮影した撮影画像をそのまま表示部303に表示した状態を示す図、図5(b)は、図5(a)の撮影画像に基づいて生成されたコンテンツ画像を表示部303に表示した状態を示す図である。図5(a)に示す撮影画像では、人物として、年配の男性1人と女性1人の2人が居ることがわかる。また、背景として、部屋にはL字形に配列されたソファと、テレビ受像機(ディスプレイ装置)と、テレビ受像機(ディスプレイ装置)が置かれた台とが有ることがわかる。そして、2人の人物がソファに座っていることがわかる。一方、図5(b)に示すコンテンツ画像では、人物として、2人の人物が居ることがわかる。また、背景として、部屋には椅子と、テレビ受像機(ディスプレイ装置)と、テレビ受像機(ディスプレイ装置)が置かれた台とが有ることがわかる。そして、椅子に2人の人物が座っていることがわかる。
このように、コンテンツ画像は、撮影画像をもとに表示対象(人物や背景の物品など)を様式化して生成した画像である。このため、表示内容が抽象化されており、情報が一部失われている。見守りサービスにおいては、見守り対象者が自身の生活を覗き見られるような連想に基づく心理的抵抗感を持つ場合がある。また、見守り者にとっても、見守り対象者のプライベートな内容を含む情報量の多い撮影画像をそのまま見続けることは、心理的負担が大きい。本実施形態では、見守り者端末300で表示される画像として図5(b)に示すようなコンテンツ画像を用いることにより、見守り対象者の心理的抵抗感を軽減すると共に、見守り者の心理的負担も軽減することが期待される。
さらに、上述したように本実施形態では、センターサーバ200において生成されるコンテンツ画像を、特定のテーマに沿って選択された背景画像およびキャラクタの組み合わせにより構成することができる。これにより、コンテンツ画像は、より抽象化され、かつ装飾的な画像となるため、見守り対象者の心理的抵抗感をより一層軽減し、見守り者にとっても温もりが感じられる見やすい画像による見守りサービスを実現することができる。
図6は、特定のテーマで構成されたコンテンツ画像の一例を示す図である。図6に示すコンテンツ画像は、童話的な表現をテーマにした画像の一例であり、背景が野原に、人物が漫画的にデザインされた動物のキャラクタに置き換えられている。図6のコンテンツ画像では、野原の背景画像の中で、クマのキャラクタとウサギのキャラクタとがそれぞれ切り株に腰かけている。このコンテンツ画像から、対象者システム100のカメラ101で撮影された範囲(見守りサービスの対象領域)には2人の人物が居て、それぞれ椅子に座っているらしいことが認識される。
図7は、コンテンツ画像の表示態様の例を示す図である。図7は、見守り者端末300としてパーソナル・コンピュータ(PC)を用い、表示部303としてPCの表示装置を用いた場合の表示態様の例を示す。図7に示す表示部303の表示画面には、PCによる作業領域としてのデスクトップ環境が構成され、表示領域としてのウィンドウ303a、303bが表示されている。ウィンドウ303aには電子文書が表示されており、ウィンドウ303bにはセンターサーバ200から受信したコンテンツ画像が表示されている。図7に示す表示例のように、表示画面の一部にコンテンツ画像を表示することにより、見守り者は、常時コンテンツ画像を注視するのではなく、表示部303の画面上で他の作業を行いながら見守りを行うことができる。
本実施形態では、見守り者端末300で表示する画像として様式化されたコンテンツ画像を用いるため、撮影画像に含まれていた些末な情報が削減される。これにより、図7に示す表示例のように他の作業用の画像と一緒に表示されても、見守り者にとって見やすいものとなることが期待される。また、コンテンツ画像では、撮影画像に比して画像の内容が抽象化されているため、図7に示すウィンドウ303bのように小さい表示領域に表示された場合であっても、見守り対象者の状況を把握しやすい。なお、対象者システム100から得られる情報に基づき、見守り対象者に緊急の対応を要する事態が発生した場合などは、コンテンツ画像が表示部303の表示画面全体に表示されるように切り替え制御を行ったり、警告メッセージを表示したりすることにより、見守り者の注意を喚起するようにしても良い。
<他の実施形態>
上記の実施形態による見守りシステムは、対象者システム100から見守り者端末300へのみ情報を送る一方向の情報伝達を行う構成であった。これに対し、見守り者端末300から対象者システム100へも情報を送る双方向の情報伝達を実現する構成としても良い。この場合、例えば、見守り者端末300に情報を取得する手段を設け、対象者システム100に情報を出力する手段を設ける。そして、見守り者端末300により取得した情報を、センターサーバ200を介して対象者システムの出力手段へ伝達する。
図8は、双方向の情報伝達を行う場合の見守り者端末300の構成を示す図である。図8に示す見守り者端末300は、コンテンツ取得部301と、表示部303と、音響出力部304と、制御部310と、撮像部311と、音響取得部312と、送信部313とを備える。図8に示す構成例において、コンテンツ取得部301、表示部303および音響出力部304は、図4を参照して説明した各構成と同様なので、同一の符号を付して説明を省略する。
制御部310は、コンテンツ取得部301により取得したコンテンツ画像の表示制御および音響情報の出力(再生)制御を行うと共に、撮像部311により取得された画像および音響取得部312により取得された音響情報の送信制御を行う制御手段である。制御部310において、コンテンツ画像の表示制御および音響情報の出力制御の機能は、図4を参照して説明した制御部302と同様である。
制御部310は、撮像部311により取得した画像および音響取得部312により取得した音響情報を、送信部313を介してセンターサーバ200へ送信する。具体的には、常時センターサーバ200と接続して連続的に情報を送信しても良いし、一定の時間間隔で断続的にセンターサーバ200と接続して情報を送信しても良い。また、予め定められた事象(イベント)が発生したことを契機(トリガー)としてセンターサーバ200と接続して情報を送信しても良い。
撮像部311は、見守り者端末300の使用者(見守り者)およびその周囲の空間の画像を取得する撮像手段である。撮像部311により取得される画像は、動画および静止画のいずれであっても良いが、ここでは動画が取得されるものとする。動画フォーマットによる動画データの他、一定時間ごとに撮影された時系列の静止画データの集合を取得する構成としても良い。撮像部311としては、例えば、ノート型PCやタブレット型情報端末等の多くに設けられているような内蔵カメラを用いても良いし、外部装置としてのカメラ(外部カメラ)を見守り者端末300に接続して用いても良い。外部カメラを用いる場合、外部カメラで撮影された画像は、デジタル・データとして見守り者端末300(制御部310)へ送られる。また、外部カメラを用いる場合は、対象者システム100で用いられるカメラ101のように、種々の構成のカメラを用い得る。
音響取得部312は、情報としての音(音響情報)を収録する録音装置である。音響取得部312としては、例えば、ノート型PCやタブレット型情報端末等の多くに設けられているような内蔵マイクロフォンを用いても良いし、外部装置としてのマイクロフォン(外部マイク)を見守り者端末300に接続して用いても良い。外部マイクを用いる場合は、対象者システム100で用いられるマイクロフォン102のように、種々の構成のマイクロフォンを用い得る。
送信部313は、制御部310の制御により、撮像部311により取得された画像および音響取得部312により取得された音響情報をセンターサーバ200へ送信する送信手段である。送信部313は、ネットワーク400に接続するネットワーク・インターフェイスにより実現される。
センターサーバ200は、見守り者端末300から画像および音響情報を受信すると、対象者システム100から取得した画像および音響情報と同様に解析し、処理し、3DCGアニメーションによるコンテンツ画像を生成する。そして、センターサーバ200は、生成したコンテンツ画像を対象者システム100へストリーミング方式で送信する。
図9は、双方向の情報伝達を行う場合の対象者システム100の構成を示す図である。図9に示す対象者システム100は、カメラ101と、マイクロフォン102と、センサ103と、通信サーバ110と、表示装置111と、音響装置112とを備える。図9に示す構成例において、カメラ101、マイクロフォン102およびセンサ103は、図2を参照して説明した各構成と同様なので、同一の符号を付して説明を省略する。
通信サーバ110は、カメラ101、マイクロフォン102およびセンサ103により取得した情報をセンターサーバ200へ送信すると共に、センターサーバ200から受信した情報を表示装置111および音響装置112に送る通信制御装置である。通信サーバ110において、各情報取得デバイスから情報を取得してセンターサーバ200へ送信する機能は、図2を参照して説明した通信サーバ104と同様である。
通信サーバ110は、センターサーバ200から画像データを取得して表示装置111へ送り、センターサーバ200から音響データを取得して音響装置112へ送る。具体的には、通信サーバ110は、ネットワーク400を介してセンターサーバ200と接続し、例えば、ストリーミング方式で送信された3DCGアニメーションであるコンテンツ画像を取得する。そして、通信サーバ110は、受信したコンテンツ画像のデータを、画像データと音響データとに分離し、表示装置111および音響装置112へ送る。
表示装置111は、コンテンツ画像を表示する出力手段である。表示装置111は、例えば液晶ディスプレイ等で実現される。表示装置111は、表示画面の全体を表示領域としてコンテンツ画像を表示しても良いし、表示画面の一部に設定したウィンドウ等の表示領域にコンテンツ画像を表示しても良い。また、コンテンツ画像を磁気ディスク装置等の記憶装置(図示せず)に保持し、記憶装置からコンテンツ画像を読み出して表示する構成としても良い。
音響装置112は、コンテンツ画像に合成された音響データに基づく音響出力を行う出力手段である。音響装置112は、例えば通信サーバ110に接続されたスピーカ等で実現される。コンテンツ画像を磁気ディスク装置等の記憶装置(図示せず)に保持し、記憶装置からコンテンツ画像の音響データを読み出し、読み出したコンテンツ画像の音響データに基づく音響出力を行っても良い。音響装置112は、見守り対象者に異常事態が発生した場合に警告音を発するようにしても良い。
図10は、双方向の情報伝達を行う場合における見守り者端末300および対象者システム100のコンテンツ画像の表示例を示す図である。ここでは、年配の夫婦を見守り対象者とし、その子供を見守り者として、見守りシステムが設置されているものとする。すなわち、年配の夫婦の居所に対象者システム100が設置されており、子供の居所に見守り者端末300が設置されているものとする。図10に示すように、見守り者端末300の表示部303には、対象者システム100のカメラ101で撮影された撮影画像(年配の夫婦の様子を撮影した画像)に基づくコンテンツ画像が表示されている。一方、対象者システム100の表示装置111には、見守り者端末300の撮像部311により撮影された撮影画像(年配の夫婦の子供である女性とその子供(年配の夫婦の孫)を撮影した画像)に基づくコンテンツ画像が表示されている。
このように、双方向で情報を伝達し、お互いの様子を確認することで、見守り対象者にとっては見守り者を認識できるという安心感が得られ、心理的抵抗感をさらに軽減させることが期待できる。また、見守り対象者にとっても、一方的に見守り対象者の見守りを行うという義務的な性格が薄れ、双方向で対話しながら相手の様子を見守ることができるため、心理的負担をさらに軽減することが期待できる。
なお、上記他の実施形態では、見守り者端末300において取得した画像および音響情報を、センターサーバ200で加工し、コンテンツ画像として対象者システム100に提供した。したがって、センターサーバ200においては、対象者システム100で取得された情報と見守り者端末300で取得された情報の両方を管理し処理することができる。そこで、一方から取得した情報が他方の情報に基づくコンテンツ画像に影響を与えるような制御を行っても良い。例えば、見守り対象者が表示装置111に表示されたキャラクタに話しかけ、センターサーバ200が対象者システム100から取得した情報を解析して見守り対象者のこの行為を抽出する。そして、センターサーバ200は、見守り者端末300から取得した情報に基づくコンテンツ画像において、見守り者の行動に関わらず、見守り者に対応するキャラクタに手を振って応答する動作をさせる。このような制御を行うことにより、見守り者が毎度応答しなくても、見守り対象者の行為に対して見守り者に対応するキャラクタが反応するため、見守り対象者の興趣を高め、見守りシステムに対する心理的抵抗感をさらに軽減することが期待される。なお、ここでは見守り対象者の行為に対して見守り者に対応するキャラクタが反応する例を説明したが、反対に、見守り者の行為に対して見守り対象者に対応するキャラクタが反応する制御を行っても良い。
<変形例>
上記他の実施形態では、見守り者端末300に情報取得手段を設け、対象者システム100に情報出力手段を設けて、見守り者端末300で取得した情報に基づくコンテンツ画像として対象者システム100で出力する構成とした。これに対し、見守り者側にも対象者システム100を設け、見守り対象者側にも見守り者端末300を設けることで、相互の情報伝達を実現するシステム構成も考えられる。言い換えれば、相互に見守り対象者と見守り者として相手を見守り合うシステムである。この場合も、双方向の情報伝達をセンターサーバ200で中継することにより、上述した一方から取得した情報が他方の情報に基づくコンテンツ画像に影響を与えるような制御を行うことができる。また、相互に相手を見守り合うシステム構成であれば、3者以上の対象者間で相互に見守りを行うことも可能である。一例として、各対象者の居所にそれぞれ対象者システム100および見守り者端末300を設け、自身の見守り者端末300により、他の各対象者の対象者システム100から取得した情報に基づくコンテンツ画像を出力する構成としても良い。
また、上記の各実施形態では、対象者システム100において情報取得手段により取得した情報をセンターサーバ200で解析し、解析結果に基づいてコンテンツ画像を生成した。これに対し、対象者システム100において、例えば通信サーバ104に情報の解析機能を持たせて、情報取得手段により取得した情報を解析し、解析結果をセンターサーバ200へ送信するようにしても良い。例えば、カメラ101で撮影した画像に対して、図3を参照して説明したセンターサーバ200の画像解析部202および動作認識部203と同様の処理を行う。そして、認識された動作の情報を通信サーバ104からセンターサーバ200へ送信する。マイクロフォン102で収録した音響情報に対しても、センターサーバ200の音響解析部204および音声解析部205と同様の処理を行い、得られた解析結果を通信サーバ104からセンターサーバ200へ送信する。センサ103により得られたセンサ・データに対しても、同様にセンターサーバ200のセンサ・データ解析部206と同様の処理を行い、得られた処理結果を通信サーバ104からセンターサーバ200へ送信する。このようにすれば、対象者システム100からセンターサーバ200へは、コンテンツ画像を生成するために必要な情報のみが送信されることとなる。このため、対象者システム100とセンターサーバ200との間の通信トラフィックを軽減することができる。また、情報取得手段により取得された情報をそのままセンターサーバ200へ送る場合と比較して、コンテンツ画像の生成に不要な情報が省かれるため、より見守り対象者のプライバシーに配慮した見守りシステムを実現することができる。
なお、対象者システム100において行う解析処理の内容は、上記の処理に限定されず、解析処理を行う装置の処理能力や設定に応じて定めて良い。例えば、カメラ101で撮影した画像に対して、画像解析部202の機能に対応する解析のみを対象者システム100で行い、人物等の動作の認識はセンターサーバ200の動作認識部203で行っても良い。同様に、マイクロフォン102で収録した音響情報に対しても、音響解析部204の機能に対応する解析のみを対象者システム100で行い、音声解析はセンターサーバ200の音声解析部205で行っても良い。また、センサ・データに関しても解析の一部を対象者システム100で行い、その他の解析をセンターサーバ200で行うようにしても良い。
対象者システム100における解析処理は、上述したように情報処理機能を設けた通信サーバ104により行う他、カメラ101等の情報処理手段として用いられるデバイスに情報処理機能を設けて行っても良い。また、情報取得手段の各デバイスと通信サーバ104とで分散して解析処理を行っても良い(解析の一部を各デバイスで行い、その他の解析を通信サーバ104で行う等)。
また、見守り者端末300において、図3を参照して説明したセンターサーバ200の背景情報DB207、仮想空間構築部208、仮想空間管理部209キャラクタ情報DB210、キャラクタ設定部211およびキャラクタ制御部212の機能を備える構成としても良い。そして、上記の対象者システム100において取得した情報の解析を行い、コンテンツ画像を生成するために必要な情報のみを送信する構成と組み合わせることにより、センターサーバ200を介在させずに、対象者システム100から見守り者端末300へ直接、情報を送信する見守りシステムを実現し得る。
以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、背景空間やキャラクタに関して、様々なテーマに沿った仮想空間やキャラクタを選択できることとした。ここで、見守り者端末300に背景空間およびキャラクタの選択手段を設けておき、見守り者端末300からの選択指示に基づいて、センターサーバ200において、コンテンツ画像の表示中であっても随時、背景空間として用いる仮想空間およびキャラクタを切り替えるようにしても良い。さらに、コンテンツ画像のテーマ単位での選択を可能とし、見守り者が望むテーマの背景空間およびキャラクタに、自在に切り替えられるようにしても良い。また、対象者システム100においても、背景空間およびキャラクタの選択手段を設けて、見守り対象者がコンテンツ画像に表示される背景空間やキャラクタを選択できるように構成しても良い。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。