JP2017021559A - 端末装置、管理装置、無線通信システム、撮像画像表示方法 - Google Patents

Abstract

【課題】災害現場の状況を客観的、かつ、的確に把握して、状況に応じた指示を的確に伝達する端末装置、管理装置、無線通信システム及び撮像画像表示方法を提供する。【解決手段】端末装置１００Ａ〜１００Ｄは、通信を行う通信部および通信部を備えた端末装置の使用者、に関する状態を内部事象情報とし、記使用者の置かれた環境である外部事象を外部事象情報として通信する。管理装置３００は、端末装置からのからの位置情報に基づいた地図画面上にアイコンと共に内部事象情報および外部事象情報の中の少なくともいずれか一つを表示し、内部事象情報のいずれかが所定の閾値を超えた場合には、表示を追加する。またアイコンを選択することにより内部事象情報の詳細の表示や通信の相手の選択を行う。【選択図】図１

Description

本発明は、端末装置、管理装置、無線通信システム、撮像画像表示方法に関する。

近年、移動端末の高機能化に伴い、火災、震災、水害といった様々な災害に、派遣される消防士や救助隊または救助のための車両やヘリコプター等の移動手段に移動端末が備えられ、本署や現地災害対策本部に設置された管理装置との間で通信を行い、情報の収集や指示を行っている。

特許文献１には、現場側の端末と、現場側に種々の指令を与える指揮命令権者側の端末との間で情報の授受を高信頼に行える技術が開示されている。

特開平２０００−１１２５５８号公報

しかしながら、移動端末に多くのセンサを搭載して、各種情報をリアルタイムで送信しても、その情報を適切に処理し、さらには判り易く表示しなければ災害現場の状況を把握することは困難である。

本発明はこのような問題点に鑑みなされたものであり、災害現場に携わる者の状態や災害現場の状況を客観的かつ的確に把握することができ、状況に応じた指示を的確に伝達することができる端末装置、管理装置、無線通信システム、および撮像画像表示方法を提供することを目的とする。

使用者の状態および使用者の環境を監視するための端末装置であって、通信を行う通信部および前記通信部を備えた前記端末装置の使用者、に関する状態を内部事象情報として検出する内部事象検出部と、前記使用者の置かれた環境である外部事象を外部事象情報として検出する外部事象検出部と、を備え、前記内部事象情報および前記外部事象情報を前記通信部により送信することを特徴とする端末装置を提供する。

複数の端末装置が各々備える複数の異なるセンサが検出し時刻に同期した情報を受信して管理する管理装置であって、受信する前記情報となる前記複数の種類のセンサが検出するのは、通信を行う前記端末装置の通信部および前記通信部を備えた端末装置の使用者、に関する状態である内部事象情報と、前記使用者の置かれた環境である外部事象情報と、から成り、前記内部事象情報は、前記通信部の通信維持に必要なパラメータを検出した情報、前記使用者の生体情報を検出するセンサにより検出した情報、および前記使用者の生体維持に必要な機器の状態を検出した情報であり、前記外部事象情報は、前記使用者の位置情報、前記使用者の外部環境を、少なくとも光学的に検出した撮像情報、撮像方向の方位情報であり、前記撮像情報は、少なくとも可視光撮像情報または赤外線撮像情報のいずれか一方であって、前記管理装置の使用者の操作を受け付ける操作部と、前記管理装置の機能を実行する実行部と、前記管理装置の状態を表示するモニタと、を備え、前記実行部の機能は、前記端末装置の各々から送られた位置情報に基づいて、前記モニタに表示される地図画面上の位置に前記使用者を判別可能とする所定のアイコン表示し、前記端末装置の各々から送信された内部事象情報の少なくとも１つを所定のフォーマットで前記アイコンの直近に表示し、前記端末装置の各々から送信された内部事象情報のいずれかが所定の閾値を超えた場合には、超えた内部事象情報を所定のフォーマットで前記アイコンの直近に追加して表示すること、を特徴とする管理装置を提供する。

端末装置から時間同期した位置情報と、撮像情報と、撮像方向の方位情報とを受信し、前記位置情報の位置を３Ｄ地図画面の下部中央をとし、前記方位情報の方位を前記３Ｄ地図画面の上部中央として画面上に表示し、前記位置情報に基づく画面上の位置に前記撮像情報の画像を重畳する撮像画像表示方法を提供する。

本発明によれば、災害現場に携わる者の状態や災害現場の状況を客観的かつ的確に把握することができ、状況に応じた指示を的確に伝達することができる端末装置、管理装置、無線通信システム、および撮像画像表示方法を提供することができる。

本発明の実施形態に係る無線通信システムの概略を示す図である。 本発明の実施形態に係る端末装置１００を示すブロック図である。 本発明の実施形態に係る端末装置１００の事象センサ郡１２６を示すブロック図である。 本発明の実施形態に係る基地局装置２００を示すブロック図である。 本発明の実施形態に係る基地局装置２００および管理装置３００を備えた管理局５００の構成を示す概略図である。 本発明の実施形態に係る管理装置３００を示す機能ブロック図である。 本発明の実施形態に係る端末装置１００を備えた消防隊員８３０の概略図である。 本発明の実施形態に係る管理装置３００のモニタ３５０に災害現場の地図平面図を表示した例である。 消防隊員８３０のアイコンの表示例を説明するための図である。 本発明の実施形態に係るドロップダウンメニューの例である。 本発明の実施形態に係る２Ｄマップモードの表示例である。 本発明の実施形態に係る３Ｄマップモードの表示例である。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１は、本発明の一実施形態に係る無線通信システムの構成を示す図である。実施形態における無線通信システムは、複数の端末装置１００Ａ、１００Ｂ、１００Ｃ、１００Ｄと、基地局装置２００と、管理装置３００とを備える。特定の端末装置を示さない場合は端末装置１００と記載することとし、端末装置１００を備える側（人や車両等）を移動局と記載する。また、基地局装置２００と、管理装置３００と、電源装置４００とを備える側を管理局５００と記載する。管理局５００側の特定の装置を示さない場合は、装置の全てを総称して管理装置とする。

端末装置１００は、端末装置１００同士と、または基地局装置２００を介して管理装置３００と通信を行う。通信は、図示しない中継局を介した通信であってもよい。さらに端末装置１００は、衛星１０より信号を受信し、端末装置１００の各々が存在する位置を検出する機能を備える。

端末装置１００は、検出した位置を含む端末装置１００に関する情報や、端末装置１００を操作する人の情報といった内部の事象、および周辺で起きている外部の事象を検出し、それらの事象を事象情報として送信する。事象情報の各々は時刻に同期していることが望ましい。つまり同一時刻に検出された事象であることを意味する。事象の詳細は後述する。

基地局装置２００は、事象情報を受信して管理装置３００に伝送する。

管理装置３００は、基地局装置２００が受信した事象情報を管理する。管理装置３００の指揮者は、管理装置３００の表示等の報知手段からの報知情報より状況を把握し、移動局側に対する指示を適時発信する。指示は音声通信を主に行うが、文字通信、図形通信、画像通信でもよい。

図２は、本発明の実施形態に係る端末装置１００を示すブロック図である。端末装置１００は、大きく分けて通信部１００−１、センサ部１００−２、およびバッテリ１００−３を備える。通信部１００−１は、通信用アンテナ１０２、送受信部１０４、信号処理部１０６、制御部１１０、マイク１１２、スピーカ１１４、表示部１１６、操作部１１８、およびインターフェース部１２０を備える。センサ部１００−２は、事象センサ郡１２６（内部事象センサ郡１２６−１、外部事象センサ郡１２６−２）を備える。バッテリ１００−３は、通信部１００−１に電力を供給する。センサ部１００−２に対する電力の供給は、通信部１００−１のインターフェース部１２０を介して供給されるか、もしくは自身でバッテリを備える。

信号の流れに沿って端末装置１００の動作を説明する。

アンテナ１０２は、他の端末装置１００や基地局装置２００からの信号を受信し、送受信部１０４に受信信号を伝送する。送受信部１０４は、受信信号を検波し、検波信号を信号処理部１０６に伝送する。信号処理部１０６は、検波信号をＤ／Ａ変換し、復号処理を行う。復号された復号信号が音声信号である場合には、音声信号処理部１０６−２により音声信号に復調してスピーカ１１４に出力する。スピーカ１１４は、音声信号を音声に変換して出力する。以上の流れにより他の端末装置１００や基地局装置２００から送信された音声信号を復調して音声を出力する。

マイク１１２は、操作者の声や周囲の音を検出して音声信号に変換し、信号処理部１０６の音声信号処理部１０６−２へ出力する。音声信号処理部１０６−２は、音声信号を所定の通信方式のフォーマットに変換する。詳細には、音声信号処理部１０６−２は、音声信号をＡ／Ｄ変換してデジタル音声信号とし、デジタル音声信号をボイスコーデックにより通信フレームの所定のフレームの位置に分割されたデジタル送信音声信号とし、デジタル送信音声信号の各データを所定のシンボルに割り振った変調信号に変換して送受信部１０４に伝送する。送受信部１０４は、変調信号を所定の変調形式で変調して被変調信号とし、アンテナ１０２に伝送する。アンテナ１０２は、被変調信号を電波として出力する。以上の流れによりマイク１１２より入力された音声を変調し、他の端末装置１００や基地局装置２００に対して送信信号を出力する。

以上のようにして端末装置１００は、他の端末装置１００や基地局装置２００と音声通信を行う。

信号処理部１０６で復号された復号信号がデータ信号である場合、データ信号処理部１０６−１は、データ信号を復調し、復調されたデータを制御部１１０に出力する。制御部１１０は、復調されたデータに基づいた処理を行う。

制御部１１０は、端末装置１００の各部の制御を行う。制御部１１０は、送受信部１０４の送受信のタイミング、送信パワー、パワーマネジメントの制御を行う。制御部１１０は、音声信号処理部１０６−２に対して、送信変調処理、受信復号復調処理の指示を行う。また制御部１１０は、データ信号処理部１０６−１に対して、後述するセンサ部１００−２からの各種事象情報のデータの送信変調処理、受信信号の復号復調処理の指示を行う。

さらに制御部１１０は、端末装置１００の状態を示す表示データを表示部１１６に出力する。また、制御部１１０は、操作部１１８から端末装置１００の操作者の操作を受け付けた操作データが入力され、操作データに対応した処理を行う。

制御部１１０は、インターフェース部１２０を介して事象センサ郡１２６で得られた事象情報のデータである事象データが入力され、所定のタイミングで所定の事象データをデータ信号処理部１０６−１に出力する。データ信号処理部１０６−１は、事象データを符号化し、さらに変調信号とする。送受信部１０４は、変調信号を変調して被変調信号とし、アンテナ１０２より被変調信号として送信される。

制御部１１０は、インターフェース部１２０を介して、事象センサ郡１２６の各種センサからのデータ送出のタイミング制御および各種センサのパワーマネジメント制御を行う。

インターフェース部１２０は、事象センサ郡１２６の各種センサからのデータを受け付けるが、通信手段は問わず、有線または無線による近距離通信手段（Ｗｉ−Ｆｉ，Ｂｌｕｅｔｏｏｔｈ（登録商標）等）であってもよい。

図３は、本発明の実施形態に係る端末装置１００の事象センサ郡１２６を示すブロック図である。外部事象センサ郡１２６−１と内部事象センサ郡１２６−２とを備える。

本発明における外部事象とは、端末装置を使用する人または物の外部環境で起こる変化の事としている。また本発明における内部事象とは、端末装置を使用する人または物そのものの変化の事としている。外部事象および内部事象を総称し、単に事象と記載する場合もある。

外部事象センサ郡１２６−１が備えるセンサは、端末装置１００を使用している環境を様々な方法により検出する。例えば、外気温センサ１２６−１Ａ、外気湿度センサ１２６−１Ｂ、気圧センサ１２６−１Ｃ、ガスセンサ１２６−１Ｄ、および放射線センサ１２６−１Ｅ、可視光カメラ１２６−１Ｆ、赤外線カメラ１２６−１Ｇ、超指向性マイク１２６−１Ｈおよび距離センサ１２６−１Ｊといったセンサにより使用環境の雰囲気や状況を検出するセンサ郡、位置センサ１２６−１Ｋおよび方位センサ１２６−１Ｌといった使用者の位置や向きを検出するセンサ郡とを備え、端末装置１００の使用者の使用環境の状況を検出する。

位置検出に関しては、例えば、全地球航法衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ: ＧＮＳＳ）用の衛星からの測位用の電波を受信することによって、端末装置１００の位置情報を取得する。ＧＮＳＳは、一例としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）である。ＧＮＳＳ用の衛星からの電波を受信する代わりに、または、ＧＮＳＳ用の衛星からの電波を受信するのに加えて、図示していないジャイロによって位置情報を取得してもよい。さらには衛星でなくＷｉ−Ｆｉスポット等から取得したＩＰアドレスから位置を特定してもよい。

本発明の一実施形態に係る内部事象センサ郡１２６−２が備えるセンサは、端末装置１００その物の状態（通信維持に必要なパラメータで、例えば電池残量）や端末装置１００を使用する使用者の状態を様々な方法により検出する。例えば、体温センサ１２６−２Ａ、心拍センサ１２６−２Ｂ、呼吸センサ１２６−２Ｃおよび加速度センサ１２６−２Ｄ、といったセンサにより、端末装置１００の使用者の身体の状態を検出するセンサ郡と、酸素残量センサ１２６−２Ｅおよび電池残量センサ１２６−２Ｆ、といったセンサにより無線端末１００およびその使用者の活動限界を検出するセンサ郡とを備える。

図４は、本発明の実施形態に係る基地局装置２００を示すブロック図である。基地局装置２００は、実質的に通信部２００−１であり、端末装置１００の通信部１００−１と同様の構成を備える。基地局装置２００の通信に係る変調、復調といった動作は、端末装置１００と同じである。インターフェース部２２０を介して管理装置３００より表示および操作は可能とされるため、表示部２１６、操作部２１８は備えていなくてもよい。また、インターフェース部２２０を介して管理装置３００よりマイクからの音声入力やスピーカへの音声出力も可能とされるため、マイク２１２およびスピーカ２１４は備えていなくてもよい。

基地局装置２００は、各通信端末１００と音声信号による通信を可としている。

基地局装置２００は、各通信端末１００より送信される事象データを受信し、管理装置３００へ伝送する。また、基地局装置２００は、管理装置３００からの文字、図形、画像といった情報がデータ化された信号を各端末装置１００に対して送信する。以上により管理装置３００と各通信端末１００とは基地局装置２００を介して各種データによる通信を可としている。

図５は、本発明の実施形態に係る基地局装置２００および管理装置３００を備えた管理局５００の構成を示す概略図である。基地局装置２００および管理装置３００は、電源装置４００から電源を供給される。電源装置４００は、商用電源、発電機、バッテリ等、基地局装置２００および管理装置３００に対して必要な電圧、十分な電流を供給できるものであればよく、さらに無停電電源を備えていてもよい。

図６は、本発明の実施形態に係る管理装置３００を示す機能ブロック図である。管理装置３００は、コンピュータ３０２と周辺機器３０４を含む。管理装置３００の機能の実行は、コンピュータ３０２内で実行されるソフトウェアである。

周辺機器３０４に関しては、デスクトップ型のようにキーボード３５２−１、ポインティングデバイス３５２−２、モニタ３５０を別途必要とする構成としているが、ラップトップ型ＰＣのように一体となっている構成であってもよい。コンピュータ３０２のハードウェア構成は任意であり、機能を実現するためのソフトウェアが実行できればよい。

コンピュータ３０２は、周辺機器Ｉ／Ｆ部３０６、データ通信Ｉ／Ｆ部３０８、音声通信Ｉ／Ｆ部３１０、記憶部３１２、および演算処理部３１４を備える。

周辺機器Ｉ／Ｆ部３０６は、管理装置３００を操作する指揮者とのインターフェースとなるキーボード３５２−１、ポインティングデバイス３５２−２、管理装置３００の状態を表示するモニタ３５０といった周辺機器３０４との情報の伝送を行う。データ通信Ｉ／Ｆ部３０８は、基地局装置２００を介して端末装置１００とデータ通信を行うための情報の伝送を行う。音声通信Ｉ／Ｆ部３１０は、基地局装置２００のインターフェース部２２０が音声通信のインターフェースもサポートしている場合に、管理装置３００側にて音声の入出力を行う際に使用される。記憶部３１２は、グループ化された複数の端末装置１００の個々の情報、端末装置１００の使用者の個人データ、２Ｄおよび３Ｄの地図データを記憶している。

演算処理部３１４は、周辺機器Ｉ／Ｆ部３０６、データ通信Ｉ／Ｆ部３０８、音声通信Ｉ／Ｆ部３１０、および記憶部３１２の制御と、各種データの加工処理、解析処理を行う。

図７は、本発明の実施形態に係る端末装置１００を備えた移動局の例として消防隊員８３０の概略図を示す。端末装置１００を使用する消防隊員８３０は、内部事象センサ郡１２６−２の例として各種の生体情報を検出する生体センサ（体温センサ１２６−２Ａ、心拍センサ１２６−２Ｂ、呼吸センサ１２６−２Ｃ）を身体から検出可能な状態として装備する。身体の情報ではないが活動限界の指針の一つとなる酸素ボンベの酸素残量を検出する酸素ボンベ残量センサ１２６−２Ｅ、活動しているか否かを検出するマンダウンセンサ１２６−２Ｄを装備する。また外部事象センサ郡１２６−１の例として自身が置かれている環境温度を検出する外気温度センサ１２６−１Ａ、有毒ガスの濃度を検出するガスセンサ１２６−１Ｄ、また周辺環境を視覚的に検出する可視光カメラ１２６−１Ｆ、視覚的に温度を検出する赤外線カメラ１２６−１Ｇ、前記カメラの撮像方向の方位を検出する方位センサ１２６−１Ｌ、を装備するが消防隊員にとって正面つまり視線の方向となるようヘルメットの前部に備えるのが望ましい。

図７には図示しないが、災害現場の状況に応じて外気湿度センサ１２６−１Ｂ、気圧センサ１２６−１Ｃ、放射線センサ１２６−１Ｅ、超指向性マイク１２６−１Ｈ、対象物距離センサ１２６−１Ｊといったセンサ類を装備してもよい。

これらセンサ郡からの情報は、Ｗｉ−Ｆｉ、Ｂｌｅｕｔｏｏｔｈ等の近距離通信手段により端末装置１００の通信部１００−１に収集される。各センサは、他の消防隊員が装着するセンサを検出しないように夫々個々の通信部１００−１とペアリングされる。

消防隊員８３０の個々の心拍数や呼吸数といった生体センサから得られる生体情報を端末装置１００より管理局５００に送信し、管理局５００の管理装置３００で個々の消防隊員の生体の状態を監視する。また生体情報ではないが、個々の消防隊員の酸素ボンベ残量センサから得られる酸素ボンベの酸素残量情報も、生体情報と同様に、端末装置１００より管理局５００に送信し、管理局５００の管理装置３００で個々の消防隊員の状態を監視する。

消防隊員８３０の正面から撮像センサにより撮像した撮像情報、位置センサから得られる位置情報、方位センサから得られる方位情報、外気温度センサやガスセンサから得られる周囲の雰囲気情報を端末装置１００より管理局５００に送信し、管理局５００の管理装置３００で個々の消防隊員８３０の周辺の状態を監視する。撮像方向は消防隊員の正面つまり目線の方向であり、方位センサもこれと同じ方向を方位情報とすることが望ましい。

火災現場で消防活動中の消防隊員８３０は、端末装置１００より自身の内部事象（生体情報等）および外部事象（撮像情報等）を随時送信することにより、管理局５００側にいる指揮者に対して、消防隊員８３０の危険度および現場の状況を客観的かつ的確に判断することができる情報を提供することができる。

また近年のドローン等の無人航空機が小型で性能が良くなってきたため災害現場においても使用されている。ドローンは消防隊員のように生体ではないが、消防隊員８３０と同様に移動局となり、端末装置１００を搭載し、航空するために必要な燃料や電池の残量、ローターの状態を内部事象とし、搭載した撮像センサ（可視光センサ、赤外線センサ）、位置センサ（ＧＰＳ）、方位センサ等の各種センサから得られる情報を外部事象として、それらの情報を管理局５００に送信することにより、管理局５００側にいる指揮者に対して、現場の状況を客観的かつ的確に判断することができる情報を提供することができる。また、消防自動車や救急車はすでにロケーションシステムを搭載することが一般的となっているので、それらの位置情報も現場の状況を客観的かつ的確に判断することができる情報を提供することができる。

しかしながら、的確に指示を行うためには、多くの情報から得られる状況を判りやすく表示する方法が必要となる。

管理装置３００は、災害現場の状況解析機能、災害現場における消防隊員のヘルスチェック機能、通信の割り当てを行うディスパッチ機能を備える。

まずは災害現場の状況解析機能を説明する。

図８は、本発明の実施形態に係る管理装置３００のモニタ３５０に災害現場の地図平面図を表示した例である。なお、地図上に表示されるアイコンは、特殊な場合を除き、円とその中心からの引き出し線と引き出し線の上下に数字や記号の情報を表示する形態としている。

図８は、建造物８００が火事となっている状況であり、火の手８１０−１，８１０−２，８１０−３が現状燃えていることを示している。火の手の範囲は破線の円の大きさで概略を表し、それら火の手のそれぞれに表示されている数字は温度であり、矢印は温度が上昇中か下降中かを表している。これらの火の手の温度、位置および規模は、ドローン８２０に搭載された赤外線温度センサ（赤外線カメラ１２６−１Ｇ）、距離センサ１２６−１Ｊ、方位センサ１２６−１Ｌ、位置センサ１２６−１Ｋの各種センサの情報より、管理局側にて推定が可能となり、その状況を模式的に表示している。ドローン８２０の位置は自身に搭載したＧＰＳにより位置がわかる事から、その位置より撮像された方位は方位センサにより決定され、距離センサにより火の手までの距離が測位され、赤外線温度センサにより温度が測位される。距離と撮像範囲とから規模も推測することは可能である。また時間的な経緯から温度が上昇中であるか下降中であるかを推定することが可能となる。

図８では、消防隊員８３０（８３０−１〜５）は、火災現場の地図平面上の現在位置にアイコンで表示される。図９は、消防隊員８３０のアイコンの表示例を説明するための図である。消防隊員アイコンは、円に十字で、十字の交点が地図上での位置を表している。また、消防隊員アイコンは、吹き出し線を備え、上部は消防隊員の名前やニックネーム、下部は各種情報を表示する情報表示欄であり生体情報等が表示される。情報表示欄は、通常は心拍数を表示している。図９のように心拍数であることを意味するための記号（図ではハート）、心拍数、さらに心拍数が上昇中か下降中か変化が無いか、を上下矢印またはダッシュで表している。基本的に情報表示欄に表示される情報は数値化できる情報であり、その情報を意味する記号と数値および必要に応じて変化方向を示す記号または単位とからなる。

図９のＡに示す消防隊員アイコンの表示例は、ニックネームはＴｏｍ、心拍数は６５で安定していることを示している。管理装置３００は、それぞれの消防隊員の内部事象情報および外部事象情報を得ているため、数値による情報は閾値を設定して、それを超えた場合に、消防隊員アイコンの情報表示欄に、閾値を越えたことを示す情報の表示を追加する。図９のＢに示す消防隊員アイコンの表示例は、ニックネームはＪｏｈｎ、心拍数は１２２で上昇傾向、ここでＪｏｈｎの呼吸数の管理装置側での閾値が設定された値を超えたため情報表示欄に呼吸数の表示が追加されている状態を示している。Ｖは呼吸数を示す記号として用いていて、毎分９５回で上昇傾向であることを示す。図９のＣに示す消防隊員アイコンの表示例は、ニックネームはＢｏｂ、心拍数は９８で下降傾向、Ｏ２は酸素ボンベ残量値を示す記号として用いていて、残量が管理装置側での閾値以下となったため３０%の残量であることを示す表示が情報表示欄に追加された状態を示している。

消防隊員の向きは、方位情報を基に前記円と前記十字とよりなる円弧部分の塗り潰しにより表している。表示の上方の方位を北とすると、四分の一が塗り潰されている場合は、塗り潰されている方向により、概ね、南東、南西、北西、北東の方位を向いていることを表し、半円で塗り潰されている場合は、塗り潰されている方向により、概ね、東、南、西、北を向いていることを表す。現場の状況を客観的かつ的確に判断するためには、詳細な方位の角度までは必要は無く、上記の例では、８方向として概ねどちらを向いているかを容易に認識させることができる。地図表示の上方の方位を北とすると、図９のＴｏｍの向きは概ね南西であり、Ｊｏｈｎの向きは概ね北であり、Ｂｏｂの向きは概ね北東であることがわかる。また、ドローン８２０に関しても同様にアイコンにより向きを認識することができる。

図９のＤに示すアイコンは、ニックネームはＤｅｃｋ、向きの塗り潰しが消えているのはマンダウンの状態であることを示している。さらには心拍数が検出されない、ことから心肺停止状態である可能性が高く、早急に回復処置を必要としていることが判る。なおマンダウンの検出に関しては、近年の業務用途の携帯型無線機には、加速度センサを搭載しマンダウンを検出する機能を搭載しているものも多く、その検出を利用してもよい。

図９のＥに示すアイコンは、ドローンのアイコンの表示例を示している。ドローンのアイコンは、通常時は、円に十字で地図上での位置を表している点は消防隊員と同じであるが、それに加えて、４ローターのプロペラを表す線が十字の先端に加わる。ローターに異常が発生した場合、異常がある箇所の線が消える、色が変わる、点滅するといったことにより異常を知らせる。それ以外の差異は撮像による情報収集が主な目的であることから、撮像方向が重要と考えられるため、向きを消防隊員８３０より明確にするため、矢印にて向きを示すようにしている。情報表示欄は、通常、内部事象情報である電池残量を表示する。

図８に戻る。救急車８４０や消防車８５０といった車両は、その現在位置に明確となる様なアイコンで表示される。この地図平面上にアイコンが表示されている状態を以降２Ｄマップモードと記載する。

先に説明したように、アイコンより消防隊員８３０やドローン８２０の向きが判るようになっている。その向きは、方位センサ１２６−１Lに基づき、撮像センサ（可視光カメラ１２６−１Ｆ、赤外線カメラ１２６−１Ｇ）が撮像する方位としていることから、管理局５００側では、所定の消防隊員８３０の撮像画像を管理装置３００のモニタ３５０に表示することにより、災害現場の情報を消防隊員の目線で視覚的に把握することができる。

操作の例を説明する。通常は２Ｄ地図画像に消防隊員８３０、ドローン８２０、救急車８４０、消防車８５０等が、現在の位置情報に基づいて表示されている。ドローン８２０により災害現場を俯瞰でみた状況は判るものの、建造物８００の火の手が上がっている反対側の火災の状況までは把握できない。そこで、画面上では消防隊員Ｅｒｉｃ（８３０−４）は、火の手に最も近く、さらには火の手の方向を向いていることが判る。この火災の状況の詳細を確認するため、まずはＥｒｉｃのアイコンを、ポインティングデバイス３５２−２を使って選択する。選択する手段はマウスカーソル９５０を合わせてマウスの左クリックといった一般的なＰＣの操作でもよい。その後選択されたＥｒｉｃのアイコン上で右クリックすることで、Ｅｒｉｃから提供可能な内部事象情報および外部事象情報を選択するメニューがドロップダウンメニューで表示される。

図１０は、本発明の実施形態に係るドロップダウンメニューの例である。メニューの最上部は、消防隊員を判別するためのニックネームであり、それ以下の段に機能名が並ぶよう表示される。「１．ＲＥＡＬ ＶＩＥＷ」は、リアルタイムの可視光の撮像画像であり、これを選択すると、消防隊員８３０が装備する可視光カメラ１２６−１Ｆが撮像した画像を表示させる。「２．ＴＥＭＰ．ＶＩＥＷ」は、温度を可視化した撮像画像を意味し、これを選択すると、消防隊員８３０が装備する赤外線カメラ１２６−１Ｇが撮像した画像を表示させることができる。「３．ＴＥＭＰ．ＳＥＮＳ」は雰囲気温度の情報であり、これを選択すると選択した消防隊員８３０が検出している周囲温度を表示させる。むろんこれらの事象の選択に限らず、消防隊員８３０が装備している事象検出手段の一部または全て機能選択できてもよい。また、後述するディスパッチ機能で説明するグループコールや個別コールの機能を選択できるようにしてもよい。

図１０に示す「１．ＲＥＡＬ ＶＥＩＷ」を選択したとして説明を続ける。

特定の消防隊員８３０からの撮像画像を表示する場合、図１１に示す２Ｄマップモード上のマウスカーソル９５０で選択した消防隊員アイコンの位置に撮像画像を重ねて表示しても、地図情報と撮像画像に表示される対象との位置関係が判りにくい。そのため、撮像情報を提供する側の目線とした３Ｄ地図表示となることが望ましい。以降、３Ｄ地図表示を３Ｄマップモードと記載する。

図１２は、本発明の実施形態に係る３Ｄマップモードの表示例である。図１２に示すように、災害現場を３Ｄ地図表示とし、撮像情報を提供している消防隊員８３０の位置表示を３Ｄ地図の手前側つまりモニタ３００上の下部中央とすることにより、ほぼ消防隊員目線とし、撮像画像に映し出される対象が３Ｄ地図の表示により見える向きとなり、より災害現場の状況が視覚的に把握することが可能となる。また、ドローン８２０からの撮像情報であれば、上空から災害現場全体の情報を視覚的に把握することができる。前記したように、撮像情報を赤外線とすることにより温度の検出が可能となることから、災害が火災の場合には有益な情報を得られる。管理装置３００は、これらの有益な情報を管理装置３００の指揮者に対して提供することができる。

撮像情報の表示を開始するに際して、撮像している方位と地図画像の方位との関係が一致していることが望ましい。２Ｄ地図であっても、モニタ下部中央に撮像画像を表示し、モニタ上部中央を撮像している方位とすることで撮像している方位と地図画像の方位との関係を一致することができる。
しかしより、現場の状況を詳細に把握するためには、背景の画像となっている災害現場の２Ｄ地図画像を３Ｄ地図画像に切り替え、Ｅｒｉｃの実際の位置から見た方向となる様に、地図の方位を回転させることがより望ましい。撮像情報の撮像画像９９０を３Ｄ地図上におけるＥｒｉｃの位置または近傍に重畳する。以上によりＥｒｉｃからの目線と同じ向きで災害現場を視覚的に確認できることから、火災の状況が詳細に把握することが出来る。管理装置３００の指揮者は、この場合では撮像画像９９０から３階の窓に要ところに救助者９９９を確認できることから、はしご車やエアーマットの手配を行うといった対応の指示を迅速に行うことができる。

３Ｄマップモードであっても、撮像情報を提供している消防隊員やドローン以外のアイコンも３Ｄ地図上に表示されている。３Ｄマップモードでは、他の消防隊員のアイコンをクリックすることにより、クリックされたアイコンの位置の消防隊員からの撮像情報の撮像画像９９０に切り替わると共に、３Ｄ地図画像はクリックされた消防隊員の位置を手前として表示するように方位を変更する。この機能により、より迅速に様々な角度からの情報を得ることができる。

３Ｄマップモードから２Ｄマップモードに戻す操作は、キーボードのＥｓｃキーを押す、または撮像画像上で右クリックしドロップダウンメニューを表示させ、そのメニュー上の３Ｄマップ終了をクリックする、といった操作で行えばよい。以上、示した操作はあくまで一例であって、操作はこれに限らず適時システムにあった方法を選択すればよい。

図６に示す記憶部３１２の地図データ記憶部３１２−３には、本発明の一実施形態に係る無線通信システムを備えた消防局の管轄地域の２Ｄ地図情報および３Ｄ地図情報が記憶されている。図８に示す２Ｄマップモードの表示は、火災発生の連絡を受けた際、その連絡に火災現場の位置情報が含まれていれば、それを基に表示してもよい。むろん管理局５００側の指揮者が、連絡された住所を基に、管理装置３００の周辺デバイスであるキーボード３５２−１やポインティングデバイス３５２−２を用いて入力し、その結果を周辺機器Ｉ／Ｆ部３０６を介して、演算処理部３１４により、該当する位置を中心とした地図情報を地図データ記憶部３１２−３より取り出す。さらに取り出した地図情報を表示制御部３１４−２にて表示可能な情報に加工し、周辺機器Ｉ／Ｆ部３０６を介して、周辺機器３００４のモニタ３５０に表示させる。

本発明の実施例においては、消防隊員８３０の撮像方位は、消防活動中は常に動いてしまうことが想定される。その場合は、３Ｄマップモードにて撮像画像の表示を開始した際に、方位情報を地図画像の方位に反映させることをキャンセルする撮像画像表示方法とすることが望ましい。また、端末装置１００側にて、撮像情報の伝送を開始した時点で方位情報を固定しても同様の効果が得られる。むろん用途によってはリアルタイムに３Ｄ地図の方位を反映させてもよい。

次に災害現場における消防隊員のヘルスチェック機能を説明する。

管理装置３００は、個々の消防隊員８３０の詳細な状況を確認するヘルスチェックの機能を備える。前記したように各消防隊員は様々なセンサを装備し、そのセンサから得られる情報を管理局５００側に送信して蓄積している。ヘルスチェック機能においてモニタ３５０上に表示させる例としては、各消防隊員８３０より送信された内部事象情報における生体情報の少なくとも一つを表示させる。また蓄積された情報が数値化できる情報であれば、それぞれセンサの種類、消防隊員毎に閾値を設定し、閾値を超えた場合にその消防隊員の生体情報を表示させる。管理装置３００の個人データ記憶部３１２−４に消防隊員個々の生体情報の閾値を記憶しておき、センサ情報解析部３１４−１Ｂでセンサからの出力値と比較し、その結果は表示情報制御部３１４−２で表示の加工がなされ、周辺機器Ｉ／Ｆ部３０６を介して、モニタ３５０に出力される。表示のフォーマットは、図９に示したアイコン上に表示したり、選択された消防隊員８３０を地図画面の枠の外に別途ヘルスチェック表示用の枠（ヘルスチェック表示８６０）を設けて表示したり、図示しない第２のモニタに表示してもよい。

図１１は、ヘルスチェック機能を動作させた状態を示す。図１１のヘルスチェック表示８６０は、ヘルスチェックを行っている消防隊員Ｅｒｉｃ８３０−４の状態を表している。表示される内容としては、対象者本人の予め撮影しておいた顔画像８６０−１、その下にニックネームもしくは名前、そして事象表示８６０−２に各センサより得られた値や状態を示す表示が並ぶ。

基本的にヘルスチェック表示８６０に表示される情報は数値化できる情報であり、その情報を意味する記号と数値、および必要に応じて変化方向を示す記号または単位とからなる。図９のアイコンの説明でもしたが、心拍数を意味するハートの記号、心拍数、さらにはその心拍数が上昇傾向であるか下降傾向であるか、ほぼ一定であるかを示す記号を表示している。呼吸数を意味するＶの記号、呼吸数、さらにはその心拍数が上昇傾向であるか下降傾向であるか、ほぼ一定であるかを示す記号を表示している。体温を意味することとしたＢｔ（Ｂｏｄｙ Ｔｅｍｐｅｒｔｕｒｅ）の記号、体温値、さらにはその体温が上昇傾向であるか下降傾向であるか、ほぼ一定であるかを示す記号を表示している。さらには生体情報ではないが、消防隊員が携帯する酸素ボンベの残量も消防隊員の安全に関わる指標であることから、このヘルスチェック表示８６０に同時に表示することが望ましい。酸素残量を意味する記号としてＯ２、酸素残量率、加えてパーセントの記号を表示している。むろん残量率ではなく、絶対値（一般的には圧力でＭｐａ等）で表示される値であってもよい。

アイコンの情報表示欄の下部は、スペースも少ないため、閾値を超えた情報の表示が追加されることとしたが、ヘルスチェック表示８６０では、表示するスペースも広くとっているため、消防隊員８３０が装備するセンサ郡からの情報を可能な限り表示することができ、個別の消防隊員の身体の状態がより詳細に把握することができる。つまり各消防隊員の詳細表示手段である。また、数値化できる情報は、予め設定してある閾値を超えた場合、もしくは超える手前（たとえば９０％）の段階、といった状態で値の表示を点滅させたり、色を変えたりといったことにより、その情報を判りやすく認識させることができる。

ヘルスチェック機能とはしているものの、生体である消防隊員に限らず、ドローンであれば電池残量やローターの状態など、消防車や救急車であれば燃料残量や電装系等のセルフチェックされた情報が送信され消防隊員と同様な表示を行ってもよい。

ヘルスチェック機能において、選択できる消防隊員８３０は、複数でもよい。

次に現場への指揮を行うためのディスパッチ機能を説明する。通信におけるディスパッチ機能とは端末装置１００間の通信設定や、複数の端末装置１００のグループの作成およびグループの解除等、通信に関わる交換機の機能を意味する。

管理装置３００は、指揮者に対してモニタ３５０の表示や音声による通信から現場の状況を提示し、消防隊員８３０に指揮者からの指示を伝送する。消防隊員８３０への指示は、消防活動を妨げることなく行う必要があるため音声による指示が望ましい。通常は情報の共有のため、全ての通信はグループ内での一対多の一斉通報とされる。また特定の相手とのみ通信を行いたい場合には個別コードを指定することにより一対一もしくは選択した複数の個別コードの局のみと通信することができる。グループは、端末装置１００および基地局装置２００に予め設定され記憶されたグループコードにより定まる。指揮者は、複数のグループがある場合には、管理装置３００の操作により、複数のグループの一つもしくは複数を選択することも可能である。グループコードや個別コードは、無線通信装置の規格や仕様により定まるものであり周知の技術であるため詳細は省略する。

消防隊員は現場の作業を行いながらの通信となるため、グループや個別コードの選択の作業を行うのは容易ではない。そのため管理装置３００のディスパッチ機能により通信相手の選択と設定を行う。管理装置３００のディスパッチ機能の操作を説明する。管理装置３００の指揮者は、モニタに表示された２Ｄマップもしくは３Ｄマップ上の、特定の消防隊員８３０のアイコンにマウスカーソルを合わせ、左ボタンのクリックにより消防隊員を選択する。言い換えるとアイコンを選択するアイコン選択手段である。この際ヘルスチェック機能が働くことは前記したが、さらに基地局装置２００のＰＴＴの操作を行うことによりマウスカーソルを合わせた消防隊員との個別の通信を開始する。むろんヘルスチェック機能で記載したが、消防隊員一人だけではなく複数も選択が可能であることから、選択された複数の隊員に一斉通報が可能としてもよい。

また消防士８３０を複数選択する手段は、右クリックを押したまま複数の消防隊員８３０を円等で囲み、その囲い込みの軌跡が表示され囲まれた消防隊員が一時的にグループ化されてもよい。以降、一時的にグループ化されたグループを臨時グループと記載する。囲い込み内を再度右クリックすることで臨時グループにのみ同時配信を行うことができる。また囲い込みが終わった状態で右クリックを押したままであれば臨時グループにのみ同時配信を開始してもよい。操作に関しては、シングルクリックで選択、選択された状態となるとアイコンの配色が変化し、もう一度クリックすることで通信を開始してもよい。

本実施例によれば、災害現場に携わる者の状態や災害現場の状況を客観的かつ的確に把握することができ、状況に応じた指示を的確に伝達することができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 衛星
１００ 端末装置
１００−１ 通信部、 １００−２ センサ部
１２６ 事象センサ郡、 １２６−１ 外部事象センサ郡、 １２６−２ 内部事象センサ郡、
２００ 基地局装置
２００−１ 通信部
３００ 管理装置
３０２ コンピュータ、 ３５０ モニタ
４００ 電源装置
５００ 管理局

Claims (19)

1. 使用者の状態および使用者の環境を監視するための端末装置であって、
   通信を行う通信部と、
   前記通信部および前記通信部を備えた前記端末装置の使用者、に関する状態を内部事象情報として検出する内部事象検出部と、
   前記使用者の置かれた環境である外部事象を外部事象情報として検出する外部事象検出部と、を備え、
   前記内部事象情報および前記外部事象情報を前記通信部により送信することを特徴とする端末装置。
2. 前記内部事象情報の各々および前記外部事象情報の各々は、時刻に同期した情報として前記通信部により送信されることを特徴とする請求項１に記載の端末装置。
3. 前記内部事象情報は、前記通信部の通信維持に必要なパラメータを検出した情報、および前記使用者の生体情報を検出するセンサにより検出した情報であることを特徴とする請求項２に記載の端末装置。
4. 前記内部事象情報は、さらに前記使用者の生体維持に必要な機器の状態を検出した情報を含むことを特徴とする請求項３に記載の端末装置。
5. 前記外部事象検出部は、前記使用者の外部環境を、少なくとも光学的に検出する撮像手段を備えることを特徴とする請求項３または請求項４に記載の端末装置。
6. 前記外部事象検出部は、前記撮像手段により検出する撮像方向を方位として検出する方位検出手段を備えることを特徴とする請求項５に記載の端末装置。
7. 前記撮像手段は、可視光撮像手段または赤外線撮像手段の少なくともいずれか一方を備えることを特徴とする請求項６に記載の端末装置。
8. 複数の端末装置が各々備える複数の異なるセンサが検出し時刻に同期した情報を受信して管理する管理装置であって、
   受信する前記情報となる前記複数の種類のセンサが検出するのは、通信を行う前記端末装置の通信部および前記通信部を備えた端末装置の使用者、に関する状態である内部事象情報と、前記使用者の置かれた環境である外部事象情報と、から成り、前記内部事象情報は、前記通信部の通信維持に必要なパラメータを検出した情報、前記使用者の生体情報を検出するセンサにより検出した情報、および前記使用者の生体維持に必要な機器の状態を検出した情報であり、前記外部事象情報は、前記使用者の位置情報、前記使用者の外部環境を、少なくとも光学的に検出した撮像情報、撮像方向の方位情報であり、前記撮像情報は、少なくとも可視光撮像情報または赤外線撮像情報のいずれか一方であって、
   前記管理装置の使用者の操作を受け付ける操作部と、
   前記管理装置の機能を実行する実行部と、
   前記管理装置の状態を表示するモニタと、を備え、
   前記実行部の機能は、
   前記端末装置の各々から送られた位置情報に基づいて、前記モニタに表示される地図画面上の位置に、前記使用者を判別可能とする所定のアイコンを表示させ、前記端末装置の各々から送信された内部事象情報の少なくとも１つを所定のフォーマットで前記アイコンの直近に表示させ、前記端末装置の各々から送信された内部事象情報のいずれかが所定の閾値を超えた場合には、超えた内部事象情報を所定のフォーマットで前記アイコンの直近に追加して表示させること、を特徴とする管理装置。
9. 前記管理装置は、
   モニタ上に表示された前記アイコンを選択するアイコン選択手段を備え、
   選択されたアイコンの対象となっている端末装置および使用者の内部事象情報および外部事象情報の少なくともいずれか一つの詳細な情報を表示する詳細表示手段を備えることを特徴とする請求項８に記載の管理装置。
10. 前記管理装置は、
    前記アイコン選択手段により選択したアイコンに対して、任意の内部事象情報または外部事象を選択して表示を行う事象選択表示手段を備えることを特徴とする請求項９に記載の管理装置。
11. 前記管理装置は、
    前記事象選択手段により、前記撮像情報を選択した場合に、
    選択されたアイコンがモニタ画面上の下部中央の位置で前記方位情報に基づく方位がモニタ画面上の上部中央となるよう、背景となる地図画面を回転させ、
    アイコンの直近またはアイコン上に撮像情報を表示することを特徴とする請求項１０に記載の管理装置。
12. 前記管理装置は、
    前記事象選択手段により、前記撮像手段を選択した場合であって、
    選択されたアイコンがモニタ画面上の下部中央の位置で前記方位情報に基づく方位がモニタ画面上の上部中央となるよう、背景となる地図画面を回転させる際に、地図画面を３Ｄ地図表示とすることを特徴とする請求項１０に記載の管理装置。
13. 前記管理装置は、
    事象選択手段により、前記撮像情報を選択した場合であって、
    撮像情報の画像を表示するに際して、前記端末装置からの方位情報に基づいた地図画面の方位に反映させることをキャンセルすることを特徴とする請求項１１または請求項１２に記載の管理装置。
14. 前記実行部は、
    前記アイコン選択手段により選択された少なくとも１つの端末装置と、通信を可とするグループ設定機能を備えることを特徴とする請求項８から請求項１３のいずれか一項に記載の管理装置。
15. 前記管理装置が表示する端末装置１００のアイコンの表示は、
    円と、円の中心点を交点とする十字とし、
    十字の交点を端末装置の位置情報に基づく位置とし、
    端末装置の方位情報に基づいて、円と十字とからなる扇状となるエリアのいずれか１つの塗り潰した表示による４方向と、となりあった扇状を２つ塗り潰した表示による４方向とを合わせた８方向のいずれかとなる塗り潰しとすることを特徴とする請求項８から請求項１４のいずれか一項に記載の無線通信システム。
16. 複数の請求項７記載の端末装置と、請求項１５に記載の管理装置とを備えた無線通信システム。
17. 端末装置から時刻に同期した位置情報と、撮像情報と、撮像方向の方位情報とを受信し、
    前記位置情報の位置を３Ｄ地図画面の下部中央をとし、前記方位情報の方位を前記３Ｄ地図画面の上部中央として画面上に表示し、
    前記位置情報に基づく画面上の位置に前記撮像情報の画像を重畳する撮像画像表示方法。
18. 前記撮像情報の画像の重畳を開始した時点で、方位情報の変化を前記３Ｄ地図画面の方位に反映させることをキャンセルすることを特徴とする請求項１７に記載の撮像画像表示方法。
19. 複数の前記端末装置から選択した１つの端末装置からの位置情報と方位情報とに基づき、前記選択された端末装置の位置情報の位置を３Ｄ地図画面の下部中央をとし、前記選択された端末装置からの方位情報の方位を前記３Ｄ地図画面の上部中央として画面上に表示し、
    前記選択された端末装置の位置情報に基づく画面上の位置に、選択された端末装置からの撮像情報の画像を重畳する請求項１７から請求項１８のいずれか一項に記載の撮像画像表示方法。

Images