JP6020094B2 - Message communication device, message communication system, and message communication method - Google Patents
Message communication device, message communication system, and message communication method Download PDFInfo
- Publication number
- JP6020094B2 JP6020094B2 JP2012260943A JP2012260943A JP6020094B2 JP 6020094 B2 JP6020094 B2 JP 6020094B2 JP 2012260943 A JP2012260943 A JP 2012260943A JP 2012260943 A JP2012260943 A JP 2012260943A JP 6020094 B2 JP6020094 B2 JP 6020094B2
- Authority
- JP
- Japan
- Prior art keywords
- message
- sign board
- information
- imaging information
- appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Description
この発明は、撮像した映像を解析して検出された相手の見え方と位置情報から識別してメッセージ交換を確立するメッセージ通信装置およびメッセージ通信システムに関するものである。 The present invention relates to a message communication apparatus and a message communication system that establish a message exchange by identifying a partner's appearance and position information detected by analyzing captured images.
従来のメッセージ通信装置は、災害時に救助される側の端末から救助する側の端末へ位置情報を送信し、救助する側の端末で地図上に位置を表示することにより、救助する人を救助される人のところまで誘導するように構成されたものがあった(例えば特許文献1)。 A conventional message communication device can rescue a rescuer by transmitting position information from a rescue terminal to a rescue terminal and displaying the position on a map on the rescue terminal. Some have been configured to guide the person to a certain person (for example, Patent Document 1).
従来のメッセージ通信装置は、上記のように構成されているため、例えば地震などで建物が倒壊した場合には、平常時の地図と災害時の現場との対応を付けるのが難しく、救助される側の端末の位置が地図上に表示されても実際の場所を特定しにくいという課題があった。また、遠方に相手が見えている場合にその相手にメッセージを送るためにはメッセージ送信先を指定する必要があるが、相手の端末IDがわからないとメッセージを送信できないという問題があった。また、端末IDがわかったとしても、IDを指定する操作が煩雑になる、という問題があった。 Since the conventional message communication device is configured as described above, for example, when a building collapses due to an earthquake or the like, it is difficult to associate a normal map with the site at the time of a disaster, and it is rescued. Even if the position of the terminal on the side is displayed on the map, there is a problem that it is difficult to specify the actual location. Further, in order to send a message to a partner when the partner is seen from a distance, it is necessary to specify a message transmission destination. However, there is a problem that a message cannot be transmitted unless the partner's terminal ID is known. Moreover, even if the terminal ID is known, there is a problem that an operation for specifying the ID becomes complicated.
この発明は、上記のような問題点を解決するためになされたもので、メッセージを実際の映像の該当位置に重畳して表示することにより相手の居場所を容易に特定でき、また、相手の端末IDがわからなくても、実際の映像上で送信先を指し示すなど簡単な操作でメッセージ送信先を指定することができるメッセージ通信装置およびメッセージ通信システムを得ることを目的としている。 The present invention has been made to solve the above-described problems, and by displaying a message superimposed on a corresponding position of an actual video, the location of the other party can be easily specified, and the other party's terminal It is an object of the present invention to provide a message communication apparatus and a message communication system that can specify a message transmission destination by a simple operation such as pointing the transmission destination on an actual video without knowing the ID.
この発明に係るメッセージ通信装置は、撮影した映像を入力する映像入力手段と、前記映像の撮像情報を生成する撮像情報生成手段と、前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段とを備える。 The message communication device according to the present invention includes a video input unit that inputs a captured video, an imaging information generation unit that generates imaging information of the video, and a mark in a predetermined arrangement from the video corresponding to the imaging information. A sign board detecting means for detecting a provided sign board and outputting information on the screen coordinates and appearance of the detected sign board; and the imaging corresponding to the image in which the sign board detecting means detects the sign board. An imaging information transmitting means for transmitting an imaging information message to which information is added to the slave unit, and a reply message including information on how the sign board is seen estimated based on the imaging information received by the slave unit from the slave unit Of the information on the appearance of the sign board detected by the sign receiving means and the message receiving means to be received, the sign board on which the information on the appearance of the sign board included in the reply message is the same Associating means for associating and the video of detecting the signboard associated with the associating means, the body of the reply message is associated with the position of the screen coordinates of the signboard associated with the associating means Display means for combining and displaying.
また、この発明に係るメッセージ通信装置は、撮影した映像を入力する映像入力手段と、前記映像の撮像情報を生成する撮像情報生成手段と、前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、前記映像入力手段が入力した前記映像を表示する表示手段と、前記表示手段の表示画面上の画面座標を指定する座標指定手段と、前記表示手段に表示された前記映像に対応して前記標示板検出手段が検出した前記標示板の画面座標のうち、当該映像に対して前記座標指定手段が指定した前記画面座標と一致する標示板を指定する標示板指定手段と、前記標示板指定手段が指定した前記標示板の見え方の情報を送信メッセージに付加して前記子機に送信するメッセージ送信手段とを備える。 The message communication device according to the present invention includes a video input unit that inputs a captured video, an imaging information generation unit that generates imaging information of the video, and a predetermined arrangement from the video corresponding to the imaging information. A sign board detecting means for detecting a sign board provided with a mark and outputting information on the screen coordinates and appearance of the detected sign board, and the sign board detecting means corresponding to the image in which the sign board is detected An imaging information transmission unit that transmits an imaging information message with the imaging information added thereto to a slave unit, a display unit that displays the video input by the video input unit, and a screen coordinate on the display screen of the display unit are designated. Of the screen coordinates of the marking plate detected by the marking plate detection means corresponding to the image displayed on the coordinate designation means and the display means, the coordinate designation means designates the video. A sign board designating means for designating a signboard coinciding with the screen coordinates, and a message sending means for adding to the transmission message the information on the appearance of the signboard designated by the signboard designating means and sending it to the slave unit; Is provided.
この発明のメッセージ通信装置によれば、相手の端末IDがわからないときでも、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができるという効果がある。 According to the message communication device of the present invention, even when the other party's terminal ID is not known, the imaging information of the image corresponding to the sign board detected by the master unit is sent to the slave unit, and the information on how the sign board is seen from the slave unit. In addition, since the message was sent back and the information on the appearance was verified, the master unit correctly matched the slave unit even if there were multiple detected sign boards, and the position of the screen coordinates of the sign board There is an effect that it can be grasped on the image as the position of the slave of the message transmission source.
また、この発明のメッセージ通信装置によれば、相手の端末IDがわからないときでも、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後の親機から受信したメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認できるという効果がある。 Further, according to the message communication device of the present invention, even when the other party's terminal ID is not known, the image pickup information corresponding to the sign board detected by the master unit is sent to the slave unit, and the sign board estimated by the slave unit itself is transmitted. Since the information on the appearance is collated with the information on the appearance added to the message received from the subsequent master unit, the slave unit displays the information on the appearance of the sign board attached to the received message itself. Can be displayed and confirmed as a message addressed to the child device.
以下、この発明の実施の形態に係るメッセージ通信装置およびメッセージ通信システムについて説明する。 Hereinafter, a message communication device and a message communication system according to embodiments of the present invention will be described.
実施の形態1.
この発明の実施の形態1では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明する。
In the first embodiment of the present invention, a message with information on how to display the sign board is transmitted from the slave unit to the master unit, and the label board indicating the slave unit and the received message are associated with each other on the screen. What is synthesized and confirmed will be described.
図1は、この発明の実施の形態1に係るメッセージ通信システムの一例を示す構成図である。メッセージ通信システムは、例えば災害等の発生時に救助する側となるメッセージ通信装置(以下、親機という)10と救助される側となるメッセージ通信装置(以下、子機という)20から構成される。親機10は、情報処理装置11、メッセージ入力用キーボード12、表示装置13、測位用アンテナ14、通信用アンテナ15、カメラ16を備える。子機20は、情報処理装置21、メッセージ入力用キーボード22、表示装置23、測位用アンテナ24、通信用アンテナ25、標示板26を備える。
1 is a block diagram showing an example of a message communication system according to
図において、メッセージ通信装置の親機10と子機20は、無線通信でメッセージを交換するメッセージ通信システムを構成する。ここでは、メッセージ通信システムを親機10と子機20の1対1の構成で説明するが、1台の親機10に対して複数の子機20の構成、複数の子機20に対して複数の1台の親機10の構成、また複数対複数の構成で運用されることもありうる。情報処理装置11、21にコンピュータを採用してメッセージ通信装置を構成する場合、中央処理装置(CPU:Central Processing Unit)によりプログラムにより実行しても、拡張した専用のハードウェアで実行しても構わない。
In the figure, a
親機、子機の内部構成の各要素は、明示的に結線して示したが、必ずしも通信ケーブルによる結線を意味するものではなく、無線通信を利用することもできる。なお、図示したような個別の装置、デバイスを接続するのではなく、少なくとも一部を内蔵、統合した形態や一体化した形態の構成をとっても構わない。 Although each element of the internal configuration of the master unit and the slave unit is explicitly connected, it does not necessarily mean connection by a communication cable, and wireless communication can also be used. Instead of connecting individual devices and devices as shown in the figure, at least a part of them may be built in and integrated or integrated.
親機は、例えば救難用のヘリコプターなどに搭載される。親機側にはカメラが接続され、災害発生箇所の映像を取得する。親機の表示装置は、カメラ映像や複数の子機とのメッセージを表示できる程度の画面のものを用意し、マウスやキーボードを介さずに各種入力を行えるタッチパネル機能を備えていてもよく、画面タッチして位置を指定できればマウス(図示せず)を省略できる。また、画面上のソフトウェアキーボードを採用することで、メッセージ入力用キーボードを省略してもよい。 The parent aircraft is mounted on a rescue helicopter, for example. A camera is connected to the master unit, and images of disaster locations are acquired. The display device of the master unit is prepared with a screen that can display camera images and messages with multiple slave units, and may have a touch panel function that allows various inputs without using a mouse or keyboard. If the position can be specified by touching, the mouse (not shown) can be omitted. Further, the message input keyboard may be omitted by adopting a software keyboard on the screen.
また、子機は、例えば災害発生箇所の避難所などに設置される。子機側では、標示板を遠方からでも撮像しやすいように屋上などに掲げておく。子機の測位アンテナ24は、子機や標示板が固定設置であれば、常時必要とはならない。設置当初に測位した位置情報を記憶して利用してもよい。子機の表示装置23は、必ずしも親機の表示装置のような高機能なものでなくてもよく、例えば設置スペースや配備コスト、発生リスクなどの関係で、親機とメッセージの交換ができる比較的小規模な表示デバイスで適宜構成してもよい。さらに、映像が表示できないテキストベースのメッセージ表示デバイスで構成することも可能である。標示板を除く子機の構成は、携帯電話、スマートホン(多機能携帯電話)、タブレット型コンピュータ、PDA(Personal Digital Assistants)などに内蔵される形態でもよい。
In addition, the slave unit is installed at, for example, a shelter at a disaster occurrence site. On the handset side, the signboard is placed on the rooftop so that it can be easily imaged from a distance. The
図2は、この発明の実施の形態1に係るメッセージ通信装置(親機)の一例を示す機能ブロック図である。図において、親機100aは、映像入力手段101、撮像情報生成手段102、標示板検出手段103、撮像情報送信手段104、メッセージ受信手段105、対応付け手段106、表示手段107aを備える。
FIG. 2 is a functional block diagram showing an example of a message communication device (master unit) according to
メッセージ通信装置の親機100aにおいて、映像入力手段101は、撮影した映像を入力する。撮像情報生成手段102は、映像の撮像情報を生成する。標示板検出手段103は、撮像情報に対応する映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と見え方の情報を出力する。撮像情報送信手段104は、標示板検出手段103が標示板を検出した映像に対応する撮像情報を付加した撮像情報メッセージを子機に送信する。メッセージ受信手段105は、子機から該子機が受信した撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信する。対応付け手段106は、標示板検出手段103が検出した標示板の見え方の情報のうち、返信メッセージに含まれる標示板の見え方の情報が一致する標示板を対応付ける。表示手段107aは、対応付け手段106が対応付けた標示板を検出した映像に、返信メッセージの本文を、対応付け手段106が対応付けた標示板の画面座標の位置に関連付けて合成して表示する。
In the base unit 100a of the message communication apparatus, the
以下、親機100aを構成する各処理手段を詳しく説明する。 Hereinafter, each processing unit constituting the parent device 100a will be described in detail.
[映像入力手段101]
映像入力手段101は、例えばヘリコプターの機体や車両の車体などに取り付けたカメラであり、撮像した映像を入力する。
[Video input means 101]
The video input means 101 is a camera attached to, for example, a helicopter body or a vehicle body, and inputs the captured video.
[撮像情報生成手段102]
撮像情報生成手段102は、例えば撮像情報に撮像した位置(撮像位置)を含める場合は、GPS(Global Positioning System)衛星やGPS補完衛星(準天頂衛星)等が発する測位信号から測位用アンテナを介して測位した緯度・経度・高度で示される撮像位置データを測位する手段で構成する。また、例えば撮像情報に撮像した時刻(撮像時刻)を含める場合は、衛星が発する測位信号、または電波時計のような地上局からの標準電波に基づく正確な標準時刻を受信する手段として構成する。このように得られる撮像情報によって、メッセージ通信装置の親機と子機の間で処理や判定の同期を図れるようにする。撮像情報として、撮像位置と撮像時刻の両方を適用してもよい。ここでは、撮像位置と撮像時刻の両方を適用するものとして説明する。
[Imaging information generation means 102]
For example, when the imaging information includes the imaging position (imaging position), the imaging
[標示板検出手段103]
標示板検出手段103は、映像入力手段101から入力された映像を解析し、映像に映っている標示板を検出する。映像の解析は、情報処理装置を構成するコンピュータがプログラムを実行して処理してもよいし、また解析処理回路を用意して行ってもよい。映像のフレーム(以下、画像ともいう。)または連続するフレーム群を解析して標示板を検出し、撮像情報生成手段102が生成した撮像情報に基づく見え方の情報と画面座標を内部の記憶手段151(図示せず)に記憶し、標示板に対応して出力する。ここでは、見え方の情報として方位角と仰角を用いるものとするが、これらの算出の詳細については後述の親機による標示板検出処理で説明する。連続するフレーム群に対しては、見え方の情報が共通となる標示板を追跡して対応付けておいてもよい。
[Sign plate detection means 103]
The sign board detection means 103 analyzes the video input from the video input means 101 and detects the sign board shown in the video. The video analysis may be processed by a computer constituting the information processing apparatus executing a program, or an analysis processing circuit may be prepared. An image frame (hereinafter also referred to as an image) or a continuous frame group is analyzed to detect a sign board, and information on the appearance based on the imaging information generated by the imaging
[記憶手段151]
記憶手段151は、標示板検出手段103が検出した標示板の見え方と画面座標に撮像情報生成手段102が生成した撮像情報を管理するテーブルと、テーブルの情報に対応した画像、映像入力手段101で撮像された映像などを記憶する。記録する映像は、映像入力手段101が撮像したすべての映像でなくてもよく、例えば親機のオペレータが必要と判断した映像シーンのみを記録するようにするなど、記憶容量に応じた記録を行っても構わない。管理テーブルには、1枚の画像に複数の標示板が検出されて登録される場合もある。テーブルの情報に対応した画像は、映像中から対応フレームを抽出することで管理してもよい。なお、撮像時刻には時分秒だけによって運用してもよいし、システム運用が長引く場合は年月日も合わせて運用してもよく、また、秒より細かい単位まで管理してもよい。
[Storage 151]
The storage unit 151 includes a table that manages the imaging information generated by the imaging
図3は、この発明の実施の形態1に係るメッセージ通信装置(親機)の管理テーブルの一例を示す説明図である。図において、撮像情報は、撮像位置(変数#position)として、緯度、経度、高度、撮像時刻として、年月日(変数#date)、時分秒(変数#time)を登録する。見え方の情報は、方位角(変数#azimuth)、仰角(変数#elevation)を登録する。画面座標は、標示板を検出した画像上の水平方向の座標Xと垂直方向の座標Yを登録する。なお、メッセージに付加される際の項目名を#で始まる変数で示した。
FIG. 3 is an explanatory diagram showing an example of a management table of the message communication apparatus (master unit) according to
[撮像情報送信手段104]
撮像情報送信手段104は、標示板検出手段103が標示板を検出した画像に対応する撮像位置および撮像時刻を含む撮像情報を付加したメッセージを無線通信により子機に対して一斉同報送信する。ここで、親機は、標示板の見え方の情報を送信先として特定される子機にメッセージを送信するが、一斉同報送信を用いている。
[Imaging information transmission means 104]
The imaging
図4は、この発明の実施の形態1に係るメッセージ通信装置の親機から子機に送信する撮像情報を付加したメッセージの一例である。ここでは、撮像情報として撮像位置と撮像時刻(以下、メッセージに付加する撮像時刻の年月日は省略して説明する。)の情報を空のメッセージに付加する。
FIG. 4 is an example of a message to which imaging information to be transmitted from the master unit to the slave unit of the message communication apparatus according to
[メッセージ受信手段105]
メッセージ受信手段105は、撮像情報送信手段104から子機に送信した撮像情報を付加したメッセージに対して、子機が無線通信により返信したメッセージを受信する。この子機からの返信メッセージには、返信元の子機を識別する標示板の見え方の情報が付加されている。子機が受信した撮像情報の撮像時刻が付加されて返信された場合は、親機に記憶された画像をより正確に対応させるために用いることができる。
[Message receiving means 105]
The
図5は、この発明の実施の形態1に係るメッセージ通信装置の子機から親機に送信する撮像情報を付加した返信メッセージの一例である。返信メッセージには、例えば「水が不足しています」などのメッセージ本文が付加されている。ここで、子機は、標示板の見え方の情報を返信元として示してメッセージを返信してきている。
FIG. 5 is an example of a reply message to which imaging information to be transmitted from the slave unit to the master unit of the message communication apparatus according to
[対応付け手段106]
対応付け手段106は、標示板検出手段103が検出した標示板の見え方の情報とメッセージ受信手段105が子機から受信した返信メッセージに付加された標示板の見え方の情報とを照合する。標示板の見え方の情報が一致する場合には両者を対応付ける。この照合処理により、返信されたメッセージと返信元である子機を示す標示板が対応付けられ、返信メッセージに付加された撮像時刻で特定された画像上の標示板の画面座標を得ることができる。
[Correlation means 106]
The association means 106 collates the information on the appearance of the sign board detected by the sign board detection means 103 with the information on the appearance of the sign board added to the reply message received from the slave unit by the message receiving means 105. When the information on the appearance of the signboard matches, the two are associated with each other. By this collation processing, the returned message is associated with the sign board indicating the slave device that is the reply source, and the screen coordinates of the sign board on the image specified at the imaging time attached to the reply message can be obtained. .
ここで、先に説明した撮像情報送信手段104が送信するメッセージとメッセージ受信手段105が受信するメッセージには撮像時刻が付加されているが、親機が子機の標示板が検出された画像を特定できる場合は、撮像時刻が付加されずに返信されても構わない。これは、親機から画像を限定して撮像情報を送信する場合、また撮像情報の送信間隔を広く取ってその返信の時刻制限を設けた場合などは、撮像時刻が付加されず返信されても画像の特定ができるようになる。
Here, although the imaging time is added to the message transmitted by the imaging
なお、照合処理では、親機と子機の見え方の情報の検出精度が異なる場合を考慮して、完全一致でなくても、所定の閾値内の誤差であれば一致と判断してもよい。このとき、以降の同一子機からのメッセージに付加される標示板の見え方の情報は同一内容となると考えられるため、標示板検出手段103が検出した標示板の見え方の情報をメッセージ受信手段105が子機から受信した返信メッセージに付加された標示板の見え方の情報に修正してもよい。 In the verification process, in consideration of the case where the detection accuracy of the information on how the parent device and the child device are viewed is different, it may be determined that the error is within a predetermined threshold even if it is not a perfect match. . At this time, since the information on the appearance of the sign board added to the subsequent messages from the same slave unit is considered to have the same content, the information on the appearance of the sign board detected by the sign board detecting means 103 is used as the message receiving means. 105 may be corrected to the information on the appearance of the sign board added to the reply message received from the slave unit.
[表示手段107a]
表示手段107aは、映像入力手段101が撮像した映像、標示板検出手段103が解析して標示板を検出した画像を表示する。また、標示板を検出した画像に対して、例えば指定された座標位置に標示板のマークやアイコン(以下、マークと総称する。)、また当該標示板のマークと標示板に対応した子機から受信したメッセージ本体を合成して表示する。
[Display means 107a]
The display means 107a displays the image captured by the image input means 101 and the image detected by the sign board detection means 103 and detected by the sign board. In addition, for example, a mark or icon (hereinafter collectively referred to as a mark) on a sign board at a designated coordinate position, or a slave unit corresponding to the mark on the sign board and the sign plate, for example, at a designated coordinate position. The received message body is synthesized and displayed.
図6は、この発明の実施の形態1に係るメッセージ通信装置の親機における標示板とメッセージを画像に合成した表示例である。親機において、標示板検出手段103が解析して標示板を検出した画像(上)と、標示板を検出した画面座標にマークとメッセージ枠を合成した画像(下)を示す。この合成画像では、2つの子機(標示板1、標示板2)が検出され、標示板からメッセージを受信した場合を示している。表示する標示板のマークは、標示板が複数ある場合には、メッセージを受信したものや、標示板までの距離などの観点から大きさや強調度、輝度、点滅などで特徴付けて変化を持たせてもよい。
FIG. 6 is a display example in which the sign board and the message in the base unit of the message communication apparatus according to
表示手段107aの画面上に表示する受信メッセージ本体は、標示板の画面座標上またはその付近に表示し、例えばメッセージ枠内に表示し、対応する標示板の位置を示す画面座標に対して、メッセージ枠を吹き出し形状にしたり、または画面座標とメッセージ枠を引出し線で結ぶことで、画面上の標示板の検出位置を隠さないように対応を明示してもよい。さらに、メッセージ枠の背景は、メッセージの文字色が明確に表示されるように色付けてもよく、また画面の表示を妨げない透過色としてもよい。 The received message body to be displayed on the screen of the display means 107a is displayed on or near the screen coordinates of the sign board, for example, displayed in a message frame, and is displayed with respect to the screen coordinates indicating the position of the corresponding sign board. The correspondence may be clearly shown so as not to hide the detection position of the sign board on the screen by making the frame into a balloon shape or connecting the screen coordinates and the message frame with a leader line. Further, the background of the message frame may be colored so that the character color of the message is clearly displayed, or may be a transparent color that does not hinder the display of the screen.
このように、標示板を検出した画像と受信したメッセージを対応させ、合成表示することで、複数の標示板が検出されていたとしても、親機のオペレータは実際の映像の中にメッセージ送信元の居場所を位置づけて把握することができるようになる。 As described above, the image of the sign board is associated with the received message and combined and displayed, so even if a plurality of sign boards are detected, the operator of the master unit can send the message source in the actual video. You will be able to locate and know where you are.
図7は、この発明の実施の形態1に係るメッセージ通信装置(子機)の一例を示す機能ブロック図である。図において、子機200aは、標示板201、撮像情報受信手段202、見え方推定手段203、メッセージ送信手段204を備える。
FIG. 7 is a functional block diagram showing an example of a message communication device (child device) according to
メッセージ通信装置の子機200aにおいて、標示板201は、平面上に所定の配置で目印を設けて標示するものである。撮像情報受信手段202は、親機から該親機が撮影した映像の撮像情報を付加された撮像情報メッセージを受信する。見え方推定手段203は、撮像情報受信手段202が受信した撮像情報に基づいて標示板の見え方の情報を推定する。メッセージ送信手段204は、見え方推定手段203が推定した標示板の見え方の情報を付加した返信メッセージを親機に送信する。
In the handset 200a of the message communication apparatus, the
以下、子機200aを構成する各処理手段を詳しく説明する。 Hereinafter, each processing means constituting the child device 200a will be described in detail.
[標示板201]
標示板201は、平面上に所定の配置で目印を設けて標示した盤であるが、その構成を説明する。
[Sign plate 201]
The
図8は、この発明の実施の形態1に係る標示板の一例を示す説明図である。図において、標示板は板の上に描いた円形のマークと、円形マークの中心および周上に目印として配置した4つの発光素子から構成される。この標示板は、遠方から撮像しやすい形態とし、建物の屋上などに設置する。標示板は、例えば災害発生時になって掲示するのではなく、避難所に指定された主要な建物の屋上など常時設置しておいても構わない。
FIG. 8 is an explanatory view showing an example of a marking plate according to
標示板の具体的な掲示方法として、例えば標示板は水平に設置し、この際、円形のマークの周上の発光素子N、E、Wがそれぞれ中心の発光素子Oから見て北方向、東方向、西方向となるように方位を合わせて配置するものとする。このように構成することで、円周上の3つの発光素子の見え方は撮像位置の方位角によって変化して見える。南方向には発光素子を配置しないので、異なる方位角から撮像した見え方が同じになることはない。 As a specific posting method of the sign board, for example, the sign board is installed horizontally, and at this time, the light emitting elements N, E, and W on the circumference of the circular mark are respectively viewed from the center light emitting element O in the north direction and the east. It is assumed that the orientation is aligned so that the direction is the west direction. With this configuration, the appearance of the three light emitting elements on the circumference appears to change depending on the azimuth angle of the imaging position. Since no light emitting element is arranged in the south direction, the appearances taken from different azimuth angles are not the same.
なお、ここでは、標示板の上に円形のマークを描き、周上に発光素子を配置するものとしたが、円形のマークの代わりに、例えば正方形や正多角形などの図形のマークを適用しても構わない。図形のマークの周上に目印とする発光素子は、円形のマークと同様に撮像された映像から方位を判定することができるように配置しておけばよい。 Here, a circular mark is drawn on the sign board and the light emitting elements are arranged on the circumference. However, instead of the circular mark, a graphic mark such as a square or a regular polygon is applied. It doesn't matter. The light emitting elements used as marks on the circumference of the graphic mark may be arranged so that the direction can be determined from the imaged image in the same manner as the circular mark.
[撮像情報受信手段202]
撮像情報受信手段202は、親機100aの撮像情報送信手段103から無線通信により一斉同報送信された撮像情報が付加されたメッセージを受信する(図4)。
[Imaging information receiving means 202]
The imaging
[見え方推定手段203]
像推定手段203は、撮像情報受信手段202が受信した撮像情報に示された撮像位置および撮像時刻の情報に基づき、標示板の見え方の情報を推定し、内部の記憶手段251(図示せず)に記憶し、また出力する。ここでは、見え方の情報として親機と同様に方位角と仰角を用いるものとするが、これらの算出の詳細については後述の子機による見え方推定処理で説明する。
[Visibility estimation means 203]
The
図9は、この発明の実施の形態1に係る標示板と撮像位置の仰角および方位角について説明する説明図である。図において、例えば災害時の救助ヘリコプターに搭載された親機のカメラ(映像入力手段101)により斜め上方から表示板を撮像したとすると、円形のマークや周上の発光素子の配置は歪んで見えるが、その見かけ上の歪みの程度は標示板から撮像位置を見る仰角によって変化する。なお、方位角は、例えば北方向を基準として示すものとする。
FIG. 9 is an explanatory diagram for explaining the marking plate and the elevation angle and azimuth angle of the imaging position according to
[記憶手段251]
記憶手段251は、見え方推定手段203が推定した標示板の見え方と撮像情報受信手段202が受信したメッセージに付加された撮像情報を記憶する。ここでは、撮像情報は、時分秒(変数#time)を記憶する。見え方の情報は、方位角(変数#azimuth)、仰角(変数#elevation)を記憶する。なお、撮像情報の撮像位置(変数#position)として、緯度、経度、高度、撮像時刻として、年月日(変数#date)は、親機へ送信するメッセージに含めない運用であるときでも、記憶するようにしてもよい。
[Storage unit 251]
The storage unit 251 stores the appearance of the sign board estimated by the
[メッセージ送信手段204]
メッセージ送信手段204は、見え方推定手段203が推定した標示板の見え方の情報を送信元の識別情報としてメッセージに付加して親機100aに無線通信により送信する(図5)。
[Message sending means 204]
The message transmission means 204 adds the information on the appearance of the sign board estimated by the appearance estimation means 203 to the message as transmission source identification information, and transmits the message to the parent device 100a by wireless communication (FIG. 5).
次に、図10は、この発明の実施の形態1に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。このシーケンスに沿って、この発明のメッセージ通信システムの親機100a、子機200aの動作について説明する。
Next, FIG. 10 is a sequence diagram showing an example of message exchange processing according to the message communication system according to
[標示板設置]
メッセージ通信装置の子機側では、親機から映像撮影される前に、発光素子N、E、Wの方位を合わせて標示板201を設置しておく。
[Installation of signboard]
On the slave unit side of the message communication device, the
[映像撮影処理]
メッセージ通信装置の親機の映像入力手段101(カメラ)は映像を撮影し、撮像情報生成手段102は撮像情報を生成する。
[Video shooting process]
The video input unit 101 (camera) of the parent device of the message communication apparatus captures video, and the imaging
[標示板検出処理]
親機の標示板検出手段103は、カメラ(映像入力手段101)で撮像した映像中から標示板を検出する。
[Signboard detection processing]
The sign board detection means 103 of the master unit detects the sign board from the video imaged by the camera (video input means 101).
まず、親機においてカメラから映像中の1フレームの画像をディジタル化された2次元画像データとして取り込む。 First, in the master unit, one frame image in the video is taken from the camera as digitized two-dimensional image data.
次に、画像を構成する画素の2次元配列を解析し、円形のマークおよびその周上に3つの発光素子が検出された場合にこれを標示板とみなす。円形のマークは、斜め上方から撮像すると楕円形になるため、楕円形を検出する処理を行う。楕円形の検出方法としては、ハフ変換による方法などが知られている。また、発光素子は、周囲と比べて特に輝度の高い箇所を抽出することにより検出する。例えば、輝度の高い画素が複数集中してあるとき、集中した部分の画素座標の平均や重心を発光素子の位置としてもよい。 Next, a two-dimensional array of pixels constituting the image is analyzed, and when a circular mark and three light emitting elements are detected on the circumference, this is regarded as a sign board. Since the circular mark becomes an ellipse when imaged obliquely from above, processing for detecting the ellipse is performed. As an ellipse detection method, a Hough transform method or the like is known. In addition, the light emitting element is detected by extracting a portion having a particularly high luminance compared to the surroundings. For example, when a plurality of high-brightness pixels are concentrated, the average or the center of gravity of the pixel coordinates of the concentrated portion may be used as the position of the light emitting element.
図11は、この発明の実施の形態1に係るメッセージ通信装置の親機に係る標示板の見え方の情報の算出処理の一例を示す説明図である。図において、画像中に検出した標示板の見え方の情報は、例えば仰角と方位角として算出するものとする。 FIG. 11 is an explanatory diagram showing an example of a calculation process of information on how to display the sign board related to the parent device of the message communication device according to the first embodiment of the present invention. In the figure, information on the appearance of the sign board detected in the image is calculated as, for example, an elevation angle and an azimuth angle.
まず、仰角を算出する方法について説明する。標示板の円形マークは、斜め上空から撮影されることで、通常は画像中に楕円形状で検出される。楕円の形状は、撮像位置の仰角によって歪みの程度が異なる。図11(a)に示すように、撮像された楕円の長軸の長さをa、短軸の長さをbとし、仰角αを次式(式1)によって計算する。ここで、arcsinは逆正弦関数を示す。 First, a method for calculating the elevation angle will be described. The circular mark on the sign board is usually detected in an elliptical shape in the image by being photographed from obliquely above. The degree of distortion of the ellipse shape varies depending on the elevation angle of the imaging position. As shown in FIG. 11A, the length of the major axis of the imaged ellipse is a, the length of the minor axis is b, and the elevation angle α is calculated by the following formula (Formula 1). Here, arcsin represents an inverse sine function.
次に、方位角を算出する方法について説明する。標示板の円形マークの周上の3つの発光素子は図11(b)に示すように楕円形の周上に存在するが、図11(c)に示すように標示板を真上から見たときの配置を(式1)で計算した仰角αに基づいて推定する。このとき、標示板中心から見て北方向にある発光素子Nに着目し、発光素子Nの位置を標示板の中心を原点とした画像平面上での相対座標(x,y)により表現する。ここで、例えば図11(b)では、x軸は画像の右方向、y軸は画像の上方向をそれぞれ正の方向とする。また、図11(c)では、標示板の中心を原点とする水平面を座標平面とし、原点からカメラを見る方向をY軸、原点からカメラに向かって右手の方向をX軸とする座標(X,Y)により表現する。このように表現したxy座標系の座標(x,y)からXY座標系の座標(X,Y)への変換を次式(式2)によって定義する。ここで、sinは正弦関数を示す。 Next, a method for calculating the azimuth angle will be described. The three light emitting elements on the circumference of the circular mark on the marking plate are present on the circumference of the ellipse as shown in FIG. 11 (b), but the marking plate is viewed from directly above as shown in FIG. 11 (c). Is estimated based on the elevation angle α calculated in (Equation 1). At this time, paying attention to the light emitting element N in the north direction as viewed from the center of the marking plate, the position of the light emitting element N is expressed by relative coordinates (x, y) on the image plane with the center of the marking plate as the origin. Here, for example, in FIG. 11B, the x axis is the right direction of the image, and the y axis is the positive direction of the image. Further, in FIG. 11C, a coordinate plane is defined as a coordinate plane that is a horizontal plane with the center of the sign plate as the origin, a direction in which the camera is viewed from the origin, and a right-hand direction from the origin toward the camera. , Y). The transformation from the coordinates (x, y) in the xy coordinate system expressed as described above to the coordinates (X, Y) in the XY coordinate system is defined by the following expression (Expression 2). Here, sin represents a sine function.
さらに、図11(c)に示す方位角βを次式(式3)によって計算する。ここで、arctanは逆正接関数を示す。 Further, the azimuth angle β shown in FIG. 11C is calculated by the following equation (Equation 3). Here, arctan represents an arc tangent function.
このように、撮像された円形マークの歪みから仰角、また円周上の発光素子の配置から方位角を決定することができる。 Thus, the elevation angle can be determined from the distortion of the captured circular mark, and the azimuth angle can be determined from the arrangement of the light emitting elements on the circumference.
なお、カメラで撮像された画像上の位置を示す座標と、実空間における撮像対象の位置を示す座標の間の座標変換を行うためには投影モデルを規定する必要がある。ここでは、標示板検出手段103において仰角や方位角を推定する際に正射投影モデルを仮定した。この正射投影モデルは画角が広くなるとずれが大きくため、親機と子機の距離が近くなると誤差が大きくなる可能性がある。その場合は、透視投影モデルを用いると、より精度良く仰角や方位角を推定することができる。 Note that it is necessary to define a projection model in order to perform coordinate conversion between the coordinates indicating the position on the image captured by the camera and the coordinates indicating the position of the imaging target in the real space. Here, an orthographic projection model is assumed when estimating the elevation angle and the azimuth angle in the sign plate detection means 103. Since this orthographic projection model has a large shift when the angle of view is widened, there is a possibility that the error will increase as the distance between the parent device and the child device becomes shorter. In that case, if a perspective projection model is used, an elevation angle and an azimuth angle can be estimated more accurately.
なお、標示板に円形マークを描かず、4つの目印となる発光素子だけが存在する場合でも、描かれていない円マークを想定し、標示板上に直角二等辺三角形に配置された発光素子N、E、Wを判別することができる。例えば、図8に示されるような発光素子の4点のうち、直線状に並ぶ3点E、O、Wによる直線EWを底辺とし、残る点Nを直角の頂点とする直角二等辺三角形とみなし、3点N、E、Wが周上に収まる楕円を仮想的に設定することで、図11(a)で説明した仰角αを算出し、続けて方位角βも算出できる。 In addition, even when a circular mark is not drawn on the marking plate and only four light emitting elements serving as marks are present, a light emitting element N arranged in a right isosceles triangle is assumed on the marking plate assuming a circular mark that is not drawn. , E, W can be discriminated. For example, among the four points of the light emitting element as shown in FIG. 8, it is regarded as a right-angled isosceles triangle having a straight line EW formed by three points E, O, and W arranged in a straight line as a base and a remaining point N as a right-angled vertex. By virtually setting an ellipse in which the three points N, E, and W fall on the circumference, the elevation angle α described in FIG. 11A can be calculated, and the azimuth angle β can also be calculated.
このように、標示板検出手段103は、画像を解析して映っている標示板を検出し、検出した標示板についてカメラの方位角・仰角等の見え方の情報と画面座標を出力する。 In this way, the sign board detection means 103 analyzes the image to detect the sign board displayed, and outputs information on the appearance such as the azimuth and elevation angles of the camera and screen coordinates for the detected sign board.
[記憶処理(親機)]
親機の標示板検出手段103内部の記憶手段151は、撮像された映像、標示板が検出された画像、撮像情報、標示板の見え方の情報、画面座標等の管理情報を管理テーブルに記憶する。
[Memory processing (base unit)]
The storage unit 151 inside the signboard detection means 103 of the master unit stores management information such as captured images, images from which the signboards are detected, imaging information, information on how to see the sign boards, screen coordinates, and the like in the management table. To do.
[撮像情報送信処理]
親機の撮像情報送信手段104は、撮像情報を付加したメッセージを子機に向けて無線通信により送信する。
[Imaging information transmission processing]
The imaging information transmission means 104 of the master unit transmits a message with imaging information added thereto to the slave unit by wireless communication.
[撮像情報受信処理]
子機の撮像情報受信手段202は、撮像情報を付加したメッセージを親機から無線通信により受信する。
[Imaging information reception processing]
The imaging
[見え方推定処理]
子機の見え方推定手段203は、受信した撮像情報に基づき見え方の情報を推定する。例えば次の手順により方位角と仰角を推定する。
[Visibility estimation processing]
The child device appearance estimation means 203 estimates appearance information based on the received imaging information. For example, the azimuth and elevation are estimated by the following procedure.
1)撮像位置の取得
親機から受信した撮像情報から緯度・経度・高度により表現された撮像位置を得る。
1) Acquisition of an imaging position An imaging position expressed by latitude, longitude, and altitude is obtained from imaging information received from the master unit.
2)標示板の位置の取得
GPS等を用いた測位手段により、標示板の位置を緯度・経度・高度により表現する。子機の測位手段を常備するときには、子機または標示板に接続する。また、例えば標示板を常備するときには、設置時に、衛星が発する測位信号等から測位して設置位置の情報を記憶しておくこともでき、また地図上から設置位置の情報を読み取って記憶しておいてもよい。
2) Acquisition of the position of the sign board The position of the sign board is expressed by latitude, longitude, and altitude by positioning means using GPS or the like. When the positioning means of the slave unit is always provided, it is connected to the slave unit or the sign board. In addition, for example, when the signboard is always provided, it is possible to store the information of the installation position by positioning from the positioning signal etc. emitted from the satellite at the time of installation, or to read and store the information of the installation position from the map. It may be left.
3)方位角と仰角の算出
標示板の位置を原点とし、東をX軸、北をY軸、天頂方向をZ軸とする直交座標系を考え、親機から受信した撮像情報の撮像位置の緯度・経度・高度をこの座標系に変換する。方位角は、次式(式4)により算出する。ここで、arctanは逆正接関数を示す。
3) Calculation of azimuth and elevation The position of the sign board is the origin, the ordinate is the X axis, the north is the Y axis, and the zenith direction is the Z axis. Convert latitude / longitude / altitude into this coordinate system. The azimuth angle is calculated by the following formula (Formula 4). Here, arctan represents an arc tangent function.
また、仰角は、次式(式5)により算出する。ここで、arccosは逆余弦関数を示す。 The elevation angle is calculated by the following formula (Formula 5). Here, arccos represents an inverse cosine function.
このように、見え方推定手段203は、撮像情報に基づき、仰角、方位角による標示板の見え方の情報を推定することで、この子機自身の標示板が親機の映像にどのように映っているかを推定する。 In this way, the appearance estimation means 203 estimates how the indication board looks by the elevation angle and azimuth based on the imaging information, so that how the indication board of the slave unit itself appears in the image of the master unit. Estimate whether it is reflected.
[記憶処理(子機)]
子機の見え方推定手段203内部の記憶手段251は、見え方推定手段203が推定した子機(標示板)の見え方の情報と親機から撮像情報受信手段202が受信した撮像情報などを記憶する。記憶した見え方の情報と撮像情報の撮像時刻は、親機に送信する返信メッセージに付加される。
[Memory processing (child device)]
The storage unit 251 inside the child device
[メッセージ送信処理(子機)]
子機のメッセージ送信手段204は、親機に向けて標示板の見え方の情報と撮像時刻を付加した返信メッセージを無線通信により送信する。
[Message transmission processing (slave unit)]
The message transmission means 204 of the slave unit transmits a reply message to which the information on the appearance of the sign board and the imaging time are added to the master unit by wireless communication.
[メッセージ受信処理(親機)]
親機のメッセージ受信手段105は、子機から標示板の見え方の情報を付加した返信メッセージを無線通信により受信する。
[Message reception processing (base unit)]
The message receiving means 105 of the master unit receives a reply message to which information on how to see the sign board is added from the slave unit by wireless communication.
[対応付け処理]
親機の対応付け手段106は、子機から受信した返信メッセージに付加された標示板の見え方の情報と標示板検出手段103が検出した標示板の見え方の情報と撮像時刻を照合し、一致した両者を対応付ける。対応付けられた標示板検出手段103が検出した標示板の画面座標と子機から受信したメッセージ本文が関係付けられる。
[Match processing]
The
[合成表示処理]
親機の表示手段107aは、対応付け手段106が対応付けた標示板について、標示板検出手段がその標示板を検出した画像上の画面座標にメッセージ本文を合成して表示する。
[Composition display processing]
The
ここで、この発明の実施の形態1では、第1の変形例として、映像入力手段101(カメラ)は映像を撮影し、撮像情報生成手段102は撮像情報を生成し、撮像情報送信手段104が子機に撮像情報を送信し、記憶手段151が撮像情報とその撮像情報を記憶しておき、メッセージ受信手段105が子機から返信メッセージを受信した後、標示板検出手段103が画像から標示板を検出するようにしてもよい。図12は、この発明の実施の形態1に係るメッセージ通信システムに係るメッセージ交換処理の第1の変形例を示すシーケンス図であるが、先に説明した図10の映像撮像処理と標示板検出処理の間には、撮像情報とその撮像情報を記憶する第1の記憶処理(記憶処理(1))を行い、メッセージ受信処理と対応付け処理の間に、返信メッセージに対応する画像から標示板の見え方の情報と画面座標を検出する標示板検出処理と、標示板の見え方の情報と画面座標を記憶する第2の記憶処理(記憶処理(2))を行い、返信メッセージに付加された見え方の情報に基づいて、画像の探索範囲、標示板の楕円の扁平率の対応範囲を限定することが可能となる。標示板の楕円の扁平率を絞り込むことで、テンプレートマッチングなどの単純で負荷の小さい手法が利用でき、また同時に探索範囲を小さく絞り込むことで、より確実に、また短時間で標示板を検出することができる。また、標示板検出処理と第2の記憶処理が完了した時点で、次の対応付け処理も完了することになり、その対応付けの処理も簡略化し、処理時間の短縮が図れる。
Here, in
また、第2の変形例として、撮像情報送信手段104は、撮像情報生成手段102が生成した撮像情報を送信だけし、この時点では映像の撮像は行わず、メッセージ受信手段105が子機から返信メッセージを受信した後、映像入力手段101(カメラ)は映像を撮影し、撮像情報生成手段102は撮像情報を生成し、標示板検出手段103が画像から標示板を検出するようにしてもよい。図13は、この発明の実施の形態1に係るメッセージ通信システムに係るメッセージ交換処理の第2の変形例を示すシーケンス図であるが、先に説明した図10の映像撮像処理から標示板検出処理の間には、図示しない撮像情報生成処理と生成した撮像処理の記憶処理のみ行い、メッセージ受信処理と対応付け処理の間に、返信メッセージに対応する標示板の見え方の情報から撮像すべき地点を推定して標示板を撮像する映像撮影処理と、返信メッセージに対応する標示板の見え方の情報とあらたに撮像した画像から標示板の見え方の情報と画面座標を検出する標示板検出処理と、映像、画像、標示板の見え方の情報、画面座標を記憶する記憶処理を行い、返信メッセージに付加された見え方の情報に基づいて、画像の探索範囲、標示板の楕円の扁平率の対応範囲を前後2つの撮像情報間で補正して限定して標示板を検出することが可能となる。よって、第1の変形例と同様の効果が得られる。また、返信メッセージを送付してきた子機(標示板)が存在する地点が映るように撮像できるようになる。
Further, as a second modification, the imaging
ここで、この発明の実施の形態1に係るメッセージ通信システムにおいては、親機が撮像位置および撮像時刻の少なくとも1つを含む撮像情報を付加した撮像情報メッセージを子機へ送信し、子機が見え方の情報と撮像時刻を付加した返信メッセージを親機へ送信するものについて説明した。この発明のメッセージ通信システムの運用構成別にメッセージに付加する撮像情報と見え方の情報を考える。
Here, in the message communication system according to
親機が1台の場合、親機が1枚の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、撮像情報は一意に決まるので、返信メッセージと画像が1対1で対応可能であり、返信メッセージに撮像情報がなくても、見え方の情報に基づいて得られる画面座標に標示板とメッセージ本文を画像上に合成することができる。 When there is one master unit, when the master unit sends an imaging information message with imaging information for one image to the slave unit, the imaging information is uniquely determined, so there is a one-to-one correspondence between the reply message and the image. Even if there is no imaging information in the reply message, the signboard and the message body can be combined on the image with the screen coordinates obtained based on the appearance information.
一方、親機が複数の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、返信メッセージが対応する撮像情報メッセージを撮像時刻で特定すればよく、返信メッセージに見え方の情報とともに少なくとも撮像時刻が付加されることで親機が画像を特定できるようになり、同様に画面上に合成できる。 On the other hand, when the master unit transmits an imaging information message to which the imaging information for a plurality of images is added to the slave unit, the imaging information message corresponding to the reply message may be specified by the imaging time, together with information on how the reply message appears. By adding at least the imaging time, the master unit can specify the image and can be synthesized on the screen in the same manner.
さらに、親機が2台以上の場合、撮像情報メッセージを送信した親機も返信メッセージから特定しなければならないため、各親機が送信する撮像情報メッセージの数によらず、返信メッセージに見え方の情報とともに撮像位置と撮像時刻が付加されることで親機自身が返信先か判断でき、親機自身宛であれば撮像時刻から画像を特定でき、同様に画面上に合成できる。 In addition, if there are two or more master units, the master unit that sent the imaging information message must also be identified from the reply message, so that it looks like a reply message regardless of the number of imaging information messages sent by each master unit. By adding the imaging position and imaging time together with the information, it is possible to determine whether the parent device itself is a reply destination, and if it is addressed to the parent device itself, an image can be specified from the imaging time and similarly synthesized on the screen.
このように、この発明の実施の形態1に係るメッセージ通信システムによれば、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができる。 As described above, according to the message communication system according to the first embodiment of the present invention, the imaging information of the image corresponding to the sign board detected by the master unit is sent to the slave unit, and the information on how the sign plate is seen from the slave unit. The message is returned with the message added and the information on how it looks is collated. Therefore, even if there are multiple detected signboards, the master unit correctly associates the slave unit and the position of the screen coordinates of the signboard. Can be grasped on the image as the position of the slave unit of the message transmission source.
また、この発明の実施の形態1に係るメッセージ通信システムによれば、画面上に表示されたメッセージ送信元の子機と送信してきたメッセージ本文を合成して表示するようにしたので、子機周辺の状況、環境を見ながら子機の要求を確認することができる。 In addition, according to the message communication system according to the first embodiment of the present invention, since the message body transmitted from the message transmission source slave unit displayed on the screen is synthesized and displayed, It is possible to confirm the requirements of the handset while looking at the situation and environment.
実施の形態2.
先に説明したこの発明の実施の形態1では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明した。この発明の実施の形態2では、子機から親機へメッセージを送信せず、最初に受信した撮像情報から子機自身を示す標示板の見え方を推定し、以降の親機からの受信メッセージに推定した標示板の見え方が付加されているときに当該子機に宛てたメッセージと判断し、メッセージを表示して確認するものを説明する。また、この発明の実施の形態2では、標示板上の目印である発光素子の点灯・消灯状態の情報を追加検出して、標示板の見え方の情報とするものについて説明する。
Embodiment 2. FIG.
In the first embodiment of the present invention described above, a message with information on how to display the sign board is transmitted from the slave unit to the master unit, and the sign plate indicating the slave unit is associated with the received message in the master unit. I explained what to check on the screen. In the second embodiment of the present invention, a message is not transmitted from the child device to the parent device, the appearance of the sign board indicating the child device itself is estimated from the first received imaging information, and the subsequent received message from the parent device When the estimated appearance of the signboard is added, it is determined that the message is addressed to the child device and the message is displayed for confirmation. Further, in the second embodiment of the present invention, description will be given of the case where information on the lighting / light-off state of the light emitting element, which is a mark on the marking plate, is additionally detected and used as the information on how the marking plate looks.
図14は、この発明の実施の形態2に係るメッセージ通信装置(親機)の一例を示す機能ブロック図である。図において、親機100bは、映像入力手段101、撮像情報生成手段102、標示板検出手段103、撮像情報送信手段104、表示手段107b、座標指定手段108、標示板指定手段109、メッセージ送信手段110を備える。
FIG. 14 is a functional block diagram showing an example of a message communication device (master unit) according to Embodiment 2 of the present invention. In the figure, a base unit 100b includes a
メッセージ通信装置の親機100bにおいて、表示手段107bは、子機に送信した撮像情報に対応した映像を表示する。座標指定手段108は、表示手段107bの表示画面上の画面座標を指定する。標示板指定手段109は、表示手段107bに表示された映像に対応して標示板検出手段103が検出した標示板の画面座標のうち、当該映像に対して座標指定手段108が指定した画面座標と一致する標示板を指定する。メッセージ送信手段110は、標示板指定手段109が指定した標示板の見え方の情報を送信メッセージに付加して子機に送信する。ここで、映像入力手段101、撮像情報生成手段102、標示板検出手段103、撮像情報送信手段104は、図2に示したこの発明の実施の形態1に係るメッセージ通信装置(親機)において、同一符号を付した各手段に相当するものであるので、その説明を一部省略する。
In the parent device 100b of the message communication device, the display means 107b displays an image corresponding to the imaging information transmitted to the child device. The coordinate designating
以下、親機100bを構成する各処理手段を詳しく説明する。 Hereinafter, each processing unit constituting the parent device 100b will be described in detail.
[標示板検出手段103]
標示板検出手段103は、映像入力手段101から入力された映像を解析し、映像に映っている標示板を検出する。画像または連続する画像群を解析して標示板を検出し、撮像情報生成手段102が生成した撮像情報に基づく見え方の情報と画面座標を内部の記憶手段151(図示せず)に記憶し、標示板に対応して出力する。ここでは、見え方の情報として実施の形態1で説明した方位角と仰角、また標示板上の目印である発光素子の点灯・消灯状態の情報を用いるものとするが、点灯・消灯状態の情報の詳細については後述の親機による標示板検出処理で説明する。
[Sign plate detection means 103]
The sign board detection means 103 analyzes the video input from the video input means 101 and detects the sign board shown in the video. Analyzing an image or a group of consecutive images to detect a sign board, storing appearance information and screen coordinates based on imaging information generated by the imaging
図15は、この発明の実施の形態2に係るメッセージ通信装置(親機)の管理テーブルの一例を示す説明図である。図において、この発明の実施の形態1に係る管理テーブル(図3)の見え方の情報を示す項目に、点灯/消灯(#light)を追加登録する。 FIG. 15 is an explanatory diagram showing an example of a management table of the message communication apparatus (master unit) according to Embodiment 2 of the present invention. In the figure, ON / OFF (#light) is additionally registered in the item indicating the appearance information of the management table (FIG. 3) according to the first embodiment of the present invention.
[撮像情報送信手段104]
撮像情報送信手段104は、標示板検出手段103が標示板を検出した画像に対応する撮像位置および撮像時刻を含む撮像情報を付加したメッセージ(例えば、図4)を無線通信により子機に対して一斉同報送信する。
[Imaging information transmission means 104]
The imaging information transmission means 104 sends a message (for example, FIG. 4) to which the imaging information including the imaging position and imaging time corresponding to the image detected by the sign board detection means 103 is detected to the slave unit by wireless communication. Broadcast simultaneously.
なお、画像に複数の標示板が検出されているとき、点灯/消灯状態を示す見え方の情報が点灯または消灯が1つのみとなる標示板の組合せの画像を選択して、その撮像時刻の撮像情報を送信することで、後のメッセージ送信で1つのみの点灯または消灯している標示板を宛先に特定しやすくしてもよい。 When a plurality of signboards are detected in the image, an image of a combination of signboards with only one on / off information indicating the on / off state is selected and the imaging time By transmitting the imaging information, it may be possible to easily identify only one signboard that is turned on or off in the subsequent message transmission as the destination.
[表示手段107b]
表示手段107bは、標示板検出手段103が標示板を検出した画像を表示する。標示板検出手段103によって検出された標示板の画面座標に標示板を示す図形やマークを明示してもよい。
[Display means 107b]
The display means 107b displays an image in which the sign board detection means 103 has detected the sign board. A figure or mark indicating the sign board may be clearly shown on the screen coordinates of the sign board detected by the sign
[座標指定手段108]
座標指定手段108は、例えばタッチパネルやマウスなどのポインティングデバイスにより親機のオペレータが指し示した映像中の一点の画面座標を入力して指定する。標示板は、例えば親機のオペレータが表示手段107bの画面上に視認した標示板に位置を入力してもよいが、標示板検出手段103によって検出された標示板の画面座標に標示板を示す図形やマークを明示しておく場合は、マーク上やその近傍の位置を入力された標示板を選択する。
[Coordinate specifying means 108]
The coordinate designating
[標示板指定手段109]
標示板指定手段109は、標示板検出手段103が検出した標示板の画面座標と座標指定手段108が指定した画面座標を比較することにより標示板を特定し、特定した標示板の見え方の情報を出力する。例えば、親機のオペレータが指定した映像中の一点から許容される誤差の範囲内に含まれる標示板候補を選択する。また、この誤差の範囲を円や楕円などの図形で明示し、その図形内部に含まれる標示板候補が選択されるようにしてもよい。
[Signboard designation means 109]
The sign board designating means 109 identifies the sign board by comparing the screen coordinates of the sign board detected by the sign board detection means 103 with the screen coordinates designated by the coordinate designating
[メッセージ送信手段110]
メッセージ送信手段110は、標示板指定手段109が特定した標示板の見え方の情報と撮像情報の撮像時刻をメッセージに付加したメッセージを無線通信により送信する。
[Message sending means 110]
The
図16は、この発明の実施の形態2に係るメッセージ通信装置の親機から子機に送信する見え方の情報を付加したメッセージの一例である。また、メッセージには、例えば「今から救助に行きます」などのメッセージ本文が付加する。ここで、親機は、標示板の点灯/消灯状態を含めた見え方の情報を送信先として示してメッセージを送信している。 FIG. 16 is an example of a message to which appearance information transmitted from the master unit to the slave unit of the message communication apparatus according to Embodiment 2 of the present invention is added. In addition, a message text such as “I am going to rescue now” is added to the message. Here, the master unit transmits a message indicating the information on how to view including the lighting / extinguishing state of the sign board as a transmission destination.
図17は、この発明の実施の形態2に係るメッセージ通信装置(子機)の一例を示す機能ブロック図である。図において、子機200bは、標示板201、撮像情報受信手段202、見え方推定手段203、メッセージ受信手段205、メッセージ表示手段206を備える。
FIG. 17 is a functional block diagram showing an example of a message communication device (child device) according to Embodiment 2 of the present invention. In the figure, the slave unit 200b includes a
メッセージ通信装置の子機200bにおいて、メッセージ受信手段205は、親機からメッセージを受信し、受信したメッセージに見え方推定手段203が推定した標示板の見え方の情報が付加されている場合に、メッセージ本文を出力する。メッセージ表示手段206は、メッセージ受信手段205が出力したメッセージ本文を表示する。ここで、標示板201、撮像情報受信手段202、見え方推定手段203は、図7に示したこの発明の実施の形態1に係るメッセージ通信装置(子機)において、同一符号を付した各手段に相当するものであるので、その説明を一部省略する。
In the slave unit 200b of the message communication apparatus, the
以下、子機を構成する各処理手段を詳しく説明する。 Hereinafter, each processing means which comprises a subunit | mobile_unit is demonstrated in detail.
[撮像情報受信手段202]
撮像情報受信手段202は、親機100bの撮像情報送信手段103から無線通信により一斉同報送信された撮像情報が付加されたメッセージを受信する(図14)。
[Imaging information receiving means 202]
The imaging
[見え方推定手段203]
像推定手段203は、撮像情報受信手段202が受信した撮像情報に示された撮像位置および撮像時刻の情報に基づき、標示板の見え方の情報を推定し、内部の記憶手段251(図示せず)に親機から受信した撮像情報に含まれる撮像時間から判定した子機(標示板)自身の点灯/消灯状態を加えた見え方の情報を記憶し、また出力する。ここでは、見え方の情報として親機と同様に方位角と仰角、また標示板上の目印である発光素子の点灯・消灯状態の情報を用いるものとする。
[Visibility estimation means 203]
The
また、図18は、この発明の実施の形態1に係る標示板の点灯状態と消灯状態について説明する説明図である。図において、4つの発光素子は常時点灯させておいてもよいが、発光素子のうち、円形マークの周上の発光素子N、E、Wは常時点灯させておき、中心部の発光素子Oを点灯(ON)または消灯(OFF)させ、遠方から点灯または消灯の状態を視認できるようにしてもよい。このとき、発光素子Oの点灯と消灯は、例えば子機から制御し、時刻を指定すればその時点の点灯と消灯の状況がわかるようにしておく。
Moreover, FIG. 18 is explanatory drawing explaining the lighting state and light extinction state of the sign board which concerns on
ここで、子機から標示板の発光素子Oの点灯/消灯を制御して、例えば毎分0秒から60秒の間を5秒毎に12の時間帯にわけ、子機(標示板)ごとに決まった時間帯だけ点灯するようにする。即ち、例えばある標示板は毎分0秒から5秒まで、別の標示板は毎分15秒から20秒まで点灯するようにする。このように構成すれば、子機によって各時刻の点灯・消灯の状態は異なる見え方となる。 Here, lighting / extinguishing of the light emitting element O of the sign board is controlled from the slave unit, and for example, between 0 second and 60 seconds per minute is divided into 12 time zones every 5 seconds, for each slave unit (sign plate) It should be lit only during a certain time period. That is, for example, one sign board is lit from 0 to 5 seconds per minute, and another sign board is lit from 15 to 20 seconds per minute. If comprised in this way, the lighting / extinguishing state of each time will look different depending on the slave unit.
[メッセージ受信手段205]
メッセージ受信手段205は、親機から送信されたメッセージに付加された見え方の情報を子機自身の見え方の情報と比較して、見え方の情報が一致するとき、メッセージ本文を出力する(図16)。
[Message receiving means 205]
The
なお、比較処理では、見え方の情報のうち、仰角と方位角については、親機と子機の検出精度が異なる場合を考慮して、完全一致でなくても、所定の閾値内の誤差であれば一致と判断してもよい。このとき、以降の親機からのメッセージに付加される標示板の見え方の情報は同一内容となると考えられるため、見え方推定手段103が推定した標示板の見え方の情報をメッセージ受信手段205が親機から受信したメッセージに付加された標示板の見え方の情報に修正してもよい。 In the comparison process, the elevation angle and the azimuth angle of the viewing information are considered to be errors within a predetermined threshold even if they do not match completely, considering the case where the detection accuracy of the parent device and the child device is different. If there is, it may be determined that they match. At this time, since the information on the appearance of the sign board added to the subsequent messages from the base unit is considered to have the same content, the information on the appearance of the sign board estimated by the appearance estimation means 103 is used as the message receiving means 205. May be corrected to the information on the appearance of the sign board added to the message received from the master unit.
[メッセージ表示手段206]
メッセージ表示手段206は、メッセージ受信手段205が出力したメッセージ本文を表示する。例えば、受信したメッセージに付加された「今から救助に行きます」などのメッセージ本文を表示する。
[Message display means 206]
The
次に、この発明のメッセージ通信システムの親機、子機の動作について説明する。まず、図19は、この発明の実施の形態2に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。子機による見え方の推定処理までの処理は、図10に示したこの発明の実施の形態1に係るメッセージ通信システムに係るメッセージ交換処理において同一名称を付した処理に相当するものであり、その説明を一部省略する。
Next, operations of the master unit and the slave unit of the message communication system according to the present invention will be described. First, FIG. 19 is a sequence diagram showing an example of a message exchange process according to the message communication system according to Embodiment 2 of the present invention. The process up to the appearance estimation process by the slave unit corresponds to the process assigned the same name in the message exchange process according to the message communication system according to
[標示板検出処理]
親機の標示板検出手段103は、カメラ(映像入力手段101)で撮像した映像中から標示板を検出する。見え方の情報の仰角と方位角は、この発明の実施の形態1に係るメッセージ通信システムの標示板検出処理で説明した手順で同様に算出する。
[Signboard detection processing]
The sign board detection means 103 of the master unit detects the sign board from the video imaged by the camera (video input means 101). The elevation angle and azimuth angle of the visibility information are similarly calculated by the procedure described in the sign board detection process of the message communication system according to
見え方の情報の点灯/消灯状態を判定する。先に説明した図18に示すように標示板の中心の発光素子Oが点灯しているかどうかにより標示板の点灯状態と消灯状態を区別する。例えば円形マークの外接長方形を手がかりに、その対角線の交点を調べ、発光素子Oの点灯/消灯の状態を判定する。また、検出された標示板の円形マーク(画像上では楕円形)の外接長方形の対角線の交点(中心)を標示板の画面座標とする。 The lighting information on / off state of the appearance information is determined. As shown in FIG. 18 described above, the lighting state and the unlighting state of the marking plate are distinguished depending on whether or not the light emitting element O at the center of the marking plate is lit. For example, using the circumscribed rectangle of the circular mark as a clue, the intersection of the diagonal lines is examined, and the lighting / extinguishing state of the light emitting element O is determined. Further, the intersection (center) of the diagonal line of the circumscribed rectangle of the detected circular mark (elliptical in the image) of the sign board is set as the screen coordinates of the sign board.
このように、標示板検出手段103は、画像を解析して映っている標示板を検出し、検出した標示板についてカメラの方位角・仰角、発光素子の点灯/消灯の区別等の見え方の情報と画面座標を出力する。
As described above, the sign
[撮像情報送信処理]
親機の撮像情報送信手段104は、撮像情報を付加したメッセージを子機に向けて無線通信により送信する。
[Imaging information transmission processing]
The imaging information transmission means 104 of the master unit transmits a message with imaging information added thereto to the slave unit by wireless communication.
[撮像情報受信処理]
子機の撮像情報受信手段202は、撮像情報を付加したメッセージを親機から無線通信により受信する。
[Imaging information reception processing]
The imaging
[見え方推定処理]
子機の見え方推定手段203は、受信した撮像情報に基づき見え方の情報を推定する。見え方の情報の仰角と方位角は、この発明の実施の形態1に係るメッセージ通信システムの見え方推定処理で説明した手順で同様に算出する。
[Visibility estimation processing]
The child device appearance estimation means 203 estimates appearance information based on the received imaging information. The elevation angle and azimuth angle of the visibility information are similarly calculated by the procedure described in the visibility estimation process of the message communication system according to
見え方の情報の点灯/消灯状態は、子機に対応する標示板自身における過去の点灯および消灯の記録と、受信した撮像情報の撮像時刻の情報を照合し、撮像時刻に標示板が点灯していたか、消灯していたかを判定する。 The lighting information on / off status is determined by checking the past lighting and extinguishing records on the signboard corresponding to the slave unit against the information on the imaging time of the received imaging information, and the signboard lights up at the imaging time. It was determined whether it was off or not.
このように、見え方推定手段203は、撮像情報に基づき、仰角、方位角、点灯・消灯の区別による標示板の見え方の情報を推定することで、この子機自身の標示板が親機の映像にどのように映っているかを推定する。 In this way, the appearance estimation means 203 estimates the information on the appearance of the sign board based on the elevation angle, the azimuth angle, and whether the light is turned on or off based on the imaging information. How it appears in the video.
[記憶処理(子機)]
子機の見え方推定手段203内部の記憶手段251は、見え方推定手段が推定した子機(標示板)の見え方の情報と親機から撮像情報受信手段が受信した撮像情報の撮像時刻を記憶する。記憶した見え方の情報と撮像時刻は、親機から受信するメッセージに付加された情報と照合して、子機自身に宛てられたメッセージであるか否かを判断する際に参照される。
[Memory processing (child device)]
The storage unit 251 in the slave unit
[標示板指定処理]
親機の表示手段107bは、標示板検出手段103が標示板を検出した画像を表示する。標示板検出手段103によって検出された標示板の画面座標に標示板を示す図形やマークを明示してもよい。座標指定手段108は、親機のオペレータが指し示した画像中の一点の画面座標を入力して指定する。
[Sign plate designation processing]
The
親機の標示板指定手段109は、標示板検出手段103が検出した標示板の画面座標と座標指定手段108が指定した画面座標を比較することにより標示板を特定し、特定した標示板の見え方の情報を出力する。 The sign board designation means 109 of the master unit identifies the sign board by comparing the screen coordinates of the sign board detected by the sign board detection means 103 with the screen coordinates designated by the coordinate designation means 108, and the appearance of the identified sign board The information of the other side is output.
[メッセージ送信処理(親機)]
親機のメッセージ送信手段110は、標示板の見え方の情報と撮像情報の撮像時刻を付加したメッセージを子機に向けて無線通信により送信する。このメッセージには、メッセージ本文が添えられている。ここで、親機は、標示板の見え方の情報を送信先として示してメッセージを送信している。
[Message transmission processing (base unit)]
The message transmission means 110 of the master unit transmits a message to which the information on how to see the sign board and the imaging time of the imaging information are added to the slave unit by wireless communication. This message is accompanied by a message body. Here, the base unit transmits a message indicating information on how the sign board is viewed as a transmission destination.
[メッセージ受信処理(子機)]
子機のメッセージ受信手段205は、標示板の見え方の情報と撮像情報の撮像時刻を付加したメッセージを親機から無線通信により受信し、受信した見え方の情報と撮像時刻から子機自身に宛てられたメッセージであると判断されるとき、メッセージに添えられたメッセージ本文を出力する。
[Message reception processing (child device)]
The message receiving means 205 of the slave unit receives a message added with the information on the appearance of the signboard and the imaging time of the imaging information from the master unit by wireless communication, and the slave unit itself receives the information on the received appearance and the imaging time. When it is determined that the message is addressed, the message body attached to the message is output.
[メッセージ表示処理]
子機のメッセージ表示手段206は、メッセージ受信手段205から出力されたメッセージ本文を表示する。
[Message display processing]
The
ここで、この発明の実施の形態2では、変形例として、座標指定手段108、標示板指定手段109により親機のオペレータに画面座標を先に指定させ、標示板検出手段103は、指定された画面座標の近傍領域から標示板を検出するようにしてもよい。図20は、この発明の実施の形態2に係るメッセージ通信システムに係るメッセージ交換処理の変形例を示すシーケンス図であるが、先に説明した図19の映像撮像処理と標示板検出処理の間にも、標示板指定処理(2)相当の処理である標示板指定処理(1)を行い、指定された画面座標に基づいて、標示板を検出するための探索範囲を小さくすることが可能となる。探索範囲を小さく絞り込むことで、より確実に、また短い処理時間で標示板を検出することができる。なお、この発明の実施の形態1においても、この発明の実施の形態2の座標指定手段108、標示板指定手段109相当の手段を備えることで、標示板検出処理の前に同様の処理を行うことができる。
Here, in the second embodiment of the present invention, as a modification, the coordinate designation means 108 and the sign board designation means 109 allow the operator of the master unit to designate the screen coordinates first, and the sign board detection means 103 is designated. The sign board may be detected from the area near the screen coordinates. FIG. 20 is a sequence diagram showing a modified example of the message exchange process according to the message communication system according to the second embodiment of the present invention, but between the video imaging process and the sign board detection process of FIG. 19 described above. In addition, it is possible to reduce the search range for detecting the sign board based on the designated screen coordinates by performing the sign board designation process (1), which is equivalent to the sign board designation process (2). . By narrowing down the search range, the sign plate can be detected more reliably and in a short processing time. In the first embodiment of the present invention, the same processing is performed before the sign plate detection processing by providing means corresponding to the coordinate designating
この発明の実施の形態2に係るメッセージ通信システムにおいては、親機が撮像位置および撮像時刻の少なくとも1つを含む撮像情報を付加した撮像情報メッセージを子機へ送信した後、親機が見え方の情報と撮像時刻を付加したメッセージを子機へ送信するものについて説明した。ここで、この発明のメッセージ通信システムの運用構成別にメッセージに付加する撮像情報と見え方の情報を考える。 In the message communication system according to Embodiment 2 of the present invention, after the master unit transmits an imaging information message to which the imaging information including at least one of the imaging position and the imaging time is added to the slave unit, the master unit is visible In the above description, the message to which the information and the imaging time are added is transmitted to the slave unit. Here, imaging information and appearance information added to a message are considered for each operational configuration of the message communication system of the present invention.
親機が1台の場合、親機が1枚の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、送信元と撮像情報は一意に決まるので、子機は以降のメッセージに撮像情報がなくても、見え方の情報が付加されたメッセージが子機自身に宛てられたものか判断できる。 When there is one master unit, when the master unit transmits an imaging information message with imaging information for one image added to the slave unit, the transmission source and the imaging information are uniquely determined. Even if there is no imaging information, it can be determined whether the message with the appearance information added is addressed to the handset itself.
一方、親機が複数の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、子機は以降のメッセージが対応する撮像情報メッセージを撮像時刻で特定すればよく、メッセージに見え方の情報とともに少なくとも撮像時刻が付加されることで子機自身に宛てられたものか判断できる。 On the other hand, when the master unit sends an imaging information message with imaging information for a plurality of images to the slave unit, the slave unit may specify the imaging information message corresponding to the subsequent message by the imaging time, If at least the imaging time is added together with the above information, it can be determined whether it is addressed to the slave unit itself.
さらに、親機が2台以上の場合、メッセージを送信した親機も特定しなければならないため、各親機が送信する撮像情報メッセージの数によらず、メッセージに撮像位置と撮像時刻が付加されることで子機自身に宛てられたものか判断できる。 Furthermore, when there are two or more master units, the master unit that transmitted the message must also be specified, so the imaging position and imaging time are added to the message regardless of the number of imaging information messages transmitted by each master unit. It can be judged whether it was addressed to the slave itself.
このように、この発明の実施の形態2に係るメッセージ通信システムによれば、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後の親機から受信したメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認できる。 As described above, according to the message communication system according to the second embodiment of the present invention, the imaging information of the image corresponding to the sign board detected by the master unit is sent to the slave unit, and the appearance of the sign plate estimated by the slave unit itself is seen. Since the information on the other side is compared with the information on the appearance added to the message received from the subsequent master unit, the information on the appearance of the sign board attached to the received message is stored in the slave unit itself. If it is, it can be confirmed by displaying the message body as a message addressed to the child device.
また、この発明の実施の形態2に係るメッセージ通信システムによれば、親機側で送信先の子機の端末IDを知らなくても、目的とする子機にメッセージを届けることができる。 Further, according to the message communication system according to Embodiment 2 of the present invention, a message can be delivered to a target slave unit without knowing the terminal ID of the destination slave unit on the master unit side.
実施の形態3.
先に説明したこの発明の実施の形態1では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明した。また、この発明の実施の形態2では、子機から親機へメッセージを送信せず、最初に受信した撮像情報から子機自身を示す標示板の見え方を推定し、以降の受信メッセージに推定した標示板の見え方が付加されているときに当該子機に宛てたメッセージと判断し、メッセージを表示して確認するものを説明した。
Embodiment 3 FIG.
In the first embodiment of the present invention described above, a message with information on how to display the sign board is transmitted from the slave unit to the master unit, and the sign plate indicating the slave unit is associated with the received message in the master unit. I explained what to check on the screen. In the second embodiment of the present invention, a message is not transmitted from the child device to the parent device, the appearance of the signboard indicating the child device itself is estimated from the first received image information, and the subsequent received message is estimated. In the above description, it is determined that the message is addressed to the slave when the appearance of the displayed signboard is added, and the message is displayed for confirmation.
この発明の実施の形態3では、この発明の実施の形態1と同様に、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認し、その後、この発明の実施の形態2と同様に、親機は子機から受信したメッセージに付加された見え方の情報を子機への宛先としてメッセージを送信するものを説明する。 In the third embodiment of the present invention, as in the first embodiment of the present invention, a message indicating the appearance of the sign board is transmitted from the slave unit to the master unit, and the master unit indicates the slave unit. The board and the received message are associated with each other and confirmed on the screen, and thereafter, as in the second embodiment of the present invention, the master unit displays the information on the appearance added to the message received from the slave unit. What sends a message as a destination to the will be described.
図21は、この発明の実施の形態3に係るメッセージ通信装置(親機)の一例を示す機能ブロック図である。図において、親機100cは、映像入力手段101、撮像情報生成手段102、標示板検出手段103、撮像情報送信手段104、メッセージ受信手段105、対応付け手段106、表示手段107c、座標指定手段108、標示板指定手段109、メッセージ送信手段110、メッセージ入力手段111を備える。
FIG. 21 is a functional block diagram showing an example of a message communication device (master unit) according to Embodiment 3 of the present invention. In the figure, a base unit 100c includes a
図において、映像入力手段101、撮像情報生成手段102、標示板検出手段103、撮像情報送信手段104は、この発明の実施の形態1(図2)およびこの発明の実施の形態2(図14)で同一符号を付した処理手段、またメッセージ受信手段105、対応付け手段106は、この発明の実施の形態1で同一符号を付した処理手段、さらに座標指定手段108、標示板指定手段109、メッセージ送信手段110は、この発明の実施の形態2で同一符号を付した処理手段であり、説明を省略する。また、表示手段107cは、この発明の実施の形態1の表示手段107aおよびこの発明の実施の形態2の表示手段107bの処理を適宜行い動作する。メッセージ入力手段111は、撮像情報送信手段104から送信する撮像情報メッセージやメッセージ送信手段110から送信するメッセージに対するメッセージ本文を入力する。
In the figure, video input means 101, imaging information generation means 102, sign board detection means 103, imaging information transmission means 104 are shown in Embodiment 1 (FIG. 2) and Embodiment 2 (FIG. 14) of the present invention. , The message receiving means 105 and the associating means 106 are the processing means assigned the same reference numerals in the first embodiment of the present invention, the coordinate specifying
メッセージ入力手段111は、親機100cのオペレータがメッセージ本文を自由に編集するインタフェースを提供する。また、例えば、幾つかの例示されたメッセージ本文の候補から選択してメッセージ本文に含めることで、メッセージ入力の負荷軽減、簡易化を図ってもよい。 Message input means 111 provides an interface through which the operator of base unit 100c can freely edit the message text. In addition, for example, the message input load may be reduced and simplified by selecting from some exemplified message body candidates and including them in the message body.
撮像情報送信手段104は、例えばメッセージ入力手段111から入力されたメッセージ本文を標示板検出手段103が検出した特定の標示板に向けて送信するとき、その標示板の見え方の情報を付加して撮像情報メッセージを送信する。また、メッセージ本文を標示板検出手段103が検出した複数の標示板に向けて送信するとき、標示板を特定する見え方の情報を付加せずに撮像情報メッセージを送信する。
For example, when the image
メッセージ送信手段110は、標示板指定手段109が特定した標示板の見え方の情報と撮像情報の撮像時刻を例えばメッセージ入力手段111から入力されたメッセージ本文に付加したメッセージを無線通信により子機に送信する。 The message transmission means 110 sends a message in which the information on the appearance of the signboard specified by the signboard designation means 109 and the imaging time of the imaging information is added to the message body inputted from the message input means 111 to the slave unit by wireless communication. Send.
図22は、この発明の実施の形態3に係るメッセージ通信装置(子機)の一例を示す機能ブロック図である。図において、子機200cは、標示板201、撮像情報受信手段202、見え方推定手段203、メッセージ送信手段204、メッセージ受信手段205、メッセージ表示手段206、メッセージ入力手段207を備える。
FIG. 22 is a functional block diagram showing an example of a message communication apparatus (slave unit) according to Embodiment 3 of the present invention. In the figure, the slave device 200c includes a
図において、標示板201、撮像情報受信手段202、見え方推定手段203は、この発明の実施の形態1(図7)およびこの発明の実施の形態2(図17)で同一符号を付した処理手段、またメッセージ送信手段204は、この発明の実施の形態1で同一符号を付した処理手段、さらにメッセージ受信手段205、メッセージ表示手段206は、この発明の実施の形態2で同一符号を付した処理手段であり、説明を省略する。メッセージ入力手段207は、メッセージ送信手段204から送信するメッセージに対するメッセージ本文を入力する。
In the figure, the
メッセージ入力手段207は、子機200のオペレータがメッセージ本文を自由に編集するインタフェースを提供する。また、例えば、幾つかの例示されたメッセージ本文の候補から選択してメッセージ本文に含めるインタフェースを提供する。より具体的には、必要物資や人員情報などの情報をリスト選択してメッセージ本文に含めることで、メッセージ入力の負荷軽減、簡易化を図ってもよい。 Message input means 207 provides an interface through which the operator of handset 200 can freely edit the message text. In addition, for example, an interface is provided that is selected from several exemplified message body candidates and included in the message body. More specifically, it is possible to reduce and simplify the message input load by selecting information such as necessary supplies and personnel information from the list and including it in the message body.
撮像情報受信手段202は、メッセージ本文がある撮像情報メッセージを受信し、見え方の情報が付加されていないとき、メッセージ本文を出力する。また、見え方の情報が付加されているとき、撮像情報から見え方推定手段203に見え方の情報を推定させて、メッセージに付加された見え方の情報を見え方推定手段203が推定した見え方の情報と比較して、見え方の情報が一致するとき、メッセージ本文を出力する。
The imaging
メッセージ送信手段204は、見え方推定手段203が推定した標示板の見え方の情報とメッセージ受信手段205が受信した撮像情報の撮像時刻を例えばメッセージ入力手段207から入力されたメッセージ本文に付加したメッセージを無線通信により親機に送信する。
The
この発明の実施の形態3に係るメッセージ通信装置は、図21のような構成をもつ親機と図22のような構成をもつ子機の間で、この発明の実施の形態1に係るメッセージ交換処理(図10)とこの発明の実施の形態2に係るメッセージ交換処理(図19)の両方のシーケンスに沿った動作を行うことができる。
A message communication apparatus according to Embodiment 3 of the present invention exchanges messages between a base unit having a configuration as shown in FIG. 21 and a slave unit having a configuration as in FIG. 22 according to
この発明の実施の形態3に係るメッセージ通信装置では、この発明の実施の形態1および実施の形態2に係るメッセージ通信装置と同様に、メッセージに見え方の情報を付加して送信することにより、メッセージ送信元の子機の位置を映像中に的確に位置付けて表示し、またメッセージ送信先の子機を指定することでメッセージ交換を可能とするものを説明した。 In the message communication device according to the third embodiment of the present invention, as in the message communication device according to the first and second embodiments of the present invention, by adding the information on how the message looks to be transmitted, A description has been given of the one that displays the position of the message transmission source slave unit accurately in the video and enables message exchange by designating the message transmission destination slave unit.
ここで、例えば見え方の情報をメッセージに付加する代わりに、地理座標をメッセージに付加する方法も考えられる。すなわち、メッセージに付加された地理座標を、カメラの位置、向きなどのパラメータをもとに投影モデルに従って、画面座標に変換すれば、本発明と同等の効果を得ることが期待できるが、このメッセージに地理座標を付加する方法では、カメラの位置、向きなどのパラメータに誤差がある場合に、画像から検出した標示板に基づいて得られる画面座標にも誤差が生じてしまうことがある。 Here, for example, instead of adding appearance information to the message, a method of adding geographic coordinates to the message is also conceivable. That is, if the geographic coordinates added to the message are converted into screen coordinates according to the projection model based on parameters such as the position and orientation of the camera, it can be expected to obtain the same effect as the present invention. In the method of adding geographic coordinates to the image, if there are errors in parameters such as the position and orientation of the camera, errors may occur in the screen coordinates obtained based on the sign board detected from the image.
一方、メッセージに見え方の情報を付加して送信し、撮像された映像から検出した同じ見え方の標示板を対応付けるこの発明の実施の形態に係るメッセージ通信装置では、標示板が正しく検出できれば画面座標の誤差も小さく抑えられる。また、子機の地理座標を無線で送信する必要が無いので、システム運用の場面や状況にもよるが、仮に被災者のプライバシーを保護するため等の理由で地理座標の漏洩を避けたい場合でも対応しやすい。 On the other hand, in the message communication apparatus according to the embodiment of the present invention, the message communication device according to the embodiment of the present invention associates the same appearance sign plate detected from the captured image with the appearance information added thereto and transmits the screen. Coordinate errors can be kept small. In addition, since it is not necessary to transmit the geographical coordinates of the slave unit wirelessly, depending on the situation and situation of the system operation, even if you want to avoid the leakage of the geographical coordinates for reasons such as protecting the privacy of the victims Easy to handle.
よって、メッセージに見え方の情報と地理座標の両方を付加する方法であれば、地理座標の情報を手がかりに標示板を検出する際の探索範囲を小さくすることが可能となり、効率的に(少ない処理量で正確に)目的の画面座標を求めることができる。 Therefore, if the method adds both the appearance information and the geographical coordinates to the message, it is possible to reduce the search range when detecting the sign board using the geographical coordinate information as a clue, and efficiently (less The target screen coordinates can be determined accurately (by processing amount).
このように、この発明の実施の形態3に係るメッセージ通信システムによれば、この発明の実施の形態1に係るメッセージ通信システムと同様に、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができる。 Thus, according to the message communication system according to the third embodiment of the present invention, as in the message communication system according to the first embodiment of the present invention, the imaging information of the image corresponding to the signboard detected by the master unit Was sent to the slave unit, and the slave unit added the information on how to see the sign board and sent back a message, so that the information on the appearance was checked, so the master unit has multiple detected sign boards. In addition, it is possible to accurately associate the slave unit, and to grasp the position of the screen coordinates of the sign board on the image as the location of the slave unit of the message transmission source.
また、この発明の実施の形態3に係るメッセージ通信システムによれば、この発明の実施の形態1に係るメッセージ通信システムと同様に、画面上に表示されたメッセージ送信元の子機と送信してきたメッセージ本文を合成して表示するようにしたので、子機周辺の状況、環境を見ながら子機の要求を確認することができる。 Further, according to the message communication system according to the third embodiment of the present invention, as with the message communication system according to the first embodiment of the present invention, transmission has been performed with the message transmission source slave unit displayed on the screen. Since the message text is synthesized and displayed, the request of the slave unit can be confirmed while checking the situation and environment around the slave unit.
このように、この発明の実施の形態3に係るメッセージ通信システムによれば、この発明の実施の形態2に係るメッセージ通信システムと同様に、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後のメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認する。 Thus, according to the message communication system according to the third embodiment of the present invention, as in the message communication system according to the second embodiment of the present invention, the imaging information of the image corresponding to the signboard detected by the master unit Is sent to the handset, and the information on the appearance of the sign board estimated by the handset itself is checked against the information on the appearance attached to the subsequent messages. If the information on how the board is viewed is the slave unit itself, the message body is displayed as a message addressed to the slave unit.
また、この発明の実施の形態3に係るメッセージ通信システムによれば、この発明の実施の形態2に係るメッセージ通信システムと同様に、親機側で送信先の子機の端末IDを知らなくても、目的とする子機にメッセージを届けることができる。 Further, according to the message communication system according to the third embodiment of the present invention, as in the message communication system according to the second embodiment of the present invention, the master unit does not know the terminal ID of the slave unit that is the transmission destination. Can also deliver a message to the desired handset.
以上のように、この発明の実施の形態に係るメッセージ通信システムにおいて、親機から子機に対しては一斉同報通信によるメッセージ送信を行い、子機から親機に対しては一対一通信によるメッセージ送信を行う一例について説明した。無線通信においては、多くの場合、一斉同報通信と一対一通信で必要とする帯域は同等であるので、子機から親機への一対一通信の数を減らすことが帯域の節約につながる。例えば、標示板の見え方の情報を付加して撮像情報を送信し、見え方の情報が一致した子機から返信メッセージを親機に送信させ、また親機から子機(標示板)が見えていないことが推定された場合に子機からの返信を制限することでも、通信帯域を節約することができる効果がある。 As described above, in the message communication system according to the embodiment of the present invention, message transmission is performed by simultaneous broadcast communication from the parent device to the child device, and one-to-one communication is performed from the child device to the parent device. An example of performing message transmission has been described. In wireless communication, in many cases, the bandwidth required for simultaneous broadcast communication and one-to-one communication is the same, so reducing the number of one-to-one communication from the child device to the parent device leads to saving of the bandwidth. For example, the imaging information is transmitted with the information on how the appearance of the sign board is added, a reply message is transmitted to the parent machine from the slave unit that matches the appearance information, and the slave unit (indicator board) is seen from the parent unit. Limiting the reply from the slave unit when it is estimated that there is no communication is also effective in saving the communication band.
まず、この発明の実施の形態1に係るメッセージ通信システムにおいて、親機が画像から標示板を検出したとき、標示板を不特定のまま、撮像情報を子機に送信するように説明したが、標示板ごとに見え方の情報を付加して撮像情報を送信して、見え方の情報が一致した子機から返信メッセージを親機に送信させるようにしてもよい。
First, in the message communication system according to
また、この発明の実施の形態1に係るメッセージ通信システムにおいて、親機が画像から標示板を検出したとき、撮像情報を送信する前の段階でも、この発明の実施の形態2相当の座標指定手段、標示板指定手段を使用して、複数の標示板を表示した画面から先に標示板を特定して、その見え方の情報を付加して撮像情報を送信し、子機は受信した撮像情報から推定した見え方の情報と受信した見え方の情報を比較して一致したときに、返信メッセージを親機に送信するようにしてもよい。 Further, in the message communication system according to the first embodiment of the present invention, when the master unit detects the sign board from the image, the coordinate designating means equivalent to the second embodiment of the present invention is provided even before the imaging information is transmitted. Using the sign board specifying means, the sign board is identified first from the screen displaying a plurality of sign boards, and the imaging information is transmitted by adding the appearance information. The reply information may be transmitted to the parent device when the appearance information estimated from the information and the received appearance information are compared and matched.
このように、この発明の実施の形態1および実施の形態2に係るメッセージ通信システムにおいて、親機は、見え方の情報も含めた撮像情報を親機から子機へ送信することによって、親機が画像から検出できた標示板の子機のみを対象に通知できる効果がある。また、この発明の実施の形態1に係るメッセージ通信システムにおいて、子機は、映像の撮像位置から親機が撮像している方向の情報が撮像情報を付加したメッセージに含まれていないことで、撮像されていない方向にいて画像に収まっていないことが判断できないが、子機(標示板)自身の見え方の情報により撮像できていることを判断できるようになり、子機自身宛のメッセージのみにメッセージを返信することができる。すなわち、子機自身の標示板が検出されていない状態で親機に返信することが抑えられ、通信量を削減できる効果がある。
As described above, in the message communication system according to
また、この発明の実施の形態1および実施の形態2に係るメッセージ通信システムにおいて、標示板の見え方の情報も含めた撮像情報を親機から子機へ送信することで、子機は撮像情報を受信し、見え方の情報の一致を確認した段階で、通信量削減というシステム運用面の効果とは別に、当該子機の標示板が親機に検出されているという安心感を得られるという効果がある。この発明のメッセージ通信システムが、例えば災害救助の場面に運用されることを想定すれば、早期に子機側の被災者が親機側の救助隊に発見されていることを認識することは重要である。
Further, in the message communication system according to
また、この発明の実施の形態1に係るメッセージ通信システムにおいて、親機における子機の検出が撮像位置から広範囲に及ぶことを抑制するのであれば、子機が推定した見え方の情報において、例えば仰角の値で返信を制限するようにしてもよい。子機からの仰角が高い場合には、親機が視界に入る近い位置におり、仰角が低い場合には、親機が視界に入りにくい遠い位置にいると判定し、例えば所定の閾値より仰角が大きいときに返信するようにすることで、遠い位置の子機がメッセージを返信してくることを抑えることができる。また、距離を直接的に制限して子機がメッセージを返信してくることを抑えてもよい。このように、子機からの不要な返信を抑えることで、通信量を削減できる効果がある。また、例えば撮像情報メッセージに返信すべき仰角や方位角の範囲を示し、その範囲に子機が推定した見え方の情報が収まる子機に返信させることで、映像の撮像方向を撮像情報に示さなくても画像から検出可能な標示板(子機)を判断できるようにしてもよい。 Further, in the message communication system according to the first embodiment of the present invention, if the detection of the slave unit in the master unit is prevented from extending over a wide range from the imaging position, You may make it restrict | limit a reply with the value of an elevation angle. When the elevation angle from the slave unit is high, it is determined that the master unit is close to entering the field of view, and when the elevation angle is low, it is determined that the master unit is far from entering the field of view. By replying when the is large, it is possible to prevent the remote unit from replying a message. Further, the distance may be directly limited to prevent the slave unit from returning a message. In this way, it is possible to reduce the amount of communication by suppressing unnecessary replies from the slave units. In addition, for example, the range of elevation and azimuth to be returned to the imaging information message is indicated, and the imaging direction of the video is indicated in the imaging information by returning the information to the slave unit in which the information on the appearance estimated by the slave unit is included in the range. It may be possible to determine a sign plate (slave device) that can be detected from the image without the need.
また、この発明の実施の形態1に係るメッセージ通信システムにおいて、映像の撮像位置から親機が撮像している方向の情報が撮像情報を付加したメッセージに含まれていないことで、撮像されていない方向にいて画像に収まっていないことが判断できない子機が返信することを排除しない場合は、画像上に検出されていない子機の映像情報のリストを作成することで、撮像が漏れた撮像地点を特定し、あらためて撮像しながらメッセージ交換を試みるようにしてもよい。撮像されなかった子機(標示板)をあらためて検出することで、子機の位置の検出漏れを少なくすることができる効果がある。また、あらためて撮像できる場合には、最初の撮像情報の送信段階では、実際の画像を撮像せず、撮像情報を送信して、子機の返信してくる情報収集のみ行うようにしてもよい。
Further, in the message communication system according to
なお、この発明の実施の形態1および実施の形態2の合わせた構成を備えて動作する実施の形態3に係るメッセージ通信システムにおいても、これらの実施の形態における効果が得られることは自明である。
It is obvious that the effects of these embodiments can also be obtained in the message communication system according to Embodiment 3 that operates with the combined configuration of
10 メッセージ通信装置(親機)、11 情報処理装置、12 メッセージ入力用キーボード、13 表示装置、14 測位用アンテナ、15 通信用アンテナ、16 カメラ、20 メッセージ通信装置(子機)、21 情報処理装置、22 メッセージ入力用キーボード、23 表示装置、24 測位用アンテナ、25 通信用アンテナ、26 標示板、100a、100b、100c メッセージ通信装置(親機)、101 映像入力手段、102 撮像情報生成手段、103 標示板検出手段、104 撮像情報送信手段、105 メッセージ受信手段、106 対応付け手段、107a、107b、107c 表示手段、108 座標指定手段、109 標示板指定手段、110 メッセージ送信手段、111 メッセージ入力手段、151 記憶手段、200a、200b、200c メッセージ通信装置(子機)、201 標示板、202 撮像情報受信手段、203 見え方推定手段、204 メッセージ送信手段、205 メッセージ受信手段、206 メッセージ表示手段、207 メッセージ入力手段、251 記憶手段。
DESCRIPTION OF
Claims (18)
前記映像の撮像情報を生成する撮像情報生成手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、
前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、
前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段と
を備えたメッセージ通信装置。 Video input means for inputting the captured video;
Imaging information generating means for generating imaging information of the video;
A sign board detecting means for detecting a sign board provided with a mark in a predetermined arrangement from the video corresponding to the imaging information, and outputting information on the screen coordinates and appearance of the detected sign board;
Imaging information transmission means for transmitting an imaging information message to which the imaging information corresponding to the image in which the sign board detection means has detected the sign board is added to a slave unit;
Message receiving means for receiving a reply message including information on the appearance of the sign board estimated based on the imaging information received by the slave unit from the slave unit;
Corresponding means for associating a sign board that matches the information on the appearance of the sign board included in the reply message among the information on the appearance of the sign board detected by the sign board detection means;
A display in which the body of the reply message is combined and displayed in association with the position of the screen coordinate of the sign board associated with the association means on the video in which the sign board associated with the association means is detected. And a message communication device.
前記映像の撮像情報を生成する撮像情報生成手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機に送信した前記撮像情報に対応した前記映像を表示する表示手段と、
前記表示手段の表示画面上の画面座標を指定する座標指定手段と、
前記表示手段に表示された前記映像に対応して前記標示板検出手段が検出した前記標示板の画面座標のうち、当該映像に対して前記座標指定手段が指定した前記画面座標と一致する標示板を指定する標示板指定手段と、
前記標示板指定手段が指定した前記標示板の見え方の情報を送信メッセージに付加して前記子機に送信するメッセージ送信手段と
を備えたメッセージ通信装置。 Video input means for inputting the captured video;
Imaging information generating means for generating imaging information of the video;
A sign board detecting means for detecting a sign board provided with a mark in a predetermined arrangement from the video corresponding to the imaging information, and outputting information on the screen coordinates and appearance of the detected sign board;
Imaging information transmission means for transmitting an imaging information message to which the imaging information corresponding to the image in which the sign board detection means has detected the sign board is added to a slave unit;
Display means for displaying the video corresponding to the imaging information transmitted to the slave unit;
Coordinate designating means for designating screen coordinates on the display screen of the display means;
Among the screen coordinates of the sign board detected by the sign board detecting means corresponding to the image displayed on the display means, the sign board that matches the screen coordinates designated by the coordinate designating means for the image Marking plate designating means for designating,
A message communication apparatus comprising: message transmission means for adding information on how to see the sign board designated by the sign board designation means to a transmission message and transmitting the information to the slave unit.
前記映像の撮像情報を生成する撮像情報生成手段と、
した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、
前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段と
を備えたメッセージ通信装置。 Video input means for inputting the captured video;
Imaging information generating means for generating imaging information of the video;
Imaging information transmission means for transmitting the captured imaging information message to the slave unit;
Message receiving means for receiving a reply message including information on the appearance of the sign board estimated based on the imaging information received by the slave unit from the slave unit;
A sign board detecting means for detecting a sign board provided with a mark in a predetermined arrangement from the video corresponding to the imaging information, and outputting information on the screen coordinates and appearance of the detected sign board;
Corresponding means for associating a sign board that matches the information on the appearance of the sign board included in the reply message among the information on the appearance of the sign board detected by the sign board detection means;
A display in which the body of the reply message is combined and displayed in association with the position of the screen coordinate of the sign board associated with the association means on the video in which the sign board associated with the association means is detected. And a message communication device.
親機から該親機が撮影した映像の前記撮像情報を付加された撮像情報メッセージを受信する撮像情報受信手段と、
前記撮像情報受信手段が受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定手段と、
前記見え方推定手段が推定した前記標示板の見え方の情報を付加した返信メッセージを前記親機に送信するメッセージ送信手段と
を備えたメッセージ通信装置。 A sign board provided with a mark in a predetermined arrangement;
Imaging information receiving means for receiving an imaging information message to which the imaging information of the video captured by the parent device is added from the parent device;
Appearance estimation means for estimating the appearance information of the sign board based on the imaging information received by the imaging information reception means;
A message communication apparatus comprising: a message transmission unit configured to transmit a reply message to which information on the appearance of the sign board estimated by the appearance estimation unit is added to the parent device.
親機から該親機が撮影した映像の撮像情報を付加された撮像情報メッセージを受信する撮像情報受信手段と、
前記撮像情報受信手段が受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定手段と、
前記親機からメッセージを受信し、受信したメッセージに前記見え方推定手段が推定した前記標示板の見え方の情報が付加されている場合に、メッセージ本文を出力するメッセージ受信手段と、
前記メッセージ受信手段が出力した前記メッセージ本文を表示するメッセージ表示手段と
を備えたメッセージ通信装置。 A sign board provided with a mark in a predetermined arrangement;
Imaging information receiving means for receiving an imaging information message to which imaging information of a video photographed by the parent device is added from the parent device;
Appearance estimation means for estimating the appearance information of the sign board based on the imaging information received by the imaging information reception means;
A message receiving means for receiving a message from the base unit and outputting a message body when the information on the appearance of the sign board estimated by the appearance estimation means is added to the received message;
A message communication device comprising message display means for displaying the message text output by the message receiving means.
前記標示板の前記見え方の情報は、前記映像の前記撮像情報に含まれる前記撮像時刻における前記標示板の前記目印の点灯・消灯状態を示す情報である請求項10に記載のメッセージ通信装置。 On the sign board, the mark is turned on / off,
The message communication device according to claim 10, wherein the information on the appearance of the sign board is information indicating a lighting / extinction state of the mark on the sign board at the imaging time included in the imaging information of the video.
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定ステップと、
推定した前記標示板の見え方の情報を付加した返信メッセージを送信するメッセージ送信ステップと、
前記メッセージ通信装置の親機が、
前記メッセージ通信装置の子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信ステップと、
検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付けステップと、
対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示ステップと
を有するメッセージ通信方法。 The base unit of the message communication device
A video input step for inputting the captured video;
An imaging information generating step for generating imaging information of the video;
A sign that detects a sign board provided with a mark in a predetermined arrangement from the image corresponding to the imaging information, and outputs information about how the sign board is viewed based on the screen coordinates of the detected sign board and the imaging information A plate detection step;
An imaging information transmission step for transmitting the imaging information to a slave unit of the message communication device;
The handset of the message communication device is
An imaging information receiving step for receiving imaging information of the video captured by the parent device from the parent device of the message communication device;
An appearance estimation step for estimating information on the appearance of the sign board based on the received imaging information;
A message sending step of sending a reply message with information on the estimated appearance of the signboard;
The master unit of the message communication device is
A message receiving step for receiving a reply message including information on the appearance of the sign board estimated based on the imaging information received by the slave unit from the slave unit of the message communication device;
Of the detected information on the appearance of the sign board, an associating step for associating a sign board that matches the information on the appearance of the sign board included in the reply message;
A message communication method comprising: a display step of combining and displaying the body of the reply message in association with the position of the screen coordinates of the associated sign board on the video in which the associated sign board is detected.
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定ステップと、
前記メッセージ通信装置の親機が、
前記映像を表示する表示ステップと、
前記子機に送信した撮像情報に対応した前記映像を表示する表示ステップと、
前記映像の表示画面上の画面座標を指定する座標指定ステップと、
前記映像に対応して検出した前記標示板の画面座標のうち、当該映像に対して指定した前記画面座標と一致する標示板を指定する標示板指定ステップと、
指定した前記標示板の見え方の情報を送信メッセージに付加して前記メッセージ通信装置の子機に送信するメッセージ送信ステップと、
前記メッセージ通信装置の子機が、
前記親機からメッセージを受信し、受信したメッセージに推定した前記標示板の見え方の情報が付加されている場合に、メッセージ本文を出力するメッセージ受信ステップと、
出力した前記メッセージ本文を表示するメッセージ表示ステップと
を有するメッセージ通信方法。 The base unit of the message communication device
A video input step for inputting the captured video;
An imaging information generating step for generating imaging information of the video;
A sign that detects a sign board provided with a mark in a predetermined arrangement from the image corresponding to the imaging information, and outputs information about how the sign board is viewed based on the screen coordinates of the detected sign board and the imaging information A plate detection step;
An imaging information transmission step for transmitting the imaging information to a slave unit of the message communication device;
The handset of the message communication device is
An imaging information receiving step for receiving imaging information of the video captured by the parent device from the parent device of the message communication device;
An appearance estimation step for estimating information on the appearance of the sign board based on the received imaging information;
The master unit of the message communication device is
A display step for displaying the video;
A display step for displaying the video corresponding to the imaging information transmitted to the slave unit;
A coordinate designating step of designating screen coordinates on the display screen of the video;
Among the screen coordinates of the sign board detected corresponding to the video, a sign board designating step for designating a sign board that matches the screen coordinates designated for the video,
A message transmission step of adding information on how the specified sign board is seen to a transmission message and transmitting it to the slave unit of the message communication device;
The handset of the message communication device is
A message receiving step for outputting a message body when receiving a message from the base unit and information on the estimated appearance of the signboard is added to the received message;
A message display method for displaying the output message body.
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて所定の配置で目印を設けた標示板の見え方の情報を推定する見え方推定ステップと、
推定した前記標示板の見え方の情報を付加した返信メッセージを送信するメッセージ送信ステップと、
前記メッセージ通信装置の親機が、
前記メッセージ通信装置の子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信ステップと、
受信した前記標示板の見え方の情報に基づいて、前記撮像情報に対応する前記映像中から前記標示板を検出する探索範囲を絞り込んで前記標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付けステップと、
対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示ステップと
を有するメッセージ通信方法。 The base unit of the message communication device
A video input step for inputting the captured video;
An imaging information generating step for generating imaging information of the video;
An imaging information transmission step for transmitting the imaging information to a slave unit of the message communication device;
The handset of the message communication device is
An imaging information receiving step for receiving imaging information of the video captured by the parent device from the parent device of the message communication device;
An appearance estimation step for estimating information on the appearance of a sign board provided with a mark in a predetermined arrangement based on the received imaging information;
A message sending step of sending a reply message with information on the estimated appearance of the signboard;
The master unit of the message communication device is
A message receiving step for receiving a reply message including information on the appearance of the sign board estimated based on the imaging information received by the slave unit from the slave unit of the message communication device;
Based on the received information on the appearance of the sign plate, the search range for detecting the sign plate is narrowed down from the video corresponding to the imaging information to detect the sign plate, and the screen coordinates of the detected sign plate and A sign board detection step for outputting information on how the sign board is viewed based on the imaging information;
Of the detected information on the appearance of the sign board, an associating step for associating a sign board that matches the information on the appearance of the sign board included in the reply message;
A message communication method comprising: a display step of combining and displaying the body of the reply message in association with the position of the screen coordinates of the associated sign board on the video in which the associated sign board is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012260943A JP6020094B2 (en) | 2012-11-29 | 2012-11-29 | Message communication device, message communication system, and message communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012260943A JP6020094B2 (en) | 2012-11-29 | 2012-11-29 | Message communication device, message communication system, and message communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014106858A JP2014106858A (en) | 2014-06-09 |
JP6020094B2 true JP6020094B2 (en) | 2016-11-02 |
Family
ID=51028259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012260943A Expired - Fee Related JP6020094B2 (en) | 2012-11-29 | 2012-11-29 | Message communication device, message communication system, and message communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6020094B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4215021B2 (en) * | 2005-03-31 | 2009-01-28 | ブラザー工業株式会社 | A terminal device, a network system including the terminal device, and a control program for the terminal device, the host device, and the network system. |
JP2009255600A (en) * | 2006-06-30 | 2009-11-05 | Nec Corp | Communication party identifying apparatus, communication party identifying method and communication party identifying program |
JP4896762B2 (en) * | 2007-02-16 | 2012-03-14 | 三菱電機株式会社 | Image processing apparatus and image processing program |
JP2009122315A (en) * | 2007-11-14 | 2009-06-04 | Mitsubishi Electric Corp | Aerial image alignment apparatus and program |
JP2012212363A (en) * | 2011-03-31 | 2012-11-01 | Sony Corp | Communication control device, communication control method and program |
-
2012
- 2012-11-29 JP JP2012260943A patent/JP6020094B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014106858A (en) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10677596B2 (en) | Image processing device, image processing method, and program | |
CN103424113B (en) | Indoor positioning and navigating method of mobile terminal based on image recognition technology | |
US8531514B2 (en) | Image providing system and image providing method | |
US12333797B2 (en) | Image display system, terminal, method, and program for determining a difference between a first image and a second image | |
JP6244954B2 (en) | Terminal apparatus, information processing apparatus, display control method, and display control program | |
CN102696057A (en) | Augmented reality systems | |
JP5619140B2 (en) | Reception display device, information transmission device, optical wireless communication system, reception display integrated circuit, information transmission integrated circuit, reception display program, information transmission program, and optical wireless communication method | |
US20160205355A1 (en) | Monitoring installation and method for presenting a monitored area | |
JP7001711B2 (en) | A position information system that uses images taken by a camera, and an information device with a camera that uses it. | |
CN110969704B (en) | Mark generation tracking method and device based on AR guide | |
CN112422653A (en) | Scene information pushing method, system, storage medium and equipment based on location service | |
JP5152281B2 (en) | Image processing apparatus, method, and program | |
JP2011118687A (en) | Object management device and object management method | |
JP2015035022A (en) | Map information acquisition program, map information acquisition method, and map information acquisition device | |
US10789830B2 (en) | Method and apparatus for gathering visual data using an augmented-reality application | |
JP6020094B2 (en) | Message communication device, message communication system, and message communication method | |
JP2022109527A (en) | Information processing system and information processing method | |
CN108512888A (en) | A kind of information labeling method, cloud server, system, electronic equipment and computer program product | |
JP2014164572A (en) | Information processing device and program | |
KR101674033B1 (en) | Image mapping system of a closed circuit television based on the three dimensional map | |
US20200242797A1 (en) | Augmented reality location and display using a user-aligned fiducial marker | |
CN106483543A (en) | Method of locating terminal based on Orientation on map APP and radar fix and system | |
JP2011191892A (en) | Image display system, mobile information terminal and image display program | |
JP2011053439A (en) | System for displaying celestial body by mobile terminal | |
JP2009060565A (en) | Positional information joint map display system by a plurality of cellular phones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6020094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |