JP2018170574A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2018170574A JP2018170574A JP2017065009A JP2017065009A JP2018170574A JP 2018170574 A JP2018170574 A JP 2018170574A JP 2017065009 A JP2017065009 A JP 2017065009A JP 2017065009 A JP2017065009 A JP 2017065009A JP 2018170574 A JP2018170574 A JP 2018170574A
- Authority
- JP
- Japan
- Prior art keywords
- priority
- unit
- monitor
- monitoring
- fixed camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
【課題】監視エリアの映像に関する処理の負荷を小さくしたときに監視が不十分になることを抑制すること。【解決手段】監視員端末情報取得部２０１は、監視エリアの映像を撮影する各監視員端末１０の位置情報を取得し、監視エリアにいる監視員の位置情報を取得する。固定カメラ情報取得部２０２は、監視エリアの映像を撮影する各固定カメラ４０の位置情報を取得する。優先度判定部２０３は、取得された各撮影装置の位置情報と、取得された監視員の位置情報とに基づいて、複数の撮影装置（監視員端末１０及び固定カメラ４０）のそれぞれの優先度を判定する。処理決定部２０４は、監視エリアを撮影する映像に関する処理を、その映像を撮影する撮影装置について判定された優先度に応じて決定する。【選択図】図４PROBLEM TO BE SOLVED: To prevent insufficient monitoring when the processing load related to a video in a monitoring area is reduced. SOLUTION: A watchman terminal information acquisition unit 201 acquires the position information of each watchman terminal 10 that captures an image of a watch area, and acquires the position information of a watchman in the watch area. The fixed camera information acquisition unit 202 acquires the position information of each fixed camera 40 that captures the image of the monitoring area. The priority determination unit 203 sets the priority of each of the plurality of photographing devices (observer terminal 10 and fixed camera 40) based on the acquired position information of each photographing device and the acquired position information of the observer. To judge. The processing determination unit 204 determines the processing related to the image for photographing the monitoring area according to the priority determined for the photographing device for photographing the image. [Selection diagram] FIG. 4
Description
本発明は、監視を支援する技術に関する。 The present invention relates to a technique for supporting monitoring.
監視を支援する技術がある。例えば特許文献１には、映像信号の範囲に異常の発生を知らせる信号を検知したカメラ装置の映像信号を他のカメラ装置に優先して処理する技術が開示されている。
There are technologies that support monitoring. For example,
複数の監視カメラが撮影した映像を用いて監視エリアを監視する場合、それらの映像についての通信や異常検出のための画像処理等の負荷が過大になると、処理が遅延して異常事象の発生に気付くのが遅れるおそれがある。かといって、それらの負荷を小さくすると、映像の画質が低くなったり映像に対する画像処理の所要時間が長くなったりして、監視が不十分になることがある。
そこで、本発明は、監視エリアの映像に関する処理の負荷を小さくしたときに監視が不十分になることを抑制することを目的とする。
When monitoring a surveillance area using videos taken by multiple surveillance cameras, if the load of image processing for communication or abnormality detection of those videos becomes excessive, processing will be delayed and an abnormal event may occur. It may be late to notice. However, if these loads are reduced, the image quality of the video may be lowered or the time required for image processing on the video may be increased, and monitoring may be insufficient.
Therefore, an object of the present invention is to suppress monitoring from becoming insufficient when the processing load relating to video in a monitoring area is reduced.
上記目的を達成するために、本発明は、監視エリアの映像を撮影する各撮影装置の位置情報を取得する第１取得手段と、前記監視エリアにいる監視者の位置情報を取得する第２取得手段と、取得された前記各撮影装置の位置情報及び前記監視者の位置情報に基づいて、前記撮影装置の優先度を判定する判定手段と、前記撮影装置について判定された前記優先度に応じて前記映像に関する処理を決定する決定手段とを備える監視システムを提供する。 In order to achieve the above object, the present invention provides a first acquisition unit that acquires position information of each imaging device that captures an image of a monitoring area, and a second acquisition that acquires position information of a monitor in the monitoring area. According to means, determination means for determining the priority of the imaging device based on the acquired positional information of each imaging device and the positional information of the supervisor, and the priority determined for the imaging device There is provided a monitoring system comprising: a determination unit that determines processing related to the video.
上記の監視システムにおいて、前記判定手段は、前記監視者と第１の位置関係にある第１撮影装置の優先度を、前記監視者と第１の位置関係にない場合に比べて低くしてもよい。
上記の監視システムにおいて、前記監視エリア内で発生した異常事象の発生場所を特定する特定手段を備え、前記判定手段は、特定された前記発生場所と第２の位置関係にある第２撮影装置の優先度を、当該発生場所と第２の位置関係にない場合に比べて高くしてもよい。
In the monitoring system, the determination unit may lower the priority of the first imaging device that is in the first positional relationship with the monitor compared to the case where the priority is not in the first positional relationship with the monitor. Good.
In the above monitoring system, the monitoring system includes a specifying unit that specifies a place where the abnormal event occurred in the monitoring area, and the determination unit includes a second imaging device that is in a second positional relationship with the specified generation place. The priority may be higher than that in the case where the priority is not in the second positional relationship with the occurrence location.
上記の監視システムにおいて、前記判定手段は、前記第２撮影装置が前記監視者と前記第１の位置関係にある場合、当該第２撮影装置の優先度を、前記監視者と前記第１の位置関係にない場合に比べて低くしなくてもよい。
上記の監視システムにおいて、前記判定手段は、前記第２撮影装置の優先度を、他の撮影装置に比べて低くしなくてもよい。
In the monitoring system, when the second imaging device is in the first positional relationship with the observer, the determination unit determines the priority of the second imaging device based on the priority of the second imaging device and the first position. It is not necessary to make it lower than when it is not related.
In the monitoring system, the determination unit may not lower the priority of the second imaging device compared to other imaging devices.
上記の監視システムにおいて、前記判定手段は、前記第１撮影装置の優先度を、前記監視者と前記第１の位置関係にない他の撮影装置に比べて低くしてもよい。
上記の監視システムにおいて、前記判定手段は、前記第１の位置関係にある前記監視者の人数が多いほど前記第１撮影装置の優先度を低くしてもよい。
In the monitoring system, the determination unit may lower the priority of the first imaging device compared to other imaging devices that are not in the first positional relationship with the monitor.
In the above monitoring system, the determination unit may lower the priority of the first imaging device as the number of the monitoring personnel in the first positional relationship increases.
本発明によれば、監視エリアの映像に関する処理の負荷を小さくしたときに監視が不十分になることを抑制することができる。 ADVANTAGE OF THE INVENTION According to this invention, it can suppress that monitoring becomes inadequate when the load of the process regarding the image | video of a monitoring area is made small.
［１］実施例
図１は実施例に係る監視システム１の全体構成を表す。監視システム１は、監視エリアにおける監視を支援するシステムである。監視エリアには監視員が配置されて現場での監視を行う。また、監視員を支援するためのオペレータが監視センタに常駐し、監視員と連絡を取りながら監視エリア内の状況について情報を提供したり監視すべき場所を指示したりする。監視システム１は、主としてこれら監視員及びオペレータによって利用される。
[1] Embodiment FIG. 1 shows an overall configuration of a
監視システム１は、ネットワーク２と、イントラネット３と、複数の監視員端末１０と、監視センタサーバ装置２０と、オペレータ端末３０と、複数の固定カメラ４０とを備える。ネットワーク２は、移動体通信網及びインターネット等を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。ネットワーク２は、移動体通信を行う基地局及び無線ＬＡＮ（Local Area Network）通信を行うアクセスポイント等の無線通信装置を備える。ネットワーク２には、監視員端末１０及び固定カメラ４０がこれらの無線通信装置と無線通信を行うことにより接続される。
The
イントラネット３は、例えばＬＡＮ及びＷＡＮ（Wide Area Network）を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。イントラネット３は、ネットワーク２に接続されている。また、イントラネット３には、監視センタサーバ装置２０及びオペレータ端末３０が接続されている。なお、イントラネット３との接続は有線通信及び無線通信のどちらでもよい。
The
固定カメラ４０は、監視エリアの現場に設置されて周囲の映像、すなわち監視エリアの映像を撮影する装置であり、本発明の「撮影装置」の一例である。本発明でいう「映像」には、静止画像及び動画像のどちらも含まれ得るが、以下では動画像である場合を説明する。固定カメラ４０は、撮影した映像を監視センタサーバ装置２０に送信する。なお、映像を送信するとは、映像を示すデータを送信することを意味する。以下でも、各種の情報に対して送信等の処理を行うことは、それらの情報を示すデータに対して処理を行うことを意味する。
The
固定カメラ４０は、映像の撮影に関連する撮影関連処理において、解像度（画素数）、フレームレート、画像伝送レート（伝送速度）、圧縮率、圧縮方式等の設定事項を変更できる機能を有している。設定事項とは、コンピュータが処理（この例では撮影関連処理）を実行する際の動作の詳細な態様（どのようにその処理を行うか）を規定するために定められる情報のことであり、パラメータとも呼ばれる。
The
以下では撮影関連処理で用いられる前述した各設定事項のことを「撮影用パラメータ」という。固定カメラ４０は、定められた撮影用パラメータに基づいて撮影関連処理を行う。例えば解像度（画素数）が６４０×４８０＝約３０．７万画素と定められていれば、固定カメラ４０は、画素数が６４０×４８０の映像を撮影する。
Hereinafter, each of the setting items used in the shooting-related processing is referred to as “shooting parameter”. The
固定カメラ４０は、例えば、撮影開始時は予め定められた初期の撮影用パラメータ又は前回の撮影終了時の撮影用パラメータに基づいて撮影関連処理を行う。また、固定カメラ４０は、外部装置（本実施例では監視センタサーバ装置２０）から使用する撮影用パラメータを指示されると、指示された撮影用パラメータに基づいて撮影関連処理を行う。また、固定カメラ４０は、パン・チルト・ズーム機能を有し、オペレータ端末３０や監視員端末１０からの遠隔操作により制御可能としてもよい。
For example, the
固定カメラ４０が送信した映像は、監視センタの画面に表示され、オペレータはその画面を見ながら監視エリアの状況を確認する。映像が高画質であるほど詳細な状況まで確認することができるが、高画質な映像はデータ量も多いので、固定カメラ４０が行う無線通信に遅延が生じやすくなる。そこで、監視システム１においては、全ての映像の画質を高くするのではなく、監視エリアにおいて優先度が高い撮影装置の映像の画質を、他の映像よりも高くする。
The video transmitted by the
監視員端末１０は、監視エリアの現場に配置される監視員が所持して持ち運ぶ端末である。監視員端末１０は、例えばスマートフォンであるが、本システム専用に作られた端末であってもよい。
図２は監視員に装着された監視員端末１０を表す。図２では、監視員Ａ１が端末ケース５を身体に固定している。端末ケース５は、監視員端末１０を格納する入れ物であり、バンドにより監視員の身体（詳細には胸部）に固定されている。
The
FIG. 2 shows the
監視員端末１０は、周囲の映像、すなわち監視エリアの映像を撮影する撮影手段を備えている。監視員端末１０は本発明の「撮影装置」の一例でもある。端末ケース５は、自ケースに監視員端末１０が格納された場合に撮影手段のレンズの位置する部分が透明になっている（孔が空いていてもよい）。監視員の胸部に装着された監視員端末１０は、監視員の前方の映像を撮影する。
The
監視員端末１０の撮影手段は、上述した撮影用パラメータを変更できる機能を有する。この撮影用パラメータも、固定カメラ４０と同様に、監視センタサーバ装置２０によって決定される。また、監視員端末１０は、ＧＰＳ（Global Positioning System）等の自装置の位置の測定手段も備えている。監視員端末１０は、撮影手段が撮影した映像と、測位手段による位置の測定結果とを監視センタサーバ装置２０に送信する。
The photographing means of the
監視センタサーバ装置２０は、監視エリアの監視状況を管理するための各種の処理を実行する情報処理装置である。監視センタサーバ装置２０は、例えば、送信されてきた映像に対して画像処理を行い、監視エリアでの異常事象の発生を検出する。ここでいう異常事象とは、監視エリアにおいて発生する事象のうち、周囲の人の安全を脅かしたり迷惑になったりするなどの理由で、監視員が何らかの対応（関係者への連絡や事態を収束するための対処など）を行う対象となる事象のことであり、単に異常又は事案と呼ばれることもある。
The monitoring
具体的には、例えば、不審者の出現、不審物の発見、立ち入り禁止エリアへの立ち入り、道路への飛び出し、怪我人の発生、事故の発生及びケンカの発生等が異常事象に含まれる。監視センタサーバ装置２０は、異常事象の発生を検出すると、その旨を示す報知情報をオペレータ端末３０に送信することで、オペレータへの報知を行う。
Specifically, for example, the appearance of a suspicious person, the discovery of a suspicious object, the entry to a prohibited entry area, the jump to the road, the occurrence of an injured person, the occurrence of an accident, the occurrence of a fight, etc. are included in the abnormal events. When the monitoring
オペレータ端末３０は、監視センタのオペレータによって使用される端末である。オペレータ端末３０は、監視センタサーバ装置２０から送信されてきた報知情報を例えば表示手段に表示することで、監視エリアでの異常事象の発生をオペレータに報知する。この報知によって異常事象の発生に気付いたオペレータは、異常事象の発生を監視の責任者に伝えたり、監視員と連絡を取って、発生した異常事象への対応を指示したりする。
The
監視センタサーバ装置２０には、監視エリア内を撮影する全ての固定カメラ４０及び監視員端末１０から映像が送信されてくるため、全ての映像に対して画像処理に用いるリソース（ＣＰＵ（（Central Processing Unit））及びメモリ等）を均等に割り当てると、１つの映像当たりのリソース量が少なくなる。その結果、仮に異常事象が発生してもそれを検出するまでに要する時間が長くなり、異常事象への対応が遅くなるおそれがある。
The monitoring
対応の遅れをなくすためには、全ての映像に十分な量のリソースを割り当てることが望ましいが、費用等の制限からそこまでのリソースを用意することは難しい。そこで、監視システム１においては、監視エリア内の重要な箇所を撮影した映像に他の映像よりもリソース量を多く割り当てて、重要な箇所における異常事象の発生をより早く検出できるようにする。そして、そのための画像処理に関する設定事項（パラメータ）が、監視センタサーバ装置２０によって決定される。この設定事項のことを以下では「画像処理用パラメータ」という。
In order to eliminate the delay in the response, it is desirable to allocate a sufficient amount of resources to all the videos, but it is difficult to prepare the resources up to that because of cost limitations. In view of this, in the
図３は監視員端末１０のハードウェア構成を表す。監視員端末１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１４と、入力装置１５と、出力装置１６と、撮影装置１７と、測位装置１８とを備えるコンピュータである。プロセッサ１１は、ＣＰＵ等を備え、オペレーティングシステムを動作させてコンピュータ全体を制御する機能を有するデバイスである。プロセッサ１１は、プログラム及びデータ等をストレージ１３及び通信装置１４からメモリ１２に読み出し、これらに従って各種の処理を実行する。
FIG. 3 shows the hardware configuration of the
メモリ１２は、プロセッサ１１が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等である。ストレージ１３は、プロセッサ１１が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばハードディスクドライブ及びフラッシュメモリ等である。通信装置１４は、有線ネットワーク又は／及び無線ネットワークを介してコンピュータ間の通信を行う機能を有する通信デバイスである。監視員端末１０においては、通信装置１４が、例えば移動体通信又は無線ＬＡＮの規格に準拠した無線通信を行う。
The
入力装置１５は、外部からの入力を受け付ける機能を有する入力デバイスである。監視員端末１０においては、入力装置１５が、例えばタッチセンサ、ボタン及びマイクロフォン等を備える。出力装置１６は、外部への出力を実施する機能を有する出力デバイスである。監視員端末１０においては、出力装置１６が、ディスプレイを備え、入力装置１５のタッチセンサ及び出力装置１６のディスプレイが一体となってタッチスクリーンを構成する。
The
撮影装置１７は、周囲の映像を撮影するデバイスである。撮影装置１７は、上述した撮影用パラメータに基づいて映像を撮影し、撮影した映像をプロセッサ１１に供給する。測位装置１８は、例えば、ＧＰＳ衛星からの信号を用いて自身の位置を測定し、測定した位置を示す位置情報（緯度及び経度を示す情報）をプロセッサ１１に供給する。
The
監視センタサーバ装置２０は、プロセッサと、メモリと、ストレージと、通信装置とを備えるコンピュータである。これらはいずれも、図３に表す同名の各装置と機能が共通するデバイスである。監視センタサーバ装置２０においては、通信装置が、有線ＬＡＮの規格に準拠した有線通信を行う（無線通信を行ってもよい）。
The monitoring
オペレータ端末３０は、プロセッサと、メモリと、ストレージと、通信装置と、入力装置と、出力装置とを備えるコンピュータである。これらはいずれも、図３に表す同名の各装置と機能が共通するデバイスである。オペレータ端末３０においては、通信装置が、有線ＬＡＮの規格に準拠した有線通信を行い（無線通信を行ってもよい）、また、入力装置が、キーボード、マウス及びマイクロフォン等を備える。
The
固定カメラ４０は、プロセッサと、メモリと、ストレージと、通信装置と、撮影装置とを備えるコンピュータである。これらはいずれも、図３に表す同名の各装置と機能が共通するデバイスである。
The fixed
監視システム１が備える各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図４は監視システム１が実現する機能構成を表す。なお、図４では、監視員端末１０及び固定カメラ４０がそれぞれ１つしか表されていないが、他の監視員端末１０及び固定カメラ４０も同じ機能構成を備えている。
The functions described below are realized by the processor of each device included in the
FIG. 4 shows a functional configuration realized by the
監視員端末１０は、測位部１０１と、位置情報送信部１０２と、撮影部１０３と、映像送信部１０４と、撮影動作制御部１０５とを備える。監視センタサーバ装置２０は、監視員端末情報取得部２０１と、固定カメラ情報取得部２０２と、優先度判定部２０３と、処理決定部２０４と、撮影指示部２０５と、画像処理動作制御部２０６と、画像処理部２０７と、報知部２０８と、発生場所特定部２０９とを備える。オペレータ端末３０は、報知情報表示部３０１を備える。固定カメラ４０は、撮影部４０１と、映像送信部４０２と、撮影動作制御部４０３とを備える。
The
監視員端末１０の測位部１０１は、自装置の位置を繰り返し測定する。測位部１０１は、例えば、一定時間の間隔（１秒毎など）で自装置の位置を測定し、測定した位置を示す位置情報を位置情報送信部１０２に供給する。位置情報送信部１０２は、測位部１０１により測定された自装置の位置を示す位置情報を監視センタサーバ装置２０に送信する。監視員端末１０は自装置を識別する情報として装置ＩＤ（Identification）を記憶している。位置情報送信部１０２は、位置情報が供給される度にその位置情報を装置ＩＤと共に監視センタサーバ装置２０に送信する。
The
撮影部１０３は、自装置の周囲の映像を撮影する。撮影部１０３は、後述する撮影動作制御部１０５により制御されて、定められた撮影用パラメータ（解像度、フレームレート）に基づいて撮影を行う。撮影部１０３は、映像を撮影しながら、並行して、撮影済みの映像を映像送信部１０４に供給する。映像送信部１０４は、撮影部１０３により撮影された自装置の周囲の映像を監視センタサーバ装置２０に送信する。
The
映像送信部１０４は、後述する撮影動作制御部１０５により制御されて、定められた撮影用パラメータ（画像伝送レート）に基づいて映像を送信する。また、映像送信部１０４は、自装置の装置ＩＤを含むメタデータを映像に付与して送信する。撮影部１０３及び映像送信部１０４は、ストリーミングの技術を用いて映像の撮影及び送信を並行して行う。撮影部１０３及び映像送信部１０４は、このようにして監視エリアの映像を撮影する撮影関連処理を行う。
The
撮影動作制御部１０５は、撮影部１０３及び映像送信部１０４による撮影に関する動作を制御する。撮影動作制御部１０５は、例えば、予め定められた初期の撮影用パラメータ（解像度、フレームレート及び画像伝送レート等の初期値）を記憶しておき、その撮影用パラメータを用いて撮影関連処理を行うよう撮影部１０３及び映像送信部１０４を制御する。
The shooting
固定カメラ４０の撮影部４０１は、自カメラの周囲の映像を撮影する。映像送信部４０２は、撮影部４０１により撮影された自カメラの周囲の映像を監視センタサーバ装置２０に送信する。撮影動作制御部４０３は、撮影部４０１及び映像送信部４０２による撮影に関する動作を制御する。撮影部４０１、映像送信部４０２、撮影動作制御部４０３は、監視員端末１０の撮影部１０３、映像送信部１０４、撮影動作制御部１０５と同じ機能である。
The
監視センタサーバ装置２０の監視員端末情報取得部２０１は、監視員端末１０の位置情報送信部１０２から送信されてきた位置情報及び装置ＩＤと、監視員端末１０の映像送信部１０４から送信されてきた映像及び装置ＩＤとを、この装置ＩＤが示す監視員端末１０に関する情報（監視員端末情報）として取得する。つまり、監視員端末情報取得部２０１は、監視エリアの映像を撮影する各撮影装置（監視員端末１０）の位置情報を取得する手段であり、本発明の「第１取得手段」の一例である。
The supervisor terminal
また、監視員端末１０は監視員に装着されているから、監視員端末１０の位置情報は監視員の位置情報とみなすことができる。つまり、監視員端末情報取得部２０１は、監視エリアにいる監視員の位置情報を取得する手段でもあり、本発明の「第２取得手段」の一例である。監視員端末情報取得部２０１は、取得した監視員端末情報を優先度判定部２０３及び画像処理部２０７に供給する。
Further, since the
固定カメラ情報取得部２０２は、固定カメラ４０の映像送信部４０２から送信されてきた映像及び装置ＩＤを、この装置ＩＤが示す固定カメラ４０に関する情報（固定カメラ情報）として取得する。また、固定カメラ情報取得部２０２は、装置ＩＤとその装置ＩＤが示す固定カメラ４０の位置情報とを対応付けたリストである位置情報リストを記憶している。これらの位置情報は、該当する固定カメラ４０の設置時等に、設置位置の緯度経度情報等を測定して取得しておく。固定カメラ情報取得部２０２は、取得した装置ＩＤに位置情報リストで対応付けられている位置情報を、固定カメラ情報として取得する。
The fixed camera
つまり、固定カメラ情報取得部２０２は、監視エリアの映像を撮影する各撮影装置（固定カメラ４０）の位置情報を取得する手段であり、本発明の「第１取得手段」の一例である。なお、各固定カメラ４０が、自装置の位置情報を記憶しておき、その位置情報を映像と共に送信して、固定カメラ情報取得部２０２がその映像及び位置情報を固定カメラ情報として取得してもよい。固定カメラ情報取得部２０２は、取得した固定カメラ情報を優先度判定部２０３及び画像処理部２０７に供給する。
That is, the fixed camera
優先度判定部２０３は、監視員端末情報取得部２０１及び固定カメラ情報取得部２０２により取得された各撮影装置の位置情報と、監視員端末情報取得部２０１により取得された監視員の位置情報とに基づいて、複数の撮影装置（監視員端末１０及び固定カメラ４０）のそれぞれの優先度を判定する。優先度判定部２０３は本発明の「判定手段」の一例である。監視システム１においては、この優先度が高い撮影装置ほど、監視の観点で重要な映像を撮影しているとみなし、その映像から監視エリアの状況を把握しやすくしたり、異常事象の発生を早く見つけられるようにしたりする。
The
優先度判定部２０３は、本実施例では、監視員端末１０についての優先度と、固定カメラ４０についての優先度を別々に判定する。以下ではまず、固定カメラ４０の優先度の判定方法として、３つの判定方法について説明する。撮影装置の優先度は、一例として「１」から「５」までの５段階で表せられるものとする（ここでは「１」が最も優先度が高いものとする）。
In this embodiment, the
第１の判定方法では、優先度判定部２０３は、監視員と第１の位置関係にある固定カメラ４０の優先度を、当該固定カメラ４０が監視員と第１の位置関係にない場合の優先度に比べて低くする。この場合の固定カメラ４０のように監視員と第１の位置関係にある撮影装置は本発明の「第１撮影装置」の一例である。第１の位置関係とは、例えば、固定カメラ４０が監視員から所定の距離（例えば１０ｍ）の範囲にある位置関係又は監視員が固定カメラ４０から所定の距離の範囲にある位置関係である。
In the first determination method, the
つまり、優先度判定部２０３は、監視員が近くにいる固定カメラ４０の優先度を、監視員が近くにいない場合に比べて低くする。例えば或る監視エリアにおいては、３台の固定カメラ４０の初期の優先度が設置場所の重要度に応じて「２」、「３」、「４」にそれぞれ定められているものとする。優先度判定部２０３は、第１の判定方法を用いた場合、例えば監視員が近くにいない場合において優先度が「２」の固定カメラ４０について、当該固定カメラ４０から所定の距離の範囲内に監視員が進入し、当該固定カメラ４０が監視員と第１の位置関係になった場合、監視員と第１の位置関係にない場合の優先度（つまり「２」）よりも低い「３」又はそれ以下の優先度をその固定カメラ４０の優先度とする。
That is, the
第２の判定方法では、優先度判定部２０３は、監視員と第１の位置関係にある固定カメラ４０の優先度を、監視員と第１の位置関係にない固定カメラ４０の優先度に比べて低く判定する。例えば前述した監視エリアにおいて、優先度が「２」の固定カメラ４０が監視員と第１の位置関係にあり、優先度が「４」の固定カメラ４０が監視員と第１の位置関係になかったとすると、優先度判定部２０３は、第２の判定方法を用いて、前者の固定カメラ４０の優先度を後者の固定カメラ４０の優先度（「４」）よりも低い「５」と判定する。
In the second determination method, the
なお、この場合に、第１の判定方法だけを用いれば、優先度判定部２０３は、優先度が「２」であった前者の固定カメラ４０の優先度を、「５」と判定してもよいが、「２」よりも低ければよいので、「３」又は「４」と判定してもよい。一方、優先度が「４」の固定カメラ４０が監視員と第１の位置関係にあり、優先度が「２」の固定カメラ４０が監視員と第１の位置関係になかったとすると、優先度判定部２０３は、第２の判定方法だけを用いた場合、前者の固定カメラ４０の優先度（「４」）が後者の固定カメラ４０の優先度（「２」）よりも既に低いため、そのまま変更せずに「４」と判定してもよい。
In this case, if only the first determination method is used, the
第３の判定方法では、優先度判定部２０３は、第１の位置関係にある監視員の人数が多い固定カメラ４０ほど優先度を低く判定する。例えば前述した監視エリアにおいて、優先度判定部２０３は、優先度が「２」の固定カメラ４０が１人の監視員と第１の位置関係にある場合にはその固定カメラ４０の優先度を「３」と判定し、その固定カメラ４０が２人の監視員と第１の位置関係にある場合にはその固定カメラ４０の優先度を「４」と判定する。
In the third determination method, the
いずれの判定方法でも、優先度をそれ以上低くできない場合（例えば優先度が「５」の固定カメラ４０が監視員と第１の位置関係にある場合）には、優先度判定部２０３は、最も低い優先度を判定する。優先度判定部２０３は、第１の判定方法及び第２の判定方法のうちのいずれか又は両方を用いて判定を行い、それに加えて第３の判定方法も用いて判定を行ってもよい。
In any of the determination methods, when the priority cannot be lowered any further (for example, when the fixed
上記では固定カメラ４０の優先度の判定方法について説明したが、監視員端末１０についても優先度を判定方法するようにしてもよい。監視員端末１０の場合、最低でも１人の監視員が第１の位置関係になるため、監視員端末１０を装着している監視員は存在しないものとして判定する。即ち、監視員端末１０と、当該監視員端末１０を装着している監視員以外の別の監視員との位置関係で判定するようにしてよい。この場合に、別の監視員が監視員端末１０を装着しているか否かは問わない。
Although the method for determining the priority of the fixed
優先度判定部２０３は、上述した固定カメラ４０の場合と同様に、第１から第３の判定方法を用いて監視員端末１０の優先度を判定する。優先度判定部２０３は、例えば一定時間毎（１０秒毎など）に、全ての撮影装置について上記のとおり判定を行う。優先度判定部２０３は、判定した優先度を、判定対象の撮影装置の装置ＩＤに対応付けて処理決定部２０４に供給する。
Similar to the case of the fixed
処理決定部２０４は、監視エリアを撮影する映像に関する処理を、その映像を撮影する撮影装置について判定された優先度に応じて決定する。処理決定部２０４は本発明の「決定手段」の一例である。映像に関する処理とは、本実施例では、上述した撮影関連処理と、異常事象を検出するための映像に対する画像処理である。処理決定部２０４による処理の決定とは、映像に関する処理をどのようにして行うかを決定するということである。
The
処理決定部２０４は、撮影関連処理であれば、例えば高画質な処理を行うか、低画質な処理を行うかを決定する。また、処理決定部２０４は、画像処理であれば、例えばリソース（ＣＰＵ及びメモリ等）を十分用いた処理を行うか、リソースを節約した処理を行うかを決定する。処理決定部２０４は、これらの決定を、より具体的には、上述した撮影用パラメータを決定し又は画像処理用パラメータを決定することで行う。
If it is a photographing related process, the
処理決定部２０４は、撮影関連処理については、優先度と撮影用パラメータとを対応付けた撮影用パラメータテーブルを用いて決定を行う。
図５は撮影用パラメータテーブルの一例を表す。この撮影用パラメータテーブルでは、「１」、「２」、「３」、「４」、「５」という優先度に、「１９２万画素（１６００×１２００）」、「１５５．５万画素（１４４０×１０８０）」、「１２２．９万画素（１２８０×９６０）」、「７８．６万画素（１０２４×７６８）」、「３０．７万画素（６４０×４８０）」という解像度（画素数）が対応付けられている。
The
FIG. 5 shows an example of a shooting parameter table. In this shooting parameter table, the priority of “1”, “2”, “3”, “4”, “5” is assigned to “192,000,000 pixels (1600 × 1200)”, “155,550,000 pixels (1440). × 1080) ”,“ 122.9 million pixels (1280 × 960) ”,“ 786,000 pixels (1024 × 768) ”, and“ 307,000 pixels (640 × 480) ”. It is associated.
処理決定部２０４は、優先度判定部２０３から供給された優先度に撮影用パラメータテーブルで対応付けられている解像度（画素数）を、共に供給された装置ＩＤが示す撮影装置が撮影関連処理で用いる撮影用パラメータとして決定する。処理決定部２０４は、決定した撮影用パラメータを決定対象の撮影装置の装置ＩＤと共に撮影指示部２０５に供給する。
The
図５に表す撮影用パラメータテーブルは、優先度が高いほど解像度を高く（画素数を多く）している。他にも、例えば、優先度が高いほどフレームレートを高くしてもよいし、優先度が高いほど画像サイズを大きくしてもよいし、優先度が高いほど画像伝送レートを高く（伝送速度を速く）してもよい。また、優先度が高いほど圧縮率を低くし又は圧縮率の低い圧縮方式を選択してもよい。 In the shooting parameter table shown in FIG. 5, the higher the priority, the higher the resolution (the number of pixels). In addition, for example, the higher the priority, the higher the frame rate may be, the higher the priority, the larger the image size, and the higher the priority, the higher the image transmission rate (the transmission speed may be increased). (Fast). Alternatively, a compression method with a lower compression ratio or a lower compression ratio may be selected as the priority is higher.
いずれの場合も、処理決定部２０４は、撮影関連処理により得られた映像が送信される際の単位時間当たりの送信データ量を優先度に応じて決定し、詳細には、優先度が高いほどその単位時間当たりの送信データ量が多くなる撮影用パラメータ（解像度、フレームレート及び画像サイズ等）を決定する。これにより、撮影装置の優先度が高いほど、表示される際の映像の画質が高くなり、映像を拡大したときに細部を明瞭に表示したり、映像内の人や物の動きを滑らかにしたりすることができる。
In any case, the
また、処理決定部２０４は、画像処理については、優先度とリソース量とを対応付けた画像処理用パラメータテーブルを用いて決定を行う。
図６は画像処理用パラメータテーブルの一例を表す。この画像処理用パラメータテーブルでは、「１」、「２」、「３」、「４」、「５」という優先度に、「５コア」、「４コア」、「３コア」、「２コア」、「１コア」というリソース量（ＣＰＵのコア数）が対応付けられている。
In addition, the
FIG. 6 shows an example of an image processing parameter table. In this image processing parameter table, “5 cores”, “4 cores”, “3 cores”, “2 cores” are assigned to the priorities of “1”, “2”, “3”, “4”, “5”. ”And“ 1 core ”are associated with each other (the number of CPU cores).
処理決定部２０４は、優先度判定部２０３から供給された優先度に画像処理用パラメータテーブルで対応付けられているリソース量（ＣＰＵのコア数）を、共に供給された装置ＩＤが示す撮影装置が画像処理で用いる画像処理用パラメータとして決定する。処理決定部２０４は、決定した画像処理用パラメータを決定対象の撮影装置の装置ＩＤと共に画像処理動作制御部２０６に供給する。
The
図６に表す画像処理用パラメータテーブルは、優先度が高いほどリソース量であるコア数を多くしているが、それ以外にも、例えば、優先度が高いほど使用可能なメモリの記憶領域を大きくしてもよい。また、異常事象の検出のための画像処理は繰り返し行われるが、優先度が高いほどその画像処理の間隔を短くしても（つまり画像処理の頻度を高くしても）よい。 In the image processing parameter table shown in FIG. 6, the higher the priority, the larger the number of cores as the resource amount. In addition, for example, the higher the priority, the larger the memory area that can be used. May be. Further, the image processing for detecting the abnormal event is repeated, but the higher the priority, the shorter the interval of the image processing (that is, the higher the frequency of the image processing).
いずれの場合も、処理決定部２０４は、優先度に応じて画像処理を決定する、すなわち、画像処理をどのように行うかを決定する。詳細には、処理決定部２０４は、画像処理が行われる際に単位時間当たりに処理されるデータ量を優先度に応じて決定する。上記の各例においては、処理決定部２０４は、優先度が高いほどその単位時間当たりに処理されるデータ量が多くなる画像処理用パラメータ（リソース量、画像処理の間隔及び頻度等）を決定する。
In any case, the
これにより、撮影装置の優先度が高いほど、映像のデータ量が同じであれば画像処理に要する時間が短くなる。その結果、撮影装置の優先度を一律にする場合に比べて、優先度の高い撮影装置の映像、すなわち監視の観点で重要な映像ほど、その映像からの異常事象の発生の検出をより迅速に行うことができる。 Thus, the higher the priority of the photographing device, the shorter the time required for image processing if the video data amount is the same. As a result, in comparison with the case where the priority of the image capturing device is uniform, the image of the image capturing device with a higher priority, that is, the image that is important from the viewpoint of monitoring, can be detected more quickly from the image. It can be carried out.
撮影指示部２０５は、処理決定部２０４により決定された撮影関連処理の実行を撮影装置に指示する。撮影指示部２０５は、処理決定部２０４から供給された撮影用パラメータを用いることを指示する指示データを生成し、生成した指示データを共に供給された装置ＩＤが示す撮影装置（監視員端末１０又は固定カメラ４０）に送信する。例えば監視員端末１０であれば、撮影動作制御部１０５が、送信されてきた指示データが示す撮影用パラメータを用いるよう撮影部１０３及び映像送信部１０４を制御することで、撮影指示部２０５から指示された撮影関連処理を実行する。
The
画像処理動作制御部２０６は、処理決定部２０４により決定された画像処理を実行するよう画像処理部２０７の動作を制御する。画像処理動作制御部２０６は、処理決定部２０４から供給された画像処理用パラメータ及び装置ＩＤを画像処理部２０７に供給し、その装置ＩＤと共に供給された映像についての画像処理を、その画像処理用パラメータを用いて行うよう画像処理の動作を制御する。
The image processing
画像処理部２０７は、監視員端末情報取得部２０１及び固定カメラ情報取得部２０２により取得された撮影装置（監視員端末１０及び固定カメラ４０）の映像に対して画像処理を行う。画像処理部２０７は、例えば、特開２００２−２６２２８２号公報に開示された監視対象区域の画像から異常を検出する技術及び特開２０１２−００４７２０号公報に開示された映像データから特定の人物の異常行動を検出する技術等を応用して、撮影された監視エリアの映像を解析して異常事象の発生を検出する。
The
画像処理部２０７は、画像処理により異常事象の発生を検出すると、その旨と検出に用いた映像を撮影した撮影装置の装置ＩＤとを示す情報を報知部２０８に供給する。報知部２０８は、この情報を受け取ると、例えば、異常事象が発生した旨と装置ＩＤとを示す報知情報を生成してオペレータ端末３０に送信する。オペレータ端末３０の報知情報表示部３０１は、送信されてきた報知情報を表示する。オペレータは、こうして表示された報知情報を見て異常事象の発生に気付き、監視員と連絡を取って異常事象に対処する。
When the occurrence of an abnormal event is detected by image processing, the
画像処理部２０７は、上記検出を行うと、検出に用いた映像を撮影した撮影装置から取得された監視員端末情報又は固定カメラ情報を発生場所特定部２０９に供給する。発生場所特定部２０９は、監視エリア内で発生した異常事象の発生場所を特定する。発生場所特定部２０９は本発明の「特定手段」の一例である。
When the
発生場所特定部２０９は、本実施例では、画像処理部２０７から供給された監視員端末情報又は固定カメラ情報に含まれている位置情報が示す位置、すなわち異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置を、異常事象の発生場所として特定する。なお、発生場所の特定方法はこれに限らない。例えば、各固定カメラ４０の撮影範囲が決まっている場合に、発生場所特定部２０９は、その撮影範囲の中心を示す位置情報を装置ＩＤに対応付けて記憶しておく。
In this embodiment, the occurrence
発生場所特定部２０９は、画像処理部２０７から供給された固定カメラ情報に含まれている装置ＩＤに対応付けて記憶している位置情報が示す位置を、異常事象の発生場所として特定してもよい。また、各撮影装置が自装置の撮影手段の光軸の向きを検出して監視員端末情報又は固定カメラ情報に含めて送信してくる場合に、発生場所特定部２０９は、異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置からその光軸の向きに所定の距離だけ移動した位置を発生場所として特定してもよい。発生場所特定部２０９は、特定した発生場所を示す発生場所情報を優先度判定部２０３に供給する。
The occurrence
画像処理部２０７が異常事象の発生を検出した場合の優先度の判定方法として、さらに３つの判定方法を説明する。以下では固定カメラ４０の優先度を判定する場合を説明する。第４の判定方法では、優先度判定部２０３は、発生場所特定部２０９により特定された発生場所と第２の位置関係にある固定カメラ４０の優先度を、その発生場所と第２の位置関係にない場合に比べて高く判定する。この場合の固定カメラ４０のように異常事象の発生場所と第２の位置関係にある撮影装置は本発明の「第２撮影装置」の一例である。
Three more determination methods will be described as priority determination methods when the
第２の位置関係とは、例えば、第１の位置関係と同様に、固定カメラ４０が異常事象の発生場所から所定の距離（例えば１０ｍ）の範囲にある位置関係又は異常事象の発生場所が固定カメラ４０から所定の距離の範囲にある位置関係である。つまり、優先度判定部２０３は、異常事象の発生場所の近くの固定カメラ４０の優先度を、異常事象の発生場所が遠かった場合に比べて高くする。
The second positional relationship is, for example, a fixed positional relationship or an abnormal event occurrence location where the fixed
優先度判定部２０３は、第４の判定方法を用いた場合、例えば上述した或る監視エリアにおいて優先度が「３」の固定カメラ４０が異常事象の発生場所と第２の位置関係にある場合、異常事象の発生場所と第２の位置関係にない場合の優先度（つまり「３」）よりも高い「２」又は「１」という優先度をその固定カメラ４０の優先度として判定する。なお、この固定カメラ４０は、異常事象発生の検出に用いられた映像を撮影したものである場合もあるが、異常事象を撮影はしていないが発生場所の近くに設置されていた固定カメラ４０の場合もある。
When the fourth determination method is used, the
第５の判定方法が用いられる場合、その前提として、第１の判定方法が用いられているものとする。その上で、優先度判定部２０３は、発生場所特定部２０９により特定された発生場所と第２の位置関係にある固定カメラ４０が監視者と第１の位置関係にある場合、その固定カメラ４０の優先度を、監視者と第１の位置関係にない場合に比べて低くしない。つまり、優先度判定部２０３は、通常は、監視員が近くにいる固定カメラ４０の優先度を、監視員が近くにいない場合に比べて低くするが、異常事象の発生場所が近い場合には、その例外として、優先度を低くしないようにする。
When the fifth determination method is used, it is assumed that the first determination method is used as the premise. In addition, when the fixed
例えば前述した優先度が「３」の固定カメラ４０が監視員と第１の位置関係にある場合、通常なら優先度を低くして「４」以下にするところ、異常事象の発生場所と第２の位置関係にもあるので、優先度判定部２０３は、第５の判定方法を用いて、その優先度を監視員と第１の位置関係にない場合の「３」よりも低くしない、すなわち「３」又はそれよりも高い優先度と判定する。
For example, when the fixed
なお、優先度判定部２０３は、第１の判定方法に加えて第４の判定方法を前提として用いてもよい。その場合に、前述した優先度が「３」の固定カメラ４０が監視員と第１の位置関係にあり且つ異常事象の発生場所と第２の位置関係にもあるものとする。その場合、優先度判定部２０３は、その固定カメラ４０が監視員と第１の位置関係にない場合に比べて優先度を低くせず、且つ、その固定カメラ４０が異常事象の発生場所と第２の位置関係にない場合に比べて優先度を高くする。要するに、優先度判定部２０３は、例えば固定カメラ４０の優先度が「３」であったなら、それよりも高い「２」又は「１」をその固定カメラ４０の優先度として判定する。
Note that the
第６の判定方法も、前提として、第１の判定方法が用いられているものとする。その上で、優先度判定部２０３は、発生場所特定部２０９により特定された発生場所と第２の位置関係にある固定カメラ４０の優先度を、他の撮影装置に比べて低くしない。例えば優先度が「４」の固定カメラ４０が異常事象の発生場所と第２の位置関係にあり、優先度が「２」の固定カメラ４０が異常事象の発生場所と第２の位置関係にないとする。
The sixth determination method is also based on the assumption that the first determination method is used. In addition, the
その場合、優先度判定部２０３は、第６の判定方法を用いて、前者の固定カメラ４０の優先度を後者の固定カメラ４０の優先度である「２」又はそれよりも高い「１」と判定する。なお、この例において、異常事象の発生場所と第２の位置関係にある固定カメラ４０が他にも存在する場合、優先度判定部２０３は、第６の判定方法を用いて、異常事象の発生場所と第２の位置関係にある複数の固定カメラ４０の優先度をいずれも「２」又は「１」と判定する（互いに相手の優先度よりも低くならないから）。
In that case, the
また、優先度が「２」の固定カメラ４０が異常事象の発生場所と第２の位置関係にあり、優先度が「４」の固定カメラ４０が異常事象の発生場所と第２の位置関係にないとする。その場合、優先度判定部２０３は、第６の判定方法を用いると、前者の固定カメラ４０の優先度が後者の固定カメラ４０の優先度よりも既に高いので、そのまま「２」と判定してもよいし、優先度を高くして「１」と判定してもよい。なお、第６の判定方法だけでなく第４の判定方法も用いる場合は、優先度を高くして「１」と判定する。
The fixed
監視システム１が備える各装置は、上記構成に基づいて、監視エリアを撮影する映像に関する処理を、各撮影装置の優先度に基づいて行う優先度処理を行う。
図７は優先度処理における各装置の動作手順の一例を表す。この動作手順は、例えば、各装置の電源が投入されて監視エリアにおける監視が開始されることを契機に開始される。まず、監視員端末１０（測位部１０１）が、自装置の位置を測定する（ステップＳ１１）。次に、監視員端末１０（位置情報送信部１０２）は、測定された自装置の位置を示す位置情報を監視センタサーバ装置２０に送信する（ステップＳ１２）。
Based on the above configuration, each device included in the
FIG. 7 shows an example of the operation procedure of each device in the priority processing. This operation procedure is started when, for example, each device is powered on and monitoring in the monitoring area is started. First, the supervisor terminal 10 (positioning unit 101) measures the position of its own device (step S11). Next, the monitor terminal 10 (position information transmission unit 102) transmits position information indicating the measured position of the own apparatus to the monitoring center server apparatus 20 (step S12).
また、監視員端末１０（撮影部１０３）は、自装置の周囲の映像を撮影する（ステップＳ１３）。次に、監視員端末１０（映像送信部１０４）は、撮影された自装置の周囲の映像を監視センタサーバ装置２０に送信する（ステップＳ１４）。監視センタサーバ装置２０（監視員端末情報取得部２０１）は、監視員端末１０から送信されてきた位置情報及び映像を監視員端末情報として取得する（ステップＳ１５）。
In addition, the supervisor terminal 10 (imaging unit 103) captures a video around the device (step S13). Next, the supervisor terminal 10 (video transmission unit 104) transmits the captured video around the device itself to the monitoring center server device 20 (step S14). The monitoring center server device 20 (monitorer terminal information acquisition unit 201) acquires the position information and video transmitted from the
固定カメラ４０（撮影部４０１）は、自装置の周囲の映像を撮影する（ステップＳ２１）。次に、固定カメラ４０（映像送信部４０２）は、撮影された自装置の周囲の映像を監視センタサーバ装置２０に送信する（ステップＳ２２）。監視センタサーバ装置２０（固定カメラ情報取得部２０２）は、固定カメラ４０から送信されてきた映像と、その固定カメラ４０の位置情報とを固定カメラ情報として取得する（ステップＳ２３）。ステップＳ１１〜Ｓ１５と、Ｓ２１〜Ｓ２３との各動作群は、並行して繰り返し行われる。
The fixed camera 40 (shooting unit 401) shoots a video around the device (step S21). Next, the fixed camera 40 (video transmission unit 402) transmits the captured video around the device itself to the monitoring center server device 20 (step S22). The monitoring center server device 20 (fixed camera information acquisition unit 202) acquires the video transmitted from the fixed
監視センタサーバ装置２０（画像処理部２０７）は、取得された撮影装置（監視員端末１０及び固定カメラ４０）の映像に対して画像処理を行い、監視エリア内での異常事象の発生を検出する（ステップＳ３１）。監視センタサーバ装置２０（発生場所特定部２０９）は、異常事象の発生が検出された場合に、その異常事象の発生場所を特定する（ステップＳ３２）。ステップＳ３１及びＳ３２の動作は、異常事象の発生が検出されない場合は行われない。
The monitoring center server device 20 (image processing unit 207) performs image processing on the acquired video of the imaging device (
監視センタサーバ装置２０（優先度判定部２０３）は、取得された各撮影装置の位置情報と、異常事象の発生が検出された場合には特定されたその発生場所とに基づいて、複数の撮影装置（監視員端末１０及び固定カメラ４０）のそれぞれの優先度を判定する（ステップＳ４１）。次に、監視センタサーバ装置２０（処理決定部２０４）は、監視エリアを撮影する映像に関する処理を、その映像を撮影する撮影装置について判定された優先度に応じて決定する（ステップＳ４２）。
The monitoring center server device 20 (priority determination unit 203) performs a plurality of photographing based on the acquired position information of each photographing device and the occurrence location specified when the occurrence of the abnormal event is detected. The respective priorities of the devices (
続いて、監視センタサーバ装置２０（撮影指示部２０５）は、決定された撮影関連処理の実行を撮影装置に指示するための指示データを生成して（ステップＳ４３）、その指示データを撮影装置（この例では監視員端末１０）に送信する（ステップＳ４４）。監視員端末１０（撮影動作制御部１０５）は、受け取った指示データが示す指示のとおりに、自装置の撮影に関する動作を制御する（ステップＳ４５）。また、監視センタサーバ装置２０（画像処理動作制御部２０６）は、決定された画像処理を実行するように、自装置が行う画像処理の動作を制御する（ステップＳ４６）。 Subsequently, the monitoring center server device 20 (imaging instruction unit 205) generates instruction data for instructing the imaging device to execute the determined imaging-related process (step S43), and the instruction data is transmitted to the imaging device ( In this example, it is transmitted to the supervisor terminal 10) (step S44). The monitor terminal 10 (imaging operation control unit 105) controls the operation related to the imaging of the own device in accordance with the instruction indicated by the received instruction data (step S45). Further, the monitoring center server device 20 (image processing operation control unit 206) controls the image processing operation performed by the own device so as to execute the determined image processing (step S46).
複数の撮影装置が撮影した映像を用いて監視エリアを監視する場合、上述した映像に関する処理の負荷（通信や異常検出のための画像処理等の負荷）が過大になると、処理に遅延が生じてしまい、異常事象への対応の遅れに繋がるおそれがある。それを避けるためは、映像に関する処理の負荷を小さくするとよいが、負荷を小さくすると、映像の画質が低くなったり画像処理の所要時間が長くなったりして、その映像が映す監視エリアの監視が不十分になることがある。 When monitoring a monitoring area using videos captured by a plurality of imaging devices, if the processing load related to the above-described video (loading such as image processing for communication or abnormality detection) becomes excessive, processing is delayed. This may lead to a delay in response to an abnormal event. In order to avoid this, it is better to reduce the processing load on the video. However, if the load is reduced, the image quality of the video will be lowered or the time required for image processing will be increased. It may be insufficient.
本実施例では、監視員が近くにいて（第１の位置関係にあって）周辺の監視が十分に行われている撮影装置の優先度を低くしているので（第１の判定方法）、撮影装置の優先度を低くして監視エリアの映像に関する処理の負荷を小さくしたときに監視が不十分になることを、監視員の位置に関係なく優先度を判定する場合に比べて抑制することができる。また、監視員が近くにいる撮影装置の優先度を監視員が近くにいない（第１の位置関係にない）撮影装置よりも低くするので（第２の判定方法）、監視員が近くにいない撮影装置の映像に関する処理が、監視員が近くにいる撮影装置の映像に関する処理よりも迅速に行われるようにすることができる。 In this embodiment, since the monitoring device is close (in the first positional relationship), the priority of the imaging device in which the surroundings are sufficiently monitored is lowered (first determination method). Suppressing the fact that monitoring becomes inadequate when the priority of the imaging device is lowered to reduce the processing load related to the video in the monitoring area, compared to when priority is determined regardless of the position of the observer Can do. Moreover, since the priority of the imaging device in which the monitoring person is nearby is set lower than that of the imaging apparatus in which the monitoring person is not nearby (not in the first positional relationship) (second determination method), the monitoring person is not nearby. The processing related to the video of the imaging device can be performed more quickly than the processing related to the video of the imaging device near the monitor.
また、本実施例では、近くにいる監視員が多い撮影装置ほど優先度を低くするので（第３の判定方法）、近くにいる監視員の人数に関わらず優先度が一律な場合に比べて、監視員が近くにいない撮影装置の映像に関する処理が、監視員が近くにいる撮影装置の映像に関する処理よりもより迅速に行われるようにすることができる。また、異常事象の発生場所の近くにある（第２の位置関係にある）撮影装置の優先度を高くするので（第４の判定方法）、優先度を一律にする場合に比べて、異常事象の発生場所及びその付近の監視を強化することができる。 Also, in this embodiment, the priority is lower for a photographing apparatus with more nearby monitoring personnel (third determination method), so that the priority is uniform regardless of the number of nearby monitoring personnel. The processing related to the video of the imaging device where the monitor is not nearby can be performed more quickly than the processing related to the video of the imaging device where the monitor is nearby. In addition, since the priority of the imaging apparatus near the place where the abnormal event occurs (in the second positional relationship) is increased (fourth determination method), the abnormal event is compared with the case where the priority is uniform. It is possible to strengthen the monitoring of the occurrence location and its vicinity.
また、本実施例では、異常事象の発生場所の近くにある撮影装置の近くに監視員がいても、その優先度を監視員が近くにいない場合に比べて低くしないので（第５の判定方法）、この優先度を低くする場合に比べて、異常事象の発生場所及びその付近の監視が不十分になることを抑制することができる。また、異常事象の発生場所に近い撮影装置の優先度をそうでない撮影装置に比べて低くしないので（第６の判定方法）、異常事象の発生場所に近い撮影装置の映像に関する処理が、そうでない撮影装置の映像に関する処理よりも迅速か少なくとも同等の速さで行われるようにすることができる。 Further, in this embodiment, even if there is a monitor near the imaging device near the place where the abnormal event occurs, the priority is not lowered compared to the case where the monitor is not close (fifth determination method). ), It is possible to suppress insufficient monitoring of the location where the abnormal event occurs and the vicinity thereof, as compared with the case where the priority is lowered. In addition, since the priority of the imaging device close to the place where the abnormal event occurs is not lower than that of the imaging device that does not (the sixth determination method), the processing related to the image of the imaging device close to the place where the abnormal event occurs is not so. The processing can be performed more quickly or at least at the same speed as the processing related to the image of the photographing apparatus.
［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2] Modifications The above-described embodiments are merely examples of the present invention, and may be modified as follows. Moreover, you may implement an Example and each modification in combination as needed.
［２−１］映像内の監視員の人数
優先度の判定の際に、撮影装置の映像に映っている監視員の人数を考慮してもよい。例えば、画像処理部２０７が、取得された撮影装置（監視員端末１０及び固定カメラ４０）の映像に対して画像処理を行い、その映像に映っている監視員の人数を判定する。画像処理部２０７は、例えば監視員の制服の形及び色等の特徴を示す情報を記憶しておき、周知のマッチング技術を用いて映像内の監視員を抽出し、その人数を判定する。
[2-1] Number of observers in video When determining the priority, the number of observers shown in the video of the imaging device may be taken into account. For example, the
画像処理部２０７は、判定した人数を、判定対象の映像を撮影した撮影装置の装置ＩＤと共に優先度判定部２０３に供給する。優先度判定部２０３は、画像処理部２０７により判定された監視員の人数が多い撮影装置ほど優先度を低くする。この判定方法は、監視員の人数の求め方は異なるが、それ以外は第３の判定方法と共通している。本変形例によれば、監視員端末１０のように位置の測定が可能な端末を所持していない監視員の人数も考慮して優先度を判定することができる。
The
［２−２］監視員への指示
異常事象の発生場所に監視員を向かわせる指示をオペレータに代わって装置が行ってもよい。例えば、監視センタサーバ装置２０が、図４に表す各部に加えて監視員所在判定部と、指示処理実行部とを備える。
[2-2] Instruction to the supervisor The apparatus may give an instruction to send the supervisor to the place where the abnormal event occurs instead of the operator. For example, the monitoring
監視員所在判定部には、発生場所特定部２０９から発生場所情報が、監視員端末情報取得部２０１から監視員端末情報が供給される。監視員所在判定部は、供給されたこれらの情報が表す発生場所と監視員の位置とに基づき、異常事象の発生場所と上述した第２の位置関係にある監視員の有無を判定する。監視員所在判定部は、そのような監視員がいないと判定すると、発生場所情報を指示処理実行部に供給する。
The occurrence location information is supplied from the occurrence
指示処理実行部は、監視員所在判定部により第２の位置関係にある監視員がいないと判定された場合に、その発生場所に監視員を向かわせる指示を行うための処理を実行する。指示処理実行部は、監視員所在判定部から発生場所情報が供給されると、そのような監視員がいないと判定されたと判断し、その発生場所情報が示す発生場所とそこへ向かうことを指示する指示データを生成して各監視員端末１０に送信する。
The instruction process execution unit executes a process for giving an instruction to direct the monitor to the place of occurrence when the monitor position determination unit determines that there is no monitor having the second positional relationship. When the occurrence location information is supplied from the monitor location determination unit, the instruction processing execution unit determines that it is determined that there is no such monitor, and instructs the occurrence location indicated by the occurrence location information and to go there Instruction data to be generated is transmitted to each
監視員端末１０は、指示データを受け取ると、その指示データが示す指示及び異常事象の発生場所を表示する。これを見た監視員は、表示された発生場所に向かう指示がされたことを認識する。これにより、例えば異常事象の発生時にオペレータによる指示が何かの事情で遅れることがあっても、その異常事象の発生場所に監視員を向かわせることができる。
Upon receiving the instruction data, the
［２−３］位置関係
第１及び第２の位置関係は、上述したものに限らない。例えば、監視員と第１の位置関係にある固定カメラ４０として、固定カメラ４０の撮影範囲の中心から所定の距離の範囲に監視員がいる関係又は監視員から所定の距離の範囲に固定カメラ４０の撮影範囲の中心が含まれる関係であってもよい。また、固定カメラ４０の撮影範囲に監視員がいる関係であってもよい。
[2-3] Positional relationship The first and second positional relationships are not limited to those described above. For example, as the fixed
また、固定カメラ４０が設置されている区画に監視員がいる関係又は監視員がいる区画に固定カメラ４０が設置されている関係であってもよい。この区画は、例えば街の区画や建物内の区画、監視エリア内の状況や環境に合わせて設定された区画などである。区画の形は、四角形でもよいし、街や建物、通り、通路などの形に合わせた凹凸のある形であってもよい。以上の位置関係は、異常事象の発生場所と撮影装置との第２の位置関係について適用してもよい。
Moreover, the relationship where the monitoring camera is installed in the section where the fixed
いずれの場合も、撮影装置と監視員が第１の位置関係になっていれば、その撮影装置が撮影する監視エリアの領域をその監視員が監視できるよう（常時でなくともすぐに監視できる状態）になっていればよい。また、異常事象の発生場所と撮影装置が第２の位置関係になっていれば、その発生場所及び（又は）その周辺をその撮影装置が撮影できるよう（常時でなくともカメラの向きを変えれば監視できる状態）になっていればよい。 In either case, if the imaging device and the monitor are in the first positional relationship, the monitor can monitor the area of the monitoring area captured by the imaging device (a state in which monitoring is possible immediately, if not always) ). Also, if the location where the abnormal event occurs and the imaging device are in the second positional relationship, the imaging device can capture the location and / or its surroundings (if the camera direction is changed, not always) It is only necessary to be able to monitor.
［２−４］画像処理用パラメータ
処理決定部２０４は、実施例とは異なる画像処理用パラメータを決定してもよい。例えば、処理決定部２０４は、複数の映像に対する画像処理が順番に行われる場合に、その順番を画像処理用パラメータとして、優先度に応じて決定する。処理決定部２０４は、例えば、優先度が高い撮影装置の映像ほど先に画像処理が行われるよう順番を決定する。
[2-4] Image Processing Parameter The
なお、画像処理の順番以外にも、処理決定部２０４は、映像に対する画像処理の終了時間が変化する画像処理用パラメータを優先度に応じて決定してもよい。いずれの場合も、撮影装置の優先度が高いほど、その映像に対する画像処理が早く終わるので、その撮影装置の撮影範囲で発生した異常事象にオペレータ等がより早く気付くことができる。
In addition to the order of image processing, the
［２−５］撮影装置
上記の実施例では、監視エリアの映像を撮影する撮影装置として監視員端末１０及び固定カメラ４０が用いられたが、どちらか一方だけが用いられてもよい。その場合でも、上記の各判定方法で優先度が判定されることで、映像に関する処理の負荷を小さくしたときに監視が不十分になることを抑制したり、異常事象の発生場所及びその付近の監視を強化したりすることができる。
[2-5] Shooting Device In the above embodiment, the
［２−６］優先度
優先度は、上記の各例とは異なる表し方をしてもよい。例えば「Ｌｖ１、Ｌｖ２、・・」や「Ａ、Ｂ、Ｃ、・・」、「高、中、低」など、指標としての上限関係を表す記号や文字、図形などが用いられてもよい。要するに、撮影装置の優先度が高いものと低いものとを判別できれば、どのように表された優先度が用いられてもよい。
[2-6] Priority Priority may be expressed differently from the above examples. For example, “Lv1, Lv2,...”, “A, B, C,. In short, the priority expressed in any way may be used as long as the priority of the photographing device can be determined as high and low.
［２−７］監視エリアの監視者
上記の実施例では、監視エリアに配置された監視員が監視エリアの現場で監視の役割を果たす監視者であったが、これに限らない。例えば、監視エリア内で働く監視員以外のスタッフが監視者であってもよい。スタッフとは、具体的には、例えばマラソン会場が監視エリアである場合、会場の案内員、コース整理員、給水スタッフ、観客の誘導員などであり、スタジアム等が監視エリアである場合、監視員に相当する警備員の他、チケットの販売員、店舗の店員、清掃員などである。また、人間に限らず、例えば監視用のカメラが内蔵された自走式のロボットやドローン、監視員端末を装着した動物（警察犬のように訓練された犬等）などであってもよい。
[2-7] Surveillant in the monitoring area In the above-described embodiment, the supervisor arranged in the surveillance area is a supervisor who plays a role of monitoring in the field of the surveillance area, but is not limited thereto. For example, the staff other than the supervisor working in the surveillance area may be the supervisor. Specifically, for example, when a marathon venue is a monitoring area, the staff is a venue guide, a course organizer, a water supply staff, a spectator guide, etc., and when a stadium or the like is a monitoring area, In addition to security guards equivalent to the above, they are ticket sales, store clerk, and cleaning staff. Moreover, it is not limited to a human being, but may be, for example, a self-propelled robot or drone with a built-in monitoring camera, an animal (such as a dog trained like a police dog) equipped with a monitor terminal.
［２−８］各機能を実現する装置
図４等に表す機能を実現する装置は、上述した各装置に限らない。例えば、監視センタサーバ装置が入力装置及び出力装置を備えておいて、オペレータ端末３０が備える各部を実現してもよい。また、反対に、監視センタサーバ装置２０が備える各部をオペレータ端末が実現してもよい。また、監視センタサーバ装置が実現する機能を、複数の情報処理装置が分担して実現してもよい。例えば、第１装置が監視員端末情報取得部２０１から優先度判定部２０３までの機能を実現し、第２装置が処理決定部２０４から発生場所特定部２０９までの機能を実現するという具合である。いずれの場合も、監視システムが備える装置全体で、上述した機能を実現していればよい。
[2-8] Apparatus that Implements Each Function The apparatus that implements the functions illustrated in FIG. 4 and the like is not limited to the above-described apparatuses. For example, the monitoring center server device may include an input device and an output device, and each unit included in the
［２−９］指示の自動化
実施例では、オペレータ端末３０を使用するオペレータが監視員に対して指示を行ったが、将来は、この指示を含むオペレータの作業が自動化されてもよい。例えば、ＡＩ（Artificial Intelligence、人工知能）を活用して、監視員端末１０からの投稿情報が示す事案の情報取得位置に最も近い監視員を選定して、選定した監視員に必要な情報（事案の発生場所を示す情報等）を伝達する。このように、一定のルールに基づく処理で実現可能な作業については、自動化されてもよい。
[2-9] Automation of instruction In the embodiment, an operator who uses the
［２−１０］発明のカテゴリ
本発明は、監視員端末１０、監視センタサーバ装置２０、オペレータ端末３０及び固定カメラ４０という各装置の他、それらの装置を備える監視システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられる。また、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2-10] Category of Invention The present invention can be understood as a monitoring system including these devices, in addition to the devices such as the
１…監視システム、１０…監視員端末、２０…監視センタサーバ装置、３０…オペレータ端末、４０…固定カメラ、１０１…測位部、１０２…位置情報送信部、１０３…撮影部、１０４…映像送信部、１０５…撮影動作制御部、２０１…監視員端末情報取得部、２０２…固定カメラ情報取得部、２０３…優先度判定部、２０４…処理決定部、２０５…撮影指示部、２０６…画像処理動作制御部、２０７…画像処理部、２０８…報知部、２０９…発生場所特定部、３０１…報知情報表示部、４０１…撮影部、４０２…映像送信部、４０３…撮影動作制御部。
DESCRIPTION OF
Claims (7)
前記監視エリアにいる監視者の位置情報を取得する第２取得手段と、
取得された前記各撮影装置の位置情報及び前記監視者の位置情報に基づいて、前記撮影装置の優先度を判定する判定手段と、
前記撮影装置について判定された前記優先度に応じて前記映像に関する処理を決定する決定手段と
を備える監視システム。 First acquisition means for acquiring position information of each imaging device that captures video in the monitoring area;
Second acquisition means for acquiring position information of a monitor in the monitoring area;
Determination means for determining the priority of the imaging device based on the acquired location information of each imaging device and the position information of the supervisor;
A monitoring system comprising: a determining unit that determines processing related to the video according to the priority determined for the photographing apparatus.
請求項１に記載の監視システム。 The monitoring system according to claim 1, wherein the determination unit lowers the priority of the first imaging device that is in a first positional relationship with the monitor as compared to a case where the priority is not in the first positional relationship with the monitor. .
前記判定手段は、特定された前記発生場所と第２の位置関係にある第２撮影装置の優先度を、当該発生場所と第２の位置関係にない場合に比べて高くする
請求項２に記載の監視システム。 Comprising identifying means for identifying the occurrence location of an abnormal event that occurred in the monitoring area;
The determination unit increases the priority of the second imaging device that is in the second positional relationship with the identified occurrence location as compared to a case where the priority is not in the second positional relationship with the occurrence location. Monitoring system.
請求項３に記載の監視システム。 When the second imaging device is in the first positional relationship with the monitor, the determination unit sets the priority of the second imaging device in comparison with the case where the priority is not in the first positional relationship with the monitor. The monitoring system according to claim 3.
請求項３又は４に記載の監視システム。 The monitoring system according to claim 3 or 4, wherein the determination unit does not lower the priority of the second imaging device compared to other imaging devices.
請求項２から５のいずれか１項に記載の監視システム。 The monitoring according to any one of claims 2 to 5, wherein the determination unit lowers the priority of the first imaging device as compared with other imaging devices that are not in the first positional relationship with the monitor. system.
請求項２から６のいずれか１項に記載の監視システム。 The monitoring system according to any one of claims 2 to 6, wherein the determination unit lowers the priority of the first imaging device as the number of the monitoring personnel in the first positional relationship increases.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017065009A JP6941458B2 (en) | 2017-03-29 | 2017-03-29 | Monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017065009A JP6941458B2 (en) | 2017-03-29 | 2017-03-29 | Monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018170574A true JP2018170574A (en) | 2018-11-01 |
| JP6941458B2 JP6941458B2 (en) | 2021-09-29 |
Family
ID=64020541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017065009A Active JP6941458B2 (en) | 2017-03-29 | 2017-03-29 | Monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6941458B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020086504A (en) * | 2018-11-15 | 2020-06-04 | 日本電気株式会社 | Image processing apparatus, image processing method and program |
| JP2021099690A (en) * | 2019-12-23 | 2021-07-01 | 横河電機株式会社 | Apparatus, system, method, and program |
| JP2025051681A (en) * | 2023-09-22 | 2025-04-04 | ソフトバンクグループ株式会社 | system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006132029A1 (en) * | 2005-06-07 | 2006-12-14 | Matsushita Electric Industrial Co., Ltd. | Monitoring system, monitoring method, and camera terminal |
| JP2007221693A (en) * | 2006-02-20 | 2007-08-30 | Mitsubishi Electric Corp | Video surveillance system and video concentrator |
| JP2012029725A (en) * | 2010-07-28 | 2012-02-16 | Kita Denshi Corp | Game parlor monitoring system |
| JP2017017488A (en) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | Surveillance system, imaging control method, and program |
| JP2017028561A (en) * | 2015-07-24 | 2017-02-02 | セコム株式会社 | Image monitoring system |
-
2017
- 2017-03-29 JP JP2017065009A patent/JP6941458B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006132029A1 (en) * | 2005-06-07 | 2006-12-14 | Matsushita Electric Industrial Co., Ltd. | Monitoring system, monitoring method, and camera terminal |
| JP2007221693A (en) * | 2006-02-20 | 2007-08-30 | Mitsubishi Electric Corp | Video surveillance system and video concentrator |
| JP2012029725A (en) * | 2010-07-28 | 2012-02-16 | Kita Denshi Corp | Game parlor monitoring system |
| JP2017017488A (en) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | Surveillance system, imaging control method, and program |
| JP2017028561A (en) * | 2015-07-24 | 2017-02-02 | セコム株式会社 | Image monitoring system |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020086504A (en) * | 2018-11-15 | 2020-06-04 | 日本電気株式会社 | Image processing apparatus, image processing method and program |
| JP7387981B2 (en) | 2018-11-15 | 2023-11-29 | 日本電気株式会社 | Image processing device, image processing method, program |
| JP2021099690A (en) * | 2019-12-23 | 2021-07-01 | 横河電機株式会社 | Apparatus, system, method, and program |
| JP7211353B2 (en) | 2019-12-23 | 2023-01-24 | 横河電機株式会社 | Apparatus, system, method and program |
| JP2025051681A (en) * | 2023-09-22 | 2025-04-04 | ソフトバンクグループ株式会社 | system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6941458B2 (en) | 2021-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7444228B2 (en) | program | |
| DK2815389T3 (en) | SYSTEMS AND PROCEDURES FOR PROVIDING EMERGENCY RESOURCES | |
| US20170278367A1 (en) | System and method for overlap detection in surveillance camera network | |
| KR20110093040A (en) | Subject monitoring device and method | |
| JP7146416B2 (en) | Information processing device, information processing system, information processing method, and program | |
| KR101005568B1 (en) | Intelligent security system | |
| JP2017204838A (en) | Information processing apparatus and information processing method | |
| JP2009159448A (en) | Object detecting apparatus, and object detecting method | |
| JP6941458B2 (en) | Monitoring system | |
| JP2016123004A (en) | Imaging apparatus installation support apparatus, imaging apparatus installation support method, and video recording / reproducing apparatus | |
| KR101842564B1 (en) | Focus image surveillant method for multi images, Focus image managing server for the same, Focus image surveillant system for the same, Computer program for the same and Recording medium storing computer program for the same | |
| JP6842968B2 (en) | Monitoring system | |
| JP6941457B2 (en) | Monitoring system | |
| KR101280353B1 (en) | Event notification system of condition using mobile device | |
| KR101332820B1 (en) | Object tracking system and method, object management apparatus and driving method thereof, photographing apparatus and driving method thereof | |
| JP6720010B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2023162016A1 (en) | Monitoring system, monitoring device, monitoring method, and recording medium | |
| JP7164575B2 (en) | Safety management system | |
| JP6807247B2 (en) | Monitoring system and monitoring method | |
| KR20190114223A (en) | Surveillance system and operation method thereof | |
| JP6877176B2 (en) | Monitoring system | |
| JP6921550B2 (en) | Monitoring system and monitoring method | |
| JP2020102677A (en) | Information processing device, information processing method, and program | |
| JP6903451B2 (en) | Monitoring system and monitoring method | |
| JP6854150B2 (en) | Monitoring system and monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6941458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |