[go: up one dir, main page]

JP2019519033A - 検出装置、イベントを検出する方法、及びコンピュータプログラム - Google Patents

検出装置、イベントを検出する方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2019519033A
JP2019519033A JP2018557914A JP2018557914A JP2019519033A JP 2019519033 A JP2019519033 A JP 2019519033A JP 2018557914 A JP2018557914 A JP 2018557914A JP 2018557914 A JP2018557914 A JP 2018557914A JP 2019519033 A JP2019519033 A JP 2019519033A
Authority
JP
Japan
Prior art keywords
event
area
feature
unit
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018557914A
Other languages
English (en)
Inventor
シュタートラー、アントン
ヴィットマン、ゼレン
エプリング、ユリア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2019519033A publication Critical patent/JP2019519033A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

監視領域3内のイベントを検出する検出装置1であって、少なくとも1つの画像を受け取るためのカメラインタフェース4であって、上記少なくとも1つの画像は監視領域3を示す、上記カメラインタフェース4と、画像解析ユニット6であって、上記画像解析ユニット6は、画像に基づいて、監視領域3内の少なくとも1つの任意の位置に対してイベント特徴量を決定するよう構成される、上記画像解析ユニット6と、警報特徴量を含む警報ユニット15であって、上記警報ユニット15は、警報特徴量とイベント特徴量との比較に基づいて警報を出力するよう構成される、上記警報ユニット15と、メモリユニット14であって、上記メモリユニット14は、監視領域3内の少なくとも1つの任意の位置に対してイベント特徴量を格納するよう構成される、上記メモリユニット14と、イベント特徴量及び警報特徴量に基づいて、少なくとも1つのエラーイベント領域5を計算し及び/又は定める計算ユニット8であって、エラーイベント領域5は、選択された警報特徴量において、イベントが存在しないにも関わらずイベントがそこで検出される監視領域3の領域である、上記計算ユニット8と、少なくとも1つのエラーイベント領域5内の警報特徴量を自動的に変更し及び/又は画像解析ユニット6によるイベント特徴量の決定からエラーイベント領域5を推定するマスキングユニット9と、を備える、上記検出装置1が提案される。【選択図】図1

Description

本発明は、少なくとも1つの画像を受け取るためのカメラインタフェースであって、上記少なくとも1つの画像は監視領域を示す、上記カメラインタフェースと、画像解析ユニットであって、上記画像解析ユニットは、画像に基づいて、監視領域内の少なくとも1つの任意の位置に対してイベント特徴量を決定するよう構成される、上記画像解析ユニットと、警報特徴量を含む警報ユニットであって、上記警報ユニットは、警報特徴量とイベント特徴量との比較に基づいて警報を出力するよう構成される、上記警報ユニットと、メモリユニットであって、上記メモリユニットは、監視領域内の各位置に対してイベント特徴量を格納するよう構成される、上記メモリユニットと、を備える、監視領域内のイベントを検出する検出装置に関する。本発明は、さらに、監視領域内のイベントを検出する方法、及び、コンピュータプログラムに関する。
多くの検出システムが、カメラ及び/又はビデオベースの、イベントの検出に基づいている。特に、そのような検出システムは火災報知器で利用される。例えば、画像処理を用いて、信憑性のある火災特徴を介して火災を検出する複数のそのような火災報知器が既に知られている。
例えば、本発明におそらく最も近い先行技術である独国特許出願公開第102014219838号明細書には、監視領域内の火災の煙を検出するための煙検知装置が開示されており、この煙検知装置は評価モジュールを備えている。評価モジュールは、2つの個別画像に基づき監視領域内の煙の部分の動きを決定するための第1の動き推定を実行し、その際に、上記2つの個別画像は、互いに第1の時間間隔を有する。
本発明の枠組みにおいて、請求項1の特徴を備えた検出装置と、請求項13の特徴を備えた方法と、請求項14の特徴を備えたコンピュータプログラムと、が提案される。本発明の好適又な有利な実施形態は、従属請求項、以下の明細書の記載、及び、添付の図面から明らかとなろう。
本発明の枠組みにおいて、監視領域内のイベントを検出するよう構成され及び/又は監視領域内のイベントを検出するために適した検出装置が提案される。イベントは、例えば、火事、火災、又は煙である。代替的又は追加的に、イベントは、監視領域内の動く人間及び/又は動く動物であってもよい。監視領域は、例えば家屋の中の一室及び/又は工場のホールのような、閉鎖された監視領域でありうる。代替的に、監視領域は、例えば駐車場のような、屋外の領域であってもよい。検出装置は特に、例えばコンピュータ、マイクロコントローラ等のデジタルデータ処理装置として構成される。
検出装置は、少なくとも1つの画像を受け取るためのカメラインタフェースを備え、この少なくとも1つの画像は、監視領域を示している。カメラインタフェースは、内部又は外部のカメラインタフェースとして構成されうる。カメラインタフェースによる少なくとも1つの画像の受け取りは、無線又は有線により行われうる。好適に、カメラインタフェースは、電波インタフェースとして構成されうる。特に、カメラインタフェースは、ネットワーク接続でありうる。好適に、カメラインタフェースは動画像を受け取り、動画像は、画像として複数の個別画像を含んでいる。特に、個別画像は監視領域を示し、好適に、全ての個別画像が各々、監視領域の同じ区分を示している。監視領域の少なくとも1つの画像は、監視カメラによって、特に据え置き型の監視カメラによって提供されうる。監視カメラは、例えば、可視領域で画像を記録するカメラ又は赤外線カメラとして構成される。少なくとも1つの画像は、特に、デジタル画像として提供される。少なくとも1つの画像は、モノクロ画像として、グレースケール画像として、及び/又は、カラー画像として構成されうる。
検出装置は、画像解析ユニットを備え、画像解析ユニットは、少なくとも1つの画像に基づいて、監視領域内の少なくとも1つの任意の位置に対して、イベント特徴量を決定するよう構成される。画像解析ユニットは、好適に、ソフトウェアモジュールとして実現される。代替的に、画像解析ユニットは、ハードウェアによっても実現されうる。好適に、画像解析ユニットは、監視領域をラスタ位置へとラスタライズし、監視領域内のラスタ位置に対して位置座標を対応付けるよう構成される。ラスタライズは、例えばマトリクス状に行われる。特に、監視領域内の各位置に対してラスタ位置を対応付けることが可能であり、これにより、監視領域内の各位置がラスタ座標系で記述されうる。特に、画像解析ユニットは、各ラスタ位置に対してイベント特徴量を決定する。
イベント特徴量は、特に、監視領域内で検出されたイベントを、信憑性を持って特徴付けるデータである。好適に、イベント特徴量を介してイベントがエラーイベントと区別されるが、ここで、エラーイベントとは、例えば、検出装置にとっては検出すべきイベントと類似しているイベントである。監視領域内の火事及び/又は火災を検出するために、イベント特徴量は、例えば、熱放射の強度のスペクトル分布を含みうる。監視領域内の動く動物及び/又は動く人間を検出するために、イベント特徴量は、例えば、動く物体の速度を絶対値として、かつ方向ベクトルとして含みうる。
検出装置は、警報ユニットを備え、警報ユニットは、警報特徴量を含み、及び/又は、警報ユニットには警報特徴量が格納されている。警報ユニットは、プログラミングにより及び/又はハードウェアにより実装される。好適に、警報ユニットは、共通の評価ユニットにおいて画像解析ユニットと統合されうる。警報ユニットは、警報特徴量とイベント特徴量との比較に基づいて警報を出力するよう構成される。例えば、警報特徴量は、イベント特徴量がそれを上回り又は下回ると警報が出力される限界値として理解されうる。例えば、警報特徴量は、動く物体の最大分光温度、動く物体の最高速度、及び/又は、動く物体中の乱気流である。特に、警報特徴量は、監視領域内での位置に依存していてもよく、及び/又は、監視領域内の全ての位置について同一に選択されうる。
検出装置は、メモリユニットを備え、このメモリユニットは、監視領域内の或る位置に対して、イベント特徴量を格納するよう構成される。メモリユニットは、内部又は外部のメモリユニットとして構成されうる。好適に、メモリユニットは、データメモリユニットである。特に、メモリユニットは、内部及び/又は外部のハードディスクとして、USB記憶媒体として、メモリカードとして、CD又はDVDとして構成される。好適に、メモリユニットは、監視領域内の各位置及び/又はラスタ位置に対してイベント特徴量を格納する。好適に、メモリユニットは、或る位置に対するイベント特徴量にタイムスタンプを付すよう構成され、従って、或る位置について、例えばイベント特徴量の時間的推移が格納される。
検出装置は、イベント特徴量及び警報特徴量に基づいて、少なくとも1つのエラーイベント領域を計算し及び/又は定める計算ユニットを備える。エラーイベント領域とは、選択された警報特徴量について検出すべきイベントが、実際にはそのイベントが発生していないにも関わらずそこで検出される監視領域の領域である。例えば、エラーイベント領域は、点滅する光源、特に蛍光管がある領域であって、点滅する光により検出装置によって誤って火災が検出される領域である。監視領域内で検出される人間及び/又は動物について、エラーイベントは、例えば、動く影及び/又は落ち葉により形成されうる。計算ユニットは、ソフトウェア又はハードウェアにより形成されうる。特に、計算ユニットは、メモリユニット及び/又は警報ユニット及び/又は画像解析ユニットと共に、共通の評価ユニットを形成しうる。計算ユニットは、例えばユーザにより提供された知識であって、以前格納された全イベント特徴量についてイベントが発生していないという上記知識に基づいて、エラーイベント領域を計算及び/又は定める。
検出装置は、少なくとも1つのエラーイベント領域内の警報特徴量を自動的に変更し及び/又は画像解析ユニットによるイベント特徴量の上記決定からエラーイベント領域を推定するマスキングユニットを備える。マスキングユニットは、ソフトウェア及び/又はハードウェアにより構成されうる。特に、マスキングユニットは、計算ユニット、メモリユニット、警報ユニット、及び/又は画像解析ユニットと共に、合同の評価ユニットを形成しうる。
ここで、本発明のアイディアは、格納されたイベント特徴量について監視領域内でイベントが発生していないという知識に基づいて、警報特徴量をそのように適合すること及び/又は画像解析ユニットによるイベント特徴量の上記決定からエラーイベント領域を推定することが可能であり、従って、これ以降はエラーイベントがもはやイベントとして検出されないということである。従って、クリティカルな画像領域を如何にフェードアウトさせられるか及び/又は他の形で評価できるかという構想が紹介される。誤って検出されたイベントによるエラー警報の起動を、このようにして著しく低減させることが可能である。さらに、警報特徴量の自動的な適合及び/又はイベント特徴量の更なる別の決定からの領域の自動的な推定によって、フェードアウトすべき領域を手動で調整するのに対し時間が著しく節約される。
検出装置の可能な構成において、警報特徴量の変更は、警報ユニットがエラーイベント領域を評価しないということを特徴とする。例えば、これについて、例えば、イベント特徴量が警報特徴量を上回っているかを検査する警報ユニットのために、エラーイベント領域内の警報特徴量が、無限に高く及び/又は非常に高い値に設定され、従って、エラーイベント領域内のイベント特徴量はもはや警報特徴量を上回ることが出来ない。反対に、例えば、イベント特徴量が警報特徴量を下回っているかを検査する警報ユニットのための警報特徴量は、警報特徴量がゼロ又はそのように低い値に設定され、従って、イベント特徴量は、警報特徴量を下回ることが出来ない。
本発明の特に好適な構成において、イベント特徴量は、イベント及び/又はエラーイベントの大きさ、期間、及び/又は強度についての情報を含む。代替的又は追加的に、イベント特徴量は、イベントの更なる別の情報を含み、例えば、監視領域内の或る位置で決定された速度、方向、温度、及び/又は乱気流の情報を含む。特に、イベント特徴量は、警報特徴量と同じ次元及び/又は単位を有する。さらに、イベント特徴量は、複数の情報の組み合わせを含みうる。
本発明の可能な構成において、計算ユニットは、手動での警報特徴量の変更後に、格納されたイベント特徴量及び変更された警報特徴量に基づいて、少なくとも1つのエラーイベント領域を新たに計算し及び/又は新たに定めるよう構成される。代替的又は追加的に、エラーイベント領域の新たな計算又は決定は、手動でも開始されうる。例えば、計算ユニットは警報特徴量の手動での変更後に、新しい警報特徴量に基づきイベントが、そのイベントが発生していないにも関わらず、どこで検出される可能性があるのか、従ってエラーイベント領域がどこに存在するかについて、監視領域全体について新たに計算する。
本発明の特に好適な構成において、検出装置は、ユーザインタフェースを備える。ユーザインタフェースは、警報特徴量を変更するため、特に、警報特徴量を手動で変更するための人間−機械インタフェースである。例えば、ユーザインタフェースは、組込み型コンピュータ(Embedded Computer)として実現される。特に、ユーザインタフェースは、例えばキーボードのようなデータ入力ユニットを備える。代替的又は追加的に、ユーザインタフェースは、データ入力ユニットとしてタッチスクリーン(touch screen)を備える。好適に、ユーザインタフェースは、データリンクにより警報ユニットと接続され、その際に、データリンクは、有線及び/又は無線により実現されうる。従って、ユーザインタフェースを、マーキングユニット、計算ユニット、メモリユニット、警報ユニット、及び/又は画像解析ユニットから離して配置することが可能である。例えば、ユーザインタフェースは制御室内に配置され、検出装置の残りは監視領域内の監視カメラ内に配置される。
特に好適に、ユーザインタフェースは、監視領域を表示画像としてグラフィカルに表示するための表示ユニットを備える。このグラフィカルな表示部は、カラー表示部、グレースケール表示部、又はモノクロ表示部として構成されうる。好適に、表示ユニットは、画面として実現され、好適にタッチスクリーンモニタ(Touchscreen‐Monitor)として実現される。表示ユニットは、特に、カメラインタフェースにより提供された、監視領域の画像を示す。表示ユニットは、最新に調整された各警報特徴量について計算され及び/又は定められたエラー領域を、表示画像でグラフィカルに表示するよう構成される。エラーイベント領域の表示は、例えば、表示画像又は監視領域の画像の該当する領域に色を付け及び/又は陰を付けることにより行われうる。特に、表示ユニットは、様々な警報特徴量についてエラーイベント領域を表示画像で提示するよう構成され、その際に、様々な警報特徴量についての上記提示は、例えば、様々に色を付け及び/又は陰を付けることにより行われる。
本発明の更なる別の構成において、ユーザインタフェースは、ユーザ入力により手動で、監視領域の少なくとも1つの領域を追加的なエラーイベント領域として定めるよう構成される。監視領域の或る領域でエラーイベントが頻繁に発生することがユーザに分かっている場合には、ユーザは、ユーザインタフェースを介して、上記或る領域をエラー警報領域としてマーク付けし、このようにして、ユーザによりマーク付けされたエラーイベント領域内の警報特徴量を変更するため及び/又は画像解析ユニットによるイベント特徴量の決定から、ユーザによりマーク付けされたエラーイベント領域を推定するためのマーキングユニットを起動する。特に、手動によるユーザ入力は、表示画像の対応する領域をグラフィカルにマーク付けすることにより行われ、又は座標系の入力により行われうる。
本発明の可能な構成において、検出装置は調整ユニットを備える。特に、調整ユニットは、ソフトウェア及び/又はハードウェアによる実装により実現され、例えば、ユーザインタフェースに組み込まれている。調整ユニットは、警報特徴量を以下のように調整し及び/又は再調整するよう構成され、即ち、格納された監視領域内のイベント特徴量について、及び、当該格納されたイベント特徴量について監視領域内ではイベントが検出されなかったという知識に基づいて、エラーイベントがイベントとして検出されないように、警報特徴量を調整し及び/又は再調整するよう構成される。特に、調整ユニットは、領域単位で及び/又は位置に依存して警報特徴量を調整/再調整することが可能である。例えば、調整ユニットは、検出されたエラーイベント領域内の警報特徴量を、再調整されたエラーイベント領域についてエラーイベントが検出されないように、再調整することが可能である。
本発明の特に有利な構成において、イベントは、監視領域内の火災及び/又は火事である。監視領域内の火災及び/又は火事についてのイベント特徴量として、例えば、特に赤外線カメラで撮影された温度のスペクトル分布が役立つ。代替的又は追加的に、特定の光学現象が、イベント特徴量として選択されうる。
本発明の更なる別の構成において、検出すべきイベントは、監視領域内の煙である。特に、煙は、監視領域内の火災及び/又は火事によって形成されうる。煙は、特に火災の燃焼生成物による排煙によって特に形成される。煙についてのイベント特徴量として、例えば、煙のオプティカルフロー及び/又は煙の一部分が選択されうる。代替的に、煙の中の乱気流がイベント特徴量として選択されうる。
本発明の更なる別の構成において、監視領域内の検出すべきイベントは、動く人間及び/又は動く動物である。例えば、監視領域内で動く物体の、絶対値としてかつ方向ベクトルとしての速度が、イベント特徴量として選択されうる。
本発明の更なる別の主題には、好適に、先に記載した検出装置又は先行する請求項のいずれか1項に記載の検出装置によって実施される、監視領域のイベントを検出する方法が関わっている。本方法では、監視領域の画像が評価され、監視領域内の任意の位置に対して、イベント特徴量が決定される。イベント特徴量と警報特徴量との比較に基づいて、警報の出力が行われる。イベント特徴量が格納され、その際に、イベント特徴量に対して、当該イベント特徴量が決定された各位置が格納される。イベント特徴量及び警報特徴量に基づいて、監視領域のどこにエラーイベント領域が存在するのかが計算され及び/又は定められる。エラーイベント領域内では、警報特徴量が自動的に変更され及び/又は、エラーイベント領域がイベント特徴量の上記決定から推定される。
本発明の更なる別の主題は、好適に検出装置又はデータ処理装置で上記の方法を実行するための、プログラムコード手段を含むコンピュータプログラムにより形成される。
本発明の更なる別の特徴、効果、及び利点は、本発明の好適な実施例についての以下の明細書の記載、及び、添付の図面から明らかとなろう。
検出装置の概略図を示す。 監視領域内のイベントを検出する方法のフロー図を示す。
図1は、本発明の一実施例としての検出装置1の非常に概略化された図を示している。検出装置1は、自動的な火災報知器として構成され、例えば、コンピュータとして、又は、個別モジュールを実装するためのコンピュータプログラムを含むデジタルデータ処理装置として実現されうる。
図1には、監視カメラ2がさらに示されており、ここでは、監視カメラ2は、監視領域を撮像するように配置されている。監視カメラ2は、モノクロカメラ、カラーカメラ、又は赤外線カメラとして構成されうる。任意に、監視カメラ2は、検出装置1と一体になった部分を形成しうる。監視カメラ2は、検出装置1のカメラインタフェース4を介して、監視領域3の少なくとも1つの画像を提供する。特に、監視カメラ2は、監視領域の複数画像から成る動画像を提供するよう構成され、その際に、動画像の画像は、監視領域3の共通の一区分を提示する。動画像の画像は、時間的に間隔を取って撮影され、その際に、この時間的な間隔は、監視カメラ2の周波数により決定される固定の時間的間隔である。例えば、監視カメラ2は、30ヘルツの周波数により、監視領域3の少なくとも2つの画像を含む動画像を撮影するよう構成される。
監視領域3は、エラーイベント領域5を含み、エラーイベント領域5は、監視領域3の領域であって、監視領域3内でイベント又は火災が存在しないにも関わらず検出装置1がイベント、この場合は火災を検出する上記領域である。例えば、エラーイベント領域5は、監視領域3の領域であって、例えば蛍光管等の検出装置1の点滅する光源によって火災のように見える領域である。
カメラインタフェース4を介して、監視カメラ2の画像が検出装置1に提供される。カメラインタフェース5は、画像解析ユニット6及び評価モジュール7とデータリンクにより接続されている。評価モジュール7は、計算ユニット8と、マスキングユニット9と、表示ユニット11及び入力ユニット12を含むユーザインタフェース10と、を備える。
画像解析ユニット6は、カメラインタフェース4を介して提供された画像に基づいて監視領域3をラスタライズするよう、ソフトウェアにより及び/又はハードウェアにより構成される。監視領域3のラスタライズ化は、ラスタ位置13へとマトリクス状に分解することに相当し、各ラスタ位置13には、画像解析ユニット6によってラスタ座標が対応付けられる。図には、例えば、3つの任意のラスタ位置13が描かれている。画像解析ユニット6はさらに、監視領域3の各ラスタ位置に対してイベント特徴量を決定するよう構成される。イベント特徴量は、例えば、或るラスタ点での温度のスペクトル分布、火災の輝度及び/又は他の特徴的な特徴を含む。
画像解析ユニット6は、イベント特徴量をメモリユニット14に格納するために、メモリユニット14とデータリンクにより接続されている。メモリユニット14は、特に、例えばハードディスクのような検出装置1に組み込まれた記憶媒体として実現される。代替的に、メモリユニット14は、外部の記憶媒体としても構成可能であり、その際には、外部の記憶媒体は、例えば無線接続を介して画像解析ユニット6と接続されている。イベント特徴量は、特に、監視領域3内の上記位置と共に及び/又はイベント特徴量が決定されたラスタ位置13と共に格納される。従って、例えば各ラスタ点には、イベント特徴量が対応付けられ及び/又は格納されている。特に、メモリユニット14は、イベント特徴量にタイムスタンプを付すよう構成され、結果的に、イベント特徴量が比較的長い時間に亘って格納可能であり、従って、例えば、イベント特徴量の時間的経過が決定されうる。
画像解析ユニット6は、警報ユニット15とデータリンクにより接続されている。警報ユニット15は、イベント特徴量と警報ユニット15に格納された警報特徴量との比較に基づいて警報を出力するよう、ソフトウェア又はハードウェアにより構成される。このために、警報ユニット15は、例えば各ラスタ位置13で、イベント特徴量と警報特徴量とを比較する。イベント特徴量が警報特徴量を上回り又は下回り次第、警報ユニットは警報を出力する。警報ユニット15により出力される警報は、光学的及び/又は聴覚的な信号でありうる。
メモリユニット14は、計算ユニット8とデータリンクにより接続されている。計算ユニット8は、イベント特徴量及び警報特徴量に基づいて、エラーイベント領域4を決定するよう構成される。このために、計算ユニット8は、例えば、格納された特徴量について監視領域3内で火災及び/又はイベントが発生していないという情報を利用する。格納された特徴量について監視領域3内で火災及び/又はイベントが発生していないというこの情報は、例えばユーザにより提供される。計算ユニット8は、監視領域3内の計算された及び/又は定められたエラーイベント領域4についての情報を、マスキングユニット9に提供するよう構成される。
マスキングユニット9は、警報ユニット15とデータリンクにより接続されている。マスキングユニット9は、警報ユニット15内の警報特徴量を、以下のように変更するよう構成され、即ち、マスキングユニット9により新たに調整された警報特徴量について、対応するイベント特徴量を含むイベントであって、エラーイベント領域4を設定し及び/又は計算することとなった上記イベントが、警報ユニットによってもはやイベント及び/又は火災と見做されないように、警報ユニット15内の警報特徴量を変更する。
計算ユニット8により決定されたエラーイベント4の領域を、画像解析ユニット6によるイベント特徴量の上記決定から推定するために、マスキングユニット9も同様に、画像解析ユニット6とデータリンクにより接続されている。従って、画像解析ユニット6により生成されるデータ量が、大幅に削減されうる。
ユーザインタフェース10は、表示ユニット11及び入力ユニット12を備え、表示ユニット11と入力ユニット12とは纏められて、1つのタッチスクリーンモニタとなっている。表示ユニット11は、カメラインタフェース4とデータリンクにより接続され、監視カメラ2によりそれぞれ撮影された、監視領域3の画像をリアルタイムに表示して提示するよう構成される。さらに、ユーザインタフェース10は、計算ユニット8及びマスキングユニット9とデータリンクにより接続されており、従って、表示ユニット11で提示された監視領域3の画像で、エラーイベント領域4を、各調整された警報調整量について提示し及び/又はマーク付けすることが可能である。表示ユニット11により表示される監視領域3の画像でのエラーイベント領域5の提示は、例えば、対応する領域に影を付けること又は色を付けることにより行われうる。
入力ユニット12によって、ユーザは、ユーザ入力により、監視領域3内に少なくとも1つの他のエラーイベント領域4を定めることが可能である。このことは、例えば、監視領域3の画像の表示において、対応する領域を選択し及び/又は対応する領域にマーク付けすることにより行われる。このように追加されたマーキング領域は、計算ユニット8により決定されたマーキング領域と同様に、警報ユニット15及び画像解析ユニット6へと転送される。このことは、例えば、誤検出又は誤警報の新たな原因が特定の領域に現れたことがユーザに分かっている場合には有用でありうる。
マーキングユニット9、警報ユニット15、画像解析ユニット6の間にはさらに、マスキングメモリユニット16が配置されている。マスキングメモリユニット16は、検出装置1に組み込まれたメモリユニットとして構成され、又は、無線又は有線接続によりマスキングユニット9と接続された外部の記憶媒体として構成される。マスキングメモリユニット16は、計算ユニット8により計算され及び/又は定められたエラーイベント領域5、並びに、マーキングユニット9により変更された警報特徴量及びイベント特徴量の上記決定から推定された領域を格納するよう構成される。
図2は、監視領域3内のイベントを決定するための、警報特徴量とイベント特徴量との比較に基づく方法のフロー図を示している。
本方法のイベント特徴量決定工程100において、監視領域3の画像が評価され、その際に、上記評価はイベント特徴量の決定を含む。イベント特徴量は、検出されるイベントを、信憑性を持って特徴付ける特徴量を含む。
イベント特徴量決定工程100と並行して、位置決定工程200において、監視領域3がラスタライズされ、ラスタ位置13が、このラスタ位置13とはイベント特徴量がそれについて決定される監視領域3内の位置のことである。この位置決定工程200とは、ラスタ位置13で追加情報を決定するための追加データ決定工程300が並行しうる。追加情報は、例えば、画像取得、画像評価、及び/又は決定されるイベントに関する更なる情報を含むデータを含む。この追加情報は、例えば、検出装置1及び/又は監視カメラ3の感度、監視領域3内のイベントの大きさ、又はタイムスタンプでありうる。
イベント特徴量決定工程100、位置決定工程200、及び、追加情報決定工程300で決定されたデータは、警報工程400で評価される。警報工程400では、イベント特徴量が、或る警報特徴量を上回り又は下回るかどうかが検査される。警報工程400では、例えば、イベント特徴量が警報特徴量を上回る場合には、警報起動500が開始される。イベント特徴量が警報特徴量を下回る場合には、警報は起動されない。イベント特徴量決定工程100、位置決定工程200、及び追加情報決定工程300で決定されたデータは、格納工程600で格納される。特に、上記工程100〜300で決定されるデータは、データタプルとして決定される。例えば、データタプルは、ラスト位置13、イベント特徴量、及び、追加特徴量を含む。格納されたデータタプルのデータ、及び、警報工程400のデータは、マスキング工程700で評価される。マスキング工程700では、イベント特徴量及び警報特徴量に基づいて、監視領域3のどこにエラーイベント領域5が存在するかが計算され及び/又は定められる。このように決定されたエラーイベント領域5は、イベント特徴量決定工程300及び警報工程400へと転送される。これにより、マスキング工程700は、イベント特徴量決定工程100で、それ以降にイベント特徴量の評価及び/又は決定が行われる領域を適合させる。追加的に、マスキング工程700は、警報工程400の警報特徴量にアクセスし、その際に、メモリ工程600に格納されたイベント特徴量についてイベントが検出されないように、警報特徴量が適合される。
本発明の特に好適な構成において、検出装置は、ユーザインタフェースを備える。ユーザインタフェースは、警報特徴量を変更するため、特に、警報特徴量を手動で変更するための人間−機械インタフェースである。例えば、ユーザインタフェースは、組込み型コンピュータ(Embedded Computer)として実現される。特に、ユーザインタフェースは、例えばキーボードのようなデータ入力ユニットを備える。代替的又は追加的に、ユーザインタフェースは、データ入力ユニットとしてタッチスクリーン(touch screen)を備える。好適に、ユーザインタフェースは、データリンクにより警報ユニットと接続され、その際に、データリンクは、有線及び/又は無線により実現されうる。従って、ユーザインタフェースを、マキングユニット、計算ユニット、メモリユニット、警報ユニット、及び/又は画像解析ユニットから離して配置することが可能である。例えば、ユーザインタフェースは制御室内に配置され、検出装置の残りは監視領域内の監視カメラ内に配置される。
本発明の更なる別の構成において、ユーザインタフェースは、ユーザ入力により手動で、監視領域の少なくとも1つの領域を追加的なエラーイベント領域として定めるよう構成される。監視領域の或る領域でエラーイベントが頻繁に発生することがユーザに分かっている場合には、ユーザは、ユーザインタフェースを介して、上記或る領域をエラー警報領域としてマーク付けし、このようにして、ユーザによりマーク付けされたエラーイベント領域内の警報特徴量を変更するため及び/又は画像解析ユニットによるイベント特徴量の決定から、ユーザによりマーク付けされたエラーイベント領域を推定するためのマキングユニットを起動する。特に、手動によるユーザ入力は、表示画像の対応する領域をグラフィカルにマーク付けすることにより行われ、又は座標系の入力により行われうる。
カメラインタフェース4を介して、監視カメラ2の画像が検出装置1に提供される。カメラインタフェースは、画像解析ユニット6及び評価モジュール7とデータリンクにより接続されている。評価モジュール7は、計算ユニット8と、マスキングユニット9と、表示ユニット11及び入力ユニット12を含むユーザインタフェース10と、を備える。
メモリユニット14は、計算ユニット8とデータリンクにより接続されている。計算ユニット8は、イベント特徴量及び警報特徴量に基づいて、エラーイベント領域を決定するよう構成される。このために、計算ユニット8は、例えば、格納された特徴量について監視領域3内で火災及び/又はイベントが発生していないという情報を利用する。格納された特徴量について監視領域3内で火災及び/又はイベントが発生していないというこの情報は、例えばユーザにより提供される。計算ユニット8は、監視領域3内の計算された及び/又は定められたエラーイベント領域についての情報を、マスキングユニット9に提供するよう構成される。
マスキングユニット9は、警報ユニット15とデータリンクにより接続されている。マスキングユニット9は、警報ユニット15内の警報特徴量を、以下のように変更するよう構成され、即ち、マスキングユニット9により新たに調整された警報特徴量について、対応するイベント特徴量を含むイベントであって、エラーイベント領域を設定し及び/又は計算することとなった上記イベントが、警報ユニットによってもはやイベント及び/又は火災と見做されないように、警報ユニット15内の警報特徴量を変更する。
計算ユニット8により決定されたエラーイベント領域5を、画像解析ユニット6によるイベント特徴量の上記決定から推定するために、マスキングユニット9も同様に、画像解析ユニット6とデータリンクにより接続されている。従って、画像解析ユニット6により生成されるデータ量が、大幅に削減されうる。
ユーザインタフェース10は、表示ユニット11及び入力ユニット12を備え、表示ユニット11と入力ユニット12とは纏められて、1つのタッチスクリーンモニタとなっている。表示ユニット11は、カメラインタフェース4とデータリンクにより接続され、監視カメラ2によりそれぞれ撮影された、監視領域3の画像をリアルタイムに表示して提示するよう構成される。さらに、ユーザインタフェース10は、計算ユニット8及びマスキングユニット9とデータリンクにより接続されており、従って、表示ユニット11で提示された監視領域3の画像で、エラーイベント領域を、各調整された警報調整量について提示し及び/又はマーク付けすることが可能である。表示ユニット11により表示される監視領域3の画像でのエラーイベント領域5の提示は、例えば、対応する領域に影を付けること又は色を付けることにより行われうる。
入力ユニット12によって、ユーザは、ユーザ入力により、監視領域3内に少なくとも1つの他のエラーイベント領域を定めることが可能である。このことは、例えば、監視領域3の画像の表示において、対応する領域を選択し及び/又は対応する領域にマーク付けすることにより行われる。このように追加されたマーキング領域は、計算ユニット8により決定されたマーキング領域と同様に、警報ユニット15及び画像解析ユニット6へと転送される。このことは、例えば、誤検出又は誤警報の新たな原因が特定の領域に現れたことがユーザに分かっている場合には有用でありうる。
キングユニット9、警報ユニット15、画像解析ユニット6の間にはさらに、マスキングメモリユニット16が配置されている。マスキングメモリユニット16は、検出装置1に組み込まれたメモリユニットとして構成され、又は、無線又は有線接続によりマスキングユニット9と接続された外部の記憶媒体として構成される。マスキングメモリユニット16は、計算ユニット8により計算され及び/又は定められたエラーイベント領域5、並びに、マキングユニット9により変更された警報特徴量及びイベント特徴量の上記決定から推定された領域を格納するよう構成される。
イベント特徴量決定工程100と並行して、位置決定工程200において、監視領域3がラスタライズされ、ラスタ位置13が定義され、このラスタ位置13とはイベント特徴量がそれについて決定される監視領域3内の位置のことである。この位置決定工程200において、ラスタ位置13で追加情報を決定するための追加データ決定工程300が並行して実行されうる。追加情報は、例えば、画像取得、画像評価、及び/又は決定されるイベントに関する更なる情報を含むデータを含む。この追加情報は、例えば、検出装置1及び/又は監視カメラの感度、監視領域3内のイベントの大きさ、又はタイムスタンプでありうる。

Claims (14)

  1. 監視領域(3)内のイベントを検出する検出装置(1)であって、
    少なくとも1つの画像を受け取るためのカメラインタフェース(4)であって、前記少なくとも1つの画像は前記監視領域(3)を示す、前記カメラインタフェース(4)と、
    画像解析ユニット(6)であって、前記画像解析ユニット(6)は、前記画像に基づいて、前記監視領域(3)内の少なくとも1つの任意の位置に対してイベント特徴量を決定するよう構成される、前記画像解析ユニット(6)と、
    警報特徴量を含む警報ユニット(15)であって、前記警報ユニット(15)は、前記警報特徴量と前記イベント特徴量との比較に基づいて警報を定めるよう構成される、前記警報ユニット(15)と、
    メモリユニット(14)であって、前記メモリユニット(14)は、前記監視領域(3)内の前記少なくとも1つの任意の位置に対して、前記イベント特徴量を格納するよう構成される、前記メモリユニット(14)と、
    を備える、前記検出装置(1)において、
    前記イベント特徴量及び前記警報特徴量に基づいて、少なくとも1つのエラーイベント領域(5)を計算し及び/又は定める計算ユニット(8)であって、前記エラーイベント領域(5)は、選択された警報特徴量において、前記イベントが存在しないにも関わらず前記イベントがそこで検出される前記監視領域(3)の領域である、前記計算ユニット(8)と、
    前記少なくとも1つのエラーイベント領域(5)内の前記警報特徴量を自動的に変更し及び/又は前記画像解析ユニット(6)による前記イベント特徴量の前記決定から前記エラーイベント領域(5)を推定するマスキングユニット(9)と、
    を備えることを特徴とする、検出装置(1)。
  2. 前記マスキングユニット(9)による前記警報特徴量の前記変更は、前記警報ユニット(15)がエラーイベント領域(5)を評価しないことであることを特徴とする、請求項1に記載の検出装置(1)。
  3. 前記イベント特徴量は、イベント及び/又はエラーイベントの大きさ、期間、及び/又は強度についての情報を含むことを特徴とする、請求項1又は2のいずれか1項に記載の検出装置(1)。
  4. 前記計算ユニット(8)は、前記警報特徴量の手動での変更後に、前記イベント特徴量に基づいて、前記少なくとも1つのエラーイベント領域(5)を新たに計算し及び/又は新たに定めるよう構成されることを特徴とする、請求項1〜3のいずれか1項に記載の検出装置(1)。
  5. 前記検出装置(1)は、ユーザインタフェース(10)を備え、前記ユーザインタフェース(10)は、前記警報ユニット(15)の前記警報特徴量を変更するための人間−機械インタフェースであることを特徴とする、請求項1〜4のいずれか1項に記載の検出装置(1)。
  6. 前記ユーザインタフェース(10)は、前記監視領域(3)を表示画像としてグラフィカルに表示するための表示ユニット(11)を備え、前記表示ユニット(11)は、最新に調整された各前記警報特徴量について計算され及び/又は定められた前記エラーイベント領域を、前記表示画像でグラフィカルに表示するよう構成されることを特徴とする、請求項1〜5のいずれか1項に記載の検出装置(1)。
  7. 前記ユーザインタフェース(10)は、ユーザ入力により手動で、前記監視領域(3)の少なくとも1つの領域を追加的なエラーイベント領域(5)として定めるよう構成されることを特徴とする、請求項1〜6のいずれか1項に記載の検出装置(1)。
  8. 前記メモリユニット(14)の前記ユーザインタフェース(10)を介して、格納時間が手動で調整可能であり、前記格納時間は、前記メモリユニット(14)により格納される前記イベント特徴量の期間に対応することを特徴とする、請求項1〜7のいずれか1項に記載の検出装置(1)。
  9. 前記検出装置(1)は、調整ユニットを備え、前記調整ユニットは、格納された前記監視領域(3)内の前記イベント特徴量に基づいてエラーイベントがイベントとして検出されないように、前記警報特徴量を調整するよう構成されることを特徴とする、請求項1〜8のいずれか1項に記載の検出装置(1)。
  10. 前記イベントは、前記監視領域(3)内の火災であることを特徴とする、請求項1〜9のいずれか1項に記載の検出装置(1)。
  11. 前記イベントは、前記監視領域(3)内の煙であることを特徴とする、請求項1〜9のいずれか1項に記載の検出装置(1)。
  12. 前記イベントは、前記監視領域(3)内の人間であることを特徴とする、請求項1〜9のいずれか1項に記載の検出装置(1)。
  13. 好適に請求項1〜12のいずれか1項に記載の検出装置(1)によって、イベントを検出する方法であって、前記監視領域(3)の画像が評価され、前記監視領域(3)内の任意の位置に対して、イベント特徴量が決定され、前記イベント特徴量と警報特徴量との比較に基づいて警報の出力が行われ、前記イベント特徴量が格納され、前記イベント特徴量に対して、前記監視領域(3)内の前記位置が格納され、前記イベント特徴量及び前記警報特徴量に基づいて、前記監視領域(3)のどこにエラーイベント領域(5)が存在するのかが計算され及び/又は定められ、前記エラーイベント領域(5)内では、前記警報特徴量が自動的に変更され、及び/又は、前記エラーイベント領域(5)が、イベント特徴量の更なる別の前記決定から推定される、方法。
  14. コンピュータプログラムが、コンピュータで及び/又は請求項1〜12の各任意の請求項に記載の検出装置(1)で実行される場合に、請求項13に記載の方法の全工程を実行するための、プログラムコード手段を含むコンピュータプログラム。
JP2018557914A 2016-05-04 2017-03-22 検出装置、イベントを検出する方法、及びコンピュータプログラム Pending JP2019519033A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016207712.0A DE102016207712A1 (de) 2016-05-04 2016-05-04 Detektionsvorrichtung, Verfahren zur Detektion eines Ereignisses und Computerprogramm
DE102016207712.0 2016-05-04
PCT/EP2017/056760 WO2017190882A1 (de) 2016-05-04 2017-03-22 Detektionsvorrichtung, verfahren zur detektion eines ereignisses und computerprogramm

Publications (1)

Publication Number Publication Date
JP2019519033A true JP2019519033A (ja) 2019-07-04

Family

ID=58410289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557914A Pending JP2019519033A (ja) 2016-05-04 2017-03-22 検出装置、イベントを検出する方法、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US10560667B2 (ja)
EP (1) EP3453001B1 (ja)
JP (1) JP2019519033A (ja)
CN (1) CN109074714B (ja)
DE (1) DE102016207712A1 (ja)
WO (1) WO2017190882A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020205709A1 (de) 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Detektionseinrichtung, Verfahren, Computerprogramm und Speichermedium
CN113536918B (zh) * 2021-06-10 2024-04-16 浙江华感科技有限公司 烟火检测方法、系统、电子装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012005043A (ja) * 2010-06-21 2012-01-05 Hitachi Kokusai Electric Inc 物体検出装置
JP2015130698A (ja) * 2015-03-13 2015-07-16 株式会社東芝 情報出力装置、検知装置、プログラム及び情報出力方法
JP2016033717A (ja) * 2014-07-31 2016-03-10 セコム株式会社 対象検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61274485A (ja) * 1985-05-29 1986-12-04 Matsushita Electric Works Ltd 画像伝送方式
US6281790B1 (en) * 1999-09-01 2001-08-28 Net Talon Security Systems, Inc. Method and apparatus for remotely monitoring a site
ATE340395T1 (de) * 2000-02-07 2006-10-15 Vsd Ltd Rauch- und flammendetektion
DE20022869U1 (de) 2000-09-08 2002-06-06 SIRENA Sicherheitssysteme, Projektierung und Beratungs GmbH, 07407 Rudolstadt Branderkennungsanlage zum Detektieren von sichtbaren und verdeckten Brandherden
EP1346330B1 (de) * 2000-12-28 2013-05-15 Siemens Aktiengesellschaft Video-rauchdetektionssystem
GB2428473A (en) * 2005-07-18 2007-01-31 Sony Uk Ltd Fire detection by processing video images
CA2588254C (en) * 2006-05-12 2014-07-15 Fossil Power Systems Inc. Flame detection device and method of detecting flame
KR20090086898A (ko) * 2006-09-25 2009-08-14 지멘스 슈바이츠 악티엔게젤샤프트 비디오 카메라를 사용한 연기 검출
DE102008001383A1 (de) * 2008-04-25 2009-10-29 Robert Bosch Gmbh Detektionsvorrichtung sowie Verfahren zur Detektion von Bränden und/oder von Brandmerkmalen
CN101458865B (zh) * 2008-05-09 2012-06-27 丁国锋 一种火灾探测系统及方法
CN101930541A (zh) * 2010-09-08 2010-12-29 大连古野软件有限公司 基于视频的火焰检测装置和方法
CN102254395A (zh) * 2011-06-07 2011-11-23 北京引创科技有限责任公司 基于智能视频分析的物品失窃检测与报警装置和方法
DE102012213125A1 (de) * 2012-07-26 2014-01-30 Robert Bosch Gmbh Brandüberwachungssystem
CN104036611B (zh) * 2014-06-24 2017-06-06 北京中恩时代科技有限责任公司 一种火灾探测报警的方法
DE102014219838B4 (de) 2014-09-30 2025-12-11 Robert Bosch Gmbh Rauchdetektionsvorrichtung sowie Verfahren zur Detektion von Rauch eines Brandes und Computerprogramm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012005043A (ja) * 2010-06-21 2012-01-05 Hitachi Kokusai Electric Inc 物体検出装置
JP2016033717A (ja) * 2014-07-31 2016-03-10 セコム株式会社 対象検出装置
JP2015130698A (ja) * 2015-03-13 2015-07-16 株式会社東芝 情報出力装置、検知装置、プログラム及び情報出力方法

Also Published As

Publication number Publication date
DE102016207712A1 (de) 2017-11-09
US10560667B2 (en) 2020-02-11
EP3453001A1 (de) 2019-03-13
CN109074714B (zh) 2021-04-23
WO2017190882A1 (de) 2017-11-09
EP3453001B1 (de) 2020-05-06
CN109074714A (zh) 2018-12-21
US20190149779A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
KR101251942B1 (ko) 산불감지시스템 및 그 제어방법
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
CN110910604B (zh) 用于火灾报警的监控方法、系统以及装置
US8538063B2 (en) System and method for ensuring the performance of a video-based fire detection system
JP2008243181A (ja) 煙感知装置及びその方法
JPH0337354B2 (ja)
KR20070029760A (ko) 감시 장치
JP7708148B2 (ja) プログラム、映像監視方法及び映像監視システム
JP5870470B2 (ja) 監視システム
CN113505709A (zh) 一种用于实时监测人体危险行为的方法以及系统
KR20070028813A (ko) 산불 감지 방법 및 시스템
EP2000952A2 (en) Smoke detecting method and device
KR101512658B1 (ko) 스테레오 카메라와 퍼지 로직을 이용한 화재 불꽃 감지 장치 및 방법
JP2019519033A (ja) 検出装置、イベントを検出する方法、及びコンピュータプログラム
JP2009239507A (ja) 監視システム
KR101524922B1 (ko) 비상 알림을 위한 장치, 방법 및, 기록 매체
JP6189284B2 (ja) 画像センシング装置
JP2016038686A (ja) 監視装置及びプログラム
JP6317116B2 (ja) 火災検知システム及び火災検知方法
US12430917B2 (en) Unattended object monitoring device, unattended object monitoring system equipped with same, and unattended object monitoring method
JP4220322B2 (ja) 侵入者監視方法及び装置
JP5586383B2 (ja) 画像監視装置
JP6700950B2 (ja) 監視システム
CN115631600B (zh) 一种基于视觉的火灾监控方法
JP7328778B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200327