JP2018073024A - 監視システム - Google Patents

Abstract

【課題】火災報知設備とサーバとの連携により監視領域に適合した火災時及び又は非火災時の入力情報により多層式のニューラルネットワークを効率良く学習させて火災の判定精度を向上可能な監視システムを提供する。【解決手段】監視カメラ２０により撮像された監視領域１８の画像を火災検出器１４の多層式ニューラルネットワークに入力して火災か非火災かを判定させ、火災が判定された場合は受信機１６から所定の警報を出力させる。火災検出器１４には学習情報収集部が設けられ、受信機１６から火災移報信号を受信して火災断定操作が行われれば、そのときの録画画像を記憶部から読み出して火災の学習情報としてサーバにアップロードし、サーバ側の多層式ニューラルネットワークに入力して学習させ、学習の済んだ多層式ニューラルネットワークを火災検出器１４にダウンロードし、監視カメラ２０から監視領域の画像を入力して火災か非火災かを推定させる。【選択図】図１

Description

本発明は、火災感知器や人感センサ等のセンサやカメラで撮像した画像等のデータからニューラルネットワークにより異常を判断して警報させる監視システムに関する。

従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。

一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。

また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。

このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。

特開２００８−０４６９１６号公報 特開平７−２４５７５７号公報 特開２０１０−２３８０２８号公報 特開平６−３２５２７０号公報

しかしながら、特定の物理量を監視するセンサを用いた防災、防犯に関するシステムは、火災でない事象により監視基準が満たされた場合でも火災とみなすことや、人感センサを回避することで侵入を見抜けないなど、正しく異常を判別できない問題があった。

また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。

また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。

一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。

また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。

このような多層式のニューラルネットワークを、火災感知器や人感センサに代表されるセンサから得られる物理量、検出結果や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判断する判定装置に設け、学習時においては多数の異常時及び非異常時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。

この場合、異常監視システムの製造段階で予め準備された多数の異常時及び非異常時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器や人感センサ等のセンサデータやカメラで撮像した画像を判定装置に入力して異常を監視することになる。

しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で異常を推定することができない可能性が残る。

また、現場環境に応じて通常時、異常時の状況は異なる。単一の現場環境で学習を行った場合、現場環境が変化することで異常の検出精度が低下してしまう恐れがある。現場環境の変化にも対応可能な異常検出器とするため、様々な現場環境で学習を行うことにより、異常の共通要素を検出する学習が必要とされている。

本発明は、異常監視設備とネットワークを介して設けられたサーバとの連携により、監視領域に適合した異常時及びまたは非異常時の入力情報により多層式のニューラルネットワークを効率良く学習させ、環境の変化にも対応可能であり、異常の判定精度を向上可能とする監視システムを提供することを目的とする。

（ディープラーニングによる異常検出）
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて、監視領域の異常を検出する異常監視システムに於いて、
ディープラーニングにより異常検出器を学習させる学習制御部を有することを特徴とする。

（入力情報）
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部を設け、
学習制御部は、記憶部に記憶されている入力情報を異常検出器の学習情報として学習させ、当該学習後に入力情報を異常検出器に入力することで異常を検出する。

（サーバによる学習データの収集と学習）
異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
サーバに、学習情報収集部からアップロードされた学習情報により異常検出器と同じ構成の多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを異常検出器にダウンロードさせて更新させる学習制御部が設けられたことを特徴とする。

（サーバによる学習データの収集と配信）
異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
サーバに、自異常検出器以外の異常検出器の学習情報収集部からアップロードされた学習情報を異常検出器にダウンロードさせて異常検出器の多層式ニューラルネットワークを学習させる学習制御部が設けられたことを特徴とする。

（類似環境での学習）
多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われることを特徴とする。

（学習情報）
学習情報収集部は、入力情報を記憶部に記憶し、入力情報により異常を監視している受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させる。

（火災監視）
学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させる。

（火災発報の所定時間前からの火災学習情報の生成）
学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を前記憶部から火災の学習情報として読出し、当該火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させる。

（火災予兆レベル超えからの火災学習情報の生成）
火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させており、
学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から火災の学習情報として読出し、当該火災の学習情報をサーバにアップロードして前記多層式ニューラルネットワークを学習させる。

（火災発報の所定時間前からの非火災学習情報の収集）
学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの入力情報を前記録画部から非火災の学習情報として読出し、当該非火災の学習情報を前記サーバにアップロードして多層式ニューラルネットワークを学習させる。

（火災予兆レベル超えからの非火災学習情報の収集）
火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、
学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から非火災の学習情報として読出し、当該非火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させる。

（監視領域の通常監視画像による初期化学習）
学習情報収集部は、通常監視状態で記憶部に記憶された入力情報を非火災の学習情報として読み出し、当該非火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させる。

（盗難監視）
学習情報収集部は、盗難検出器により検出された入力情報に記憶部に記憶し、盗難検出器の入力情報により盗難を監視している盗難受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させる。

（基本的な効果）
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて異常を検出する異常監視システムに於いて、ディープラーニングにより異常検出器を学習させる学習制御部を有するようにしたため、人為的な解析では異常か非異常かが判断できないセンサの出力や監視領域の画像から高い精度で異常を推定して警報可能とする。

（入力情報による効果）
また、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部を設け、学習制御部は、記憶部に記憶されている入力情報を異常検出器の学習情報として学習させ、当該学習後に入力情報を異常検出器に入力することで異常を検出するようにしたため、記憶部に記憶されたセンサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器の多層式のニューラルネットワークを効率良く学習させることができ、その後、入力情報を学習済みの異常検出器に入力することで、高い精度で異常を推定して警報可能とする。

（サーバによる学習データの収集と学習による効果）
また、異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、サーバに、学習情報収集部からアップロードされた学習情報により異常検出器と同じ構成の多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを異常検出器にダウンロードさせて更新させる学習制御部が設けられたため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報としてサーバ側にアップロードされることで多数の学習情報が自動的に収集され、収集された多数の学習情報によりサーバ側で多層式ニューラルネットワークの学習が行われ、学習の済んだ多層式ニューラルネットワークがサーバからダウンロードされて異常検出器の多層式ニューラルネットワークが更新されることで、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。

また、サーバ側で行われる多層式ニューラルネットワークの学習に必要な学習画像が自動的に収集され、効率良く多層式ニューラルネットワークを学習できる。

また、サーバ側でのディープラーニングにより異常検出器で使用する多層式ニューラルネットワークが学習されて更新されるため、人為的な解析では判断できないセンサの出力や監視領域の画像から高い精度で所定の異常を推定して警報可能とする。

また、個別の異常検出器それぞれで学習を行わず、単一のサーバで学習するため、学習に必要な計算量を削減することができる。また、学習に必要な計算能力を持つ機器をサーバのみにできるため、異常検出器側に高い計算能力を持つ機器を採用しないことを可能にする。

（サーバによる学習データの収集と配信による効果）
また、異常検出器に、入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、サーバに、自異常検出器以外の異常検出器の学習情報収集部からアップロードされた学習情報を異常検出器にダウンロードさせて異常検出器の多層式ニューラルネットワークを学習させる学習制御部が設けられたため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報としてサーバ側にアップロードされることで多数の学習情報が自動的に収集され、収集された多数の学習情報が各異常検出器で学習に用いられるため、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。

また、後述する類似環境毎に異常検出器の学習を行うような場合、環境の種類が増加したときにサーバ側で学習しようとすると計算量が膨大になるため、個別で学習を行うことで、サーバ側の負荷増大を防止することができる。

（類似環境での学習）
また、多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われるため、環境の特徴を考慮した異常検出器となるように学習可能となる。監視領域の環境に応じて、異常の種類や異常の拡大の仕方が異なり、例えば倉庫、事務所、店舗、工場に環境が分けられるとき、倉庫は侵入等、事務所は火事、店舗は窃盗、工場は事故等、環境に応じた異常の検出が必要となる。また、火災等について、環境によってどのような種類の火災が発生するかが異なる。環境の特徴を考慮した異常検出器とすることで、それぞれの環境で発生しやすい異常について検出精度の高い異常検出を行うことが可能となる。

（学習情報による効果）
また、学習情報収集部は、入力情報を記憶部に記憶し、入力情報により異常を監視している受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、記憶部に記憶されたセンサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器に使用する多層式ニューラルネットワークをサーバ側で効率良く学習させることができ、その後、入力情報を学習済みの異常検出器に入力することで、高い精度で異常を推定して警報可能とする。

（火災監視による効果）
また、学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、人為的な解析では火災か非火災かが判断できないセンサの出力や監視領域の画像から高い精度で火災を推定して警報可能とする。

（火災発報の所定時間前からの火災情報の生成による効果）
また、学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から火災の学習情報として読出し、当該火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、例えば、火災発報の５分前からの画像を録画装置から読み出して火災の学習情報としてサーバに収集して学習させる場合、録画画像が３０フレーム／秒で録画されていたとすると、５分の録画画像から９０００枚の画像が得られ、多数の火災の学習情報による学習が簡単に実現可能となり、学習済みの多層式ニューラルネットワークを火災報知設備側の火災検出器にダウンロードすることで、監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。

この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で火災を推定して警報可能とする。

（火災予兆レベル超えからの火災学習情報の生成による効果）
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させており、学習情報収集部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から火災の学習情報として読出し、当該火災の学習情報をサーバにアップロードして前記多層式ニューラルネットワークを学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの火災の学習情報を記憶部から読み出してサーバにアップロードして学習することから、火災の初期段階からの火災と判断されるまでの多数の火災による学習情報を収集して学習することができ、学習済みの多層式ニューラルネットワークを火災報知設備側の判定装置にダウンロードすることで、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。

（火災発報の所定時間前からの非火災学習情報の収集による効果）
また、学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの入力情報を前記録画部から非火災の学習情報として読出し、当該非火災の学習情報を前記サーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、例えば、火災発報の５分前からの画像を録画装置から読み出し、サーバにアップロードして非火災の学習画像として学習させる場合、録画画像が３０フレーム／秒で録画されていたとすると、５分の録画画像から９０００枚の画像が得られ、多数の非火災の学習画像を収集して学習することができ、学習済みの多層式ニューラルネットワークを火災報知設備側の判定装置にダウンロードすることで、監視カメラにより撮像している監視画像からより高い精度で非火災を認識して誤報を確実に防止可能とする。

この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で非火災を推定して誤報を確実に防止可能とする。

（火災予兆レベル超えからの監視画像による復旧時の非火災学習の収集の効果）
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から非火災の学習情報として読出し、当該非火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの監視領域の入力情報を記憶部から読出し、当該非火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの非火災の学習情報を記憶部から読み出してサーバにアップロードして学習することから、火災の初期段階からの非火災と判断されるまでの多数の非火災による学習情報を収集して学習することができ、学習済みの多層式ニューラルネットワークを火災報知設備側の判定装置にダウンロードすることで、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を確実に防止可能とする。

（監視領域の通常監視画像による初期化学習の効果）
また、学習情報収集部は、通常監視状態で記憶部に記憶された入力情報を非火災の学習情報として読み出し、当該非火災の学習情報をサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、通常監視状態での監視領域の入力情報に対する非火災の推定精度が向上し、その後に、受信機の火災監視に連動した火災の入力情報又は非火災の入力情報による学習が行われ、多層式ニューラルネットワークの火災及び非火災に対する推定の精度が更に向上される。

（盗難監視による効果）
また、学習情報収集部は、盗難検出器により検出された入力情報に記憶部に記憶し、盗難検出器の入力情報により盗難を監視している盗難受信機による監視結果に基づき、記憶部の記憶されている入力情報を学習情報として読出してサーバにアップロードして多層式ニューラルネットワークを学習させるようにしたため、人為的な解析では盗難か否かが判断できないセンサの出力や監視領域の画像から高い精度で盗難を推定して警報可能とする。

サーバにより学習された火災検出器を配置して監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した画像から火災を認識する多層式ニューラルネットワークを用いた火災検出器の機能構成を示した説明図 図２に示した多層式ニューラルネットワークの機能構成を示した説明図 図１の学習画像収集部による受信機の火災監視に連動して学習画像を収集してサーバにアップロードする学習画像収集制御を示したフローチャート アナログ火災感知器により検出された検出アナログ値の時間変化を示した説明図 サーバにより学習された火災検出器を配置してセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図 図６の時系列データ生成部に記憶されるアナログ火災感知器で検出される煙濃度の時間変化を示したタイムチャート

［火災監視システムの概要］
図１はサーバにより学習された判定装置を配置して監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。

図１に示すように、ビル等の複数の監視対象施設には、火災報知設備１０が設置されており、複数の火災報知設備１０はインターネット１１を介してサーバ１２に接続されている。

（火災報知設備の概要）
火災報知設備１０は、その一つを代表して示すように、ビル等の施設の監視領域１８には撮像手段として機能する監視カメラ２０が設置され、監視領域１８を監視カメラ２０により動画撮像している。監視カメラ２０はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

また、警戒区域１８にはオンオフ型の火災感知器２２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。

監視領域１８に対し施設の防災監視センターや管理人室等には、火災検出器１４と受信機１６が設置されている。なお、火災検出器１４と受信機１６は一体としても良い。火災検出器１４には監視領域１８に設置された監視カメラ２０が信号ケーブル２４により接続されており、監視カメラ２０で撮像された動画画像を入力している。監視カメラ２０からの動画は火災検出器１４に設けられた録画装置により継続的に録画されている。

火災検出器１４は多層式ニューラルネットワークを備え、監視カメラ２０から送られてきた動画画像をフレーム単位に入力し、火災が判定された場合は火災判定信号を受信機１６に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。受信機１６からは監視領域１８に感知器回線２６が引き出され、感知器回線２６単位に火災感知器２２が接続されている。受信機１６は火災感知器２２の発報による火災発報信号を受信すると火災警報を出力し、また火災検出器１４に火災移報信号を出力する。

受信機１６から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器２２の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機１６で火災断定操作を行う。受信機１６で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器１４に出力される。

また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機１６で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機１６で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機１６から火災検出器１４に復旧移報信号が出力される。

火災検出器１４は受信機１６から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、録画装置に録画されている火災警報の出力に至るまでの監視領域１８を監視カメラ２０で撮像した動画を録画装置から読み出し、これを火災の学習画像又は非火災の学習画像としてサーバ１２にアップロードさせ、サーバ１２側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ１２からダウンロードして火災検出器１４に設けられた多層式ニューラルネットワークを更新させている。

（サーバの機能構成）
図１に示すように、サーバ１２は、サーバ制御部２８、通信部３０、表示部３２、操作部３４、記憶装置３６を備える。サーバ制御部２８は例えばプログラムの実行により実現される機能であり、ハードウェアとしてはＣＰＵ、メモリ、ＡＤ変換ポートを含む各種の入出力ポート等を備えたコンピュータ回路等を使用する。

通信部３０はＴＣＰ／ＩＰプロトコルによりサーバ制御部２８と火災報知設備１０側との間でインターネットを経由して各種の情報や信号の送受信を行う。

表示部３２は液晶ディスプレイ等であり、また、操作部３４はキーボード、マウス、液晶ディスプレイに設けられたタッチパネル等を含む。記憶装置３６はメモリやハードディスク等で構成される。

サーバ制御部２８にはプログラムの実行により実現される機能として学習制御部３８が設けられている。また、記憶装置３６には、学習制御部３８の学習対象となる多層式ニューラルネットワークを備えた火災検出器１４ａの機能が記憶されている。記憶装置３６に記憶された火災検出器１４ａの多層式ニューラルネットワークは、火災報知設備１０の火災検出器１４に設けられている多層式ニューラルネットワークと同じ構成となっており、この多層式ニューラルネットワークを学習して火災報知設備１０にダウンロードさせて火災検出器１４の多層式ニューラルネットワークとして動作させている。

また、記憶装置３６には火災検出器１４ａの多層式ニューラルネットワークの学習に使用される学習画像が記憶された学習画像蓄積部４０が設けられ、複数の火災報知設備１０の火災検出器１４からアップロードされた学習画像が記憶されている。

サーバ制御部２８は、火災報知設備１０の火災検出器１４に設けられた学習画像収集機能によりアップロードされた学習画像を記憶装置３６の学習画像蓄積部４０に記憶させる制御を行っている。

また、サーバ制御部２８は、所定の操作、所定の周期の経過、又は、火災報知設備１０側から学習画像がアップロードされた場合等の適宜のタイミングに、学習画像記憶部３６に記憶されている学習画像を読み出し、火災報知設備１０の火災検出器１４と同じ構成の多層式ニューラルネットワークをもつ火災検出器１４ａをメモリ上に展開し、この多層式ニューラルネットワークに教師ありの画像として、多数の火災の学習画像及び多数の非火災の学習画像を入力して例えばバックプロパゲーション等の学習法により繰り返し学習させて重みとバイアスを変更させ、学習済みの多層式ニューラルネットワークをインターネット１１を介して全ての火災報知設備１０の火災検出器１４にダウンロードし、火災検出器１４に設けられている多層式ニューラルネットワークを更新させる制御を行う。

［判定装置］
（判定装置の機能構成）
図２は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。

図２に示すように、火災検出器１４は、判定制御部４２、受信バッファ４４、火災認識部として機能する多層式ニューラルネットワーク４６、記憶部として機能する録画装置４８、学習情報収集部５０、送信バッファ５２及び通信部５４を備える。ここで、判定制御部４２、多層式ニューラルネットワーク４６、学習情報収集部５０の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

録画装置４８は監視カメラ２０により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。

（学習情報収集部）
学習情報収集部５０は、受信機１６により火災感知器２２の火災発報に基づく火災移報信号Ｅ１が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機１６の災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、例えば５分前となる所定時間前から火災移報信号Ｅ１が入力されるまでの監視領域の画像を録画装置４８から読出して送信バッファ５２に格納し、通信部５４に指示して送信バッファ５２に格納された画像を、火災の学習画像として読出してインターネット１１を介してサーバ１２にアップロードさせる制御を行う。

ここで、録画画像が録画装置４８に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚といった多数の火災の学習画像が得られる。また、５分間の動画から火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、５分間の動画から３００枚といった多数の火災の学習画像が得られる。

また、学習情報収集部５０は、受信機１６により火災感知器１６の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機１６で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、この場合に、例えば５分前といった所定時間前から火災移報信号Ｅ１が入力するまでの監視領域の画像を録画装置４８から読出して送信バッファ５２に格納し、通信部５４に指示して送信バッファ５２に格納された画像を、非火災の学習画像として読出してインターネット１１を介してサーバ１２にアップロードさせる制御を行う。

この場合にも、録画画像が録画装置４８に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚といった多数の非火災の学習画像が得られる。また、５分間の動画から非火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、５分間の動画から３００枚といった多数の非火災の学習画像が得られる。

（判定制御部）
判定制御部４２は、通信部５４を介してサーバ１２から学習済みの多層式ニューラルネットワークが受信バッファ４４にダウンロードされた場合、多層式ニューラルネットワーク４６を受信バッファ４４にダウンロードされた学習済みの多層式ニューラルネットワークに更新する制御を行う。

また、判定制御部４２は、監視カメラ２０により撮像された監視領域の画像を多層式ニューラルネットワーク４６に入力して火災か非火災かを推定しており、火災の推定結果が得られると火災判定信号を受信機１６に出力し、例えば、火災の予兆を示す火災予兆警報を出力させる制御を行う。

なお、火災検出器１４にモニタ装置を設け、火災を判定した場合に監視カメラ２０により撮像している火災が判定された監視領域の画像を画面表示し、火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、火災検出器１４の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災報知設備の受信機１６に発信機を操作した場合と同様に、火災通報信号を出力し、受信機１６から火災警報を出力させるようにしても良い。

［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。なお、図１のサーバ１２側に配置された火災検出器１４ａに設けられたニューラルネットワークも同じ機能構成となる。

図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク４６は、特徴抽出部５６と認識部５８で構成される。特徴抽出部５６は畳み込みニューラルネットワークであり、認識部５８は全結合ニューラルネットワークである。

多層式ニューラルネットワーク４６は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。

通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク４６では、特徴抽出部５６として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部５８の全結合ニューラルネットワークに入力して火災か非火災かを推定する。

認識部５８の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層６８、結合層７０、中間層７２と結合層７０の繰り返し、及び出力層７４で構成されている。

（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部５６を構成する畳み込みニューラルネットワークの構造を模式的に示している。

畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、入力画像６０に対し重みフィルタ６２により畳み込み処理を行う。例えば、重みフィルタ６２は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６０の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６０の９画素を小区域となる特徴マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。

続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

続いて、重みフィルタ６６ａ，６６ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部５８に入力し、通常の全結合ニューラルネットワークを用いた認識部５８により火災か非火災かを推定する。

なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。

［多層式ニューラルネットワークの学習］
図１に示したサーバ１２のサーバ制御部２８に設けられた学習制御部３８は、所定のタイミングで記憶装置３６の学習画像蓄積部４０から火災の学習画像と非火災の学習画像を多数読出し、火災検出器１４ａに設けられた図３に示したと同じ機能構成の多層式ニューラルネットワーク４６の学習をバックプロパゲーションにより繰り返し行い、その重みとバイアスを変更させる学習制御を行う。

（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝搬するフォワードプロパゲーションが行われる。

このようなニューラルネットワークのウエイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。

教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。

バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方までウエイトとバイアスを補正しながら値を伝播させる。各ウエイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウエイトとバイアスの値を変更することにより、誤差関数の値を最小化する。

ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） ウエイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。

この手順は、ニューラルネットワークのウエイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。

（サーバにおける火災画像による学習）
図１に示したサーバ１２の学習制御部３８は、所定のタイミングで学習画像蓄積部４０に蓄積されてる火災報知設備１０から収集された火災の学習画像を図３に示したと同じ多層式ニューラルネットワーク４６に入力して推定値ｙ＊を求め、火災の期待値ｙ＝１との誤差関数の値を最小とするようにバックプロパゲーションを、火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。

また、学習制御部３８は、火災の学習画像による学習に続いて、学習画像蓄積部４０に蓄積されている火災報知設備１０から収集された非火災の学習画像を図３に示したと同じ多層式ニューラルネットワーク４６に入力して推定値ｙ＊を求め、非火災の期待値ｙ＝０との誤差関数の値を最小とするようにバックプロパゲーションを、非火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。

このようにサーバ１２で学習の済んだ火災検出器１４ａの多層式ニューラルネットワークは、インターネット１１を介して火災報知設備１０の火災検出器１４にダウンロードされ、図２に示した火災検出器１４の多層式ニューラルネットワーク４６を更新することで、サーバ１２による学習の済んだ多層式ニューラルネットワーク４６により監視カメラ２０により撮像した監視領域の画像を入力して、火災か非火災かを高精度で判定可能とする。

［学習画像の収集制御動作］
図４は図２の学習情報収集部による受信機の火災監視に連動して学習画像を収集してサーバにアップロードする学習画像収集制御を示したフローチャートである。

図４に示すように、学習情報収集部５０はステップＳ１で監視領域に設置された監視カメラ２０からの動画を録画装置４８に録画させており、ステップＳ１で受信機１６からの火災移報信号の入力を判別するとステップＳ３に進み、所定時間前からの録画画像を録画装置４８から読み出して送信バッファ５２に保持させる。

続いてステップＳ４に進み、学習情報収集部５０は受信機１６からの火災断定移報信号の入力を判別するとステップＳ５に進み、その後、受信機１６からの復旧移報信号の入力を判別するとステップＳ６に進み、送信バッファ５２に保持している所定時間分の録画画像を読み出し、火災の学習画像としてインターネット１１を介してサーバ１２にアップロードする。

一方、学習情報収集部５０は、ステップＳ４で火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力を判別した場合は、ステップＳ８に進み、送信バッファ５２に保持している所定時間分の録画画像を読み出し、非火災の学習画像としてインターネット１１を介してサーバ１２にアップロードする。

［火災予兆レベル超えからの監視画像による学習画像の収集］
（火災画像学習の収集）
図２に示した判定装置の学習情報収集部５０による他の学習制御の実施形態として、警戒区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を受信機１３に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置４８から読み出して送信バッファ５２に格納し、火災の学習画像としてインターネット１１を介してサーバ１２にアップロードする。

火災予兆レベルは、図５に示すように、時刻ｔ０で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災判断レベルＴＨ２より低い火災予兆レベルＴＨ１に時刻ｔ１で達したときから火災レベルＴＨ２に時刻ｔ２に達するまでの時間Ｔの間に録画された画像を火災の学習画像として送信バッファ５２に格納し、火災の学習画像としてインターネット１１を介してサーバ１２にアップロードすることになる。

このＴ時間の間に録画された画像は、全て火災による画像であり、非火災の画像は含まれていないことから、火災の学習画像としてインターネット１１を介してサーバ１２にアップロードし、火災検出器１４ａの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせ、入力画像から火災を識別する精度を確実に高めることができる。

具体的に説明すると、図２に示した火災検出器１４の学習情報収集部５０は、受信機１６からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機１６の災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置４８から読出して送信バッファ５２に格納し、火災の学習画像としてインターネット１１を介してサーバ１２にアップロードし、火災検出器１４ａの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。

（非火災画像学習の収集）
また、学習情報収集部５０は、受信機１６からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等のよる現場確認で非火災であった場合には、受信機１６で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置４８から読出して送信バッファ５２に格納し、非火災の学習画像としてインターネット１１を介してサーバ１２にアップロードし、火災検出器１４ａの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。

［センサにより火災を監視する火災監視システム］
（火災監視システムの概要）
図６はサーバにより学習された火災検出器を配置してセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。

図６に示すように、ビル等の複数の監視対象施設には、火災報知設備１０が設置されており、複数の火災報知設備１０はインターネット１１を介してサーバ１２に接続されている。

火災報知設備１０の監視領域１８にはセンサとして機能するアナログ火災感知器８０が設置され、受信機１６から引き出された伝送路８２に接続され、シリアルデータ伝送を可能としている。

アナログ火災感知器８０は検煙部により煙濃度を検出して煙濃度検出信号を出力し、受信機１６からの一括ＡＤ変換コマンドの送信により周期的にＡ／Ｄ変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した受信機１６からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を受信機１６に送信して火災警報を出力させている。なお、アナログ火災感知器８０は、煙濃度以外に、温度やＣＯ濃度等を検出するものであっても良い。

火災検出器１４は多層式ニューラルネットワークを備え、アナログ火災感知器８０で検出された煙濃度データを、受信機１６を介して入力して記憶部にセンサからの入力情報として記憶している。

受信機１６はアナログ火災感知器８０の火災割込信号を受信すると火災警報を出力し、また火災検出器１４に火災移報信号を出力する。受信機１６から火災警報が出力されると、管理責任者又は防災担当者は、発報したアナログ火災感知器８０の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機１６で火災断定操作を行う。受信機１６で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器１４に出力される。

また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機１６で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機１６で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機１６から火災検出器１４に復旧移報信号が出力される。

火災検出器１４は受信機１６から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、記憶部に記憶されている火災警報の出力に至るまでの監視領域１８のアナログ火災感知器８０により検出された煙濃度データから時系列データを生成し、これを学習情報としてインターネット１１を介してサーバ１２にアップロードさせ、サーバ１２側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ１２からダウンロードして火災検出器１４に設けられた多層式ニューラルネットワークを更新させている。

（火災検出器）
火災検出器１４は図２と同じ機能構成であるが、多層式ニューラルネットワーク４６は、図３（Ａ）に示す認識部５８を構成する全結合ニューラルネットワークのみとし、特徴抽出部５６となる畳み込みニューラルネットワークは除いている。

学習情報収集部５０は、受信機１６を介してアナログ火災感知器８０で検出された煙濃度データを記憶部に記憶している。学習情報収集部５０の記憶部に記憶される煙濃度データは、例えば、図７に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。

図７の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻ｔ０で煙濃度の上昇が始まり、時刻ｔ１で所定のプリアラームレベルＴＨ１に達し、その後、時刻ｔ２で火災レベルＴＨ２に達して火災警報が出力され、火災断定操作が行われた場合を示している。

学習情報収集部５０は、受信機１６からの火災移報信号Ｅ１、火災断定移報信号Ｅ２及び復旧移報信号Ｅ３に基づき、受信機１６で火災警報が出力された場合に、記憶部に記憶されている図７に示した煙濃度のセンサデータに基づき、時系列データを生成して送信バッファ５２に格納し、通信部５４に指示して送信バッファ５２に格納された時系列データを、火災の学習情報として読出してインターネット１１を介してサーバ１２にアップロードさせ、サーバ１２側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ１２からダウンロードして火災検出器１４に設けられた多層式ニューラルネットワーク４６を更新させる。

学習情報収集部５０による時系列データの生成は、例えば図７の時刻ｔ０から時刻ｔ１でプリアラームレベルＴＨ１に達するまでの所定単位時間Δｔごとの煙濃度データをＳ１〜Ｓ１８とすると、所定の単位時間Δｔずつシフトしながら所定時間分の周期Ｔ１，Ｔ２，・・・・Ｔ９毎の時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）を生成し、記憶部に記憶させる。

また、サーバ１２にアップロードされた時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）による多層式ニューラルネットワークの学習は、例えば時系列データ（Ｓ１〜Ｓ１０）による学習を例にとると、濃度値Ｓ１〜Ｓ１０を多層式ニューラルネットワークの入力層に並列入力して行う。以下同様に残りの時系列データ（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）についても、入力層に順次並列入力することで学習を行う。

また、学習情報収集部５０は、受信機１６によりアナログ火災感知器８０の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機１６で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、図７に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、インターネット１１を介してサーバ１２にアップロードさせ、サーバ１２側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ１２からダウンロードして火災検出器１４に設けられた多層式ニューラルネットワーク４６を更新させる。

火災検出器１４の多層式ニューラルネットワーク４６の更新が済んだ後は、所定の単位時間Δｔ毎に、センサデータ生成部により所定時間分の時系列データを生成し、時系列データ入力部を介して多層式ニューラルネットワーク４６に入力して火災を監視することになる。

〔本発明の変形例〕
（火災報知設備毎にカスタマイズされた学習）
上記の実施形態におけるサーバに複数の火災報知設備から収集された学習画像による多層式ニューラルネットワークの学習は、収集された学習画像を火災報知設備毎に分類して蓄積するか、又は、警戒区域が類似している複数の火災報知設備にグループ化して蓄積し、分類された火災報知設備又は火災報知設備グループに対応して多層式ニューラルネットワークをサーバ側に準備し、それぞれに対応する学習画像を使用して学習し、学習済みの多層式ニューラルネットワークを対応する火災報知設備の判定装置にダウンロードするようにしても良い。

（サーバによる学習データの収集と配信）
上記の実施形態は、サーバで学習を行う構成としているが、サーバは入力情報を格納するものであり、各異常検出器がサーバ内に格納された入力情報をダウンロードして学習するようにしても良い。

（類似環境での学習）
サーバでの学習、異常検出器での学習いずれの場合においても、監視対象の環境が類似している異常検出器の入力情報を用いて多層式ニューラルネットワークの学習を行うようにしても良い。監視対象の環境は、サーバに保存され、どの異常検出器の入力情報がどの異常検出器の学習情報に用いられるか管理される。監視対象の環境は、ユーザによって登録されるものでも良いが、異常検出器の初期化学習によって環境を特定し、特定した環境に応じてカテゴライズされることが、登録の手間を防ぐ点で有利である。

また、類似環境で発生した異常の事例から、監視領域のうち、異常発生の要因となるものを報知できるようにしても良い。例えば、通常状態において監視カメラの映像を警備員室のモニタで表示しているような場合、類似環境で火災が発生した場合、当該火災の発生源となったものを強調表示する。これにより、真に火災が発生したとき、火災の原因推定を容易にすることが可能となり、またあらかじめ火災が拡大しないような手段を講じることができるようになる。

（盗難監視）
上記の実施形態は、火災監視を例にとっているが、盗難監視にも適用できる。盗難監視の場合には、図１の監視カメラを用いた監視システムについては、受信機１６を盗難受信機とし、火災感知器２２を盗難検出器とすれば良い。また、図６の監視システムでは、受信機１６を盗難受信機とし、アナログ火災感知器８０を盗難検出器とすれば良い。

（不法行為の監視）
また、不法行為の事前検出にも適用できる。盗難、放火等の不法行為を行おうとする人物の動き、例えば周りを頻繁に見渡すなどの動きを学習し、不法行為を行うより先に異常検出し、警報を出力する。警報出力の方法としては、例えば監視カメラを監視する警備室のモニタ等に監視カメラの画像を表示し、当該人物を赤枠などで囲う様に表示すればよい。

不法行為に伴う動きについては、当該現場特有ではなく、類似環境毎、あるいは世界的に共通の動きであることから、サーバに格納される複数の環境の入力情報を元に学習を行う本願において、効果的に学習することができる。また、不法行為に伴う動作について明らかになっていない共通動作を発見できる効果も期待できる。

（入退室システムとの連携）
また、入退室システムとの連携により、異常な侵入等の監視についても適用できる。入退室システムは、例えばカードや指紋等で対象人物が特定の領域へ入退室可能か判定している。しかし、入退室システムでは、入室可能な人物と一緒に入室不可能なはずの人間が入室するという共連れ等の問題が発生している。上記の共連れのような不法行為について、カメラ画像と入退室システムの情報を入力として異常を学習、検出することにも適用できる。本願は、サーバで学習した異常検出器をダウンロードさせて現場の異常検出器に利用できるため、別の場所で新しく発生した不法行為についても学習し、対応可能となる。

（学習済み多層式ニューラルネットワークのダウンロードによる更新）
上記の実施形態における学習済みの多層式ニューラルネットワークのダウンロードによる更新は、学習済みの多層式ニューラルネットワークのアプリケーションプログラムをダウンロードするものであるが、学習により変更されるのはネットワークの重みとバイアスであることから、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新するようにしても良い。

また、学習前の旧プログラムと学習済みの新プログラムとの差分をとってダウンロードし、差分により旧プログラムを更新することで、実質的に、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新することができる。

（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。

（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像し、受信機の火災監視に連動して赤外線画像の学習画像を収集してサーバにアップロードし、サーバで赤外線学習画像を使用して多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを火災報知設備側にダウロードして、赤外線画像から火災か非火災かを判定するようにしても良い。

このように監視領域の赤外線画像を収集して学習された多層式ニューラルネットワークを使用することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。

（放火監視）
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式ニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。

（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。

（画像とセンサの複合）
上記の実施形態は、画像による異常監視とセンサによる異常監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、１ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、異常検出を判定する次段以降の中間層の項に対して影響を与えるようになることが教育結果として望ましいが、異常の監視を有効にできるならこれに限らない。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０：火災報知設備
１１：インターネット
１２：サーバ
１４，１４ａ：判定装置
１６：受信機
１８：監視領域
２０：監視カメラ
２２：火災感知器
２４：信号ケーブル
２６：感知器回線
２８：サーバ制御部
３０，５４：通信部
３２：表示部
３４：操作部
３６：記憶装置
４０：学習画像蓄積部
４２：判定制御部
４４：受信バッファ
４６：多層式ニューラルネットワーク
４８：録画装置
５０：学習情報収集部
５２：送信バッファ
５６：特徴抽出部
５８：認識部
６０：入力画像
６２，６６ａ，６６ｂ：重みフィルタ
６４ａ〜６４ｃ：特徴マップ
６８：入力層
７０：結合層
７２：中間層
７４：出力層
８０：アナログ火災感知器
８２：伝送路

Claims (13)

1. 多層式ニューラルネットワークによって構成される異常検出器を用いて、入力情報に基づき監視領域の異常を検出する異常監視システムに於いて、
   ディープラーニングにより前記異常検出器を学習させる学習制御部を有することを特徴とする監視システム。
   
2. 請求項１記載の監視システムに於いて、
   センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を前記入力情報として記憶する記憶部を設け、
   前記学習制御部は、前記記憶部に記憶されている入力情報を前記異常検出器の学習情報として学習させ、当該学習後に前記入力情報を前記異常検出器に入力することで異常を検出することを特徴とする監視システム。
   
3. 請求項１記載の監視システムに於いて、
   前記異常検出器に、前記入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
   前記サーバに、前記学習情報収集部からアップロードされた前記学習情報により前記異常検出器と同じ構成の多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを前記異常検出器にダウンロードさせて更新させる学習制御部が設けられたことを特徴とする監視システム。
   
4. 請求項１記載の監視システムに於いて、
   前記異常検出器に、前記入力情報を学習情報として収集してサーバにアップロードする学習情報収集部が設けられ、
   前記サーバに、自異常検出器以外の異常検出器の前記学習情報収集部からアップロードされた前記学習情報を、前記異常検出器にダウンロードさせて前記異常検出器の多層式ニューラルネットワークを学習させる学習制御部が設けられたことを特徴とする監視システム。
   
5. 請求項３または請求項４記載の監視システムに於いて、
   前記多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報毎に行われることを特徴とする監視システム。
   
6. 請求項３または請求項４記載の監視システムに於いて、
   前記学習情報収集部は、前記入力情報を記憶部に記憶し、前記入力情報により異常を監視している受信機による監視結果に基づき、前記記憶部の記憶されている入力情報を学習情報として読出して前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする警報システム。
   
7. 請求項３または請求項４記載の監視システムに於いて、
   前記学習情報収集部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、前記記憶部の記憶されている前記入力情報を学習情報として読出して前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする警報システム。
   
8. 請求項３または請求項４記載の監視システムに於いて、
   前記学習情報収集部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を前記憶部から火災の学習情報として読出し、当該火災の学習情報を前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする監視システム。
   
9. 請求項３または請求項４記載の監視システムに於いて、
   前記火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、
   前記学習情報収集部は、前記受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を前記記憶部から火災の学習情報として読出し、当該火災の学習情報を前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする監視システム。
   
10. 請求項６記載の監視システムに於いて、
    前記学習制御部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を前記録画部から非火災の学習情報として読出し、当該非火災の学習情報を前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする監視システム。
    
11. 請求項６記載の監視システムに於いて、
    前記火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、
    前記学習制御部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を前記記憶部から非火災の学習情報として読出し、当該非火災の学習情報を前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする監視システム。
    
12. 請求項６記載の監視システムに於いて、
    前記学習情報収集部は、通常監視状態で前記記憶部に記憶された前記入力情報を非火災の学習情報として読み出し、当該非火災の学習情報を前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする監視システム。
    
13. 請求項６載の監視システムに於いて、
    前記学習情報収集部は、盗難検出器により盗難を監視している盗難受信機による監視結果に基づき、前記記憶部の記憶されている前記入力情報を学習情報として読出して前記サーバにアップロードして前記多層式ニューラルネットワークを学習させることを特徴とする警報システム。

Images