JP2010064821A - エスカレータ監視システム - Google Patents

Abstract

【課題】カメラを用いて監視により、エスカレータを利用する乗客を正確に検知でき、その乗客の危険な挙動に対しては警告を発することで事故を未然に防ぐ。
【解決手段】エスカレータ１１の全体を監視可能な場所に少なくとも２台のカメラ２２ａ，２２ｂを設置して、そのカメラ２２ａ，２２ｂにて撮影された各画像を画像処理装置２４に転送する。画像処理装置２４では、上記各画像から３次元の情報を取得し、その３次元情報を解析して、エスカレータ１１を利用する乗客１０の位置を撮影範囲の奥行き方向を含めて検知すると共に、エスカレータ１１の運行情報に基づいて、その乗客１０の挙動を検知する。
【選択図】 図１

Description

本発明は、カメラを用いてエスカレータを利用する乗客を監視するエスカレータ監視システムに関する。

ビルや駅構内などに設置されているエスカレータ（マンコンベアとも呼ばれる）は、通常、監視員のいない場所で自動運転されることが多い。このため、乗客が手摺りから外側に身を乗り出すなどして危険な状態にあっても見過ごしてしまう可能性がある。また、乗客が転倒した場合などでも、その連絡が監視員に入るまでに時間がかかり、対応に遅れが生じるといった問題がある。

従来、このような問題を解決するために、エスカレータの近くにカメラを設置しておき、そのカメラにて撮影される画像を用いて乗客の乗り出しや逆進などの挙動を検知するエスカレータ監視システムが提案されている（例えば、特許文献１，２参照）。

この種のエスカレータ監視システムでは、一般的に１台のカメラを用いた単眼画像処理による人物検知が基本となっている。すなわち、１台のカメラにて撮影された２次元の画像を解析処理して、エスカレータを利用する乗客を検知するといったものである。
特開２０００−３４０８８号公報 特開平５−３１９７６２号公報

エスカレータは、エレベータなどと違って奥行きが非常に長い乗り物であるため、カメラを用いた監視に当たっては、その奥行きの情報が必要となる。しかしながら、従来のエスカレータ監視システムでは、上述したように１台のカメラを用いて監視しているため、そのカメラにて撮影された２次元の画像からは奥行きに関する詳細な情報を得ることは難しく、乗客の検知精度が非常に低いといった問題がある。

すなわち、２次元の画像上では、エスカレータと乗客を平面でしか捕らえることができないため、例えばエスカレータの手摺りの近くに乗客がいた場合、カメラの撮影角度によっては、乗客が手摺りの外側に乗り出しているのか、手摺りの内側で正しく乗っているのかを正しく判別できないことがある。

また、乗客が転倒などした場合にも、エスカレータの奥行き方向にその場所を正確に特定できないために、対応に遅れが生じるといった問題がある。

さらに、混雑時に乗客と乗客が重なった状態（これをオクルージョンと呼ぶ）で撮影されていると、その撮影画像から個々の乗客を正確に検知することは難しく、事故があっても見過ごしてしまう可能性がある。

本発明は上記のような点に鑑みなされたもので、カメラを用いて監視により、エスカレータを利用する乗客を正確に検知でき、その乗客の危険な挙動に対しては警告を発することで事故を未然に防ぐことのできるエスカレータ監視システムを提供することを目的とする。

本発明に係るエスカレータ監視システムは、エスカレータ全体を監視可能な場所に設置された少なくとも２台のカメラと、この２台のカメラにて撮影された各画像から３次元の情報を取得する３次元情報取得手段と、この３次元情報取得手段によって得られた３次元情報を解析して、上記エスカレータを利用する乗客の位置を撮影範囲の奥行き方向を含めて検知する乗客検知手段とを具備したことを特徴とする。

また、本発明に係るエスカレータ監視システムは、上記エスカレータの運行情報に基づいて、上記乗客検知手段によって検知された乗客の挙動を検知する挙動検知手段をさらに具備したことを特徴とする。

上記挙動検知手段は、「乗り出し検知」を行うものである。すなわち、上記エスカレータの運行情報は、予め設定された乗出し危険領域に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記乗出し危険領域内で上記エスカレータに設けられた手摺りから外側に所定量以上乗り出している状態を検知することを特徴とする。

上記挙動検知手段は、「追い越し検知」を行うものである。すなわち、上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に所定速度以上で移動しながら前方の乗客を追い越している状態を検知することを特徴とする。

上記挙動検知手段は、「すり抜け検知」を行うものである。すなわち、上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に所定速度以上で移動しながら前方の乗客と乗客との間をすり抜けている状態を検知することを特徴とする。

上記挙動検知手段は、「転倒検知」を行うものである。すなわち、上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に移動しているときの頭部高さの時間変動から転倒した状態を検知することを特徴とする。

上記挙動検知手段は、「滞留検知」を行うものである。すなわち、上記エスカレータの運行情報は、予め設定された滞留危険領域に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータの滞留危険領域内で所定時間以上滞留している状態を検知することを特徴とする。

上記挙動検知手段は、「滞留検知（滞留人数を含む）」を行うものである。すなわち、上記挙動検知手段は、上記エスカレータの滞留危険領域内で所定時間以上滞留している乗客の人数を検知することを特徴とする。

上記挙動検知手段は、「いたずら検知」を行うものである。すなわち、上記エスカレータの運行情報は、予め設定されたいたずら注意領域に関する情報を含み、上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータのいたずら注意領域内で所定時間以上停止している状態を検知することを特徴とする。

上記挙動検知手段は、「いたずら検知（子供の判定を含む）」を行うものである。すなわち、上記挙動検知手段は、上記乗客検知手段によって検知された乗客の頭部高さが所定値以下の人物を対象として、上記エスカレータのいたずら注意領域内で所定時間以上停止している状態を検知することを特徴とする。

また、本発明に係るエスカレータ監視システムは、上記挙動検知手段によって検知された乗客の挙動に応じて警告処理を行う警告手段をさらに具備したことを特徴とする。この警告手段は、上記挙動検知手段によって検知された乗客の挙動に応じて警告レベルを変えて警告を行うことを含む。

また、本発明に係るエスカレータ監視システムは、上記乗客検知手段によって検知された乗客の位置の時系列情報と上記エスカレータの運行情報とに基づいて当該乗客の移動速度、加速度、移動方向、移動動線、存在時間の情報を測定する情報測定手段と、この情報測定手段の測定結果に基づいて、乗降数、乗降時間、滞留時間、移動状態の少なくとも１つを検知する乗降状態検知手段とをさらに具備したことを特徴とする。

本発明によれば、エスカレータを利用する乗客を正確に検知でき、その乗客の危険な挙動に対しては警告を発することで事故を未然に防ぐことできる。

以下、図面を参照して本発明の実施形態を説明する。

図１は本発明の一実施形態に係るエスカレータ監視システムの構成を示す図である。図中の１１は監視対象とするエスカレータを示す。

エスカレータ１１は、複数のステップ１２と、これらのステップ１２の両側に設置された一対の欄干パネル１３とを備える。各ステップ１２は、例えばアルミダイガストから形成された階段状の乗り台であり、図示せぬトラスによって所定の傾斜角度を有して支持された状態で乗降口間を循環走行する。

また、上記一対の欄干パネル１３は、例えば透明のガラスやアクリルなどによって形成され、その欄干パネル１３の周縁部には、ゴムなどで周りが覆われた手摺りベルト１４が巻き付けられている。この手摺りベルト１４は、上記各ステップ１２と同期して移動する。

さらに、エスカレータ１１と交差する天井等の下端部には、三角部ガード板１５が取り付けられている。この三角部ガード板１５は、乗客１０が手摺りベルト１４から乗り出した場合に天井との隙間に挟まれる事故を防止するためにある。

ここで、監視用のカメラとして、ステレオカメラユニット２１がエスカレータ１１全体を監視できる場所（例えばエスカレータ１１の近傍の天井面）に設置されている。このステレオカメラユニット２１には、２台のカメラ２２ａ，２２ｂが所定の間隔を有して配置されており、これらのカメラ２２ａ，２２ｂで撮影された各画像を伝送ケーブル２３を介して画像処理装置２４に順次転送するように構成されている。

画像処理装置２４は、本システムの主要構成部である。この画像処理装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた一般的なＰＣ（パーソナルコンピュータ）あるいは画像処理ボードなどで構成される。この画像処理装置２４は、上記カメラ２２ａ，２２ｂによって撮影された各画像を３次元で解析処理することにより、エスカレータ１１を利用する乗客１０の位置を撮影範囲の奥行き方向を含めて検知すると共に、その乗客１０の挙動などを検知する機能を備える。

制御装置２５は、エスカレータ１１の運転制御を行うものであり、画像処理装置２４とは別のＰＣからなる。この制御装置２５は、画像処理装置２４から出力される各種信号を受けてスピーカ２６や表示装置２７を制御したり、エスカレータ１１の駆動装置２８を制御する。

スピーカ２６は、エスカレータ１１の近くに設置されており、乗客１０に対して何らかの警告を行う場合に用いられる。表示装置２７は、監視室等に設置されており、撮影画像のモニタ表示や、警告レベルの表示などを行う。

図２はエスカレータ監視システムに設けられた画像処理装置２４の機能構成を示すブロック図である。

本システムの画像処理装置２４の構成を機能的に示すと、キャプチャ処理部３１、３次元情報取得部３２、乗客検知部３３、挙動検知部３６、警告部３７、測定部３８、乗降状態検知部３９からなる。

キャプチャ処理部３１は、ステレオカメラユニット２１に設けられた２台のカメラ２２ａ，２２ｂにて連続撮影された各画像をキャプチャする。なお、キャプチャされた各画像は、画像処理装置２４内の図示せぬ画像メモリに時間情報と共に記憶される。

３次元情報取得部３２は、キャプチャ処理部３１によってキャプチャされた各画像から撮影範囲の３次元情報（ｘ，ｙ，ｚ）を取得する。

乗客検知部３３は、３次元情報取得部３２によって得られた３次元情報を解析して、エスカレータ１１を利用する乗客１０の位置を撮影範囲の奥行き方向を含めて検知する。この乗客検知部３３は、人物抽出部３４と人物追跡部３５を含む。人物抽出部３４は、３次元情報取得部３２によって得られた３次元情報（ｘ，ｙ，ｚ）の分布状態を解析して、撮影画像の中からエスカレータ１１を利用する乗客１０を抽出する。人物追跡部３５は、人物抽出部３３によって抽出された乗客１０を各画像間で追跡処理する。

挙動検知部３６は、エスカレータ１１の運行情報に基づいて、乗客検知部３３によって検知された乗客１０の挙動を検知する。上記挙動としては、「乗り出し」、「追い越し」、「すり抜け」、「転倒」、「滞留」、「いたずら」などである。上記運行情報には、エスカレータ１１の運転方向、運転速度などの他に、後述する乗出し危険領域、滞留危険領域、いたずら注意領域などに関する情報が含まれる。

警告部３７は、挙動検知部３６によって判断された乗客１０の挙動に応じて、音声あるいは表示による警告処理を行う。

また、情報測定部３８は、乗客検知部３３によって検知された乗客１０の位置の時系列情報とエスカレータ１１の運行情報として得られる運転方向、運転速度に基づいて、乗客１０の移動速度、加速度、移動方向、移動動線、存在時間を測定すると共に、これらの情報に基づいて乗降数、乗降時間、滞留時間、移動状態（停止／走行／歩行／逆走）の少なくとも１つを検知して制御装置２５に出力する。

以下に、このエスカレータ監視システムの動作について詳しく説明する。

なお、後述する乗客検知を含め、領域判定や距離、高さなどの判定は、上述した２台のカメラ２２ａ，２２ｂを用いたステレオ画像処理によって各画像を３次元で解析処理することで行われる。

（乗客検知）
まず、エスカレータ１１を利用する一人の乗客１０に着目して、本システムの画像処理装置２４による「乗客検知」に関して説明する。

図２に示したように、本システムに用いられている画像処理装置２４は、２台のカメラ２２ａ，２２ｂによって連続撮影された各画像を順次キャップして、これらの画像から撮影範囲のｘ方向，ｙ方向，ｚ方向の３次元情報を取得する。そして、この３次元情報の分布状態を解析して、撮影画像の中から乗客１０に相当する部分を抽出する。

図３に３次元情報（ｘ，ｙ，ｚ）の分布例を示す。図中の黒丸が撮影毎に得られる３次元情報の位置を示す。このような３次元情報の分布状態から人物形状に近い固まりが乗客１０に相当する部分として抽出されることになる。

続いて、画像処理装置２４は、時系列に得られる各画像間で上記抽出された乗客１０を追跡する。具体的には、図４に示すように、時間Ｔ０で撮影された画像から抽出された人物と時間Ｔ１で撮影された画像から抽出された人物とを３次元情報などの特徴量を用いてマッチング処理し、相関度の高い組み合わせを同一人物として特定し、その人物を追跡する。

このような２台のカメラ２２ａ，２２ｂを用いたステレオ画像処理により、乗客１０の位置を撮影範囲の奥行き方向を含めて正確に検知することができる。また、ここでは一人の乗客１０に着目して説明したが、多数の乗客１０がエスカレータ１１を利用している状態であっても、上記ステレオ画像処理によって個々の乗客１０の位置を正確に検知することが可能である。

（各種情報の測定と乗降状態の検知）
次に、本システムの画像処理装置２４による各種情報の測定と乗降状態の検知について説明する。

図５に示すように、上記乗客検知処理によって得られた乗客１０の位置の時系列情報（ｘ０，ｙ０，ｚ０，ｔ０）…（ｘｎ，ｙｎ，ｚｎ，ｔｎ）と、エスカレータ１１の運行情報として得られる運転方向Ｄｅ、運転速度Ｖｅに基づいて、乗客１０の移動速度、加速度、移動方向、移動動線、存在時間などの情報を測定することができる。なお、移動動線は、乗客１０の位置の時系列情報を線で結ぶことによって得られる。図中のＬ１が移動動線を示す。

また、これらの情報に基づいて、乗降数、乗降時間、滞留時間、移動状態（停止／走行／歩行／逆走）といった乗降動作に関する状態を以下のようにして検知することができる。

（１）乗降数
乗降数とは、単位時間当たりに乗客１０がエスカレータ１１を乗降した数のことである。これは、時間ｔ０〜ｔｎの間に、エスカレータ１１の乗り口と降り口を通過した人数をカウントすることで得られる。

（２）乗降時間
乗降時間とは、図６に示すように、乗客１０がエスカレータ１１の乗り口から降り口までを通過した時間である。この場合、乗客１０の移動動線Ｌ１とエスカレータ１１の乗り口ラインＬ２が交差したときに、乗客１０がエスカレータ１１の乗り口を通過した判断される。また、乗客１０の移動動線Ｌ１とエスカレータ１１の降り口ラインＬ３が交差したときに、乗客１０がエスカレータ１１の降り口を通過したと判断される。

乗客１０が乗り口を通過した時間は、乗り口ラインＬ２を跨いだ時間である。図６の例では、時間ｔａから時間ｔｂの間で跨ぐので、時間ｔｂが乗り口の通過時間として得られる。同様に、乗客１０が降り口を通過した時間は、降り口ラインＬ３を跨いだ時間である。図６の例では、時間ｔｃから時間ｔｄの間で跨ぐので、時間ｔｄが降り口の通過時間として得られる。これにより、乗降時間は「ｔｄ−ｔｂ」から求められる。

（３）滞留時間
滞留時間とは、乗客１０が同じ場所で立ち止まっている時間のことである。この場合、乗客１０の位置（ｘ，ｙ）の時間変動が少ない状態を滞留状態とみなす。よって、乗客１０が止まり始めた時間ｔ１、動き始めた時間ｔ２とすると、滞留時間は「ｔ２−ｔ１」から求められる。

（４）移動状態
移動状態とは、乗客１０が移動している状態のことであり、停止／走行／歩行／逆走を含む。図６に示すように、時間ｔｂから時間ｔｄまでの移動時間と距離から乗客１０の移動速度Ｖｐを求める。この移動速度Ｖｐがエスカレータ１１の運転速度Ｖｅと同じであれば（Ｖｐ＝Ｖｅ）、乗客１０がエスカレータ１１のステップ１２上で立ち止まっている状態つまり停止状態であると判断する。

一方、乗客１０の移動速度Ｖｐがエスカレータ１１の運転速度Ｖｅより速く、歩行の基準値Ｖ０以内の範囲であれば（Ｖｅ＜Ｖｐ≦Ｖ０）、乗客１０がエスカレータ１１のステップ１２上を歩いている状態つまり歩行状態であると判断する。乗客１０の移動速度Ｖｐが上記歩行の基準値Ｖ０よりも速い場合には（Ｖ０＜Ｖｐ）、乗客１０がエスカレータ１１のステップ１２上を走っている状態つまり走行状態であると判断する。

また、乗客１０の移動方向がエスカレータ１１の運転方向Ｄｅとは逆方向であった場合には、乗客１０がエスカレータ１１のステップ１２上を逆方向に移動している状態つまり逆走状態であるとであると判断する。

なお、以上は乗客１０が一人に着目したものであるが、多数の乗客１０がエスカレータ１１を利用している状態であっても同様であり、上述したステレオ画像処理によって各乗客１０を個別に検知することで、各乗客１０に関する情報を得ることができる。

さらに、各乗客１０に関する情報を用いて、図７に示すように、エスカレータ１１に乗って移動中の人数と、エスカレータ１１の乗り口で待っている人数を検知することも可能である。

（乗り出し検知）
次に、本システムの画像処理装置２４による挙動検知の１つである「乗り出し検知」に関して説明する。

「乗り出し検知」とは、乗客１０がエスカレータ１１の手摺りベルト１４から外側に乗り出している状態を検知するものである。

今、図８に示すように、手摺りベルト１４から三角部ガード板１５までの距離をａ、乗客１０の乗出し量をｂ、乗客１０の位置から三角部ガード板１５までの距離をｃとすると、距離ｃと運転速度Ｖｅから乗客１０がエスカレータ１１の交差部に挟まれるまでの時間を算出できる。

乗客１０の乗り出しが検知された場合には、その旨を警告する。その際、距離ａ、乗出し量ｂ、距離ｃとの関係から、以下のように警告レベルを変えるようにしても良い。

ｂ＜ａ⇒注意
ｂ≧ａ⇒警告
ｃ≧停止可能距離⇒注意
ｃ＜停止可能距離⇒警告。

また、３次元の形状から乗客１０のどの部位が乗り出しているか、あるいは、荷物なのかを判別することができる。その際、以下のように警告レベルを変えるようにしても良い。

乗出し部位が荷物⇒注意
乗出し部位が腕部／頭部⇒警告。

また、乗客１０の位置や移動速度などから、手摺りベルト１４近辺の固まり形状の画像が乗客１０の乗り出しによって生じているものか、ノイズが映り混んでいるのかを判別することができる。この場合、ノイズとしてエスカレータ１１の裏に存在する人物１０′が挙げられる。

図９に示すように、単眼画像では、手摺りベルト１４近辺の固まり形状が乗客１０の乗り出しによるものか、エスカレータ１１の裏に存在する人物１０′の映り込みによるものかの区別がつかない。これに対し、本システムでは、各画像から得られる３次元情報（ｘ，ｙ，ｚ）に基づいてエスカレータ１１の裏側にいる人物１０′であることを正確に検知できる。

以下に、図１０を参照して本システムの「乗り出し検知」の処理動作について、詳しく説明する。

図１０は本システムの画像処理装置２４による「乗り出し検知」の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示せぬＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。

まず、初期化処理として、ステレオカメラユニット２１（カメラ２２ａ，２２ｂ）とエスカレータ１１との位置関係を画像処理装置２４に設定しておくと共に、乗出し危険領域５１に関する情報を画像処理装置２４に設定しておく（ステップＡ１１）。乗出し危険領域５１は、図８に示すように、三角部ガード板１５が取り付けられているエスカレータ１１の交差部とその少し手前までの領域である。

画像処理装置２４は、カメラ２２ａ，２２ｂにて撮影された各画像の解析処理により、エスカレータ１１を利用する乗客１０を検知すると（ステップＡ１２）、エスカレータ１１の交差部から乗客１０までの距離を求める（ステップＡ１３）。その結果、エスカレータ１１の交差部から乗客１０までの距離が予め設定された閾値より長かった場合には（ステップＡ１４のＮｏ）、画像処理装置２４は、乗客１０が乗出し危険領域５１に入っていないものと判断し、特に何もせず、そのまま監視を続ける。

一方、エスカレータ１１の交差部から乗客１０までの距離が予め設定された閾値以下であった場合には（ステップＡ１４のＹｅｓ）、画像処理装置２４は、乗客１０が乗出し危険領域５１内に入っているものと判断し、その乗出し危険領域５１内での乗客１０の乗出し量を求める（ステップＡ１５）。その結果、乗出し量が予め設定された閾値以上であれば（ステップＡ１６のＹｅｓ）、画像処理装置２４は、乗客１０に注意を促すための警告処理を行う（ステップＡ１７）。

具体的には、画像処理装置２４から制御装置２５に対して警告信号を出力することにより、例えば「危険ですから、身を乗り出さないで下さい」といったようなメッセージをスピーカ２６を通じて音声出力する。なお、警告方法としては、音声に限らず、例えば図示せぬ表示器をエスカレータ１１の交差部近辺に設置しておき、その表示器に乗り出し注意のメッセージを表示することでも良い。

また、交差部までの距離と乗出し量に応じて警告レベルを段階的に変えたり、エスカレータ１１の運転を減速あるいは停止させるようにしても良い。

なお、ここでは乗出し危険領域５１内で乗客１０が手摺りベルト１４から所定量以上乗り出した場合に警告するものとして説明したが、乗出し危険領域５１に関係なく、乗客１０が手摺りベルト１４から所定量以上乗り出した場合には警告を発するようにしても良い。

また、乗客１０を乗り出しを検知した場合に、その検知信号を制御装置２５に出力して、エスカレータ１１の運転速度を一時的に下げるか、あるいは、運転を停止させるようにしても良い。

（追い越し／すり抜け検知）
次に、本システムの画像処理装置２４による挙動検知の１つである「追い越し／すり抜け検知」について説明する。

図１１は追い越しの例を示す図である。図中のＰａ，Ｐｂ，Ｐｃはエスカレータ１１上にいる乗客を示す。追い越し検知は、これらの乗客Ｐａ，Ｐｂ，Ｐｃの並び順を時系列で監視することで行う。

すなわち、エスカレータ１１上の並び順が以下のように時間的に変化したものとする。このような並び順の変化をカメラ２２ａ，２２ｂから時系列で得られる撮影画像を解析することで、乗客Ｐｃが時間Ｔ１で乗客Ｐｂを追い抜き、時間Ｔ２で乗客Ｐａを追い抜いたことを検知できる。

時間Ｔ０：Ｐａ−Ｐｂ−Ｐｃ
時間Ｔ１：Ｐａ−Ｐｃ−Ｐｂ
時間Ｔ２：Ｐｃ−Ｐａ−Ｐｂ。

図１２はすり抜けの例を示す図である。図中のＰａ，Ｐｂ，Ｐｃ，Ｐｄはエスカレータ１１上にいる乗客を示す。すり抜けについても、追い越しと同様に、これらの乗客の並び順を時系列で監視することで検知できる。

すなわち、エスカレータ１１上の並び順が以下のように時間的に変化したものとする。このような並び順の変化をカメラ２２ａ，２２ｂから時系列で得られる撮影画像を解析することで、乗客Ｐｃが時間Ｔ２で乗客Ｐｃが乗客Ｐａ，Ｐｄの間をすり抜けたことを検知できる。

時間Ｔ０：（Ｐａ，Ｐｄ）−Ｐｂ−Ｐｃ
時間Ｔ１：（Ｐａ，Ｐｄ）−Ｐｃ−Ｐｂ
時間Ｔ２：Ｐｃ−（Ｐａ，Ｐｄ）−Ｐｂ。

なお、追い越し／すり抜けを判定する指標として、各乗客の並び順以外に移動動線を指標とすることでも良い。

以下に、図１３を参照して変システムの「追い越し検知」の処理動作について、詳しく説明する。

図１３は本システムの画像処理装置２４による「追い越し検知」の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示せぬＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。

まず、初期化処理として、ステレオカメラユニット２１（カメラ２２ａ，２２ｂ）とエスカレータ１１との位置関係を画像処理装置２４に設定しておくと共に、エスカレータ１１の運転方向Ｄｅ、運転速度Ｖｅに関する情報を画像処理装置２４に設定しておく（ステップＢ１１）。

画像処理装置２４は、カメラ２２ａ，２２ｂにて撮影された各画像の解析処理により、エスカレータ１１を利用する乗客１０を検知すると（ステップＢ１２）、その乗客１０が立ち止まっているのか歩行しているのかを判定する（ステップＢ１３）。

この場合、複数の撮影画像から乗客１０の移動速度を求め、その移動速度がエスカレータ１１の運転速度Ｖｅと同じであれば、ステップ１２上で立ち止まっているものと判定される。また、乗客１０の移動速度がエスカレータ１１の運転速度Ｖｅより速ければ、エスカレータ１１の運転方向Ｄｅに歩行（あるいは走行）しているものと判定される。乗客１０がステップ１２上で立ち止まっているものと判定された場合には（ステップＢ１４のＮｏ）、画像処理装置２４は、特に何もせず、そのまま監視を続ける。

一方、乗客１０が歩行（あるいは走行）しているものと判定された場合には（ステップＢ１４のＹｅｓ）、画像処理装置２４は、エスカレータ１１上に存在する他の乗客との相対位置を算出し、その相対位置から当該乗客１０の並び順を求める（ステップＢ１５）。そして、画像処理装置２４は、当該乗客１０の並び順を時系列で監視し、前方の乗客と入れ替わった場合に追い越しがあったものと判定し（ステップＢ１６のＹｅｓ）、その乗客１０に注意を促すための警告処理を行う（ステップＢ１７）。

具体的には、画像処理装置２４から制御装置２５に対して警告信号を出力することにより、例えば「危険ですから、エスカレータを歩かないで下さい」といったようなメッセージをスピーカ２６を通じて音声出力する。スピーカ２６を通じて音声にて乗客１０に注意を促す。なお、警告方法としては、音声に限らず、例えば図示せぬ表示器をエスカレータ１１の交差部近辺に設置しておき、その表示器に乗り出し注意のメッセージを表示することでも良い。

なお、ここでは追い越しを想定して説明したが、すり抜けの場合も同様に着目とする乗客の移動速度と並び順から判定することができる。ただし、図１４のフローチャートに示すように、当該乗客が前方にいる乗客と乗客との間を追い越したことを条件として（ステップＣ１１）、すり抜けと判定するものとする（ステップＣ１２）。

また、乗客１０の追い越しやすり抜けを検知した場合に、その検知信号を制御装置２５に出力して、エスカレータ１１の運転速度を一時的に下げるか、あるいは、運転を停止させるようにしても良い。

（転倒検知）
次に、本システムの画像処理装置２４による挙動検知の１つである「転倒検知」に関して説明する。

「転倒検知」は、乗客の頭部位置の高さ変動を監視することで行う。すなわち、図１５に示すように、例えば短い時間であるＴ０〜Ｔ３において、乗客１０の頭高さが１．７５ｍから０．３０ｍに変動した場合には転倒とみなす。

また、時間の要素を加えて、検知開始時の乗客１０頭高さが１．７５ｍで、ある時間から頭高さが０．３０ｍになり、一定時間頭高さ０．３０ｍが所定時間以上継続した場合には転倒とみなすことでも良い。

以下に、図１６を参照して本システムの「転倒検知」の処理動作について、詳しく説明する。

図１６は本システムの画像処理装置２４による転倒検知の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示せぬＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。

まず、初期化処理として、ステレオカメラユニット２１（カメラ２２ａ，２２ｂ）とエスカレータ１１との位置関係を画像処理装置２４に設定しておくと共に、エスカレータ１１の運転方向Ｄｅ、運転速度Ｖｅに関する情報を画像処理装置２４に設定しておく（ステップＤ１１）。

画像処理装置２４は、カメラ２２ａ，２２ｂにて撮影された各画像の解析処理により、エスカレータ１１を利用する乗客１０を検知すると（ステップＤ１２）、エスカレータ１１の運転方向Ｄｅ、運転速度Ｖｅに基づいて乗客１０の頭部高さの時間変動を求める（ステップＤ１３）。その結果、乗客１０の頭部高さの時間変動が閾値以下であれば（ステップＤ１４のＮｏ）、画像処理装置２４は、特に何もせず、そのまま監視を続ける。

一方、乗客１０の頭部高さの時間変動が閾値を超えた場合、つまり、大きく変動した場合には（ステップＤ１４のＹｅｓ）、画像処理装置２４は、乗客１０が転倒したものと判断して、周囲の人や監視員に注意を促すための警告処理を行う（ステップＤ１５）。

具体的には、画像処理装置２４から制御装置２５に対して警告信号を出力することにより、例えば「転倒した人がいます」といったようなメッセージをスピーカ２６を通じて音声出力する。スピーカ２６を通じて音声にて乗客１０に注意を促す。なお、警告方法としては、音声に限らず、例えば図示せぬ表示器をエスカレータ１１の交差部近辺に設置しておき、その表示器に乗り出し注意のメッセージを表示することでも良い。

また、例えば「転倒した人がいます。安全のため運転を止めます」といったような警告メッセージを出力して、制御装置２５を通じてエスカレータ１１の運転を停止させることでも良い。

（滞留検知）
次に、本システムの画像処理装置２４による挙動検知の１つである「滞留検知」に関して説明する。

「滞留検知」は、図１７に示すように、エスカレータ１１の乗降口付近での乗客１０の動きを監視することで行う。すなわち、乗降口付近で乗客１０が一定時間以上立ち止まっていた場合に滞留状態と判断する。その際、滞留人数が多く、乗降口を通り抜けられない場合には警告を行うものとする。

以下に、図１８を参照して本システムの「転倒検知」の処理動作について、詳しく説明する。

図１８は本システムの画像処理装置２４による転倒検知の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示せぬＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。

まず、初期化処理として、ステレオカメラユニット２１（カメラ２２ａ，２２ｂ）とエスカレータ１１との位置関係を画像処理装置２４に設定しておくと共に、エスカレータ１１の乗降口付近を滞留危険領域５２ａ，５２ｂとして画像処理装置２４に設定しておく（ステップＥ１１）。

画像処理装置２４は、カメラ２２ａ，２２ｂにて撮影された各画像の解析処理により、エスカレータ１１を利用する乗客１０を検知すると（ステップＥ１２）、その乗客１０が滞留危険領域５２ａまたは５２ｂにいるか否かを判断する（ステップＥ１３）。その結果、乗客１０が滞留危険領域５２ａ，５２ｂのどちらにもいない場合には（ステップＥ１４のＮｏ）、画像処理装置２４は、特に何もせず、そのまま監視を続ける。

一方、乗客１０が滞留危険領域５２ａまたは５２ｂにいた場合には（ステップＥ１４のＹｅｓ）、画像処理装置２４は、乗客１０の移動速度を求めて、そこで立ち止まっているのか否かを判断する（ステップＥ１５）。その結果、乗客１０の移動速度が所定速度よりも遅い場合には（ステップＥ１６のＹｅｓ）、画像処理装置２４は、乗客１０が立ち止まっているものと判断し、そこでの時間を監視する（ステップＥ１７）。これにより、乗客１０が所定時間以上立ち止まっている状態が検出された場合に（ステップＥ１８のＹｅｓ）、画像処理装置２４は、乗客１０が乗降口付近で滞留しているものと判断する。

ここで、他の乗客１０についても同様に滞留状態をチェックし（ステップＥ１９）、もし、同じ場所での滞留人数が所定数以上いた場合には（ステップＥ２０のＹｅｓ）、画像処理装置２４は、危険であると判断して、そこで立ち止まっている人たちに乗客１０に注意を促すための警告処理を行う（ステップＥ２１）。

なお、上記ステップＥ２０における所定数とは、人が容易に通り抜けられないくらいの人数であり、例えば１ステップに２人乗れるエスカレータ１１であれば、２人以上が同じ場所に滞留していた場合に警告を発するものとする。

具体的には、画像処理装置２４から制御装置２５に対して警告信号を出力することにより、例えば「乗降口で立ち止まっていると危険です」といったようなメッセージをスピーカ２６を通じて音声出力する。スピーカ２６を通じて音声にて乗客１０に注意を促す。なお、警告方法としては、音声に限らず、例えば図示せぬ表示器をエスカレータ１１の交差部近辺に設置しておき、その表示器に乗り出し注意のメッセージを表示することでも良い。

なお、ここでは所定数以上が滞留危険領域（乗降口付近）で滞留している場合に警告を発するものとして説明したが、人数に関係なく、滞留危険領域（乗降口付近）で滞留している状態を検知した場合に警告を発するようにしても良いし、人数に応じて警告レベルを変えることでも良い。

また、ここでは乗降口付近を滞留危険領域して設定したが、その他の場所も滞留危険領域として設定し、そこでの滞留を上記同様に検知して警告を発するように構成することも可能である。

また、乗客１０の滞留を検知した場合に、その検知信号を制御装置２５に出力して、エスカレータ１１の運転速度を一時的に下げるか、あるいは、運転を停止させるようにしても良い。

（いたずら検知）
次に、本システムの画像処理装置２４による挙動検知の１つである「いたずら検知」に関して説明する。

「いたずら検知」は、エスカレータ１１のインレット（手摺りベルトの入り込み口）付近でのいたずらを対象とする。また、検知対象とする人物を小さな子供とする。すなわち、図１９に示すように、エスカレータ１１のインレット付近の４箇所をいたずら注意領域５３ａ，５３ｂ，５３ｃ，５３ｄとして定め、そこに頭高さが閾値以下の乗客１０が所定時間以上立ち止まっていた場合に子供がいたずらをしているものと判断し、警告を行うものとする。

以下に、図２０を参照して本システムの「いたずら検知」の処理動作について、詳しく説明する。

図２０は本システムの画像処理装置２４による「いたずら検知」の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示せぬＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。

まず、初期化処理として、ステレオカメラユニット２１（カメラ２２ａ，２２ｂ）とエスカレータ１１との位置関係を画像処理装置２４に設定しておくと共に、エスカレータ１１のインレット付近をいたずら注意領域５３ａ，５３ｂ，５３ｃ，５３ｄとして画像処理装置２４に設定しておく（ステップＦ１１）。

画像処理装置２４は、カメラ２２ａ，２２ｂにて撮影された各画像の解析処理により、エスカレータ１１を利用する乗客１０を検知すると（ステップＦ１２）、その乗客１０がいたずら注意領域５３ａ，５３ｂ，５３ｃ，５３ｄのいずれかにいるか否かを判断する（ステップＦ１３）。その結果、乗客１０がいたずら注意領域５３ａ，５３ｂ，５３ｃ，５３ｄのいずれにもいない場合には（ステップＦ１４のＮｏ）、画像処理装置２４は、特に何もせず、そのまま監視を続ける。

一方、乗客１０がいたずら注意領域５３ａ，５３ｂ，５３ｃ，５３ｄのいずれかにいた場合には（ステップＦ１４のＹｅｓ）、画像処理装置２４は、その乗客１０の頭高さを求める（ステップＦ１５）。その結果、乗客１０の頭高さが所定値以下であれば（ステップＦ１６のＹｅｓ）、画像処理装置２４は、続いて乗客１０の移動速度を求めて、そこで立ち止まっているのか否かを判断する（ステップＦ１７）。

なお、上記ステップＦ１６における所定値とは、例えば小学生以下の平均的な子供の身長を基準にして決められているものとする。

乗客１０の移動速度が所定速度よりも遅い場合には（ステップＦ１７のＹｅｓ）、画像処理装置２４は、乗客１０が立ち止まっているものと判断し、そこでの時間を監視する（ステップＥ１７）。これにより、乗客１０が所定時間以上立ち止まっている状態が検出された場合に（ステップＦ１８のＹｅｓ）、画像処理装置２４は、子供がインレットの近辺でいたずらをしているものと判断する（ステップＦ１９）。このようにして、乗客１０がいたずらしている状態を検知すると、画像処理装置２４は、その乗客１０に注意を促すための警告処理を行う（ステップＦ２１）。

具体的には、画像処理装置２４から制御装置２５に対して警告信号を出力することにより、例えば「危険ですから、手摺りベルトの入り込み口には近寄らないで下さい」といったようなメッセージをスピーカ２６を通じて音声出力する。スピーカ２６を通じて音声にて乗客１０に注意を促す。なお、警告方法としては、音声に限らず、例えば図示せぬ表示器をエスカレータ１１の交差部近辺に設置しておき、その表示器に乗り出し注意のメッセージを表示することでも良い。

なお、ここでは子供を対象にしていたずら検知を行うものとして説明したが、子供に関係なく、いたずら注意領域（インレット付近）で立ち止まっている状態を検知した場合に警告を発するようにしても良い。

また、周囲に大人がいる場合には、いたずらとみなさいといったこともできる。周囲に大人の有無は、いたずら注意領域で立ち止まっている乗客１０から所定距離以内に頭高さが所定値以上の他の乗客１０を検知することで判断できる。ただし、たとえ大人が近くにいたとしても、インレット付近は危険であるため、大人の有無や子供のいかんに関係なく、インレット付近で立ち止まっている人がいれば、すぐに警告を発することが安全上好ましい。

また、ここではインレット付近をいたずら注意領域として設定したが、その他の場所もいたずら注意領域として設定し、そこでのいたずらを上記同様に検知して警告を発するように構成することも可能である。

また、乗客１０がいたずら注意領域でいたずらしていることを検知した場合に、その検知信号を制御装置２５に出力して運転を停止させるようにしても良い。

以上のように本システムによれば、２台のカメラ２２ａ，２２ｂを用いてエスカレータ１１を監視することで、カメラ２２ａ，２２ｂの設置場所に大きく影響されることなく、乗客１０の位置を撮影範囲の奥行き方向を含めて正確に検知することができる。したがって、例えばエスカレータ１１の手摺りベルト１４の近くに乗客１０がいた場合に、乗客１０が手摺りベルト１４の外側に乗り出しているのか、手摺りベルト１４の内側で正しく乗っているのかを正しく判別して適切な対応を採ることができる。

また、乗客１０が転倒などした場合にも、エスカレータ１１の奥行き方向にその場所を正確に特定して、適切に対応することができる。

また、混雑の激しい環境つまりオクルージョンが発生する環境であっても、撮影画像から各乗客１０の位置を正確に検知することができ、事故が発生した場合に詳細に検証することができる。

また、エスカレータ１１の運行情報と連携して乗客１０の監視することで、「乗り出し」、「追い越し」、「すり抜け」、「転倒」、「滞留」、「いたずら」といった挙動をリアルタイムに検知でき、危険な挙動に対しては警告を発することで事故を未然に防ぐことができる。

なお、上記実施形態では、２台のカメラ２２ａ，２２ｂを用いてエスカレータ１１を監視する構成としたが、３台以上のカメラを用いてエスカレータ１１を監視することでも良い。ただし、カメラ台数を増やすと、その分、設置設備が大かがりとなってコスト高となり、さらに、画像処理にも時間を要するため、上記実施形態のように２台のカメラ２２ａ，２２ｂにて監視することが好ましい。

また、上記実施形態では、図１に示すように画像処理装置２４と制御装置２５を分けて構成したが、画像処理装置２４の持つ機能を制御装置２５に搭載することで、制御装置２５だけで構成することも可能である。

要するに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の形態を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

図１は本発明の一実施形態に係るエスカレータ監視システムの構成を示す図である。 図２は同実施形態におけるエスカレータ監視システムに設けられた画像処理装置の機能構成を示すブロック図である。 図３は上記エスカレータ監視システムの画像処理装置によって得られる３次元情報（ｘ，ｙ，ｚ）の分布例を示す図である。 図４は上記エスカレータ監視システムの画像処理装置による各画像間の人物追跡処理を説明するための図である。 図５は上記エスカレータ監視システムの画像処理装置による乗客の乗降動作に関連した各種情報を説明するための図である。 図６は上記エスカレータ監視システムの画像処理装置による乗客の乗降動作に関連した各種情報として、乗降時間の検知方法を説明するための図である。 図７は上記エスカレータ監視システムの画像処理装置による多数の乗客を検知する場合の一例を示す図である。 図８は上記エスカレータ監視システムの画像処理装置による「乗り出し検知」について説明するための図である。 図９は従来の単眼画像による「乗り出し検知」の問題点を説明するための図である。 図１０は上記エスカレータ監視システムの画像処理装置による「乗り出し検知」の処理動作を示すフローチャートである。 図１１は上記エスカレータ監視システムの画像処理装置による「追い越し検知」を説明するための図である。 図１２は上記エスカレータ監視システムの画像処理装置による「すり抜け検知」を説明するための図である。 図１３は上記エスカレータ監視システムの画像処理装置による「追い越し検知」の処理動作を示すフローチャートである。 図１４は上記エスカレータ監視システムの画像処理装置による「すり抜け検知」の処理動作を示すフローチャートである。 図１５は上記エスカレータ監視システムの画像処理装置による「転倒検知」を説明するための図である。 図１６は上記エスカレータ監視システムの画像処理装置による「転倒検知」の処理動作を示すフローチャートである。 図１７は上記エスカレータ監視システムの画像処理装置による「滞留検知」を説明するための図である。 図１８は上記エスカレータ監視システムの画像処理装置による「滞留検知」の処理動作を示すフローチャートである。 図１９は上記エスカレータ監視システムの画像処理装置による「いたずら検知」を説明するための図である。 図２０は上記エスカレータ監視システムの画像処理装置による「いたずら検知」の処理動作を示すフローチャートである。

符号の説明

１１…エスカレータ、１２…ステップ、１３…欄干パネル、１４…手摺りベルト、１５…三角部ガード板、２１…ステレオカメラユニット、２２ａ，２２ｂ…カメラ、２３…伝送ケーブル、２４…画像処理装置、２５…制御装置、２６…スピーカ、２７…表示装置、２８…駆動装置、３１…キャプチャ処理部、３２…３次元情報取得部、３３…乗客検知部、３４…人物抽出部、３５…人物追跡部、３６…挙動検知部、３７…警告部、３８…情報測定部、３９…乗降状態検知部、５１…乗出し危険領域、５２ａ，５２ｂ…滞留危険領域、５３ａ，５３ｂ，５３ｃ，５３ｄ…いたずら注意領域。

Claims (13)

1. エスカレータ全体を監視可能な場所に設置された少なくとも２台のカメラと、
   この２台のカメラにて撮影された各画像から３次元の情報を取得する３次元情報取得手段と、
   この３次元情報取得手段によって得られた３次元情報を解析して、上記エスカレータを利用する乗客の位置を撮影範囲の奥行き方向を含めて検知する乗客検知手段と
   を具備したことを特徴とするエスカレータ監視システム。
2. 上記エスカレータの運行情報に基づいて、上記乗客検知手段によって検知された乗客の挙動を検知する挙動検知手段をさらに具備したことを特徴とする請求項１記載のエスカレータ監視システム。
3. 上記エスカレータの運行情報は、予め設定された乗出し危険領域に関する情報を含み、
   上記挙動検知手段は、
   上記乗客検知手段によって検知された乗客が上記乗出し危険領域内で上記エスカレータに設けられた手摺りから外側に所定量以上乗り出している状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
4. 上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、
   上記挙動検知手段は、
   上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に所定速度以上で移動しながら前方の乗客を追い越している状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
5. 上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、
   上記挙動検知手段は、
   上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に所定速度以上で移動しながら前方の乗客と乗客との間をすり抜けている状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
6. 上記エスカレータの運行情報は、上記エスカレータの運転方向に関する情報を含み、
   上記挙動検知手段は、
   上記乗客検知手段によって検知された乗客が上記エスカレータの運転方向に移動しているときの頭部高さの時間変動から転倒した状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
7. 上記エスカレータの運行情報は、予め設定された滞留危険領域に関する情報を含み、
   上記挙動検知手段は、
   上記乗客検知手段によって検知された乗客が上記エスカレータの滞留危険領域内で所定時間以上滞留している状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
8. 上記挙動検知手段は、
   上記エスカレータの滞留危険領域内で所定時間以上滞留している乗客の人数を検知することを特徴とする請求項７記載のエスカレータ監視システム。
9. 上記エスカレータの運行情報は、予め設定されたいたずら注意領域に関する情報を含み、
   上記挙動検知手段は、上記乗客検知手段によって検知された乗客が上記エスカレータのいたずら注意領域内で所定時間以上停止している状態を検知することを特徴とする請求項２記載のエスカレータ監視システム。
10. 上記挙動検知手段は、上記乗客検知手段によって検知された乗客の頭部高さが所定値以下の人物を対象として、上記エスカレータのいたずら注意領域内で所定時間以上停止している状態を検知することを特徴とする請求項９記載のエスカレータ監視システム。
11. 上記挙動検知手段によって検知された乗客の挙動に応じて警告処理を行う警告手段をさらに具備したことを特徴とする請求項２乃至１０のいずれか１つに記載のエスカレータ監視システム。
12. 上記警告手段は、上記挙動検知手段によって検知された乗客の挙動に応じて警告レベルを変えて警告を行うことを特徴とする請求項１２記載のエスカレータ監視システム。
13. 上記乗客検知手段によって検知された乗客の位置の時系列情報と上記エスカレータの運行情報とに基づいて当該乗客の移動速度、加速度、移動方向、移動動線、存在時間の情報を測定する情報測定手段と、
    この情報測定手段の測定結果に基づいて、乗降数、乗降時間、滞留時間、移動状態の少なくとも１つを検知する乗降状態検知手段と
    をさらに具備したことを特徴とする請求項１記載のエスカレータ監視システム。

Images