JP2015228131A - 情報処理装置および報知システム - Google Patents

Abstract

【課題】所定の動作を報知することができる情報処理装置および報知システムを提供する。
【解決手段】情報処理装置は、受信手段と、第１検出手段と、第２検出手段と、出力手段と、を備える。受信手段は、道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する。第１検出手段は、前記受信手段が受信した画像から、当該画像に含まれる人物を検出する。第２検出手段は、前記第１検出手段により検出された人物の動作を前記画像から検出する。出力手段は、前記第２検出手段が所定の動作を検出した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する。
【選択図】図２

Description

本発明の実施形態は、情報処理装置および報知システムに関する。

近年、歩行とともに行われる所定の動作が問題となっている。係る動作としては、例えば、歩行しながら喫煙する動作（以下、歩き煙草という）や、歩行しながらスマートフォンを使用する動作（以下、歩きスマホという）が挙げられる。このような動作（以下、問題行動という）は、人通りの多い道路や死角の多い交差点等で特に問題となる。なお、このような問題行動を抑制するため呼びかけや法整備も行われているが、この呼びかけによりトラブルに発展することがある。そのため、上記の問題行動を抑制するための技術が要求されている。

本発明が解決しようとする課題は、所定の動作を報知することができる情報処理装置および報知システムを提供することである。

実施形態の情報処理装置は、受信手段と、第１検出手段と、第２検出手段と、出力手段と、を備える。受信手段は、道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する。第１検出手段は、前記受信手段が受信した画像から、当該画像に含まれる人物を検出する。第２検出手段は、前記第１検出手段により検出された人物の動作を前記画像から検出する。出力手段は、前記第２検出手段が所定の動作を検出した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する。

図１は、実施形態に係る報知システムの構成を概略的に示した説明図である。 図２は、報知システムを交差点に設置した場合の一例を示す説明図である。 図３は、サーバ装置の要部構成を示すブロック図である。 図４は、監視カメラの要部構成を示すブロック図である。 図５は、スピーカーの要部構成を示すブロック図である。 図６は、電子掲示板の要部構成を示すブロック図である。 図７は、報知システムの機能構成を示すブロック図である。 図８は、顔の特徴点が検出された状態を示す説明図である。 図９は、人体の特徴点が検出された状態を示す説明図である。 図１０は、歩きスマホ時の顔の特徴点の変位を示した説明図である。 図１１は、歩き煙草時の姿勢の特徴点の変位を示した説明図である。 図１２は、顔領域の変化を示す説明図である。 図１３は、検出処理の流れを示すフローチャートである。 図１４は、報知処理の流れを示すフローチャートである。

以下、添付図面を参照して実施形態のサーバ装置及び報知システムを詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

図１は、実施形態に係る報知システム１の構成を概略的に示した説明図である。図１に示すように報知システム１は、サーバ装置１０と、監視カメラ２０と、スピーカー３０と、電子掲示板４０とを備える。ここで、サーバ装置１０と、監視カメラ２０と、スピーカー３０と、電子掲示板４０とは、ＬＡＮ（Local Area Network）５０で接続される。ＬＡＮ５０は、有線であってもよいし、無線であってもよい。また、ＬＡＮ５０は、各種公衆網であってもよい。

サーバ装置１０は、監視カメラ２０から送信された画像から所定の動作を行っている人物を検出し、スピーカー３０や、電子掲示板４０に報知するための情報を送信する。監視カメラ２０は、路上の所定領域を撮像するカメラである。スピーカー３０は、サーバ装置１０の制御の下、音声により報知を行う。電子掲示板４０は、サーバ装置１０の制御の下、表示により報知を行う。なお、図１の報知システム１では、サーバ装置１０と、監視カメラ２０と、スピーカー３０と、電子掲示板４０とをそれぞれ１台ずつ記載したが複数台であってもよい。

次に、報知システム１の設置例について説明する。図２は、報知システム１を交差点Ｋに設置した場合の一例を示す説明図である。図２に示す交差点Ｋは、道路Ｒ１と、道路Ｒ２とが交差している。

道路Ｒ１は、路側帯Ｒ１１と、車道Ｒ１２と、車道Ｒ１３と、路側帯Ｒ１４とを備える。路側帯Ｒ１１は、人や、自転車などの軽車両が通行する道路である。車道Ｒ１２は、矢印Ｂ方向に向かって走行する自動車が通行する道路である。車道Ｒ１３は、矢印Ｄ方向に向かって走行する自動車が通行する道路である。路側帯Ｒ１４は、人や、自転車などの軽車両が通行する道路である。

道路Ｒ２は、路側帯Ｒ２１と、車道Ｒ２２と、車道Ｒ２３と、路側帯Ｒ２４とを備える。路側帯Ｒ２１は、人や、自転車などの軽車両が通行する道路である。車道Ｒ２２は、矢印Ａ方向に向かって走行する自動車が通行する道路である。車道Ｒ２３は、矢印Ｃ方向に向かって走行する自動車が通行する道路である。路側帯Ｒ２４は、人や、自転車などの軽車両が通行する道路である。

また、交差点Ｋの四隅には、見通しを遮る建築物の塀等の遮蔽物６０がある。そのため、例えば、道路Ｒ２を通行する歩行者や、自転車や自動車の運転手は、道路Ｒ１を通行する通行人が、いつ交差点から出てくるかが分からないため出会い頭に衝突するおそれがある。よって、歩きスマホなどの注意力を発散させた状態での歩行は、危険である。同様に、歩き煙草も煙草の火が当たる可能性もあり危険である。

そこで、本実施形態の報知システム１では、道路Ｒ２の路側帯Ｒ２１、Ｒ２４に監視カメラ２０を設置する。監視カメラ２０は、路側帯Ｒ２１、Ｒ２４の所定領域を撮像する。サーバ装置１０は、監視カメラ２０が撮像した画像から通行人を検出する。そして、検出された通行人の問題行動が検出された場合に、サーバ装置１０は、スピーカー３０や、電子掲示板４０を介して報知する。

よって、交差点Ｋは、四隅に、監視カメラ２０を備える。監視カメラ２０は、定められた撮像方向に向けて設置することで、道路上の所定領域を撮像する。図２の例では、道路Ｒ１を隔てて上側に位置する監視カメラ２０は、道路Ｒ２の路側帯Ｒ２１、Ｒ２４の上側を撮像する。また、道路Ｒ１を隔てて下側に位置する監視カメラ２０は、道路Ｒ２の路側帯Ｒ２１、Ｒ２４の下側を撮像する。これにより、監視カメラ２０は、交差点Ｋに進入する歩行者や自転車を撮像する。

また、交差点Ｋは、音声により報知を行うための一対のスピーカー３０を備える。スピーカー３０は、道路Ｒ２の矢印Ａ方向及び矢印Ｃ方向に向けて設置される。これにより、スピーカー３０は、道路Ｒ２の矢印Ａ方向又は矢印Ｃ方向に向かう人に対し、音声により報知することができる。

さらに、交差点Ｋは、画像や文字の表示により報知を行う一対の電子掲示板４０を備える。電子掲示板４０の表示面は、道路Ｒ１の矢印Ｄ方向及び矢印Ｂ方向に向けて設置される。これにより、電子掲示板４０は、道路Ｒ１の矢印Ｄ方向又は矢印Ｂ方向に向かう人や車両に対し、文字や画像により報知することができる。

なお、監視カメラ２０、スピーカー３０及び電子掲示板４０は、交差点Ｋ上に設置された信号機や道路標識等を支持するためのアームに取り付ける形態としてもよい。また、スピーカー３０は、道路Ｒ１の矢印Ｄ方向又は矢印Ｂ方向に向けて設置されてもよい。また、電子掲示板４０の表示画面は、道路Ｒ２の矢印Ａ方向又は矢印Ｃ方向に向けて設置されてもよい。

次に、実施形態の報知システム１が有する各部について説明する。

まず、サーバ装置１０の要部構成を説明する。図３は、サーバ装置１０の要部構成を示すブロック図である。サーバ装置１０は、報知システム１を制御する情報処理装置である。図３に示すように、サーバ装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、記憶部１３と、ネットワークインターフェース１４と、表示部１５と、入力部１６と、時計部１７とを備える。

ＣＰＵ１１は、サーバ装置１０の全体を制御する。メモリ１２は、データを一時的に記憶する。記憶部１３は、ＣＰＵ１１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部１３は、顔検知プログラムＰ１と、動作検知プログラムＰ２と、歩きスマホ動作情報１３ａと、歩き煙草動作情報１３ｂとを記憶する。

顔検知プログラムＰ１は、監視カメラ２０が撮像した画像から顔を検知するプログラムである。動作検知プログラムＰ２は、監視カメラ２０が撮像した画像に含まれている人物による所定の動作を検知するプログラムである。歩きスマホ動作情報１３ａは、歩行しながらスマートフォンなどを見るために、顔に近づけられた手元を見ている人物の動作の特徴点が記憶された情報である。なお、人物が見ているものは、スマートフォンに限らず、携帯用ゲーム機や、携帯電話や、携帯用音楽プレイヤーや、タブレット端末などの携帯用端末などであってもよいし、地図や、書籍などの情報が印字された媒体であってもよい。歩き煙草動作情報１３ｂは、歩行しながら喫煙している人物の動作の特徴点が記憶された情報である。

ネットワークインターフェース１４は、ＬＡＮ５０に接続される。なお、ＬＡＮ５０は、各種公衆網であってもよい。表示部１５は、各種情報を表示するディスプレイなどである。入力部１６は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部１６は、表示部１５に積層されたタッチパネル入力された情報を制御する。時計部１７は、時間を計時する。

次に、監視カメラ２０について説明する。図４は、監視カメラ２０の要部構成を示すブロック図である。監視カメラ２０は、監視カメラ２０が設置された道路上の所定領域を撮像する撮像装置である。図４に示すように、監視カメラ２０は、ＣＰＵ２１と、メモリ２２と、記憶部２３と、ネットワークインターフェース２４と、カラー画像センサ２５と、距離画像センサ２６と、時計部２７とを備える。

ＣＰＵ２１は、監視カメラ２０の全体を制御する。メモリ２２は、データを一時的に記憶する。記憶部２３は、ＣＰＵ２１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース２４は、ＬＡＮ５０に接続される。時計部２７は、時間を計時する。

カラー画像センサ２５は、監視カメラ２０の撮像範囲内に存在する人物や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、カラー画像センサ２５は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像センサ２５は、その電気信号をデジタルデータに変換することにより、撮像範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮像時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた色情報と、この１フレームに含まれる各画素に輝度値が対応付けられた輝度情報と、が含まれる。

カラー画像センサ２５は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで動画として撮像する。なお、カラー画像センサ２５によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像センサ２５は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

距離画像センサ２６は、監視カメラ２０の撮像範囲内に存在する人物や物体等の被写体を撮像し、距離画像情報を収集する。例えば、距離画像センサ２６は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像センサ２６は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像センサ２６との距離を求め、撮像範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮像時刻情報と、画素ごとに被写体と距離画像センサ２６との距離を示す情報とが含まれる。

距離画像センサ２６は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで動画として撮像する。なお、距離画像センサ２６によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像センサ２６は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像センサ２５で用いられる受光素子と共用されても良い。また、距離画像センサ２６によって算出される距離の単位は、例えば、メートル［ｍ］である。

次に、スピーカー３０について説明する。図５は、スピーカー３０の要部構成を示すブロック図である。スピーカー３０は、音声により報知する報知装置である。図５に示すように、スピーカー３０は、ＣＰＵ３１と、メモリ３２と、記憶部３３と、ネットワークインターフェース３４と、音響発生部３５とを備える。

ＣＰＵ３１は、スピーカー３０の全体を制御する。メモリ３２は、データを一時的に記憶する。記憶部３３は、ＣＰＵ３１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース３４は、ＬＡＮ５０に接続される。音響発生部３５は、音響出力デバイスである。音響発生部３５は、ＣＰＵ３１によって制御された電圧の印加を受けて音響を発する。

次に、電子掲示板４０について説明する。図６は、電子掲示板４０の要部構成を示すブロック図である。電子掲示板４０は、画面により報知する報知装置である。図６に示すように、電子掲示板４０は、ＣＰＵ４１と、メモリ４２と、記憶部４３と、ネットワークインターフェース４４と、表示部４５とを備える。

ＣＰＵ４１は、電子掲示板４０の全体を制御する。メモリ４２は、データを一時的に記憶する。記憶部４３は、ＣＰＵ４１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース４４は、ＬＡＮ５０に接続される。表示部４５は、発光ダイオードや、電球などを用いて情報を発信するための掲示板である。表示部４５は、液晶などを使用したディスプレイであってもよい。

次に、実施形態にかかる報知システム１が有する特徴的な機能について説明する。図７は、報知システム１の機能構成を示すブロック図である。

監視カメラ２０のＣＰＵ２１は、メモリ２２や記憶部２３に記憶された制御プログラムに従って動作することで、撮像制御部２１１と、送信部２１２として機能する。

撮像制御部２１１は、監視カメラ２０のカラー画像センサ２５と距離画像センサ２６とを制御して、監視カメラ２０が設置された道路上の所定領域の画像を連続して撮像することで動画を撮像する。動画には、カラー画像センサ２５が撮像したカラー画像情報と、距離画像センサ２６が検出した距離画像情報と、撮像時刻情報とが含まれる。

送信部２１２は、撮像制御部２１１が撮像したカラー画像情報と、距離画像情報と、撮像時刻情報とが含まれる動画をサーバ装置１０に順次送信する。この時、送信部２１２は、１フレームごとに動画を送信してもよいし、複数フレームごとに動画を送信してもよい。

サーバ装置１０のＣＰＵ１１は、メモリ１２や記憶部１３に記憶された制御プログラムに従って動作することで、受信部１１１と、顔認識部１１２と、顔特徴点検出部１１３と、顔動作情報生成部１１４と、姿勢特徴点検出部１１５と、姿勢動作情報生成部１１６と、移動検出部１１７と、判定部１１８と、報知制御部１１９と、送信部１２０として機能する。

受信部１１１は、監視カメラ２０から送信されたカラー画像情報と、距離画像情報と、撮像時刻情報とが含まれる動画を順次受信する。

顔認識部１１２は、受信部１１１が受信した動画から、動画に含まれる人物の顔を検出する。すなわち、顔認識部１１２は、受信した動画から顔が認識できた場合に、人物を検出したと判定する。具体的には、顔認識部１１２は、受信した動画の輝度情報を利用して顔の領域を示す座標を求める。なお、顔領域を求める方法は、どのような方法を用いてもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良い。

ところで、監視カメラ２０などで撮像された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。この追跡処理は、同一人物として対応付けられた顔領域が顔認識部１１２により検出されず、追跡終了の判定が行われるまで継続される。

顔特徴点検出部１１３は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻、口などの顔の特徴点を検出する顔特徴点検出処理を行う。すなわち、顔特徴点検出部１１３は、顔認識部１１２が検出した顔領域から特徴点を検出する。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、顔特徴点検出部１１３における顔の特徴点の検出方法は、どのような方法を用いてもよい。

ここで、図８は、顔の特徴点が検出された状態を示す説明図である。特徴点として検出された箇所は、図８に示すようにアスタリスクで表現している。特徴点は、図８に示すように、片方の眉に２箇所と、片方の目に３箇所と、眉間に１箇所と、鼻に６箇所と、口に５箇所との合計２２箇所が検出されている。

顔動作情報生成部１１４は、顔の動作を示す顔動作情報を生成する。さらに詳しくは、顔動作情報生成部１１４は、顔が上下方向又は左右方向に向けられた時の、顔の角度を含む顔の動作が示された顔動作情報を生成する。顔動作情報生成部１１４は、顔の特徴点の座標が変位することにより顔の角度を算出する。なお、顔の角度を算出方法は、どのような方法を用いてもよい。

姿勢特徴点検出部１１５は、顔認識部１１２が認識した人物の動作の特徴点を検出する。人体は、関節を動かすことで、様々な動作を取る。そこで、姿勢特徴点検出部１１５は、人体の関節を動作の特徴点として検出する。姿勢特徴点検出部１１５は、距離画像情報から顔認識部１１２が認識した人物の形状を抽出する。そして、姿勢特徴点検出部１１５は、距離画像情報にて示された人物の形状と、人体パターンとを比較することにより関節を検出する。

ここで、図９は、人体の特徴点が検出された状態を示す説明図である。人体の特徴点は、図９に示すように、黒丸にて表現している。すなわち、図９は、頭部、首、肩、胴体、上腕、前腕、手が動作の特徴点として検出されたことを示している。

図７に戻り、姿勢動作情報生成部１１６は、人物の動作を示した姿勢動作情報を生成する。この姿勢動作情報は、例えば、人物の動作を複数の姿勢の連続として捉えることにより生成される。さらに詳しくは、姿勢動作情報生成部１１６は、姿勢特徴点検出部１１５が検出した人物の関節の座標の変位を示す姿勢動作情報を生成する。

移動検出部１１７は、人物が歩行などにより移動していることを検出する。また、移動検出部１１７は、人物の移動速度を算出する。煙草や、スマートフォンは、歩行などの移動しながら使用が問題となるため、人物が移動していることを検出する。

例えば、監視カメラ２０が交差点Ｋ（図２参照）に設置されている場合、人物が交差点Ｋに近づくと、顔認識部１１２が検出する顔領域が大きくなる。ここで、図１２は、顔領域の変化を示す説明図である。図１２は、左側の顔から右側の顔となることによって監視カメラ２０に近づいていることを示している。図１２に示すように右側の顔の顔面積は、左側の顔の顔面積より拡大している。移動検出部１１７は、単位時間当たりの顔面積の変化量から人物の速度を算出する。

なお、移動検出部１１７は、顔画像以外の情報から人物の速度を算出してもよい。例えば、距離画像センサ２６は、被写体である人物までの距離が示された距離画像情報を収集する。そのため、移動検出部１１７は、距離画像情報から単位時間当たりの移動距離を算出することができるため、動画に含まれる人物の速度を算出することができる。

判定部１１８は、顔認識部１１２が認識した人物から問題行動を検出する。さらに詳しくは、判定部１１８は、顔認識部１１２が検出した人物が歩き煙草や、歩きスマホ等の問題行動を行っているか否かを判定する。

まず、歩きスマホの判定処理について説明する。判定部１１８は、顔動作情報生成部１１４が生成した顔動作情報が、記憶部１３に記憶された歩きスマホ動作情報１３ａと一致した場合に歩きスマホをしていると判定する。歩きスマホ動作情報１３ａは、歩きスマホをしている場合の顔の特徴点の変位を示した情報を有する。

ここで、図１０は、歩きスマホ時の顔の特徴点の変位を示した説明図である。図１０（ａ）は、俯いたことにより顔特徴点検出部１１３により検出された顔の特徴点が下方に変位した状態を示す。図１０（ｂ）は、顔を上げたことにより顔特徴点検出部１１３により検出された顔の特徴点が上方に変位した状態を示す。スマートフォンを見ながら歩行している人物は、図１０（ａ）の状態と、図１０（ｂ）との状態を繰り返すことになる。歩きスマホ動作情報１３ａには、上述の顔の特徴点の変位を示す情報を有する。そのため、判定部１１８は、歩きスマホ動作情報１３ａと、顔動作情報生成部１１４が生成した顔動作情報とを比較することで、歩きスマホを行っているか否かを判定することができる。

また、判定部１１８は、俯いていると判定する際に、条件を追加してもよい。さらに詳しくは、人物は、歩行している場合に、特に意味もなく俯くことがある。このような場合、人物は、すぐに顔を正面に向ける。一方、スマートフォンなどを見ている場合には、スマートフォンの画面に表示された情報を見るために、所定の期間俯いている。よって、判定部１１８は、所定の期間を超えて俯いている場合に、スマートフォンを見るために俯いていると判定するように条件を加えてもよい。

次に、歩き煙草の判定処理について説明する。判定部１１８は、姿勢動作情報生成部１１６が生成した姿勢動作情報が、記憶部１３に記憶された歩き煙草動作情報１３ｂと一致した場合に歩き煙草をしていると判定する。歩き煙草動作情報１３ｂは、歩き煙草をしている場合の姿勢の特徴点の変位を示した情報を有する。

ここで、図１１は、歩き煙草時の姿勢の特徴点の変位を示した説明図である。図１１（ａ）は、肘を曲げて手を口元に移動させた状態を示す。図１１（ｂ）は、肘を伸ばして手を腰元に移動させた状態を示す。歩き煙草をしている人物は、図１１（ａ）の状態と、図１１（ｂ）との状態を繰り返すことになる。歩き煙草動作情報１３ｂには、上述の姿勢の特徴点の変位を示す情報を有する。そのため、判定部１１８は、歩き煙草動作情報１３ｂと、姿勢動作情報生成部１１６が生成した姿勢動作情報とを比較することで、歩き煙草を行っているか否かを判定することができる。

報知制御部１１９は、スピーカー３０や電子掲示板４０を用いて報知を行う機能部である。具体的には、報知制御部１１９は、移動検出部１１７が算出した人物の移動速度から交差点に差し掛かるまでの時間を算出することで報知する時機を調整する。これにより、報知制御部１１９は、歩きスマホや、歩き煙草をしている人物が交差点に差し掛かった時に、報知することができる。

また、報知制御部１１９は、顔面積の大きさを用いて監視カメラ２０から人物までの距離、すなわち、監視カメラ２０が設置された交差点から人物までの距離を算出する。そして、報知制御部１１９は、算出された速度と、算出された距離とから交差点に差し掛かる時機を算出する。なお、監視カメラ２０が設置された交差点から人物までの距離は、距離画像センサ２６が収集した距離画像情報から算出してもよい。

送信部１２０は、報知制御部１１９の制御に従い、所定の報知情報をスピーカー３０や、電子掲示板４０に送信する。ここで、報知情報とは、スピーカー３０を介して報知される音声情報や、電子掲示板４０を介して報知される文字情報や画像情報などである。報知情報の内容は、例えば、「歩きスマホはやめましょう」または「歩き煙草はやめましょう」などの人物に対して注意するものなどである。または、報知情報の内容は、「歩きスマホをしている人が交差点に近づいています」または「歩き煙草をしている人が交差点に近づいています」などの周囲の人に注意喚起する内容などであってもよい。

図７に戻り、スピーカー３０のＣＰＵ３１は、メモリ３２や記憶部３３に記憶された制御プログラムに従って動作することで、受信部３１１と、音声制御部３１２として機能する。

受信部３１１は、サーバ装置１０から報知情報を受信する。音声制御部３１２は、受信部３１１が受信した報知情報を、音響発生部３５を介して音声により報知する。

電子掲示板４０のＣＰＵ４１は、メモリ４２や記憶部４３に記憶された制御プログラムに従って動作することで、受信部４１１と、表示制御部４１２として機能する。

受信部４１１は、サーバ装置１０から報知情報を受信する。表示制御部４１２は、受信部４１１が受信した報知情報を、表示部４５を介して画面により報知する。

次に、上述した実施形態にかかるサーバ装置１０のＣＰＵ１１及び監視カメラ２０のＣＰＵ２１が制御プログラムに従って実行する検出処理について説明する。ここで、検出処理は、歩きスマホや歩き煙草等の問題行動を行っている人物を検出する処理である。

図１３は、実施形態にかかるサーバ装置１０のＣＰＵ１１及び監視カメラ２０のＣＰＵ２１が制御プログラムに従って実行する検出処理の流れを示すフローチャートである。

まず、監視カメラ２０のＣＰＵ２１（撮像制御部２１１）は、監視カメラ２０の撮像範囲内に存在する被写体の動画を撮像する（ステップＳ１）。動画には、前述したようにカラー画像情報と、距離画像情報と、撮像時刻情報と、が含まれる。

次いで、監視カメラ２０のＣＰＵ２１（送信部２１２）は、サーバ装置１０にカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次送信する（ステップＳ２）。

次いで、サーバ装置１０のＣＰＵ１１（受信部１１１）は、監視カメラ２０からカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次受信する（ステップＳ３）。

次いで、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画から顔認識できるか否かを判定する（ステップＳ４）。受信した動画から顔認識できない場合に（ステップＳ４；Ｎｏ）、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画には、人間は含まれていないとしてステップＳ３に戻り、再度動画を受信する。

一方、受信した動画から顔認識できた場合に（ステップＳ４；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画には、認識された顔の人物を認識する（ステップＳ５）。これにより、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、複数のフレームにわたって連続して映っていても、同一人物として対応付ける。

次いで、サーバ装置１０のＣＰＵ１１（顔特徴点検出部１１３）は、顔を認識した人物の顔の特徴点を検出する（ステップＳ６）。次いで、サーバ装置１０のＣＰＵ１１（姿勢特徴点検出部１１５）は、顔が認識された人物の関節を動作の特徴点を検出する（ステップＳ７）。

次いで、サーバ装置１０のＣＰＵ１１（顔動作情報生成部１１４、姿勢動作情報生成部１１６）は、顔の動作を示す顔動作情報と、人物の動作を示した姿勢動作情報とを生成する（ステップＳ８）。

次いで、サーバ装置１０のＣＰＵ１１（移動検出部１１７）は、認識された人物が歩行など移動しているか否かを判定する（ステップＳ９）。人物が移動していないと判定された場合に（ステップＳ９；Ｎｏ）、サーバ装置１０のＣＰＵ１１（移動検出部１１７）は、ステップＳ３に戻る。歩行などの移動が伴わない所定の動作は、問題行動に該当せず、報知対象ではないためステップＳ３に戻る。

人物が移動していると判定された場合に（ステップＳ９；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（判定部１１８）は、生成された顔動作情報及び姿勢動作情報から所定の動作が検出されるか否かを判定する（ステップＳ１０）。さらに詳しくは、サーバ装置１０のＣＰＵ１１（判定部１１８）は、生成された顔動作情報及び姿勢動作情報と、記憶部１３に記憶された歩きスマホ動作情報１３ａ及び歩き煙草動作情報１３ｂと比較して所定の動作が検出されるか否かを判定する。

生成された顔動作情報及び姿勢動作情報から所定の動作が検出されない場合に（ステップＳ１０；Ｎｏ）、サーバ装置１０のＣＰＵ１１（判定部１１８）は、ステップＳ３に戻る。

一方、生成された顔動作情報及び姿勢動作情報から所定の動作が検出された場合に（ステップＳ１０；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（判定部１１８）は、検出された動作回数が所定の回数に達したか否かを判定する（ステップＳ１１）。検出された動作回数が所定の回数に達していない場合に（ステップＳ１１；Ｎｏ）、サーバ装置１０のＣＰＵ１１（判定部１１８）は、ステップＳ３に移行する。

一方、検出された動作回数が所定の回数に達した場合に（ステップＳ１１；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（判定部１１８）は、報知の対象となる問題行動と判定（ステップＳ１２）、ステップＳ３に戻る。

以上のように、サーバ装置１０のＣＰＵ１１は、検出処理の停止が入力されるまで繰り返す。

次に、上述した実施形態にかかるサーバ装置１０のＣＰＵ１１、スピーカー３０のＣＰＵ３１及び電子掲示板４０のＣＰＵ４１が制御プログラムに従って実行する報知処理について説明する。ここで、図１４は、実施形態にかかるサーバ装置１０のＣＰＵ１１、スピーカー３０のＣＰＵ３１及び電子掲示板４０のＣＰＵ４１が制御プログラムに従って実行する報知処理の流れを示すフローチャートである。

まず、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、上述の問題行動と判定された場合に、報知時機を算出する（ステップＳ２１）。

次いで、サーバ装置１０のＣＰＵ１１（移動検出部１１７）は、問題行動と判定された人物が移動しているか否かを判定する（ステップＳ２２）。問題行動と判定された人物が移動を停止した場合には、歩き煙草や、歩きスマホなどの問題行動に該当しないこととなる。よって、報知する必要がないため、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、移動が検出されるか否かを判定する。

問題行動と判定された人物の移動が検出されない場合に（ステップＳ２２；Ｎｏ）、サーバ装置１０のＣＰＵ１１（移動検出部１１７）は、報知する必要がないとしてステップＳ２１に戻る。

一方、問題行動と判定された人物の移動が検出された場合に（ステップＳ２２；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、報知時機となったか否かを判定する（ステップＳ２３）。報知時機となっていない場合に（ステップＳ２３；Ｎｏ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、ステップＳ２２に戻る。

一方、報知時機となった場合に（ステップＳ２３；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（送信部１２０）は、報知情報をスピーカー３０及び電子掲示板４０に送信し（ステップＳ２４）、ステップＳ２１に戻る。

次いで、スピーカー３０のＣＰＵ３１（受信部３１１）及び電子掲示板４０のＣＰＵ４１（受信部４１１）は、それぞれ報知情報を受信する（ステップＳ２５）。

次いで、スピーカー３０のＣＰＵ３１（音声制御部３１２）及び電子掲示板４０のＣＰＵ４１（表示制御部４１２）は、それぞれ報知する（ステップＳ２６）。さらに詳しくは、スピーカー３０のＣＰＵ３１（音声制御部３１２）は、音響発生部３５を介して音声により報知する。また、電子掲示板４０のＣＰＵ４１（表示制御部４１２）は、表示部４５を介して画面により報知する。

以上のように、サーバ装置１０のＣＰＵ１１は、報知処理の停止が入力されるまで繰り返す。

以上のように、本実施形態の報知システム１によれば、監視カメラ２０は、カラー画像センサ２５と距離画像センサ２６とによって撮像された動画をサーバ装置１０に送信する。動画を受信したサーバ装置１０は、動画に含まれるカラー画像情報と距離画像情報とから、動画に含まれる人物を検出する。そして、サーバ装置１０は、検出された人物の顔動作情報及び姿勢動作情報を生成し、記憶部１３に記憶された歩きスマホ動作情報１３ａ及び歩き煙草動作情報１３ｂと比較することで問題行動を検出する。サーバ装置１０は、問題行動を検出した場合に、報知情報をスピーカー３０及び電子掲示板４０に送信する。よって、サーバ装置１０は、所定の動作を報知することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、上記実施形態では、判定部１１８は、歩きスマホの判定を顔画像で判定すると説明している。しかしながら、判定部１１８は、姿勢動作情報生成部１１６が生成した姿勢動作情報を加味して歩きスマホを判定してもよい。具体的には、歩きスマホをしている場合、スマートフォンを見るためにスマートフォンを持った手を顔に近づける。よって、手を顔に近づける動作を歩きスマホの条件に加えてもよい。これにより、歩きスマホの判定精度を高めることができる。

なお、上記実施形態では、問題行動として歩き煙草や歩きスマホを例に挙げて説明したが、問題行動は、歩行以外の手段により移動している場合も含まれる。例えば、問題行動には、自転車や、自動二輪車を運転しながらの喫煙や、スマートフォンの操作も含まれる。

なお、上記実施形態では、判定部１１８は、所定の動作が繰り返された場合に、問題行動であると判定する。しかしながら、判定部１１８は、所定の動作が繰り返されなくとも問題行動であると判定してもよい。例えば、歩きスマホをしている人物は、手元のスマートフォンを見るために、しばらく俯いたまま歩行する場合がある。このような場合には、人物は、俯いた状態と、顔を上げた状態とを繰り返さない。よって、俯いた状態が所定時間を超えて継続された場合に、報知する形態であってもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ 報知システム
１０ サーバ装置
１１ ＣＰＵ
２０ 監視カメラ
３０ スピーカー
４０ 電子掲示板
１１１ 受信部
１１２ 顔認識部
１１３ 顔特徴点検出部
１１４ 顔動作情報生成部
１１５ 姿勢特徴点検出部
１１６ 姿勢動作情報生成部
１１７ 移動検出部
１１８ 判定部
１１９ 報知制御部
１２０ 送信部

特開２０１３−０６５１１９号公報

Claims (6)

1. 道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する受信手段と、
   前記受信手段が受信した画像から、当該画像に含まれる人物を検出する第１検出手段と、
   前記第１検出手段により検出された人物の動作を前記画像から検出する第２検出手段と、
   前記第２検出手段が所定の動作を検出した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する出力手段と、
   を備える情報処理装置。
2. 前記第１検出手段により検出された人物が移動中であるか否かを判定する判定手段を更に備え、
   前記出力手段は、前記判定手段が前記画像に含まれる人物は移動中であると判定し、且つこの移動動作以外の所定の動作を前記第２検出手段が検出した場合に、前記報知装置に情報を出力する請求項１に記載の情報処理装置。
3. 前記受信手段が受信した画像から前記第１検出手段が検出した人物の移動速度を算出する算出手段を更に備え、
   前記出力手段は、前記算出手段が算出した移動速度に基づいて、前記報知装置に情報を出力する時機を制御する請求項１又は２に記載の情報処理装置。
4. 前記受信手段は、前記撮像部から被写体との距離を示す距離情報を含んだ前記画像を受信し、
   前記算出手段は、前記受信手段が受信した距離情報に基づいて、前記第１検出手段が検出した人物の移動速度を算出する請求項３に記載の情報処理装置。
5. 前記出力手段は、前記第２検出手段が前記画像に含まれる人物が所定の動作を繰り返し行っていることを検出した場合に、前記報知装置を動作させる請求項３に記載の情報処理装置。
6. 撮像装置と、情報処理装置と、報知装置と、を備えた報知システムであって、
   前記撮像装置は、道路上の所定領域を撮像する撮像部を備え、
   前記情報処理装置は、道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する受信手段と、
   前記受信手段が受信した画像から、当該画像に含まれる人物を検出する第１検出手段と、
   前記第１検出手段により検出された人物の動作を前記画像から検出する第２検出手段と、
   前記第２検出手段が所定の動作を検出した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する出力手段と、を備え、
   前記報知装置は、前記道路上に設けられ、前記情報処理装置から出力された情報を用いて報知する報知システム。