JP2019144861A - 安全判定装置、安全判定システム、安全判定方法 - Google Patents

Abstract

【課題】作業員の安全が確保できているか否かを簡易・迅速に把握できる安全判定装置、安全判定システム及び安全判定方法を提供する。【解決手段】安全判定装置３０は、作業員の視線に向けて撮影するカメラで撮影された画像を入力する画像入力部３０ａと、画像の画像領域内において作業対象物を画像認識する物認識部３０ｂと、画像の画像領域内において前記作業員の手を画像認識する手認識部３０ｃと、画像の画像領域内において前記作業対象物と前記手とが重なっているか否かを判定する行為判定部３０ｄと、行為判定部が作業対象物と作業員の手とが重なっていると判定した場合、作業員が前記作業対象物との関係において、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する条件判定部３０ｅと、を備える。【選択図】図４

Description

本発明は、安全判定装置、安全判定システム、安全判定方法に関する。

例えば、作業員が安全手順に沿って作業しているか否かを確認する作業安全計画管理システムが知られている。（例えば特許文献１）。

特開２００８−１４６５０２号公報

特許文献１には、作業場、作業場の機械、安全具または作業者に夫々を識別するＩＤ−ＴＡＧを付設し、該ＩＤ−ＴＡＧの認識符号に基づいて作業者の作業が安全手順に沿って行われているか否かを、自動的に確認するシステムが開示されている。しかし、このシステムでは、作業員や作業対象物にＩＤ−ＴＡＧを付設する必要があるため、ＩＤ−ＴＡＧを付設するための手間とコストがかかり、さらに、ＩＤ−ＴＡＧを付設すべき作業対象物にＩＤ−ＴＡＧを付設し忘れた場合には作業の安全確認ができない虞があった。

前述した課題を解決する主たる本発明は、作業員の視線に向けて撮影するカメラで撮影された画像を入力する画像入力部と、前記画像の画像領域内において作業対象物を画像認識する物認識部と、前記画像の画像領域内において前記作業員の手を画像認識する手認識部と、前記画像の画像領域内において前記作業対象物と前記手とが重なっているか否かを判定する行為判定部と、前記行為判定部が前記作業対象物と前記作業員の手とが重なっていると判定した場合、前記作業員が前記作業対象物との関係において、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する条件判定部と、を備える。
本発明の他の特徴については、添付図面および本明細書の記載により明らかとなる。

本発明によれば、作業員の安全が確保できているか否かを、画像処理技術を用いて簡易・迅速に把握できるため、作業員の作業の安全性の向上が図れる。

安全判定システムの構成の一例を示す図である。 安全判定装置の構成の一例を示す図である。 安全判定装置のハードウェア構成の一例を示す図である。 安全判定装置のソフトウェア構成の一例を示す図である。 監視装置のハードウェア構成の一例を示す図である。 監視装置のソフトウェア構成の一例を示す図である。 安全判定装置の処理フローの一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定装置の処理の具体的な一例を示す図である。 安全判定システムの処理フローの一例を示す図である。 安全判定システムの構成の一例を示す図である。 安全判定システムの処理の具体的な一例を示す図である。 安全判定システムの処理の具体的な一例を示す図である。

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下の説明において、同一符号を付した部分は同一の要素を表し、その基本的な構成および動作は同様であるものとする。

＝＝＝安全判定システム１の構成＝＝＝
図１〜図１７を参照しつつ、安全判定システム１について説明する。図１は、安全判定システム１の構成の一例を示す図である。安全判定システム１は、作業員の作業の安全が確保されているか否かを、画像処理技術を用いて判定するシステムである。図１に示すように、安全判定システム１は、例えば、作業員が装着するカメラ１０と、センサー２０と、安全判定装置３０と、監視員が装着する監視カメラ４０と、監視装置５０と、を含んで構成されている。なお、図１においては安全判定装置３０がカメラ１０と別体で構成されているように示しているが、これに限定されず、安全判定装置３０はカメラ１０に内蔵されて一体で構成されていてもよい。また、監視装置５０が監視カメラ４０と別体で構成されているように示しているが、これに限定されず、監視装置５０は監視カメラ４０に内蔵されて一体で構成されていてもよい。また、図１では、データの流れを矢印で示している。

＜＜カメラ１０＞＞
カメラ１０は、例えば作業員の視線方向の作業対象物を撮影する装置である。カメラ１０は、例えば単板式または多板式のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、画角の広いレンズ（広角レンズ）をはじめとする複数の構成部品によって構成され、赤外線モードを有していることが望ましい。ただし、その仕様が限定されるものではない。また、カメラ１０は、例えば安全判定装置３０の第１通信部と無線通信または有線通信する機能を有し、無線通信または有線通信により画像情報を安全判定装置３０に送信することができる。

＜＜センサー２０＞＞
センサー２０は、例えば、作業員が装着し、作業員の体調を計測する装置である。センサー２０は、例えば、体温計、血圧計、心拍数計など、作業員の体の状態を計測するものである。センサー２０は、安全判定装置３０に計測した結果を示す計測信号を出力することができる。

＜＜安全判定装置３０＞＞
安全判定装置３０は、画像処理技術を用いることにより、作業員が作業対象物に対して作業をする際に作業の安全が確保されているか否かを判定する装置である。図２に示すように、作業員が携帯する安全判定装置３０は、カメラ１０で撮影された画像情報をカメラ１０から受信し、画像情報に基づいて作業員の安全が確保されているか否かを判定する。なお、図２において、破線矢印は撮影方向を示し、実線矢印は情報の流れを示す。このような安全判定装置３０は、以下に示すハードウェア構成およびソフトウェア構成を備える。

図３は、安全判定装置３０のハードウェア構成の一例を示す図である。図３に示すように、安全判定装置３０のハードウェアは、プロセッサ３１と、メモリ３２と、記憶装置３３と、入力装置３４と、出力装置３５と、第１通信装置３６と、を含んで構成されている。プロセッサ３１は、例えば、ＭＰＵ、ＣＰＵなどである。メモリ３２は、例えば、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭなどである。記憶装置３３は、例えば、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭなどである。入力装置３４は、ユーザから操作入力を受け付けるユーザインタフェースであり、例えば、操作入力装置（キーボード、マウス、タッチパネル等）、音声入力装置（マイクロフォン等）などである。出力装置３５は、各種情報をユーザに提供するユーザインタフェースであり、例えば、表示装置（液晶モニタ等）、音声出力装置（スピーカ等）などである。出力装置３５は、例えば、危険信号に基づいて表示画面（不図示）に危険状態であることを表示し、または危険状態であることをスピーカで音声出力する。第１通信装置３６は、ネットワークに接続するためのインタフェースであり、例えば、無線ＬＡＮアダプタ、ＮＩＣ（Network Interface Card）などである。

図４は、安全判定装置３０のソフトウェア構成の一例を示す図である。図４に示すように、安全判定装置３０のソフトウェアは、画像入力部３０ａと、物認識部３０ｂと、手認識部３０ｃと、行為判定部３０ｄと、条件判定部３０ｅと、信号受信部３０ｆと、の機能を有する。これらの機能は、例えば、安全判定装置３０のプロセッサ３１がメモリ３２に格納されているプログラムを読み出して実行することで実現される。なお、これらの機能は、例えば、ＡＳＩＣなどのハードウェアにより実現されてもよい。また、該プロセッサ３１が外部記憶媒体に格納されているプログラムを読み出して実行することにより実現されてもよい。なお、図３においては、安全判定装置３０が１台の情報処理装置（コンピュータ）で各機能を実現しているように示しているがこれに限定されない。例えば、上述した各機能を２台以上の情報処理装置で分散して実現するように構成されていてもよい。安全判定装置３０のソフトウェア構成の各機能について、以下のとおり説明する。

画像入力部３０ａは、カメラ１０で撮影された撮影画像を入力する機能である。画像入力部３０ａは、入力された撮影画像を物認識部３０ｂおよび手認識部３０ｃに送信する。なお、図１においては、カメラ１０から直接的に撮影画像が画像入力部３０ａに入力されるように示しているが、これに限定されない。例えば、安全判定装置３０は、カメラ１０から外部に設置されたサーバ装置（不図示）に送信し、該サーバ装置から撮影画像が画像入力部３０ａに入力されるように構成していてもよい。

物認識部３０ｂは、撮影画像に写る作業対象物を認識する機能である。物認識部３０ｂは、例えば、画像補正、画質改善、画像協調などの前処理を実行して、入力された撮影画像に含まれる雑音を除去し、作業対象物の特徴を抽出することで作業対象物を認識する。物認識部３０ｂは、画像上で認識された作業対象物を示す作業対象物情報を、行為判定部３０ｄに送信する機能を有する。

上述した作業対象物を認識する物認識部３０ｂの機能について、図８を参照しつつ一例を述べると、作業対象物がキュービクル１００のハンドル１１０である場合、例えば画像の破線で囲われた中央部にハンドル１１０が写ったとき、物認識部３０ｂは例えばハンドル１１０の輪郭を自動抽出して（例えば図８の太線）、抽出された輪郭と予め記憶している物輪郭情報とを照合することにより作業対象物のハンドル１１０を認識する。なお、上記は一例であって、作業対象物を画像認識する手法については、例えばニューラルネットワークを用いて作業対象物の画像を学習させて作業対象物を認識する手法などを用いてもよく、その手法が限定されるものではない。その他の例については、後述する安全判定装置３０の動作手順にて説明する。

手認識部３０ｃは、撮影画像に写る作業員の手を認識する機能である。手認識部３０ｃは、例えば、前処理として所定の色を示す領域を抽出し、雑音除去などを行って、作業員の手の領域のみを抽出する。このとき、手認識部３０ｃは、手の色も認識する。手認識部３０ｃは、このように抽出された手の領域の輪郭を追跡して手の輪郭を特定する（例えば図８の太線）。手認識部３０ｃは、例えば手の輪郭の円形度を算出して、作業員の手であることを認識する。手認識部３０ｃは、画像上で認識された作業員の手を示す手情報を、行為判定部３０ｄに送信する機能を有する。

上述した作業員の手を認識する手認識部３０ｃの機能について、図８を参照しつつ一例を述べると、画像の破線で囲われた中央部に手が写ったとき、手認識部３０ｃは、例えば手の肌色の領域を抽出し、手の領域のみを抽出することで、作業員の手の輪郭を特定する。なお、作業員が絶縁手袋を着用している場合は、例えばオレンジ色の領域を抽出して、作業員の手の輪郭を特定する。特定された手の輪郭と、予め記憶している手輪郭情報とを照合することにより、作業員の手を認識する。なお、上記は一例であって、手を画像認識する手法については、例えばニューラルネットワークを用いて手の画像を学習させて手を認識する手法などを用いてもよく、その手法が限定されるものではない。その他の例については、後述する安全判定装置３０の動作手順にて説明する。

行為判定部３０ｄは、撮影画像に写る作業対象物と作業員の手とが重なったことを判定する機能である。行為判定部３０ｄは、作業対象物情報と手情報とに基づいて、画像認識された作業対象物に作業員の手が画像上で重なることを認識する。具体的に述べると、行為判定部３０ｄは、例えば、ハンドル１１０の銀色領域と、手の肌色領域または絶縁手袋の色領域と、が重なったときに変化するハンドル１１０の輝度値と所定の閾値とを比較することにより、ハンドル１１０と手との重なりを検出する。なお、上記は一例であって、作業対象物と作業員の手との重なりを画像認識する手法については、例えばニューラルネットワークを用いて作業対象物と作業員の手とが重なっている画像を学習させて、重なりを認識する手法などを用いてもよく、その手法が限定されるものではない。行為判定部３０ｄは、作業対象物と手との重なりを検出した結果を示す第１判定信号を、条件判定部３０ｅに送信する機能を有する。本機能により、作業員が実際に作業をしようとしている状況で生じる、作業対象物と作業員の手の重なりを判定することで、作業の安全が図られているか否かの判定の契機を創出できる。

条件判定部３０ｅは、第１判定信号または第２判定信号を受信した際に、作業員が作業対象物との関係において所定の条件を満たしているか否かを判定する機能である。条件判定部３０ｅは、第１判定信号と第２判定信号の両方またはいずれか一方を受信したときに、所定の条件を満たしていると判定した場合、作業員の安全が確保されていないと判断して、作業員が危険状態であることを示す危険信号を送信する。また、条件判定部３０ｅは、第１判定信号と第２判定信号の両方またはいずれか一方を受信したときに、所定の条件を満たしていないと判定した場合、作業員の安全が確保されていると判断して作業員の安全を示す安全信号を送信してもよい。所定の条件については、後述する安全判定装置３０および安全判定システム１の動作手順にて例示する。

信号受信部３０ｆは、センサー２０で計測した計測情報を受信する機能である。信号受信部３０ｆは、計測情報を条件判定部３０ｅに出力する。これにより、条件判定部３０ｅは、所定の条件を満たしているか否かの判定に計測情報を用いることができる。

＜＜監視カメラ４０＞＞
監視カメラ４０は、例えば作業員を監視する監視員の視線方向の作業員を撮影する装置である。例えば単板式または多板式のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、画角の広いレンズ（広角レンズ）をはじめとする複数の構成部品によって構成され、赤外線モードを有していることが望ましい。ただし、その仕様が限定されるものではない。また、監視カメラ４０は、例えば監視装置５０の第２通信部と無線通信または有線通信する機能を有し、無線通信または有線通信により監視画像情報を監視装置５０に送信する。

＜＜監視装置５０＞＞
監視装置５０は、作業員を監視する監視員が確認する装置であって、作業員が作業対象物に対して作業をする際に作業の安全が確保されているか否かを、画像処理技術を用いて判定する装置である。監視装置５０を設けることにより、作業員が所定の動作を伴っているか否かを把握できるため、安全判定装置３０のみによる安全判定よりも、安全性を向上できる。

図５は、監視装置５０のハードウェア構成の一例を示す図である。図５に示すように、監視装置５０のハードウェアは、プロセッサ５１と、メモリ５２と、記憶装置５３と、入力装置５４と、出力装置５５と、第２通信装置５６と、を含んで構成されている。プロセッサ５１は、例えば、ＭＰＵ、ＣＰＵなどである。メモリ５２は、例えば、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭなどである。記憶装置５３は、例えば、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭなどである。入力装置５４は、ユーザから操作入力を受け付けるユーザインタフェースであり、例えば、操作入力装置（キーボード、マウス、タッチパネル等）、音声入力装置（マイクロフォン等）などである。出力装置５５は、各種情報をユーザに提供するユーザインタフェースであり、例えば、表示装置（液晶モニタ等）、音声出力装置（スピーカ等）などである。出力装置５５は、例えば、判定信号に応じて表示画面（不図示）に判定結果を表示し、または判定結果をスピーカで音声出力する。第２通信装置５６は、ネットワークに接続するためのインタフェースであり、例えば、無線ＬＡＮアダプタ、ＮＩＣ（Network Interface Card）などである。

図６は、監視装置５０のソフトウェア構成の一例を示す図である。図６に示すように、監視装置５０のソフトウェアは、監視画像入力部５０ａと、対象認識部５０ｂと、人認識部５０ｃと、監視判定部５０ｄと、の機能を有する。これらの機能は、例えば、監視装置５０のプロセッサ５１がメモリ５２に格納されているプログラムを読み出して実行することで実現される。なお、これらの機能は、例えば、ＡＳＩＣなどのハードウェアにより実現されてもよい。また、該プロセッサ５１が外部記憶媒体に格納されているプログラムを読み出して実行することにより実現されてもよい。なお、図６において、監視装置５０が１台の情報処理装置（コンピュータ）で各機能を実現しているように示しているがこれに限定されない。例えば、上述した各機能を２台以上の情報処理装置で分散して実現するように構成されていてもよい。監視装置５０のソフトウェア構成の各機能について、以下で説明する。

監視画像入力部５０ａは、監視カメラ４０で撮影された監視画像を入力する機能である。監視画像入力部５０ａは、入力された監視画像を対象認識部５０ｂおよび人認識部５０ｃに送信する。なお、図１においては、監視カメラ４０から直接的に監視画像が監視画像入力部５０ａに入力されるように示しているが、監視カメラ４０から外部に設置されたサーバ装置（不図示）に送信し、該サーバ装置から監視画像が監視画像入力部５０ａに入力されるように構成されていてもよい。

対象認識部５０ｂは、監視画像に写る作業対象物を認識する機能である。対象認識部５０ｂは、例えば、画像補正、画質改善、画像協調などの所謂前処理を実行して、入力された監視画像に含まれる雑音を除去し、対象物の特徴を抽出することで対象物を認識する。対象認識部５０ｂは、画像上で認識された対象物を示す対象物情報を監視判定部５０ｄに送信する機能を有する。なお、対象物を認識する手段については、安全判定装置３０の物認識部３０ｂと同様であるためその説明を省略する。

人認識部５０ｃは、監視画像に写る作業員（人）を認識する機能である。人認識部５０ｃは、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いて作業員を認識する。このＨＯＧ特徴量を用いる人の認識の手法とは、所定のピクセル座標の上下左右両隣の輝度から、勾配方向と強度を収取して数ピクセル単位のセルを対象にヒストグラムを生成し、さらに数セル単位のブロックで正規化することで特徴量を算出して人を認識する手法である。また、人認識部５０ｃは、安全判定装置３０の手認識部３０ｃと同じ機能を有していることが望ましい。なお、上記は一例であって、作業員を画像認識する手法については、例えばニューラルネットワークを用いて作業員の画像を学習させて作業員を認識する手法や、背景画像との差分から作業員を認識する手法などを用いてもよく、その手法が限定されるものではない。人認識部５０ｃは、画像上で認識された作業員を示す作業員情報を、監視判定部５０ｄに送信する機能を有する。

監視判定部５０ｄは、監視画像に写る対象物と作業員とが重なったことを判定する機能である。監視判定部５０ｄは、対象物情報と作業員情報とに基づいて、画像認識された対象物に作業員が画像上で重なったことを認識する。具体的に述べると、監視判定部５０ｄは、例えば、作業対象物の色領域と作業員の色領域とが重なったときに変化する対象物の輝度値と所定の閾値とを比較することにより、対象物と作業員との重なりを検出する。なお、上記は一例であって、重なりを画像認識する手法については、例えばニューラルネットワークを用いて、対象物と作業員とが重なっている画像を学習させて重なりを認識する手法を用いてもよく、その手法が限定されるものではない。監視判定部５０ｄは、対象物と作業員との重なりを検出した結果を示す第２判定信号を、安全判定装置３０に送信する機能を有する。本機能により、作業員が安全手順に沿って作業をしているか否かを把握できる。

なお、上記において作業員が安全判定装置３０を携帯しているように説明したが、これに限定されない。安全判定装置３０は監視装置５０と一体に構成されていてもよく、この場合、監視員が作業員の安全状態を把握できる。

＝＝＝安全判定装置３０の動作手順＝＝＝
図７〜図１３を参照しつつ、作業員が携帯する安全判定装置３０による安全判定の手順について具体例を述べつつ詳細に説明する。なお、以下説明において、各機能を主語にしている場合は、プロセッサ３１がプログラムを読み出して所定の機能を実現することを意味する。

先ず、作業員は作業対象物を確認する。作業員の視線の先を撮影するカメラ１０で作業対象物を撮影する。画像入力部３０ａは、撮影された撮影画像をカメラ１０から取得する（Ｓ１０）。物認識部３０ｂは、取得した撮影画像中の所定の領域で作業対象物を認識する（Ｓ１１）。手認識部３０ｃは、撮影画像中の所定の領域で作業員の手を認識する（Ｓ１２）。行為判定部３０ｄは、作業対象物と作業員の手とが重なることを判定し（Ｓ１３）、判定結果を示す第１判定信号を条件判定部３０ｅに出力する（Ｓ１４）。条件判定部３０ｅは、第１判定信号を受信し、その後、所定の条件が満たされているか否かを判定する（Ｓ１４）。条件判定部３０ｅで判定した結果、作業員が危険状態で作業していると判定される場合、条件判定部３０ｅは危険信号を出力し、該危険信号が入力された出力装置１５で危険状態を表示する（Ｓ１６）。上述した処理手順について、具体的ないくつかの事例を用いて以下のとおり説明する。

先ず、一例として、作業員がキュービクル１００内において配線作業をする場合、物認識部３０ｂは、図８（Ａ）に示すようにキュービクル１００のハンドル１１０（作業対象物）を認識し、さらに図９（Ａ）に示すようにキュービクル１００内の配線部１２０（作業対象物）を認識する。手認識部３０ｃは、撮影画像上において作業員の手を認識する。行為判定部３０ｄは、図８（Ｂ）に示すようにハンドル１１０と作業員の手とが重なることを判定する。また、行為判定部３０ｄは、その後、図９（Ａ）、図９（Ｂ）に示すように配線部１２０と作業員の手とが重なることを判定し、判定結果を示す第１判定信号を条件判定部３０ｅに出力する。条件判定部３０ｅは、ハンドル１１０と作業員の手とが重なった後に、配線部１２０と作業員の手とが重なったことを示す第１判定信号を受信するとともに、作業員の手が肌色（所定の条件）か否かを判定する。条件判定部３０ｅは、作業員の手が肌色であると判定した場合（図９（Ａ））、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業において作業員の安全が確保されていないと判定して、出力装置１５に危険信号を出力する。作業員は、出力装置１５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。ここで、作業員が絶縁手袋を着用している場合においては、作業員の手は肌色を示さない（図９（Ｂ））ため、行為判定部３０ｄは、第２判定信号を条件判定部３０ｅに出力しない。この場合、条件判定部３０ｅは、出力装置１５に安全信号を出力してもよい。

また、他の一例として、作業員がクレーンの操作をする場合、物認識部３０ｂは、クレーンの操作ボタン２００（作業対象物）を認識する。手認識部３０ｃは、撮影画像上において、作業員の手を認識する。行為判定部３０ｄは、図１０（Ａ）に示すように操作ボタン２００と作業員の手とが重なることを判定し、第１判定信号を条件判定部３０ｅに出力する。条件判定部３０ｅは、第１判定信号を受信するとともに、過去において、手認識部３０ｃから図１０（Ｂ）に示すような所定の手の形状を示す手情報を受信しているか（所定の条件）否かを判定する。この判定手順は、操作ボタン２００を押下する前に、クレーンのフック２１０などを指差し確認しているか否かを判定する手順である。つまり、条件判定部３０ｅは、過去において所定の手の形状を示す手情報を受信していないと判定した場合、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業での作業員の安全が確保されていないと判定して、出力装置１５に危険信号を出力する。作業員は、出力装置１５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることが認識できる。

また、他の一例として、作業員が鉄塔や電柱に登る場合、物認識部３０ｂは、梯子３００（作業対象物）を認識する。手認識部３０ｃは、撮影画像上において作業員の手を認識する。行為判定部３０ｄは、図１１（Ａ）に示すように梯子３００と作業員の手とが重なることを判定し、第１判定信号を条件判定部３０ｅに出力する。条件判定部３０ｅは、第１判定信号を受信し、その後、物認識部３０ｂが例えば図１１（Ｂ）に示すような鉄塔の踊り場３１０を認識するか（所定の条件）否かを判定する。物認識部３０ｂの鉄塔の踊り場３１０を認識には、例えば、構造的なテクスチャによる解析や、濃度分布による解析、テンプレートマッチングによる解析、ディシジョンツリー法による解析、クラスタリングによる解析などの手法を用いる。条件判定部３０ｅは、物認識部３０ｂが踊り場３１０を認識した場合、作業員が立ち入り禁止の高さまで登っていると判断できるため、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業において作業員の安全が確保されていないと判定して、出力装置１５に危険信号を出力する。作業員は、出力装置１５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。

また、他の一例として、作業員が草刈り機４００で除草作業をする場合、物認識部３０ｂは、草刈り機４００のハンドル４１０（作業対象物）を認識する。手認識部３０ｃは、撮影画像上に作業員の手を認識する。行為判定部３０ｄは、図１２に示すように草刈り機４００のハンドル４１０と作業員の手とが重なることを判定し、第１判定信号を条件判定部３０ｅに出力する。条件判定部３０ｅは、第１判定信号を受信し、その後、信号受信部３０ｆを介してセンサー２０から計測信号を取得する。条件判定部３０ｅは、計測信号が所定の閾値を超えるか（所定の条件）否かを判定し、所定の閾値を超える場合、作業員が体調不良であると判断できるため、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業において作業員の安全が確保されていないと判定して、出力装置１５に危険信号を出力する。作業員は、出力装置１５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。

また、他の一例として、作業員が充電操作を行う場合、安全判定装置３０は、連絡端末５００の連絡ボタン５１０（作業対象物）を認識する。手認識部３０ｃは、撮影画像上に作業員の手を認識する。行為判定部３０ｄは、図１３（Ａ）に示すように連絡ボタン５１０と作業員の手とが重なることを判定し、第１判定信号を条件判定部３０ｅに出力する。条件判定部３０ｅは、第１判定信号を受信するとともに、過去において、物認識部３０ｂが図１３（Ｂ）に示すような乙種アース５２０（判定対象物）を接地極５３０から取り外す状況を認識したか（所定の条件）否かを判定する。この判定手順は、連絡ボタン５１０を押下する前に、乙種アース５２０を接地極５３０から取り外しているか否かを判定する手順である。条件判定部３０ｅは、物認識部３０ｂが乙種アース５２０を接地極５３０から取り外すことを認識した場合、つまり、乙種アース５２０が接地極５３０に取り付けられている状態が継続していない場合、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業での作業員の安全が確保されていないと判定して、出力装置１５に危険信号を出力する。作業員は、出力装置１５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。

＝＝＝安全判定システム１の動作手順＝＝＝
図１４〜図１７を参照しつつ、作業員が携帯する安全判定装置３０および監視員が確認する監視装置５０による、安全判定システム１の安全判定の手順について以下のとおり説明する。

先ず、作業員は作業対象物を確認する。作業員の視線の先を撮影するカメラ１０で作業対象物を撮影する。安全判定装置３０の画像入力部３０ａは、撮影された撮影画像をカメラ１０から取得する（Ｓ２０）。安全判定装置３０の物認識部３０ｂは、取得した撮影画像中の所定の領域で作業対象物を認識する（Ｓ２１）。安全判定装置３０の手認識部３０ｃは、撮影画像中の所定の領域で作業員の手を認識する（Ｓ２２）。安全判定装置３０の行為判定部３０ｄは、作業対象物と作業員の手とが重なることを判定し（Ｓ２３）、判定結果を示す第１判定信号を条件判定部３０ｅに出力する（Ｓ２４）。

次に、監視員は作業員を確認する。例えば、図１５に示すように、作業員がキュービクル１００の点検をする状況においては、監視員の視線の先を撮影する監視カメラ４０で作業員を撮影する。なお、図１５において、破線は撮影方向を示し、実線は情報の流れを示す。監視装置５０の監視画像入力部５０ａは、撮影された監視画像を監視カメラ４０から取得する（Ｓ２５）。監視装置５０の対象認識部５０ｂは、取得した監視画像中の所定の領域で対象物を認識する（Ｓ２６）。監視装置５０の人認識部５０ｃは、監視画像中の所定の領域で作業員を認識する（Ｓ２７）。監視装置５０の監視判定部５０ｄは、対象物と作業員とが重なることを判定し（Ｓ２８）、判定結果を示す第２判定信号を安全判定装置３０の条件判定部３０ｅに出力する（Ｓ２９）。

次に、安全判定装置３０の条件判定部３０ｅは、第１判定信号および第２判定信号を受信するとともに、所定の条件が満たされているか否かを判定する（Ｓ３０）。条件判定部３０ｅで判定した結果、作業員が危険状態で作業していると判定される場合、条件判定部３０ｅは危険信号を出力し、該危険信号が入力された出力装置１５で危険状態を表示する（Ｓ３１）。上述した処理手順について、具体的ないくつかの事例を用いて以下のとおり説明する。

先ず、一例として、作業員が停電中に乙種アース６１０の取り外しを禁止する場合において、安全判定装置３０は、図１６（Ａ）に示すように、乙種アース６１０のハンドル部６２０（作業対象物）および作業員の手を認識するとともに、乙種アース６１０のハンドル部６２０と作業員の手の重なりを認識する。条件判定部３０ｅに、第１判定信号が入力される。次に、監視員は、充電操作を行う作業員を確認する。監視装置５０は、図１６（Ｂ）に示すように、乙種アース６１０のハンドル部６２０（対象物）および作業員を認識するとともに、乙種アース６１０のハンドル部６２０と作業員との重なりを認識する。監視装置５０は、安全判定装置３０の条件判定部３０ｅに第２判定信号を出力する。安全判定装置３０の条件判定部３０ｅは、第１判定信号および第２判定信号に基づいて、乙種アース６１０のハンドル部６２０と作業員の手の重なりを判定した後に、乙種アース６１０のハンドル部６２０と作業員の重なりを判定しているため、停電中に乙種アース６１０が接地極６００から取り外されていると判断し、所定の条件が満たされていると判定する。この場合、条件判定部３０ｅは、該作業での作業員の安全が確保されていないと判定して、出力装置１５，２５に危険信号を出力する。作業員および監視員は、出力装置１５，２５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。

また、他の一例として、作業員が鉄塔や電柱に登る場合、安全判定装置３０は、図１７（Ａ）に示すように、梯子７００（作業対象物）を認識するとともに、梯子７００と作業員の手との重なりを認識する。条件判定部３０ｅに、第１判定信号が入力される。次に、監視員は、梯子７００を登る作業員を確認する。監視装置５０は、梯子７００および作業員を認識する。そして、監視装置５０は、梯子７００と作業員とが重なっているか否かを判定する。監視装置５０は、図１７（Ｂ）に示すように、梯子７００と作業員とが重なっていると判定した場合、条件判定部３０ｅに第２判定信号を出力する。条件判定部３０ｅは、第１判定信号および第２判定信号に基づいて、梯子７００と作業員の手の重なりを判定した後に、梯子７００と作業員の重なりを判定しているため、監視員が作業員を監視している状況で作業員が梯子７００に登っていると判断できることから、作業員の安全が確保できていると判断し、所定の条件が満たされていないと判定する。この場合、条件判定部３０ｅは、作業員が安全状態で作業していると判定した結果を示す安全信号を、出力装置１５，２５に出力する。これにより、作業員および監視員は、出力装置１５，２５に表示される安全表示や安全を知らせる音声出力により安全状態での作業であることを認識できる。なお、条件判定部３０ｅは、第１判定信号を受信した後、監視装置５０から第２判定信号を受信しない場合、該作業において作業員の安全が確保されていないと判定して、出力装置１５，２５に危険信号を出力してもよい。これにより、作業員および監視員は、出力装置１５，２５に表示される危険表示や危険を知らせる音声出力により、危険状態での作業であることを認識できる。

＝＝＝まとめ＝＝＝
以上説明したように、本実施形態に係る安全判定装置３０は、作業員の視線に向けて撮影するカメラ１０で撮影された撮影画像を入力する画像入力部３０ａと、撮影画像の画像領域内において作業対象物を画像認識する物認識部３０ｂと、撮影画像の画像領域内において作業員の手を画像認識する手認識部３０ｃと、撮影画像の画像領域内において作業対象物と手とが重なっているか否かを判定する行為判定部３０ｄと、行為判定部３０ｄが作業対象物と作業員の手とが重なっていると判定した場合、作業員が作業対象物との関係において、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する条件判定部３０ｅと、を備える。本実施形態によれば、作業員自身の視点に基づいて、作業の安全状態が確保できているか否かを容易に把握することができるため、作業の安全性の向上が図れる。

又、本実施形態に係る安全判定装置３０の物認識部３０ｂは、撮影画像における予め定められた画像領域内に作業対象物が存在することを認識する。本実施形態によれば、作業対象物の画像認識を容易にすることができる。

又、本実施形態に係る安全判定装置３０の条件判定部３０ｅは、手認識部３０ｃが撮影画像に基づいて作業員の手の色が所定の色であると認識した場合、所定の条件を満たしていると判定する。本実施形態によれば、作業員が絶縁手袋などの防護具を装着していない状況での作業を防止できる。

又、本実施形態に係る安全判定装置３０の条件判定部３０ｅは、手認識部３０ｃが撮影画像に基づいて作業員の手の形が所定の形であることを認識していない場合、所定の条件を満たしていると判定する。本実施形態によれば、作業員の作業手順中における所定の動作が確認できないことを判定するため、作業員に作業手順を順守させることができる。

又、本実施形態に係る安全判定装置３０の条件判定部３０ｅは、物認識部３０ｂが撮影画像に基づいて所定の設備を認識した場合、所定の条件を満たしていると判定する。本実施形態によれば、作業員が立ち入ってはいけない場所への入場を防止することができる。

又、本実施形態に係る安全判定装置３０は作業員が装着する所定のセンサー２０から出力される信号を受信する信号受信部３０ｆをさらに備え、安全判定装置３０の条件判定部３０ｅは信号受信部３０ｆがセンサー２０から受信する信号に基づいて、所定の条件を満たしているか否かを判定する。本実施形態によれば、作業員の体調に応じて安全状態での作業か危険状態での作業かを判定することができる。

又、本実施形態に係る安全判定装置３０の物認識部３０ｂは、撮影画像の画像領域内において作業対象物とは異なる判定対象物を画像認識し、行為判定部３０ｄは、撮影画像の画像領域内において判定対象物と手とが重なっているか否かを判定し、条件判定部３０ｅは、行為判定部３０ｄが作業対象物と作業員の手とが重なっていると判定した後に、判定対象物と作業員の手との重なりを認識できない場合、所定の条件を満たしていると判定する。作業対象物に対して所定の動作をしたことと、判定対象物に対して所定の動作をしたことと、が満たされていない場合、作業員が危険状態で作業していることを判定できる。

尚、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。

１ 安全判定システム
１０ カメラ
２０ センサー
３０ 安全判定装置
３０ａ 画像入力部
３０ｂ 物認識部
３０ｃ 手認識部
３０ｄ 行為判定部
３０ｅ 条件判定部
３０ｆ 信号受信部
４０ 監視カメラ
５０ 監視装置
５０ａ 監視画像入力部
５０ｂ 対象認識部
５０ｃ 人認識部
５０ｄ 監視判定部

Claims (10)

1. 前記作業員の視線に向けて撮影するカメラで撮影された画像を入力する画像入力部と、
   前記画像の画像領域内において作業対象物を画像認識する物認識部と、
   前記画像の画像領域内において前記作業員の手を画像認識する手認識部と、
   前記画像の画像領域内において前記作業対象物と前記手とが重なっているか否かを判定する行為判定部と、
   前記行為判定部が前記作業対象物と前記作業員の手とが重なっていると判定した場合、前記作業員が前記作業対象物との関係において、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する条件判定部と、
   を備えることを特徴とする安全判定装置。
2. 前記物認識部は、前記画像における予め定められた画像領域内に前記作業対象物が存在することを認識する
   ことを特徴とする請求項１に記載の安全判定装置。
3. 前記条件判定部は、前記手認識部が前記画像に基づいて前記作業員の手の色が所定の色であると認識した場合、前記所定の条件を満たしていると判定する
   ことを特徴とする請求項１または請求項２に記載の安全判定装置。
4. 前記条件判定部は、前記手認識部が前記画像に基づいて前記作業員の手の形が所定の形であることを認識していない場合、前記所定の条件を満たしていると判定する
   ことを特徴とする請求項１または請求項２に記載の安全判定装置。
5. 前記条件判定部は、前記物認識部が前記画像に基づいて所定の設備を認識した場合、前記所定の条件を満たしていると判定する
   ことを特徴とする請求項１または請求項２に記載の安全判定装置。
6. 前記作業員が装着する所定のセンサーから出力される信号を受信する信号受信部
   をさらに備え、
   前記条件判定部は、前記信号受信部が前記センサーから受信する前記信号に基づいて、前記所定の条件を満たしているか否かを判定する
   ことを特徴とする請求項１または請求項２に記載の安全判定装置。8
7. 前記物認識部は、前記画像の画像領域内において前記作業対象物とは異なる判定対象物を画像認識し、
   前記行為判定部は、前記画像の画像領域内において前記判定対象物と前記手とが重なっているか否かを判定し、
   前記条件判定部は、前記行為判定部が前記作業対象物と前記作業員の手とが重なっていると判定した後に、前記判定対象物と前記作業員の手との重なりを認識できない場合、前記所定の条件を満たしていると判定する
   ことを特徴とする請求項１または請求項２に記載の安全判定装置。
8. 請求項１〜請求項７の何れかに記載の安全判定装置と、
   前記作業員が装着し、前記作業員の視線に向けて撮影する前記カメラと、
   を備えた安全判定システム。
9. 前記作業員を監視する監視員の視線に向けて撮影する監視カメラで撮影された監視画像を入力する監視画像入力部と、
   前記監視画像の画像領域内において所定の対象物を画像認識する対象認識部と、
   前記監視画像の画像領域内において前記作業員を画像認識する人認識部と、
   前記画像の画像領域内において、前記対象物と前記作業員とが重なっているか否かを判定する監視判定部と、
   を有する監視装置をさらに備え、
   前記安全判定装置の条件判定部は、
   前記行為判定部が前記作業対象物と前記作業員の手とが重なっていると判定した場合に、前記監視判定部が前記対象物と前記作業員とが重なっていると判定した場合、前記所定の条件を満たしているか否かを判定する
   ことを特徴とする請求項８に記載の安全判定システム。
10. コンピュータが
    作業員の視線に向けて撮影するカメラで撮影された画像を入力する画像入力ステップと、
    前記画像の画像領域内において作業対象物を画像認識する物認識ステップと、
    前記画像の画像領域内において前記作業員の手を画像認識する手認識ステップと、
    前記画像の画像領域内において前記作業対象物と前記手とが重なっているか否かを判定する行為判定ステップと、
    前記行為判定ステップで前記作業対象物と前記作業員の手とが重なっていると判定した場合、前記作業員が前記作業対象物との関係において、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する条件判定ステップと、
    を実行する安全判定方法。
    

Images