JP2014115700A - 要確認度判定装置、要確認度判定方法、及びプログラム - Google Patents

Abstract

【課題】作業監視者が、作業現場における作業者の視野を撮像した映像の中から、重要な作業に関連する映像を効率よく確認できるようにする。
【解決手段】作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部１０１と、対象物と、作業者が映像中で対象物に対して行っている操作の特徴に基づいて、作業者が行っている作業項目を判定する作業項目マッチング部１０２と、作業者が映像中で対象物に対して行っている操作の特徴と、予め登録されている作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部１０３と、作業項目の重要度と、類似度に基づいて映像中の操作の要確認度を算出する要確認度算出部１０４と、を備える。
【選択図】図１

Description

本発明は、作業監視者の監視業務を支援するための要確認度判定装置、要確認度判定方法、及びプログラムに関する。

工事現場などでの作業の品質管理や安全管理を遠隔で行うシステムが知られている。
例えば、特許文献１には、作業現場で作業をする作業者の作業状況を監視する立会業務を遠隔地から支援するための立会業務支援システムが記載されている。このシステムは、立会業務に必要な情報を通信するためのネットワークと、作業現場に設置されており、所定の装置により撮影された作業現場における作業中の画像情報及び所定の装置により測定された作業現場の環境条件を示す環境情報を収集すると共に、当該収集した画像情報及び環境情報をネットワークを介して送信する情報収集端末と、ネットワークを介して送信された情報収集端末からの画像情報及び環境情報を受信すると共に、当該画像情報及び環境情報に基づいて、少なくとも作業現場の安全性及び作業工程の適正を監視するセンタサーバとを具備している。

特開２００６−２８５６３９号公報

しかしながら、作業現場における作業中の画像情報の量は膨大であり、その中には監視者が確認すべき作業、すなわち重要な作業やミスの起こりやすい作業に関連する画像と、それほど重要ではない画像が含まれる。監視業務を効率的に行うためには、重要な作業の画像を優先的に確認できるようにすることが望ましい。しかし、特許文献１に記載の方法では、重要な作業に関連する映像であるか否かを効率よく区別することはできなかった。

そこで、本発明は、作業監視者が、作業現場における作業者の視野を撮像した映像の中から、重要な作業に関連する映像を効率よく確認できるようにすることを一つの目的とする。

本発明に係る要確認度判定装置は、作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部と、前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する作業項目マッチング部と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部と、前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する要確認度算出部と、を備えている。

本発明によれば、作業監視者が、作業現場における作業者の視野を撮像した映像の中から、重要な作業に関連する映像を効率よく確認することができる。

本発明の実施の形態による、要確認度判定装置の構成を示すブロック図。 本発明の実施の形態による、要確認度判定装置を用いた遠隔監視システムの概要を示す図。 本発明の実施の形態による、要確認度判定装置の動作を示すフローチャート。

次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施の形態による要確認度判定装置１０の構成を示すブロック図である。図に示すように、要確認度判定装置１０は、対象物検出部１０１、作業項目マッチング部１０２、項目内容類似度算出部１０３、要確認度算出部１０４、対象物データ記憶部１０５、作業内容データ記憶部１０６、表示装置１２０、入力装置１３０を備えている。

要確認度判定装置１０は、作業現場で作業をする作業者の作業状況を監視者が遠隔地から監視することを支援する。図２は、要確認度判定装置１０を用いた遠隔監視システムの概要を示す図である。図に示すように、要確認度判定装置１０は、作業現場で作業する作業者６０に付帯するカメラ６１やセンサ６２と、通信回線５０を介して接続されている。カメラ６１によって取得された作業者の視野画像や、センサ６２によって取得された作業者の手の動きに関するデータが通信回線５０を介して要確認度判定装置１０に送信される。

要確認度判定装置１０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のコンピュータを適用することができる。なお、要確認度判定装置１０は、単一のコンピュータにより構成されるものであっても、通信回線を介して互いに接続された複数のコンピュータにより構成されるものであってもよい。

対象物検出部１０１、作業項目マッチング部１０２、項目内容類似度算出部１０３、及び要確認度算出部１０４は、ＣＰＵがＲＯＭ等に格納された所定のプログラムを実行することにより実現される機能のモジュールに相当する。要確認度算出部１０４、対象物データ記憶部１０５、作業内容データ記憶部１０６は、外部記憶装置により実装される。外部記憶装置は、要確認度判定装置１０とネットワーク等を介して接続されていてもよい。

対象物データ記憶部１０５には、作業者の作業対象となる対象物の画像データが登録されている。対象物は、例えばネジやボルトなどの部品や作業ツールなどである。画像データは各コーナー点に該当する位置の座標や、輝度が大きく変化する位置の情報を含むようにしてもよい。

作業内容データ記憶部１０６には、対象物に対する作業者の作業項目について、その作業の理想的な操作内容と、作業の重要度の情報が登録されている。理想的な操作内容には、行うべき動作の項目、各動作の正しい順序、各動作にかかる標準時間、動作を行う際の視点の動き、動作をおこなう際の手の動き等の情報が含まれる。作業の重要度は、重要な作業やミスの起こりやすい作業ほど高く設定されている。

表示装置１２０は、ディスプレイ等の表示装置であり、要確認度判定装置１０のＣＰＵから出力される画像信号を受けて、各種画像を表示するものである。
表示装置１２０には、現場で作業する作業者の視野画像が表示される。作業者の視野画像、動作画像データは、作業者が装着しているカメラを介して取得され、通信回線を介して要確認度判定装置１０に送信される。

入力装置１３０は、マウスやキーボード等を含む各種デバイスであり、ユーザが要確認度判定装置１０に対して各種情報の入力を行う際に使用される。

次に、要確認度判定装置１０の動作について説明する。
図３は、要確認度判定装置１０の動作のフローチャートである。まず、作業者のカメラから、作業者の視野画像が送信され要確認度判定装置１０の対象物検出部１０１に入力される（ステップＳ１）。

次に、対象物検出部１０１は、入力された視野画像の中から、対象物データ記憶部１０５に登録されている対象物の画像を検出する（ステップＳ２）。
対象物の画像の検出は、例えば、対象物データ記憶部１０５に登録されている各々の画像データと、視野画像とのテンプレートマッチングにより行うことができる。

次に、作業項目マッチング部１０２において、作業者がステップＳ２で検出された対象物に対して行っている操作の作業項目を判定する（ステップＳ３）。

作業項目マッチング部１０２には、作業者のカメラから送信される視野画像の他、作業者が腕に装着している加速度センサを介して送られてくる手の動き（速度、角度等）の情報が入力される。作業項目マッチング部１０２は、作業内容データ記憶部１０６に登録されている作業項目ごとの操作内容の情報と、作業者のカメラからの視野画像や加速度センサからの手の動きの情報とを比較し、作業者が現在行っている作業項目を判定する。なお、合致する作業項目は１つに限らず複数選択してもよい。

次に、項目内容類似度算出部１０３において、作業者が実際に対象物に対して行っている作業の内容と、作業内容データ記憶部１０６に登録されている作業項目の操作内容の類似度を算出する（ステップＳ４）。

項目内容類似度算出部１０３には、作業者のカメラから送信される視野画像、加速度センサから送信される手の動きの情報に加え、赤外線の角膜反射を利用して取得した作業者の視点の動きの情報が入力される。項目内容類似度算出部１０３は、作業者の視野画像、加速度センサからの手の動きの情報、及び作業者の視点の動きの情報等に基づいて、作業内容データ記憶部１０６に登録されている、ステップＳ３で特定された作業項目の理想的な操作内容と、作業者が実際に行っている作業を比較し、類似度を算出する。

具体的には、行うべき各動作が正しい順序で行われていない、行うべき動作に含まれていない動作を行っている、個々の動作にかかる時間が標準時間と異なっている、動作を行う際の視点の動きや手の動きが異なっている、などと判定された場合には、それぞれの程度に応じて類似度は低下する。

なお、ステップＳ３で、作業項目が複数選択されている場合には、それぞれの作業項目について類似度を算出する。

次に、要確認度算出部１０４において、ステップＳ４で算出された類似度と、作業内容データ記憶部１０６に登録された作業項目の重要度に基づいて、作業者が行っている作業の要確認度を算出する（ステップＳ５）。

要確認度算出部１０４は、作業項目の重要度が高いほど、また操作の類似度が低いほど要確認度を高くする。また、要確認度算出部１０４は、類似度が予め定められた一定値以上である場合にのみ要確認度を算出するようにしてもよい。

また、複数の作業項目について類似度が算出されている場合には、類似度が最も高い作業項目についてのみ要確認度を算出してもよい。

要確認度算出部１０４は、要確認度と、対応する作業者の操作の映像が収録された時刻の情報を組み合わせたリストを表示装置１２０に出力するようにしてもよい。リストは要確認度の高い順に表示されるようにしてもよい。

また、要確認度算出部１０４は、要確認度が一定値以上であった操作の映像を抽出し、表示装置１２０に表示するようにしてもよい。映像は、視野画像が所定の区間単位に分割されたものである。分割の方法は、一定時間毎に映像を分割してもよいし、視野画像から得られる動作の変化や被写体の変化から作業の変化点を検知し、作業単位に分割してもよい。
または、要確認度算出部１０４は、要確認度が一定値以上であった操作の映像の中から、代表的な静止画像を抽出して表示するようにしてもよい。

次に、具体例を用いて要確認度の算出方法を説明する。
現場の作業者は、視野画像を撮像するカメラと、両手に装着する加速度センサと、赤外線視線検出装置を装着している。

作業者が部品１（対象物）をボルトＡとボルトＢで部品２に止めつける動作の映像がカメラを通して取得され要確認度判定装置１０に送信される。要確認度判定装置１０の対象物検出部１０１は、部品１を対象物として検出する。

次に、作業項目マッチング部１０２は、視野画像および加速度センサによる手の動きの情報から、作業者が行っている作業項目は「部品１を部品２へ止めつける。」であると判断する。

次に、項目内容類似度算出部１０３は、作業内容データ記憶部１０６に登録されている作業項目「部品１を部品２へ止めつける。」の理想的な操作パターン「作業手順（部品１をボルトＡ、ボルトＢの順で部品２に止める）、作業中の視点の移動および手の動き（この位置を見ながら、この位置を手で押さえながら止める）、作業時間（１０分）」と、実際の作業者の動作を比較し、類似度を算出する。ボルトを止める順序が違っていたり、視点の位置が異なっていたり、作業時間が１０分を大きく上回っている場合、または下回っている場合には類似度は低くなる。

要確認度算出部１０４は、算出された類似度を、作業項目「部品１を部品２へ止めつける。」の重要度で重み付けすることにより要確認度を算出する。

以上のように、本実施形態によれば、監視者は、出力された要確認度に基づいて、対応する作業の映像を確認するか否かを判断することができる。また、作業の映像が複数ある場合には、要確認度の高いものから優先的に確認したり、要確認度が一定値以下のものについては確認不要と判断したりすることができる。

なお、作業内容データ記憶部１０６に登録される各作業項目の理想的な操作内容には、対象物に対する動作に加えて、周囲環境や施工計画に応じた動作も含むようにしてもよい。例えば、作業中に異常音が発生した場合には特定のケーブルが所定の部分に接続されているか確認する、水場が近い場合には腐食防止のための資材を設置する、などが挙げられる。

また、熟練作業者に付帯したカメラやセンサで取得された動作の中から、作業内容データ記憶部１０６に登録されていない動作パターンを抽出して蓄積し、それらの動作パターンを理想的な動作パターンとして作業内容データ記憶部１０６に追加するようにしてもよい。

また、作業項目の重要度は、監視者自身が過去に間違った動作を行った項目については高く設定することができるようにしてもよい。あるいは、多くの作業者が過去に間違った動作を行った項目については高く設定することができるようにしてもよい。また、直前の作業との関連度が高い作業については、重要度を高くするようにしてもよい。

また、同時刻に検出された他の作業者の作業内容に基づいて重要度を設定するようにしてもよい。例えば、作業者Ａがクレーンで物を運ぶ作業を行う際には、周囲で作業する作業者の周囲確認動作の重要度を高くすることなどが挙げられる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部と、
前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する作業項目マッチング部と、
前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部と、
前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する要確認度算出部と、を備えた要確認度判定装置。

（付記２）前記対象物検出部は、
前記予め登録されている対象物の画像特徴量と、前記映像中の画像特徴量を比較することにより、前記対象物に該当する画像を検出する、付記１に記載の要確認度判定装置。

（付記３）前記作業項目マッチング部は、
作業項目に対応して予め登録されている手の動きの特徴と、前記映像中の前記作業者の手の動きの特徴を比較することにより、作業項目を判定する、付記１または２に記載の要確認度判定装置。

（付記４）前記項目内容類似度算出部は、
前記作業者の手の動きの特徴、前記作業者の視点の動きの特徴、および操作時間の少なくとも１つに基づいて類似度を算出する、付記１から３のいずれか１項に記載の要確認度判定装置。

（付記５）前記要確認度算出部は、
前記重要度が高いほど、かつ前記類似度が低いほど前記要確認度を高くする、付記１から４のいずれか１項に記載の要確認度判定装置。

（付記６）前記作業項目マッチング部は、
前記作業者が行っている作業項目として、複数の作業項目を候補として選定し、
前記項目内容類似度算出部は、
選定された各々の作業項目の類似度を算出し、
前記要確認度算出部は、
算出された類似度が最も高い作業項目についてのみ要確認度を算出する、付記１から５のいずれか１項に記載の要確認度判定装置。

（付記７）前記要確認度算出部は、
類似度が所定の値以上の作業項目についてのみ要確認度を算出する、付記１から６のいずれか１項に記載の要確認度判定装置。

（付記８）前記要確認度算出部は、
算出された要確認度と、前記映像中で対応する操作の映像が収録された時刻を組み合わせたリストを出力する、付記１から７のいずれか１項に記載の要確認度判定装置。

（付記９）前記要確認度算出部は、
前記要確認度の高い順にリストを表示する、付記８に記載の要確認度判定装置。

（付記１０）前記要確認度算出部は、
前記要確認度が所定の値以上であった操作の映像を抽出する、付記１から７のいずれか１項に記載の要確認度判定装置。

（付記１１）前記要確認度算出部は、
前記要確認度が所定の値以上であった操作の映像の中から、代表となる静止画像を抽出して表示する、付記１から７のいずれか１項に記載の要確認度判定装置。

（付記１２）作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する工程と、
前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する工程と、
前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する工程と、
前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する工程と、を備えた要確認度判定方法。

（付記１３）コンピュータを、
作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部と、
前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する作業項目マッチング部と、
前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部と、
前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する要確認度算出部、として機能させるプログラム。

１０ 要確認度判定装置、５０ 通信回線、６０ 作業者、６１ カメラ、６２ センサ、１０１ 対象物検出部、１０２ 作業項目マッチング部、１０３ 項目内容類似度算出部、１０４ 要確認度算出部、１０５ 対象物データ記憶部、１０６ 作業内容データ記憶部、１２０ 表示装置、１３０ 入力装置

Claims (13)

1. 作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部と、
   前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する作業項目マッチング部と、
   前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部と、
   前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する要確認度算出部と、を備えた要確認度判定装置。
2. 前記対象物検出部は、
   前記予め登録されている対象物の画像特徴量と、前記映像中の画像特徴量を比較することにより、前記対象物に該当する画像を検出する、請求項１に記載の要確認度判定装置。
3. 前記作業項目マッチング部は、
   作業項目に対応して予め登録されている手の動きの特徴と、前記映像中の前記作業者の手の動きの特徴を比較することにより、作業項目を判定する、請求項１または２に記載の要確認度判定装置。
4. 前記項目内容類似度算出部は、
   前記作業者の手の動きの特徴、前記作業者の視点の動きの特徴、および操作時間の少なくとも１つに基づいて類似度を算出する、請求項１から３のいずれか１項に記載の要確認度判定装置。
5. 前記要確認度算出部は、
   前記重要度が高いほど、かつ前記類似度が低いほど前記要確認度を高くする、請求項１から４のいずれか１項に記載の要確認度判定装置。
6. 前記作業項目マッチング部は、
   前記作業者が行っている作業項目として、複数の作業項目を候補として選定し、
   前記項目内容類似度算出部は、
   選定された各々の作業項目の類似度を算出し、
   前記要確認度算出部は、
   算出された類似度が最も高い作業項目についてのみ要確認度を算出する、請求項１から５のいずれか１項に記載の要確認度判定装置。
7. 前記要確認度算出部は、
   類似度が所定の値以上の作業項目についてのみ要確認度を算出する、請求項１から６のいずれか１項に記載の要確認度判定装置。
8. 前記要確認度算出部は、
   算出された要確認度と、前記映像中で対応する操作の映像が収録された時刻を組み合わせたリストを出力する、請求項１から７のいずれか１項に記載の要確認度判定装置。
9. 前記要確認度算出部は、
   前記要確認度の高い順にリストを表示する、請求項８に記載の要確認度判定装置。
10. 前記要確認度算出部は、
    前記要確認度が所定の値以上であった操作の映像を抽出する、請求項１から７のいずれか１項に記載の要確認度判定装置。
11. 前記要確認度算出部は、
    前記要確認度が所定の値以上であった操作の映像の中から、代表となる静止画像を抽出して表示する、請求項１から７のいずれか１項に記載の要確認度判定装置。
12. 作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する工程と、
    前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する工程と、
    前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する工程と、
    前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する工程と、を備えた要確認度判定方法。
13. コンピュータを、
    作業者の視野を撮像した映像の中から、予め登録されている対象物に該当する画像を検出する対象物検出部と、
    前記対象物と、前記作業者が前記映像中で前記対象物に対して行っている操作の特徴に基づいて、前記作業者が行っている作業項目を判定する作業項目マッチング部と、
    前記作業者が前記映像中で前記対象物に対して行っている操作の特徴と、予め登録されている前記作業項目の正しい操作の特徴とを比較し、両操作の類似度を算出する項目内容類似度算出部と、
    前記作業項目の重要度と、前記類似度に基づいて前記映像中の前記操作の要確認度を算出する要確認度算出部、として機能させるプログラム。

Images