JP2018036937A - 画像処理装置、画像処理システム、画像処理プログラムおよびラベル - Google Patents

Abstract

【課題】人物の姿勢変化に強く、産業車両または車両系建設機械に該当する車両が走行する任意の位置において、車両の周囲に存在する人物を検出することのできる画像処理装置を提供する。【解決手段】産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理システム、画像処理プログラムおよびラベルに関する。

従来、倉庫、工場または空港などの施設での荷役作業にフォークリフトが用いられる。フォークリフトはオーバーハングに荷物を載せる構造上、車体重量は見た目以上に重たい。このため、フォークリフトが低速走行していたとしても、人物と接触することにより重大な事故につながる可能性が高い。このような問題は、フォークリフトに代表される産業車両のみならず、油圧ショベルなどの車両系建設機械においても生じる。

このような問題を解決するために、特許文献１には、車両系建設機械の周囲に存在する人物を検知する建設機械用人物検知システムが開示されている。特許文献１では車両系建設機械としてのショベルに取り付けられたカメラの撮像画像を用いてショベルの周辺に位置する人物を検知している。具体的には、特許文献１では、撮像画像からＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出し、抽出したＨＯＧ特徴量から人物の候補領域を識別している。また、人物の候補領域の画像を、人物を真正面から見たような画像に変換した上で、当該画像に含まれる画素の輝度勾配等を用いてヘルメットの領域を抽出している。

また、特許文献２には、フォークリフトの周辺の人物検知するためのフォークリフトの安全装置が開示されている。フォークリフトおよび人物に予め定められた色で互いに異なる形状を描き、天井に予め設置された固定カメラでフォークリフトおよび人物を撮像する。安全装置は、撮像した画像から上記形状を抽出することにより、フォークリフトおよび人物を検出し、フォークリフトと人物が一定距離以内に接近すると発報する。

国際公開第２０１５／１８６５７０号 特開平９−１６９５００号公報

しかしながら、特許文献１に記載のシステムは、ＨＯＧ特徴量を用いて人物の候補領域を識別しているため、人物がしゃがみこんだり、倒れ込んだりした場合に、正確に人物の候補領域を識別することができない。また、ヘルメットを抽出する際に、人物の候補領域の画像を、人物を真正面から見たような画像に変換している。このため、人物がしゃがみこんだり、倒れ込んだりした場合には、正確にヘルメットの領域を抽出することができない。このように、特許文献１に記載のシステムは姿勢変化に弱いという課題がある。

特許文献２に記載の安全装置は、天井にカメラを固定することが前提となっているため、カメラが設置されていない位置をフォークリフトが走行した場合には、人物を検出することができないという課題がある。

本発明はこのような課題を解決するためになされたものであり、人物の姿勢変化に強く、産業車両または車両系建設機械に該当する車両が走行する任意の位置において、車両の周囲に存在する人物を検出することのできる画像処理装置、画像処理システムおよび画像処理プログラムを提供することを目的とする。
また、画像処理により高精度に検出されるラベルを提供することも目的とする。

（１）上記目的を達成するために、本発明の一実施態様に係る画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。

（８）本発明の他の実施態様に係る画像処理システムは、検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、前記検出対象物を検出する画像処理装置とを備え、前記画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知を行う通知部とを有する。

（９）本発明の他の実施態様に係る画像処理プログラムは、コンピュータを、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部として機能させるための画像処理プログラムである。

（１０）本発明の他の実施態様に係るラベルは、上述の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、前記所定の２色以上の領域が所定の位置関係で配置されている。

なお、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとする画像処理方法として実現することができる。また、上述の画像処理プログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。

本発明によると、人物の姿勢変化に強く、産業車両または車両系建設機械に該当する車両が走行する任意の位置において、車両の周囲に存在する人物を検出することのできる画像処理装置、画像処理システムおよび画像処理プログラムを提供することができる。
また、画像処理により高精度に検出されるラベルを提供することもできる。

実施の形態１に係る画像処理システムの取付例を示す図である。 実施の形態１に係る画像処理システムの機能的な構成を示すブロック図である。 上方から見たフォークリフトの模式図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを上方から見た図である。 各色ラベルのマンセル表色系における表現を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 後方監視カメラが撮像した画像の一例を示す図である。 実施の形態１に係る画像処理装置が実行する処理のフローチャートである。 閾値設定処理（図８のＳ４）の詳細なフローチャートである。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを側方から見た図である。 人物を正面から見た図である。 実施の形態２に係る画像処理システムの機能的な構成を示すブロック図である。 実施の形態２に係る画像処理装置が実行する処理のフローチャートである。 実施の形態３に係る画像処理システムの機能的な構成を示すブロック図である。 実施の形態３に係る画像処理装置が実行する処理のフローチャートである。 閾値設定部が保持している位置と緑色領域の閾値との関係を示すデータテーブルの一例を示す図である。 実施の形態４に係る画像処理システムの取付例を示す図である。 実施の形態４に係る画像処理システムの機能的な構成を示すブロック図である。 上方から見たフォークリフトの模式図である。 実施の形態４に係る画像処理装置が実行する処理のフローチャートである。

［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係る画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。

この構成によると、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かを判定し、判定処理結果に応じた通知を行うことができる。このため、人物や人物が被るヘルメットなどに所定の２色以上の領域が配置されたラベルを付しておくことにより、当該人物を検出することができる。このような色領域を抽出する処理は、色領域が撮像部に映っていれば実行可能である。このため、人物の姿勢変化に強く、車両が走行する任意の位置において、車両の周囲に存在する人物を検出することができる。

（２）また、前記撮像部は、前記車両の後方を撮像範囲とする前記車両上の位置に設置された後方監視カメラを含み、前記画像取得部は、前記後方監視カメラで撮像された前記車両の後方画像を取得し、前記判定部は、前記車両が前進している場合には、前記車両の後方画像に対する前記判定処理を停止してもよい。

この構成によると、車両の後方や側方は車両のドライバーの死角となる。このため、後方監視カメラで撮像された車両の後方画像に対して判定処理を実行することにより、死角に存在する人物を検出することができる。また、死角に人物が存在する場合に、ドライバーに適切に通知を行うことができる。また、車両が発進する場合にも人物と接触する可能性が高い。このため、車両が停止している場合に判定処理および通知処理を実行することで、車両の発進直前において、ドライバーの死角に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、車両の周囲に存在する人物と車両との接触を未然に防止することができる。なお、車両が前進している場合には、ドライバーは慎重を期して運転を行っており、特に車両の後方を監視する必要はない。この構成によると、車両が前進している場合には、判定処理を停止している。このため、人物が検出されたことをドライバーに不必要に通知することを防止することができる。

（３）また、前記撮像部は、さらに、前記車両の前方を撮像範囲とする前記車両上の位置に設置された前方監視カメラを含み、前記画像取得部は、さらに、前記前方監視カメラで撮像された前記車両の前方画像を取得し、前記判定部は、前記車両が前進している場合には、さらに、前記車両の前方画像に対する前記判定処理を実行してもよい。

この構成によると、車両が前進している場合には、前方監視カメラで撮像された車両の前方画像に対して判定処理が実行される。これにより、車両の前方に存在する人物を検出することができる。また、前方に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、車両の周囲に存在する人物と車両との接触を未然に防止することができる。

（４）また、前記判定部は、前記画像を構成する各画素の所定の色空間上の画素値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、前記画像取得部は、前記車両の所定位置に設置された前記所定の２色以上の参照用ラベルを前記撮像部が撮像した画像を取得し、前記画像処理装置は、さらに、前記参照用ラベルの画像の前記色空間上の画素値に基づいて、前記所定の閾値を設定する閾値設定部を備えてもよい。

この構成によると、検出対象の人物やヘルメットに取り付けられるラベルと同様の環境下に配置された参照用ラベルの画素値に基づいて、閾値を設定することができる。このため、閾値を正確に設定することができ、これにより、領域を正確に抽出することができる。

（５）また、前記閾値設定部は、前記車両の周囲の照度変化を検出した場合に、前記所定の閾値を設定してもよい。

このように照度変化が検出された場合に閾値を設定することで、車両の周囲の環境が変化した場合であっても、正確に領域を抽出することができる。

（６）また、前記判定部は、前記画像を構成する各画素の所定の色空間上の値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、前記画像処理装置は、さらに、前記車両の位置に基づいて、前記所定の閾値を設定する閾値設定部を備えてもよい。

この構成によると、車両の位置に基づいて閾値を設定することができる。例えば、車両の位置と閾値とを予め対応付けておくことで、車両が屋内を走行している場合と屋外を走行している場合とで閾値を変更することができる。これにより、車両の周囲の環境が変化した場合であっても、正確に領域を抽出することができる。

（７）また、前記判定部は、前記画像取得部が取得した前記画像のうち、前記車両に設置されたミラーを撮像したミラー領域の像に対して、前記判定処理を実行してもよい。

この構成によると、死角部分を確認するために車両に取り付けられたミラー越しに人物が映った場合であっても、当該人物の像に対して判定処理が実行される。このため、死角領域に存在する人物を正確に検出することができる。

（８）本発明の他の実施形態に係る画像処理システムは、検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、前記検出対象物を検出する画像処理装置とを備え、前記画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知を行う通知部とを有する。

この構成によると、人物などの検出対象物に所定の２色以上の領域が配置されたラベルが取り付けられる。また、画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像に所定の２色以上の領域が含まれるか否かを判定し、判定処理結果に応じた通知を行うことができる。このような色領域を抽出する処理は、色領域が撮像部に映っていれば実行可能である。このため、人物の姿勢変化に強く、車両が走行する任意の位置において、車両の周囲に存在する人物を検出することができる。

（９）本発明の他の実施形態に係る画像処理プログラムは、コンピュータを、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部として機能させるための画像処理プログラムである。

この画像処理プログラムによると、上述した画像処理装置としてコンピュータを機能させることができる。このため、上述した画像処理装置と同様の作用および効果を奏することができる。

（１０）本発明の他の実施形態に係るラベルは、上述の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、前記所定の２色以上の領域が所定の位置関係で配置されている。

この構成によると、ラベルには、所定の２色以上の領域が所定の位置関係で配置されている。このため、このラベルを人物などの検出対象物に取り付けることにより、上述の画像処理装置により、高精度に当該検出対象物を検出することができる。

（１１）また、各色の領域間に所定の間隙が設けられていてもよい。

この構成によると、車両の走行時の振動などにより撮像部で撮像された画像に乱れが生じている場合であっても、ある領域の色が隣接する領域の色と混じり合って撮像されるのを防止することができる。このため、上述の画像処理装置により、検出対象物を精度良く検出することができる。

（１２）また、各色の領域は、蛍光テープ、蛍光塗料または発光素子を含んで構成されていてもよい。

これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
以下、実施の形態１に係る画像処理システムについて説明する。
＜画像処理システムの構成＞
図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの機能的な構成を示すブロック図である。

画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、後方監視カメラ２０と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０と、シフトセンサ１１２とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。

また、画像処理装置１０、後方監視カメラ２０、音出力装置３０、表示装置４０およびシフトセンサ１１２が取り付けられる車両は、フォークリフト２５に限定されるものではなく、フォークリフト２５以外の産業車両に取り付けられていてもよいし、油圧ショベルなどの車両系建設機械に取り付けられていてもよい。後方監視カメラ２０がこれらに取り付けられることにより、これらの車両の周囲を監視することができる。

後方監視カメラ２０は、撮像部を構成し、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のフォークヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方の画像を撮像する。後方監視カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。

図３は、上方から見たフォークリフト２５の模式図である。図３において、左側がフォークリフト２５の前方であり、右側がフォークリフト２５の後方である。図３に示すように、フォークリフト２５の後方には、後方監視カメラ２０による後方撮像領域２１が設定される。この後方撮像領域２１は、例えば、フォークリフト２５が最高時速１０ｋｍ／ｈで走行した場合に、２秒間で移動可能な範囲を含むように設定される。つまり、後方監視カメラ２０は、後方撮像領域２１を撮像可能な位置に設置される。これにより、後方監視カメラ２０は、後方撮像領域２１内に存在する人物７１を撮像することができる。後方撮像領域２１をこのように設定したのは、人物７１を発見してから２秒間あれば、ドライバーはフォークリフト２５を停止させることができると考えられるからである。なお、後方監視カメラ２０は単眼カメラを想定しているが、ステレオカメラなどの多眼カメラを用いてもよい。

フォークリフト２５の後方には、フォークリフト２５の後方撮像領域２１から外れる死角領域２２が生じる場合がある。この死角領域２２をカバーするために、フォークリフト２５の後方撮像領域２１内にミラー６０が設置されている。つまり、後方監視カメラ２０がミラー６０越しに撮像した場合の後方撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、後方監視カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、後方監視カメラ２０とは異なる他のカメラを配置してもよい。

画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、後方監視カメラ２０に接続され、後方監視カメラ２０が撮像した後方撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、必ず所定の２色以上の領域が所定の位置関係で配置されているラベルを付けているものとする。

図４Ａは、人物が被るヘルメットを側方から見た図であり、図４Ｂは、そのヘルメットを上方から見た図である。図４Ａおよび図４Ｂに示すように、ヘルメット８０には、ラベル９０Ａが貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。図４Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０〜２５０ｍｍとすることができる。なお、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、および赤ラベル９０Ｒと緑ラベル９０Ｇとの間には、それぞれ間隙領域９０Ｓが設けられている。間隙領域９０Ｓは、例えば黒色の領域であり、２〜３ｍｍの幅を有する。図４Ｂに示すように、同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａが後方監視カメラ２０に撮像されるようにすることができる。

ラベル９０Ａは、光の３原色のラベルである赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成されている。図５は、各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。同図において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９０Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ〜７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９０Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ〜２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９０Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ〜５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。

また、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。

画像処理装置１０は、後方監視カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。

音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知する通知音を出力する。

表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。

端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。

なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、画像処理装置１０により自身が検出されたこと、つまり、近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。

なお、画像処理装置１０、後方監視カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示した後方監視カメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンが後方監視カメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。

図１および図２を参照して、シフトセンサ１１２は、シフトレバーの近くに取り付けられ、シフトレバーの位置を検出するセンサである。シフトセンサ１１２は、例えば、変位センサまたはスイッチを含んで構成される。

＜画像処理装置１０の構成＞
図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。
画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、判定部１２と、色抽出部１３と、通知部１４と、閾値設定部１５と、車両状態判定部１６とを備える。

画像取得部１１は、通信Ｉ／Ｆを介して、後方監視カメラ２０が撮像した画像を取得する。つまり、図１に示した後方撮像領域２１および６１を後方監視カメラ２０が撮像した画像を取得する。

判定部１２は、画像取得部１１が取得した画像に、所定の２色以上の領域（ここでは、緑色領域、赤色領域および青色領域）が含まれるか否かの判定処理を実行する。

具体的には、判定部１２は、色抽出部１３を含む。色抽出部１３は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、緑色領域、赤色領域および青色領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。

なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、色抽出部１３は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１〜式３に従い実行される。

ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXおよびMINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分の最大値および最小値を表す。

色抽出部１３には、例えば、緑色の色相（Ｈ）の閾値として、１２０±２５が設定され、緑色の彩度（Ｓ）の閾値として７０および１００が設定され、緑色の明度（Ｖ）の閾値として７０および１００が設定されているものとする。色抽出部１３は、ある画素の色相（Ｈ）が１２０−２５以上かつ１２０＋２５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。同様に、色抽出部１３は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から赤色画素を抽出し、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から青色画素を抽出する。

色抽出部１３は、緑色画素、赤色画素および青色画素に対してそれぞれラベリング処理を施して緑色領域、赤色領域および青色領域を抽出する。なお、色抽出部１３は、抽出した緑色領域、赤色領域および青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。

判定部１２は、色抽出部１３が抽出した赤色領域、緑色領域および青色領域が所定の位置関係を有している場合には、画像取得部１１が取得した画像に緑色領域、赤色領域および青色領域が含まれると判定する。例えば、判定部１２は、画像上で緑色領域の重心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の重心位置から所定距離範囲内に青色領域が存在する場合には、画像に緑色領域、赤色領域および青色領域が含まれると判定する。判定部１２は、画像に緑色領域、赤色領域および青色領域が含まれると判定した場合には、画像に人物が映っており、フォークリフト２５の周囲に人物が存在すると判定する。

図６Ａおよび図６Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図６Ａに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。

一方、図６Ｂに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。

ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でも良い。

通知部１４は、判定部１２の判定処理結果に応じた通知処理を実行する。例えば、判定部１２がフォークリフト２５の周囲に人物が存在すると判定した場合には、通知部１４は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。

また、判定部１２が同様の判定をした場合に、通知部１４は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。

また、判定部１２が同様の判定をした場合に、通知部１４は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。通知部１４は、その際に、検出時刻の情報を送信してもよい。

閾値設定部１５は、フォークリフト２５に貼り付けられた後述する参照用ラベルの画像の色空間上の画素値に基づいて、色抽出部１３が各色領域を抽出する際に用いる閾値を設定する。

ここで、フォークリフト２５に貼り付けられた参照用ラベルについて説明する。図７は、後方監視カメラ２０が撮像した画像の一例を示す図である。フォークリフト２５の車体の予め定められた位置に参照用ラベル１００が貼り付けられている。参照用ラベル１００は、ラベル９０Ａと同じ素材のラベルであることが望ましい。参照用ラベル１００は、青ラベル１００Ｂと、赤ラベル１００Ｒと、緑ラベル１００Ｇとを含む。赤ラベル１００Ｒ、緑ラベル１００Ｇおよび青ラベル１００Ｂの色彩は、それぞれ、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂの色彩と同じである。

なお、参照用ラベル１００の貼り付け位置は、フォークリフト２５の車体に限定されるものではなく、例えば、図７に示すように、ミラー６０を支持する棒状部材など、人物が存在する環境と同様の環境の位置に参照用ラベル１００Ａが貼り付けられていてもよい。参照用ラベル１００Ａは、参照用ラベル１００と同様に、青ラベル１００Ｂと、赤ラベル１００Ｒと、緑ラベル１００Ｇとを含む。このように、参照用ラベル１００Ａを地面とほぼ垂直な面に設けることで、参照用ラベル１００Ａは、車体に貼り付けられた参照用ラベル１００に比べ、太陽光や照明光の影響を受けにくい。よって、参照用ラベル１００Ａを撮像した画像を用いて閾値を設定することにより、参照用ラベル１００を撮像した画像を用いて閾値を設定する場合に比べ、より正確に閾値を設定することができる。

閾値設定部１５は、画像中の青ラベル１００Ｂ、赤ラベル１００Ｒおよび緑ラベル１００Ｇが確実に検出されるように、閾値を設定する。つまり、閾値設定部１５は、各色ラベルのＨＳＶ色空間上の画素値が、当該色の閾値内に含まれように、閾値を設定する。なお、閾値の設定方法の詳細については後述する。

車両状態判定部１６は、通信Ｉ／Ｆを介してシフトセンサ１１２からシフトレバーの位置検出結果を取得し、取得した位置検出結果に基づいて、シフトレンジがＲレンジ（リバースレンジ）であるか否かを判定する。シフトレンジがＲレンジの状態で、フォークリフト２５が走行していれば、フォークリフト２５は直線後退もしくは旋回後退またはその両方の動作を行っていることになる。ただし、シフトレンジがＲレンジで、かつブレーキが掛けられている場合には、上記した動作は行っていないものの、ブレーキが外されることにより、上記動作が開始されるため、上記動作の準備状態と考えることができる。

車両状態判定部１６による車両状態の判定結果は、画像処理装置１０の動作を制御するために用いられる。

＜画像処理装置１０の処理の流れ＞
次に、画像処理装置１０が実行する処理の流れについて説明する。
図８は、実施の形態１に係る画像処理装置１０が実行する処理のフローチャートである。

車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＲレンジであるか否かを判定する（Ｓ１）。

シフトレンジがＲレンジ以外であると、車両状態判定部１６が判定した場合には、（Ｓ１でＮＯ）、ステップＳ９に進む。例えば、シフトレンジがＤレンジ（ドライブレンジ）であり、フォークリフト２５が前進している場合には、ステップＳ９に進む。

シフトレンジがＲレンジであると、車両状態判定部１６が判定した場合には（Ｓ１でＹＥＳ）、画像取得部１１は、後方監視カメラ２０が撮像した画像を取得する（Ｓ２）。

閾値設定部１５は、閾値更新タイミングか否かを判断する（Ｓ３）。実施の形態１では、閾値は所定の時間間隔で周期的に変更するものとする。例えば、１分間隔で閾値を変更するようにしてもよい。つまり、閾値設定部１５は、閾値を前回設定してから、または画像処理装置１０が動作を開始してから、所定の時間が経過していれば、閾値更新タイミングであると判断し、所定の時間が経過していなければ、閾値更新タイミングではないと判断する。

閾値更新タイミングであれば（Ｓ３でＹＥＳ）、閾値設定部１５は、閾値を設定する（Ｓ４）。閾値設定処理（Ｓ４）については後述する。

判定部１２は、画像取得部１１が取得した画像中からミラー領域の像を抽出し、当該像を所定倍率（例えば、２倍）で拡大する（Ｓ５）。例えば、図７に示したように画像中にはミラー６０が映っており、判定部１２は、ミラー６０の領域の像を所定倍率で拡大する。小面積のミラー６０で広範囲の死角領域２２を映すため、通常、凸面鏡がミラー６０として用いられる。凸面鏡の鏡像は、同一の対象物を直接撮像する場合に比べて小さいという課題がある。このため、ミラー６０の領域の像を拡大することにより、同一の対象物を直接撮像した場合と同様の精度で、判定処理（領域抽出処理）を実行することができる。ただし、ミラー６０の領域の像を拡大する処理（Ｓ５）は必須の処理ではない。

色抽出部１３は、画像から、赤色領域、緑色領域および青色領域を抽出する（Ｓ６）。その際、色抽出部１３は、画像からミラー領域を除いた像と、ミラー領域を拡大した像のそれぞれについて領域抽出処理を行う。これにより、ミラー６０に映った人物の領域が二重に検出されるのを防止することができる。

判定部１２は、色抽出部１３が抽出した赤色領域、緑色領域および青色領域が所定の位置関係を有しているか否かを判断する（Ｓ７）。例えば、赤色領域、緑色領域および青色領域として、図４Ａに示したような赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂが、それぞれ抽出されたとする。判定部１２は、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂの重心位置をそれぞれ算出する。判定部１２は、緑ラベル９０Ｇの重心位置と赤ラベル９０Ｒとの重心位置との間の距離が所定距離以内であり、かつ、赤ラベル９０Ｒの重心位置と青ラベル９０Ｂの重心位置との間の距離が所定距離以内である場合に、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂが所定の位置関係を有すると判定する。

３色の領域が所定の位置関係を有していれば（Ｓ７でＹＥＳ）、判定部１２は、画像に人物が映っていると判断し、通知部１４が、フォークリフト２５の周囲に人物を検出したことを、音出力装置３０、表示装置４０および端末装置５０に通知する（Ｓ８）。なお、通知部１４による通知処理は、例えば、後方監視カメラ２０と人物との距離が所定距離（例えば、３ｍ）以内になった場合に行うようにしてもよい。ここで、後方監視カメラ２０と人物との距離は、色抽出部１３が抽出した画像上でのラベル９０Ａのサイズに基づいて決定される。つまり、通知部１４は、ラベル９０Ａのサイズと距離との関係を示したテーブルを保持しており、このテーブルを参照することにより、距離を決定してもよい。また、検出の精度を向上させるため、通知部１４は、後方監視カメラ２０から所定距離以内の人物が所定回数（例えば、５回）以上連続して検出された場合にのみ、通知処理を行ってもよい。

３色の領域が所定の位置関係を有していなければ（Ｓ７でＮＯ）、ステップＳ９に進む。

通知処理（Ｓ８）の後、処理の終了タイミングとなっていれば（Ｓ９でＹＥＳ）、画像処理装置１０は、処理を終了する。処理の終了タイミングとは、例えば、フォークリフト２５のエンジンが停止したことを示す信号を画像処理装置１０が受信した場合などである。

処理の終了タイミングでなければ（Ｓ９でＮＯ）、ステップＳ１に戻り、ステップＳ１〜Ｓ８の処理が繰り返し実行される。

図９は、閾値設定処理（図８のＳ４）の詳細なフローチャートである。
閾値設定部１５は、閾値設定処理の対象色である赤色、緑色および青色の各色について、以下に説明するＳ４１〜Ｓ４４の処理を実行する（ループＡ）。

以下では、対象色を赤色として説明するが、対象色が緑色および青色の場合にも同様の処理が行われる。

閾値設定部１５は、画像取得部１１が取得した画像から、赤ラベル１００Ｒの領域の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の平均を算出する（Ｓ４１）。つまり、赤ラベル１００Ｒの領域内の各画素のＲＧＢ色空間における赤色成分（Ｒ）、緑色成分（Ｇ）および青色成分（Ｂ）を、ＨＳＶ色空間における色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）に変換し、赤ラベル１００Ｒの領域内で色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の平均を算出する。なお、ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は、上述した式１〜式３に従い実行される。

閾値設定部１５は、赤色領域の色相（Ｈ）の閾値に、色相（Ｈ）の平均±２５を設定する（Ｓ４２）。

閾値設定部１５は、赤色領域の彩度（Ｓ）の閾値に、（彩度（Ｓ）の平均−２０）と１００を設定する（Ｓ４３）。

閾値設定部１５は、赤色領域の明度（Ｖ）の閾値に、（明度（Ｖ）の平均−２０）と１００を設定する（Ｓ４４）。

これにより、赤ラベル１００Ｒの領域を抽出可能な色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を設定することができる。

＜実施の形態１の効果＞
以上説明したように、実施の形態１によると、ヘルメット８０に、３色のラベルが所定の位置関係で配置されている。また、判定部１２は、後方監視カメラ２０が撮像した画像中から３色の領域を抽出し、３色の領域が所定の位置関係で配置されているか否かを判定している。これにより、判定部１２は、フォークリフト２５の周囲の人物の存否を判定している。色領域を抽出する処理は、色領域が後方監視カメラ２０に映っていれば実行可能である。このため、人物が姿勢変化をした場合でも、安定して人物を検出することができる。また、特許文献２に記載の技術のように、人物の検出領域が制限されることもない。このため、フォークリフト２５が走行する任意の位置において、フォークリフト２５の周囲に存在する人物を検出することができる。

また、画像処理装置１０は、シフトレンジがＲレンジである場合、つまり、フォークリフト２５が直線後退もしくは旋回後退またはその両方の動作をしている場合に、人物を検出するための処理（画像取得処理、判定処理および通知処理等）を実行している。このため、画像処理装置１０は、ドライバーの死角となるフォークリフト２５の後方や車両に人物が存在する場合に、ドライバーに対して適切に通知を行うことができる。

また、画像処理装置１０は、ブレーキが掛けられていたとしても、シフトレンジがＲレンジである場合には、人物を検出するための処理を実行している。このため、フォークリフト２５が発信する直前において、ドライバーの死角に人物が存在する場合に、ドライバーに対して適切に通知を行うことができる。

また、画像処理装置１０は、フォークリフト２５が前進している場合には、人物を検出するための処理を実行しないようにしている。フォークリフト２５が前進している場合には、フォークリフト２５の後方を監視する必要はない。つまり、フォークリフト２５の後方に人物が存在したとしてもドライバーに通知する必要はない。よって、この構成によると、人物が検出されたことをドライバーに不必要に通知することを防止することができる。

また、閾値設定部１５は、人物が被るヘルメットに取り付けられるラベル９０Ａと同様の環境下に配置された参照用ラベル１００の画素値に基づいて、閾値を設定している。このため、閾値を正確に設定することができ、これにより、色抽出部１３は、ラベル９０Ａを正確に抽出することができる。

また、判定部１２が画像中のミラー６０の領域の像を所定倍率で拡大した上で、色抽出部１３による各色の領域抽出処理と、判定部１２による判定処理が行われる。つまり、死角部分を確認するためにフォークリフト２５に取り付けられたミラー６０越しに人物が映った場合であっても、当該人物の像が拡大された後に処理が実行される。このため、死角領域に存在する人物を正確に検出することができる。なお、実施の形態１では、ミラー６０の鏡像を拡大した上で、判定処理（領域抽出処理）を行ったが、当該像の拡大は必須ではない。つまり、ミラー６０の領域の像を拡大することなく、判定処理（領域抽出処理）を実行してもよい。

また、ラベル９０Ａには、所定の２色以上の領域（赤ラベル９０Ｒ、緑ラベル９０Ｇ、青ラベル９０Ｂ）が所定の位置関係で配置されている。このため、ラベル９０Ａを人物が取り付けることにより、画像処理装置１０により、人物を検出することができる。

また、ラベル９０Ａには、隣接する色ラベル間に間隙領域９０Ｓを設けている。これにより、フォークリフト２５の走行時の振動などにより後方監視カメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。これにより、画像処理装置１０により、人物を精度良く検出することができる。

（変形例）
ヘルメットに貼り付けられるラベルは、図４Ａおよび図４Ｂに示されたものに限定されるものではない。例えば、ラベルは、２色のラベルから構成されていてもよい。図１０は、人物が被るヘルメットを側方から見た図である。図１０に示すように、ヘルメット８０には、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成されるラベル９０Ｃが貼り付けられている。図１０にヘルメット８０の幅が、２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ｃの幅は約４０ｍｍ、長さは約１８０〜２５０ｍｍとすることができる。なお、赤ラベル９０Ｒと緑ラベル９０Ｇとの間には間隙領域９０Ｓが設けられている。ラベル９０Ｃと同様のラベルがヘルメット８０の反対側の側面、前後および上方にも貼り付けられる。

また、ヘルメットに貼り付けられる各色ラベルの形状が色ごとに異なっており、配置もより複雑であってもよい。図１１は、人物が被るヘルメットを側方から見た図である。図１１に示すように、ヘルメット８０には、ラベル９０Ｄが貼り付けられていてもよい。ラベル９０Ｄは、中央に配置された赤ラベル９０Ｒと、赤ラベル９０Ｒの右上および左下に隣接する位置に配置された緑ラベル９０Ｇと、赤ラベル９０Ｒの左上および右下に隣接する位置に配置された青ラベル９０Ｂとを含む。図１１から分かるように、赤ラベル９０Ｒのサイズは、青ラベル９０Ｂおよび緑ラベル９０Ｇのサイズよりも大きい。また、各ラベル間には間隙領域９０Ｓが設けられている。また、ラベル９０Ｄと同様のラベルがヘルメット８０の反対側の側面、前後および上方にも貼り付けられる。

また、ヘルメットに貼り付けられる各色ラベルは、ＬＥＤ（Light Emitting Diode）や有機ＥＬ（electroluminescence）などの発光素子により構成されていてもよい。図１２は、人物が被るヘルメットを側方から見た図である。図１２に示すように、ヘルメット８０には、ラベル９１が取り付けられている。ラベル９１は、青色ＬＥＤで構成される青ラベル９１Ｂと、赤色ＬＥＤで構成される赤ラベル９１Ｒと、緑色ＬＥＤで構成される緑ラベル９１Ｇとを含む。各ＬＥＤは、ヘルメット８０に取り付けられたリチウムイオン電池などの二次電池により駆動される。また、ラベル９１と同様のラベルがヘルメット８０の反対側の側面、前後および上方にも取り付けられている。ＬＥＤを用いてラベル９１を構成することで、夜間や曇天などの照度が低い環境下であっても、ラベル９１を認識しやすくすることができる。

また、ラベルはヘルメット８０に取り付けられるのではなく、人物が身に着ける衣類や腕章などに取り付けられていてもよい。図１３は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。

（実施の形態２）
実施の形態１では、閾値設定部１５は所定の時間間隔で周期的に閾値を変更することとしたが、実施の形態２では、閾値設定部１５は、フォークリフト２５の周囲の照度変化が検出された場合に閾値を変更する。

以下では、実施の形態１と共通する部分についての説明は繰り返さず、実施の形態１と異なる部分について中心に説明する。

図１４は、実施の形態２に係る画像処理システムの機能的な構成を示すブロック図である。

画像処理システム１Ａは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、照度センサ１１５を備える。照度センサ１１５は、フォークリフト２５の周囲の照度を検出するセンサである。照度センサ１１５は、例えば、受光素子を含んで構成される。照度センサ１１５は、例えば、後方監視カメラ２０の近傍に設けられる。なお、照度センサ１１５を用いずとも、後方監視カメラ２０の画像からフォークリフト２５の周囲の照度を判断するようにしてもよい。

図１５は、実施の形態２に係る画像処理装置１０が実行する処理のフローチャートである。

ステップＳ１、Ｓ２、Ｓ４〜Ｓ９の処理は、図８に示したステップＳ１、Ｓ２、Ｓ４〜Ｓ９の処理と同様である。実施の形態２では、図８に示したステップＳ３の処理の代わりに、ステップＳ１３の処理を実行する。

つまり、閾値設定部１５は、照度センサ１１５が検出した照度を保持し、現在の照度と、前回閾値を設定した際に保持した照度との照度差に基づいて、フォークリフト２５の周囲の照度が変化したか否かを判断する（Ｓ１３）。つまり、閾値設定部１５は、照度差が所定の照度閾値以上となっていれば照度が変化したと判断し（照度変化を検出し）、照度差が所定の照度閾値未満であれば照度が変化していないと判断する（照度変化を検出しない）。

閾値設定部１５は、照度変化を検出した場合には、閾値設定処理（Ｓ４）を実行する。

なお、閾値設定部１５は、画像処理装置１０の起動直後の初回の判断処理（Ｓ１３）では、必ず照度変化を検出するようにし、閾値設定処理（Ｓ４）を実行するようにしてもよい。

以上説明したように、実施の形態２によると、照度変化が検出された場合に閾値を設定することができる。これにより、フォークリフト２５の周囲の環境が変化した場合であっても、正確に色領域を抽出することができる。これにより、フォークリフト２５の周囲に存在する人物を正確に検出することができる。

（実施の形態３）
実施の形態１では、閾値設定部１５は所定の時間間隔で周期的に閾値を変更することとしたが、実施の形態３では、照度センサ１１５は、フォークリフト２５の位置に基づいて閾値を設定する。

以下では、実施の形態１と共通する部分についての説明は繰り返さず、実施の形態１と異なる部分について中心に説明する。

図１６は、実施の形態３に係る画像処理システムの機能的な構成を示すブロック図である。

画像処理システム１Ｂは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、位置センサ１１４を備える。位置センサ１１４は、フォークリフト２５の位置を検出するセンサである。位置センサ１１４は、例えば、ＧＰＳ（Global Positioning System）センサを含んで構成される。位置センサ１１４は、フォークリフト２５の任意の位置に設置可能であるが、ＧＰＳ衛星からの電波を受信しやすい位置に取り付けるのが好ましい。

図１７は、実施の形態３に係る画像処理装置１０が実行する処理のフローチャートである。

ステップＳ１、Ｓ２、Ｓ５〜Ｓ９の処理は、図８に示したステップＳ１、Ｓ２、Ｓ５〜Ｓ９の処理と同様である。実施の形態３では、図８に示したステップＳ３およびＳ４の代わりに、ステップＳ２３およびＳ２４の処理を実行する。

つまり、閾値設定部１５は、位置センサ１１４から位置情報を取得する（Ｓ２３）。位置情報は、例えば、フォークリフト２５の緯度および経度を示す情報である。

閾値設定部１５は、取得した位置情報に基づいて、各色の領域を抽出する際の閾値を決定する（Ｓ２４）。図１８は、閾値設定部１５が保持している位置と緑色領域の閾値との関係を示すデータテーブルの一例を示す図である。このデータテーブルは、データテーブルに示される位置内にフォークリフト２５が存在する場合の、緑色領域を抽出するための色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を示している。

例えば、閾値設定部１５は、位置センサ１１４から取得した位置情報（緯度、経度）が、（３４°４０′３９″，１３５°２６′８″）−（３４°４０′３６″，１３５°２６′１３″）の範囲内に入っていれば、緑色領域の色相（Ｈ）の閾値に、１２０±２５を設定し、緑色領域の彩度（Ｓ）の閾値に７０および１００を設定し、緑色領域の明度（Ｖ）の閾値に７０および１００を設定する。

なお、閾値設定部１５は、赤色領域および青色領域についても、同様に、位置と閾値との関係を示すデータテーブルを保持しており、位置センサ１１４から取得した位置情報に基づいて、赤色領域および青色領域の閾値を設定する。

以上説明したように、実施の形態３によると、フォークリフト２５の位置に基づいて閾値を設定することができる。これにより、例えば、フォークリフト２５が屋内を走行している場合と屋外を走行している場合とで閾値を変更することができる。このように、フォークリフト２５の周囲の環境が変化した場合であっても、正確に色領域を抽出することができる。これにより、フォークリフト２５の周囲に存在する人物を正確に検出することができる。

（実施の形態４）
実施の形態１〜３では、フォークリフト２５の後方の人物を検出する例について説明した。実施の形態４では、フォークリフト２５の後方の人物のみならず、前方の人物を検出する例についても説明する。

以下では、実施の形態１〜３と共通する部分についての説明は繰り返さず、実施の形態１〜３と異なる部分について中心に説明する。

図１９は、実施の形態４に係る画像処理システムの取付例を示す図である。図２０は、実施の形態４に係る画像処理システムの機能的な構成を示すブロック図である。

画像処理システム１Ｃは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、前方監視カメラ２６を備える。

前方監視カメラ２６は、後方監視カメラ２０とともに撮像部を構成し、例えば、フォークリフト２５の前方を撮像可能な位置（例えば、フォークリフト２５に設けられた棒状治具など）に取り付けられ、フォークリフト２５の前方の画像を撮像する。前方監視カメラ２６のカメラレンズは、例えば、画角１５０°以上の超広角レンズである。

図２１は、上方から見たフォークリフト２５の模式図である。図２１において、左側がフォークリフト２５の前方であり、右側がフォークリフト２５の後方である。図２１に示すように、フォークリフト２５の前方および後方には、前方監視カメラ２６による前方撮像領域２７と、後方監視カメラ２０による後方撮像領域２１とがそれぞれ設定される。後方撮像領域２１については、実施の形態１で説明した通りである。前方撮像領域２７は、例えば、フォークリフト２５が最高時速１０ｋｍ／ｈで走行した場合に、２秒間で移動可能な範囲を含むように設定される。つまり、前方監視カメラ２６は、前方撮像領域２７を撮像可能な位置に設置される。これにより、前方監視カメラ２６は、前方撮像領域２７内に存在する人物を撮像することができる。前方撮像領域２７をこのように設定したのは、人物を発見してから２秒間あれば、ドライバーはフォークリフト２５を停止させることができると考えられるからである。なお、前方監視カメラ２６は単願カメラを想定しているが、ステレオカメラなどの多眼カメラを用いてもよい。

画像処理装置１０が備える画像取得部１１は、通信Ｉ／Ｆを介して、前方監視カメラ２６が撮像した画像、または後方監視カメラ２０が撮像した画像を取得する。

車両状態判定部１６は、実施の形態１で説明した判定処理に加え、以下の処理を実行する。つまり、車両状態判定部１６は、通信Ｉ／Ｆを介してシフトセンサ１１２からシフトレバーの位置検出結果を取得し、取得した位置検出結果に基づいて、シフトレンジがＤレンジであるか否かを判定する。シフトレンジがＤレンジの状態で、フォークリフト２５が走行していれば、フォークリフト２５は直線前進もしくは旋回前進またはその両方の動作を行っていることになる。ただし、シフトレンジがＤレンジで、かつブレーキが掛けられている場合には、上記した動作は行っていないものの、ブレーキが外されることにより、上記動作が開始されるため、上記動作の準備状態と考えることができる。

次に、画像処理装置１０が実行する処理の流れについて説明する。

図２２は、実施の形態４に係る画像処理装置１０が実行する処理のフローチャートである。
車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＲレンジであるか否かを判定する（Ｓ１ａ）。

シフトレンジがＲレンジであると、車両状態判定部１６が判定した場合には（Ｓ１ａでＹＥＳ）、画像取得部１１は、後方監視カメラ２０が撮像した画像を取得する（Ｓ２ａ）。その後、後方監視カメラ２０が撮像した画像に対して、ステップＳ３〜Ｓ９の処理を実行する。ステップＳ３〜Ｓ９の処理は実施の形態１で説明した通りである。

シフトレンジがＲレンジ以外であると、車両状態判定部１６が判定した場合には、（Ｓ１ａでＮＯ）、車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＤレンジであるか否かを判定する（Ｓ１ｂ）。なお、Ｌレンジまたは２レンジなどの前進動作時のシフトレンジも、Ｄレンジに含まれるものとしてもよい。つまり、シフトレンジがＬレンジなどの前進動作時のシフトレンジの場合には、車両状態判定部１６は、シフトレンジがＤレンジであると判定してもよい。

シフトレンジがＤレンジであると、車両状態判定部１６が判定した場合には（Ｓ１ａでＹＥＳ）、画像取得部１１は、前方監視カメラ２６が撮像した画像を取得する（Ｓ２ｂ）。その後、前方監視カメラ２６が撮像した画像に対して、ステップＳ３〜Ｓ９の処理を実行する。ステップＳ３〜Ｓ９の処理は、対象とする画像が、前方監視カメラ２６が撮像した画像である点を除き、実施の形態１で説明した通りである。これにより、前方監視カメラ２６の前方撮像領域２７内に歩行者が存在する場合には、当該歩行者を検出し、ドライバーに歩行者の検出結果を通知することができる。

シフトレンジがＲレンジおよびＤレンジのいずれでもないと、車両状態判定部１６が判定した場合には、（Ｓ１ｂでＮＯ）、ステップＳ９に進む。例えば、シフトレンジがＰレンジであり、フォークリフト２５が停止している場合には、ステップＳ９に進む。

以上説明したように、実施の形態４によると、フォークリフト２５が前進している場合には、前方監視カメラ２６で撮像されたフォークリフト２５の前方画像に対して、人物を検出するための処理（画像取得処理、判定処理および通知処理等）が実行される。これにより、フォークリフト２５の前方に存在する人物を検出することができる。また、前方に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、フォークリフト２５の周囲に存在する人物とフォークリフト２５との接触を未然に防止することができる。

＜付記＞
以上、本発明の実施の形態に係る画像処理システム１について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上述の実施の形態では、人物にラベルが取り付けられ、画像処理装置１０が人物を検出することしたが、人物以外にラベルを取り付けてもよい。例えば、フォークリフト２５の立ち入りが禁止されている場所の近傍にラベルを貼り付けることにより、画像処理装置１０が当該場所に近づいたことを検出するようにしてもよい。これにより、フォークリフト２５が立入禁止場所に近づいたことをドライバー等に知らせることができる。

また、上述の画像処理装置１０の色抽出部１３は、ＨＳＶ色空間上の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を閾値処理することにより色領域を抽出したが、閾値処理の対象はＨＳＶ色空間上の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）に限定されるものではない。例えば、画像上の各座標の色彩をマンセル表色系における色相（Ｈ）、明度（Ｖ）、彩度（Ｃ）で表し、色相（Ｈ）、明度（Ｖ）、彩度（Ｃ）を閾値処理することにより色領域を抽出してもよい。また、画像上の各座標の赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）を閾値処理することにより色領域を抽出してもよい。

また、上述した人物等に取り付けられるラベルは、以下のように構成されてもよい。
つまり、上述の画像処理装置１０により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、
所定の２色以上の領域が所定の位置関係で配置されており、
所定の２色以上の領域は、第１色ラベル、第２色ラベルおよび第３色ラベルを含み、
第１色ラベルの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ〜７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上であり、
第２色ラベルの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ〜２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上であり、
第３色ラベルの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ〜５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。

また、上述の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

また、コンピュータを画像処理装置１０として機能させるためのコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ハードディスクドライブ、ＣＤ−ＲＯＭ、半導体メモリなどに記録したものとしてもよい。このようなコンピュータプログラムは、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、上記コンピュータプログラムに含まれる各ステップは、複数のコンピュータにより実行されてもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１、１Ａ、１Ｂ、１Ｃ 画像処理システム
１０ 画像処理装置
１１ 画像取得部
１２ 判定部
１３ 色抽出部
１４ 通知部
１５ 閾値設定部
１６ 車両状態判定部
２０ 後方監視カメラ
２５ フォークリフト
３０ 音出力装置
４０ 表示装置
５０ 端末装置
６０ ミラー
９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９１ ラベル
９０Ｂ、９１Ｂ、１００Ｂ 青ラベル
９０Ｇ、９１Ｇ、１００Ｇ 緑ラベル
９０Ｒ、９１Ｒ、１００Ｒ 赤ラベル
９０Ｓ 間隙領域
１００ 参照用ラベル
１１２ シフトセンサ
１１４ 位置センサ
１１５ 照度センサ

Claims (12)

1. 産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
   前記判定部の判定処理結果に応じた通知処理を実行する通知部と
   を備える画像処理装置。
2. 前記撮像部は、前記車両の後方を撮像範囲とする前記車両上の位置に設置された後方監視カメラを含み、
   前記画像取得部は、前記後方監視カメラで撮像された前記車両の後方画像を取得し、
   前記判定部は、前記車両が前進している場合には、前記車両の後方画像に対する前記判定処理を停止する
   請求項１に記載の画像処理装置。
3. 前記撮像部は、さらに、前記車両の前方を撮像範囲とする前記車両上の位置に設置された前方監視カメラを含み、
   前記画像取得部は、さらに、前記前方監視カメラで撮像された前記車両の前方画像を取得し、
   前記判定部は、前記車両が前進している場合には、さらに、前記車両の前方画像に対する前記判定処理を実行する
   請求項２に記載の画像処理装置。
4. 前記判定部は、前記画像を構成する各画素の所定の色空間上の画素値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、
   前記画像取得部は、前記車両の所定位置に設置された前記所定の２色以上の参照用ラベルを前記撮像部が撮像した画像を取得し、
   前記画像処理装置は、さらに、前記参照用ラベルの画像の前記色空間上の画素値に基づいて、前記所定の閾値を設定する閾値設定部を備える
   請求項１〜請求項３のいずれか１項に記載の画像処理装置。
5. 前記閾値設定部は、前記車両の周囲の照度変化を検出した場合に、前記所定の閾値を設定する
   請求項４に記載の画像処理装置。
6. 前記判定部は、前記画像を構成する各画素の所定の色空間上の値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、
   前記画像処理装置は、さらに、前記車両の位置に基づいて、前記所定の閾値を設定する閾値設定部を備える
   請求項１〜請求項３のいずれか１項に記載の画像処理装置。
7. 前記判定部は、前記画像取得部が取得した前記画像のうち、前記車両に設置されたミラーを撮像したミラー領域の像に対して、前記判定処理を実行する
   請求項１〜請求項６のいずれか１項に記載の画像処理装置。
8. 検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、
   前記検出対象物を検出する画像処理装置とを備え、
   前記画像処理装置は、
   産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
   前記判定部の判定処理結果に応じた通知を行う通知部とを有する
   画像処理システム。
9. コンピュータを、
   産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
   前記判定部の判定処理結果に応じた通知処理を実行する通知部
   として機能させるための画像処理プログラム。
10. 請求項１〜請求項７のいずれか１項に記載の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、
    前記所定の２色以上の領域が所定の位置関係で配置されている
    ラベル。
11. 各色の領域間に所定の間隙が設けられている
    請求項１０に記載のラベル。
12. 各色の領域は、蛍光テープ、蛍光塗料または発光素子を含んで構成される
    請求項１０または請求項１１に記載のラベル。