JP2015139161A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】報知する必要のある報知対象障害物を正確に判定することができる作業機械の周囲監視装置を提供する。
【解決手段】作業機械１の周囲の画像を撮像する撮像装置２０と、撮像装置２０によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成部１３０と、画像生成部１３０によって生成された仮想視点画像を表示装置５０に表示させる表示制御部１８１とを備える作業機械１の周囲監視装置１００において、作業機械１の周囲に存在する障害物を検出する障害物検出部１５０と、障害物検出部１５０で検出された障害物の作業機械１に対する相対的な移動方向を検出する移動方向検出部１６０と、移動方向検出部１６０で検出された障害物の相対的な移動方向に基づいて、障害物の相対的な移動方向が、予め設定した移動方向の範囲に含まれる場合に、障害物が作業機械１の運転者に報知する必要のある報知対象障害物であると判定する判定部１７０とを備える。
【選択図】図２

Description

本発明は、作業機械の周囲監視装置に関する。

従来から、ダンプトラック等の作業機械において、障害物が警告領域内に位置すると判定された場合に、カメラ画像をモニタに表示させることによって運転者に作業機械周囲の状況を把握させるようにしたものがある（例えば、特許文献１参照）。特許文献１の装置は、ダンプトラックの走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定している。

特開２０１２−２５６１１３号公報

しかしながら、上記特許文献１に記載の装置においては、ダンプトラックの走行状態に応じて警告領域を設定しているので、例えば障害物がダンプトラックと並走する場合、障害物がダンプトラックから離れる場合、障害物がダンプトラックと並んで待機する場合等においても、警告する必要があると判定されてしまう。

（１）請求項１に記載の作業機械の周囲の画像を撮像する撮像装置と、前記撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成部と、前記画像生成部によって生成された前記仮想視点画像を表示装置に表示させる表示制御部とを備える作業機械の周囲監視装置において、前記作業機械の周囲に存在する障害物を検出する障害物検出部と、前記障害物検出部で検出された障害物の前記作業機械に対する相対的な移動方向を検出する移動方向検出部と、前記移動方向検出部で検出された前記障害物の相対的な移動方向に基づいて、前記障害物の相対的な移動方向が、予め設定した移動方向の範囲に含まれる場合に、前記障害物が前記作業機械の運転者に報知する必要のある報知対象障害物であると判定する判定部とを備える。
（２）請求項２に記載の作業機械の周囲監視装置は、請求項１に記載の作業機械の周囲監視装置において、前記障害物検出部で検出された障害物の前記作業機械に対する位置を検出する位置検出部と、前記作業機械の機体状態を検出する機体状態判定部と、前記機体状態判定部によって判定された前記機体状態に応じて、前記作業機械の周囲に報知対象領域を設定する報知対象領域設定部とをさらに備え、前記判定部は、前記位置検出部で検出された前記障害物の位置が前記報知対象領域設定部によって設定された前記報知対象領域内に存在する場合に、当該障害物が前記報知対象障害物であると判定する。
（３）請求項３に記載の作業機械の周囲監視装置は、請求項２に記載の作業機械の周囲監視装置において、前記報知対象領域設定部は、前記作業機械からの距離に応じて、前記予め設定した移動方向の範囲を変更する。
（４）請求項４に記載の作業機械の周囲監視装置は、請求項１から請求項３のいずれか１項に記載の作業機械の周囲監視装置において、前記判定部によって前記障害物が前記報知対象障害物であると判定された場合に、前記報知対象障害物の存在を運転者に報知する報知装置をさらに備える。
（５）請求項５に記載の作業機械の周囲監視装置において、請求項１から請求項４のいずれか１項に記載の作業機械の周囲監視装置において、前記判定部によって前記障害物が前記報知対象障害物であると判定された場合に、前記作業機械の走行動作を制限する動作制限部をさらに備える。

本発明によれば、障害物の相対的な移動方向に基づいて、運転者に報知する必要のある報知対象障害物を的確に判定することができる。

図１は、本発明の第１の実施の形態による周囲監視装置を搭載したダンプトラックの全体構成を示す上面図である。 図２は、第１の実施の形態による周囲監視装置の構成を示すブロック図である。 図３は、撮像装置の設置位置と撮像範囲を説明する図である。 図４は、移動方向の角度範囲を説明する図である。 図５は、前進時および前進準備時の報知対象領域を説明する図である。 図６は、後進時および後進準備時の報知対象領域を説明する図である。 図７は、停車時の報知対象領域を説明する図である。 図８は、俯瞰画像処理を説明する図である。 図９は、第１の実施の形態による周囲監視装置の制御を説明するフローチャートである。 図１０（ａ）〜（ｄ）は、ダンプトラック周囲の状況と、表示モニタに表示されるダンプトラックの周囲画像の一例を示す図である。 図１１は、本発明の第２の実施の形態による周囲監視装置の構成を示すブロック図である。 図１２は、第２の実施の形態における報知対象領域を示す図である。 図１３は、第２の実施の形態による周囲監視装置の制御を説明するフローチャートである。 図１４は、本発明の第２の実施の形態の変形例による周囲監視装置の構成を示すブロック図である。 図１５は、本発明の第３の実施の形態による周囲監視装置の構成を示すブロック図である。 図１６（ａ）（ｂ）は、本発明の第４の実施の形態によるミリ波レーダの搭載位置を示すダンプトラックの前面図及び後面図である。 図１７（ａ）（ｂ）は、本発明の第４の実施の形態によるミリ波レーダの搭載位置を示すダンプトラックの左側面図及び右側面図である。 図１８は、本発明の第４の実施の形態による周囲監視装置の構成を示すブロック図である。

≪第１の実施の形態≫
以下、図面に基づいて本発明の第１の実施の形態による周囲監視装置について詳細に説明する。なお、第１の実施の形態では、作業機械として、鉱山作業等に用いられる自走式の超大型ダンプトラックに周囲監視装置を搭載した場合を例として説明する。図１は、本発明の第１の実施の形態による周囲監視装置を搭載したダンプトラック１の上面図である。

ダンプトラック１は、ダンプトラック１の本体を形成する車体フレーム２と、車体フレーム２の前方に設けられた前輪３Ｒ，３Ｌと、車体フレーム２の後方に設けられた後輪４Ｒ，４Ｌと、車体フレーム２に対して起伏可能に構成され、土砂や鉱物等を積載する荷台であるベッセル５と、運転室７とを備える。なお、図１において、ベッセル５は、ダンプトラック１の構成を見やすくするために破線で示している。

運転室７には、運転席（不図示）と、ダンプトラック１を動作させるために運転者によって操作される種々の操作部材と、運転席の前方右側に設けられた表示装置５０と、コントローラ１０５と、が設けられている。操作部材は、後述するシフトレバー３０およびブレーキ操作部材４０を含む（図２参照）。

図２は、第１の実施の形態による周囲監視装置１００の構成を示すブロック図である。周囲監視装置１００は、ダンプトラック１の周囲における障害物の有無を監視し、必要に応じて障害物の存在を運転者に報知するものである。そこで、周囲監視装置１００は、撮像装置２０と、シフトレバー３０と、ブレーキ操作部材４０と、コントローラ１０５と、表示装置５０とから構成される。撮像装置２０は、ダンプトラック１の全周囲の画像を取得するための装置であり、ダンプトラック１の外周部に設置された前方カメラ２１と、右側方カメラ２２と、左側方カメラ２３と、後方カメラ２４とを備えている。

前方カメラ２１は、ダンプトラック１の前端部に設置された斜めラダー２Ｋの上端部に設置されており、ダンプトラック１の前方領域を撮像可能に構成されている。右側方カメラ２２は、ダンプトラック１の右前部に位置する右アッパデッキ２Ｒの右側面部に設置されており、ダンプトラック１の右側方の領域、すなわち右斜め前方から右斜め後方までの領域を撮像可能に構成されている。左側方カメラ２３は、右側方カメラ２２と略左右対称の位置、すなわちダンプトラック１の左前部に位置する左アッパデッキ２Ｌの左側面部に配置されており、ダンプトラック１の左側方の領域、すなわち左斜め前方から左斜め後方までの領域を撮像可能に構成されている。

後方カメラ２４は、右後輪４Ｒと左後輪４Ｌとを連結するアクスル上方で、ベッセル５の回動軸付近に設置されており、ダンプトラック１の後方領域を撮像可能に構成されている。各カメラ２１〜２４で撮像された画像は、後述するように合成されるので、各カメラ２１〜２４はダンプトラック１において略同じ高さの位置に配置されている。
図３に、撮像装置２０の設置位置と撮像範囲を模式的に示すダンプトラック１およびその周囲の上面図を示す。前方カメラ２１、右側方カメラ２２、左側方カメラ２３、および後方カメラ２４をダンプトラック１の外周部に配置することにより、図３に示すようにダンプトラック１のほぼ全周囲の画像を取得することができる。なお、図３は各カメラ２１〜２４で撮像された画像を後述するように合成した場合の仮想視点画像２０Ｒに対応する撮像範囲を示しており、仮想視点画像２０Ｒは、各カメラ２１〜２４の撮像範囲２１Ｒ，２２Ｒ，２３Ｒ，２４Ｒから構成されている。各カメラ２１〜２４で撮像されたダンプトラック１の周囲画像の画像データはコントローラ１０５に入力される。

シフトレバー３０は、ダンプトラック１の進行方向および速度段を切換えるために運転者によって操作される操作部材であり、運転室７内の運転席周辺に配置されている。シフトレバー３０は、前進位置、中立位置、後進位置のいずれに切り換えられているかを示すシフトレバー位置信号をコントローラ１０５に入力する。ブレーキ操作部材４０は、走行しているダンプトラック１を減速または停止させるために運転者によって操作される操作部材であり、運転室７内の運転席周辺に配置されている。ブレーキ操作部材４０は、ブレーキが作動中であるか否かを示す信号、すなわち運転者によるブレーキ操作の有無を示す信号をコントローラ１０５に入力する。なお、ブレーキ操作部材４０が操作されていないとシフトレバー３０を操作することはできない。

コントローラ１０５は、ＣＰＵと、ＲＯＭおよびＲＡＭ等のＣＰＵ周辺部品とから構成される電子制御ユニットであり、周囲監視装置１００全体の制御を行う。コントローラ１０５は、例えばＣＰＵのソフトウェア形態により、機体状態判断部１１０、報知対象設定部１２０、俯瞰画像生成部１３０、障害物検出部１５０、移動方向検出部１６０、判定部１７０、および出力制御部１８０を構成する。コントローラ１０５は、撮像装置２０から入力された画像データに対し、上方視点となるように視点変換して合成し、仮想視点画像２０Ｒとして表示装置５０に表示させるとともに、運転者に報知する必要がある障害物が存在すると判定すると、その情報を運転者に報知する。コントローラ１０５における制御については、後述する。

表示装置５０は、例えば液晶パネル等から構成される画像表示部である表示モニタを有する。表示モニタには、コントローラ１０５からの信号に応じて文字や画像が表示される。

次に、周囲監視装置１００の動作について詳細に説明する。まず、周囲監視装置１００のコントローラ１０５における、報知する必要のある障害物（報知対象障害物）の判定制御について説明する。

機体状態判断部１１０は、シフトレバー３０のシフトレバー位置信号と、ブレーキ操作部材４０のブレーキ操作信号を入力し、シフトレバー位置信号とブレーキ操作信号に基づいてダンプトラック１の機体状態を判断する。ここで、ダンプトラック１の機体状態とは、ダンプトラック１がどのような稼働状態（走行状態）にあるかを示す。

機体状態判断部１１０は、シフトレバー位置信号が前進位置で、ブレーキ操作信号がブレーキ操作無しの場合、ダンプトラック１が「前進中」と判断する。シフトレバー位置信号が前進位置で、ブレーキ操作信号がブレーキ操作有りの場合、「前進準備中」と判断する。シフトレバー位置信号が後進位置で、ブレーキ操作信号がブレーキ操作無しの場合、ダンプトラック１が「後進中」と判断する。シフトレバー位置信号が後進位置で、ブレーキ操作信号がブレーキ操作有りの場合、ダンプトラック１が「後進準備中」と判断する。シフトレバー位置信号が中立位置の場合、ブレーキ操作信号に拘わらずダンプトラック１が「停車中」と判断する。機体状態判断部１１０は、ダンプトラック１の機体状態を示す機体状態信号を報知対象設定部１２０に出力する。

報知対象設定部１２０は、機体状態判断部１１０から入力される機体状態信号に基づいて、障害物の存在を運転者に報知する必要のある報知対象領域と、各報知対象領域において運転者に報知する必要のある障害物の相対的な移動方向とを設定する。報知対象領域は、図３に示したダンプトラック１の全周囲の仮想視点画像２０Ｒの中から選択される。そこで、ダンプトラック１の全周囲の仮想視点画像２０Ｒは、報知領域とも呼ばれる。図４に、移動方向の角度範囲を説明する図、図５〜図７に、ダンプトラック１の機体状態に応じた報知対象領域および障害物の移動方向を示すダンプトラック１およびその周囲の上面図を示す。図５は、ダンプトラック１が「前進中」または「前進準備中」の報知対象領域および障害物の相対的な移動方向、図６は、ダンプトラック１が「後進中」または「後進準備中」の報知対象領域および障害物の相対的な移動方向、図７は、ダンプトラック１が「停車中」の報知対象領域および障害物の相対的な移動方向を示す。

まず、図５〜図７に示すように、ダンプトラック１の全周囲の報知領域２０Ｒは、ダンプトラック１の前方、右側方、左側方、後方、右前方、左前方、右後方、左後方、の８つの領域に分割され、さらにダンプトラック１の近傍領域と通常領域の２つに分割されている。すなわち、ダンプトラック１の全周囲の報知領域２０Ｒは、図７に示すように１６個の報知候補領域から構成されている。図５〜図７の表示態様とは一致していないが、近傍領域はダンプトラック１の外周から４メートル程度の範囲、通常領域はダンプトラック１の外周から８メートル程度の範囲として設定することができる。なお、近傍領域、通常領域の範囲はこれらの値には限定されない。

図５に示すように、ダンプトラック１が「前進中」または「前進準備中」の場合は、１６個の報知候補領域のうち、図５にハッチングで示すようにダンプトラック１の前方、右前方および左前方に存在する前方近傍領域ＣＦ，前方通常領域ＷＦ，右前方近傍領域ＣＦＲ，右前方通常領域ＷＦＲ，左前方近傍領域ＣＦＬ，左前方通常領域ＷＦＬ，およびダンプトラック１の側方近傍に存在する右側方近傍領域ＣＲと左側方近傍領域ＣＬの８個の報知候補領域を報知対象領域として設定する。

図５〜７に示す報知対象領域の中にある円について説明する。図４に示すように，この円は、円の中心からの放射方向が障害物の相対的移動方向を示し、ダンプトラック１の前後方向に沿って前方を０度、後方を１８０度とし、時計回りに角度が増大している。この円内の網掛け部が、報知する必要のある障害物の相対的な移動方向として設定される角度範囲である。図４の場合は、一例として報知する必要のある障害物の相対的な移動方向の角度範囲を１８０度〜２７０度で示している。矢印Ａ１、Ａ２は障害物の相対的移動方向を想定しており、障害物の相対的移動方向が矢印Ａ１の場合は、上述の角度範囲内に有り、矢印Ａ２の場合は、上述の角度範囲外となる。図５で示した前方近傍領域ＣＦおよび前方通常領域ＷＦの円においては、障害物がダンプトラック１の前方に存在した場合、比較的接触等を起こす可能性が高いことから、報知する必要のある障害物の相対的な移動方向の角度範囲を０度〜３６０度と設定している。なお、図５〜７に示す報知対象領域の内、円中心部に小円が記載されている報知対象領域、例えば図５の前方近傍領域ＣＦ等は、角度範囲に関係なく静止した障害物も報知対象に含むように設定可能な領域であることを示し、これら領域にある静止した障害物は後述する判定部１７０で報知対象として判定される。特に運転手から見えにくい右側方や後方で設定可能であるため、運転手が障害物を確認する上で有効である。

右前方近傍領域ＣＦＲにおいては、相対的な移動方向が１８０度〜３１５度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。右前方通常領域ＷＦＲにおいては、相対的な移動方向が１３５度〜３１５度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定する。左前方近傍領域ＣＦＬにおいては、相対的な移動方向が４５度〜１８０度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。左前方通常領域ＷＦＬにおいては、相対的な移動方向が４５度〜２２５度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定する。右側方近傍領域ＣＲにおいては、相対的な移動方向が２２５度〜３６０度（０度）の角度範囲を、左側方近傍領域ＣＬにおいては、相対的な移動方向が０度〜１３５度の角度範囲を、それぞれ報知する必要のある障害物の相対的な移動方向として設定する。なお、これら設定された角度範囲は一例であり、報知する必要のある障害物を適切に報知できれば別の角度範囲を用いてもよい。また、角度範囲としたがベクトル座標範囲等、別方式を用いてもよい。これらは後述する後進等他の場合においても同様である。

図６に示すように、ダンプトラック１が「後進中」また「後進準備中」の場合は、１６個の報知候補領域のうち、図６にハッチングで示すようにダンプトラック１の後方、右後方および左後方に存在する後方近傍領域ＣＢ，後方通常領域ＷＢ，右後方近傍領域ＣＢＲ，右後方通常領域ＷＢＲ，左後方近傍領域ＣＢＬ，左後方通常領域ＷＢＬ，およびダンプトラック１の側方近傍に存在する右側方近傍領域ＣＲと左側方近傍領域ＣＬの８個の報知候補領域を報知対象領域として設定する。

後方近傍領域ＣＢおよび後方通常領域ＷＢにおいては、図６に示すように，０度〜３６０度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。

右後方近傍領域ＣＢＲにおいては、相対的な移動方向が２２５度〜３６０度（０度）の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。右後方通常領域ＷＢＲにおいては、相対的な移動方向が２７０度〜３６０度（０度）の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定する。左後方近傍領域ＣＢＬにおいては、相対的な移動方向が０度〜１３５度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。左後方通常領域ＷＢＬにおいては、相対的な移動方向が０度〜９０度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定する。右側方近傍領域ＣＲにおいては、相対的な移動方向が１８０度〜３１５度の角度範囲を、また、左側方近傍領域ＣＬにおいては、相対的な移動方向が４５度〜１８０度の角度範囲を、それぞれ報知する必要のある障害物の相対的な移動方向として設定する。

ダンプトラック１が停車中の場合は、１６個の報知候補領域のうち、図７にハッチングで示すようにダンプトラック１の近傍に存在する前方近傍領域ＣＦ，右前方近傍領域ＣＦＲ，左前方近傍領域ＣＦＬ，右側方近傍領域ＣＲ，左側方近傍領域ＣＬ，後方近傍領域ＣＢ，右後方近傍領域ＣＢＲ，左後方近傍領域ＣＢＬの８個の報知候補領域を報知対象領域として設定する。また、これらの報知対象領域においては、図７に示すように、０度〜３６０度の角度範囲を、報知する必要のある障害物の相対的な移動方向として設定し、さらに静止した障害物も報知対象に含むように設定する。

図５から図７に示すように、報知対象領域には、ダンプトラック１からの距離に応じて角度等の範囲を変える、すなわち、報知対象障害物を判定する際の重み付け設定が可能である。例えば、図６の右後方近傍領域ＣＢＲと右後方通常領域ＷＢＲの各角度範囲が示すように、ダンプトラック１に近い領域を、報知する必要のある障害物の相対的な移動方向の角度範囲は広く設定することで、ダンプトラック１に近い領域に存在する障害物を、報知対象として判定しやすくなるように設定できる。報知対象設定部１２０は、機体状態信号に基づいて設定した報知対象領域と、各報知対象領域において運転者に報知する必要のある障害物の相対的な移動方向とを示す報知対象信号を判定部１７０に出力する。

障害物検出部１５０は、前方カメラ２１、右側方カメラ２２、左側方カメラ２３、および後方カメラ２４から入力された複数の画像データに基づいて画像処理を行い、ダンプトラック１の周囲に存在する障害物を検出するとともに、検出した障害物のダンプトラック１に対する相対位置を検出する。ダンプトラック１の周囲に存在する障害物には、例えば作業員やサービスカーが含まれる。

障害物検出部１５０は、各カメラ２１〜２４から入力された複数の画像データに基づいて、周知の画像認識技術により障害物を検出することができる。例えば障害物が移動体である場合は、画像データ中に形成された障害物に相当する一定の領域を検出し、時間的に異なる複数の画像データを比較して当該領域が異なる位置に移動する場合に、当該領域を移動体として検出する。例えば障害物が静止体である場合は、画像データ中に形成された障害物に相当する一定の領域を検出し、当該領域のエッジ、輝度、色等を総合的に判断して当該領域を静止体として検出する。

次に相対位置は、俯瞰画像生成部１３０を用いて求める。図８に、俯瞰画像処理を説明する図を示す。すなわち、俯瞰画像生成部１３０では、図８に示すように、カメラ２１〜２４からの入力画像データ２１Ｓ〜２４Ｓの内、入力画像領域２１Ｔ〜２４Ｔを図示しない幾何変換マップにより出力画像２１Ｒ〜２４Ｒに変換する。幾何変換マップは、画素単位、もしくは複数の画素で構成した領域単位で入力画像データ２１Ｓ〜２４Ｓに対し、ダンプトラック１の接地面を仮想平面とした仮想視点の光軸が垂直となるように幾何変換し、入力画像領域を出力画像に割り当てる。幾何変換マップにより、図８に示すように入力画像領域２１Ｔの斜線部の領域は出力画像の斜線部に割り当てられる。次に相対位置の求め方であるが、各カメラ２１〜２４からの入力画像データに基づいて障害物と検出された画素の位置から、幾何変換マップを用いて、逆算することにより得られる。

障害物検出部１５０によって検出された障害物の有無および障害物の相対位置の情報は、移動方向検出部１６０および判定部１７０に出力される。

移動方向検出部１６０は、障害物検出部１５０によって検出された過去の所定期間の障害物の相対位置を保存している。移動方向検出部１６０は、障害物の過去の相対位置と最新の相対位置とを比較することにより、ダンプトラック１に対する障害物の相対的な移動方向を検出する。移動方向検出部１６０は、検出した障害物の相対的な移動方向の情報を判定部１７０に出力する。

判定部１７０は、障害物検出部１５０によって検出された障害物の相対位置および移動方向検出部１６０によって検出された障害物の相対的な移動方向に基づいて、当該障害物が、運転者に報知する必要のある報知対象障害物であるか否かを判断する。具体的には、判定部１７０は、障害物の相対位置および相対的な移動方向を、報知対象設定部１２０で設定された報知対象領域と報知する必要のある障害物の相対的な移動方向の角度範囲と比較し、検出された障害物の相対位置が報知対象領域内に存在し、検出された障害物の相対的な移動方向が、報知する必要のある障害物の相対的な移動方向の角度範囲内に有る場合は、当該障害物を、報知対象障害物として判定する。なお、前述したように、一部の報知対象領域では静止した障害物も報知対象として判定する。判定部１７０の判定結果は出力制御部１８０に出力される。

次に、周囲監視装置１００のコントローラ１０５における俯瞰画像（仮想視点画像）の生成制御について説明する。

俯瞰画像生成部１３０には、前述したように、前方カメラ２１、右側方カメラ２２、左側方カメラ２３、および後方カメラ２４から入力された複数の画像データが入力され、入力された画像データに基づいて仮想視点画像を生成する。

俯瞰画像生成部１３０はさらに、前方カメラ２１の画像データに基づく仮想視点前方画像２１Ｒ、右側方カメラ２２の画像データに基づく仮想視点右側方画像２２Ｒ、左側方カメラ２３の画像データに基づく仮想視点左側方画像２３Ｒ、および後方カメラ２４の画像データに基づく仮想視点後方画像２４Ｒを合成し、図３に示すように、ダンプトラック１の全周囲の俯瞰画像に相当する仮想視点画像２０Ｒを生成する。俯瞰画像生成部１３０によって生成された仮想視点画像２０Ｒは、出力制御部１８０に出力される。

出力制御部１８０は、表示装置５０の表示モニタに表示する画像を制御する表示制御部１８１を備えている。表示制御部１８１は、俯瞰画像生成部１３０から入力されたダンプトラック１の全周囲の仮想視点画像２０Ｒおよび判定部１７０から入力された判定結果に応じて、表示モニタに表示させる画像を制御する。具体的には、表示制御部１８１は、ダンプトラック１の全周囲の仮想視点画像２０Ｒを表示モニタに表示させる。さらに、判定部１７０によって報知対象障害物があると判断された場合は、報知対象障害物の存在を運転者に報知するために、報知対象障害物を強調するための識別マークを仮想視点画像２０Ｒに重ね合わせて表示させる。具体的な表示例については図１０を用いて後述する。

表示装置５０の表示モニタには、コントローラ１０５からの信号に応じてダンプトラック１の全周囲の仮想視点画像が表示されるとともに、報知対象障害物が存在する場合は、当該報知対象障害物を強調するための識別マークが表示される。表示モニタに表示される仮想視点画像および識別マークは、撮像装置２０から入力される画像データに基づいて逐次、更新される。

以下に、第１の実施の形態における周囲監視装置１００の動作を、図９を用いて詳細に説明する。図９は、第１の実施の形態のコントローラ１０５における周囲監視制御処理の処理手順のフローチャートを示す。本処理内容は、一定間隔毎に連続的に行われる。

まず、ステップＳ１０において、機体状態判定部１１０は、シフトレバー３０とブレーキ操作部材４０から入力される信号に基づいて、ダンプトラック１の機体状態を判定する。ここでは、ダンプトラック１の機体状態が「前進準備中」であると判定された場合を例として説明する。

ステップＳ２０において、報知対象設定部１２０は、ステップＳ１０で判定したダンプトラック１の機体状態に応じて、障害物の存在を運転者に報知する必要のある報知対象領域と、運転者に報知する必要のある障害物の相対的な移動方向の角度範囲を設定する。ここでは、ダンプトラック１の機体状態が「前進準備中」であるので、図５に示す８個の報知候補領域ＣＦ，ＷＦ，ＣＦＲ，ＷＦＲ，ＣＦＬ，ＷＦＬ，ＣＲおよびＣＬを報知対象領域として設定するとともに、報知する必要のある障害物の相対的な移動方向の角度範囲を設定する。

ステップＳ３０において、俯瞰画像生成部１３０は、前方カメラ２１、右側方カメラ２２、左側方カメラ２３、および後方カメラ２４から入力された複数の画像データに基づいて、ダンプトラック１の全周囲の仮想視点画像（俯瞰画像）２０Ｒを生成する。

ステップＳ４０において、表示制御部１８１は、ステップＳ３０で生成した仮想視点画像２０Ｒを表示装置５０の表示モニタに表示させる。図１０（ａ）〜（ｄ）に、ダンプトラック１の周囲状況と表示モニタに表示される仮想視点画像の一例を示す。図１０（ａ）に示すような周囲状況の場合、仮想視点画像２０Ｒに対応する報知領域内には、サービスカー２０Ｓが存在しているが、サービスカー２０Ｓの相対位置は「前進準備中」の報知対象領域に該当しないので、報知対象障害物ではないと判断されている。したがって、表示モニタには図１０（ｂ）に示すような仮想視点画像２０Ｒのみが表示される。

なお、図１０（ｂ）において仮想視点画像２０Ｒの中央部には、ダンプトラック１に相当するイラスト１Ａが表示されている。また、表示モニタには、仮想視点画像２０Ｒにおいて各カメラ２１〜２４で撮像された画像データの境界を示す境界ラインＬ１，Ｌ２，Ｌ３，Ｌ４も表示される。仮想視点画像２０Ｒを表示することにより、表示モニタには、各カメラ２１〜２４が撮像している被写体が、ダンプトラック１を中心として上方から見下ろしたときに実際に存在する方向および位置（距離）に表示される。図１０（ｂ）の表示例においては、ダンプトラック１の右後側方に存在するサービスカー２０Ｓが、ダンプトラック１を中心として実際に存在する方向および位置に対応する位置に表示されている。

つづくステップＳ５０において、判定部１７０は、障害物検出部１５０で少なくとも１つの障害物が検出されたか否かを判断する。ステップＳ５０が肯定判定され、障害物が検出された場合は、ステップＳ６０へ進み、否定判定されて障害物が検出されていない場合は、リターンする。

ステップＳ６０において、判定部１７０は、障害物検出部１５０で検出された障害物の相対位置が仮想視点画像２０Ｒにおける報知対象領域内に存在するか否かを判定する。障害物の相対位置が報知対象領域内に存在する場合は、ステップＳ７０に進み、報知対象領域内に存在しない場合は、リターンする。

ステップＳ７０において、判定部１７０は、ステップＳ６０で報知対象領域内に存在すると判定された障害物について、その相対的な移動方向が、仮想視点画像２０Ｒにおける当該報知対象領域において報知する必要のある相対的な移動方向の角度範囲内に有るか否かを判定する。障害物の相対的な移動方向が、報知する必要のある相対的な移動方向の角度範囲内に有る場合は、当該障害物を報知対象障害物と判断してステップＳ８０に進み、角度範囲内にない場合は、リターンする。

ステップＳ８０において、表示制御部１８１は、ステップＳ７０で報知対象障害物と判定された障害物の存在を運転者に報知するために、報知対象障害物を強調して表示するよう表示装置５０を制御する。具体的には、図１０（ｃ）に示すような周囲状況の場合、仮想視点画像２０Ｒに対応する報知領域内には、サービスカー２０Ｓが存在している。サービスカー２０Ｓの相対位置および相対的な移動方向は「前進準備中」の報知対象領域および報知する必要のある相対的な移動方向に該当するので、サービスカー２０Ｓは報知対象障害物であると判断されている。

したがって、表示モニタには図１０（ｄ）に示すように、仮想視点画像２０Ｒに加えて、報知対象障害物（ここではサービスカー２０Ｓ）の存在を運転者に報知するために、仮想視点画像２０Ｒに識別マークＭを重ね合わせて表示させる。具体的には、仮想視点画像２０Ｒにおける報知対象障害物に対応する位置に、識別マークＭを重ね合わせて表示し、仮想視点画像２０Ｒにおいて報知対象障害物を視覚的に強調する。これにより、表示モニタには、ダンプトラック１の前方に存在するサービスカー２０Ｓが、ダンプトラック１を中心として実際に存在する方向および位置に対応する位置に、視覚的に強調して表示されている。これにより、今回の処理を終了してリターンする。

なお、図１０（ｄ）に示す表示例においては、仮想視点画像２０Ｒにおいて、サービスカー２０Ｓを撮像したカメラ（ここでは前方カメラ２１）から最も近いサービスカー２０Ｓの線分を検出し、これを強調表示することにより識別マークＭとしている。ただし、これには限定されず、報知対象障害物を視覚的に強調して表示することができれば、丸、四角、三角等や、報知対象障害物の移動方向を示す矢印など、種々の形態の識別マークを用いることができる。また、表示だけでなく図示しないブザー等により、聴覚的に報知してもよい。

このように、以上説明した第１の実施の形態においては、以下のような作用効果を奏することができる。
（１）周囲監視装置１００は、ダンプトラック１の周囲の画像を撮像する撮像装置２０と、撮像装置２０によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する俯瞰画像生成部１３０と、俯瞰画像生成部１３０によって生成された仮想視点画像を表示装置５０に表示させる表示制御部１８１とを備える。周囲監視装置１００は、さらに、ダンプトラック１の周囲に存在する障害物を検出する障害物検出部１５０と、障害物検出部１５０で検出された障害物のダンプトラック１に対する相対的な移動方向を検出する移動方向検出部１６０と、障害物の相対的な移動方向に基づいて、障害物の相対的な移動方向が、予め設定した移動方向の角度等の範囲内に有る場合に、障害物がダンプトラック１の運転者に報知する必要のある報知対象障害物であると判定する判定部１７０とを備える。ダンプトラック１の周囲に存在する障害物の相対的な移動方向に基づいて、当該障害物が運転者に報知する必要のある報知対象障害物であるか否かを判定するので、運転者に報知する必要のある報知対象障害物を的確に判定することができる。障害物が検出されたとしても、当該障害物がダンプトラック１から離れていくような場合、その障害物の存在を常に運転者に報知していたのでは、運転者に煩わしさを与えてしまう。そこで、検出された障害物の相対的な移動方向が予め設定した移動方向の角度等の範囲内に有る場合に、障害物が報知対象障害物であると判定することにより、例えばダンプトラック１に接近している障害物等、運転者に報知する必要のある障害物を的確に判断することができる。また、大型のダンプトラック１は、機体幅が非常に大きいうえ、運転室７は機体の左前方に設置されているため、運転者にとってはとくに機体の右側方や後方の目視確認が困難であるが、ダンプトラック１の周囲の仮想視点画像を表示モニタに表示することにより、運転者はダンプトラック１の周囲に存在する障害物とダンプトラック１との位置関係を瞬時に把握することができる。
（２）周囲監視装置１００は、障害物検出部１５０において障害物のダンプトラック１に対する位置を検出する。周囲監視装置１００は、ダンプトラック１の機体状態を検出する機体状態判断部１１０と、機体状態に応じて報知対象領域を設定する報知対象設定部１２０とをさらに備える。ダンプトラック１の機体状態、具体的には、ダンプトラック１が「前進中」「前進準備中」「後進中」「後進準備中」「停車中」のいずれの状態であるかを判断し、判断した機体状態（稼働状態）に応じて、図５〜図７に示すように、報知対象障害物を判断するための報知対象領域を設定する。判定部１７０は、さらに、障害物がダンプトラック１の周囲に設定された報知対象領域内に存在する場合に、報知対象障害物であると判定する。例えば、ダンプトラック１が前進中の場合、ダンプトラック１の後方に存在する障害物はダンプトラック１から遠ざかっていくと考えられるので、後方領域および後側方領域は報知対象領域から除外する（図５参照）。これにより、ダンプトラック１の機体状態に応じて適切な報知対象領域を設定し、運転者に報知する必要のある障害物のみを報知対象障害物として的確に判断することが可能となる。
（３）報知対象設定部１２０は、ダンプトラック１からの距離に応じて、報知対象領域の角度等の範囲を変える、すなわち報知対象障害物であると判定する際の重み付け設定が変更可能である。すなわち、ダンプトラック１に近い領域に存在する障害物を、報知対象障害物として判定されやすくなるように報知対象領域に大きな重みを設定している。具体的には、ダンプトラック１に近い領域を、報知する必要のある障害物の相対的な移動方向の角度範囲を広く設定している。例えば図６に示す後進中の場合、右後方近傍領域ＣＢＲの方が、右後方通常領域ＷＢＲよりも、報知する必要のある相対的な移動方向の角度範囲が広く設定されている。これにより、ダンプトラック１に近い領域ＣＢＲに存在する障害物の方が、ダンプトラック１から遠い領域ＷＢＲに存在する障害物よりも報知対象障害物として判断されやすくなり、運転者に報知する必要性の高い障害物を的確に判断することが可能となる。
（４）周囲監視装置１００は、判定部１７０によって障害物が報知対象障害物であると判定された場合に、障害物の存在を運転者に報知する表示制御部１８１を備える。表示制御部１８１は、報知対象障害物を表示モニタにおいて強調表示することにより、障害物の存在を運転者に報知する報知部として機能する。これにより、報知する必要があると的確に判断された報知対象障害物の存在を、運転者に視覚情報として確実に報知することができる。

≪第２の実施の形態≫
図１１は、本発明の第２の実施の形態による周囲監視装置１００Ａの構成を示すブロック図である。図１１において、第１の実施の形態と同様の機能を有する箇所には同一の符号を付している。以下では、上述した第１の実施の形態との相違点を主に説明する。

上述した第１の実施の形態では、障害物の相対位置および相対的な移動方向に基づいて、当該障害物が報知対象障害物であるか否かを判断した。第２の実施の形態では、障害物の相対位置および相対的な移動方向に加えて、障害物の移動速度に基づいて、当該障害物が報知対象障害物であるか否かを判断する。具体的には、障害物がダンプトラック１に接近してくる場合、障害物の接近速度が高いほど、当該障害物の存在を運転者に報知する重要性が高まる。そこで、第２の実施の形態においては、障害物の移動速度も加味して、運転者に報知する必要のある障害物を早い段階から的確に判断するようにする。

そこで、周囲監視装置１００Ａを構成するコントローラ１０５Ａは、移動速度検出部１６５をさらに備えている。移動速度検出部１６５は、障害物検出部１５０によって検出された過去の所定期間の障害物の相対位置を保存し、障害物の過去の相対位置と最新の相対位置との間の距離および前記所定時間に基づいて、障害物の移動速度を検出する。移動速度検出部１６５は、検出した障害物の移動速度を判定部１７０に出力する。

障害物の移動速度も加味して運転者に報知する必要のある障害物を早い段階から的確に判断できるように、周囲監視装置１００Ａは、撮像装置２０における撮像範囲を第１の実施の形態よりも広げ、より遠方の領域の障害物も検出できるように構成されている。図１２に、第２の実施の形態における撮像範囲（報知領域とも呼ぶ）を説明する図を示す。図１２は、ダンプトラック１およびその周囲の上面図であり、各カメラ２１〜２４で撮像された画像データを合成した仮想視点画像に対応している。

図１２に示すように、第２の実施の形態における報知領域２００Ｒは、第１の実施の形態で設定した報知領域２０Ｒをさらに遠方に拡大して設定されている。報知領域２００Ｒは、ダンプトラック１の前方、右側方、左側方、後方、右前方、左前方、右後方、左後方、の８つの領域について、それぞれダンプトラック１の近傍領域および通常領域に加えて、遠方領域が設定されている。これにより、ダンプトラック１の全周囲の報知領域２００Ｒは、２４個の報知候補領域から構成されている。図１２の表示態様とは一致していないが、近傍領域はダンプトラック１の外周から４メートル程度の範囲、通常領域はダンプトラック１の外周から８メートル程度の範囲、遠方領域はダンプトラック１の外周から１２メートル程度の範囲として設定することができる。なお、近傍領域、通常領域および遠方領域の範囲はこれらの値には限定されない。

報知対象設定部１２０は、ハッチングで示す報知領域２０Ｒ、すなわちダンプトラック１の近傍領域および通常領域、については、障害物の移動速度に拘わらず、上述した第１の実施の形態と同様に、機体状態判断部１１０から入力されるダンプトラック１の機体状態に基づいて、障害物の存在を運転者に報知する必要のある報知対象領域と、各報知対象領域において運転者に報知する必要のある障害物の相対的な移動方向の角度等の範囲（ここでは角度範囲）を設定する。

報知対象設定部１２０は、報知領域２０Ｒの遠方に存在する遠方領域ＦＦ，ＦＦＲ，ＦＦＬ，ＦＲ，ＦＬ，ＦＢ，ＦＢＲ，ＦＢＬについては、ダンプトラック１の機体状態に拘わらず、全ての遠方領域を報知対象領域として設定する。また、これらの遠方領域においては、ダンプトラック１の機体状態に拘わらず、各遠方領域においてダンプトラック１に接近する方向を、運転者に報知する必要のある障害物の相対的な移動方向の角度等の範囲（ここでは角度範囲）として設定する。

判定部１７０は、障害物検出部１５０によって検出された障害物の相対位置、移動方向検出部１６０によって検出された障害物の相対的な移動方向、および移動速度検出部１６５から入力される障害物の移動速度に基づいて、遠方領域ＦＦ，ＦＦＲ，ＦＦＬ，ＦＲ，ＦＬ，ＦＢ，ＦＢＲ，ＦＢＬに存在する障害物については、ダンプトラック１に接近する障害物の接近速度が所定値（例えば２０ｋｍ/ｈ）以上の場合に、当該障害物を報知対象障害物として判定する。

以下に、第２の実施の形態における周囲監視装置１００Ａの動作を、図１３のフローチャートを用いて説明する。図１３に示す制御処理は、コントローラ１０５Ａによって一定間隔毎に実行される。

ステップＳ１０において、機体状態判定部１１０は上記第１の実施の形態と同様にダンプトラック１の機体状態を判定する。

ステップＳ２０Ａにおいて、報知対象判定部１２０は、上述したように、ダンプトラック１の機体状態に基づいて障害物の存在を運転者に報知する必要のある報知対象領域と、運転者に報知する必要のある障害物の相対的な移動方向を設定する（図１２参照）。

ステップＳ３０〜Ｓ６０までの処理は、図９７を用いて説明した第１の実施の形態と同様である。ステップＳ６５では、判定部１７０において、障害物の位置が図１２に示す遠方領域ＦＦ，ＦＦＲ，ＦＦＬ，ＦＲ，ＦＬ，ＦＢ，ＦＢＲ，ＦＢＬ内に存在するか否かを判定する。ステップＳ６５が否定判定されると、ステップＳ７０に進む。ステップＳ７０、Ｓ８０の処理は、上述した第１の実施の形態と同様である。

ステップＳ６５が肯定判定され、障害物の位置が遠方領域ＦＦ，ＦＦＲ，ＦＦＬ，ＦＲ，ＦＬ，ＦＢ，ＦＢＲ，ＦＢＬのいずれかに存在する場合は、判定部１７０においては、ステップＳ７５に進み、遠方領域内に存在する障害物の相対的な移動方向が、各遠方領域において、報知する必要のある相対的な移動方向の角度範囲内に有るか否かを判定する。障害物の相対的な移動方向が報知する必要のある相対的な移動方向の角度範囲内に有り、障害物がダンプトラック１に接近している場合は、ステップＳ７８に進む。

判定部１７０において、ステップＳ７８では、障害物の移動速度が所定値（例えば２０ｋｍ/ｈ）以上であるか否かを判定する。ステップＳ７８が肯定判定され、障害物が所定値以上の速度でダンプトラック１に接近している場合は、当該障害物を報知対象障害物として判定し、ステップＳ８０に進む。ステップＳ７５，Ｓ７８が否定判定されると、リターンする。

このように、以上説明した第２の実施の形態においては、上述した第１の実施の形態による効果に加えて、以下のような作用効果を奏することができる。

周囲監視装置１００Ａは、障害物の相対位置と障害物の相対的な移動方向に加えて、障害物の移動速度に基づいて障害物が報知対象障害物であるか否かを判断するので、例えば障害物が速い速度でダンプトラック１に接近している場合等に、運転者に報知することが可能となる。また、障害物の移動速度が速い場合は、障害物が遠方領域ＦＦ，ＦＦＲ，ＦＦＬ，ＦＲ，ＦＬ，ＦＢ，ＦＢＲ，ＦＢＬに存在する場合であっても報知対象障害物として判定するので、速い速度で接近してくる障害物の存在を早い段階から運転者に把握させることができる。

なお、報知対象障害物の移動速度に応じて、識別マークやブザー音を設定してもよい。例えば、識別マークであれば、マークの色を速度に応じて変化させたり、もしくはマークの点滅周期を速度に応じて変化させたり、さらにブザー音であれば速度に応じて音の大きさや音色を変化させてもよい。

≪第２の実施の形態の変形例≫
図１４は、本発明の第２の実施の形態の変形例による周囲監視装置１００Ｄの構成を示すブロック図である。図１４において、第２の実施の形態と同様の機能を有する箇所には同一の符号を付している。以下では、上述した第２の実施の形態との相違点を主に説明する。

上述した第２の実施の形態においては、自車と障害物との相対位置および相対的な移動方向に加えて、障害物の移動速度に基づいて、当該障害物が報知対象障害物であるか否かを判断した。第２の実施の形態の変形例においては、予想される自車と障害物との接触までの時間（以降、接触時間とも呼ばれることもある）に基づいて、当該障害物が報知対象障害物であるか否かを判断する。具体的には、接触時間が短いほど、当該障害物の存在を運転者に報知する重要性が高まる。そこで、第２の実施の形態の変形例においては、接触時間も加味して、運転者に報知する必要のある障害物を早い段階から的確に判断するようにする。

そこで、周囲監視装置１００Ｄは、自車速度検出装置４５と接触時間演算部１６７とを備えている。自車速度検出装置４５は、前輪３Ｒ、３Ｌや後輪４Ｒ，４Ｌに備えられ、車輪の回転速度を検出する速度センサであり、検出した回転速度を移動速度検出部１６５に出力する。また、接触時間演算部１６７は、移動速度検出部１６５が出力した自車と障害物との相対位置、相対的な移動方向、および自車と障害物の移動速度から、接触時間を演算する。接触時間演算の一例として、自車と障害物との相対位置から得られる相対距離を、自車および障害物の速度と自車と障害物の相対的な移動方向から求めた自車と障害物の相対的な移動速度で除算することで求められる。接触時間演算部１６７は、演算した接触時間を判定部１７０に出力する。

判定部１７０は、接触時間演算部１６７から出力された接触時間と予め設定した所定の時間閾値とを比較し、接触時間が所定の時間閾値、例えば所定の時間閾値を５秒に設定した場合、５秒以下のときに報知対象障害物が存在すると判定する。

このように、以上説明した第２の実施の形態の変形例においては、上述した第１の実施の形態による効果に加えて、周囲監視装置１００Ｄは、予想される自車と障害物との接触時間に基づいて障害物が報知対象障害物であるか否かを判定するので、障害物との接触時間が短い場合に、運転者に報知することが可能となる。

≪第３の実施の形態≫
図１５は、本発明の第３の実施の形態による周囲監視装置１００Ｂの構成を示すブロック図である。図１５において、第１の実施の形態と同様の機能を有する箇所には同一の符号を付している。以下では、上述した第１の実施の形態との相違点を主に説明する。

上述した第１の実施の形態においては、報知対象障害物を視覚的に強調することにより、報知対象障害物の存在を運転者に報知した。第３の実施の形態においては、報知対象障害物が存在する場合に、視覚的な報知に加えて、ダンプトラック１の走行動作を制限する。具体的には、報知対象障害物が存在する場合、移動中のダンプトラック１は減速または停止させ、静止中のダンプトラック１は移動開始できないようにする。

そこで、第３の実施の形態による周囲監視装置１００Ｂのコントローラ１０５Ｂにおいては、出力制御部１８０Ｂがさらに動作制限部１８２を備えている。判定部１７０によって報知対象障害物が存在すると判定されると、動作制限部１８２は、ダンプトラック１の機体状態に応じてダンプトラック１の走行動作を制限するようにダンプトラック１の機体制御装置６０に信号を送信する。

機体制御装置６０は、ダンプトラック１の制動装置を制御することにより、ダンプトラック１が移動している場合（前進中、後進中）にダンプトラック１を減速や停止させるとともに、ダンプトラック１が静止している場合（前進準備中、後進準備中、停車中）にダンプトラック１を発車させないように構成されている。機体制御装置６０は、ダンプトラック１の駆動系を制御することによりダンプトラック１の発車を禁止するようにしてもよい。

このように、以上説明した第３の実施の形態においては、上述した第１、第２の実施の形態による効果に加えて、以下のような作用効果を奏することができる。

周囲監視装置１００Ｂは、判定部１７０によって障害物が報知対象障害物であると判定された場合に、ダンプトラック１の走行動作を制限する動作制限部１８２を備える。報知対象障害物が存在する場合に、ダンプトラックを減速、停止、または発車禁止することにより、障害物との接触等のリスクを予め回避することが可能となる。また、上述したように、障害物が報知対象障害物であるか否かを的確に判断するので、必要のある場合のみ、ダンプトラック１の走行動作を制限することが可能となり、運転者に煩わしさを与えることがない。

≪第４の実施の形態≫
図１６（ａ）（ｂ）は、本発明の第４の実施の形態によるミリ波レーダ７０の搭載位置を示すダンプトラック１の前面図及び後面図、図１７（ａ）（ｂ）は、本発明の第４の実施の形態によるミリ波レーダ７０の搭載位置を示すダンプトラック１の左側面図及び右側面図である。図１８は、本発明の第４の実施の形態による周囲監視装置１００Ｃの構成を示すブロック図である。図１８において、第１の実施の形態と同様の機能を有する箇所には同一の符号を付している。以下では、上述した第１の実施の形態との相違点を主に説明する。

第１の実施の形態では、撮像装置２０の撮像画像に基づいてダンプトラック１の周囲に存在する障害物を検出したが、第４の実施の形態では、障害物までの相対距離を検出する相対距離検出手段を用いて障害物を検出する。

そこで、第４の実施の形態による周囲監視装置１００Ｃは、相対距離検出手段であるミリ波レーダ７０をさらに備えている。図１６（ａ）（ｂ）、図１７（ａ）（ｂ）はミリ波レーダ７０をダンプトラック１の前後左右面に搭載した例である。なお、斜線部は検知範囲を示す。ミリ波レーダ７０が検出した相対距離信号は、コントローラ１０５Ｃの移動方向検出部１６０および判定部１７０に入力される。なお、第４の実施の形態においては、ミリ波レーダ７０により障害物を検出するので、コントローラ１０５Ｃは障害物検出部１５０を備えていない。判定部１７０は、ミリ波レーダ７０によって検出した相対距離信号および移動方向検出部１６０で検出した障害物の移動方向に基づいて、上述した第１の実施の形態と同様に、当該障害物が報知対象障害物であるか否かを判定する。

このように、以上説明した第４の実施の形態においては、上述した第１〜第３の実施の形態による効果に加えて、以下のような作用効果を奏することができる。

ミリ波レーダ７０は雨や霧の場合でも確実に障害物を検出することができるという利点を有するので、撮像装置２０による画像データで正確に障害物を検出できないような状況であっても、障害物を確実に検出することが可能となる。

−変形例−
（１）以上説明した第１から第４の実施の形態においては、判定部１７０で報知対象障害物が存在すると判定されると、その情報を運転者に報知したり、その情報に基づいてダンプトラック１の動作を制限するようにした。しかし、これには限定されず、例えば、表示装置５０や機体制御装置６０を省略し、周囲監視装置を、ダンプトラック１の周囲を監視し、報知対象障害物が存在するか否かを判定するための装置として構成することも可能である。

（２）以上説明した第１から第４の実施の形態においては、判定部１７０で報知対象障害物が存在すると判定されると、報知対象障害物の存在を表示モニタにおいて強調して表示することにより、視覚的な情報として運転者に報知するように構成したが、これには限定されない。例えば、表示モニタにおける強調表示の代わりに、運転室７内に設けた発光器を点灯することにより、運転者に報知するようにしてもよい。あるいは、運転室７内に設けたスピーカにより報知音を発することによって聴覚情報として運転者に報知するようにしてもよい。または、聴覚情報のみ、あるいは視覚情報と聴覚情報を組み合わせて運転者に報知するようにしてもよい。

（３）上述した第３の実施の形態においては、出力制御部１８０Ｂは表示制御部１８１と動作制限部１８２とを有していたが、表示制御部１８１を省略し、動作制限部１８２のみを有するようにしてもよい。この場合、判定部１７０で報知対象障害物が存在すると判定されると、ダンプトラック１の機体状態に応じたダンプトラック１の走行動作の制限のみが行われる。また、動作制限部１８２については外部にＯＮＯＦＦ機構を設け、ＯＮの際のみ動作制限部１８２を動作させるようにしてもよい。

（４）以上説明した第１から第４の実施の形態においては、シフトレバー３０とブレーキ操作部材４０からの信号に基づいて、ダンプトラック１の機体状態を判断した。ただし、これには限定されず、ダンプトラック１が「前進中」「前進準備中」「後進中」「後進準備中」「停車中」のいずれであるかを判断することができれば、パーキングブレーキスイッチなどの別の操作部材や、自車速度検出装置４５などの別のセンサからの信号に基づいてダンプトラック１の機体状態を判断するようにしてもよい。

（５）以上説明した第１から第４の実施の形態においては、各カメラ２１〜２４を用いてダンプトラック１の全周囲を撮像し、全周囲の仮想視点画像を表示モニタに表示するように構成したが、これには限定されない。例えば、前方カメラ２１の画像データに基づく前方領域の仮想視点画像のみを表示モニタに表示するように構成してもよい。また、後方カメラ２４の画像データによる後方領域の仮想視点画像のみを表示モニタに表示するように構成してもよい。前方領域のみの仮想視点画像、後方領域のみの仮想視点画像、および全周囲の仮想視点画像を切換えて表示するように構成してもよい。

（６）以上説明した第１から第４の実施の形態においては、作業機械の一例として大型のダンプトラック１に周囲監視装置１００，１００Ａ，１００Ｂ，１００Ｃを搭載する例を説明した。ただし、これには限定されず、自走式の作業機械であれば、小型や中型の油圧ショベル、または油圧ショベル以外のクレーン等、他の作業機械にも同様に搭載することができる。なお、作業機械が下部走行体と、下部走行体に対して旋回可能な上部旋回体とを備える場合、上部旋回体の旋回方向を加味して報知対象領域を設定してもよい。これにより、運転者に報知する必要のある報知対象障害物を的確に判断することが可能となる。

また、以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、本発明は上述した実施の形態および変形例に限定されるものではない。第１から第４の実施の形態、および変形例を適宜、組み合わせることも可能である。さらに、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。

１：ダンプトラック、２０：撮像装置、１１０：機体状態判定部、１２０：報知対象設定部、１５０：障害物検出部、１６０：移動方向検出部、１７０：判定部、１３０：俯瞰画像生成部、１８１：表示制御部、１８２：動作制限部

Claims (5)

1. 作業機械の周囲の画像を撮像する撮像装置と、
   前記撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成部と、
   前記画像生成部によって生成された前記仮想視点画像を表示装置に表示させる表示制御部とを備える作業機械の周囲監視装置において、
   前記作業機械の周囲に存在する障害物を検出する障害物検出部と、前記障害物検出部で検出された障害物の前記作業機械に対する相対的な移動方向を検出する移動方向検出部と、前記移動方向検出部で検出された前記障害物の相対的な移動方向に基づいて、前記障害物の相対的な移動方向が、予め設定した移動方向の範囲に含まれる場合に、前記障害物が前記作業機械の運転者に報知する必要のある報知対象障害物であると判定する判定部とを備える、作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記障害物検出部で検出された障害物の前記作業機械に対する位置を検出する位置検出部と、前記作業機械の機体状態を検出する機体状態判定部と、前記機体状態判定部によって判定された前記機体状態に応じて、前記作業機械の周囲に報知対象領域を設定する報知対象領域設定部とをさらに備え、
   前記判定部は、前記位置検出部で検出された前記障害物の位置が前記報知対象領域設定部によって設定された前記報知対象領域内に存在する場合に、当該障害物が前記報知対象障害物であると判定する、作業機械の周囲監視装置。
3. 請求項２に記載の作業機械の周囲監視装置において、
   前記報知対象領域設定部は、前記作業機械からの距離に応じて、前記予め設定した移動方向の範囲を変更する、作業機械の周囲監視装置。
4. 請求項１から請求項３のいずれか１項に記載の作業機械の周囲監視装置において、
   前記判定部によって前記障害物が前記報知対象障害物であると判定された場合に、前記報知対象障害物の存在を運転者に報知する報知装置をさらに備える、作業機械の周囲監視装置。
5. 請求項１から請求項４のいずれか１項に記載の作業機械の周囲監視装置において、
   前記判定部によって前記障害物が前記報知対象障害物であると判定された場合に、前記作業機械の走行動作を制限する動作制限部をさらに備える、作業機械の周囲監視装置。
   

Images