JP6165085B2 - 作業機械の周辺監視装置 - Google Patents

Description

本発明は、作業機械に搭載された複数のカメラによって撮像された複数の画像から俯瞰画像を合成し、その俯瞰画像を用いて周辺監視を行う作業機械の周辺監視装置に関する。

従来、作業機械周辺を撮像する複数のカメラによって撮像された画像のそれぞれを俯瞰画像に変換し、それら俯瞰画像の隣り合う画像を格子状に繋ぎ合わせ、結合面で消失する高さのある物体の消失を防ぎ、かつ、同色錯視を応用した格子形状とすることで明暗差が際立たない画像生成装置による操作支援システムが知られている（例えば、特許文献１参照。）。

特開２０１２−１０９７４１号公報

ところで、俯瞰画像では立体物の画像はカメラの撮像方向に倒れ込んだような画像となる。そのため、特許文献１に記載のように合成画像を表示した場合、画像の倒れ込み方向がカメラ毎に異なるため、立体物が一つしか存在しない場合であっても２つの倒れ込み像が表示される。そのため、あたかも２つの物体が存在するように見えてしまう。また、２カメラで撮像された画像を交互に合成することから、撮像された物体の情報量(画素数)は半減もしくは低減してしまい物体が透明化した画像となる。これらのことから、運転者が、監視対象を判別し難いという問題が生じる。

請求項１の発明に係る作業機械の周辺監視装置は、作業機械の周囲映像を撮影する複数の撮影装置と、前記複数の撮影装置の各撮影画像を上方視点画像に変換し、それらに基づいて作業機械周囲の俯瞰画像を生成する俯瞰画像生成部と、俯瞰画像表示領域に前記俯瞰画像を表示する表示部と、を備え、前記俯瞰画像生成部は、前記複数の撮影装置に含まれる第１撮影装置の撮影画像に対する第１上方視点画像と、前記複数の撮影装置に含まれる第２撮影装置の撮影画像に対する第２上方視点画像との重複領域における俯瞰画像を生成する際に、仮想監視対象の高さに基づいて、前記第１上方視点画像が表示される第１領域および前記第２上方視点画像が表示される第２領域の少なくとも一方と、前記第１および第２上方視点画像に基づく合成表示画像が表示される第３領域とを設定することを特徴とする。
請求項２の発明は、請求項１に記載の作業機械の周辺監視装置において、前記俯瞰画像生成部は、前記俯瞰画像表示領域における前記第１撮影装置の設置位置と前記第２撮影装置の設置位置とを結ぶ線分に交わる領域設定ラインと、前記仮想監視対象の高さとに基づいて、前記第３領域を設定することを特徴とする。
請求項３の発明は、請求項２に記載の作業機械の周辺監視装置において、前記俯瞰画像表示領域の内側に監視範囲が設定され、前記俯瞰画像生成部は、前記監視範囲、前記領域設定ラインおよび前記仮想監視対象の高さに基づいて、前記重複領域における前記第３領域を設定することを特徴とする。
請求項４の発明は、請求項２または３に記載の作業機械の周辺監視装置において、前記領域設定ラインが前記重複領域を通過する場合には、前記俯瞰画像生成部、前記仮想監視対象を前記領域設定ライン上に配置した場合の前記第１および第２上方視点画像における倒れ込み像に基づいて、前記第３領域を設定することを特徴とする。
請求項５の発明は、請求項２乃至４のいずれか一項に記載の作業機械の周辺監視装置において、前記領域設定ラインが前記第１上方視点画像における前記重複領域を除く領域を通過し、前記領域設定ラインと前記重複領域との間に前記第２撮影装置による撮影が不可能な死角領域が生じる場合には、前記俯瞰画像生成部は、前記仮想監視対象を前記死角領域に配置した場合の前記第１上方視点画像における倒れ込み像に基づいて、前記第３領域を設定することを特徴とする。

本発明によれば、重複領域における合成画像表示領域を従来よりも狭くすることができ、周辺状況を監視しやすい視認性に優れた周辺監視装置を提供することができる。

図１は、本発明に係る周辺監視装置が搭載される作業機械（油圧ショベル１００）を示す図である。 図２は、油圧ショベル１００に搭載される周辺監視装置１０の構成を示すブロック図である。 図３は、車体２０に設けられた各カメラ３０ａ、３０ｂ、３０ｃの撮影可能領域を示す図である。 図４は、合成画像生成部２１０における上方視点画像の変換処理を説明する図である。 図５は、表示画像ｅ１〜ｅ３の切り出しを説明する図である。 図６は、俯瞰画像３００における表示画像ｅ１〜ｅ３および重複領域ｃ０，ｃ１を示す図である。 図７は、倒れ込み長さＮを説明する図である。 図８は、領域設定ラインＬ１，Ｌ２と像の消失とを説明する図である。 図９は、重複領域ｃ０，ｃ１における合成表示領域ｂ６，ｂ７を示す図である。 図１０は、合成表示領域ｂ６，ｂ７における表示形態（描画技法）を説明する図である。 図１１は、合成表示領域ｂ６における倒れ込み像Ｐａ１，Ｐｃ１を示す図である。 図１２は、合成表示領域ｂ６の設定方法を説明する図である。 図１３は、死角ｚ０に対する合成表示領域の設定方法を説明する図である。 図１４は、周辺監視モニター２２０における表示領域を説明する図である。 図１５は、監視範囲Ｅ２０を設定した場合の合成表示領域ｂ６，ｂ７を示す図である。 図１６は、ダンプトラック２を模式的に示した斜視図と、周辺監視装置により表示される範囲とを示す図である。 図１７は、周辺監視モニター２２０に表示された俯瞰画像３００を示す図である。 図１８は、変形例における領域設定ラインの一例を示す図である。 図１９は、死角ｚ３に対応して設定された合成表示領域ｂ９を示す図である。 図２０は、変形例における合成表示領域ｂ９，ｂ１０，ｂ１１，ｂ１２を示す図である。 図２１は、周辺監視モニター２２０における各表示領域を示す図である。 図２２は、上方視点画像（俯瞰画像）を説明する図である。

以下、図を参照して本発明を実施するための形態について説明する。図１は、本発明に係る周辺監視装置が搭載される作業機械を示す図であり、油圧ショベル１００の全体斜視図である。油圧ショベル１００は、下部走行体１３と、この下部走行体１３上に旋回自在に設けられた上部旋回体２０とから主に構成されている。

下部走行体１３は、図示しない走行体フレームに互いに平行に位置する一対のクローラ１１，１１を有しており、これら各クローラ１１，１１には、それぞれの履帯を駆動して走行するための油圧駆動式の走行モータ１２がそれぞれ設けられている。

上部旋回体２０は、図示しない旋回体フレーム上に設置されたエンジンやバッテリー、燃料タンクなどの各種機器類が収容されるエンジン室２１と、このエンジン室２１の前方左側に設けられた運転室２２と、この運転室２２の右側から前方に延びるフロント作業機２３と、このフロント作業機２３との重量バランスを図るべくエンジン室２１の後方に設けられたカウンターウエイト２４とから主に構成されている。

運転室２２には、オペレータが搭乗するキャビン２２ａ内にフロント作業機２３を操作する操作レバーや計器類などの他に、後述する周辺監視モニターが設置されている。フロント作業機２３は、旋回体フレーム側から前方に延びるブーム２３ａと、このブーム２３ａの先端に揺動自在に設けられたアーム２３ｂと、このアーム２３ｂの先端に揺動自在に設けられたバケット２３ｃとから主に構成されている。これらブーム２３ａ、アーム２３ｂ、バケット２３ｃは、それぞれ油圧で伸縮するブームシリンダ２３ｄ、アームシリンダ２３ｅ、バケットシリンダ２３ｆによってそれぞれ動作するようになっている。

エンジン室２１の両側と、運転室２２の上部と、カウンターウエイト２４の上部には、それぞれの方向を連続して撮影するための３つのカメラ３０ａ、３０ｂ、３０ｃが設置されている。カメラ３０ａは、上部旋回体２０の左側の領域を、１８０°の画角で斜めに見下ろすように連続的に撮影する。カメラ３０ｂは、上部旋回体２０の右側の領域を、１８０°の画角で斜めに見下ろすように連続的に撮影する。カメラ３０ｃは、上部旋回体２０の後方の領域を、１８０°の画角で斜めに見下ろすように連続的に撮影する。

カメラ３０ａ、３０ｂ、３０ｃは、例えば耐久性や耐候性などに優れたＣＣＤやＣＭＯＳなどの撮像素子と広角レンズを備えた広角ビデオカメラなどから構成されている。なお、以下の説明では、これら各カメラ３０ａ、３０ｂ、３０ｃが設置（搭載）されている上部旋回体２０の各部をまとめて車体２０と称する。

図２は、油圧ショベル１００に搭載される周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、コントローラ２００、カメラ３０ａ、カメラ３０ｂ、カメラ３０ｃ、周辺監視モニター２２０で主に構成されている。コントローラ２００は、合成画像生成部２１０を有している。各カメラ３０ａ、３０ｂ、３０ｃで撮影された各画像（原画像）は、コントローラ２００の合成画像生成部２１０にそれぞれ入力される。合成画像生成部２１０は、図示しないＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェースなどを備えた画像処理ＬＳＩ（ハードウェア）から構成されており、ＲＯＭなどに予め記憶された各種データや専用の画像処理プログラムなどによってＣＰＵが前記合成画像生成部２１０の機能を実現するようになっている。

合成画像生成部２１０は、各カメラ３０ａ、３０ｂ、３０ｃで撮影した複数（３つ）の原画像から上方視点画像を、例えば３０フレーム／秒の単位で作成し、作成した上方視点画像（動画）を出力する。具体的には、各カメラ３０ａ、３０ｂ、３０ｃからそれぞれ原画像のＮＴＳＣなどのコンポジット信号が入力されると、この合成画像生成部２１０は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードしてからそれぞれ専用のフレームメモリに蓄積する。その後、レンズ歪み補正処理を行ってからホモグラフィ行列による平面射影変換処理や三次元空間での投影処理などの公知の画像変換処理によって各原画像をその上方に視点を移動した上方視点画像に変換処理する。

図３は車体２０に設けられた各カメラ３０ａ、３０ｂ、３０ｃの撮影可能領域を示す図であり、車体２０およびその周辺領域を車体２０の上方から俯瞰して見た図である。車体左側方の矩形エリアＥ１はカメラ３０ａの撮影可能領域である。車体右側方の矩形エリアＥ２はカメラ３０ｂの撮影可能領域である。車体後方の矩形エリアＥ３はカメラ３０ｃの撮影可能領域である。

矩形エリアＥ１の後端領域と矩形エリアＥ３の左端領域とは重複しており、この重複領域はカメラ３０ａおよびカメラ３０ｃにより重複撮影される。また、矩形エリアＥ２の後端領域と矩形エリアＥ３の右端領域とは重複しており、この重複領域はカメラ３０ｂおよびカメラ３０ｃにより重複撮影される。

図４は、合成画像生成部２１０における上方視点画像の変換処理を説明する図である。図４（ａ）は、各カメラ３０ａ、３０ｂ、３０ｃで撮影された各矩形エリアＥ１、Ｅ２、Ｅ３の原画像３１の一例を示したものである。各カメラ３０ａ、３０ｂ、３０ｃは左右の画角が約１８０°の広角レンズで撮影するので、撮影された原画像３１は、一般に格子線３２で示すように中央部が拡大されて周辺部が縮小されるように歪んでいる。

合成画像生成部２１０では、原画像３１に対するレンズ歪み補正処理が行われる。図４（ｂ）は、レンズ歪み補正処理後の補正画像３３である。補正処理後の補正画像３３は、地面（路面）上の縦横の仮想座標線３４が示すように、各カメラ３０ａ、３０ｂ、３０ｃの視点による遠近法に従った形に補正される。なお、このレンズ歪み補正処理は、例えば予めメモリに保存された専用の画素変換テーブル、すなわち、変換前の画像を構成する各画素のアドレスと変換後の各画素のアドレスとの対応関係を記載した画素変換テーブル、を用いた画素座標変換によって行われる。

合成画像生成部２１０は、レンズ歪み補正処理後の補正画像３３を、さらに、視点を車体上方に移す視点変換処理を行う。図４（ｃ）は、視点変換処理後の上方視点画像３５を示す図である。図４（ｂ）の補正画像３３における仮想座標線３４は、格子状に直交する仮想直交座標線３６に変換される。なお、この視点変換処理も、予めメモリに保存された専用の画素変換テーブル（視点変換処理用の変換テーブル）を用いた画素座標変換によって行われる。

図２２は、上方視点画像（俯瞰画像）を説明する図である。作業機械周囲に備えられたカメラによって撮影された映像に画像処理を施し、視点位置を仮想的に上方視点に変更した映像を得る視点変換技術は周知であり、この視点変換を行う基準面に対して実カメラ映像と仮想カメラ映像との対応を取るものである。視点変換技術を用いて複数カメラで撮影した映像のそれぞれの仮想視点を同じ位置とすると、複数映像を並べて表示した際に同一視点から１つのカメラで撮影した映像のように表示されるため使用者は表示映像を理解しやすい。

図２２において、立体的な撮影対象である人物１０２をカメラ１０１で撮影し、その撮影画像を上方視点画像に変換すると符号１０３で示すような画像となる。すなわち、人物１０２の撮影画像は、カメラ１０１と人物１０２とを結んだ延長線上へ像が変形するように地面上に投影される画像１０３（以下では倒れ込み像と呼ぶ）に変換される。

図４に戻り、合成画像生成部２１０は、作成された各上方視点画像３５から実際に表示する画像をそれぞれ切り出し、切り出した３つの画像を合成して車体２０を中心とする周囲の俯瞰画像（動画）を作成する。図４（ｃ）の破線で囲んだ矩形領域ｅは、上方視点画像３５における切り出し領域を示している。

図５に示すように、合成画像生成部２１０は、矩形エリアＥ１，Ｅ２，Ｅ３に対応する３つの上方視点画像３５Ｌ，３５Ｒ，３５Ｂから表示画像ｅ１〜ｅ３をそれぞれ切り出す。そして、合成画像生成部２１０は、それら表示画像ｅ１〜ｅ３を車体２０に対応する画像Ｇ１の周囲に環状に繋ぎ合わせて、図６に示すような一つの連続した俯瞰画像３００を作成し、その画像データをフレームメモリに出力する。

図６において、ハッチングで示した領域ｃ０は、表示画像ｅ１と表示画像ｅ３との重複領域を示す。また、ハッチングで示した領域ｃ１は、表示画像ｅ２と表示画像ｅ３との重複領域を示す。なお、図６では、分かりやすいように表示画像ｅ３を示す枠と重複領域ｃ０，ｃ１を示す枠との間に隙間を空けて示したが、実際にはこのような隙間は生じない。

重複領域ｃ０においては、カメラ３０ａの撮影画像に基づく表示画像ｅ１とカメラ３０ｃの撮影画像に基づく表示画像ｅ３とが存在する。同様に、重複領域ｃ１においては、カメラ３０ｂの撮影画像に基づく表示画像ｅ２とカメラ３０ｃの撮影画像に基づく表示画像ｅ３とが存在する。

ここで、図７を用いて、上方視点画像である表示画像ｅ１〜ｅ３における倒れ込み像の大きさについて説明する。車体２０に搭載されたカメラ３０（３０ａ，３０ｂ，３０ｃ）の高さ（搭載高さ）をＨとし、監視対象の高さをｈとする。図７では、監視対象として人物が描かれており、その身長がｈであるとしている。一般的に、監視対象高さｈは、主にどのようなものを監視対象とするかで設定される。例えば、人物や車両等を主な監視対象とする場合、身長１．７ｍの人物を想定し、この人物の胸程度の高さまでを表示できるように監視対象高さｈを１．５ｍに設定する。

図７において、ｎはカメラ３０から監視対象までの距離である。点Ｐは直線Ｌ１０と地面とが交わる点である。なお、直線Ｌ１０は、カメラ３０の中心（撮像素子と光軸との交点）と監視対象高さｈの立体物（人物）の胸元とを結ぶ直線である。カメラ３０で撮影された立体物（人物）Ｐ０の画像を上方視点変換すると、立体物Ｐ０の上方視点画像は像Ｐ１のように表示される。これは、あたかも高さＮの立体物Ｐ０が地面上に倒れ込んだような像となっている。以下では、点Ａを立体物Ｐ０の倒れ込み位置と呼び、立体物Ｐ０の位置（地面上の位置）から点Ａまでの距離Ｎを倒れ込み長さと呼ぶことにする。また、表示画面に表示される像Ｐ１のことを倒れ込み像と呼ぶことにする。

倒れ込み長さＮは、図７に示した算出式「Ｎ＝ｎ・ｈ／（Ｈ−ｈ）」によって算出することができる。例えば、Ｈ＝２．０ｍ、ｈ＝１．５ｍ、ｎ＝３．０ｍ、とした場合、倒れ込み長さＮはＮ＝９．０ｍとなる。

上述したように、重複領域ｃ０，ｃ１においては２種類の表示画像が存在するので、２種類の表示画像を用いた種々の表示形態が可能であり、上述した従来技術では２種類の表示画像を格子状に配置して二重像として同時に表示することにより、立体物の画像が表示画像ｅ１，ｅ２，ｅ３の境界近傍（重複領域の境界近傍）における消失を防止している。しかしながら、同一対象物に関して２つの画像を同時に表示した場合、その同時に表示する表示領域が広いと立体物の数が多くなる。そのため、多数の二重像が表示され、立体物が認識し難くなるという問題が生じる。そこで、本実施の形態では、境界近傍における像の消失を防止するとともに、二重像の表示領域を可能な限り狭くすることで、監視対象の認識しやすさの向上を図った。

図８〜１５は、本実施の形態における二重像表示領域（以下では合成表示領域と呼ぶ）の設定方法を説明する図である。まず、図８に示すように、合成表示領域を設定するための領域設定ラインＬ１，Ｌ２を、俯瞰画像３００が表示される表示エリアＥ１０に設定する。重複領域ｃ０は領域設定ラインＬ１により二分され、重複領域ｃ１は領域設定ラインＬ２により二分される。

図８に示す例では、領域設定ラインＬ１はカメラ３０ａとカメラ３０ｃとを結ぶ線分Ｌ２０の垂直二等分線であり、領域設定ラインＬ２はカメラ３０ｂとカメラ３０ｃとを結ぶ線分Ｌ３０の垂直二等分線である。領域設定ラインＬ１はカメラ３０ａ，３０ｃから等距離なので、領域設定ラインＬ１よりもカメラ３０ａ側の重複領域ｃ０ではカメラ３０ａによる像の方がカメラ３０ｃによる像よりも大きく、領域設定ラインＬ１よりもカメラ３０ｃ側の重複領域ｃ０ではカメラ３０ｃによる像の方がカメラ３０ａによる像よりも大きい。そのため、より大きな撮影画像を得るためには、領域設定ラインＬ１よりもカメラ３０ａ側ではカメラ３０ａによる画像を用いるのが好ましく、領域設定ラインＬ１よりもカメラ３０ｃ側ではカメラ３０ｃによる画像を用いるのが好ましい。領域設定ラインＬ２に関しても同様のことが言える。

もちろん、領域設定ラインＬ１，Ｌ２としては上述の垂直二等分線に限られるものではなく、例えば、領域設定ラインＬ１の場合にはカメラ３０ａとカメラ３０ｃとを結ぶ線分Ｌ２０と交わる直線であれば良く、領域設定ラインＬ２の場合にはカメラ３０ｂとカメラ３０ｃとを結ぶ線分Ｌ３０と交わる直線であれば良い。なお、カメラ３０ａとカメラ３０ｃとを結ぶ線分とは、厳密にはカメラ３０ａ，３０ｃの各光軸と各撮像素子との交点を結ぶ線分を指すが、カメラ３０ａとカメラ３０ｃとを結ぶ線分であればこれにこだわらない。

ここで、本実施の形態における合成表示領域を説明する前に、領域設定ラインＬ１がカメラ３０ａによる監視領域とカメラ３０ｃによる監視領域とを分ける境界線で、領域設定ラインＬ２がカメラ３０ｂによる監視領域とカメラ３０ｃによる監視領域とを分ける境界線であって、後述するような合成表示領域を設けない場合について説明する。

その場合、領域設定ラインＬ１，Ｌ２の近傍では、倒れ込み像のほとんどが消失して立体物の足元の像しか表示されないことになる。また、領域ｚ０は領域設定ラインＬ１よりもカメラ３０ａ側の領域であるが、領域ｚ０はカメラ３０ｃによる撮影画像しかなく、カメラ３０ａにとっては撮影不可能な死角領域となっている。同様に、領域ｚ１は領域設定ラインＬ２よりもカメラ３０ｂ側の領域であるが、領域ｚ１はカメラ３０ｂによる撮影画像しかなく、カメラ３０ｂにとっては撮影不可能な死角領域となっている。ここでは領域ｚ０，ｚ１のことを死角ｚ０，ｚ１と呼ぶことにする。

領域設定ラインＬ１より上側の表示領域Ｅ１１（死角ｚ０は除く）には、カメラ３０ａで撮影された画像に基づく表示画像ｅ１が表示される。また、領域設定ラインＬ２より上側の表示領域Ｅ２１（死角ｚ１は除く）には、カメラ３０ｂで撮影された画像に基づく表示画像ｅ２が表示される。そして、領域設定ラインＬ１と領域設定ラインＬ２との間の表示領域Ｅ３１にはカメラ３０ｃで撮影された画像に基づく表示画像ｅ３が表示される。

例えば、図８に示すように領域設定ラインＬ１から離れた位置Ｂ１に立体物（人物）がある場合、上方視点画像として表示される立体物の倒れ込み像は符号Ｐａ２を付した像のようになる。倒れ込み像Ｐａ２は、カメラ３０ａと立体物とを結ぶ直線Ｌ１１に沿って倒れ込むように表示される。その倒れ込み長さＮは、上述した算出式「Ｎ＝ｎ・ｈ／（Ｈ−ｈ）」によって算出される。この場合、倒れ込み像Ｐａ２の全体が表示されている。

一方、領域設定ラインＬ１の近くの位置Ｂ２に立体物がある場合、倒れ込み像Ｐｃ１の一部（足元）のみが表示領域Ｅ３１に表示されることになる。上述したように、重複領域ｃ０には表示画像ｅ１と表示画像ｅ３とが存在し、位置Ｂ２にある立体物に対しては倒れ込み像Ｐａ１と倒れ込み像Ｐｃ１とが存在する。しかし、領域設定ラインＬ１を設定して、表示領域Ｅ１１に表示画像ｅ１を表示し、表示領域Ｅ３１に表示画像ｅ３を表示するように表示領域を区分した場合、表示領域Ｅ１１と表示領域Ｅ３１とに跨っている倒れ込み像Ｐｃ１の場合には表示領域Ｅ１１側の足元の像のみが表示され、表示領域Ｅ３１側の破線で示す部分は表示されない。また、倒れ込み像Ｐａ１は表示画像ｅ１における画像なので、表示領域Ｅ３１には表示されない。そのため、立体物（例えば人物）が画像Ｇ１で表示される車体２０の近くにいることを見逃してしまうおそれがあった。

本実施の形態では、このような問題点を解決するために、図９に示すような合成表示領域ｂ６，ｂ７を、重複領域ｃ０，ｃ１の一部に設けるようにした。合成表示領域ｂ６においては、表示画像ｅ１および表示画像ｅ３の両方を所定の表示形態で表示する。図９では、倒れ込み像Ｐａ１，Ｐｃ１の両方が合成表示領域ｂ６に表示されている。倒れ込み像Ｐａ１はカメラ３０ａと位置Ｂ２とを結ぶ直線Ｌ１２に沿って倒れ込んでおり、倒れ込み像Ｐｃ１はカメラ３０ｃと位置Ｂ２とを結ぶ直線Ｌ１３に沿って倒れ込んでいる。同様に、合成表示領域ｂ７においては、表示画像ｅ２および表示画像ｅ３の両方を所定の表示形態で表示する。

なお、合成表示領域ｂ６，ｂ７においては、図１０に示すような合成表示が行われる。図１０は合成表示領域の表示形態（描画技法）の一例を示したもので、２種類の表示画像が市松模様に配置されている。図１０（ａ）は合成表示領域ｂ６における合成表示画像を示しており、表示画像ｅ１と表示画像ｅ３とが市松模様に配置されている。図１０（ｂ）は合成表示領域ｂ７における合成表示画像を示し、表示画像ｅ２と表示画像ｅ３とが市松模様に配置されている。市松模様に配置される格子の大きさはピクセル単位で任意に設定できる。

図１０に示した描画技法は一例である。合成表示領域の描画技法としては種々のものが知られており、いずれの描画技法も適用することができる。例えば、縞状に配置しても良いし、重なる画素間の透過率（アルファ値）を設定してアルファブレンド処理を行っても良い。すなわち、合成表示領域においては、２つのカメラから出力された画像信号を合成して生成される合成画像が表示される。

図１１は、図１０（ａ）に示す合成表示領域ｂ６における倒れ込み像Ｐａ１，Ｐｃ１を示したものである。なお、破線は倒れ込み像Ｐａ１，Ｐｃ１が表示される領域を表しており、実際の表示画像上には表示されない。図１１では、倒れ込み像Ｐａ１，Ｐｃ１が分かりやすいように、倒れ込み像Ｐａ１を表示している表示画像ｅ１および倒れ込み像Ｐｃ１を表示している表示画像ｅ３のみを示し、背景画像の表示は省略している。

次に、図１２，１３を参照して合成表示領域ｂ６，ｂ７の設定方法について説明する。まず、重複領域ｃ０を二分する領域設定ラインＬ１と重複領域ｃ０との交点をＢ４，Ｂ５とする。ここでは、車体２０を表す画像Ｇ１に近い方の交点をＢ４とし、画像Ｇ１から遠い方の交点をＢ５とする。

そして、交点Ｂ４の位置に仮想監視対象を配置した場合の、倒れ込み像Ｐａ１（カメラ３０ａの撮影画像に基づく像）と倒れ込み像Ｐｃ１（カメラ３０ｃの撮影画像に基づく像）の倒れ込み長さＮをそれぞれ算出する。同様に、交点Ｂ５の位置に仮想監視対象を配置した場合の、倒れ込み像Ｐａ２（カメラ３０ａの撮影画像に基づく）と倒れ込み像Ｐｃ２（カメラ３０ｃの撮影画像に基づく）の倒れ込み長さＮをそれぞれ算出する。ここで、仮想監視対象とは予め設定された所定高さの立体物であって、例えば、上述した１．５ｍの高さを有する立体物が仮想監視対象とされる。ここでは、この高さ（１．５ｍ）のことを基準監視高さと呼ぶ。

図１２では、倒れ込み像Ｐａ１，Ｐａ２，Ｐｃ１，Ｐｃ２は矢印で表示されており、矢印の先端が仮想監視対象の胸元（基準監視高さの頂点）を示す。そして、交点Ｂ４、矢印Ｐｃ１の先端、矢印Ｐｃ２の先端、矢印Ｐａ２の先端、矢印Ｐａ１の先端、交点Ｂ４の順に線分で結び、それらの線分で囲まれた領域を合成表示領域ｂ６１（合成表示領域ｂ６の一部）とする。合成表示領域ｂ６１は、交点Ｂ４から交点Ｂ５までの領域設定ラインＬ１上に仮想監視対象を配置し、それらの倒れ込み像が表示される領域に相当している。同様に、重複領域ｃ１と領域設定ラインＬ２との交点Ｂ６，Ｂ７とを求め、同様の手順で合成表示領域ｂ７１（合成表示領域ｂ７の一部）を設定する。

上述したように、死角ｚ０の領域はカメラ３０ａでは撮影不可能な領域であり、死角ｚ１の領域はカメラ３０ｂでは撮影不可能な領域である。そのため、死角ｚ０，ｚ１に対しても合成表示領域をそれぞれ設定する。図９に示す合成表示領域ｂ６には、上述した合成表示領域ｂ６１に死角ｚ０に関する合成表示領域を加えたものである。同様に、図９に示す合成表示領域ｂ７は、上述した合成表示領域ｂ７１に死角ｚ１に関する合成表示領域を加えたものである。

図１３は、死角ｚ０に対する合成表示領域の設定方法を示す図である。死角ｚ０はカメラ３０ｃのみにより撮影できる領域なので、死角ｚ０と重複領域ｃ０との境界に仮想監視対象を配置した場合を考え、カメラ３０ｃの撮影画像に基づく仮想監視対象の倒れ込み像を考える。図１３に示す例では、死角ｚ０と重複領域ｃ０との境界の内で最も車体２０（画像Ｇ１で示されている）に近い位置Ｂ８と、車体２０から最も遠い点Ｂ４に仮想監視対象を配置する。矢印Ｐｃ１は位置Ｂ８に配置された仮想監視対象の倒れ込み像であり、矢印Ｐｃ２は位置Ｂ４に配置された仮想監視対象の倒れ込み像である。そして、位置Ｂ８、矢印Ｐｃ１の先端、矢印Ｐｃ２の先端、位置Ｂ４を順に結んで形成される領域を、死角ｚ０に対する合成表示領域ｂ６２とする。死角ｚ０に位置する仮想監視対象の胸元は、全てこの合成表示領域ｂ６２に含まれる。なお、図示は省略したが、死角ｚ１に対する合成表示領域も、合成表示領域ｂ６２と同様の手順で設定することができる。

図１４は、周辺監視モニター２２０における表示領域を説明する図である。車体２０を表す画像Ｇ１の周囲には、カメラ３０ａで撮影された画像に基づく上方視点画像が表示される表示エリアＳ１、カメラ３０ｂで撮影された画像に基づく上方視点画像が表示される表示エリアＳ２、カメラ３０ｃで撮影された画像に基づく上方視点画像が表示される表示エリアＳ３および合成表示領域ｂ６，ｂ７が設けられている。なお、破線で示した領域設定ラインＬ１，Ｌ２は表示されない。

なお、領域設定ラインＬ１，Ｌ２として画像Ｇ１の隅を通るような直線を設定すると、上述した死角ｚ０，ｚ１を生じさせないことが可能である。また、作業機械においては、車体２０周囲の所定範囲内を特別な監視範囲に設定し、人物等が不用意にその監視範囲に入らないように監視することがある。このような場合、監視範囲内においては監視対象の一部のみが表示されるような事を避けるべく、監視範囲も考慮した合成表示領域が設定される。なお、図９に示した合成表示領域ｂ６，ｂ７は、監視範囲を表示エリアＥ１０の全域とした場合に想到する。

図１５は、画像Ｇ１の左隅および右隅を通るように領域設定ラインＬ１，Ｌ２を設定し、さらに上述の監視範囲を画像Ｇ１の周囲に設定した場合の合成表示領域ｂ６，ｂ７を示したものである。Ｅ２０は監視範囲の境界であり、例えば、車体２０（画像Ｇ１）から３．０ｍ以内を監視範囲とする。合成表示領域ｂ６を設定する場合には、領域設定ラインＬ１と重複領域ｃ０との交点Ｂ８（重複領域ｃ０の右上隅）、および領域設定ラインＬ１と監視範囲Ｅ２０との交点Ｂ９に仮想監視対象を配置する。

交点Ｂ８に配置された仮想監視対象に対して、カメラ３０ａの撮影画像に基づく倒れ込み像Ｐａ１（倒れ込み位置）と、カメラ３０ｃの撮影画像に基づく倒れ込み像Ｐｃ１（倒れ込み位置）とが算出される。同様に、交点Ｂ９に配置された仮想監視対象に対して、カメラ３０ａの撮影画像に基づく倒れ込み像Ｐａ２（倒れ込み位置）と、カメラ３０ｃの撮影画像に基づく倒れ込み像Ｐｃ２（倒れ込み位置）とが算出される。倒れ込み像は矢印で示した。交点Ｂ８、矢印Ｐｃ１の先端、矢印Ｐｃ２の先端、矢印Ｐａ２の先端、矢印ａ１の先端および交点Ｂ８を順に線分で結んでできる領域が、合成表示領域ｂ６である。詳細説明は省略するが、領域設定ラインＬ２に関する合成表示領域ｂ７についても合成表示領域ｂ６の場合と同様の手順で設定できる。

（変形例）
図１６〜２１は、本発明をダンプトラック２の周辺監視装置に適用した場合を説明する図である。図１６，１７はカメラ搭載位置と表示範囲（カメラにより監視する範囲）を説明する図であり、図１６は、ダンプトラック２を模式的に示した斜視図と、周辺監視装置により表示される範囲とを示す図である。図１７は、周辺監視モニター２２０に表示された俯瞰画像３００を示す図である。

図１６に示すように、ダンプトラック２には４つのカメラ５０ａ〜５０ｄが搭載されている。具体的には、車両前方周辺を撮影するカメラ５０ｄ、車両左側周辺を撮影するカメラ５０ａ、車両右側周辺を撮影するカメラ５０ｂ、車両後方周辺を撮影するカメラ５０ｃを備えている。カメラ５０ａで撮影された画像の内、領域Ｒ１の部分が表示画像ｅ１として周辺監視モニター２２０に表示される。同様に、カメラ５０ｂで撮影された画像の内の領域Ｒ２の部分が表示画像ｅ２とされ、カメラ５０ｃで撮影された画像の内の領域Ｒ３の部分が表示画像ｅ３とされ、カメラ５０ｄで撮影された画像の内の領域Ｒ４の部分が表示画像ｅ４とされる。

図１７は、周辺監視モニター２２０に表示された俯瞰画像３００を示す図である。周辺監視モニター上にはダンプトラック２を表す画像Ｇ２が表示され、その周囲に表示画像ｅ１〜ｅ４が配置されている。ｃ２は表示画像ｅ１と表示画像ｅ４との重複領域で、ｃ３は表示画像ｅ１と表示画像ｅ３との重複領域で、ｃ４は表示画像ｅ２と表示画像ｅ３との重複領域で、ｃ５は表示画像ｅ２と表示画像ｅ４との重複領域である。

図１８は、変形例における領域設定ラインの一例を示す図である。図１８の変形例においても、上述した図８の場合と同様に、カメラ間を結ぶ線分の垂直二等分線を領域設定ラインとした。具体的には、領域設定ラインＬ３はカメラ５０ａ，５０ｄ間を結ぶ線分Ｌ４０の垂直二等分線であり、領域設定ラインＬ４はカメラ５０ａ，５０ｃ間を結ぶ線分Ｌ５０の垂直二等分線であり、領域設定ラインＬ５はカメラ５０ｂ，５０ｃ間を結ぶ線分Ｌ２０の垂直二等分線であり、領域設定ラインＬ６はカメラ５０ｂ，５０ｄ間を結ぶ線分Ｌ３０の垂直二等分線である。

領域設定ラインＬ３は、重複領域ｃ２を二分している。さらに、領域設定ラインＬ３のカメラ５０ａ側には、カメラ５０ａでは撮影できない死角ｚ２が生じている。一方、領域設定ラインＬ４〜Ｌ６は、重複領域を通っていない。領域設定ラインＬ４はカメラ５０ｃのみが撮影可能な領域を通っており、領域設定ラインＬ４のカメラ５０ｃ側にはカメラ５０ｃでは撮影不可能な死角ｚ３が生じている。領域設定ラインＬ５はカメラ５０ｂのみが撮影可能な領域を通っており、領域設定ラインＬ５のカメラ５０ｃ側にはカメラ５０ｃでは撮影不可能な死角ｚ４が生じている。領域設定ラインＬ６はカメラ５０ｄのみが撮影可能な領域を通っており、領域設定ラインＬ６のカメラ５０ｂ側にはカメラ５０ｂでは撮影不可能な死角ｚ５が生じている。

重複領域ｃ２を二分している領域設定ラインＬ３に関しては、重複領域における合成表示領域の設定方法は図１２の場合と同様に行い、死角ｚ２については図１３の場合と同様に行えば良い。また、死角ｚ３〜ｚ５が生じている領域設定ラインＬ４〜Ｌ６に関しては、図１３と同様にして合成表示領域を設定すれば良い。例えば、領域設定ラインＬ４に関する死角ｚ３の場合の合成表示領域を図示すると、図１９に示すようになる。

図１９は、死角ｚ３に対応して設定された合成表示領域ｂ９を示す図である。死角ｚ３はカメラ５０ａでしか撮影できない領域なので、死角ｚ３と重複領域ｃ３との境界に仮想監視対象を配置した場合を考える。死角ｚ３と重複領域ｃ３との境界の内で最も画像Ｇ２に近い位置Ｂ９と、画像Ｇ２から最も遠い位置Ｂ１０に仮想監視対象を配置する。矢印Ｐａ１は位置Ｂ９に配置された仮想監視対象の倒れ込み像であり、矢印Ｐａ２は位置Ｂ１０に配置された仮想監視対象の倒れ込み像である。そして、位置Ｂ９、矢印Ｐａ１の先端、矢印Ｐａ２の先端、位置Ｂ９を順に結んで形成される領域を、死角ｚ３に対する合成表示領域ｂ９とする。

また、図１５の場合と同様の監視範囲Ｅ２０を設けた場合には、図２０に示すように合成表示領域ｂ９，ｂ１０，ｂ１１，ｂ１２が設定される。図２１は、周辺監視モニター２２０における各表示領域を示す図である。ダンプトラック２を表す画像Ｇ２の周囲には、カメラ５０ａで撮影された画像に基づく上方視点画像が表示される表示エリアＳ５、カメラ５０ｃで撮影された画像に基づく上方視点画像が表示される表示エリアＳ６、カメラ５０ｂで撮影された画像に基づく上方視点画像が表示される表示エリアＳ７，合成表示領域ｂ９，ｂ１０，ｂ１１，ｂ１２が設けられている。

以上説明したように、本発明による作業機械の周辺監視装置１０は、図２，５，６に示すように、作業機械（油圧ショベル１００）の周囲映像を撮影する複数のカメラ３０ａ，３０ｂ，３０ｃと、複数のカメラ３０ａ，３０ｂ，３０ｃの各撮影画像を上方視点画像である表示画像ｅ１〜ｅ３に変換し、それらに基づいて作業機械周囲の俯瞰画像３００を生成する合成画像生成部２１０と、表示エリアＥ１０に俯瞰画像３００を表示する周辺監視モニター２２０と、を備える。そして、合成画像生成部２１０は、カメラ３０ａの撮影画像に対する表示画像ｅ１とカメラ３０ｃの撮影画像に対する表示画像ｅ３との重複領域ｃ０における俯瞰画像を生成する際に、仮想監視対象の高さｈ（図７参照）に基づいて、図１４に示すように、表示画像ｅ１が表示される表示エリアＳ１および表示画像ｅ３が表示される表示エリアＳ３と、表示画像ｅ１，ｅ３に基づく合成表示画像が表示される合成表示領域ｂ６とを設定する。

このように、合成表示領域ｂ６を設定することにより、監視対象の倒れ込み像の消失（像の足元を除く大部分が表示されない現象）を防止することができる。さらに、仮想監視対象の高さｈに基づいて倒れ込み長さＮを算出し合成表示領域ｂ６を設定しているので、図９に示すように、監視対象に対して２つの倒れ込み像Ｐａ１，像Ｐｃ１が表示される合成表示領域ｂ６の範囲を狭く抑えることができ、使用者が周辺状況を監視しやすい表示を提供することができる。

なお、図１２に示すように、合成表示領域ｂ６は、表示エリアＥ１０におけるカメラ３０ａの設置位置とカメラ３０ｃの設置位置とを結ぶ線分Ｌ２０に交わる領域設定ラインＬ１と、仮想監視対象の高さｈとに基づいて設定される。

また、表示エリアＥ１０の内側に監視範囲Ｅ２０が設定される場合には、合成表示領域ｂ６は、監視範囲Ｅ２０、領域設定ラインＬ１および仮想監視対象の高さｈに基づいて設定される。それにより、監視範囲Ｅ２０内の監視がし易くなる。

図１２に示すように領域設定ラインＬ１が重複領域ｃ０を通過する場合には、合成表示領域ｂ６は、仮想監視対象を領域設定ラインＬ１上に配置した場合の表示画像ｅ１，ｅ３における倒れ込み像Ｐａ１，Ｐｃ１に基づいて設定される。合成表示領域ｂ６の境界は、領域設定ラインＬ１上の位置Ｂ４，Ｂ５に仮想監視対象を配置したときの倒れ込み像によって設定され、仮想監視対象を領域設定ラインＬ１上で移動させると、倒れ込み像は合成表示領域ｂ６内を移動する。

一方、図１９に示すように、領域設定ラインＬ４が表示画像ｅ１における重複領域ｃ３を除く領域を通過し、領域設定ラインＬ４と重複領域ｃ３との間にカメラ５０ｃによる撮影が不可能な死角ｚ３が生じる場合には、合成表示領域ｂ９は、仮想監視対象を死角ｚ３に配置した場合の表示画像ｅ１における倒れ込み像Ｐａ１，Ｐａ２に基づいて設定される。この場合、合成表示領域ｂ９の境界は、死角ｚ３と重複領域ｃ３との境界に仮想監視対象を配置した場合の倒れ込み像によって設定される。

なお、上述した実施形態では、カメラ間を結ぶ線分を通る領域設定ラインの全てに関して合成表示領域を設定したが、必ずしも全ての領域設定ラインに対して合成表示領域を設定する必要はない。例えば、図１に示した油圧ショベル１００の場合、運転室２２のキャビン２２ａ内に搭乗しているオペレータは、左側後方はミラーにより比較的視認しやすいので、図９に示す右側後方の重複領域ｃ１にのみに合成表示領域ｂ７を設定するようにしても良い。また、油圧ショベル１００を用いた実施の形態では、左右および後方の３台のカメラによる画像の合成表示を例としたが、これに拘るものではなくダンプトラック２の例と同様、さらに前方にカメラを設けた４台の画像による合成表示でもよい。

上述した各実施形態はそれぞれ単独に、あるいは組み合わせて用いても良い。それぞれの実施形態での効果を単独あるいは相乗して奏することができるからである。また、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。

２…ダンプトラック、１０…周辺監視装置、３０，３０ａ〜３０ｃ，５０ａ〜５０ｄ，１０１…カメラ、１００…油圧ショベル、２００…コントローラ、２１０…合成画像生成部、２２０…周辺監視モニター、３００…俯瞰画像、ｂ６，ｂ７，ｂ９〜ｂ１２，ｂ６１，ｂ６２，ｂ７１…合成表示領域、ｃ０，ｃ１〜ｃ５…重複領域、ｅ１〜ｅ４…表示画像、Ｅ２０…監視範囲、Ｌ１〜Ｌ６…領域設定ライン、Ｌ２０，Ｌ３０，Ｌ４０，Ｌ５０…線分、Ｐａ１，Ｐａ２，Ｐｃ１，Ｐｃ２…倒れ込み像、Ｓ１〜Ｓ７…表示エリア、ｚ０，ｚ１〜ｚ５…死角

Claims (5)

1. 作業機械の周囲映像を撮影する複数の撮影装置と、
   前記複数の撮影装置の各撮影画像を上方視点画像に変換し、それらに基づいて作業機械周囲の俯瞰画像を生成する俯瞰画像生成部と、
   俯瞰画像表示領域に前記俯瞰画像を表示する表示部と、を備え、
   前記俯瞰画像生成部は、
   前記複数の撮影装置に含まれる第１撮影装置の撮影画像に対する第１上方視点画像と、前記複数の撮影装置に含まれる第２撮影装置の撮影画像に対する第２上方視点画像との重複領域における俯瞰画像を生成する際に、
   仮想監視対象の高さに基づいて、前記第１上方視点画像が表示される第１領域および前記第２上方視点画像が表示される第２領域の少なくとも一方と、前記第１および第２上方視点画像に基づく合成表示画像が表示される第３領域とを設定する、作業機械の周辺監視装置。
2. 請求項１に記載の作業機械の周辺監視装置において、
   前記俯瞰画像生成部は、
   前記俯瞰画像表示領域における前記第１撮影装置の設置位置と前記第２撮影装置の設置位置とを結ぶ線分に交わる領域設定ラインと、前記仮想監視対象の高さとに基づいて、前記第３領域を設定する、作業機械の周辺監視装置。
3. 請求項２に記載の作業機械の周辺監視装置において、
   前記俯瞰画像表示領域の内側に監視範囲が設定され、
   前記俯瞰画像生成部は、
   前記監視範囲、前記領域設定ラインおよび前記仮想監視対象の高さに基づいて、前記重複領域における前記第３領域を設定する、作業機械の周辺監視装置。
4. 請求項２または３に記載の作業機械の周辺監視装置において、
   前記領域設定ラインが前記重複領域を通過する場合には、
   前記俯瞰画像生成部は、前記仮想監視対象を前記領域設定ライン上に配置した場合の前記第１および第２上方視点画像における倒れ込み像に基づいて、前記第３領域を設定する、作業機械の周辺監視装置。
5. 請求項２乃至４のいずれか一項に記載の作業機械の周辺監視装置において、
   前記領域設定ラインが前記第１上方視点画像における前記重複領域を除く領域を通過し、前記領域設定ラインと前記重複領域との間に前記第２撮影装置による撮影が不可能な死角領域が生じる場合には、
   前記俯瞰画像生成部は、前記仮想監視対象を前記死角領域に配置した場合の前記第１上方視点画像における倒れ込み像に基づいて、前記第３領域を設定する、作業機械の周辺監視装置。

Images