JP4740890B2

JP4740890B2 - 建設機械および建設機械の後進移動ガイダンス方法

Info

Publication number: JP4740890B2
Application number: JP2007082507A
Authority: JP
Inventors: 雅徳遠嶋; 昌也田中; 健治土井下; 芳夫浅山
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2011-08-03
Anticipated expiration: 2027-03-27
Also published as: JP2008240362A

Description

本発明は、油圧ショベル等の履帯および旋回体を有する建設機械および建設機械の後進移動ガイダンス方法に関するものである。

従来、油圧ショベル等の建設機械に関しては、建設機械の後方をカメラで撮影し、撮影された後方視野画像をモニタ上に表示可能とするが、機械の動作によってモニタ上に表示する画像を切り替えるようにした提案例がある（例えば、特許文献１参照）。

一方、自動車に関しては、後方カメラで撮影した後方画像をバックモニタ上に表示させる際に、自動車の後進時の予測進路を重ねて表示させるパーキングガイダンスがあり、実用化されている。

特開２００６−３３６２７５号公報

しかしながら、特許文献１に記載のものは、単に後方視野画像をモニタ上に表示可能としているだけであり、建設機械の後進時に予測される進行方向はモニタ画面上からは判らず、後進移動ガイダンスとして不十分である。

この点、自動車の場合のパーキングガイダンスによれば、後進時の予測進路が併せて表示されるので、後進移動時の安全性を確保できる。しかしながら、自動車の場合にはステアリング角だけで自動車の後進移動時の進行方向を予測し得るが、油圧ショベル等の建設機械にあっては履帯上に上部旋回体を有するため、上部旋回体の後方方向が後進移動時の進行方向に一致するとは限らず、進行方向を予測するには、走行レバーの操作情報だけでなく、上部旋回体と履帯との相対位置関係の情報が必要であり、自動車のパーキングガイダンスの技術をそのまま適用することはできない。

ここで、上部旋回体と履帯との相対位置関係の情報は、エンコーダ、ポテンショメータ等の旋回角センサを追加することで計測可能ではあるが、コストアップの要因となる。また、後方視野を撮影するカメラに加えて、履帯と上部旋回体との相対角度を計測するためのカメラを備えることで履帯と上部旋回体との相対角度を求めて進行方向を予測し、後方視野画像に重ね合せることも考えられるが、一般に、複数台のカメラを使用する場合、カメラ間のキャリブレーションが必要となり、正確に角度を求めるのが困難である。結果として進行方向のガイダンスの適正さに欠けるものとなってしまう。

本発明は、上記に鑑みてなされたものであって、１台のカメラを利用するだけで簡単かつ適正に後進移動時のガイダンスを行うことができ、後進移動時の安全性の向上を図ることができる建設機械および建設機械の後進移動ガイダンス方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる建設機械の後進移動ガイダンス方法は、履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、を備えたことを特徴とする。

また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする。

また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする。

また、本発明にかかる建設機械は、履帯および旋回体を有する建設機械であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、前記旋回体に搭載されたモニタと、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、を備えたことを特徴とする。

また、本発明にかかる建設機械は、上記発明において、前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする。

また、本発明にかかる建設機械は、上記発明において、前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする。

本発明にかかる建設機械および建設機械の後進移動ガイダンス方法は、旋回体の後部側に設置されて履帯と旋回体の後方とを撮影可能な広視野角のカメラを用い、履帯と旋回体の後方とをカメラで撮影し、カメラで撮影された画像から履帯と旋回体との相対角度を演算し、演算された相対角度に基づき建設機械の後進時の進行方向を予測するので、旋回角センサを追加することなく、１台の広視野角のカメラを用いるだけで履帯と旋回体との相対角度の計測が可能となり、また、カメラで撮影された後方画像と予測された進行方向を示す画像とをモニタ上に重ね合わせて表示するので、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができるという効果を奏する。

以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態は、建設機械として油圧ショベルへの適用例を示す。本発明は、実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

図１は、本実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図であり、図２は、油圧ショベルの構成例を示す概略ブロック図である。本実施の形態の油圧ショベル１は、下部走行体をなす左右一対の履帯２上に操縦室３ａ等を含む上部旋回体３を備え、上部旋回体３の車体部分には、ブーム４、アーム５およびバケット６からなる作業機７が取り付けられている。ブーム４、アーム５およびバケット６は、図１では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ等の油圧アクチュエータ８（図２参照）が駆動することにより作動し、掘削等の所望の作業を実行する。また、上部旋回体３は、油圧アクチュエータ８中の旋回モータ８ａが駆動することにより、履帯２に対して水平面内で回転移動し、作業機７の方向を任意の方向に設定可能としている。さらに、左右一対の履帯２は、油圧アクチュエータ８中の右走行モータ８ｂ、左走行モータ８ｃが駆動することにより作動し、直進状態または旋回しながら、前進または後進移動する。

ここで、本実施の形態の油圧ショベル１は、上部旋回体３の後部側位置、例えばカウンタウエイト３ｂの下部位置に、撮影方向を下向きとしたカメラ９を備える。このカメラ９は、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、図１中の視野線に示す如く、履帯２の後部側一部と旋回体３の後方の所定範囲とを同時に撮影可能な広視野角カメラが用いられている。広視野角カメラとしては、全方位カメラや魚眼カメラ等が適用可能であるが、本実施の形態では、カメラ９として、双曲線ミラーを利用した全方位カメラが用いられている。

また、本実施の形態の油圧ショベル１は、図２に示すように、制御系として、車体コントローラ１０と画像処理コントローラ２０とを備え、通信バス３１により接続されている。車体コントローラ１０は、油圧ショベル１の大半の制御を司るもので、例えばエンジン１１の回転数を燃料噴射指令値によって制御することで、エンジン駆動の油圧ポンプ１２を制御し、操作弁１３を介して油圧シリンダ、油圧モータ（旋回モータ８ａ、右走行モータ８ｂ、左走行モータ８ｃ）等の油圧アクチュエータ８を駆動制御し、所望の作業、動作を行わせる。また、車体コントローラ１０は、操作弁１３をパイロット油圧で制御して対応する油圧アクチュエータ８を駆動させるための操作レバー１４の操作レバー信号を取り込み、操作レバー１４の操作量に応じた燃料噴射指令値を算出する。ここで、操作レバー１４中には、旋回レバー１４ａ、右走行レバー１４ｂ、左走行レバー１４ｃ、図示しないブーム用操作レバー、アーム用操作レバー、バケット用操作レバー等が含まれる。

また、画像処理コントローラ２０は、油圧ショベル１が後進移動する際のバックモニタ時に、カメラ９で撮影された画像情報を取り込んで後進移動ガイダンスのための画像処理を行うためのものであり、カメラ９の他、モニタ２１、バックモニタ表示釦２２、変換テーブル２３等が接続されている。モニタ２１は、例えば操縦室３ａ内の前方位置等に搭載されたバックモニタ用であり、バックモニタ表示釦２２は、オペレータがモニタ２１に表示を要する場合にモニタ表示を指示するためのものである。画像処理コントローラ２０は、バックモニタ表示釦２２によりモニタ表示が指示された場合に動作し、演算手段、予測手段、後進移動ガイダンス表示手段等の機能を実現する。

本実施の形態の画像処理コントローラ２０の動作制御例を、図３に示す概略フローチャートを参照して説明する。まず、バックモニタ表示釦２２によりモニタ表示が指示されると、カメラ９は撮影動作を実行し、履帯２の後部側一部と上部旋回体３の後方とを含む広範囲を撮影し、画像処理コントローラ２０に対して出力する。図４は、カメラ９で撮影された広角画像４０の一例を模式的に示すものであり、履帯画像４１と後方画像４２とが含まれている。

画像処理コントローラ２０は、カメラ９から広角画像４０が入力されると（ステップＳ１）、広角画像４０中から特徴点抽出等の画像処理によって履帯領域を抽出し（ステップＳ２）、さらに、履帯領域の各エッジ部分を、図５中に破線で示すようにエッジ線分５１として抽出する（ステップＳ３）。そして、図５中に示すように、履帯領域の各エッジ線分５１の撮影画面座標上での履帯２の傾きを求め、その平均をとることで、画面上での履帯２の傾きθを計算する（ステップＳ４）。

ついで、履帯２と上部旋回体３との相対角度を計算する（ステップＳ５）。すなわち、カメラ９は、上部旋回体３の一部に固定されているので、撮影画面上では、上部旋回体３の位置は固定であり、実際の上部旋回体３と履帯２との相対角度αは、画面上での履帯２の傾きθとの対応関係を規定した変換テーブル２３を参照することで求めることができる。変換テーブル２３には、図６（ａ）に示す撮影画面上での履帯２の傾き角θと、図６（ｂ）に示す実際の上部旋回体３と履帯２との相対角度αとの対応関係を、設計時に予め規定したものであり、例えば図７に示すような対応関係が設定されている。

一方、上述の画像処理に並行して、後進移動に際しての操作レバー１４中の右走行レバー１４ｂ、左走行レバー１４ｃに関する走行レバー入力値を取得する（ステップＳ１１）。この走行レバー値は、操作レバー１４の操作に伴い生ずるパイロット油圧の油圧値でもよく、あるいは、レバー操作に伴う電気的なレバー入力信号であってもよい。そして、左右の右走行レバー１４ｂ、左走行レバー１４ｃのレバー入力値（操作内容）を加味して、図８に示すように、履帯２の向きから見た座標系での進行方向を予測進路６１として予測する演算を行う（ステップＳ１２）。図８に示す例であれば、履帯２の駆動輪の半径をｒとし、右、左の駆動輪の角速度をｄθ_R／ｄｔ，ｄθ_L／ｄｔとし、左右の履帯２の間隔を２ａとすると、以下の数１で求められる。

ここで、右走行レバー１４ｂ、左走行レバー１４ｃのレバー入力値が同じであれば、予測進路６１は履帯２の方向に沿った直進方向となるが、右走行レバー１４ｂ、左走行レバー１４ｃのレバー入力値が異なる場合には、その大小関係に応じた程度に右旋回または左旋回するように曲がる方向となる。

ついで、図９（ａ）に示すようなステップＳ１２で算出した予測進路６１を、図９（ｂ）に示すように、ステップＳ５で求めた履帯２と上部旋回体３との相対角α分だけ回転させることで、図９（ｃ）に示すように、上部旋回体３から見た予測進路６１に変換する（ステップＳ２１）。

一方、これらの画像処理や進路予測処理に並行して、カメラ９で撮影されて入力された広角画像４０に関して、後方画像４２部分をモニタ２１上に表示させるために後方視点画像に変換する処理を行う（ステップＳ３１）。すなわち、カメラ９で撮影された広角画像４０は、図１０（ａ）に示すように全方位の画像を含む周囲パノラマ画像であり、これを図１０（ｂ）に示すようなパノラマ画像にパノラマ展開し、展開されたパノラマ画像中から所望の後方画像４２が含まれる後方監視エリア４３に相当する部分を切り出すことで、モニタ２１上に表示する後方表示画像４４を作成する。この際、全方位の広角画像４０の半径をｒとし、広角画像４０上の任意の点を（ｘ，ｙ）とし、中心座標を（ｘ₀，ｙ₀）とした場合、後方表示画像４４上での対応する点（Ｘ，Ｙ）は、
Ｘ＝ｒtan^-1｛（ｙ₀−ｙ）／（ｘ₀−ｘ）｝
Ｙ＝ｒ−√｛（ｘ₀−ｘ）²＋（ｙ₀−ｙ）²｝
により算出される。

ついで、ステップＳ２１で、上部旋回体３の座標系に変換された予測進路６１を、地面を平面と仮定して、周知の透視投影法によって、後方視点座標系に透視投影する（ステップＳ２２）。すなわち、図１１に示すようなＸＹＺ座標系において、地面に相当するＸＹ表面上で表現された予測進路６１の関数ｆ（Ｘ，Ｙ）を、例えばモニタ２１の画面に相当するＸＺ平面上に透視投影された関数ｇ（ｘ，ｙ）として求めるものである。

この処理は、透視投影法によって処理される。まず、図１２に示すようなワールド座標系で定義された注視点Ｐ_w（ｘ_w，ｙ_w，ｚ_w）を視点座標系の視点Ｐ_f（ｘ_f，ｙ_f，ｚ_f）に変換する。ここで、図１２の場合、
ａ＝√｛（ｘ_f−ｘ_a）²＋（ｙ_f−ｙ_a）²｝
ｂ＝√｛ａ²＋（ｚ_f−ｚ_a）²｝
sinθ＝（ｙ_f−ｙ_a）／ａ
cosθ＝（ｘ_f−ｘ_a）／ａ
sinφ＝（ｚ_f−ｚ_a）／ｂ
cosφ＝ａ／ｂ
とした場合、以下の数２で視点座標系に変換される。

このようにして求められた視点座標系の座標を、
ｘ_a´＝ｘ_a／ｚ_a
ｙ_a´＝ｙ_a／ｚ_a
なる変換式を用いて、モニタ２１の画面上の座標（ｘ_a´，ｙ_a´）に変換する。

最後に、モニタ２１の画面上に、図１３（ａ）に示すような後方表示画像４４を表示する際に、このようにして座標変換された予測進路６１を、進行方向を示す画像であるガイダンス線４５として図１３（ｂ）に示すように重ね合わせてオーバレイ表示させる（ステップＳ４１）。この際、図１３（ｂ）中に示すように、履帯２間の間隔２ａの情報を用いて、進行方向への進行に伴い履帯２が通過すると予測される履帯幅を示す破線のような画像４６を同時に表示させる。

このように、本実施の形態によれば、上部旋回体３の後部側に設置されて履帯２と後部旋回体３の後方とを撮影可能な広視野角のカメラ９を用い、履帯２と上部旋回体３の後方とをカメラ９で同時に撮影し、カメラ９で撮影された広角画像４０から履帯２と上部旋回体３との相対角度αを演算するようにしたので、旋回角センサを追加することなく、１台の広視野角のカメラ９を用いるだけで履帯２と上部旋回体３との相対角度αの計測が可能となり、また、演算された相対角度αに基づき油圧ショベル１の後進時の進行方向を予測し、カメラ９で撮影された後方画像４２に基づく後方表示画像４４と予測された進行方向を示す画像であるガイダンス線４５とを、モニタ２１上に重ね合わせて表示するようにしたので、オペレータが操縦室３ａでモニタ２１の画面を見ながら後進移動しようとする際に後方画像４２に対する移動方向が判りやすく、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができる。特に、進行方向を示すガイダンス線４５の表示に加えて、履帯２が通過すると予測される履帯幅を示す画像４６を併せて表示するので、オペレータにとって後進移動時の危険範囲における物体の有無を把握しやすく、安全性を一層向上させることができる。

なお、本実施の形態では、オペレータによってバックモニタ表示釦２２が押された場合に後進移動ガイダンスのための処理を行わせることで、後進移動に先立つ所望のタイミングでの後進移動ガイダンス表示を可能としたが、右走行レバー１４ｂまたは左走行レバー１４ｃ等によって後進移動操作が行われた時点から、後進移動ガイダンスのための処理を行わせるようにしてもよい。

また、本実施の形態では、操作レバー１４の操作内容によって油圧ショベル１の進行方向を予測するようにしたが、後進移動に先立つバックモニタ釦２２の操作に基づく場合のように操作レバー１４が操作されていない時点であれば、右走行レバー１４ｂ、左走行レバー１４ｃのレバー入力値が同じであるとして（直進するとして）、相対角度αの方向によって進行方向を予測するようにしてもよい。

さらには、建設機械としては、油圧ショベル１に限らず、履帯と旋回体とを備えるものであれば、同様に適用可能である。また、油圧ショベルとしても、発電電動機および蓄電器を備えるハイブリッド型であってもよい。

本発明の実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図である。油圧ショベルの構成例を示す概略ブロック図である。画像処理コントローラによる処理制御例を示す概略フローチャートである。カメラで撮影された広角画像の一例を模式的に示す図である。履帯のエッジ線分の抽出例および傾き角を示す説明図である。履帯と上部旋回体との相対角度を求めるための説明図である。変換テーブルの内容を示す説明図である。履帯の進行方向を算出するための説明図である。上部旋回体から見た予測進路への変換処理を示す説明図である。全方位の広角画像からパノラマ展開されたパノラマ画像への変換処理を示す説明図である。予測進路のモニタ画面上への透視投影処理例を示す説明図である。ワールド座標系から視点座標系への変換処理例を説明するための図である。後方表示画像へのガイダンス線のオーバレイ表示処理例を示す説明図である。

符号の説明

１油圧ショベル
２履帯
３上部旋回体
９カメラ
１４操作レバー
２１モニタ

Claims

履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、
演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、
を備えたことを特徴とする建設機械の後進移動ガイダンス方法。
前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする請求項１に記載の建設機械の後進移動ガイダンス方法。
前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする請求項１または２に記載の建設機械の後進移動ガイダンス方法。
履帯および旋回体を有する建設機械であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、
前記旋回体に搭載されたモニタと、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、
演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、
前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、
を備えたことを特徴とする建設機械。
前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする請求項４に記載の建設機械。
前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする請求項４または５に記載の建設機械。