JP7160701B2

JP7160701B2 - 作業機械のシステム及び方法

Info

Publication number: JP7160701B2
Application number: JP2019008903A
Authority: JP
Inventors: 浩一中沢; 修矢津田
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2022-10-25
Anticipated expiration: 2039-01-23
Also published as: AU2020211868A1; US20220002977A1; CA3118562C; JP2020117914A; WO2020153315A1; AU2020211868B2; CA3118562A1

Description

本開示は、作業機械のシステム及び方法に関する。

従来、作業機械とその周辺を示す画像をディスプレイに表示するシステムが知られている。例えば、特許文献１では、システムは、作業機械に取り付けられる複数のカメラとコントローラとを含む。複数のカメラは、作業機械及びその周辺を撮影する。コントローラは、複数のカメラによって撮影された画像から、俯瞰画像を合成する。

国際公開ＷＯ２０１６／０３１００９号公報

上述したように、コントローラは、カメラが撮影した複数の画像を合成することで、作業機械及びその周辺を示す画像を生成する。従って、コントローラは、様々な視点からの画像を生成することができる。ユーザーにとっては、作業機械の走行状態に応じて、視点の異なる画像に変更することを望む場合がある。しかし、ユーザーの手動操作によって、画像の視点が変更される場合、作業中の視点を変更することは煩雑である。本開示の目的は、作業機械の走行状態に応じた視点での画像をユーザーが容易に利用可能とすることにある。

第１の態様に係るシステムは、作業機械と、複数のカメラと、プロセッサと、ディスプレイとを含む。作業機械は、作業機を含む。複数のカメラは、作業機械の周辺を示す画像を撮影する。プロセッサは、複数のカメラが撮影した画像を示す画像データを取得する。プロセッサは、作業機械の走行状態を取得する。プロセッサは、画像を合成して、走行状態に応じた視点からの画像を生成する。ディスプレイは、プロセッサからの信号に基づき、走行状態に応じた視点からの画像を表示する。

第２の態様に係る方法は、作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。当該方法は以下の処理を含む。第１の処理は、複数のカメラによって作業機械の周辺を示す画像を撮影することである。第２の処理は、複数のカメラが撮影した画像を示す画像データを取得することである。第３の処理は、作業機械の走行状態を取得することである。第４の処理は、画像を合成して、走行状態に応じた視点からの画像を生成することである。第５の処理は、走行状態に応じた視点からの画像をディスプレイに表示することである。

第３の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、画像データを取得する。画像データは、作業機械の周辺を示す画像を示す。プロセッサは、作業機械の走行状態を取得し、画像を合成して、走行状態に応じた視点からの画像を生成する。ディスプレイは、プロセッサからの信号に基づき、走行状態に応じた視点からの画像を表示する。

本開示では、作業機械の走行状態が取得される。そして、走行状態に応じた視点からの画像が生成されて自動的にディスプレイに表示される。そのため、作業機械の走行状態に応じた視点での画像をユーザーが容易に利用することができる。

実施形態に係る作業機械を示す側面図である。実施形態に係るシステムの構成を示す図である。システムの構成、及び、システムによる処理の流れを示すブロック図である。画像の一例を示す図である。走行状態に応じて画像の視点を切り換えるための処理を示すフローチャートである。走行状態に応じた視点の位置を示す図である。走行状態に応じた視点の位置を示す図である。前進時の画像の一例を示す図。後進時の画像の一例を示す図。右旋回時の画像の一例を示す図。左旋回時の画像の一例を示す図。登坂走行時の画像の一例を示す図。降坂走行時の画像の一例を示す図。シュースリップ状態での画像の一例を示す図。変形例に係るシステムの構成を示す図である。

以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。

車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、車体２の左右の側方に配置される一対の履帯１３を含む。履帯１３が駆動されることにより作業機械１が走行する。

作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に支持されている。ブレード１４は、上下方向に動作可能に設けられている。リフトシリンダ１５とチルトシリンダ１６とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。

図２は、作業機械１を制御するためのシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。

動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。作業機械１は、車速センサ３９を含む。車速センサ３９は、作業機械１の車速を検出する。例えば、車速センサ３９は、動力伝達装置２３の出力軸の回転速度を検出してもよい。或いは、車速センサ３９は、走行装置４の回転要素の回転速度を検出してもよい。

制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、リフトシリンダ１５及びチルトシリンダ１６などの油圧アクチュエータと、油圧ポンプ２２との間に配置される。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。

システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、入力装置３３によって遠隔操縦可能である。

第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。

第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。

入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４と作業機３とを操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。

第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３からの操作信号から操作データＤ４を取得し、操作データＤ４を第１コントローラ３１に送信する。操作データＤ４は、走行装置４と作業機３とを操作するための入力装置３３の操作を示す。第１コントローラ３１は、操作データＤ４に応じて、走行装置４及び作業機３を制御する。

図３は、作業機械１及びその周辺の画像を表示するためのシステム１００の構成、及び、システムによる処理の流れを示すブロック図である。図３に示すように、システム１００は、複数のカメラＣ１－Ｃ４を含む。複数のカメラＣ１－Ｃ４は、車体２に取り付けられている。複数のカメラＣ１－Ｃ４は、魚眼カメラである。複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１－Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。

図１に示すように、前カメラＣ１は、車体２の前部に取り付けられる。詳細には、図１に示すように、車体２は支持部材１８を含む。支持部材１８は、車体２の前部から上方、且つ、前方に延びている。前カメラＣ１は、支持部材１８に取り付けられている。後カメラＣ３は、車体２の後部に取り付けられる。

第１サイドカメラＣ２は、車体２の一方の側部に取り付けられている。第２サイドカメラＣ４は、車体２の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車体２の左側部に取り付けられ、第２サイドカメラＣ４は、車体２の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車体２の右側部に取り付けられ、第２サイドカメラＣ４が、車体２の左側部に取り付けられてもよい。

前カメラＣ１は、車体２の前方の画像を取得する。後カメラＣ３は、作業機械１の後方の画像を取得する。第１サイドカメラＣ２は、車体２の左方の画像を取得する。第２サイドカメラＣ４は、車体２の右方の画像を取得する。カメラＣ１－Ｃ４は、取得した画像を示す画像データを出力する。

システム１００は、形状センサ３６と、姿勢センサ３７と、位置センサ３８とを含む。形状センサ３６は、作業機械１の周辺の対象の３次元形状を測定し、３次元形状を示す形状データＤ１を出力する。形状センサ３６は、作業機械１の周辺の対象上の複数点の位置を測定する。形状データＤ１は、作業機械１の周辺の対象上の複数点の位置を示す。作業機械１の周辺の対象は、例えば作業機械１の周辺の地形を含む。すなわち、形状データＤ１は、作業機械１の周辺の地形上の複数点の位置を含む。特に、形状データＤ１は、作業機械１の前方の地形上の複数点の位置を含む。

詳細には、形状センサ３６は、周辺の対象上の複数点の位置の作業機械１からの距離を測定する。複数点の位置は、複数点の作業機械１からの距離により求められる。本実施形態において、形状センサ３６は、例えばライダー（LIDAR：Laser Imaging Detection and Ranging）である。形状センサ３６は、レーザーを照射して、その反射光を計測することで、計測点までの距離を測定する。

姿勢センサ３７は、作業機械１の姿勢を検出し、姿勢を示す姿勢データＤ２を出力する。姿勢センサ３７は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）である。姿勢データＤ２は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。姿勢センサは、姿勢データＤ２を出力する。

位置センサ３８は、例えばＧＮＳＳ(Global Navigation Satellite System)レシーバである。位置センサは、例えばＧＰＳ（Global Positioning System）用の受信機である。位置センサは、衛星より測位信号を受信し、測位信号により作業機械１の位置座標を示す位置データＤ３を取得する。位置センサは、位置データＤ３を出力する。

形状センサ３６は、例えば支持部材１８に取り付けられる。或いは、形状センサ３６は、車体２の他の部分に取り付けられてもよい。姿勢センサ３７と位置センサ３８とは、車体２に取り付けられる。或いは、姿勢センサ３７と位置センサ３８とは、作業機３に取り付けられてもよい。

システム１００は、画像コントローラ４１とディスプレイ４２とを含む。画像コントローラ４１は、作業機械１及びその周辺を示す画像ＩＳを生成してディスプレイ４２に表示するようにプログラムされている。画像コントローラ４１は、メモリ４１１とプロセッサ４１２とを含む。メモリ４１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ４１１は、画像ＩＳを生成するためのプログラム及びデータを記憶している。プロセッサ４１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、画像ＩＳを生成してディスプレイ４２に表示させるための処理を実行する。

画像コントローラ４１は、第１コントローラ３１と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、第２コントローラ３２と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、作業機械１に搭載されてもよい。画像コントローラ４１は、第１コントローラ３１と一体であってもよく、別体であってもよい。

或いは、画像コントローラ４１は、作業機械１の外部に配置されてもよい。例えば、画像コントローラ４１は、コントロールセンタ内に配置されてもよい。画像コントローラ４１は、第２コントローラ３２と一体であってもよく、別体であってもよい。

画像コントローラ４１は、カメラＣ１－Ｃ４と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、カメラＣ１－Ｃ４から画像データを受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像データを受信してもよい。

画像コントローラ４１は、形状センサ３６、姿勢センサ３７、及び位置センサ３８と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、形状センサ３６から形状データＤ１を受信する。画像コントローラ４１は、姿勢センサ３７から姿勢データＤ２を受信する。画像コントローラ４１は、位置センサ３８から位置データＤ３を受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、形状データＤ１、姿勢データＤ２、及び位置データＤ３を受信してもよい。

ディスプレイ４２は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ４２はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ４２は、画像コントローラ４１からの信号に基づいて画像を表示する。ディスプレイ４２は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像コントローラ４１からの信号を受信してもよい。

画像コントローラ４１は、上述した画像データと、形状データＤ１と、姿勢データＤ２と、位置データＤ３とに基づいて、画像ＩＳを生成する。図４は、画像ＩＳの一例を示す図である。画像ＩＳは、作業機械１及びその周辺の対象を含む。作業機械１の周辺の対象は、作業機械１の周辺の地形を含む。作業機械１の周辺の対象は、他の作業機械、建物、或いは人を含んでもよい。以下、画像ＩＳの生成について説明する。

まず、カメラＣ１－Ｃ４が作業機械１及びその周辺を撮影する。それにより、図３に示すように、画像コントローラ４１は、カメラＣ１－Ｃ４から、前方画像Ｉｍ１と、左方画像Ｉｍ２と、後方画像Ｉｍ３と、右方画像Ｉｍ４とを取得する。前方画像Ｉｍ１は、車体２の前方の画像である。左方画像Ｉｍ２は、車体２の左方の画像である。後方画像Ｉｍ３は、車体２の後方の画像である。右方画像Ｉｍ４は、車体２の右方の画像である。

画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から周辺画像ＩＳ１を生成する。周辺画像ＩＳ１は、作業機械１の周辺を俯瞰的に示す合成画像である。図４に示すように、画像コントローラ４１は、３次元投影モデルＭ１に、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４をテクスチャマッピングにより投影することで、周辺画像ＩＳ１を生成する。３次元投影モデルＭ１は、作業機械１の周辺の対象の形状を示すポリゴンメッシュで構成される。画像コントローラ４１は、予め保存された３次元投影モデルＭ１を使用してもよい。或いは、画像コントローラ４１は、形状センサ３６から取得した形状データＤ１に基づいて、３次元投影モデルＭ１を生成してもよい。

次に、画像コントローラ４１は、作業機械１を示す機械画像ＩＳ２と周辺画像ＩＳ１とを合成する。機械画像ＩＳ２は、作業機械１自体を３次元的に示す画像である。画像コントローラ４１は、姿勢データＤ２から画像ＩＳ上の機械画像ＩＳ２の姿勢を決定する。画像コントローラ４１は、位置データＤ３から画像ＩＳ上の機械画像ＩＳ２の向きを決定する。画像コントローラ４１は、画像ＩＳ上の機械画像ＩＳ２の姿勢と向きとが、作業機械１の実際の姿勢及び向きと一致するように、画像ＩＳに機械画像ＩＳ２を合成する。

なお、画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から機械画像ＩＳ２を生成してもよい。例えば、カメラＣ１－Ｃ４が取得した画像中に作業機械１の部分がそれぞれ含まれており、画像コントローラ４１は、機械モデルＭ２に、画像中の各部分を投影することで機械画像ＩＳ２を生成してもよい。或いは、機械モデルＭ２は、作業機械１の形状を有する投影モデルであり、メモリ４１１に保存されていてもよい。機械画像ＩＳ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。

ディスプレイ４２は、画像ＩＳを表示する。画像ＩＳは、リアルタイムに更新され、動画としてディスプレイ４２に表示される。従って、作業機械１が走行しているときには、周辺の対象、作業機械１の姿勢、向き、位置の実際の変化に応じて、画像ＩＳ中の周辺画像ＩＳ１、機械画像ＩＳ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。

作業機械１の姿勢、向き、及び位置の変化を表現するためには、３次元投影モデルＭ１及び機械モデルＭ２を、作業機械１が走行を開始したときの姿勢、向き、及び位置からの変化を表す回転行列に従って回転させ、並進ベクトルに従って並進させる。回転ベクトルと並進ベクトルとは、上述した姿勢データＤ２及び位置データＤ３から取得される。

画像ＩＳの合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“visualization of the surrounding environment and operational part in a 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。

図４では、画像ＩＳは、作業機械１及びその周辺を左方から見た画像である。しかし、画像コントローラ４１は、前方、後方、右方、上方、或いは、各方向の斜め方向の視点から、作業機械１及びその周辺を見た画像に、画像ＩＳを切り換えることができる。本実施形態では、画像コントローラ４１は、作業機械１の走行状態に応じた視点からの画像ＩＳを生成して、ディスプレイ４２に表示する。図５は、走行状態に応じて画像ＩＳの視点を切り換えるための処理を示すフローチャートである。

図５に示すように、ステップＳ１０１では、画像コントローラ４１は、走行状態の判定データを取得する。判定データは、上述した形状データＤ１と、姿勢データＤ２と、位置データＤ３と、操作データＤ４とを含む。また、判定データは、車速データＤ５を含む。画像コントローラ４１は、車速センサ３９からの信号により、車速を示す車速データＤ５を取得する。或いは、車速は、位置データＤ３から算出されてもよい。

ステップＳ１０２では、画像コントローラ４１は、判定データに基づいて、作業機械１の走行状態を判定する。作業機械１の走行状態は、前進、後進、右旋回、左旋回、登坂走行、降坂走行、及びシュースリップ状態を含む。画像コントローラ４１は、判定データに基づいて、作業機械１の現在の走行状態がこれらの状態のいずれであるのかを決定する。

例えば、画像コントローラ４１は、作業機械１の進行方向と、作業機３の位置と、車速とから、作業機械１の走行状態が、前進と後進といずれであるのかを判定する。詳細には、操作データＤ４が、作業機械１の前進、且つ、作業機３の上昇を示し、且つ、車速が所定の閾値以上であるときに、画像コントローラ４１は、走行状態が前進と判定する。操作データＤ４が、作業機械１の後進、且つ、作業機３の上昇を示し、且つ、車速が所定の閾値以上であるときに、画像コントローラ４１は、走行状態が後進と判定する。

画像コントローラ４１は、操作データＤ４から、作業機械１の走行状態が、右旋回と左旋回といずれであるのかを判定する。詳細には、画像コントローラ４１は、操作データＤ４が作業機械１の右旋回を示すときに、作業機械１の走行状態が、右旋回であると判定する。或いは、画像コントローラ４１は、姿勢データＤ２から、作業機械１の走行状態が、右旋回と左旋回といずれであるのかを判定してもよい。画像コントローラ４１は、姿勢データＤ２が、作業機械１の方位角が右方に変化したことを示すときに、作業機械１の走行状態が、右旋回であると判定してもよい。或いは、画像コントローラ４１は、位置データＤ３から、作業機械１の走行状態が、右旋回と左旋回といずれであるのかを判定してもよい。位置データＤ３が、作業機械１の進行方向のベクトルが右方に変化したことを示すときに、画像コントローラ４１は、作業機械１の走行状態が、右旋回であると判定してもよい。左旋回の判定については、左右対称であることを除いて、右旋回の判定と同様である。

画像コントローラ４１は、操作データＤ４と形状データＤ１とから、作業機械１の走行状態が、登坂走行と降坂走行とのいずれであるのかを判定する。詳細には、画像コントローラ４１は、操作データＤ４が作業機械１の前進を示し、且つ、形状データＤ１が、作業機械１の前方の地形が登り坂であることを示しているときに、作業機械１の走行状態が、登坂走行であると判定する。画像コントローラ４１は、操作データＤ４が作業機械１を前進させていることを示し、且つ、形状データＤ１が、作業機械１の前方の地形が下り坂であることを示しているときに、作業機械１の走行状態が、降坂走行であると判定する。

画像コントローラ４１は、実車速と理論車速との比をシュースリップ率として算出する。実車速は、車速データＤ５が示す車速である。理論車速は、位置データＤ３から求めた車速である。画像コントローラ４１は、シュースリップ率を所定の閾値と比較することで、作業機械１の走行状態が、シュースリップ状態であるのかを決定する。

ステップＳ１０３では、画像コントローラ４１は、走行状態に応じた視点を決定する。画像コントローラ４１は、画像コントローラ４１は、走行状態に応じた視点の位置を規定したデータを記憶している。画像コントローラ４１は、当該データを参照して、走行状態に応じた視点を決定する。

ステップＳ１０４では、画像コントローラ４１は、走行状態に応じた視点ＶＰからの画像ＩＳを生成する。ステップＳ１０５では、画像コントローラ４１は、走行状態に応じた視点ＶＰからの画像ＩＳをディスプレイ４２に表示させる。

図６及び図７は、走行状態に応じた視点ＶＰの位置を示す図である。図６Ａに示すように、画像コントローラ４１は、走行状態が前進であるときには、画像ＩＳの視点ＶＰを、作業機械１の後方且つ上方の位置に決定する。それにより、図８に示すように、画像コントローラ４１は、作業機械１の後方且つ上方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。前進時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、前進時の画像ＩＳでは、作業機械１の前方が後方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。

図６Ｂに示すように、画像コントローラ４１は、走行状態が後進であるときには、画像ＩＳの視点ＶＰを、作業機械１の前方且つ上方の位置に決定する。それにより、図９に示すように、画像コントローラ４１は、作業機械１の前方且つ上方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。後進時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、後進時の画像ＩＳでは、作業機械１の後方が前方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。

図６Ｃに示すように、画像コントローラ４１は、走行状態が右旋回であるときには、画像ＩＳの視点ＶＰを、作業機械１の真後ろよりも右方且つ上方の位置に決定する。それにより、図１０に示すように、画像コントローラ４１は、作業機械１の右側部が見える視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。右旋回時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、右旋回時の画像ＩＳでは、作業機械１の右方が左方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。

図６Ｄに示すように、画像コントローラ４１は、走行状態が左旋回であるときには、画像ＩＳの視点ＶＰを、作業機械１の真後ろよりも左方且つ上方の位置に決定する。それにより、図１１に示すように、画像コントローラ４１は、作業機械１の左側部が見える視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。左旋回時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、左旋回時の画像ＩＳでは、作業機械１の左方が右方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。

図７Ａに示すように、画像コントローラ４１は、走行状態が登坂走行であるときには、画像ＩＳの視点ＶＰを、作業機械１の真横よりも後方の位置に決定する。それにより、図１２に示すように、画像コントローラ４１は、作業機械１の真横よりも後方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。登坂走行時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、登坂走行時の画像ＩＳでは、作業機械１の前方が後方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。画像コントローラ４１は、登坂走行時の画像ＩＳでは、作業機械１が画像ＩＳの横幅の半分ぐらいの大きさになるように視点ＶＰ及び作業機械１の位置を決定する。

図７Ｂに示すように、画像コントローラ４１は、走行状態が降坂走行であるときには、画像ＩＳの視点ＶＰを、作業機械１の真横よりも前方の位置に決定する。それにより、図１３に示すように、画像コントローラ４１は、作業機械１の真横よりも前方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。降坂走行時の画像ＩＳは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、降坂走行時の画像ＩＳでは、作業機械１の前方が後方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。画像コントローラ４１は、降坂走行時の画像ＩＳでは、作業機械１が画像ＩＳの横幅の半分ぐらいの大きさになるように視点ＶＰ及び作業機械１の位置を決定する。

図７Ｃに示すように、画像コントローラ４１は、走行状態がシュースリップ状態であるときには、画像ＩＳの視点ＶＰを、履帯１３の側方の位置に決定する。詳細には、左側の履帯１３がシュースリップ状態であるときには、画像ＩＳの視点ＶＰを、左側の履帯１３の左方の位置に決定する。それにより、図１４に示すように、画像コントローラ４１は、左側の履帯１３の左方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。

右側の履帯１３がシュースリップ状態であるときには、画像ＩＳの視点ＶＰを、右側の履帯１３の右方の位置に決定する。それにより、図１４に示すように、画像コントローラ４１は、右側の履帯１３の右方の視点ＶＰからの画像ＩＳを生成し、ディスプレイ４２に表示させる。画像コントローラ４１は、シュースリップ状態での画像ＩＳでは、作業機械１の前方が後方よりも広くなるように視点ＶＰ及び作業機械１の位置を決定する。画像コントローラ４１は、シュースリップ状態での画像ＩＳでは、作業機械１が画像ＩＳの横幅の半分ぐらいの大きさになるように視点ＶＰ及び作業機械１の位置を決定する。

画像コントローラ４１は、上述したステップＳ１０１－Ｓ１０５を繰り返し実行する。従って、作業機械１の走行状態が変化したときには、ステップＳ１０３において、走行状態の変化に応じて視点ＶＰが変更される。そして、ステップＳ１０４において、走行状態の変化に応じて変更された視点ＶＰからの画像ＩＳが生成され、ステップＳ１０５において、変更された画像ＩＳがディスプレイ４２に表示される。

以上説明した本実施形態に係るシステム１００では、作業機械１の走行状態が取得される。そして、走行状態に応じた視点ＶＰからの画像ＩＳが生成されてディスプレイ４２に表示される。そのため、作業機械１の走行状態に応じた視点ＶＰでの画像ＩＳをユーザーが容易に利用することができる。

画像コントローラ４１は、走行状態が前進、後進、右旋回、或いは左旋回であるときに、それぞれ異なる視点ＶＰからの画像ＩＳを生成する。詳細には、走行状態が前進であるときには、作業機械１の後方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、作業機械１の前方を視認し易い。走行状態が後進であるときには、作業機械１の前方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、作業機械１の後方を視認し易い。

走行状態が右旋回であるときには、作業機械１の右側部が見えるように、真後ろよりも右方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、作業機械１が右旋回中であることを画像ＩＳから容易に把握することができる。

走行状態が左旋回であるときには、作業機械１の左側部が見えるように、真後ろよりも左方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、作業機械１が左旋回中であることを画像ＩＳから容易に把握することができる。

画像コントローラ４１は、走行状態が登坂走行、或いは降坂走行であるときに、それぞれ異なる視点ＶＰからの画像ＩＳを生成する。詳細には、走行状態が登坂走行であるときには、作業機械１の真横よりも後方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、地形の上り勾配を画像ＩＳによって容易に把握することができる。走行状態が降坂走行であるときには、作業機械１の真横よりも前方の視点ＶＰからの画像ＩＳがディスプレイ４２に表示される。そのため、地形の下り勾配を画像ＩＳによって容易に把握することができる。

以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、作業機械は、ブルドーザに限らず、ホイールローダ、或いは油圧ショベルなどの他の種類のものであってもよい。

作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図１５は、変形例に係る作業機械１の構成を示す図である。図１５に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。コントローラ３０は、上述したステップＳ１０１からＳ１０５の処理を実行してもよい。この場合、入力装置３３は、運転室内に配置されてもよい。

第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。

上述したステップＳ１０１からＳ１０５の処理は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。例えば、ステップＳ１０１からＳ１０３の処理は、第１コントローラ３１、或いは第２コントローラ３２によって実行されてもよい。

カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。

姿勢センサ３７は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ３８は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。形状センサ３６は、ライダーに限らず、レーダー等の他の測定装置であってもよい。

走行状態の種類は、上記の実施形態のものに限らず、変更されてもよい。例えば、走行状態の種類の一部が省略されてもよい。或いは、他の種類の走行状態が追加されてもよい。走行状態の判定方法は、上記の実施形態のものに限らず、変更されてもよい。例えば、作業機３の動作を検出するセンサからの信号に基づいて、走行状態が判定されてもよい。各走行状態における視点ＶＰの位置は、上記の実施形態のものに限らず、変更されてもよい。

本開示によれば、作業機械の走行状態に応じた視点での画像をユーザーが容易に利用することができる。

１作業機械
３作業機
１３履帯
４２ディスプレイ
４１２プロセッサ
Ｃ１－Ｃ４カメラ

Claims

作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、前進と旋回とを含み、
前記プロセッサは、
前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が旋回であるときには、前記作業機械の側部が見える視点からの画像を生成する、
システム。
作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、前進と旋回とを含み、
前記プロセッサは、
前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が前進であるときには、前記作業機械の後方の視点からの画像を生成する、
システム。
作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、後進と旋回とを含み、
前記プロセッサは、前記走行状態が後進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が後進であるときには、前記作業機械の前方の視点からの画像を生成する、
システム。
作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、登坂走行を含み、
前記プロセッサは、前記走行状態が前記登坂走行であるときには、前記作業機械の真横よりも後方の視点からの画像を生成する、
システム。
作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、降坂走行を含み、
前記プロセッサは、前記走行状態が前記降坂走行であるときには、前記作業機械の真横よりも前方の視点からの画像を生成する、
システム。
作業機を含む作業機械と、
前記作業機械の周辺を示す画像を撮影する複数のカメラと、
前記複数のカメラが撮影した前記画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記作業機械は、履帯を含み、
前記走行状態は、前記履帯のシュースリップ状態を含み、
前記プロセッサは、前記走行状態が前記シュースリップ状態であるときには、前記履帯の側方の視点からの画像を生成する、
システム。
前記プロセッサは、前記作業機械の全体と前記作業機械の周辺とを示す画像を生成する、
請求項１から６のいずれかに記載のシステム。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記走行状態は、前進と旋回とを含み、
画像を生成することは、前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、前記走行状態が旋回であるときには、前記作業機械の側部が見える視点からの画像を生成することを含む、
方法。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記走行状態は、前進と旋回とを含み、
画像を生成することは、前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、前記走行状態が前進であるときには、前記作業機械の後方の視点からの画像を生成することを含む、
方法。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記走行状態は、後進と旋回とを含み、
前記画像を生成することは、前記走行状態が後進であるときと旋回であるときとでは、異なる視点からの画像を生成し、前記走行状態が後進であるときには、前記作業機械の前方の視点からの画像を生成することを含む、
方法。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記走行状態は、登坂走行を含み、
前記画像を生成することは、前記走行状態が前記登坂走行であるときには、前記作業機械の真横よりも後方の視点からの画像を生成することを含む、
方法。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記走行状態は、降坂走行を含み、
前記画像を生成することは、前記走行状態が前記降坂走行であるときには、前記作業機械の真横よりも前方の視点からの画像を生成することを含む、
方法。
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
複数のカメラによって前記作業機械の周辺を示す画像を撮影することと、
前記複数のカメラが撮影した前記画像を示す画像データを取得することと、
前記作業機械の走行状態を取得することと、
前記画像を合成して、前記走行状態に応じた視点からの画像を生成することと、
前記走行状態に応じた視点からの前記画像を前記ディスプレイに表示すること、
を備え、
前記作業機械は、履帯を含み、
前記走行状態は、前記履帯のシュースリップ状態を含み、
前記画像を生成することは、前記走行状態が前記シュースリップ状態であるときには、前記履帯の側方の視点からの画像を生成することを含む、
方法。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、前進と旋回とを含み、
前記プロセッサは、
前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が旋回であるときには、前記作業機械の側部が見える視点からの画像を生成する、
システム。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、前進と旋回とを含み、
前記プロセッサは、
前記走行状態が前進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が前進であるときには、前記作業機械の後方の視点からの画像を生成する、
システム。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、後進と旋回とを含み、
前記プロセッサは、前記走行状態が後進であるときと旋回であるときとでは、異なる視点からの画像を生成し、
前記走行状態が後進であるときには、前記作業機械の前方の視点からの画像を生成する、
システム。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、登坂走行を含み、
前記プロセッサは、前記走行状態が前記登坂走行であるときには、前記作業機械の真横よりも後方の視点からの画像を生成する、
システム。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記走行状態は、降坂走行を含み、
前記プロセッサは、前記走行状態が前記降坂走行であるときには、前記作業機械の真横よりも前方の視点からの画像を生成する、
システム。
作業機械の周辺を示す画像を示す画像データを取得し、前記作業機械の走行状態を取得し、前記画像を合成して、前記走行状態に応じた視点からの画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記走行状態に応じた視点からの前記画像を表示するディスプレイと、
を備え、
前記作業機械は、履帯を含み、
前記走行状態は、前記履帯のシュースリップ状態を含み、
前記プロセッサは、前記走行状態が前記シュースリップ状態であるときには、前記履帯の側方の視点からの画像を生成する、
システム。