[go: up one dir, main page]

JP2018039648A - 画像表示システム - Google Patents

画像表示システム Download PDF

Info

Publication number
JP2018039648A
JP2018039648A JP2016176866A JP2016176866A JP2018039648A JP 2018039648 A JP2018039648 A JP 2018039648A JP 2016176866 A JP2016176866 A JP 2016176866A JP 2016176866 A JP2016176866 A JP 2016176866A JP 2018039648 A JP2018039648 A JP 2018039648A
Authority
JP
Japan
Prior art keywords
image
vehicle
bird
traveling
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016176866A
Other languages
English (en)
Inventor
敬樹 石原
Takaki Ishihara
敬樹 石原
啓二 佐藤
Keiji Sato
啓二 佐藤
秀幸 東
Hideyuki Azuma
秀幸 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Tadano Ltd filed Critical Clarion Co Ltd
Priority to JP2016176866A priority Critical patent/JP2018039648A/ja
Publication of JP2018039648A publication Critical patent/JP2018039648A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】キャビンの側方に伸縮式のブームを備えた作業車両の走行時の視認性を短時間に確保可能な画像表示システムを提供すること。【解決手段】伸縮動作を行うブーム7がキャビン5に対し車両左側に並設された作業車両としてのクレーン車1に搭載された画像表示システム10であって、クレーン車1の周辺画像を取得する複数のカメラ11と、各カメラ11で取得した画像に基づいて画像表示を行う画像表示部13と、各カメラ11で取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせてクレーン車1の周辺の俯瞰画像Pを形成して画像表示部13に表示させる制御部12と、を備え、制御部12は、クレーン車1の走行時には、俯瞰画像Pとして、クレーン車1のブーム7の位置する方向である左方向および走行方向は、クレーン車1の周辺から地平線までを表示した高速走行時俯瞰画像P2を形成し表示することを特徴とする画像表示システムとした。【選択図】図3

Description

本発明は、作業車両に用いる画像表示システムに関する。
作業車両は、大型で死角が生じやすいため、作業車両を中心とした周辺の俯瞰画像を形成して作業者に呈示する画像表示システムを搭載することが提案されている(例えば、特許文献1参照)。この従来の画像表示システムでは、作業車両の周辺を撮影する複数のカメラを設け、その各カメラで撮影した画像を上方の仮想視点から見下ろした画像に変換しつつ組み合わせて、作業車両の周辺の俯瞰画像を形成している。
また、俯瞰画像を形成するのにあたり、車両の前左右の三方向の周辺画像と地平線を含む画像とを合成し、より広い範囲を表示するものを知られている(例えば、特許文献2参照)。
上記のような俯瞰画像は、通常、作業時や後退時に車両周辺を確認するために用いられるもので、走行時、あるいは、所定車速以上の高速走行時には、表示部自体の表示を停止するのが一般的である。このように、走行時に俯瞰画像の表示を停止する車両の一つとして、走行時に、俯瞰画像から地図画像に表示を変更するものが知られている(例えば、特許文献3参照)。
元々、ショベルなどの作業車両は、トラックなどに積載して運搬され、自走することが無いため、走行時における表示については考慮されていない。
一方、作業車両には、自走可能なものも存在する。このような自動可能な作業車両では、走行時の視認性の確保は、バックミラー、サイドミラーなどの複数のミラーや、死角方向を撮像するカメラを設け、その撮像画像を表示するものが一般的である。
特開2011−71919号公報 特開2014−123955号公報 特開2008−213744号公報
ところで、上述の自走可能な作業車両として、キャビンに伸縮可能なブームが並設された作業車両(例えば、クレーン車)が知られている。
このようなブームが搭載された車両では、ブームがキャビンからの視界の妨げとなる。すなわち、ブームは、通常、キャビンの横に並設され、キャビンよりも前方に延在されるため、作業車両の斜め前方や、側方の視界がブームにより妨げられる。
しかしながら、従来の俯瞰画像を表示する画像表示システムは、上述のように、作業中の視認性を確保する手助けとなるものの、走行中は、表示を中止しており、走行中の視認性を確保するものではなかった。
また、ブームにより死角となる方向を映すミラーやカメラなどを複数設けた場合、これら複数のミラーやカメラ画像を全て確認するには時間を要し、運転操作が煩雑となっていた。
本発明は、上記の事情に鑑みて為されたもので、キャビンの側方に伸縮式のブームを備えた作業車両の走行時の視認性を短時間に確保可能な画像表示システムを提供することを目的とする。
本発明の画像表示システムは、伸縮動作を行うブームがキャビンに対し左右のいずれかに並設された作業車両に搭載された画像表示システムであって、
前記作業車両の周辺画像を取得する複数のカメラと、
前記各カメラで取得した画像に基づいて画像表示を行う表示部と、
前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記作業車両の周辺の俯瞰画像を形成して前記表示部に表示させる制御部と、
を備え、
前記制御部は、前記作業車両の走行時には、前記俯瞰画像として、前記作業車両の左右方向で前記キャビンに対して前記ブームの位置する方向および走行方向は、前記作業車両の周辺から地平線までを表示した走行時俯瞰画像を形成し表示することを特徴とする画像表示システムである。
また、本発明の画像表示システムは、伸縮動作を行うブームがキャビンに対し左右のいずれかに並設された作業車両に搭載された画像表示システムであって、前記作業車両の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づいて画像表示を行う表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記作業車両の周辺の俯瞰画像を形成して前記表示部に表示させる制御部と、を備え、前記制御部は、前記作業車両の所定速度以上の高速走行時に、前記表示部に前記俯瞰画像を表示することを特徴とする画像表示システムである。
本発明の画像表示システムによれば、走行時に、運転者は、表示部の俯瞰画像を見るだけで、作業車両の四周の状態を確認でき、短時間に作業車両周囲の状況を確認可能である。
実施の形態1の画像表示システムを搭載したクレーン車を側方から見た様子を模式的に示す説明図である。 前記クレーン車を上方から見た様子を模式的に示す説明図である。 実施の形態1の画像表示システムの構成を示すブロック図である。 前記クレーン車のキャビン内を示す斜視図である。 実施の形態1の画像表示システムにより低速走行時俯瞰画像を兼ねる周辺俯瞰画像を表示したときの画像表示部を示す正面図である。 実施の形態1の画像表示システムにより高速走行時俯瞰画像を表示したときの画像表示部を示す正面図である。 実施の形態1の画像表示システムにより後退時俯瞰画像を表示したときの画像表示部を示す正面図である。 実施の形態1の画像表示システムによる自動表示切替制御の処理の流れを示すフローチャートである。 実施の形態との比較例における走行時の問題点を説明するための説明図である。 実施の形態との比較例における走行時の問題点を説明するための説明図である。 実施の形態2の画像表示システムによる自動表示切替制御の処理の流れを示すフローチャートである。
以下に、本発明の画像表示システムを実現する最良の形態を、図面を参照しつつ説明する。
(クレーン車の概略構成)
まず、本発明に係る画像表示システムの一実施形態に係る実施の形態1の画像表示システム10を適用した作業車両としてのクレーン車1の構成を、図1、図2を用いて説明する。
クレーン車1は、走行体(キャリヤ)2と旋回台3とを備える。走行体2は、走行機能を有する車両の本体部分(車体)であり、複数の車輪Wと、車輪Wおよび旋回台3を駆動する駆動源(図示省略)と、を有する。
また、走行体2は、図2に示すように、平面視で前後方向(図2の矢印FR方向が車両前方であり、矢印RR方向が車両後方である)に長尺な略長方形状を成している。この走行体2には、図1に示すように、前部および後部に各々左右一対のアウトリガ4を備える。各アウトリガ4は、左右に張り出しおよび格納を可能とし、適宜張り出して接地することで後述するブーム7を用いた作業時(作業モード)に走行体2を安定して支持する。
旋回台3は、図1および図2に示すように、走行体2の上部に、水平方向に旋回可能に設けられ、キャビン5とブームサポート6とを一体的に有する。キャビン5は、オペレータが各種の操作を行うための車室であり、車幅方向の右側に偏って配置されている。キャビン5内には、オペレータが各種の操作を行うための操作部14や画像表示部13(図3、図4参照)が設けられている。なお、操作部14による各種の操作としては、例えば、旋回台3の旋回、後述するブーム7の起伏および伸縮、ブームサポート6に設けたウインチの巻上および巻下、各アウトリガ4の張出および格納、エンジンの始動および停止などがある。
図1、図2に戻り、ブームサポート6は、ブーム7の基端部が、ブーム根本支点ピン(図示省略)を介して取り付けられ、そのブーム根本支点ピンを中心にしてブーム7を起伏可能とする。また、ブームサポート6では、ブーム7との間に起伏用シリンダ(図示省略)が設けられ、起伏用シリンダを伸縮することでブーム7が起伏される。
このブーム7は、旋回台3において、キャビン5に対して車両左側に設けられ、伏した状態で図1、図2に示すように、車両前後方向に延在されている。そして、ブーム7は、実施の形態1では、図1に示すように、走行時などの非使用時において略水平に配置している。なお、ブーム7は、先端が下がって配置された所謂スラントブームとしてもよい。
また、ブーム7は、周知のように、内部で伸縮シリンダにより連結された基端ブーム部と中間ブーム部と先端ブーム部とを有し、中間ブーム部と先端ブーム部とを順に基端ブーム部内に外側から内側へと入れ子式に組み合わせて収納し、各伸縮シリンダが伸縮することで伸縮する。そして、ブーム7は、先端ブーム部のシーブにワイヤが掛け回されてフックが吊下げられ、走行時などの非使用時では各ブーム部を収納した状態とする。このブーム7は、実施の形態1では、その非使用時において先端部7aが走行体2よりも前方に突出している。
(画像表示システムの構成)
次に、実施の形態1の画像表示システム10の構成を説明する。
画像表示システム10は、図3に示すように、前方カメラ11Fと後方カメラ11Bと左方カメラ11Lと右方カメラ11Rと制御部12と画像表示部13と操作部14と情報取得部15と記憶部16とを備える。
なお、各カメラ11F、11B、11L、11Rについて、特定の方向のものを指さない場合には、単にカメラ11と表記する。また、カメラ11としては、図3に示す各カメラ11以外にカメラを有していてもよい。
前方カメラ11Fは、図1、図2に示すように、走行体2の前端部(ブーム7を除いた前端部)に設けられて、走行体2の前端部を含む車両前方の領域を、地平線まで含む前方画像(Pa)として撮影する。
後方カメラ11Bは、走行体2の後端部に設けられて、走行体2の後端部を含む後方の領域を、地平線まで含む後方画像(Pb)として撮影する。
左方カメラ11Lは、旋回台3の左端部(ブームサポート6の左側の外板部分)に設けられて、旋回台3の左端部を含む左側方の領域を、地平線まで含む左方画像(Pc)として撮影する。
右方カメラ11Rは、旋回台3の右端部(キャビン5の右側の外板部分)に設けられて、旋回台3の右端部を含む右側方の領域を、地平線まで含む右方画像(Pd)として撮影する。
また、各カメラ11は、クレーン車1における走行体2の周辺の画像を全周に亘り切れ目なく取得すべく、例えば略180度の画角の広角カメラが用いられている。この走行体2の周辺の画像とは、上方から見て走行体2を取り囲む地面を含む画像であり、当該走行体2と隣接する位置から所定の距離(例えば、2〜5m程度の数m)までの領域の画像である。
なお、これらのカメラ11は、走行体2の周辺の画像を全周に亘り切れ目なく取得するものであれば、カメラ11の設置台数や設置位置は適宜設定すればよく、実施の形態1で示した数、位置に限定されない。
制御部12は、記憶部(内蔵メモリ12a)や演算部を有するマイクロコンピュータであり、実施の形態1ではキャビン5に設けられている。また、制御部12は、記憶部16あるいは内蔵する内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11、画像表示部13、操作部14、情報取得部15および記憶部16の動作を統括的に制御し、各カメラ11や操作部14や情報取得部15から適宜情報を取得する。なお、制御部12には、後述する自動表示切替制御に用いる情報として、車速センサ(図示省略)などにより検出される車速Vが入力される。
そして、制御部12は、各カメラ11からの信号に基づいて俯瞰画像Pを生成する処理や、生成した俯瞰画像P(図5〜図7参照)を画像表示部13に表示させる表示処理や、操作部14になされた操作の検出・判断処理や、情報取得部15により取得された各種情報の表示処理などを行う。なお、俯瞰画像Pとしては、後述する3種類の俯瞰画像(周辺俯瞰画像P1、高速走行時俯瞰画像P2、後退時俯瞰画像P3)を形成するが、これらを区別することなく総称する場合、単に「俯瞰画像」と称し、符号も、単に「P」のみを付す。
また、制御部12による画像表示部13における表示としては、俯瞰画像Pの他にも、カメラ画像、クレーン車1の動作状態などを表示することができる。なお、クレーン車1の動作状態の表示としては、旋回台3の旋回状態、ブーム7の起伏状態、伸縮状態、ウインチの巻上、巻下状態、各アウトリガ4の張出、格納状態などを表示することができる。
さらに、制御部12は、画像処理部17で生成した俯瞰画像P(その画像データ)を、画像表示部13に出力して画像表示部13に表示させるとともに、その俯瞰画像Pを適宜記憶部16に格納する。そして、制御部12では、操作部14の操作に伴い得られた操作情報(データ)や、情報取得部15が取得した各種情報(データ)が入力される。
画像表示部13は、俯瞰画像Pやクレーン車1における各種情報を表示可能するもので、液晶ディスプレイなどが用いられ、この画像表示部13は、図4に示すように、旋回台3のキャビン5内に設けられている。
なお、画像表示部13は、図5に示すように、表示領域が上下方向で上部の警告表示領域A1、中間部のカメラ画像表示領域A2、下部のスイッチ領域A3に分割されている。
警告表示領域A1は、各種の警告マークなどが表示される。
カメラ画像表示領域A2は、前述した俯瞰画像Pを含み、カメラ画像や、操作状態、動作状態などの画像を表示する。
スイッチ領域A3は、タッチパネル機能による各種操作スイッチが表示され、その選択操作を行うことができる。
また、スイッチ領域A3の各種アイコンの操作情報を含む操作部14の操作情報は、制御部12へ出力される。さらに、操作部14では、画像表示部13に表示させる画像の切替の操作や、画像表示システム10やクレーン車1における各種の設定操作などを行うことができる。
情報取得部15は、クレーン車1に関する各種の動作情報を取得し、その各動作情報(データ)を制御部12へと出力する。その各動作情報として、車速が含まれる、また、その他に、例えば、ブーム7を収納し走行体2に対して旋回台3を所定の姿勢とした走行モードであるかブーム7を使用する作業モードであるかを示すモード情報や、旋回台3(ブーム7)の旋回角度やブーム7の起伏角度および長さを示す姿勢情報が含まれる。
(俯瞰画像)
次に、俯瞰画像Pについて説明する。
上述した各カメラ11が取得した画像(画像データ)から俯瞰画像P(図5〜図7参照)を生成する処理は、画像処理部17において実行される。
この画像処理部17における俯瞰画像Pを生成する処理を簡単に説明する。まず、画像処理部17は、入力画素の座標値にレンズ歪み係数やアスペクト比などに基づく係数を乗じて出力画素の座標値に変換することで、レンズによる歪みを補正する歪み補正処理を行う。また、画像処理部17は、入力画素の座標値にカメラ取付角などに基づく種々の係数を乗じて出力画素の全ての座標値を形成することで、クレーン車1の上方に設定した仮想視点から見下ろした画像(個別の俯瞰画像)に変換する俯瞰変換処理を行う。
さらに、画像処理部17は、対応する座標値の輝度を、線形補間などを用い繋ぎ目の違和感を無くしつつ上記した各処理を行った各カメラ11からの隣り合う撮影画像を1枚の画像として繋ぎ合わせて俯瞰画像P(図5〜図7参照)を生成する画像合成処理を行う。この画像合成された俯瞰画像Pは、各カメラ11が上記したように設けられているため、クレーン車1における走行体2の周辺の画像となり走行体2自身が存在する領域の画像情報が欠落するので、この欠落箇所を例えば画素値ゼロ(黒表示)とする。なお、画像処理部17は、生成処理として、俯瞰画像P(その画像データ)を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施の形態1の各処理に限定されない。
そして、画像処理部17は、画像合成された俯瞰画像Pの欠落箇所に、図5〜図7に示すように、クレーン車1を模擬的に可視化して表す作業車両標識Mを重畳する重畳処理を行う。この作業車両標識Mは、俯瞰画像Pにおける作業車両としてのクレーン車1自身の位置および大きさを可視化して示すもので、少なくとも走行体2の上にブーム7などを含む旋回台3が設けられている様子の把握を可能とする。作業車両標識Mは、実際のクレーン車1の俯瞰写真を用いてもよくクレーン車1を俯瞰して示す図柄を用いてもよい。
また、この際に、先端部7aは、透明化して表示してもよい。
(3種類の俯瞰画像)
本実施の形態1では、俯瞰画像Pとして、図5に示す周辺俯瞰画像P1と、図6に示す高速走行時俯瞰画像P2と、図7に示す後退時俯瞰画像P3との3種類の各俯瞰画像P1,P2,P3を形成する。また、これらの各俯瞰画像P1,P2,P3は、前述した画像表示部13のカメラ画像表示領域A2に表示される。
周辺俯瞰画像P1は、クレーン車1の周辺のみの画像である。すなわち、周辺俯瞰画像P1は、例えば、クレーン車1の前方向、後方向、左方向、右方向の各方向において、クレーン車1から数m(例えば、2〜3m以上であって10m以内程度)の範囲の画像により形成する。また、画像表示部13における周辺俯瞰画像P1の表示領域R1では、図5に示すように、作業車両標識Mを中心として、車両前後を示す上表示領域Pa1および下表示領域Pb1を上下略対称に表示するとともに、車両左右を示す左表示領域Pc1および右表示領域Pd1を左右略対称に表示する。なお、周辺俯瞰画像P1において線WLは、例えば、道路の走行車線を区切る白線など、車両の左右に沿って存在する線を示している。
なお、各カメラ11は、それぞれ、広角カメラを用いているため、いずれのカメラ11も、撮像した画像データには、車両周辺から地平線までの範囲の画像データが含まれ、かつ、高さ方向には空まで映り込んでいる。周辺俯瞰画像P1を生成する際には、このように広い範囲を撮像した画像データのうち、クレーン車1に近い範囲の画像データのみを使用する。
図6に示す高速走行時俯瞰画像P2では、図示のように、走行方向である車両前方を表示する上表示領域Pa2を、車両後方を表示する下表示領域Pb2よりも広く設定するとともに、左右方向でキャビン5に対してブーム7が存在する方向である車両左側を表示する左表示領域Pc2を、右表示領域Pd2よりも広く設定する。したがって、作業車両標識Mは、高速走行時俯瞰画像P2の各表示領域Pa2〜Pd2の配置に応じ、左右方向では右寄りに配置し、上下方向では下寄り配置して表示する。
この場合、高速走行時俯瞰画像P2では、下表示領域Pb2および右表示領域Pd2には、クレーン車1の周辺画像であって、上記の周辺俯瞰画像P1において表示する範囲よりも狭い範囲の画像データを用いて俯瞰画像を形成する。
すなわち、本実施の形態1では、右表示領域Pd2は、クレーン車1から1m以上の範囲の地上画像を表示し、下表示領域Pb2には、クレーン車1から5m以上の範囲の地上画像を表示するようにした。
一方、走行方向の車両前方を表示する上表示領域Pa2およびブーム7側の左表示領域Pc2には、車両周辺から地平線までの地上画像を表示するとともに、地上からの高さ方向には数m(例えば、5m)以上の範囲まで表示する。すなわち、左表示領域Pc2では、左方カメラ11Lが撮像したクレーン車1の左方向の画像のうち、地上画像は車両周辺から地平線までの範囲を含み、かつ、高さ方向には5m以上の範囲の画像データを用いて高速走行時俯瞰画像P2を形成する。同様に、上表示領域Pa2では、前方カメラ11Fが撮像したクレーン車1の前方の画像のうち、地上画像は、車両周辺から地平線を含む範囲を含み、高さ方向には5m以上の範囲の画像データを用いて高速走行時俯瞰画像P2を形成する。
図7に示す後退時俯瞰画像P3では、図示のように、走行方向である車両後方を表示する下表示領域Pb3を、車両前方を表示する上表示領域Pa3よりも広く設定するとともに、左表示領域Pc3と右表示領域Pd3は、左右対称に設定して表示する。
そして、後退時俯瞰画像P3では、走行方向である車両後方を表示する下表示領域Pb3には、車両周辺から地平線までの画像を表示する。一方、それ以外の、上表示領域Pa3および左表示領域Pc3、右表示領域Pd3には、クレーン車1の周辺(例えば、クレーン車1から3m以上の数mまでの範囲)の画像を表示する。ここで、下表示領域Pb3では、後方カメラ11Bが撮像したクレーン車1の後方の画像のうち、車両周辺から地平線までの範囲の画像データを用いて後退時俯瞰画像P3を形成する。
なお、作業車両標識Mは、後退時俯瞰画像P3の各表示領域Pa3〜Pd3の配置に応じ、左右方向では中央に配置し、上下方向では上寄りに配置して表示する。
(制御部による自動切替表示制御)
次に、クレーン車1の走行時に制御部12が実行する自動表示切替制御について説明する。
制御部12は、前述したように、画像表示部13に俯瞰画像Pを表示するが、自動表示切替制御では、走行状態に応じて、周辺俯瞰画像P1、高速走行時俯瞰画像P2、後退時俯瞰画像P3の表示を切り替える。なお、手動により表示切替操作を行った場合は、この自動表示切替制御をキャンセルして、手動操作に基づく表示を行うようにしてもよいし、あるいは、手動操作による表示領域と手動操作に基づく表示領域とを異ならせてもよい。
以下に、この自動表示切替制御における処理の流れを、図8のフローチャートに基づいて説明する。
まず、最初のステップS101では、走行モードか否か判定し、走行モードには、ステップS102に進み、非走行モードには、ステップS106に進む。なお、走行モードとは、クレーン車1を走行させる状態であることを示し、この走行モードであるか否かは、例えば、操作部14のシフトレバーなどのポジションに基づいて判断することができる。また、非走行モードは、例えば、作業中を含んでもよい。
ステップS101において、走行モードと判断した場合に進むステップS102では、走行が前進であるか否(後退)かを判定し、前進時には、ステップS103に進み、非前進時(後退時)には、ステップS105に進む。
ステップS102において前進時に進むステップS103では、車速Vが予め設定された閾値Vlim以上であるか否か判定する。この閾値Vlimは、クレーン車1が高速走行時であるか否かを判断する値であり、例えば、数km/h、十数km/h、二十数km/h程度の値を用いることができる。この閾値Vlimは、車速Vが、後述するように、車両周辺の距離感が重要な速度域と、車両前方および左側方向の広い範囲の視界が必要になる速度域とを区別するために車両の操作性などに基づいて予め設定された値である。
そして、ステップS103において車速≧Vlimの高速前進走行時にはステップS104に進み、車速<Vlimの低速前進走行時には、ステップS106に進む。
ステップS103において、高速前進走行時と判定された場合に進むステップS104では、高速走行時俯瞰画像P2と前方カメラ画像FCとを表示する。
すなわち、図6に示すように、画像表示部13のカメラ画像表示領域A2を左右に区画し、左側の領域に高速走行時俯瞰画像P2を表示するとともに、右側の領域に前方カメラ11Fが撮像した前方カメラ画像FCを表示する。なお、本実施の形態1では、前方カメラ画像を表示する右側の領域を、高速走行時俯瞰画像P2を表示する左側の領域よりも広く設定している。
一方、ステップS103において車速Vが閾値Vlim未満の低速前進走行時と判定した場合に進むステップS106では、図5に示すように、画像表示部13のカメラ画像表示領域A2に、周辺俯瞰画像P1を表示する。
また、図8のステップS102において非前進時(後退時)と判定された場合に進むステップS105では、後退時俯瞰画像P3と後方カメラ画像RCとを表示する。すなわち、図7に示すように、画像表示部13のカメラ画像表示領域A2を左右に区画し、左側の領域に、後退時俯瞰画像P3を表示するとともに、右側の領域に後方カメラ11Bが撮像した後方カメラ画像RCを表示する。この場合、後方カメラ画像を表示する右側の領域を、後退時俯瞰画像P3を表示する左側の領域よりも広く設定する。
なお、ステップS104〜S106のいずれかの処理を実行後は、スタートからの処理を繰り返し行うもので、この処理は所定周期で実行する。
(実施の形態1の作用)
次に、実施の形態1の画像表示システムの作用を説明する。
(低速前進走行時)
低速前進走行時は、図5に示すように、画像表示部13のカメラ画像表示領域A2に周辺俯瞰画像P1に表示する(ステップS101→S102→S103→S106の処理に基づく)。
低速前進走行時は、車両周辺の視認性および距離感が重要である。すなわち、クレーン車1では、特に、ブーム7の先端と車両周辺の物体との干渉などに注意を払う必要がある。このため、クレーン車1の車両周辺の視認性ならびにクレーン車1と周辺の物体との距離感が重要になる。よって、図5に示すように、周辺俯瞰画像P1により、クレーン車1の四周を略均等に表示することにより、クレーン車1の周辺の全周に亘り注意を払うことができ、かつ、クレーン車1と周辺の物体との距離感を掴みやすい。
また、非走行時である作業時も、同様に、周辺俯瞰画像P1により、クレーン車1の四周を略均等に表示することにより、クレーン車1の全周辺に注意を払うことができるとともに、ブーム7と周辺の物体との距離感を掴みやすい。
(高速前進走行時)
高速前進走行時は、図6に示すように、高速走行時俯瞰画像P2と前方カメラ11Fの画像とを並列に表示する(ステップS101→S102→S103→S104の処理に基づく)。
高速前進走行時には、走行方向(前方)の遠方からクレーン車1に相対的に近付く物体を早く認識する必要がある。加えて、ブーム7の陰に入って視認しにくい車両斜め前方ならびに車両左方から近付いてくる物体は、キャビン5からの直接あるいはミラーなどを介した間接的に視認する前に認識することができれば、より走行安全性が高まる。
そこで、図6に示すように、画像表示部13に高速走行時俯瞰画像P2を表示し、上表示領域Pa2、左表示領域Pc2において、水平線まで表示することにより、キャビン5から直接あるいは間接的に視認するよりも前に接近物体を認識することができる。しかも、水平線まで表示する上表示領域Pa2、左表示領域Pc2では、周辺画像のみを表示した場合と比較して、より早期に、接近物体を認識することが可能となる。
さらに、クレーン車1の走行方向である前方については、高速走行時俯瞰画像P2に加え前方カメラ画像FCを表示する。そして、この前方カメラ画像FCは、車両前方の地平線まで表示し、かつ、高速走行時俯瞰画像P2よりも大きく表示する。このため、高速走行時俯瞰画像P2のみ表示した場合よりも、さらに早期に車両前方からの接近物体を認識することが可能となる。
ここで、図9A、図9Bに基づいて、高速時俯瞰画像P2を表示しない比較例におけるブーム7による死角について説明する。
実施の形態1のように、キャビン5の左側にブーム7が並設されたクレーン車1では、ブーム7によりキャビン5からの斜め左前方や左側方の視界が妨げられる。特に、図9Aに示すように、左にカーブした道路RDの走行時は、進行方向(道路RD)においてブーム7の陰となる領域が、直進時よりも広がる。このため、道路RDの左側に駐車した車両MV1や、側道から道路RDに進入する車両MV2などがブーム7の陰となり、キャビン5からの視認では、これらに接近してブーム7の陰から現れるまで認識するのが難しい。
また、仮に、前方カメラ画像FCのみを画像表示部13に表示している場合であっても、左カーブでは、クレーン車1の前方と、道路RDの方向が時々刻々と変化するため、進行方向よりも左側の車両MV1,MV2は、前方カメラ画像FCに映らないおそれがある。特に、道路RDに進入する車両MV2は、進行方向よりもさらに左方向に位置するため、前方カメラ画像FCに映らずに認識できないおそれがある。
あるいは、仮に、周辺俯瞰画像P1のみが画像表示部13に表示されている場合であっても、走行速度が速い場合には、これらの車両MV1,MV2が周辺俯瞰画像P1の範囲(数m)に近付くまでは、認識できず、早期に認識するのが難しい。
さらに、図9Bに示すように、後方からクレーン車1を追い抜いていく車両MV3についても、通常は、バックミラーにより確認するが、主たる視認方向は走行方向である前方となるため、認識するのが遅れがちとなる。
これに対し、本実施の形態1では、高速前進走行時には、図6に示すように、高速走行時俯瞰画像P2と前方カメラ画像FCとを並列に表示する。この高速走行時俯瞰画像P2では、車両前方および左側方は、地平線まで表示するため、図9Aのように、道路RDが左カーブしていてブーム7の陰に入っていても、高速走行時俯瞰画像P2に両車両MV1、MV2が表示される。したがって、これらの車両MV1、MV2を早期に認識することが可能となる。
同様に、高速走行時俯瞰画像P2では、左側方を地平線まで表示するため、図9Bのように、後方から追い抜いていく車両MV3についても、クレーン車1に並ぶ前から高速走行時俯瞰画像P2に表示される。したがって、運転者は、バックミラーを見ることなく、画像表示部13を確認するだけで、車両MV3を早期に認識することができる。
(後退走行時)
後退走行時には、図7に示すように、後退時俯瞰画像P3と後方カメラ11Bの撮像画像とを左右に並べて表示する(ステップS101→S102→S105の処理に基づく)。
後退走行時は、低速前進走行時と同様に、車両周辺の視認性および距離感が重要である。すなわち、後退時には、進行方向の視認性が悪く、しかも、ブーム7の先端と車両周辺の物体との干渉などに注意を払う必要があるため、クレーン車1と周辺の物体との距離感が重要である。よって、図7に示すように、後退時俯瞰画像P3により、クレーン車1の四周については周辺を表示することで、クレーン車1と周辺の物体との距離感を認識できる。さらに、クレーン車1の進行方向である、後方については、車両周辺から地平線まで表示することにより、進行方向において相対的に近付く物体を、早期に認識することができる。
しかも、クレーン車1の走行方向である後方については、後退時俯瞰画像P3に加え後方カメラ画像を並列表示し、しかも、後方カメラ画像は、後退時俯瞰画像P3よりも大きく表示するため、より早期に接近物体を認識することが可能となる。
(実施の形態の効果)
以下に、実施の形態1の画像表示システムの効果を列挙する。
1)実施の形態1の画像表示システムは、
伸縮動作を行うブーム7がキャビン5に対し車両左側に並設された作業車両としてのクレーン車1に搭載された画像表示システム10であって、
クレーン車1の周辺画像を取得する複数のカメラ11と、
各カメラ11で取得した画像に基づいて画像表示を行う画像表示部13と、
各カメラ11で取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせてクレーン車1の周辺の俯瞰画像Pを形成して画像表示部13に表示させる制御部12と、
を備え、
制御部12は、クレーン車1の走行時には、俯瞰画像Pとして、クレーン車1のブーム7の位置する方向である左方向および走行方向は、クレーン車1の周辺から地平線までを表示した高速走行時俯瞰画像P2を形成し表示することを特徴とする。
したがって、走行時に、運転者は、画像表示部13の高速走行時俯瞰画像P2を見るだけで、クレーン車1の四周の状態に加え、ブーム7の陰となる方向について地平線まで確認することができる。
よって、短時間にクレーン車1の周囲の状況ならびにブーム7の陰となる斜め前方および側方の状況を短時間に確実に確認することができる。
2)実施の形態1の画像表示システムは、
制御部12は、車速Vが閾値Vlim未満の低速走行時には、実施の形態1の画像表示システムは、周辺のみを表示する周辺俯瞰画像P1を形成して表示し、閾値Vlim以上の高速走行時に、高速走行時俯瞰画像P2を形成し表示することを特徴とする。
したがって、低速走行時には、クレーン車1の周囲との距離感を認識でき、車両周辺の物体と車体やブーム7との干渉を防止できる。
一方、高速走行時には、クレーン車1の四周の状態を確認できるとともに、ブーム7の陰となる方向(前方、左側方)については地平線まで確認することができ、短時間に早期に接近物体を認識することができる。
3)実施の形態1の画像表示システムは、
制御部12は、高速走行時俯瞰画像P2を車両の前進走行時に形成して表示し、後退走行時には、走行方向を地平線まで表示し、他の方向についてはクレーン車1の周辺を表示した後退時俯瞰画像P3を形成し表示することを特徴とする画像表示システム。
したがって、後退時には、クレーン車1の周辺との距離感を確実に把握しつつ、進行方向である車両後方は、地平線まで確認可能として、進行方向の接近物体を短時間に確実に確認可能である。
4)実施の形態1の画像表示システムは、
制御部12は、画像表示部13に、高速走行時俯瞰画像P2および後退時俯瞰画像P3と並列に走行方向のカメラ画像を表示することを特徴とする。
したがって、走行方向の接近物体を、より確実に早期に認識可能である。
5)実施の形態1の画像表示システムは、
制御部12は、高速走行時俯瞰画像P2の表示にあたり、進行方向であって地平線の範囲まで表示する上表示領域Pa2と、ブーム7が設けられた方向である車両左方向であって地平線の範囲まで表示する左表示領域Pc2を、車両後方を表示する下表示領域Pb2および車両右方向を表示する右表示領域Pd2よりも広く表示するようにしたことを特徴とする。
したがって、上表示領域Pa2および左表示領域Pc2において、クレーン車1の周辺から地平線までを表示する面積を確保し、上表示領域Pa2、左表示領域Pc2と、その対称位置の下表示領域Pb2、右表示領域Pd2とをそれぞれ略同面積で表示した場合と比較して、違和感なく地平線までの広い範囲を表示することができる。
6)実施の形態1の画像表示システムは、
制御部12は、高速走行時に、高速走行時俯瞰画像P2と並列に、前方カメラ11Fにより撮像する車両前方のクレーン車1の周辺から地平線までを含む前方カメラ画像FCを表示することを特徴とする。
したがって、車両進行方向を、高速走行時俯瞰画像P2に加え、前方カメラ画像FCによっても確認可能であるとともに、前方カメラ画像FCは地平線までの範囲を表示しているため、クレーン車1に接近する物体を早期に認識可能である。
7)実施の形態1の画像表示システムは、
制御部12は、後退走行時に、後退時俯瞰画像P3と並列に、後方カメラ11Bにより撮像する車両後方のクレーン車1の周辺から地平線までを含む後方カメラ画像RCを表示することを特徴とする。
したがって、車両進行方向を、後退時俯瞰画像P3に加え、後方カメラ画像RCによっても確認可能であるとともに、後方カメラ画像RCは地平線までの範囲を表示しているため、クレーン車1に接近する物体を早期に認識可能である。
(他の実施の形態)
次に、他の実施の形態の画像表示システムについて説明する。
なお、他の実施の形態の説明において、他の実施の形態と共通する構成には当該実施の形態と同じ符号を付して説明を省略し、当該実施の形態との相違点のみ説明する。
(実施の形態2)
実施の形態2の画像表示システムは、俯瞰画像として最も一般的な周辺俯瞰画像P1を前進走行時、後退走行時、非走行時に表示するようにした例である。
図10は、実施の形態2の画像表示システムの自動表示切替制御の処理の流れを示すフローチャートである。なお、このフローチャートにおいて、実施の形態1と同様の処理については実施の形態1と同じ符号を付けることにより説明を省略する。
実施の形態2では、前進走行か否かを判定するステップS102において前進走行との判定時に進むステップS204では、画像表示部13において周辺俯瞰画像P1と前方カメラ画像FCとを左右に並列に表示する。また、実施の形態2では、前進走行時には、車速Vにかかわらず、このステップS204の処理に基づいて、周辺俯瞰画像P1と前方カメラ画像FCとの並列表示を維持する。
一方、前進走行か否かを判定するステップS102において非前進走行(後退走行)との判定時に進むステップS205では、画像表示部13において周辺俯瞰画像P1と後方カメラ画像RCとを左右に並列に表示する。
以上説明した実施の形態2の画像表示装置は、
伸縮動作を行うブーム7がキャビン5に対し左側に並設された作業車両としてのクレーン車1に搭載された画像表示システムであって、
クレーン車1の周辺画像を取得する複数のカメラ11と、
各カメラ11で取得した画像に基づいて画像表示を行う画像表示部13と、
各カメラ11で取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせてクレーン車1の周辺の俯瞰画像である周辺俯瞰画像P1を形成して画像表示部13に表示させる制御部12と、
を備え、
制御部12は、クレーン車1の所定速度以上の高速走行時に、画像表示部13に周辺俯瞰画像P1を表示することを特徴とする。
したがって、走行時に、運転者は、画像表示部13の周辺俯瞰画像P1を見るだけで、クレーン車1の四周の状態を確認できる。
よって、短時間にクレーン車1の周囲の状況を確認可能であり、障害物など早期に確認することができる。
以上、本発明の画像表示システムを実施の形態に基づき説明してきたが、具体的な構成については実施の形態に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。
例えば、実施の形態1では、低速走行時は、周辺画像を表示するようにしたが、これに限定されず、低速走行時も高速走行時俯瞰画像を表示するようにしてもよい。また、実施の形態1では、低速走行時に、周辺俯瞰画像のみを表示する例を示したが、これに限定されず、低速時も、俯瞰画像と並列に走行方向(前方)のカメラの撮像画像を表示するようにしてもよい。
また、実施の形態では、前進走行時、後退走行時には、俯瞰画像と並列に走行方向のカメラ画像を表示する例を示したが、これに限定されず、俯瞰画像のみを表示するようにしてもよい。
また、実施の形態1では、高速走行時俯瞰画像は、後方、右方向の表示領域を、前方、左方向よりも狭めて表示する例を示したが、上下、左右対称に表示領域を設定してもよい。
後退時も、ブーム側(左方向)を地平線まで表示するようにしてもよい。
1 クレーン車(作業車両)
5 キャビン
7 ブーム
10 画像表示システム
11B 後方カメラ
11F 前方カメラ
11L 左方カメラ
11R 右方カメラ
12 制御部
13 画像表示部
FC 前方カメラ画像
P1 周辺俯瞰画像
P2 高速走行時俯瞰画像
P3 後退時俯瞰画像
RC 後方カメラ画像

Claims (5)

  1. 伸縮動作を行うブームがキャビンに対し左右のいずれかに並設された作業車両に搭載された画像表示システムであって、
    前記作業車両の周辺画像を取得する複数のカメラと、
    前記各カメラで取得した画像に基づいて画像表示を行う表示部と、
    前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記作業車両の周辺の俯瞰画像を形成して前記表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記作業車両の走行時には、前記俯瞰画像として、前記作業車両の左右方向で前記キャビンに対して前記ブームの位置する方向および走行方向は、前記作業車両の周辺から地平線までを表示した走行時俯瞰画像を形成し表示することを特徴とする画像表示システム。
  2. 請求項1に記載の画像表示システムにおいて、
    前記制御部は、走行速度が所定速未満の低速走行時には、前記作業車両の周辺のみを表示する周辺俯瞰画像を形成して表示し、前記所定速以上の高速走行時に、前記走行時俯瞰画像を形成し表示することを特徴とする画像表示システム。
  3. 請求項1または請求項2に記載の画像表示システムにおいて、
    前記制御部は、前記走行時俯瞰画像を車両の前進走行時に形成して表示し、後退走行時には、走行方向を地平線まで表示し、他の方向については前記作業車両の周辺を表示した後退時俯瞰画像を形成し表示することを特徴とする画像表示システム。
  4. 請求項1〜請求項3のいずれか1項に記載の画像表示システムにおいて、
    前記制御部は、前記表示部に、前記俯瞰画像と並列に走行方向のカメラ画像を表示することを特徴とする画像表示システム。
  5. 伸縮動作を行うブームがキャビンに対し左右のいずれかに並設された作業車両に搭載された画像表示システムであって、
    前記作業車両の周辺画像を取得する複数のカメラと、
    前記各カメラで取得した画像に基づいて画像表示を行う表示部と、
    前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記作業車両の周辺の俯瞰画像を形成して前記表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記作業車両の所定速度以上の高速走行時に、前記表示部に前記俯瞰画像を表示することを特徴とする画像表示システム。
JP2016176866A 2016-09-09 2016-09-09 画像表示システム Pending JP2018039648A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016176866A JP2018039648A (ja) 2016-09-09 2016-09-09 画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016176866A JP2018039648A (ja) 2016-09-09 2016-09-09 画像表示システム

Publications (1)

Publication Number Publication Date
JP2018039648A true JP2018039648A (ja) 2018-03-15

Family

ID=61625205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016176866A Pending JP2018039648A (ja) 2016-09-09 2016-09-09 画像表示システム

Country Status (1)

Country Link
JP (1) JP2018039648A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019167220A (ja) * 2018-03-26 2019-10-03 株式会社タダノ 作業車用の周囲監視システム、作業車、表示方法、及びプログラム
JP2020019644A (ja) * 2018-08-02 2020-02-06 株式会社タダノ クレーン及び情報共有システム
JP2021187584A (ja) * 2020-05-27 2021-12-13 株式会社アイチコーポレーション 作業車
CN116689487A (zh) * 2023-05-25 2023-09-05 重庆大学 基于深度学习的超深冲板材的智能冷轧设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171537A (ja) * 2007-12-17 2009-07-30 Fujitsu Ltd 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
JP2016119559A (ja) * 2014-12-19 2016-06-30 日立建機株式会社 作業機械の周囲監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171537A (ja) * 2007-12-17 2009-07-30 Fujitsu Ltd 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
JP2016119559A (ja) * 2014-12-19 2016-06-30 日立建機株式会社 作業機械の周囲監視装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019167220A (ja) * 2018-03-26 2019-10-03 株式会社タダノ 作業車用の周囲監視システム、作業車、表示方法、及びプログラム
JP7047521B2 (ja) 2018-03-26 2022-04-05 株式会社タダノ 作業車用の周囲監視システム、作業車、表示方法、及びプログラム
JP2020019644A (ja) * 2018-08-02 2020-02-06 株式会社タダノ クレーン及び情報共有システム
WO2020027256A1 (ja) * 2018-08-02 2020-02-06 株式会社タダノ クレーン及び情報共有システム
JP7099150B2 (ja) 2018-08-02 2022-07-12 株式会社タダノ クレーン及び情報共有システム
JP2021187584A (ja) * 2020-05-27 2021-12-13 株式会社アイチコーポレーション 作業車
JP7518664B2 (ja) 2020-05-27 2024-07-18 株式会社アイチコーポレーション 作業車
CN116689487A (zh) * 2023-05-25 2023-09-05 重庆大学 基于深度学习的超深冲板材的智能冷轧设备
CN116689487B (zh) * 2023-05-25 2024-05-28 重庆大学 基于深度学习的超深冲板材的智能冷轧设备

Similar Documents

Publication Publication Date Title
US10661712B2 (en) Bird's-eye view image system, bird's-eye view image display method and program
JP5779244B2 (ja) 作業機械の周囲監視装置
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5781978B2 (ja) ダンプトラック
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
JP6321977B2 (ja) 重機用周辺監視装置
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5505061B2 (ja) 狭路走行支援装置
JP5410327B2 (ja) 建設機械の後方視界表示システムおよび方法
JP2018039648A (ja) 画像表示システム
WO2017038123A1 (ja) 車両の周囲監視装置
JP6756554B2 (ja) 画像表示システム
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2018039477A (ja) 画像表示システム
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2016183033A (ja) クレーン車の死角映像表示システム
JP2018039476A (ja) 画像表示システム
JP2018131200A (ja) コンテナ荷役車両
JP2011182254A (ja) 車両用運転支援装置
JP2017081535A (ja) コンテナ荷役車両
JP6787729B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP4561512B2 (ja) 駐車支援方法及び駐車支援装置
JP2002020074A (ja) クレーン車の前方視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201117