JP2014071655A - 遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法 - Google Patents

Abstract

【課題】操縦対象の周囲を遠隔地に配置される表示手段に正確に表示する、ことを目的とする。
【解決手段】車両を遠隔操縦するための画像をモニタ２２に表示させる遠隔操縦用画像処理装置２６は、車両に設置され、検知対象の位置を３次元で検知するレーザレーダ１４と、ボクセルを当てはめてモニタ２２の画面に表示させる座標として、レーザレーダ１４によって検知された検知対象毎の３次元座標を記憶する車両用記憶部３８と、レーザレーダ１４によって検知された検知対象毎の３次元座標のうち、車両用記憶部３８に記憶されていない３次元座標を抽出して車両用記憶部３８に追加して記憶させる追加ボクセル抽出部３２と、３次元座標の時間変化に基づいて検知対象が移動したか否かを判定し、移動したと判定した検知対象に対応する３次元座標を車両用記憶部３８からの削除対象として抽出する削除ボクセル抽出部３６と、を備える。
【選択図】図２

Description

本発明は、遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法に関するものである。

例えば車両等の操縦対象の遠隔操縦を行う場合、車両が走行する地形や障害物等を検知する検知手段として３次元で物体を検知可能な例えばレーザレーダ等が車両に設置されている。そして、車両を遠隔操縦する操縦者は、検知手段による検知結果に基づいた画像で構成される３次元マップをモニタで確認しながら車両を遠隔操縦する。具体的には、検知手段で検知された物体の３次元座標に応じた３次元マップがモニタに表示される。
このような遠隔監視装置の一例として特許文献１には、車両に設置された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、車両に設置された３次元形状測定装置により特定範囲の３次元形状を検知し、演算処理装置により３次元形状から車両が通りやすい路面領域を検出し、赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、表示装置により補正赤外線画像を表示する装置が開示されている。

特開２０１１−３９７２７号公報

図１１は、車両１００に設置されたレーザレーダ１０２によって検知対象が検知され、遠隔操縦装置１０４のモニタ１０６に表示される画面の例を示している。図１１に示される画面Ａは、遠隔操縦を行う操縦者に表示させるべき正確な画面を示しており、検知対象を示すボクセル１０８が一つ表示されている。しかし、検知対象が人や車両等の移動体である場合、レーザレーダ１０２は検知対象の３次元座標を取得する毎に、その時刻での検知対象の位置情報が蓄積され、図１１に示される画面Ｂのように検知対象の移動履歴が複数のボクセル１０８として、そのままモニタ１０６に表示されることとなる。
上記画面Ｂのような表示がモニタ１０６にされると、操縦者による車両１００の操縦に支障をきたす恐れがある。

本発明は、このような事情に鑑みてなされたものであって、操縦対象の周囲を遠隔地に配置される表示手段に正確に表示できる、遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法は以下の手段を採用する。

本発明の第一態様に係る遠隔操縦用画像処理装置は、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置であって、前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる追加座標抽出手段と、前記３次元座標の時間変化に基づいて前記検知対象が移動したか否かを判定し、移動したと判定した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する削除座標抽出手段と、を備える。

本構成に係る遠隔操縦用画像処理装置は、操縦対象を遠隔操縦するための画像を表示手段に表示させる装置であって、操縦対象に設置された３次元検知手段によって、検知対象の位置を縦、横、及び深さの３次元で検知する。３次元検知手段は、例えばレーザレーダである。操縦対象は、例えば車両である。検知対象は、操縦対象が移動する地形や障害物等である。

遠隔操縦用画像処理装置は、所定形状の画像を当てはめて表示手段の画面に表示させる座標として、３次元検知手段によって検知された検知対象毎の３次元座標を記憶手段に記憶する。所定形状の画像は、例えば立方体（ボクセル）である。すなわち、記憶手段に記憶された３次元座標に対応する表示手段の画面上の位置に立方体が表示されることによって、操縦者は操縦対象の周囲を遠隔地で把握することができる。

そして、３次元検知手段によって検知された検知対象毎の３次元座標のうち、記憶手段に記憶されていない３次元座標が、追加座標抽出手段によって抽出されて記憶手段に追加して記憶される。

しかし、記憶手段に３次元座標を逐次追加して記憶させるだけでは、検知対象の位置を示す立方体が時々刻々と検知対象の移動と共に追加して表示手段に表示されることとなる。すなわち、存在しない検知対象が表示手段に表示されるので、操縦対象の周囲が表示手段に正確に表示されることとならない。

そこで、削除座標抽出手段によって、３次元座標の時間変化に基づいて検知対象が移動したか否かが判定され、移動したと判定された検知対象に対応する３次元座標が記憶手段からの削除対象として抽出される。

これにより、削除対象として抽出された３次元座標が記憶手段から削除され、存在しない検知対象が表示手段に表示されることが防止されるので、本構成は、操縦対象の周囲を遠隔地に配置される表示手段に正確に表示することができる。

上記第一態様では、前記削除座標抽出手段が、前記３次元検知手段によって検知される範囲を分割して得られた領域毎に、前記３次元座標により示される深さを求め、前記深さが過去に求めた深さよりも深い前記領域に対応する前記３次元座標を前記記憶手段からの削除対象として抽出することが好ましい。

本構成は、３次元検知手段によって検知される範囲を分割して得られた領域毎に、３次元座標により示される深さを求める。この深さは、操縦対象から検知対象までの距離のことであり、深さが過去に求めた深さよりも深い場合は、検知対象が移動したことを示す。なぜなら、３次元検知手段によって過去に検知された検知対象が移動し、該検知対象の背後に位置するものをその後３次元検知手段が検知したこととなるためである。すなわち、深さが過去に求めた深さよりも深い場合、換言すると検知対象を検知した位置がより奥に移動した場合、対応する領域の検知対象は、移動したと判定される。

そして、深さが過去に求めた深さよりも深い領域に対応する３次元座標が、記憶手段からの削除対象として抽出される。
従って、本構成は、簡易に削除対象を抽出することができる。

上記第一態様では、前記削除座標抽出手段が、前記３次元検知手段と前記検知対象を示す前記３次元座標とを結ぶ直線上に位置する過去に検知された前記３次元座標を、前記記憶手段からの削除対象として抽出することが好ましい。

本構成は、３次元検知手段と検知対象を示す３次元座標とを結ぶ直線上、すなわち新たに検知された３次元座標を向くベクトル上であって過去に検知された３次元座標を、すでに移動した検知対象と判定し、記憶手段からの削除対象として抽出する。
従って、本構成は、簡易に削除対象を抽出することができる。

上記第一態様では、前記削除座標抽出手段が、前記３次元検知手段と前記検知対象を示す前記３次元座標とを結ぶ直線上に位置する過去に検知された前記３次元座標であって、前記３次元検知手段による検知誤差に基づく削除範囲に位置する過去に検知された前記３次元座標を前記削除対象として抽出することが好ましい。

本構成は、３次元検知手段による検知には誤差が含まれているため、３次元検知手段の検知誤差の影響を受ける範囲に位置する３次元座標を削除対象としないので、削除する必要のない３次元座標を削除することを防止できる。

上記第一態様では、前記操縦対象に設置され、前記検知対象を撮像して２次元の画像情報を取得する撮像手段を備え、前記削除座標抽出手段が、前記撮像手段で取得された前記画像情報により示される色の変化に基づいて、移動したと判定された前記検知対象に対応する前記３次元座標も前記記憶手段からの削除対象として抽出することが好ましい。

本構成は、３次元検知手段では検知され難い移動する検知対象、例えば、操縦対象からの距離が略同一であって一方が移動せずに他方が移動する検知対象（壁に沿って移動している人等）があっても、色の変化を撮像手段によって検知できる。
このように本構成は、撮像手段で取得された画像情報により示される色の変化からも移動した検知対象を抽出して削除するので、より確実に削除対象とする３次元座標を抽出することができる。

本発明の第二態様に係る遠隔操縦用画像処理装置は、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置であって、前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、前記操縦対象に設置され、前記検知対象を撮像して２次元の画像情報を取得する撮像手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる追加座標抽出手段と、前記撮像手段で取得された前記画像情報に基づいて、移動した前記検知対象を抽出する抽出手段と、前記抽出手段によって抽出された前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する削除座標抽出手段と、を備える。

本構成に係る遠隔操縦用画像処理装置は、操縦対象を遠隔操縦するための画像を表示手段に表示させる装置であって、操縦対象に設置された３次元検知手段によって、検知対象の位置を縦、横、及び深さの３次元で検知し、撮像手段によって、検知対象を撮像して２次元の画像情報を取得する。３次元検知手段は、例えばレーザレーダである。操縦対象は、例えば車両である。検知対象は、操縦対象が移動する地形や障害物等である。

遠隔操縦用画像処理装置は、所定形状の画像を当てはめて表示手段の画面に表示させる座標として、３次元検知手段によって検知された検知対象毎の３次元座標を記憶手段に記憶する。所定形状の画像は、例えば立方体（ボクセル）ある。すなわち、記憶手段に記憶された３次元座標に対応する表示手段の画面上の位置に立方体が表示されることによって、操縦者は操縦対象の周囲を遠隔地で把握することができる。

そして、３次元検知手段によって検知された検知対象毎の３次元座標のうち、記憶手段に記憶されていない３次元座標が、追加座標抽出手段によって抽出されて記憶手段に追加して記憶される。

しかし、記憶手段に３次元座標を逐次追加して記憶させるだけでは、検知対象を示す立方体が時々刻々と検知対象の移動と共に追加して表示手段に表示されることとなる。すなわち、存在しない検知対象が表示手段に表示されるので、操縦対象の周囲が表示手段に正確に表示されることとならない。

そこで、抽出手段によって、撮像手段で取得された前記画像情報に基づいて、移動した検知対象が抽出され、抽出された検知対象に対応する３次元座標が削除座標抽出手段によって記憶手段からの削除対象として抽出される。

これにより、記憶手段から削除対象として抽出された３次元座標が削除され、存在しない検知対象が表示手段に表示されることが防止されるので、本構成は、操縦対象の周囲を遠隔地に配置される表示手段に正確に表示することができる。

本発明の第三態様に係る遠隔操縦システムは、操縦対象、及び遠隔操縦装置を備える遠隔操縦システムであって、前記操縦対象が、請求項１から請求項６の何れか１項に記載の遠隔操縦用画像処理装置と、前記追加座標抽出手段によって前記記憶手段に追加して記憶される前記３次元座標である追加座標、及び前記削除座標抽出手段によって抽出された前記３次元座標である削除座標を前記遠隔操縦装置へ送信する送信手段と、を備え、前記遠隔操縦装置が、前記操縦対象を遠隔操作するための画像を表示する表示手段と、前記送信手段からの前記追加座標及び前記削除座標を受信する受信手段と、前記受信手段によって受信された前記追加座標を記憶すると共に、前記受信手段によって受信された前記削除座標が削除される表示用記憶手段と、前記表示用記憶手段に記憶されている前記三次元座標に前記所定形状の画像を当てはめて前記表示手段に表示させる表示画面作成手段と、を備える。

本構成に係る遠隔操縦システムは、操縦対象及び遠隔操縦装置を備える。操縦対象と遠隔操縦装置は、例えば無線により遠隔操作に必要な種々の情報を送受信する。

上記記載の遠隔操縦用画像処理装置を備える操縦対象は、追加座標抽出手段によって記憶手段に追加して記憶される３次元座標である追加座標、及び削除座標抽出手段によって抽出された３次元座標である削除座標を遠隔操縦装置へ送信手段から送信する。このように、表示手段の画面に所定形状の画像を更新して表示させるための情報として、操縦対象からは追加座標及び削除座標のみが更新情報として送信される。これにより、操縦対象から遠隔操縦装置へ送信される情報量が少なくて済む。

一方、遠隔操縦装置は、操縦対象が備える送信手段からの追加座標及び削除座標を、受信手段によって受信する。そして、表示用記憶手段が、受信手段によって受信された追加座標を記憶すると共に、受信手段によって受信された削除座標が表示用記憶手段から削除される。これにより、操作対象が備える記憶手段と遠隔操縦装置が備える表示用記憶手段とに記憶される三次元座標は同一となるので、遠隔操縦装置による操縦対象の操縦がより正確に行える。

そして、表示画面作成手段によって、表示用記憶手段に記憶されている三次元座標に所定形状の画像が当てはめられて表示手段に表示される。

以上のことから、削除対象として抽出された３次元座標が記憶手段から削除され、存在しない検知対象が表示手段に表示されることが防止されるので、本構成は、操縦対象の周囲を遠隔地に配置される表示手段に正確に表示することができる。

本発明の第四態様に係る遠隔操縦用画像処理方法は、前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、を備え、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置による遠隔操縦用画像処理方法であって、前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる第１工程と、前記３次元座標の時間変化に基づいて前記検知対象が移動したか否かを判定し、移動したと判定した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する第２工程と、を含む。

本発明の第五態様に係る遠隔操縦用画像処理方法は、前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、前記操縦対象に設置され、検知対象を撮像して２次元の画像情報を取得する撮像手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、を備え、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置による遠隔操縦用画像処理方法であって、前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる第１工程と、前記撮像手段で取得された前記画像情報に基づいて、移動した前記検知対象を抽出する第２工程と、前記第２工程によって抽出した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する第３工程と、を含む。

本発明によれば、操縦対象の周囲を遠隔地に配置される表示手段に正確に表示できる、という優れた効果を有する。

本発明の第１実施形態に係る遠隔操縦される車両を示す図である。 本発明の第１実施形態に係る遠隔操縦システムの構成を示すブロック図である。 本発明の第１実施形態に係るモニタに表示される画面の一例を示す模式図である。 本発明の第１実施形態に係るレーザレーダで検知される範囲の分割領域を示す模式図である。 本発明の第２実施形態に係る遠隔操縦システムの構成を示すブロック図である。 本発明の第２実施形態に係る削除対象となるボクセルを示す模式図である。 誤って削除されるボクセルの例を示す模式図である。 本発明の第２実施形態に係る削除範囲を示す模式図である。 本発明の第３実施形態に係る遠隔操縦システムの構成を示すブロック図である。 本発明の第４実施形態に係る遠隔操縦システムの構成を示すブロック図である。 従来の遠隔監視装置のモニタに表示される画像を示す模式図である。

以下に、本発明に係る遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法の一実施形態について、図面を参照して説明する。

〔第１実施形態〕
以下、本発明の第１実施形態について説明する。

図１は、本第１実施形態に係る遠隔操縦システム１０の操縦対象である車両１２を示す図である。

車両１２は、無人で走行可能とされており、遠隔操縦システム１０の遠隔操縦装置２０（図２も参照）によって遠隔操縦される。

そして、車両１２は、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段としてレーザレーダ１４が設置されている。検知対象は、車両１２が移動する地形や人を含む障害物等である。なお、レーザレーダ１４の設置位置は、一例として車両１２の屋根であるが、これに限らず、他の設置位置でもよい。

レーザレーダ１４は所定数のレーザを照射し、各レーザの反射点の位置（ｘ，ｙ，ｚ）が検知対象の位置とされる。レーザレーダ１４の検知範囲は、図１に示されるように車両１２の周方向（ヨー方向）と車両１２の高さ方向（ピッチ方向）であり、レーザレーダ１４そのものが車両１２の周方向に角度θｎ（例えば３６０度）で回転し、高さ方向に角度φｎで回動することで、車両１２の周囲を検知する。これにより、車両１２の周囲の検知対象が検知される。

図２は、第１実施形態に係る遠隔操縦システム１０の構成を示すブロック図である。なお、図２に示されるブロック図は、遠隔操縦装置２０が備えるモニタ２２に車両１２の周囲を表示させるために用いられる構成を主に示したものである。モニタ２２は、遠隔操縦装置２０によって車両１２の周囲を操縦者が把握するためのものである。

車両１２は、レーザレーダ１４の他に、車両位置情報取得部２４、遠隔操縦用画像処理装置２６、及び送信部２８を備える。

車両位置情報取得部２４は、ＧＰＳ（Global Positioning System）であり、車両１２の位置を緯度及び経度によって特定する。

遠隔操縦用画像処理装置２６は、ボクセル作成部３０、追加ボクセル抽出部３２、深さマップ作成部３４、削除ボクセル抽出部３６、及び車両用記憶部３８を備える。

ボクセル作成部３０は、レーザレーダ１４による検知結果（ｘ，ｙ，ｚ）と車両位置情報取得部２４による車両１２の位置情報に基づいて、レーザレーダ１４によって検知された検知対象の位置を示す３次元座標を世界座標系に変換し、変換した３次元座標を所定形状の画像を当てはめて遠隔操縦装置２０が備えるモニタ２２の画面に表示させる座標とする。所定形状の画像は、例えば立方体あり、これを以下ボクセルという。

すなわち、３次元座標に対応するモニタ２２の画面上の位置にボクセルが表示されることによって、操縦者は車両１２の周囲を遠隔地で把握することができる。

より具体的には、レーザレーダ１４から照射される複数本のレーザが、例えば建物に反射した場合、その反射点の位置毎に３次元座標が得られる。そして、得られた複数の３次元座標を中心としたボクセル４０が、モニタ２２の画面上で配置されることで、図３に示されるように建物が表わされる。図３の例では、建物のみをボクセル４０で表示しているが、地面等も含むレーザレーダ１４の検知対象は、全てボクセル４０で表わされる。このようにして、車両１２の周囲がモニタ２２に表示されることとなる。なお、説明を容易にするために図３では、モニタ２２の画面上にボクセル４０の中心（黒点）が表示されているが、実際にはボクセル４０の中心は表示されなくてもよい。

追加ボクセル抽出部３２は、レーザレーダ１４によって検知された検知対象毎の３次元座標のうち、車両用記憶部３８に記憶されていない３次元座標を抽出して車両用記憶部３８に追加して記憶させる。抽出した３次元座標は、車両用記憶部３８と共に送信部２８に出力される。

追加ボクセル抽出部３２による３次元座標の抽出及び車両用記憶部３８への記憶によって、車両用記憶部３８には世界座標系でボクセル４０を配置する位置を示したボクセルマップが構築されることとなる。

深さマップ作成部３４は、レーザレーダ１４による検知結果（ｘ，ｙ，ｚ）と車両位置情報取得部２４による車両１２の位置情報に基づいて、レーザレーダ１４によって検知された検知対象の位置を示す３次元座標を世界座標系に変換する。そして、深さマップ作成部３４は、レーザレーダ１４によって検知される範囲を分割して得られた領域（以下、「分割領域」という。）毎に、３次元座標により示される深さを求める。この深さは、車両１２から検知対象までの距離のことである。

例えば、図４に示されるようにレーザレーダ１４の検知範囲が、例えば、車両１２の周方向に３６０度及び高さ方向にＮ度から−Ｎ度までであり、分割領域として周方向に８分割し、高さ方向に３分割することによって、２４の分割領域が得られる。
そして、分割領域毎に深さＤ_ｔ（θｎ，φｎ）が求められたマップが深さマップである。

削除ボクセル抽出部３６は、深さマップにより示される深さＤ_１（θｎ，φｎ）が過去に求めた深さＤ_０（θｎ，φｎ）よりも深い分割領域を求め、該分割領域に対応する３次元座標を車両用記憶部３８からの削除対象として抽出する。

送信部２８は、追加ボクセル抽出部３２によって車両用記憶部３８に追加して記憶される３次元座標である追加座標、及び削除ボクセル抽出部３６によって抽出された３次元座標である削除座標を遠隔操縦装置２０へ送信する。

遠隔操縦装置２０は、モニタ２２の他に受信部４２、表示用記憶部４４、及び表示画面作成部４６を備える。

受信部４２は、送信部２８からの追加座標及び削除座標を受信する。

表示用記憶部４４は、受信部４２によって受信された追加座標を記憶すると共に、受信部４２によって受信された削除座標が削除される。

表示画面作成部４６は、表示用記憶部４４に記憶されている三次元座標にボクセル４０を当てはめてモニタ２２に表示させる。

なお、遠隔操縦用画像処理装置２６及び遠隔操縦装置２０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びコンピュータ読み取り可能な記録媒体等から構成されている。そして、各種機能を実現するための一連の処理は、一例として、プログラムの形式で記録媒体等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。

次に、本第１実施形態に係る遠隔操縦システム１０の作用を説明する。

遠隔操縦用画像処理装置２６によって車両用記憶部３８に３次元座標を逐次追加して記憶させるだけでは、検知対象の位置を示すボクセル４０が時々刻々と検知対象の移動と共に追加してモニタ２２に表示されることとなる。すなわち、存在しない検知対象がモニタ２２に表示されるので、車両１２の周囲がモニタ２２に正確に表示されることとならない。

そこで、削除ボクセル抽出部３６によって、３次元座標の時間変化に基づいて検知対象が移動したか否かが判定され、移動したと判定された検知対象に対応する３次元座標が車両用記憶部３８からの削除対象として抽出される。なお、以下の説明において、３次元座標の削除とボクセル４０の削除は、同義である。

本第１実施形態に係る削除ボクセル抽出部３６は、上述したように深さマップにより示される深さが過去に求めた深さよりも深い分割領域に対応する３次元座標を車両用記憶部３８からの削除対象として抽出する。深さが過去に求めた深さよりも深い場合は、検知対象が移動したことを示す。なぜなら、過去に検知された検知対象が移動し、該検知対象の背後に位置するものをその後レーザレーダ１４が検知したこととなるためである。すなわち、深さが過去に求めた深さよりも深い場合、換言すると検知対象を検知した位置（レーザの反射点）がより奥に移動した場合、対応する分割領域の検知対象は、移動したと判定される。

これにより、本第２実施形態に係る削除ボクセル抽出部３６は、簡易に削除対象を抽出することができる。

そして、車両１２は、追加ボクセル抽出部３２によって車両用記憶部３８に追加して記憶される３次元座標である追加座標、及び削除ボクセル抽出部３６によって抽出された３次元座標である削除座標を遠隔操縦装置２０へ送信部２８から送信する。このように、モニタ２２の画面にボクセル４０を更新して表示させるための情報として、車両１２からは追加座標及び削除座標のみが更新情報として送信される。これにより、車両１２から遠隔操縦装置２０へ送信される情報量が少なくて済む。

一方、遠隔操縦装置２０は、車両１２が備える送信部２８からの追加座標及び削除座標を受信部４２によって受信する。そして、表示用記憶部４４が、受信部４２によって受信された追加座標を記憶すると共に、受信部４２によって受信された削除座標が表示用記憶部４４から削除される。これにより、車両１２が備える車両用記憶部３８と遠隔操縦装置２０が備える表示用記憶部４４とに記憶される三次元座標は同一となるので、遠隔操縦装置２０による操縦対象の操縦がより正確に行える。

そして、表示画面作成部４６によって、表示用記憶部４４に記憶されている三次元座標にボクセル４０が当てはめられてモニタ２２に表示される。

以上説明したように、本第１実施形態に係る遠隔操縦システム１０は、削除対象として抽出した３次元座標を車両用記憶部３８及び表示用記憶部４４から削除することで、存在しない検知対象がモニタ２２に表示されることが防止され、車両１２の周囲を遠隔地に配置されるモニタ２２に正確に表示することができる。

〔第２実施形態〕
以下、本発明の第２実施形態について説明する。

図５は、本第２実施形態に係る遠隔操縦システム１０の構成を示す。なお、図５における図２と同一の構成部分については図２と同一の符号を付して、その説明を省略する。

上述した第１実施形態に係る遠隔操縦システム１０は、深さマップ作成部３４を備えていたが、本第２実施形態に係る遠隔操縦システム１０は、深さマップ作成部３４を備えず、かつ削除ボクセル抽出部３６の機能が第１実施形態に係る削除ボクセル抽出部３６と異なる。

本第２実施形態に係る削除ボクセル抽出部３６は、レーザレーダ１４と検知対象を示す３次元座標とを結ぶ直線上に位置する過去に検知された３次元座標を、車両用記憶部３８及び表示用記憶部４４からの削除対象として抽出する。

これにより、レーザレーダ１４と検知対象を示す３次元座標とを結ぶ直線上、すなわち新たに検知された３次元座標を向くベクトル上に位置する過去に検知された３次元座標が、すでに移動した検知対象であると削除ボクセル抽出部３６によって判定され、削除対象として抽出される。従って、本第２実施形態に係る削除ボクセル抽出部３６は、簡易に削除対象を抽出することができる。

図６は、本第２実施形態に係る削除ボクセル抽出部３６によって削除対象として抽出されるボクセル４０（三次元座標）を示す模式図である。図６に示されるように、新たに作成されたボクセル４０Ａと車両１２との間に位置し、過去に作成されたボクセル４０Ｂが削除対象となる。

また、レーザレーダ１４が、例えば６４本のレーザを照射して、ｘ度の間隔で周方向に３６０度で回転している場合、（３６０／ｘ）×６４箇所において上記判定を行うこととなる。

ここで、レーザレーダ１４による検知には誤差が含まれている。このため、図７の例に示されるように、新たな検知により得られたボクセル４０Ｃ（３次元座標）に誤差が含まれると、ボクセル４０Ｃとレーザレーダ１４（車両１２）との間に位置するボクセル４０であって、本来削除対象とならないボクセル４０Ｄ，４０Ｅが削除対象となる場合がある。

そこで、本第２実施形態に係る削除ボクセル抽出部３６は、レーザレーダ１４と検知対象を示す３次元座標とを結ぶ直線上に位置する過去に検知された３次元座標であって、図８に示されるようにレーザレーダ１４の検知誤差に基づく削除範囲Ｌ’に位置する過去に検知された３次元座標を削除対象として抽出する。これにより、本第２実施形態に係る削除ボクセル抽出部３６は、レーザレーダ１４の検知誤差の影響を受ける範囲に位置する３次元座標（ボクセル４０）を削除対象としないので、削除する必要のない３次元座標を削除することを防止できる。

削除範囲Ｌ’は、下記（１）式に示されるようにレーザレーダ１４と新たに検知した３次元座標との間の距離Ｌから算出される。

Ｖはボクセル４０の一辺のサイズ（以下、「ボクセルサイズ」という。）であり、σ_Ｌは距離Ｌでの誤差標準偏差である。

ここで、削除範囲Ｌ’にボクセルサイズＶが含まれている理由は以下の通りである。

削除範囲Ｌ’での誤差標準偏差σ_Ｌ’は、下記（２）式に示される。

誤差標準偏差σ_Ｌ’がボクセルサイズＶよりも大きければ誤って削除される可能性がある。そのため、σ_Ｌ’≦Ｖを削除の条件とし、一例として（２）式においてσ_Ｌ’＝Ｖとすることで、（１）式が得られる。

以上説明したように、本第２実施形態に係る遠隔操縦システム１０は、レーザレーダ１４と検知対象を示す３次元座標とを結ぶ直線上に位置する過去に検知された３次元座標を、車両用記憶部３８からの削除対象として抽出するので、簡易に削除対象を抽出することができる。

〔第３実施形態〕
以下、本発明の第３実施形態について説明する。

図９は、本第３実施形態に係る遠隔操縦システム１０の構成を示す。なお、図９における図２と同一の構成部分については図２と同一の符号を付して、その説明を省略する。

本第３実施形態に係る車両１２は、検知対象を撮像して２次元の画像情報を取得するカメラ５０が設置されている。なお、カメラ５０による撮像範囲の座標とレーザレーダ１４による検知範囲の座標は、一致するように校正（キャリブレーション）されている。

カメラ５０は、レーザレーダ１４では検知され難い移動する検知対象、例えば、車両１２からの距離が略同一であって一方が移動せずに他方が移動する検知対象（例えば壁に沿って移動している人等）があっても、これらを色の変化によって検知できる。
そこで、遠隔操縦用画像処理装置２６は、色変化判定部５２を備える。

色変化判定部５２は、カメラ５０によって取得された画像情報の時間変化から、色が変化した領域を判定する。色変化判定部５２は、例えば、色の変化が閾値Ｋ以上であれば、色が変化した領域として判定する。

本第３実施形態に係る削除ボクセル抽出部３６は、第１実施形態と同様に深さマップにより示される深さが過去に求めた深さよりも深い分割領域に対応する３次元座標を車両用記憶部３８からの削除対象として抽出する。そして、これに加え、本第３実施形態に係る削除ボクセル抽出部３６は、色変化判定部５２によって判定された領域に対応する３次元座標も車両用記憶部３８からの削除対象として抽出する。

すなわち、本第３実施形態に係る削除ボクセル抽出部３６は、カメラ５０で取得された画像情報により示される色の変化に基づいて、移動したと判定された検知対象に対応する３次元座標も車両用記憶部３８からの削除対象として抽出する。

従って、移動した検知対象であっても、レーザレーダ１４による検知結果からは削除対象とされなかった３次元座標であっても、カメラ５０によって取得された画像情報により、削除対象と判定される。これにより、本第２実施形態に係る遠隔操縦システム１０は、より確実に削除対象とする３次元座標を抽出することができる。

〔第４実施形態〕
以下、本発明の第４実施形態について説明する。

図１０は、本第４実施形態に係る遠隔操縦システム１０の構成を示す。なお、図１０における図２と同一の構成部分については図２と同一の符号を付して、その説明を省略する。

本第４実施形態に係る遠隔操縦用画像処理装置２６は、深さマップ作成部３４を備えていない一方、車両１２にはカメラ５０が設置され、遠隔操縦用画像処理装置２６には移動体抽出部６０が備えられている。

カメラ５０は、検知対象を撮像して２次元の画像情報を取得する。なお、カメラ５０による撮像範囲の座標とレーザレーダ１４による検知範囲の座標は、一致するように校正（キャリブレーション）されている。

移動体抽出部６０は、カメラ５０で取得された画像情報に基づいて、移動した検知対象を抽出する。なお、画像情報に基づいて移動した検知対象を抽出する方法は、従来既知の方法で良い。

そして、削除ボクセル抽出部３６は、移動体抽出部６０によって抽出された検知対象に対応する３次元座標を車両用記憶部３８からの削除対象として抽出する。

これにより、本第４実施形態に係る遠隔操縦システム１０は、削除対象として抽出された３次元座標が車両用記憶部３８及び表示用記憶部４４から削除され、存在しない検知対象がモニタ２２に表示されることが防止される。従って、本第１実施形態に係る遠隔操縦システム１０は、車両１２の周囲を遠隔地に配置されるモニタ２２に正確に表示することができる。

以上、本発明を、上記各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

例えば、上記各実施形態では、遠隔操縦システム１０による操縦対象を車両１２とする形態について説明したが、本発明は、これに限定されるものではなく、操縦対象を例えば航空機やロボット等とする形態としてもよい。

また、上記各実施形態では、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段としてレーザレーダを用いる形態について説明したが、本発明は、これに限定されるものではなく、３次元検知手段としてステレオカメラ等を用いる形態としてもよい。

また、上記各実施形態では、レーザレーダ１４を周方向に３６０度で回転させる形態について説明したが、本発明は、これに限定されるものではなく、レーザレーダ１４を３６０度未満の所定範囲で回動させる形態としてもよい。

１０ 遠隔操縦システム
１２ 車両
１４ レーザレーダ
２０ 遠隔操縦装置
２６ 遠隔操縦用画像処理装置
２８ 送信部
３２ 追加ボクセル抽出部
３６ 削除ボクセル抽出部
３８ 車両用記憶部
４２ 受信部
４４ 表示用記憶部
４６ 表示画面作成部
５０ カメラ
６０ 移動体抽出部

Claims (9)

1. 操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置であって、
   前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、
   所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、
   前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる追加座標抽出手段と、
   前記３次元座標の時間変化に基づいて前記検知対象が移動したか否かを判定し、移動したと判定した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する削除座標抽出手段と、
   を備える遠隔操縦用画像処理装置。
2. 前記削除座標抽出手段は、前記３次元検知手段によって検知される範囲を分割して得られた領域毎に、前記３次元座標により示される深さを求め、前記深さが過去に求めた深さよりも深い前記領域に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する請求項１記載の遠隔操縦用画像処理装置。
3. 前記削除座標抽出手段は、前記３次元検知手段と前記検知対象を示す前記３次元座標とを結ぶ直線上に位置する過去に検知された前記３次元座標を、前記記憶手段からの削除対象として抽出する請求項１記載の遠隔操縦用画像処理装置。
4. 前記削除座標抽出手段は、前記３次元検知手段と前記検知対象を示す前記３次元座標とを結ぶ直線上に位置する過去に検知された前記３次元座標であって、前記３次元検知手段による検知誤差に基づく削除範囲に位置する過去に検知された前記３次元座標を前記削除対象として抽出する請求項３記載の遠隔操縦用画像処理装置。
5. 前記操縦対象に設置され、前記検知対象を撮像して２次元の画像情報を取得する撮像手段を備え、
   前記削除座標抽出手段は、前記撮像手段で取得された前記画像情報により示される色の変化に基づいて、移動したと判定された前記検知対象に対応する前記３次元座標も前記記憶手段からの削除対象として抽出する請求項１から請求項４何れか１項記載の遠隔操縦用画像処理装置。
6. 操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置であって、
   前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、
   前記操縦対象に設置され、前記検知対象を撮像して２次元の画像情報を取得する撮像手段と、
   所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、
   前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる追加座標抽出手段と、
   前記撮像手段で取得された前記画像情報に基づいて、移動した前記検知対象を抽出する抽出手段と、
   前記抽出手段によって抽出された前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する削除座標抽出手段と、
   を備える遠隔操縦用画像処理装置。
7. 操縦対象、及び遠隔操縦装置を備える遠隔操縦システムであって、
   前記操縦対象は、
   請求項１から請求項６の何れか１項に記載の遠隔操縦用画像処理装置と、
   前記追加座標抽出手段によって前記記憶手段に追加して記憶される前記３次元座標である追加座標、及び前記削除座標抽出手段によって抽出された前記３次元座標である削除座標を前記遠隔操縦装置へ送信する送信手段と、
   を備え、
   前記遠隔操縦装置は、
   前記操縦対象を遠隔操作するための画像を表示する表示手段と、
   前記送信手段からの前記追加座標及び前記削除座標を受信する受信手段と、
   前記受信手段によって受信された前記追加座標を記憶すると共に、前記受信手段によって受信された前記削除座標が削除される表示用記憶手段と、
   前記表示用記憶手段に記憶されている前記三次元座標に前記所定形状の画像を当てはめて前記表示手段に表示させる表示画面作成手段と、
   を備える遠隔操縦システム。
8. 前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、を備え、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置による遠隔操縦用画像処理方法であって、
   前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる第１工程と、
   前記３次元座標の時間変化に基づいて前記検知対象が移動したか否かを判定し、移動したと判定した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する第２工程と、
   を含む遠隔操縦用画像処理方法。
9. 前記操縦対象に設置され、検知対象の位置を縦、横、及び深さの３次元で検知する３次元検知手段と、前記操縦対象に設置され、検知対象を撮像して２次元の画像情報を取得する撮像手段と、所定形状の画像を当てはめて前記表示手段の画面に表示させる座標として、前記３次元検知手段によって検知された前記検知対象毎の３次元座標を記憶する記憶手段と、を備え、操縦対象を遠隔操縦するための画像を表示手段に表示させる遠隔操縦用画像処理装置による遠隔操縦用画像処理方法であって、
   前記３次元検知手段によって検知された前記検知対象毎の前記３次元座標のうち、前記記憶手段に記憶されていない前記３次元座標を抽出して前記記憶手段に追加して記憶させる第１工程と、
   前記撮像手段で取得された前記画像情報に基づいて、移動した前記検知対象を抽出する第２工程と、
   前記第２工程によって抽出した前記検知対象に対応する前記３次元座標を前記記憶手段からの削除対象として抽出する第３工程と、
   を含む遠隔操縦用画像処理方法。
   

Images