JP2014065392A - 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム - Google Patents
携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム Download PDFInfo
- Publication number
- JP2014065392A JP2014065392A JP2012211565A JP2012211565A JP2014065392A JP 2014065392 A JP2014065392 A JP 2014065392A JP 2012211565 A JP2012211565 A JP 2012211565A JP 2012211565 A JP2012211565 A JP 2012211565A JP 2014065392 A JP2014065392 A JP 2014065392A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- control unit
- image
- user
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
- Telephone Function (AREA)
Abstract
【課題】車両を遠隔操作するための端末の操作性を向上させる。
【解決手段】携帯端末20は、車両を所定の第1位置から第2位置へ移動させるための端末である。携帯端末20は、携帯端末20の位置を基準位置としたときの、第1位置における車両の状態を認識する。また、携帯端末20は、認識された状態における車両の画像30iを含む俯瞰画像OHを表示する。俯瞰画像OHは、その上方向D1が、基準位置から見た第1位置の方向に対応するように表示される。このため、携帯端末20のユーザは、自らの視点を基準として俯瞰画像OHに基づいて、車両の状態を確認することができる。
【選択図】図6
【解決手段】携帯端末20は、車両を所定の第1位置から第2位置へ移動させるための端末である。携帯端末20は、携帯端末20の位置を基準位置としたときの、第1位置における車両の状態を認識する。また、携帯端末20は、認識された状態における車両の画像30iを含む俯瞰画像OHを表示する。俯瞰画像OHは、その上方向D1が、基準位置から見た第1位置の方向に対応するように表示される。このため、携帯端末20のユーザは、自らの視点を基準として俯瞰画像OHに基づいて、車両の状態を確認することができる。
【選択図】図6
Description
本発明は、携帯端末、遠隔操作システム、遠隔操作方法、及びプログラムに関する。
近年、車両の車庫入れや縦列駐車等をアシストする支援装置が登場するに至っている(例えば、特許文献1〜3を参照)。この種の支援装置として、例えば、車外のユーザによる車両の遠隔操作を支援するものが知られている。
特許文献1に記載の装置は、路面上の誘導線(電線)から発生する磁界に沿って車両を走行させることで、車庫入れを支援する。誘導線に流れる電流は、車庫の外に設けられたスイッチによって制御される。ユーザは、このスイッチを用いて、車両の走行の開始及び中止を車外から指示することができる。
特許文献2に記載の装置は、車両の前進又は後退を指示するためのスイッチが配設された通信端末を備えている。通信端末を携帯するユーザがスイッチを操作した場合に、車両は、この操作に応じて所定距離だけ前進又は後退する。
また、運転中のユーザを支援する装置も開発されている。例えば、特許文献3に記載の装置は、車載カメラで撮影された車両後方の映像をモニタ画面に表示する。そして、モニタ画面を介して駐車位置が指示されると、車体の軌跡の予測結果がモニタ画面に表示される。
上記の各特許文献に記載の装置は、ユーザが指示を入力するための端末を備えている。
特許文献1に記載の電源スイッチ、及び特許文献2に記載の通信端末は、指示の入力にのみ用いられる専用の端末であった。したがって、車両を遠隔操作するユーザは、指示を入力する前に車両を視認して、その状態を確認する必要があった。その結果、端末の操作性が低くなり、遠隔操作が繁雑となるおそれがあった。
特許文献3に記載の装置では、指示を入力するためのモニタ画面に、車載カメラで撮影された車両後方の映像が表示される。車内のユーザは、このモニタ画面を用いて駐車位置を容易に指示することができた。このため、モニタ画面の操作性は比較的高かった。しかしながら、モニタ画面は、車内に設置されているため、車両の遠隔操作に用いることが困難であった。
本発明は、上述の事情の下になされたもので、車両を遠隔操作するための端末の操作性を向上させることを目的とする。
上記目的を達成するため、本発明の第1の観点に係る携帯端末は、
車両を第1位置から第2位置へ移動させるための携帯端末であって、
携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段と、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段と、
を備える。
車両を第1位置から第2位置へ移動させるための携帯端末であって、
携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段と、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段と、
を備える。
上記目的を達成するため、本発明の第2の観点に係る遠隔操作システムは、
車外からの指示に従って移動する車両と、
前記車両に移動を指示する、本発明の第1の観点に係る携帯端末と、
を備える。
車外からの指示に従って移動する車両と、
前記車両に移動を指示する、本発明の第1の観点に係る携帯端末と、
を備える。
上記目的を達成するため、本発明の第3の観点に係る遠隔操作方法は、
車両を第1位置から第2位置へ移動させるための遠隔操作方法であって、
車両を遠隔操作するための携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識ステップと、
前記状態認識ステップにおいて認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示ステップと、
を含む。
車両を第1位置から第2位置へ移動させるための遠隔操作方法であって、
車両を遠隔操作するための携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識ステップと、
前記状態認識ステップにおいて認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示ステップと、
を含む。
上記目的を達成するため、本発明の第4の観点に係るプログラムは、
車両を第1位置から第2位置へ移動させるためのプログラムであって、
コンピュータを、
ユーザが所持する携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段、
として機能させる。
車両を第1位置から第2位置へ移動させるためのプログラムであって、
コンピュータを、
ユーザが所持する携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段、
として機能させる。
本発明によれば、携帯端末は、車両の状態を認識して、認識された状態における車両の画像を含む俯瞰画像を表示する。俯瞰画像は、その上方向が、携帯端末の位置から見た第1位置の方向に対応するように表示される。このため、携帯端末のユーザは、自らの視点を基準とした俯瞰画像に基づいて、車両の状態を確認することができる。これにより、車両を遠隔操作するための端末の操作性を向上させることができる。
(第1の実施形態)
以下、本発明の第1の実施形態を、図面を参照しつつ説明する。
以下、本発明の第1の実施形態を、図面を参照しつつ説明する。
図1には、本実施形態に係る遠隔操作システム10が示されている。遠隔操作システム10は、車外のユーザ50から携帯端末20を介して指示された位置へ、車両30を移動させるシステムである。遠隔操作システム10は、ユーザ50に所持される携帯端末20と、携帯端末20からの指示に従って移動する車両30とを有している。
携帯端末20は、例えばスマートフォンやタブレット端末に代表される通信端末である。ユーザ50は、携帯端末20を用いて、車両30を遠隔操作して、所望の位置に移動させることができる。携帯端末20は、端末制御部21、補助記憶部22、表示部23、カメラ24、及び通信部25を有している。
端末制御部21は、CPU(Central Processing Unit)及び主記憶部を有している。端末制御部21のCPUは、主記憶部を作業領域として用いて、補助記憶部22からプログラムを読み出して実行する。これにより、端末制御部21は、補助記憶部22、表示部23、カメラ24、及び通信部25を制御して、後述の処理を実行する。
補助記憶部22は、フラッシュメモリ等の不揮発性メモリを含んで構成される。補助記憶部22は、各種のプログラムやパラメータを記憶する。
表示部23は、表示装置及び入力装置を有するタッチスクリーンである。表示装置は、例えば、端末制御部21から出力された情報に基づいて画像を表示する液晶ディスプレイである。また、入力装置は、例えば静電容量方式のポインティングデバイスである。入力装置は、表示装置に触れたユーザ50の指の位置を検出する。また、入力装置は、タッチスクリーンに情報を入力するための機器(スタイラスペン等)が表示装置に触れた位置を検出してもよい。そして、表示部23は、検出された位置を端末制御部21へ通知する。
カメラ24は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備えるデジタルカメラである。カメラ24は、端末制御部21の指示に従って画像を撮影し、撮影した画像に関する情報を端末制御部21へ出力する。
通信部25は、端末制御部21と車両30との通信を中継する。通信部25は、無線通信を行う通信インタフェースを含んで構成されている。この通信インタフェースは、例えば無線LAN(Local Area Network)の電波を用いて、車両30とパケット通信を行う。
車両30は、通信部31、車載カメラ32a〜32d、車両制御部33、制駆動ユニット34、及びステアリングユニット35を有している。
通信部31は、携帯端末20の通信部25と同等の構成を有している。通信部31は、通信部25と無線通信を行うことで、車両制御部33と、携帯端末20の端末制御部21との通信を中継する。
車載カメラ32a〜32dは、例えば、CMOSイメージセンサを備える広角カメラである。図2には、車載カメラ32a〜32dそれぞれの搭載される位置が示されている。図2に示されるように、車載カメラ32aは、車両30の前方端部(フロントバンパー下部)に搭載される。車載カメラ32b、32cは、左右のサイドミラーの下部に搭載される。また、車載カメラ32dは、後方端部(バックドア上部)に搭載される。
車載カメラ32a〜32dは、所定のフレームレートで画像を撮影し、撮影した画像に関する情報を車両制御部33へ順次出力する。車載カメラ32a〜32dの撮影範囲は互いに重複しているため、車両制御部33は、車両30の全方位が撮影された画像を取得することとなる。
また、車載カメラ32a〜32dから出力された情報は、車両制御部33によって、車両30の周囲における障害物の検出に用いられる。障害物の検出は、ステレオカメラと同様の原理による被写体までの距離の演算、画像の時間微分、又はパターン認識の手法等を用いて行われる。したがって、車載カメラ32a〜32dは、障害物を検出するためのセンサとして用いられる。
車両制御部33は、CPU、主記憶部、及び補助記憶部を有している。車両制御部33のCPUは、補助記憶部に記憶されたプログラムを読み出して実行する。これにより、車両制御部33は、携帯端末20からの指示及び車載カメラ32a〜32dから出力された情報に基づいて、制駆動ユニット34及びステアリングユニット35を統括的に制御して、車両30を移動させる。
制駆動ユニット34は、車両30の車輪を回転させるためのインバータモータと、車輪の回転を抑え、車両30を停止可能な電動ブレーキキャリパとを有している。なお、制駆動ユニット34は、電動ブレーキキャリパに限定されず、他のブレーキキャリパを有してもよい。制駆動ユニット34は、車両制御部33から通知された回転数でインバータモータを回転させる。これにより、車両30の車輪が回転し、車両30が前進又は後退する(駆動)。また、制駆動ユニット34は、車両30の速度が車両制御部33から通知された減速度となるように、電動ブレーキキャリパを動作させる。これにより、車両30の車輪の回転が抑制され、車両30は停止する(制動)。
ステアリングユニット35は、車両30のステアリングホイールを回転させるためのステッピングモータ、及びステアリングホイールの舵角を検出するエンコーダを有している。ステアリングユニット35は、車両制御部33から通知された回転角と、エンコーダにより検出される舵角とが等しくなるまで、ステッピングモータを制駆動してステアリングホイールを回転させる。
続いて、遠隔操作システム10の動作について、図2に示される現在位置P1から目標位置P2へ車両30を移動させる例を中心に説明する。
図3には、携帯端末20の端末制御部21によって実行される処理のフローチャートが示されている。このフローチャートに示される一連の処理は、例えば、遠隔操作のためのプログラムをユーザ50が起動することで開始される。
まず、端末制御部21は、状態認識処理を実行する(ステップS1)。この状態認識処理では、携帯端末20の位置を基準としたときの、現在位置P1における車両30の状態が認識される。本実施形態に係る車両30の状態は、携帯端末20の位置から見える車両30の向いている方向と、車両30の周囲における障害物の有無である。なお、ユーザ50が携帯端末20を所持しているため、携帯端末20の位置は、ユーザ50の位置と実質的に同一となる。
図4に示されるように、状態認識処理において、端末制御部21は、まず、車両30を撮影する手順を表示部23に表示させる(ステップS11)。具体的には、遠隔操作の対象となる車両30をカメラ24で撮影するように、文字やイラストを用いてユーザ50に指示する。これにより、ユーザ50は、例えば図5に示されるように、車両30の一部を撮影する。
次に、端末制御部21は、カメラ24により車両30が撮影されたか否かを判定する(ステップS12)。具体的には、端末制御部21は、パターン認識の手法を用いて、車両30の全体あるいはナンバープレート等を含む一部のエッジパターンや色パターンを、撮影された画像から抽出して、車両30の認識を試みる。その結果、車両30を認識することができない場合に、端末制御部21は、車両30が撮影されていないと判定する(ステップS12;No)。この場合に、端末制御部21は、ステップS11の処理を再度実行する。
一方、車両30が撮影されたと判定された場合(ステップS12;Yes)、端末制御部21は、起動信号を送信して、車両30の周囲の障害物に関する情報を、車両30から取得する(ステップS13)。具体的には、端末制御部21は、車両制御部33を起動するための起動信号を、車両制御部33に送信する。この信号を受信した車両制御部33は、車両30を移動させるためのプログラムを起動する。その後、車両制御部33は、車載カメラ32a〜32dを用いて障害物を検出し、検出結果を端末制御部21へ送信してスタンバイ状態となる。そして、端末制御部21は、この検出結果を受信する。
次に、端末制御部21は、車両30の状態を認識する(ステップS14)。具体的には、端末制御部21は、ステップS12にて撮影されたと判定された車両30の向いている方向を、車両30の状態として認識する。また、端末制御部21は、ステップS13にて取得した情報とステップS12にて撮影された画像とに基づいて、例えば図2に示されるように、車両30が三方を壁41に囲まれている状態にあることを認識する。その後、端末制御部21は、状態認識処理を終了する。
図3に戻り、状態認識処理に続いて、端末制御部21は、俯瞰画像を生成して、表示部23に表示させる(ステップS2)。例えば、端末制御部21は、状態認識処理にて認識された状態に基づいて、図6に示される俯瞰画像OHを表示する。この俯瞰画像OHは、車両30を示す画像30iと、車両30の周囲の障害物を示す画像41iとを含んでいる。また、俯瞰画像OHは、その上方向D1(鉛直上方向)が図2中の方向D2に対応するように表示される。
本実施形態に係る上方向D1は、俯瞰画像OHが携帯端末20の表示画面に表示された状態において、その表示画面の縦方向(上下方向)であって、かつ、その表示画面の下から上に向かう方向を示している。また、方向D2は、携帯端末20の位置から見える車両30の方向である。
なお、状態認識処理では、車載カメラ32a〜32dにより撮影された画像に基づいて、障害物が認識された。このため、端末制御部21は、車両30の近傍の障害物を認識したが、図6中のハッチングが付された領域全体における障害物の有無は認識していない。しかしながら、本実施形態に係る端末制御部21は、認識した障害物に基づいて、車載カメラ32a〜32d及びカメラ24では把握することができない位置の障害物を補間して表示している。これにより、車両30が三方を壁41に囲まれた状態にあることを、ユーザ50は容易に把握することができる。
次に、端末制御部21は、移動指示処理を実行する(ステップS3)。この移動指示処理は、ユーザ50によって入力された移動の指示を、車両30に通知する処理である。
図7に示されるように、移動指示処理において、端末制御部21は、まず、車両30が移動する方向の候補を表示する(ステップS31)。具体的には、端末制御部21は、表示部23を制御して、図8に示されるように、車両30の画像30iの周りに移動の方向(又は移動先の位置)の候補C1〜C3を表示させる。
候補C1は、候補C1に示される位置まで右旋回しながら前進する車両30の移動に対応している。候補C2は、候補C2に示される位置まで直進する車両30の移動に対応している。候補C3は、候補C3に示される位置まで左旋回しながら前進する車両30の移動に対応している。
なお、本実施形態に係る候補C1〜C3は、車両30の移動する方向、及び移動先の位置の双方を実質的に示しているが、これには限定されない。例えば、候補C1〜C3は、車両30が移動するおおよその方向のみを示し、車両制御部33は、これらの方向に位置する停車可能なスペースを探索して、車両30を停車させてもよい。また、候補C1〜C3は、車両30の移動する方向を明示することなく、移動先の位置のみを示してもよい。
また、端末制御部21は、状態認識処理にて認識した障害物の状態に基づいて、車両30が移動可能な方向の候補のみを表示する。このため、図8に示される例では、車両30が後退する方向の候補は表示されない。
次に、端末制御部21は、表示された候補のいずれかがユーザの指等によって触れられたか否かを判定する(ステップS32)。候補のいずれも触れられていないと判定された場合(ステップS32;No)、端末制御部21は、ステップS32の判定を繰り返す。
一方、候補のいずれかが触れられたと判定された場合(ステップS32;Yes)、端末制御部21は、触れられた候補の方向への移動を車両30に指示する(ステップS33)。ここで、ユーザ50は、目標位置P2へ車両30を移動させるために、候補C1〜C3から候補C1を選択して、候補C1に指を触れる。これにより、端末制御部21は、候補C1に示される位置までの移動を車両30に対して指示する。
具体的には、端末制御部21は、現在位置P1、候補C1に示される位置及び移動経路に関する情報を車両制御部33へ出力する。移動経路に関する情報は、例えば、車輪の軌跡をすべて規定する情報ではなく、単に「右旋回」を示す情報であってもよい。その後、端末制御部21は、移動指示処理を終了する。
図3に戻り、移動指示処理に続いて、端末制御部21は、車載カメラ32a〜32dで撮影された画像を、車両制御部33から受信して、表示部23に表示させる(ステップS4)。これにより、例えば、図9に示されるように、車両30の移動にともなって俯瞰画像OH上の画像30iが移動する。また、実写画像Pic1、及び画像30iの周りに表示される実写画像Pic2が、俯瞰画像OHに重畳されてリアルタイムに表示される。
実写画像Pic1、Pic2は、車載カメラ32a〜32dの画像が端末制御部21により合成されることで生成される。実写画像Pic1は、車両30から見える全方位の画像である。実写画像Pic2は、太線で囲まれた範囲の俯瞰画像である。図9に示される例では、実写画像Pic1、Pic2の双方が、ユーザ50の画像50iを含んでいる。なお、実写画像Pic1、Pic2とともに、車両30の移動を停止させるための中止ボタンB1も表示される。
次に、端末制御部21は、車両30の移動が完了したか否かを判定する(ステップS5)。具体的には、端末制御部21は、移動の完了を車両30から通知されたか否かを判定する。移動が完了していないと判定された場合(ステップS5;No)、端末制御部21は、ステップS4以降の処理を繰り返す。一方、移動が完了したと判定された場合(ステップS5;Yes)、端末制御部21は、一連の処理を終了する。
続いて、車両30の車両制御部33によって実行される処理について、図10を用いて説明する。図10に示される一連の処理は、ステップS13(図4参照)にて送信された起動信号を、車両制御部33が受信することにより開始される。
まず、車両制御部33は、携帯端末20から移動を指示されたか否かを判定する(ステップS71)。具体的には、車両制御部33は、現在位置P1、移動先の位置、及び移動経路に関する情報を端末制御部21から取得したか否かを判定する。移動を指示されていないと判定された場合(ステップS71;No)、車両制御部33は、ステップS71の判定を繰り返す。
一方、移動を指示されたと判定された場合(ステップS71;Yes)、車両制御部33は、指示された移動先までの詳細な移動経路を演算する(ステップS72)。なお、詳細な移動経路を携帯端末20から指示された場合に、車両制御部33は、ステップS72の処理を省略してもよい。
次に、車両制御部33は、車両移動処理を実行する(ステップS73)。この車両移動処理では、車両制御部33が制駆動ユニット34及びステアリングユニット35を制御することにより、車両30が移動経路に沿って自動走行する。
なお、車両30の移動中に、車両制御部33は車載カメラ32a〜32dを用いて障害物を検出する。そして、車両制御部33は、必要に応じて、車両30を停止させたり障害物から回避させたりする。また、車載カメラ32a〜32dで撮影された画像は、携帯端末20へ送信される。
車両30が所定の位置に到達して、車両移動処理が終了すると、車両制御部33は、移動の完了を端末制御部21に通知する(ステップS74)。その後、車両制御部33は、一連の処理を終了する。
以上説明したように、本実施形態にかかる携帯端末20は、携帯端末20の位置を基準としたときの車両30の向きを認識して、俯瞰画像OHを表示する。この俯瞰画像OHは、認識された向きの車両30を示す画像30iを含んでいる。また、俯瞰画像OHは、その上方向が、携帯端末20の位置から見た車両30の方向に対応するように表示される。このため、ユーザ50は、自らの視点を基準とした俯瞰画像OHに基づいて、車両30の向きを確認し、車両30を遠隔操作することができる。これにより、携帯端末20の操作性が向上する。
なお、上述の方向に俯瞰画像OHを表示すると、ユーザ50が俯瞰画像OHに示される情報を容易に理解することができる。このことは、例えば、地図を読む際に、目的地の方向を向き、目的地が地図の上側に位置するように地図を回転させると読みやすくなるという、広く知られている経験から明らかである。
また、携帯端末20は、俯瞰画像が表示された表示部23を用いて、ユーザ50により入力された移動を車両30に指示した。これにより、ユーザ50は、俯瞰画像OHを用いて、直感的に車両30を遠隔操作することができる。
また、携帯端末20は、カメラ24によって撮影された車両30の画像に基づいて、車両30の向いている方向を認識した。これにより、ユーザ50は、カメラ24で車両30を撮影するだけで、車両30の向いている方向を携帯端末20に認識させることができる。ひいては、車両30の状態を容易に認識させることができる。
また、俯瞰画像OH上には、車両30の画像30iの周りに移動方向の候補C1〜C3が表示された。そして、候補C1〜C3から選択された方向へ、車両30が移動した。これにより、ユーザ50は、簡単な操作で車両30を遠隔操作することができる。また、移動方向の候補として、車両30が移動可能な方向の候補のみが表示された。これにより、ユーザ50は迷うことなく車両30を遠隔操作することができる。
また、車両30の移動中に、携帯端末20には、車載カメラ32a〜32dで撮影された実写画像Pic1、Pic2と、中止ボタンB1とが表示された。これにより、車両30の移動中に、ユーザ50は、車両30及びその周囲の状況を容易に把握することができる。また、必要に応じて車両30の移動を即座に中止することができる。
(第2の実施形態)
続いて、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
続いて、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態に係る遠隔操作システム10は、第1の実施形態に係るものと同様の構成を有している。以下、遠隔操作システム10の動作について、図2に示される現在位置P1から目標位置P3へ車両30を移動させる例を中心に説明する。
図11には、端末制御部21によって実行される一連の処理が示されている。図11に示されるように、端末制御部21は、まず、起動信号を送信する(ステップS200)。次に、端末制御部21は、状態認識処理を実行する(ステップS1)。本実施形態に係る状態認識処理において認識される状態は、車両30の向きと、車両30の周囲における障害物の有無と、ユーザ50と車両30との位置関係である。
図12に示されるように、状態認識処理において、端末制御部21は、まず、ユーザ50を認識するように車両30に指示する(ステップS211)。具体的には、端末制御部21は、所定の信号を車両制御部33へ送信する。この信号を受信した車両制御部33は、車載カメラ32a〜32dで周囲の画像を撮影する。そして、車両制御部33は、パターン認識の手法を用いて、撮影された画像に写るユーザ50の認識を試みる。この認識の結果は、端末制御部21へ通知される。
なお、ユーザ50が認識された場合に、端末制御部21には、ユーザ50の位置を基準としたときの車両30の向いている方向と、車両30とユーザ50との距離が通知される。通知される方向及び距離は、撮影された画像において認識されたユーザ50の位置及び大きさから、車両制御部33によって推定されたものである。
次に、端末制御部21は、車両30がユーザ50を認識したか否かを判定する(ステップS212)。ユーザ50を認識していないと判定された場合(ステップS212;No)、端末制御部21は、ステップS211以降の処理を繰り返す。
一方、ユーザ50を認識したと判定された場合(ステップS212;Yes)、端末制御部21は、ステップS13へ処理を移行する。なお、本実施形態に係るステップS13では、起動信号が送信されない。次に、端末制御部21は、車両30とユーザ50との位置関係(距離)を含む車両の状態を認識する(ステップS14)。
図11に戻り、状態認識処理に続いて、端末制御部21は、俯瞰画像OHを生成して表示する(ステップS2)。本実施形態に係る俯瞰画像OHは、図13に示されるように、ユーザ50を示す画像50iを含んでいる。次に、端末制御部21は、移動指示処理を実行する(ステップS3)。
図14に示されるように、本実施形態に係る移動指示処理において、端末制御部21は、まず、設定ボタンを表示する(ステップS231)。例えば、端末制御部21は、図15に示されるように、車両30の移動先を設定するための設定ボタンB2を、俯瞰画像OH上に表示する。
次に、端末制御部21は、俯瞰画像OHに触れる点が移動したか否かを判定する(ステップS232)。具体的には、端末制御部21は、俯瞰画像OH上の画像30iに最初に触れた1点が、俯瞰画像OHに触れたまま移動したかを判定する。
点が移動していないと判定された場合(ステップS232;No)、端末制御部21は、ステップS232の判定を繰り返す。一方、点が移動したと判定された場合(ステップS232;Yes)、端末制御部21は、移動先の車両30の画像を表示する(ステップS233)。
ここで、図15に示されるように、ユーザ50は、車両30を発進させるために、画像30iに触れた指を、俯瞰画像OHに触れたまま矢印Ar1に沿って移動させる。したがって、ステップS232の判定は肯定され、端末制御部21は、車両30の画像30iと平行な車両30の画像30aを表示する。
ただし、ユーザ50は、図2に示される目標位置P3に車両30を停車させることを意図しているため、図15に示される状態からさらに指を移動させる。具体的には、ユーザ50は、図16に示されるように、屈曲する矢印Ar2に沿って指を移動させる。この指の軌跡は、ユーザ50によって意図された車両30の移動経路である。そして、俯瞰画像OH上には、車両30の画像30bが表示される。
次に、端末制御部21は、俯瞰画像OHに触れる2点が移動したか否かを判定する(ステップS234)。2点が移動していないと判定された場合(ステップS234;No)、端末制御部21は、ステップS236へ処理を移行する。一方、2点が移動したと判定された場合(ステップS234;Yes)、端末制御部21は、2点の移動に応じて、車両30の画像30bを回転させる(ステップS235)。
具体的には、図17に示されるように、端末制御部21は、2点の移動から点Pt1を中心とする回転成分を演算する。点Pt1は、図16中の矢印Ar2の終点であって、指が俯瞰画像OHから離れた点である。また、演算される回転成分は、矢印Ar3、Ar4によって示される方向の成分である。そして、端末制御部21は、回転成分に応じて画像30bを回転させる。これにより、ユーザ50は、例えば2本の指を用いて、車両30の移動先における向きを設定することができる。
次に、端末制御部21は、俯瞰画像OHに触れる点が設定ボタンB2上にあるか否かを判定する(ステップS236)。ステップS236の判定が否定された場合(ステップS236;No)、端末制御部21は、新たな移動経路と移動先が入力されたとして、ステップS232以降の処理を繰り返す。
一方、ステップS236の判定が肯定された場合(ステップS236;Yes)、端末制御部21は、設定された移動先への移動を車両30に指示する(ステップS237)。具体的には、端末制御部21は、現在位置P1と、車両30の移動先における位置及び向きと、指を移動することで指定された移動経路とを車両制御部33へ通知する。
次に、端末制御部21は、代替の移動経路及び移動先を車両制御部33から受信したか否かを判定する(ステップS238)。代替の移動経路・移動先は、ステップS237にて指示された移動が不可能である場合に、車両制御部33によって演算される経路と、移動先における車両30の位置及び向きである。例えば、ユーザ50により設定された移動経路上に障害物があるときには、代替の移動経路が演算される。
代替の移動経路・移動先を受信していないと判定された場合(ステップS238;No)、端末制御部21は、移動指示処理を終了する。一方、代替の移動経路・移動先を受信したと判定された場合(ステップS238;Yes)、端末制御部21は、代替の移動経路・移動先を表示部23に表示させる(ステップS239)。これにより、例えば、図18に示されるように、俯瞰画像OH上に代替の移動経路・移動先が表示される。なお、端末制御部21は、代替の移動経路・移動先とともに、移動を開始するための開始ボタンB3、及び中止ボタンB1を表示する。
次に、端末制御部21は、移動の開始が指示されたか否かを判定する(ステップS240)。具体的には、端末制御部21は、開始ボタンB3及び中止ボタンB1のいずれが触れられたかを判定する。
移動の開始が指示されたと判定された場合(ステップS240;Yes)、端末制御部21は、移動開始の命令を車両制御部33へ送信する(ステップS241)。これにより、車両30は、移動経路に沿って移動する。その後、端末制御部21は、移動指示処理を終了する。
一方、移動の開始が指示されないと判定された場合(ステップS240;No)、端末制御部21は、移動中止の命令を車両制御部33へ送信する(ステップS242)。その後、端末制御部21は、移動指示処理を終了する。
図11に戻り、端末制御部21は、移動指示処理に続いて、車両の移動が中止されたか否かを判定する(ステップS201)。車両の移動が中止されたと判定された場合(ステップS201;Yes)、端末制御部21は、一連の処理を終了する。一方、車両の移動が中止されていないと判定された場合(ステップS201;No)、端末制御部21は、ステップS4へ処理を移行する。
続いて、車両制御部33によって実行される一連の処理について、図19を用いて説明する。車両制御部33は、まず、ユーザ50の認識を端末制御部21から指示されたか否かを判定する(ステップS271)。ユーザ50の認識を指示されていないと判定された場合(ステップS271;No)、車両制御部33は、ステップS71へ処理を移行する。
一方、ユーザ50の認識を指示されたと判定された場合(ステップS271;Yes)、車両制御部33は、ユーザ50の認識を試みて、認識結果を端末制御部21へ通知する(ステップS272)。
次に、車両制御部33は、ステップS71の判定を実行する。ただし、ステップS71の判定が否定された場合(ステップS71;No)、車両制御部33は、ステップS271以降の処理を繰り返す。
一方、ステップS71の判定が肯定された場合(ステップS71;Yes)、車両制御部33は、車載カメラ32a〜32dから画像を取得して、障害物を検出する(ステップS273)。
次に、車両制御部33は、ステップS71にて指示された車両30の移動が可能である否かを判定する(ステップS274)。具体的には、車両制御部33は、設定された移動経路に沿って車両30が移動したときに、ステップS273にて検出された障害物と車体とが干渉するか否かを判定したり、設定された移動先に停車可能か否かを判定したりする。
移動可能であると判定された場合(ステップS274;Yes)、車両制御部33は、ステップS73へ処理を移行する。一方、移動不可であると判定された場合(ステップS274;No)、車両制御部33は、代替の移動経路・移動先を演算して、端末制御部21へ送信する(ステップS275)。
代替の移動経路・移動先は、実際の走行が可能となる限りにおいて、携帯端末20から指示されたものに近似する移動経路・移動先である。図18に示される例では、図17中の画像30bに示される向きでの停車が困難なため、移動先における車両30の向きが補正されている。
次に、車両制御部33は、移動開始の命令を受信したか否かを判定する(ステップS276)。移動開始の命令を受信したと判定された場合(ステップS276;Yes)、車両制御部33は、ステップS73、S74の処理を実行して、一連の処理を終了する。
一方、移動開始の命令を受信していないと判定された場合(ステップS276;No)、車両制御部33は、移動中止の命令を受信したか否かを判定する(ステップS277)。移動中止の命令を受信していないと判定された場合(ステップS277;No)、車両制御部33は、ステップS276以降の処理を繰り返す。一方、移動中止の命令を受信したと判定された場合(ステップS277;Yes)、車両制御部33は、一連の処理を終了する。
以上説明したように、本実施形態に係る携帯端末20は、車載カメラ32a〜32dで撮影された画像に基づいて、車両30の状態を認識する。この認識は、端末制御部21及び車両制御部33の一連の処理によって実行された。したがって、ユーザ50は、遠隔操作のためのプログラムを起動するだけで、車両30の状態を携帯端末20に容易に認識させることができる。
また、本実施形態に係る俯瞰画像OHには、ユーザ50の画像50iが表示される。これにより、ユーザ50は、自分と車両30との位置関係を容易に把握することができる。
また、ユーザ50は、俯瞰画像OHに触れた指を移動させるだけで、車両30の移動経路を指定することができた。このため、ユーザ50は、車両30の移動経路を容易に設定することができる。
また、ユーザ50は、表示部23に触れることにより、移動先における車両30の位置及び向きを任意に指定することができた。これにより、ユーザ50は、車両30の移動先を容易に設定することができる。
また、ユーザ50により設定された移動が不可能な場合には、端末制御部21が代替の移動経路・移動先を演算した。そして、この移動経路・移動先が携帯端末20に表示される。このため、ユーザ50は、自ら入力した移動が不可能な場合であっても、入力した移動に近似する移動を簡単に指示することができる。
(第3の実施形態)
続いて、本発明の第3の実施形態について説明する。なお、第2の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態に係る端末制御部21は、図11に示される一連の処理と同様の処理を実行する。
続いて、本発明の第3の実施形態について説明する。なお、第2の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態に係る端末制御部21は、図11に示される一連の処理と同様の処理を実行する。
図20には、本実施形態に係る状態認識処理のフローチャートが示されている。図19に示されるように、端末制御部21は、まず、車載カメラ32a〜32dで撮影された画像を車両制御部33から取得する(ステップS311)。この画像は、起動信号を受信した車両制御部33から自動的に出力されたものである。
次に、端末制御部21は、取得した画像に写るユーザ50を認識したか否かを判定する(ステップS312)。ユーザ50を認識しないと判定された場合(ステップS312;No)、端末制御部21は、起動信号を再度送信する(ステップS313)。その後、端末制御部21は、ステップS311以降の処理を繰り返す。
一方、ユーザ50を認識したと判定された場合(ステップS312;Yes)、端末制御部21は、ステップS13へ処理を移行する。
続いて、移動指示処理について説明する。本実施形態に係る移動指示処理は、図14に示された第2の実施形態に係る移動指示処理と同様の処理である。
ただし、図21に示されるように、ステップS243にて表示される車両30の画像30cは、矢印Ar2の接線方向に沿った向きに表示される。これにより、ユーザ50の指等の移動する方向と、俯瞰画像OHに示される車両30の進行方向とが対応することとなる。
したがって、ユーザ50の指の移動により、移動経路とともに、車両30の移動先における向きが設定される。このため、端末制御部21は、ステップS234、S235を省略して移動指示処理を実行してもよい。
以上説明したように、本実施形態に係る携帯端末20は、ユーザ50を認識する処理を実行する。第2の実施形態において、この認識は車両制御部33により実行されていた。したがって、端末制御部21の演算能力が車両制御部33よりも高い場合には、車両30の状態を高速に認識することができる。
また、ユーザ50は、俯瞰画像OHに触れた指を移動させるだけで、車両30の移動経路と、移動先における位置及び向きとを同時に指定することができた。このため、第2の実施形態におけるユーザ50の動作よりも少ない動作で、ユーザ50は車両30の移動を容易に指示することができる。
(第4の実施形態)
続いて、本発明の第4の実施形態について説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
続いて、本発明の第4の実施形態について説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態に係る遠隔操作システム10は、第1の実施形態に係るものと同様の構成を有している。
ただし、通信部25、31は、無線LANに代えて、UWB(Ultra Wide Band)の電波を介して、信号を互いに送受信する。このUWBの電波を用いることにより、携帯端末20及び車両30は、互いの位置を特定することができる。また、車両30は空間的に分散して配置された複数の通信部31を備える。携帯端末20は、複数の通信部31それぞれの位置を特定することにより、車両30の向きを特定することができる。
また、補助記憶部22は、あらかじめ登録された目標位置P4に関する情報を記憶している。目標位置P4は、図22に示されるように、例えば車両30を収容するための車庫(駐車場)である。
以下、現在位置P5から目標位置P4へ車両30を移動させる例を中心に、遠隔操作システム10の動作について説明する。本実施形態に係る端末制御部21は、図3に示される一連の処理と同様の処理を実行する。
図23には、本実施形態に係る状態認識処理のフローチャートが示されている。図23に示されるように、端末制御部21は、まず、電波を用いて、車両30とユーザ50との位置関係を特定する(ステップS411)。具体的には、端末制御部21は、通信部25と通信部31との間で伝播するUWBの電波を用いて、車両30の位置及び向きを特定する。その後、端末制御部21は、ステップS13へ処理を移行する。
続いて、端末制御部21によって実行される移動指示処理について、図24を用いて説明する。まず、端末制御部21は、駐車ボタンを表示する(ステップS431)。例えば、端末制御部21は、図25に示されるように、目標位置P4への移動を指示するための駐車ボタンB4を表示する。
次に、端末制御部21は、駐車ボタンB4が触れられたか否かを判定する(ステップS432)。駐車ボタンB4が触れられていないと判定された場合(ステップS432;No)、端末制御部21は、ステップS432の判定を繰り返す。
一方、駐車ボタンB4が触れられたと判定された場合(ステップS432;Yes)、端末制御部21は、目標位置P4への移動を車両30に指示する(ステップS433)。これにより、車両30は、車載カメラ32a〜32dで撮影された画像から目標位置P4を認識して、移動を開始する。車両30は、例えば、図25に示される矢印に沿って移動する。
以上説明したように、携帯端末20は、UWBの電波を用いて車両30の位置を特定する。このため、ユーザ50は、車両30を視認することができない位置から車両30の移動を指示することができる。
また、ユーザ50は、駐車ボタンB4に触れるだけで、あらかじめ登録された所定の位置への駐車を指示することができる。これにより、ユーザ50は、移動先における車両30の位置や向きを指定する必要がなく、容易に移動を指示することができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記第1の実施形態に係る移動指示処理では、ユーザの指等に触れられた候補が移動先として設定された。これに限定されず、候補に代えて、ユーザ50の指等が触れた俯瞰画像OH上の任意の点を移動先の位置としてもよい。
また、上記第2の実施形態に係る移動指示処理において、俯瞰画像OHに触れる2点の移動により車両30の画像30bが回転した。これに限定されず、3点以上の移動に基づいて画像30bを回転させてもよい。また、画像30bの周りに触れる1点のドラッグ操作によっても、画像30bを回転させることができる。
また、上記第2、第3の実施形態に係る移動指示処理において、ユーザ50の指等が俯瞰画像OHに触れたまま移動した経路は、車両30の現在位置から移動先までの移動経路に対応するものとした。しかしながら、ユーザ50の指等が断続的に触れた経路や複数の点を、車両30の移動経路に対応するものとしてもよい。
例えば、図26に示されるように、ユーザの指が矢印Ar5に沿って俯瞰画像OHに触れた後に、点Pt2、Pt3に順に触れ、さらに矢印Ar6に沿って触れた場合を想定する。この場合に、車両30が、まず矢印Ar5に示される向きに発車した後に、点Pt2、Pt3に対応する位置を通過し、さらに矢印Ar6に示される向きに停車するように、遠隔操作システム10を構成してもよい。
また、位置情報が記録されたNFC(Near Field Communication)タグ利用して、携帯端末20と車両30との位置を特定してもよい。具体的には、NFCタグを所定の位置に固定し、固定された位置を示す位置情報をNFCタグに記録する。また、車両30が所定の位置に駐車している場合に、その位置を示す情報をNFCタグに記録する。そして、ユーザ50が携帯端末20をNFCタグにかざすと、車両30と携帯端末20との位置関係が画面に表示されるように構成してもよい。
また、磁気センサ及びGPS(Global Positioning System)を用いて、携帯端末20及び車両30の位置及び向きを特定してもよい。
また、上記の各実施形態に係る俯瞰画像OHは、車両30等を天頂方向から見下ろしたときに見える画像であった。これに限定されず、俯瞰画像OHは、車両30等を斜めに見下ろしたときに見える画像であってもよい。例えば、携帯端末20の鉛直上方数メートルの位置から見下ろしたときに見える画像であってもよい。
上記実施形態に係る端末制御部21及び車両制御部33の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
上記実施形態において、補助記憶部22及び車両制御部33の補助記憶部に記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical Disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムは、全部又は一部をサーバ装置上で実行させ、プログラムにより実行される処理に関する情報を、通信ネットワークを介して送受信しながら、上述の処理を実行することとしてもよい。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の携帯端末、遠隔操作システム、遠隔操作方法、及びプログラムは、車両の走行を支援するシステムに適している。
10 遠隔操作システム
20 携帯端末
21 端末制御部
22 補助記憶部
23 表示部
24 カメラ
25 通信部
30 車両
30a、30b、30c、30i、41i、50i 画像
31 通信部
32a、32b、32c、32d 車載カメラ
33 車両制御部
34 制駆動ユニット
35 ステアリングユニット
41 壁
50 ユーザ
B1 中止ボタン
B2 設定ボタン
B3 開始ボタン
B4 駐車ボタン
C1、C2、C3 候補
D1 上方向
D2 方向
OH 俯瞰画像
P1、P5 現在位置
P2、P3、P4 目標位置
Pt1、Pt2、Pt3 点
Pic1、Pic2 実写画像
20 携帯端末
21 端末制御部
22 補助記憶部
23 表示部
24 カメラ
25 通信部
30 車両
30a、30b、30c、30i、41i、50i 画像
31 通信部
32a、32b、32c、32d 車載カメラ
33 車両制御部
34 制駆動ユニット
35 ステアリングユニット
41 壁
50 ユーザ
B1 中止ボタン
B2 設定ボタン
B3 開始ボタン
B4 駐車ボタン
C1、C2、C3 候補
D1 上方向
D2 方向
OH 俯瞰画像
P1、P5 現在位置
P2、P3、P4 目標位置
Pt1、Pt2、Pt3 点
Pic1、Pic2 実写画像
Claims (13)
- 車両を第1位置から第2位置へ移動させるための携帯端末であって、
携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段と、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段と、
を備える携帯端末。 - 前記表示手段を用いて、前記車両に前記第2位置への移動を指示する移動指示手段、
を備える請求項1に記載の携帯端末。 - 前記状態認識手段は、
前記車両の向いている方向を、前記車両の状態として認識する、
請求項1又は2に記載の携帯端末。 - カメラ、を備え、
前記状態認識手段は、前記カメラによって撮影された前記車両の画像に基づいて、前記車両の状態を認識する、
請求項1乃至3のいずれか1項に記載の携帯端末。 - 前記移動指示手段は、前記俯瞰画像に含まれる前記車両の画像の周りに、前記車両が移動する方向又は位置の候補を表示し、ユーザによって候補から選択された方向又は位置への移動を前記車両に指示する、
請求項2に記載の携帯端末。 - 前記車両は、周囲の障害物を検出する検出手段を有し、
前記移動指示手段は、前記検出手段の検出結果を前記車両から受信し、受信した検出結果に基づいて、前記車両が移動可能な方向又は位置の候補を表示する、
請求項5に記載の携帯端末。 - 前記表示手段は、タッチスクリーンであり、
前記移動指示手段は、ユーザによって触れられた少なくとも1点以上の前記俯瞰画像上の点に対応する位置を、前記第2位置を含む、前記車両の移動経路上の位置として、前記車両に指示する、
請求項2に記載の携帯端末。 - 前記移動指示手段は、ユーザによって前記表示手段が触れられることにより指定された、前記俯瞰画像に示される前記車両の向きを、前記車両の実際の向きとして指示する、
請求項7に記載の携帯端末。 - 前記移動指示手段は、ユーザの指又は前記表示手段に情報を入力するための機器が前記俯瞰画像に触れたまま移動した場合に、前記俯瞰画像上における指又は機器の移動経路の接線方向と、前記車両の進行方向とが対応するように、前記車両に移動を指示する、
請求項7に記載の携帯端末。 - 前記第2位置を記憶する記憶手段、
を備え、
前記表示手段は、タッチスクリーンであり、
前記移動指示手段は、前記表示手段に所定の画像を表示させ、表示された画像がユーザによって触れられた場合に、前記第2位置への移動を前記車両に指示する、
請求項2に記載の携帯端末。 - 車外からの指示に従って移動する車両と、
前記車両に移動を指示する請求項1乃至10のいずれか1項に記載の携帯端末と、
を備える遠隔操作システム。 - 車両を第1位置から第2位置へ移動させるための遠隔操作方法であって、
車両を遠隔操作するための携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識ステップと、
前記状態認識ステップにおいて認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示ステップと、
を含む遠隔操作方法。 - 車両を第1位置から第2位置へ移動させるためのプログラムであって、
コンピュータを、
ユーザが所持する携帯端末の位置を基準位置としたときの、前記第1位置における前記車両の状態を認識する状態認識手段、
前記状態認識手段によって認識された前記車両の状態における前記車両の画像を含む俯瞰画像を、該俯瞰画像の上方向が前記基準位置から見た前記第1位置の方向に対応するように表示する表示手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012211565A JP2014065392A (ja) | 2012-09-25 | 2012-09-25 | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012211565A JP2014065392A (ja) | 2012-09-25 | 2012-09-25 | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014065392A true JP2014065392A (ja) | 2014-04-17 |
Family
ID=50742229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012211565A Pending JP2014065392A (ja) | 2012-09-25 | 2012-09-25 | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014065392A (ja) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016007959A (ja) * | 2014-06-25 | 2016-01-18 | 富士通テン株式会社 | 車両用装置、車両制御システム、車両制御方法 |
| JP2016054382A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社デンソー | 車両駆動装置 |
| JP2016095559A (ja) * | 2014-11-12 | 2016-05-26 | パナソニックIpマネジメント株式会社 | 車両遠隔操作システム、自動運転処理装置及び遠隔操作装置 |
| JP2017129413A (ja) * | 2016-01-19 | 2017-07-27 | 株式会社ダイヘン | 経路教示装置 |
| JP2017524594A (ja) * | 2014-08-08 | 2017-08-31 | ダイムラー・アクチェンゲゼルシャフトDaimler AG | 自動車を目標位置に移動させる方法及び装置 |
| EP3284651A1 (de) * | 2016-08-15 | 2018-02-21 | Valeo Schalter und Sensoren GmbH | Verfahren zum ferngesteuerten manövrieren eines kraftfahrzeugs mit erfassung des kraftfahrzeugs, mobiles endgerät, kraftfahrzeug sowie system |
| WO2018047231A1 (ja) * | 2016-09-06 | 2018-03-15 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
| JP2018101226A (ja) * | 2016-12-19 | 2018-06-28 | クラリオン株式会社 | 端末、及び端末の制御方法 |
| JP2018131201A (ja) * | 2018-04-11 | 2018-08-23 | 株式会社デンソーテン | 車両用装置、車両制御システム、車両制御方法 |
| US10204516B2 (en) | 2014-07-23 | 2019-02-12 | Hatsumeiya Co, Ltd | Automobile and computing system |
| WO2019058611A1 (ja) * | 2017-09-20 | 2019-03-28 | 株式会社デンソー | 携帯端末及び遠隔操作方法 |
| WO2019065699A1 (ja) * | 2017-09-28 | 2019-04-04 | パイオニア株式会社 | 端末装置 |
| WO2019082388A1 (ja) * | 2017-10-27 | 2019-05-02 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
| JP2019079168A (ja) * | 2017-10-23 | 2019-05-23 | 株式会社デンソー | 自動運転システム、自動運転方法、及び自動運転プログラム |
| CN109849906A (zh) * | 2017-11-30 | 2019-06-07 | Lg电子株式会社 | 自主行驶车辆及其控制方法 |
| DE102018133014A1 (de) | 2018-02-19 | 2019-08-22 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung, fahrzeugfernsteuerungssystem und fahrzeugfernsteuerungsverfahren |
| DE102018133040A1 (de) | 2018-02-19 | 2019-08-22 | Denso Ten Limited | Fahrzeugfernbedienungsvorrichtung, fahrzeugfernbedienungssystem und fahrzeugfernbedienungsverfahren |
| US20190286123A1 (en) * | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Remote vehicle control device and remote vehicle control method |
| DE102018133011A1 (de) | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| JP2019156310A (ja) * | 2018-03-15 | 2019-09-19 | パナソニックIpマネジメント株式会社 | 駐車支援装置、駐車支援方法、及び駐車支援プログラム |
| DE102018133030A1 (de) | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| WO2020114785A1 (de) * | 2018-12-06 | 2020-06-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug |
| JP2020160911A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
| JP2021502918A (ja) * | 2017-11-14 | 2021-02-04 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 車両の駐車プロセスを制御するための方法 |
| US11067978B2 (en) | 2016-12-19 | 2021-07-20 | Clarion Co., Ltd. | Terminal and method for controlling terminal |
| CN114746325A (zh) * | 2019-12-05 | 2022-07-12 | 宝马汽车股份有限公司 | 使用移动终端设备利用车辆执行遥控泊车操纵的方法和系统 |
| WO2022153788A1 (ja) * | 2021-01-18 | 2022-07-21 | 古野電気株式会社 | Ar操船システム、及びar操船方法 |
| JP2022156099A (ja) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | 駐車支援方法、プログラム及び駐車支援システム |
| CN115362094A (zh) * | 2020-03-26 | 2022-11-18 | 丰田自动车工程及制造北美公司 | 经由智能电话和手势输入的车辆的远程控制 |
| JP2023164807A (ja) * | 2019-03-22 | 2023-11-14 | パイオニア株式会社 | 移動支援装置 |
-
2012
- 2012-09-25 JP JP2012211565A patent/JP2014065392A/ja active Pending
Cited By (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016007959A (ja) * | 2014-06-25 | 2016-01-18 | 富士通テン株式会社 | 車両用装置、車両制御システム、車両制御方法 |
| US10204516B2 (en) | 2014-07-23 | 2019-02-12 | Hatsumeiya Co, Ltd | Automobile and computing system |
| US10179585B2 (en) | 2014-08-08 | 2019-01-15 | Daimler Ag | Method and device for moving a vehicle into a target position |
| JP2017524594A (ja) * | 2014-08-08 | 2017-08-31 | ダイムラー・アクチェンゲゼルシャフトDaimler AG | 自動車を目標位置に移動させる方法及び装置 |
| JP2016054382A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社デンソー | 車両駆動装置 |
| JP2016095559A (ja) * | 2014-11-12 | 2016-05-26 | パナソニックIpマネジメント株式会社 | 車両遠隔操作システム、自動運転処理装置及び遠隔操作装置 |
| JP2017129413A (ja) * | 2016-01-19 | 2017-07-27 | 株式会社ダイヘン | 経路教示装置 |
| EP3284651A1 (de) * | 2016-08-15 | 2018-02-21 | Valeo Schalter und Sensoren GmbH | Verfahren zum ferngesteuerten manövrieren eines kraftfahrzeugs mit erfassung des kraftfahrzeugs, mobiles endgerät, kraftfahrzeug sowie system |
| US10676082B2 (en) | 2016-09-06 | 2020-06-09 | Nissan Motor Co., Ltd. | Parking assistance method and parking assistance device |
| JPWO2018047231A1 (ja) * | 2016-09-06 | 2019-06-27 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
| WO2018047231A1 (ja) * | 2016-09-06 | 2018-03-15 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
| KR102091988B1 (ko) | 2016-09-06 | 2020-03-23 | 닛산 지도우샤 가부시키가이샤 | 주차 지원 방법 및 주차 지원 장치 |
| CN109689457B (zh) * | 2016-09-06 | 2020-06-23 | 日产自动车株式会社 | 停车辅助方法及停车辅助装置 |
| KR20190045931A (ko) * | 2016-09-06 | 2019-05-03 | 닛산 지도우샤 가부시키가이샤 | 주차 지원 방법 및 주차 지원 장치 |
| CN109689457A (zh) * | 2016-09-06 | 2019-04-26 | 日产自动车株式会社 | 停车辅助方法及停车辅助装置 |
| JP2018101226A (ja) * | 2016-12-19 | 2018-06-28 | クラリオン株式会社 | 端末、及び端末の制御方法 |
| US11067978B2 (en) | 2016-12-19 | 2021-07-20 | Clarion Co., Ltd. | Terminal and method for controlling terminal |
| US11520328B2 (en) | 2017-09-20 | 2022-12-06 | Denso Corporation | Mobile terminal and remote operation method |
| JP2019057767A (ja) * | 2017-09-20 | 2019-04-11 | 株式会社デンソー | 携帯端末、遠隔操作方法 |
| WO2019058611A1 (ja) * | 2017-09-20 | 2019-03-28 | 株式会社デンソー | 携帯端末及び遠隔操作方法 |
| WO2019065699A1 (ja) * | 2017-09-28 | 2019-04-04 | パイオニア株式会社 | 端末装置 |
| JP7006124B2 (ja) | 2017-10-23 | 2022-01-24 | 株式会社デンソー | 自動運転システム、自動運転方法、及び自動運転プログラム |
| JP2019079168A (ja) * | 2017-10-23 | 2019-05-23 | 株式会社デンソー | 自動運転システム、自動運転方法、及び自動運転プログラム |
| WO2019082388A1 (ja) * | 2017-10-27 | 2019-05-02 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
| US11772634B2 (en) | 2017-10-27 | 2023-10-03 | Nissan Motor Co., Ltd. | Parking control method and parking control device |
| JPWO2019082388A1 (ja) * | 2017-10-27 | 2020-12-24 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
| RU2738780C1 (ru) * | 2017-10-27 | 2020-12-16 | Ниссан Мотор Ко., Лтд. | Способ управления парковкой и устройство управления парковкой |
| JP2021502918A (ja) * | 2017-11-14 | 2021-02-04 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 車両の駐車プロセスを制御するための方法 |
| CN109849906B (zh) * | 2017-11-30 | 2022-11-04 | Lg电子株式会社 | 自主行驶车辆及其控制方法 |
| EP3502819A3 (en) * | 2017-11-30 | 2019-09-18 | LG Electronics Inc. | Autonomous vehicle and method of controlling the same |
| US10884412B2 (en) | 2017-11-30 | 2021-01-05 | Lg Electronics Inc. | Autonomous vehicle and method of controlling the same |
| CN109849906A (zh) * | 2017-11-30 | 2019-06-07 | Lg电子株式会社 | 自主行驶车辆及其控制方法 |
| DE102018133014A1 (de) | 2018-02-19 | 2019-08-22 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung, fahrzeugfernsteuerungssystem und fahrzeugfernsteuerungsverfahren |
| US11181909B2 (en) | 2018-02-19 | 2021-11-23 | Denso Ten Limited | Remote vehicle control device, remote vehicle control system, and remote vehicle control method |
| DE102018133040A1 (de) | 2018-02-19 | 2019-08-22 | Denso Ten Limited | Fahrzeugfernbedienungsvorrichtung, fahrzeugfernbedienungssystem und fahrzeugfernbedienungsverfahren |
| JP2019145951A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社デンソーテン | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 |
| DE102018133014B4 (de) | 2018-02-19 | 2024-07-18 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung, fahrzeugfernsteuerungssystem und fahrzeugfernsteuerungsverfahren |
| JP7063652B2 (ja) | 2018-02-19 | 2022-05-09 | 株式会社デンソーテン | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 |
| JP7032950B2 (ja) | 2018-02-19 | 2022-03-09 | 株式会社デンソーテン | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 |
| JP2019144756A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社デンソーテン | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 |
| JP2019156310A (ja) * | 2018-03-15 | 2019-09-19 | パナソニックIpマネジメント株式会社 | 駐車支援装置、駐車支援方法、及び駐車支援プログラム |
| US11092960B2 (en) | 2018-03-15 | 2021-08-17 | Denso Ten Limited | Remote vehicle control device and remote vehicle control method |
| US20190286123A1 (en) * | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Remote vehicle control device and remote vehicle control method |
| JP6990849B2 (ja) | 2018-03-15 | 2022-01-12 | パナソニックIpマネジメント株式会社 | 駐車支援装置、駐車支援方法、及び駐車支援プログラム |
| DE102018133011A1 (de) | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| DE102018133013A1 (de) | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| DE102018133011B4 (de) | 2018-03-15 | 2024-09-05 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| DE102018133030A1 (de) | 2018-03-15 | 2019-09-19 | Denso Ten Limited | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren |
| JP2018131201A (ja) * | 2018-04-11 | 2018-08-23 | 株式会社デンソーテン | 車両用装置、車両制御システム、車両制御方法 |
| WO2020114785A1 (de) * | 2018-12-06 | 2020-06-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug |
| US12007765B2 (en) | 2018-12-06 | 2024-06-11 | Valeo Schalter Und Sensoren Gmbh | Method for assisting a user in the remote control of a motor vehicle, computer program product, remote-control device and driver assistance system for a motor vehicle |
| JP2024180413A (ja) * | 2019-03-22 | 2024-12-26 | パイオニア株式会社 | 移動支援装置 |
| JP2023164807A (ja) * | 2019-03-22 | 2023-11-14 | パイオニア株式会社 | 移動支援装置 |
| JP2020160911A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
| WO2020195456A1 (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
| US20230128580A1 (en) * | 2019-12-05 | 2023-04-27 | Bayerische Motoren Werke Aktiengesellschaft | Method for Carrying Out a Remote-Controlled Parking Maneuver with a Vehicle Using a Mobile Terminal, and System |
| CN114746325A (zh) * | 2019-12-05 | 2022-07-12 | 宝马汽车股份有限公司 | 使用移动终端设备利用车辆执行遥控泊车操纵的方法和系统 |
| US12379721B2 (en) | 2019-12-05 | 2025-08-05 | Bayerische Motoren Werke Aktiengesellschaft | Method for carrying out a remote-controlled parking maneuver with a vehicle using a mobile terminal, and system |
| JP2023520761A (ja) * | 2020-03-26 | 2023-05-19 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | スマートフォンとジェスチャ入力を介する車両のリモートコントロール |
| CN115362094A (zh) * | 2020-03-26 | 2022-11-18 | 丰田自动车工程及制造北美公司 | 经由智能电话和手势输入的车辆的远程控制 |
| WO2022153788A1 (ja) * | 2021-01-18 | 2022-07-21 | 古野電気株式会社 | Ar操船システム、及びar操船方法 |
| JP2022156099A (ja) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | 駐車支援方法、プログラム及び駐車支援システム |
| JP7576502B2 (ja) | 2021-03-31 | 2024-10-31 | 本田技研工業株式会社 | 駐車支援方法、プログラム及び駐車支援システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014065392A (ja) | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム | |
| JP6227211B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP5494130B2 (ja) | 車両用充電支援装置、車両用充電支援方法、コンピュータプログラム | |
| RU2656933C2 (ru) | Способ и устройство для предупреждения о встречном транспортном средстве | |
| JP6674914B2 (ja) | ナビゲーションシステム、ナビゲーションプログラム、車載装置 | |
| JP6927330B2 (ja) | 駐車制御方法及び駐車制御装置 | |
| JP6930606B2 (ja) | 駐車制御方法及び駐車制御装置 | |
| JP2017007399A (ja) | 駐車支援装置及び方法 | |
| JPWO2006064544A1 (ja) | 自動車庫入れ装置 | |
| CN111344215B (zh) | 用于控制车辆的泊车过程的方法 | |
| JPWO2019003533A1 (ja) | 駐車支援装置 | |
| WO2019123586A1 (ja) | 駐車制御方法及び駐車制御装置 | |
| JP4910787B2 (ja) | 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム | |
| JP2011170844A (ja) | 無人移動体の制御方法 | |
| KR20220156687A (ko) | 차량의 자율 주차 방법 및 이를 수행하는 차량 시스템 | |
| US11822314B2 (en) | Conveyance control system, conveyance control program, and conveyance control method | |
| US20190354246A1 (en) | Airport robot and movement method therefor | |
| JP7372144B2 (ja) | 車載処理装置、及び車載処理システム | |
| JP5829154B2 (ja) | 拡張現実システム | |
| CN120476065A (zh) | 停车辅助方法及驾驶辅助装置 | |
| CN115042819A (zh) | 车辆控制方法、装置、介质、设备、芯片和车辆 | |
| JP5070350B2 (ja) | 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム | |
| CN113815605A (zh) | 车辆泊车的控制方法、装置、介质、电子设备 | |
| WO2021186529A1 (ja) | 駐車支援方法及び駐車支援システム | |
| JP6147898B2 (ja) | 運転操作支援装置及び運転操作支援方法 |