[go: up one dir, main page]

JP2014071080A - Traveling direction detection device for vehicle and computer program - Google Patents

Traveling direction detection device for vehicle and computer program Download PDF

Info

Publication number
JP2014071080A
JP2014071080A JP2012219754A JP2012219754A JP2014071080A JP 2014071080 A JP2014071080 A JP 2014071080A JP 2012219754 A JP2012219754 A JP 2012219754A JP 2012219754 A JP2012219754 A JP 2012219754A JP 2014071080 A JP2014071080 A JP 2014071080A
Authority
JP
Japan
Prior art keywords
vehicle
reference point
detection
camera
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012219754A
Other languages
Japanese (ja)
Inventor
Nobuyuki Yokota
昇幸 横田
Muneaki Matsumoto
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012219754A priority Critical patent/JP2014071080A/en
Priority to PCT/JP2013/003044 priority patent/WO2014054198A1/en
Publication of JP2014071080A publication Critical patent/JP2014071080A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide the traveling direction detection device of a vehicle capable of detecting the traveling direction of the vehicle on the basis of a photographic image photographed by an in-vehicle camera.SOLUTION: The traveling direction detection device of a vehicle includes: a camera 10 installed on at least one of the front face and rear face of a vehicle for photographing the front face from a position on which the camera is installed; line setting means for setting a detection line Ln in right and left directions in a photographic image photographed by the camera 10; reference point setting means for setting a point having specific luminance on the detection line Ln set by the line setting means as a right reference point Rs in a right region from the center of the photographic image, and for setting a point having specific luminance on the detection line Ln set by the line setting means as a left reference point Ls in a left region from the center of the photographic image; and detection means for detecting the traveling direction of the vehicle on the basis of a change in the positions of the right reference point Rs and the left reference point Ls set by the reference point setting means on the detection line Ln.

Description

本発明は、カメラを搭載した車両の移動方向を検出する車両の移動方向検出装置、及び車両の移動方向検出装置にインストールされるコンピュータプログラムに関する。   The present invention relates to a vehicle movement direction detection device that detects the movement direction of a vehicle equipped with a camera, and a computer program installed in the vehicle movement direction detection device.

精度の低い車速センサ等の情報を補うために、GPS情報を用いて、車両が移動しているか否か及び車両の移動方向を高精度に検出する方法がある。しかし、トンネルや屋内立体駐車場などのGPS信号を受信しにくい場所では、GPS情報を用いて車両の挙動を検出することは困難である。そこで、車載カメラにより撮影された撮影画像の変化の有無に基づいて、車両が停止しているか否か判定する方法が提案されている(例えば、特許文献1)。   In order to compensate for information such as a low-accuracy vehicle speed sensor, there is a method of detecting whether the vehicle is moving and the moving direction of the vehicle with high accuracy using GPS information. However, it is difficult to detect the behavior of the vehicle using GPS information in places where it is difficult to receive GPS signals such as tunnels and indoor multilevel parking lots. Therefore, a method has been proposed for determining whether or not the vehicle is stopped based on the presence or absence of a change in the captured image captured by the in-vehicle camera (for example, Patent Document 1).

特許第4939316号公報Japanese Patent No. 4939316

しかしながら、特許文献1は、車両が停止しているか否かを判定するだけであり、車両が移動している場合に、車両の移動方向を判定することができない。   However, Patent Document 1 only determines whether or not the vehicle is stopped, and cannot determine the moving direction of the vehicle when the vehicle is moving.

本発明は、上記実情に鑑み、車載カメラにより撮影された撮影画像に基づき、車両の移動方向を検出することが可能な車両の移動方向検出装置を提供することを主たる目的とする。   In view of the above circumstances, it is a main object of the present invention to provide a vehicle movement direction detection device capable of detecting the movement direction of a vehicle based on a photographed image photographed by an in-vehicle camera.

請求項1に記載の発明は、車両の移動方向検出装置であって、車両の前面及び後面の少なくとも一方に設置され、設置された位置から正面を撮影するカメラと、前記カメラにより撮影された撮影画像において左右方向に検出ラインを設定するライン設定手段と、前記撮影画像の中央よりも左領域において、前記ライン設定手段により設定された検出ライン上における特定の輝度を有する点を左基準点として設定するとともに、前記撮影画像の中央よりも右領域において、前記ライン設定手段により設定された検出ライン上における特定の輝度を有する点を右基準点として設定する基準点設定手段と、前記基準点設定手段により設定された左基準点及び右基準点の前記検出ライン上における位置変化に基づいて、前記車両の移動方向を検出する検出手段と、を備える。   The invention according to claim 1 is an apparatus for detecting a moving direction of a vehicle, which is installed on at least one of the front and rear surfaces of the vehicle and shoots the front from the installed position, and the image captured by the camera. A line setting means for setting a detection line in the left-right direction in the image, and a point having a specific luminance on the detection line set by the line setting means in the left region from the center of the captured image is set as the left reference point And a reference point setting means for setting a point having a specific luminance on the detection line set by the line setting means as a right reference point in the right region from the center of the captured image, and the reference point setting means The moving direction of the vehicle is detected based on the position change on the detection line of the left reference point and the right reference point set by And it means out, the.

請求項1に記載の発明によれば、車両の前面及び後面の少なくとも一方に設置されたカメラによりカメラ正面(カメラの前方)が撮影され、撮影された撮影画像において左右方向に検出ラインが設定される。さらに、撮影画像の中央よりも左領域において、検出ライン上に特定の輝度を有する点が左基準点として設定され、撮影画像の中央よりも右領域において、検出ライン上に特定の輝度を有する点が右基準点として設定される。   According to the first aspect of the present invention, the front of the camera (the front of the camera) is photographed by the camera installed on at least one of the front and rear surfaces of the vehicle, and the detection line is set in the left-right direction in the photographed photographed image. The Further, a point having a specific luminance on the detection line in the left region from the center of the captured image is set as a left reference point, and a point having a specific luminance on the detection line in the right region from the center of the captured image Is set as the right reference point.

左基準点及び右基準点は、それぞれ車両の移動方向に応じて検出ライン上で位置変化する。したがって、検出ライン上における左基準点の位置変化と右基準点の位置変化との組み合わせから、車両の移動方向を高い精度で検出することができる。すなわち、車載カメラにより撮影された撮影画像に基づいて、車両の移動方向を検出することができる。なお、検出ライン上における特定の輝度を有する点を、検出ライン上に存在する静止物とすると、車両の移動方向の検出精度を向上させることができる。   The positions of the left reference point and the right reference point change on the detection line according to the moving direction of the vehicle. Therefore, the moving direction of the vehicle can be detected with high accuracy from the combination of the position change of the left reference point and the position change of the right reference point on the detection line. That is, the moving direction of the vehicle can be detected based on the captured image captured by the in-vehicle camera. In addition, if the point which has a specific brightness | luminance on a detection line is made into the stationary object which exists on a detection line, the detection accuracy of the moving direction of a vehicle can be improved.

第1実施形態に係る車両の移動方向検出装置の構成を示す模式図。The schematic diagram which shows the structure of the moving direction detection apparatus of the vehicle which concerns on 1st Embodiment. 車両が停止している場合の撮影画像を示す図。The figure which shows the picked-up image in case the vehicle has stopped. 車両が直進移動している場合の撮影画像を示す図。The figure which shows the picked-up image in case the vehicle is moving straight ahead. 第1実施形態に係る車両の移動方向の検出手順を示すフローチャート。The flowchart which shows the detection procedure of the moving direction of the vehicle which concerns on 1st Embodiment. 第2実施形態に係る車両の移動方向の検出手順を示すフローチャート。The flowchart which shows the detection procedure of the moving direction of the vehicle which concerns on 2nd Embodiment.

以下、車両の移動方向検出装置を具現化した各実施形態について、図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。   Hereinafter, each embodiment that embodies a moving direction detection device for a vehicle will be described with reference to the drawings. In the following embodiments, parts that are the same or equivalent to each other are denoted by the same reference numerals in the drawings, and the description of the same reference numerals is used.

(第1実施形態)
まず、図1を参照して、第1実施形態に係る車両の移動方向検出装置の構成を説明する。車両の移動方向検出装置50は、カメラ10と、処理装置20を備え、カメラ10による撮影画像をディスプレイ30に表示可能であるとともに、処理装置20により検出された車両の移動方向をスピーカ40から出力可能に構成されている。
(First embodiment)
First, with reference to FIG. 1, the structure of the moving direction detection apparatus of the vehicle which concerns on 1st Embodiment is demonstrated. The vehicle movement direction detection device 50 includes a camera 10 and a processing device 20, can display an image captured by the camera 10 on the display 30, and outputs a vehicle movement direction detected by the processing device 20 from the speaker 40. It is configured to be possible.

カメラ10は、レンズ面が曲面状に形成されている広角レンズを備え、車両の前面及び後面の少なくとも一方に設置され、設置された位置から正面を撮影する。カメラ10が車両の前面に設置されている場合は、車両の前方(カメラ10の前方)180°を撮影し、カメラ10が車両の後面に設置されている場合は、車両の後方(カメラ10の前方)180°を撮影する。カメラ10が車両の前面又は後面の左右方向の中央に設置されている場合は、カメラ10により撮影された撮影画像の左右方向の中央と、車両の左右方向の中央とは一致する。一方、カメラ10が車両の前面又は後面の左右方向の中央から左又は右にシフトした位置に設置されている場合は、カメラ10により撮影された撮影画像の左右方向の中央と、車両の左右方向の中央とは一致しない。このような場合でも、カメラ10により撮影された撮影画像の左右方向の中央を基準として、車両の移動方向の検出を行えばよい。   The camera 10 includes a wide-angle lens whose lens surface is formed in a curved shape, is installed on at least one of the front and rear surfaces of the vehicle, and images the front from the installed position. When the camera 10 is installed on the front surface of the vehicle, the front of the vehicle (front of the camera 10) 180 ° is photographed. When the camera 10 is installed on the rear surface of the vehicle, the rear of the vehicle (of the camera 10 Front) Take 180 degrees. When the camera 10 is installed at the center in the left-right direction on the front or rear surface of the vehicle, the center in the left-right direction of the captured image taken by the camera 10 matches the center in the left-right direction of the vehicle. On the other hand, when the camera 10 is installed at a position shifted to the left or right from the center in the left-right direction on the front or rear surface of the vehicle, the center in the left-right direction of the image captured by the camera 10 and the left-right direction of the vehicle Does not match the center of. Even in such a case, the moving direction of the vehicle may be detected based on the center in the left-right direction of the captured image captured by the camera 10.

処理装置20は、CPUと、ROM及びRAMからなる記憶装置と、入出力装置とを含んで構成される一般的なマイクロコンピュータである。ROMには、ライン設定手段21、基準点設定手段22、検出手段23の機能を実現させるコンピュータプログラムが格納されている。CPUが、ROMに記憶されている上記コンピュータプログラムを実行することにより、ライン設定手段21、基準点設定手段22、検出手段23の各機能が実現される。   The processing device 20 is a general microcomputer including a CPU, a storage device including a ROM and a RAM, and an input / output device. The ROM stores a computer program for realizing the functions of the line setting unit 21, the reference point setting unit 22, and the detection unit 23. When the CPU executes the computer program stored in the ROM, the functions of the line setting unit 21, the reference point setting unit 22, and the detection unit 23 are realized.

ライン設定手段21は、カメラ10により撮影された撮影画像において、左右方向に検出ラインLn(図2,3参照)を設定する。まず、撮影画像上に、2つの点Pl,Prを設定し、2つの点Pl,Prを結んだ線を検出ラインLnとして設定する。2つの点Pl,Prは、検出ラインLnを設定したい領域に応じて任意の位置、例えば、撮影画像の左領域の無限遠点及び右領域の無限遠点に設定する。左右の無限遠点は、カメラ10が設定されている高さ、角度、カメラ10のレンズ画角及びレンズ歪み係数から計算すればよい。また、カメラ10のレンズ画角が180°より小さい場合は、撮影画像の領域外に仮想的な左右の無限遠点を設定すればよい。そして、2つの点PlとPrとをレンズ歪み係数に基づいて結んだ線を、検出ラインLnとして設定する。すなわち、検出ラインLnは実空間において直線となる。この検出ラインLnは、必ずしも1ラインとする必要はなく、所定幅の領域としてもよい。   The line setting means 21 sets a detection line Ln (see FIGS. 2 and 3) in the left-right direction in the captured image captured by the camera 10. First, two points Pl and Pr are set on the photographed image, and a line connecting the two points Pl and Pr is set as a detection line Ln. The two points Pl and Pr are set at arbitrary positions according to the region where the detection line Ln is to be set, for example, the infinity point in the left region and the infinity point in the right region of the captured image. The left and right infinity points may be calculated from the height and angle at which the camera 10 is set, the lens angle of view of the camera 10 and the lens distortion coefficient. When the lens angle of view of the camera 10 is smaller than 180 °, virtual left and right infinity points may be set outside the captured image area. A line connecting the two points Pl and Pr based on the lens distortion coefficient is set as a detection line Ln. That is, the detection line Ln is a straight line in real space. The detection line Ln is not necessarily one line, and may be a region having a predetermined width.

ここで、検出ラインLn上に移動体が存在すると、車両の移動方向を誤検出する恐れがある。それゆえ、検出ラインLnを、歩行者等の移動体の影響を受けやすい路面や、雲の影響を受けやすい空に設定することは避ける。具体的には、実空間においてカメラ10の前方3〜5mの位置になるように、撮影画像において検出ラインLnを設定する。車両の移動方向検出装置50は、駐車場に停車した状態から低速で移動する際に使用されることが多い。上記のように検出ラインLnを設定すると、一般的な駐車場に駐車している場合に、カメラ10の前方に駐車している車両上に検出ラインLnが設定され、後述するように駐車車両が左基準点Ls及び右基準点Rsとして設定される。なお、実空間におけるカメラ10と検出ラインLnとの距離は、カメラ10のレンズ画角及びレンズ歪み係数を用いて撮影画像上の距離に換算される。   Here, if a moving body exists on the detection line Ln, there is a possibility that the moving direction of the vehicle is erroneously detected. Therefore, setting the detection line Ln to a road surface that is easily affected by a moving body such as a pedestrian or a sky that is easily affected by a cloud is avoided. Specifically, the detection line Ln is set in the captured image so that the position is 3 to 5 m ahead of the camera 10 in the real space. The vehicle movement direction detection device 50 is often used when moving at a low speed from a state where the vehicle is parked. When the detection line Ln is set as described above, the detection line Ln is set on a vehicle parked in front of the camera 10 when parked in a general parking lot. The left reference point Ls and the right reference point Rs are set. Note that the distance between the camera 10 and the detection line Ln in the real space is converted into a distance on the captured image using the lens angle of view and the lens distortion coefficient of the camera 10.

基準点設定手段22は、撮影画像の中央よりも左領域において、検出ラインLn上に特定の輝度を有する点を左基準点Lsとして設定するとともに、撮影画像の中央よりも右領域において、検出ラインLn上に特定の輝度を有する点を右基準点Rsとして設定する(図2,3参照)。ここで、特定の輝度を有する点は、検出ラインLn上でエッジが存在する点のうち、所定時間を経過しても輝度が変化をしない点とする。検出ラインLn上でエッジが存在する点には、実空間上で立体物が存在する。特に、検出ラインLn上で所定時間経過しても輝度が変化しないエッジが存在する点には、実空間上で静止物が存在する。検出ラインLn上における特定の輝度を有する点を、検出ラインLn上に存在する静止物に設定すると、左基準点Ls及び右基準点Rsが静止点となるので、車両の移動方向の検出精度を向上させることができる。   The reference point setting means 22 sets a point having a specific luminance on the detection line Ln as the left reference point Ls in the left region from the center of the captured image, and also detects the detection line in the right region from the center of the captured image. A point having a specific luminance on Ln is set as the right reference point Rs (see FIGS. 2 and 3). Here, the point having the specific luminance is a point where the luminance does not change even after a predetermined time has elapsed, among the points where the edge exists on the detection line Ln. A solid object exists in real space at a point where an edge exists on the detection line Ln. In particular, a stationary object exists in real space at a point where an edge whose luminance does not change even after a predetermined time has elapsed on the detection line Ln. If a point having a specific luminance on the detection line Ln is set as a stationary object existing on the detection line Ln, the left reference point Ls and the right reference point Rs become stationary points, so that the detection accuracy of the moving direction of the vehicle is improved. Can be improved.

検出手段23は、検出ラインLn上における左基準点Ls及び右基準点Rsの位置変化に基づいて、車両移動方向を検出する。車両が停止している場合は、検出ラインLn上で左基準点Ls及び右基準点Rsは位置変化しない。車両が移動している場合は、左基準点Ls及び右基準点Rsは、それぞれ車両の移動方向に応じて検出ラインLn上で位置変化する。よって、検出ラインLn上における左基準点Lsの位置変化と右基準点Rsの位置変化との組み合わせから、車両の移動方向を検出することができる。   The detection means 23 detects the vehicle movement direction based on the position change of the left reference point Ls and the right reference point Rs on the detection line Ln. When the vehicle is stopped, the position of the left reference point Ls and the right reference point Rs does not change on the detection line Ln. When the vehicle is moving, the position of the left reference point Ls and the right reference point Rs changes on the detection line Ln according to the moving direction of the vehicle. Therefore, the moving direction of the vehicle can be detected from the combination of the position change of the left reference point Ls and the position change of the right reference point Rs on the detection line Ln.

図2〜3に、車両が停止した状態からカメラ10の前方に直進する場合において、左基準点Ls及び右基準点Rsの検出ラインLn上における位置変化を示す。図2〜3では、横軸をx軸、縦軸をy軸とし、画面左上角の点の座標を(x,y)=(0,0)、画面右下角の点の座標を(x,y)=(639,479)、画面の左右方向の中央をx=320とする。そして、撮影画像の中央よりも左領域において、検出ラインLn上に存在する駐車車両を左基準点Lsとして設定し、撮影画像の中央よりも右領域において、検出ラインLn上に存在する駐車車両を右基準点Rsとして設定する。   2 to 3 show changes in the positions of the left reference point Ls and the right reference point Rs on the detection line Ln when the vehicle goes straight ahead from the stopped state. 2 to 3, the horizontal axis is the x-axis, the vertical axis is the y-axis, the coordinates of the upper left corner point are (x, y) = (0, 0), and the lower right corner coordinates are (x, y). y) = (639, 479), and the center of the screen in the horizontal direction is x = 320. Then, the parked vehicle that exists on the detection line Ln in the left region from the center of the captured image is set as the left reference point Ls, and the parked vehicle that exists on the detection line Ln in the right region from the center of the captured image. Set as the right reference point Rs.

車両が停止した状態の図2では、左基準点Lsのx座標値は265、右基準点Rsのx座標値は415である。一方、図3では、左基準点Lsのx座標値は215、右基準点Rsのx座標値は480である。図3では、図2の状態と比較して、左基準点Lsのx座標値は小さくなり、右基準点Rsのx座標値は大きくなっている。すなわち、図3では、図2の状態と比較して、左基準点Ls及び右基準点Rsが検出ラインLnの中央から左右に離れている。   In FIG. 2 in a state where the vehicle is stopped, the x coordinate value of the left reference point Ls is 265, and the x coordinate value of the right reference point Rs is 415. On the other hand, in FIG. 3, the x coordinate value of the left reference point Ls is 215, and the x coordinate value of the right reference point Rs is 480. In FIG. 3, the x coordinate value of the left reference point Ls is smaller and the x coordinate value of the right reference point Rs is larger than in the state of FIG. That is, in FIG. 3, compared with the state of FIG. 2, the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln to the left and right.

撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央から左右に離れる場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した駐車車両に近づいている。よって、この場合は、車両はカメラ10の前方に直進していると検出する。この他の検出ラインLn上における左基準点Lsの位置変化と右基準点Rsの位置変化との組み合わせと、車両の移動方向との対応は後で述べる。   When the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln in the captured image, the camera 10 approaches the parked vehicle set as the left reference point Ls and the right reference point Rs in real space. . Therefore, in this case, it is detected that the vehicle is traveling straight ahead of the camera 10. The correspondence between the combination of the position change of the left reference point Ls and the position change of the right reference point Rs on the other detection line Ln and the moving direction of the vehicle will be described later.

ディスプレイ30は、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成されている。ディスプレイ30は、車室内において、運転者が視認可能な位置に設置され、処理装置20から出力される撮影画像を逐次表示する。カメラ10が車両の前面に設置されている場合は、ディスプレイ30は、車両の前方画像の正像を撮影画像として表示する。一方、カメラ10が車両の後面に設置されている場合は、ディスプレイ30は、運転者が視認し易いように、車両の後方画像の鏡像を撮影画像として表示する。   The display 30 is configured using a liquid crystal display, an organic EL display, a plasma display, or the like. The display 30 is installed at a position where the driver can visually recognize the vehicle interior, and sequentially displays captured images output from the processing device 20. When the camera 10 is installed in front of the vehicle, the display 30 displays a normal image of the front image of the vehicle as a captured image. On the other hand, when the camera 10 is installed on the rear surface of the vehicle, the display 30 displays a mirror image of the rear image of the vehicle as a photographed image so that the driver can easily see.

よって、カメラ10が車両の前面と後面のどちらに設置されていても、車両がカメラ10の前方に進みつつ、車両の前方を基準として同じ方向に旋回すれば、左基準点Ls及び右基準点Rsは検出ラインLn上で同じように位置変化する。   Therefore, regardless of whether the camera 10 is installed on the front or rear surface of the vehicle, if the vehicle turns forward in front of the camera 10 and turns in the same direction with respect to the front of the vehicle, the left reference point Ls and the right reference point Rs changes its position in the same manner on the detection line Ln.

スピーカ40は、処理装置20の出力に基づき、車両が移動していることを警告するアラーム音や、検出された移動方向を音声メッセージとして出力する。   Based on the output of the processing device 20, the speaker 40 outputs an alarm sound for warning that the vehicle is moving and the detected moving direction as a voice message.

処理装置20、ディスプレイ30、スピーカ40は、カーナビゲーション装置に組み込まれていてもよいし、車両に搭載された専用の装置であってもよい。   The processing device 20, the display 30, and the speaker 40 may be incorporated in the car navigation device or may be a dedicated device installed in the vehicle.

次に、図4を参照して、車両の移動方向検出装置50が実行する車両の移動方向の検出手順について説明する。ここでは、車両はカメラ10の前方に進むと想定している。   Next, with reference to FIG. 4, a vehicle movement direction detection procedure executed by the vehicle movement direction detection device 50 will be described. Here, it is assumed that the vehicle travels ahead of the camera 10.

まず、S11で、イグニッション(IG)がONになると(YES)、車両の移動方向検出装置50が起動され、S12で、カメラ10が撮影した撮影画像を処理装置20へ入力する。そして、S13で、ライン設定手段21が、入力した撮影画像上に検出ラインLnを設定し、基準点設定手段22が、検出ラインLn上に左基準点Ls及び右基準点Rsを設定する。なお、S11で、イグニッションがONでない場合は(NO)、ONになるまで待機する。   First, when the ignition (IG) is turned on in S11 (YES), the vehicle moving direction detection device 50 is activated, and in S12, the captured image captured by the camera 10 is input to the processing device 20. In S13, the line setting unit 21 sets the detection line Ln on the input captured image, and the reference point setting unit 22 sets the left reference point Ls and the right reference point Rs on the detection line Ln. If the ignition is not ON in S11 (NO), the process waits until it is turned ON.

次に、S14〜S21では、検出手段23が、左基準点Ls及び右基準点Rsの位置変化に基づき、車両の移動方向を検出する。具体的には、S14で、左基準点Lsのx座標値が小さくなり、且つ右基準点Rsのx座標値が大きくなっているかどうか判定する。すなわち、左基準点Ls及び右基準点Rsが検出ラインLnの中央から離れているかどうか判定する。撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央から離れている場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した物体に近づいている。よって、S14で、左基準点Lsのx座標値が小さくなり、且つ右基準点Rsのx座標値が大きくなっている場合は(YES)、S15で、車両は直進移動していると検出する。一方、S14で、肯定判定されない場合は(NO)、S16の判定に進む。   Next, in S14 to S21, the detection means 23 detects the moving direction of the vehicle based on the positional changes of the left reference point Ls and the right reference point Rs. Specifically, in S14, it is determined whether the x coordinate value of the left reference point Ls is small and the x coordinate value of the right reference point Rs is large. That is, it is determined whether the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln. When the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln in the captured image, the camera 10 approaches the object set as the left reference point Ls and the right reference point Rs in the real space. Therefore, if the x coordinate value of the left reference point Ls is small and the x coordinate value of the right reference point Rs is large in S14 (YES), it is detected in S15 that the vehicle is moving straight ahead. . On the other hand, if an affirmative determination is not made in S14 (NO), the process proceeds to a determination in S16.

S16では、左基準点Lsのx座標値及び右基準点Rsのx座標値が大きくなっているかどうか判定する。すなわち、左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れているかどうか判定する。撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れている場合は、実空間上でカメラ10が、左基準点Lsとして設定された物体に向かって旋回している。よって、S16で、左基準点Lsのx座標値及び右基準点Rsのx座標値が大きくなっている場合は(YES)、S17で、車両の前方を基準として、車両は左方向に旋回移動していると検出する。一方、S16で、肯定判定されない場合は(NO)、S18の判定に進む。   In S16, it is determined whether the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs are large. That is, it is determined whether the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs is away from the center of the detection line Ln. In the captured image, when the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs is away from the center of the detection line Ln, the camera 10 is set as the left reference point Ls in real space. It is turning toward the object. Therefore, if the x-coordinate value of the left reference point Ls and the x-coordinate value of the right reference point Rs are large in S16 (YES), the vehicle turns in the left direction with reference to the front of the vehicle in S17. Detect that you are. On the other hand, if an affirmative determination is not made in S16 (NO), the process proceeds to a determination in S18.

S18では、左基準点Lsのx座標値及び右基準点Rsのx座標値が小さくなっているかどうか判定する。すなわち、左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づいているかどうか判定する。撮影画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づく場合は、実空間においてカメラ10が、右基準点Rsとして設定された物体に向かって旋回している。よって、S18で、左基準点Lsのx座標値及び右基準点Rsのx座標値が小さくなっている場合は(YES)、S19で、車両の前方を基準として、車両は右方向に旋回移動していると検出する。一方、S18で、肯定判定されない場合は(NO)、S20の判定に進む。   In S18, it is determined whether the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs are small. That is, it is determined whether the left reference point Ls is away from the center of the detection line Ln and the right reference point Rs is approaching the center of the detection line Ln. When the left reference point Ls is separated from the center of the detection line Ln and the right reference point Rs is close to the center of the detection line Ln in the captured image, the camera 10 faces the object set as the right reference point Rs in real space. Is turning. Therefore, if the x-coordinate value of the left reference point Ls and the x-coordinate value of the right reference point Rs are small in S18 (YES), the vehicle turns in the right direction with reference to the front of the vehicle in S19. Detect that you are. On the other hand, if an affirmative determination is not made in S18 (NO), the process proceeds to a determination in S20.

S20では、左基準点Ls及び右基準点Rsのx座標値が変化していないかどうか判定する。すなわち、左基準点Ls及び右基準点Rsが検出ラインLn上で位置変化していないかどうか判定する。撮影画像において左基準点Ls及び右基準点Rsが変化しない場合は、実空間においてカメラ10が位置変化していない。よって、S20で、左基準点Ls及び右基準点Rsのx座標値が変化していない場合は(YES)、S21で、車両は停止していると検出する。   In S20, it is determined whether the x coordinate values of the left reference point Ls and the right reference point Rs have changed. That is, it is determined whether or not the position of the left reference point Ls and the right reference point Rs has changed on the detection line Ln. When the left reference point Ls and the right reference point Rs do not change in the captured image, the position of the camera 10 does not change in real space. Therefore, if the x coordinate values of the left reference point Ls and the right reference point Rs are not changed in S20 (YES), it is detected in S21 that the vehicle is stopped.

以上説明した第1実施形態によれば、以下の効果を奏する。   According to 1st Embodiment described above, there exist the following effects.

・左基準点Ls及び右基準点Rsは、それぞれ車両の移動方向に応じて検出ラインLn上で位置変化する。したがって、検出ラインLn上における左基準点Lsの位置変化と右基準点Rsの位置変化との組み合わせから、車両の移動方向を高い精度で検出することができる。すなわち、車両に搭載されたカメラ10により撮影された撮影画像に基づいて、車両の移動方向を検出することができる。   The positions of the left reference point Ls and the right reference point Rs change on the detection line Ln according to the moving direction of the vehicle. Therefore, the moving direction of the vehicle can be detected with high accuracy from the combination of the position change of the left reference point Ls and the position change of the right reference point Rs on the detection line Ln. In other words, the moving direction of the vehicle can be detected based on the captured image captured by the camera 10 mounted on the vehicle.

・撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央から左右に離れる場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した物体に近づいている。よって、車両はカメラ10の前方に直進していると検出することができる。   In the captured image, when the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln to the left and right, the camera 10 approaches the object set as the left reference point Ls and the right reference point Rs in real space. . Therefore, it can be detected that the vehicle is traveling straight ahead of the camera 10.

・車両がカメラ10の前方に進んでおり、撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れる場合は、実空間上でカメラ10が、左基準点Lsとして設定された物体に向かって旋回している。よって、車両の前方を基準として、車両は左方向に旋回していると検出することができる。   When the vehicle is moving ahead of the camera 10 and the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the photographed image, the camera 10 in real space Is turning toward the object set as the left reference point Ls. Therefore, it can be detected that the vehicle is turning leftward with respect to the front of the vehicle.

・車両がカメラ10の前方に進んでおり、撮影画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づく場合は、実空間においてカメラ10が、右基準点Rsとして設定された物体に向かって旋回している。よって、車両の前方を基準として、車両は右方向に旋回していると検出することができる。   When the vehicle is moving ahead of the camera 10 and the left reference point Ls is away from the center of the detection line Ln and the right reference point Rs is close to the center of the detection line Ln in the captured image, the camera 10 is in real space. , Turning toward the object set as the right reference point Rs. Therefore, it can be detected that the vehicle is turning rightward with respect to the front of the vehicle.

・撮影画像において左基準点Ls及び右基準点Rsが位置変化しない場合は、実空間においてカメラ10が位置変化していない。よって、車両は停止していると検出することができる。   When the left reference point Ls and the right reference point Rs do not change in the captured image, the position of the camera 10 does not change in real space. Therefore, it can be detected that the vehicle is stopped.

・ライン設定手段、基準点設定手段、及び検出手段の機能を実現させるコンピュータプログラムをナビゲーション装置にインストールすれば、ナビゲーション装置を車両の移動方向検出装置50として構成することができる。   If the computer program for realizing the functions of the line setting means, the reference point setting means, and the detection means is installed in the navigation device, the navigation device can be configured as the moving direction detection device 50 for the vehicle.

(第2実施形態)
第2実施形態に係る車両の移動方向検出装置について、第1実施形態に係る車両の移動方向検出装置の構成と異なる点について説明する。第2実施形態では、車両の移動方向検出装置50の検出手段23は、図示しないシフトポジションセンサ(変速位置取得手段)から車両の変速機の変速位置を取得する。
(Second Embodiment)
The difference between the vehicle movement direction detection device according to the second embodiment and the configuration of the vehicle movement direction detection device according to the first embodiment will be described. In the second embodiment, the detection means 23 of the vehicle movement direction detection device 50 acquires the shift position of the vehicle transmission from a shift position sensor (shift position acquisition means) (not shown).

車両がカメラ10の後方に進む場合、左基準点Ls及び右基準点Rsの検出ラインLn上における移動方向と、旋回方向との対応が、車両がカメラ10の前方に進む場合と反対になる。例えば、車両がカメラ10の前方に進む場合、撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れると、実空間において車両は、車両の前方を基準として左方向に旋回している。一方、車両がカメラ10の後方に進む場合、撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れると、実空間において車両は、車両の前方を基準として右方向に旋回している。よって、第2実施形態に係る車両の移動方向検出装置50は、車両の変速位置がカメラ10の前方か後方のどちらに進む位置にあるかという情報を取得し、より高精度に車両の移動方向を検出する。   When the vehicle travels behind the camera 10, the correspondence between the movement direction of the left reference point Ls and the right reference point Rs on the detection line Ln and the turning direction is opposite to the case where the vehicle travels ahead of the camera 10. For example, when the vehicle travels ahead of the camera 10, when the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the captured image, the vehicle is It turns to the left with reference to the front. On the other hand, when the vehicle travels behind the camera 10, when the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the captured image, the vehicle is It turns to the right with reference to the front. Therefore, the vehicle movement direction detection device 50 according to the second embodiment acquires information indicating whether the shift position of the vehicle is in a position that advances forward or backward of the camera 10, and more accurately moves the vehicle. Is detected.

次に、図5を参照して、車両の移動方向検出装置50が実行する車両の移動方向の検出手順について説明する。ここでは、車両はカメラ10の前方及び後方のいずれにも進むと想定している。   Next, with reference to FIG. 5, a vehicle movement direction detection procedure executed by the vehicle movement direction detection device 50 will be described. Here, it is assumed that the vehicle travels forward and backward of the camera 10.

まず、S31で、イグニッション(IG)がONになると(YES)、車両の移動方向検出装置50が起動され、S32で、カメラ10が撮影した撮影画像を処理装置20へ入力する。そして、S33で、ライン設定手段21が、入力した撮影画像上に検出ラインLnを設定し、基準点設定手段22が、検出ラインLn上に左基準点Ls及び右基準点Rsを設定する。なお、S31で、イグニッションがONでない場合は(NO)、ONになるまで待機する。   First, when the ignition (IG) is turned on in S31 (YES), the vehicle moving direction detection device 50 is activated, and in S32, the captured image captured by the camera 10 is input to the processing device 20. In step S33, the line setting unit 21 sets the detection line Ln on the input captured image, and the reference point setting unit 22 sets the left reference point Ls and the right reference point Rs on the detection line Ln. If the ignition is not ON in S31 (NO), the process waits until it is turned ON.

次に、S34〜S45では、検出手段23が、左基準点Ls及び右基準点Rsの位置変化及び変速位置に基づき、車両の移動方向を検出する。具体的には、S34で、左基準点Lsのx座標値が小さくなり、且つ右基準点Rsのx座標値が大きくなっているかどうか判定する。撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央から離れている場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した物体に近づいている。よって、S34で、左基準点Lsのx座標値が小さくなり、且つ右基準点Rsのx座標値が大きくなっている場合は(YES)、S35で、車両はカメラ10の前方に直進移動していると検出する。一方、S34で、肯定判定されない場合は(NO)、S36の判定に進む。   Next, in S34 to S45, the detection unit 23 detects the moving direction of the vehicle based on the position change and the shift position of the left reference point Ls and the right reference point Rs. Specifically, in S34, it is determined whether the x coordinate value of the left reference point Ls is small and the x coordinate value of the right reference point Rs is large. When the left reference point Ls and the right reference point Rs are separated from the center of the detection line Ln in the captured image, the camera 10 approaches the object set as the left reference point Ls and the right reference point Rs in the real space. Therefore, if the x-coordinate value of the left reference point Ls is small and the x-coordinate value of the right reference point Rs is large in S34 (YES), the vehicle moves straight ahead of the camera 10 in S35. Detects that On the other hand, if an affirmative determination is not made in S34 (NO), the process proceeds to a determination in S36.

S36では、左基準点Lsのx座標値が大きくなり、且つ右基準点Rsのx座標値が小さくなっているかどうか判定する。すなわち、左基準点Ls及び右基準点Rsが検出ラインLnの中央に近づいているかどうか判定する。撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央に近づく場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した物体から離れている。よって、S36で、左基準点Lsのx座標値が大きくなり、且つ右基準点Rsのx座標値が小さくなっている場合は(YES)、S37で、車両はカメラ10の後方に直進移動していると検出する。一方、S36で、肯定判定されない場合は(NO)、S38の判定に進む。   In S36, it is determined whether the x coordinate value of the left reference point Ls is large and the x coordinate value of the right reference point Rs is small. That is, it is determined whether the left reference point Ls and the right reference point Rs are close to the center of the detection line Ln. When the left reference point Ls and the right reference point Rs approach the center of the detection line Ln in the captured image, the camera 10 is separated from the object set as the left reference point Ls and the right reference point Rs in the real space. Therefore, if the x-coordinate value of the left reference point Ls is large and the x-coordinate value of the right reference point Rs is small in S36 (YES), the vehicle moves straight forward to the rear of the camera 10 in S37. Detects that On the other hand, if an affirmative determination is not made in S36 (NO), the process proceeds to a determination in S38.

S38では、左基準点Lsのx座標値及び右基準点Rsのx座標値が大きくなっているかどうか判定する。S38で、左基準点Lsのx座標値及び右基準点Rsのx座標値が大きくなっている場合は(YES)、S39で、変速位置取得手段24により取得された変速位置が、カメラ10の前方に進む位置かどうかを判定する。S39で、変速位置がカメラ10の前方に進む位置の場合は(YES)、S40で、車両の前方を基準として、車両は左方向に旋回移動していると検出する。一方、S39で、変速位置がカメラ10の前方に進む位置でない場合は(NO)、変速位置はカメラ10の後方に進む位置にある。車両の変速位置がカメラ10の後方に進む位置であり、且つ撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れる場合は、実空間においてカメラ10が、右基準点Rsとして設定された物体に向かって旋回している。よって、S41で、車両の前方を基準として、車両は右方向に旋回移動していると検出する。S38で、肯定判定されない場合は(NO)、S42の判定に進む。   In S38, it is determined whether the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs are large. If the x-coordinate value of the left reference point Ls and the x-coordinate value of the right reference point Rs are large in S38 (YES), the shift position acquired by the shift position acquisition means 24 in S39 is It is determined whether or not the position is forward. If it is determined in S39 that the shift position is a position that advances forward of the camera 10 (YES), it is detected in S40 that the vehicle is turning leftward with respect to the front of the vehicle. On the other hand, if the shift position is not a position that advances forward of the camera 10 in S39 (NO), the shift position is a position that advances backward of the camera 10. When the shift position of the vehicle is a position that advances backward of the camera 10 and the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the captured image, the real space The camera 10 is turning toward the object set as the right reference point Rs. Therefore, in S41, it is detected that the vehicle is turning rightward with reference to the front of the vehicle. If an affirmative determination is not made in S38 (NO), the process proceeds to S42.

S42では、左基準点Lsのx座標値及び右基準点Rsのx座標値が小さくなっているかどうか判定する。S42で、左基準点Lsのx座標値及び右基準点Rsのx座標値が小さくなっている場合は(YES)、S43で、変速位置取得手段24により取得された変速位置が、カメラ10の前方に進む位置かどうかを判定する。S43で、変速位置がカメラ10の前方に進む位置の場合は(YES)、S44で、車両の前方を基準として、車両は右方向に旋回移動していると検出する。一方、S44で、変速位置がカメラ10の前方に進む位置でない場合は(NO)、変速位置はカメラ10の後方に進む位置にある。車両の変速位置がカメラ10の後方に進む位置であり、且つ撮影画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づく場合は、実空間においてカメラ10が、左基準点Lsとして設定された物体に向かって旋回している。よって、S45で、車両の前方を基準として、車両は左方向に旋回移動していると検出する。   In S42, it is determined whether the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs are small. If the x-coordinate value of the left reference point Ls and the x-coordinate value of the right reference point Rs are small in S42 (YES), the shift position acquired by the shift position acquisition means 24 in S43 is It is determined whether or not the position is forward. If it is determined in S43 that the shift position is a position that advances forward of the camera 10 (YES), it is detected in S44 that the vehicle is turning in the right direction with reference to the front of the vehicle. On the other hand, if the shift position is not a position that advances forward of the camera 10 in S44 (NO), the shift position is a position that advances backward of the camera 10. When the shift position of the vehicle is a position that advances backward of the camera 10, the left reference point Ls is separated from the center of the detection line Ln, and the right reference point Rs approaches the center of the detection line Ln in the captured image, the real space The camera 10 is turning toward the object set as the left reference point Ls. Accordingly, in S45, it is detected that the vehicle is turning leftward with respect to the front of the vehicle.

そして、S42で、肯定判定されない場合は(NO)、S46で、車両は停止していると検出する。   If a positive determination is not made in S42 (NO), it is detected in S46 that the vehicle is stopped.

以上説明した第2実施形態によれば、以下の効果を奏する。   According to 2nd Embodiment described above, there exist the following effects.

・撮影画像において左基準点Ls及び右基準点Rsが検出ラインLnの中央に近づく場合は、実空間においてカメラ10が、左基準点Ls及び右基準点Rsとして設定した物体から離れている。よって、車両はカメラ10の後方に直進していると検出することができる。   When the left reference point Ls and the right reference point Rs approach the center of the detection line Ln in the captured image, the camera 10 is separated from the object set as the left reference point Ls and the right reference point Rs in real space. Therefore, it can be detected that the vehicle is traveling straight behind the camera 10.

・車両の変速位置がカメラ10の前方に進む位置であることを条件として、撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れる場合は、車両の前方を基準として、車両は左方向に旋回しているとより高精度に検出することができる。   When the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the photographed image on the condition that the shift position of the vehicle is a position that advances forward of the camera 10 Can be detected with higher accuracy when the vehicle is turning leftward with respect to the front of the vehicle.

・車両の変速位置がカメラ10の前方に進む位置であることを条件として、撮影画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づく場合は、車両の前方を基準として、車両は右方向に旋回しているとより高精度に検出することができる。   A case where the left reference point Ls is separated from the center of the detection line Ln and the right reference point Rs is close to the center of the detection line Ln in the photographed image on the condition that the shift position of the vehicle is a position that advances forward of the camera 10 Can be detected with higher accuracy when the vehicle is turning rightward with respect to the front of the vehicle.

・車両の変速位置がカメラ10の後方に進む位置であることを条件として、撮影画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れる場合は、車両の前方を基準として、車両は右方向に旋回していると検出することができる。   When the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the photographed image on condition that the speed change position of the vehicle is a position that advances backward of the camera 10 Can detect that the vehicle is turning rightward with respect to the front of the vehicle.

・車両の変速位置がカメラ10の後方に進む位置であることを条件として、撮影画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央に近づく場合は、車両の前方を基準として、車両は左方向に旋回していると検出することができる。   A case where the left reference point Ls is away from the center of the detection line Ln and the right reference point Rs is closer to the center of the detection line Ln in the photographed image on the condition that the shift position of the vehicle is a position that advances backward of the camera 10 Can detect that the vehicle is turning leftward with respect to the front of the vehicle.

(他の実施形態)
本発明は上記各実施形態の記載内容に限定されず、以下のように変更して実施してもよい。
(Other embodiments)
The present invention is not limited to the description of each embodiment described above, and may be modified as follows.

・S14及びS34の判定では、左基準点Lsのx座標値と右基準点Rsのx座標値との差が大きくなっているかどうか判定してもよい。   In the determinations of S14 and S34, it may be determined whether the difference between the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs is large.

・S16及びS38の判定では、左基準点Lsのx座標値と右基準点Rsのx座標値の差に変化が無く、且つ左基準点Ls及び右基準点Rsのいずれかのx座標値が大きくなっているかどうか判定してもよい。左基準点Lsのx座標値と右基準点Rsのx座標値の差に変化が無く、且つ左基準点Ls及び右基準点Rsのいずれかのx座標値が大きくなっている場合は、左基準点Lsのx座標値及び右基準点Rsのx座標値が大きくなっている。したがって、車両がカメラの前方に進む場合と想定すると、撮像画像において左基準点Lsが検出ラインLnの中央に近づき、且つ右基準点Rsが検出ラインLnの中央から離れると判断できる。   In the determinations of S16 and S38, there is no change in the difference between the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs, and the x coordinate value of either the left reference point Ls or the right reference point Rs is You may determine whether it is large. If there is no change in the difference between the x coordinate value of the left reference point Ls and the right coordinate point Rs, and the x coordinate value of either the left reference point Ls or the right reference point Rs is large, the left The x coordinate value of the reference point Ls and the x coordinate value of the right reference point Rs are large. Therefore, assuming that the vehicle travels in front of the camera, it can be determined that the left reference point Ls approaches the center of the detection line Ln and the right reference point Rs moves away from the center of the detection line Ln in the captured image.

・S18及びS42の判定では、左基準点Lsのx座標値と右基準点Rsのx座標値の差に変化が無く、且つ左基準点Ls及び右基準点Rsのいずれかのx座標値が小さくなっているかどうか判定してもよい。左基準点Lsのx座標値と右基準点Rsのx座標値の差に変化が無く、且つ左基準点Ls及び右基準点Rsのいずれかのx座標値が小さくなっている場合は、左基準点Lsのx座標値及び右基準点Rsのx座標値が小さくなっている。したがって、車両がカメラの前方に進む場合と想定すると、撮像画像において左基準点Lsが検出ラインLnの中央から離れ、且つ右基準点Rsが検出ラインLnの中央近づくと判断できる。   In the determination of S18 and S42, there is no change in the difference between the x coordinate value of the left reference point Ls and the right coordinate point Rs, and the x coordinate value of either the left reference point Ls or the right reference point Rs is You may determine whether it is small. If the difference between the x-coordinate value of the left reference point Ls and the x-coordinate value of the right reference point Rs does not change and the x-coordinate value of either the left reference point Ls or the right reference point Rs is small, the left The x coordinate value of the reference point Ls and the x coordinate value of the right reference point Rs are small. Therefore, assuming that the vehicle travels in front of the camera, it can be determined that the left reference point Ls is away from the center of the detection line Ln and the right reference point Rs is closer to the center of the detection line Ln in the captured image.

・S36の判定では、左基準点Lsのx座標値と右基準点Rsのx座標値との差が小さくなっているかどうか判定してもよい。   In the determination of S36, it may be determined whether the difference between the x coordinate value of the left reference point Ls and the x coordinate value of the right reference point Rs is small.

・検出ラインLnは、複数設定してもよい。そして、複数の検出ラインLnのうち、検出ラインLn上に静止物が存在する検出ラインLnを選択して、左基準点Ls及び右基準点Rsを設定してもよい。また、複数の検出ラインLnのそれぞれの上に、左基準点Ls及び右基準手Rsを設定してもよい。このように設定して、複数の左基準点Lsと右基準点Rsの位置変化に基づいて車両の移動方向を検出すれば、更に高精度に車両の移動方向を検出できる。   A plurality of detection lines Ln may be set. Then, the left reference point Ls and the right reference point Rs may be set by selecting a detection line Ln where a stationary object is present on the detection line Ln among the plurality of detection lines Ln. Further, the left reference point Ls and the right reference hand Rs may be set on each of the plurality of detection lines Ln. If the vehicle moving direction is detected based on the change in position of the plurality of left reference points Ls and right reference points Rs, the moving direction of the vehicle can be detected with higher accuracy.

・カメラ10が車両の前面及び後面のいずれに設置されているかという情報を加味して、車両の旋回方向に加えて車両の前後進方向を検出してもよい。例えば、車両の前面にカメラが設置されていると分かっている場合には、S17において車両が前進しながら左旋回していると検出することができる。また、変速機の変速位置の情報を加味して、車両の前後進方向を検出してもよい。   -In addition to the turning direction of the vehicle, the forward / backward direction of the vehicle may be detected in consideration of information indicating whether the camera 10 is installed on the front or rear surface of the vehicle. For example, if it is known that a camera is installed in front of the vehicle, it can be detected in S17 that the vehicle is turning left while moving forward. Further, the forward / backward direction of the vehicle may be detected in consideration of information on the shift position of the transmission.

10…カメラ、20…処理装置、30…ディスプレイ、50…移動方向検出装置、Ln…検出ライン、Ls…左基準点、Rs…右基準点。   DESCRIPTION OF SYMBOLS 10 ... Camera, 20 ... Processing apparatus, 30 ... Display, 50 ... Movement direction detection apparatus, Ln ... Detection line, Ls ... Left reference point, Rs ... Right reference point.

Claims (11)

車両の前面及び後面の少なくとも一方に設置され、設置された位置から正面を撮影するカメラ(10)と、
前記カメラにより撮影された撮影画像において左右方向に検出ラインを設定するライン設定手段(21)と、
前記撮影画像の中央よりも左領域において、前記ライン設定手段により設定された検出ライン上における特定の輝度を有する点を左基準点として設定するとともに、前記撮影画像の中央よりも右領域において、前記ライン設定手段により設定された検出ライン上における特定の輝度を有する点を右基準点として設定する基準点設定手段(22)と、
前記基準点設定手段により設定された左基準点及び右基準点の前記検出ライン上における位置変化に基づいて、前記車両の移動方向を検出する検出手段(23)と、
を備えることを特徴とする車両の移動方向検出装置(50)。
A camera (10) installed on at least one of a front surface and a rear surface of the vehicle and photographing a front surface from the installed position;
Line setting means (21) for setting a detection line in the left-right direction in the captured image captured by the camera;
In the left region from the center of the photographed image, a point having a specific luminance on the detection line set by the line setting unit is set as a left reference point, and in the right region from the center of the photographed image, Reference point setting means (22) for setting a point having a specific luminance on the detection line set by the line setting means as a right reference point;
Detection means (23) for detecting a moving direction of the vehicle based on a change in position of the left reference point and the right reference point on the detection line set by the reference point setting means;
A vehicle moving direction detecting device (50), comprising:
前記検出手段は、前記左基準点及び前記右基準点が前記検出ラインの中央から離れる場合に、前記車両は前記カメラの前方に直進していると検出する請求項1に記載の車両の移動方向検出装置。   2. The moving direction of the vehicle according to claim 1, wherein the detection unit detects that the vehicle is traveling straight ahead of the camera when the left reference point and the right reference point are separated from a center of the detection line. Detection device. 前記検出手段は、前記左基準点が前記検出ラインの中央に近づき、且つ前記右基準点が前記検出ラインの中央から離れる場合に、前記車両の前方を基準として前記車両は左方向に旋回していると検出する請求項1又は2に記載の車両の移動方向検出装置。   When the left reference point approaches the center of the detection line and the right reference point moves away from the center of the detection line, the detection means turns the vehicle leftward with respect to the front of the vehicle. The vehicle moving direction detection device according to claim 1, wherein the moving direction detection device detects that the vehicle is moving. 前記検出手段は、前記左基準点が前記検出ラインの中央から離れ、且つ前記右基準点が前記検出ラインの中央に近づく場合に、前記車両の前方を基準として前記車両は右方向に旋回していると検出する請求項1〜3のいずれかに記載の車両の移動方向検出装置。   When the left reference point is away from the center of the detection line and the right reference point is close to the center of the detection line, the vehicle turns to the right with respect to the front of the vehicle. The vehicle moving direction detecting device according to any one of claims 1 to 3, wherein the moving direction detecting device detects the vehicle moving direction. 前記検出手段は、前記左基準点及び前記右基準点が前記検出ラインの中央に近づく場合に、前記車両は前記カメラの後方に直進していると検出する請求項1〜4のいずれかに記載の車両の移動方向検出装置。   5. The detection unit according to claim 1, wherein when the left reference point and the right reference point approach a center of the detection line, the detection unit detects that the vehicle is traveling straight behind the camera. Vehicle moving direction detection device. 前記車両の移動方向検出装置は、前記車両の変速機の変速位置を取得する変速位置取得手段を備え、
前記検出手段は、前記変速位置取得手段により取得した前記車両の変速位置が前記カメラの前方に進む位置であることを条件として、前記車両は左方向に旋回していると検出する請求項3に記載の車両の移動方向検出装置。
The vehicle movement direction detection device includes shift position acquisition means for acquiring a shift position of a transmission of the vehicle,
The detection means detects that the vehicle is turning leftward on the condition that the shift position of the vehicle acquired by the shift position acquisition means is a position that advances forward of the camera. The moving direction detection apparatus of the vehicle as described.
前記車両の移動方向検出装置は、前記車両の変速機の変速位置を取得する変速位置取得手段を備え、
前記検出手段は、前記変速位置取得手段により取得した前記車両の変速位置が前記カメラの前方に進む位置であることを条件として、前記車両は右方向に旋回していると検出する請求項4に記載の車両の移動方向検出装置。
The vehicle movement direction detection device includes shift position acquisition means for acquiring a shift position of a transmission of the vehicle,
The detection means detects that the vehicle is turning rightward on the condition that the shift position of the vehicle acquired by the shift position acquisition means is a position that advances forward of the camera. The moving direction detection apparatus of the vehicle as described.
前記車両の移動方向検出装置は、前記車両の変速機の変速位置を取得する変速位置取得手段を備え、
前記検出手段は、前記変速位置取得手段により取得した前記車両の変速位置が前記カメラの後方に進む位置であることを条件として、前記左基準点が前記検出ラインの中央に近づき、且つ前記右基準点が前記検出ラインの中央から離れる場合に、前記車両の前方を基準として前記車両は右方向に旋回していると検出する請求項1〜7のいずれかに記載の車両の移動方向検出装置。
The vehicle movement direction detection device includes shift position acquisition means for acquiring a shift position of a transmission of the vehicle,
The detection means is such that the left reference point approaches the center of the detection line and the right reference is provided on the condition that the shift position of the vehicle acquired by the shift position acquisition means is a position that advances backward of the camera. The vehicle movement direction detection device according to any one of claims 1 to 7, wherein when the point moves away from the center of the detection line, it is detected that the vehicle is turning rightward with respect to the front of the vehicle.
前記車両の移動方向検出装置は、前記車両の変速機の変速位置を取得する変速位置取得手段を備え、
前記検出手段は、前記変速位置取得手段により取得した前記車両の変速位置が前記カメラの後方に進む位置であることを条件として、前記左基準点が前記検出ラインの中央から離れ、且つ前記右基準点が前記検出ラインの中央に近づく場合に、前記車両の前方を基準として前記車両は左方向に旋回していると検出する請求項1〜8のいずれかに記載の車両の移動方向検出装置。
The vehicle movement direction detection device includes shift position acquisition means for acquiring a shift position of a transmission of the vehicle,
The detection means is provided on the condition that the shift position of the vehicle acquired by the shift position acquisition means is a position that advances backward of the camera. The vehicle movement direction detection device according to claim 1, wherein when the point approaches the center of the detection line, the vehicle is detected to turn leftward with respect to the front of the vehicle.
前記検出手段は、前記左基準点及び前記右基準点が位置変化しない場合に、前記車両は停止していると検出する請求項1〜9のいずれかに記載の車両の移動方向検出装置。   The vehicle movement direction detection device according to claim 1, wherein the detection unit detects that the vehicle is stopped when the position of the left reference point and the right reference point does not change. 請求項1〜10のいずれかに記載の車両の移動方向検出装置において、前記移動方向検出装置は前記車両に搭載されるナビゲーション装置であり、
前記ナビゲーション装置にインストールされ、前記ライン設定手段、前記基準点設定手段、及び前記検出手段の機能を実現させるコンピュータプログラム。
The vehicle movement direction detection device according to any one of claims 1 to 10, wherein the movement direction detection device is a navigation device mounted on the vehicle,
A computer program installed in the navigation device for realizing the functions of the line setting means, the reference point setting means, and the detection means.
JP2012219754A 2012-10-01 2012-10-01 Traveling direction detection device for vehicle and computer program Pending JP2014071080A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012219754A JP2014071080A (en) 2012-10-01 2012-10-01 Traveling direction detection device for vehicle and computer program
PCT/JP2013/003044 WO2014054198A1 (en) 2012-10-01 2013-05-13 Vehicle movement direction detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012219754A JP2014071080A (en) 2012-10-01 2012-10-01 Traveling direction detection device for vehicle and computer program

Publications (1)

Publication Number Publication Date
JP2014071080A true JP2014071080A (en) 2014-04-21

Family

ID=50434549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012219754A Pending JP2014071080A (en) 2012-10-01 2012-10-01 Traveling direction detection device for vehicle and computer program

Country Status (2)

Country Link
JP (1) JP2014071080A (en)
WO (1) WO2014054198A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120917502A (en) * 2023-03-31 2025-11-07 本田技研工业株式会社 Driver monitoring device, program, and medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4319928B2 (en) * 2004-03-09 2009-08-26 株式会社デンソー Vehicle state detection system and vehicle state detection method
JP4193740B2 (en) * 2004-03-26 2008-12-10 三菱自動車工業株式会社 Nose view monitor device
JP2006338272A (en) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd Vehicle behavior detection device and vehicle behavior detection method
JP5054612B2 (en) * 2008-05-15 2012-10-24 株式会社日立製作所 Approaching object detection device and approaching object detection method
JP5113881B2 (en) * 2010-06-03 2013-01-09 株式会社デンソー Vehicle periphery monitoring device

Also Published As

Publication number Publication date
WO2014054198A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
CA3001287C (en) Display assistance device and display assistance method
JP5421072B2 (en) Approaching object detection system
US10118566B2 (en) Image processing device, image processing method, and image display system
JP5812598B2 (en) Object detection device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP5054612B2 (en) Approaching object detection device and approaching object detection method
WO2019008764A1 (en) Parking assistance method and parking assistance device
WO2016002163A1 (en) Image display device and image display method
US10609337B2 (en) Image processing apparatus
JP6586849B2 (en) Information display device and information display method
JP2008015759A (en) Driving assistance device
US10099617B2 (en) Driving assistance device and driving assistance method
JP2009227245A (en) Operation device for on-vehicle equipment
WO2017110144A1 (en) Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program
JP4193740B2 (en) Nose view monitor device
JP2012153256A (en) Image processing apparatus
JP6288204B1 (en) Vehicle speed limit detection device
JP6638527B2 (en) Vehicle equipment, vehicle program
JP4986070B2 (en) Ambient monitoring device for vehicles
JP4857159B2 (en) Vehicle driving support device
JP2014071080A (en) Traveling direction detection device for vehicle and computer program
JP2008185554A (en) Route guidance device for vehicles
JP2017005352A (en) On-vehicle display device and vehicle rear-side video image display method
JP7137356B2 (en) In-vehicle failure detection device and failure detection method
JP2019091204A (en) Changing course detection apparatus