JP5196265B2 - Vehicle periphery recognition support device - Google Patents
Vehicle periphery recognition support device Download PDFInfo
- Publication number
- JP5196265B2 JP5196265B2 JP2008308674A JP2008308674A JP5196265B2 JP 5196265 B2 JP5196265 B2 JP 5196265B2 JP 2008308674 A JP2008308674 A JP 2008308674A JP 2008308674 A JP2008308674 A JP 2008308674A JP 5196265 B2 JP5196265 B2 JP 5196265B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- periphery
- reference axis
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両周囲において運転者が注意を要する対象に、運転者が煩わしさを覚えることなく自然に意識を向けるきっかけを与え、きっかけを与えた後は運転者自身の眼により確認し、正しく安全な運転行動をとることができるように支援する車両周辺認知支援装置に関する。 The present invention provides an opportunity for the driver to pay attention to the object that the driver needs to pay attention to around the vehicle without having to worry about it. The present invention relates to a vehicle periphery recognition support device that assists so that a safe driving action can be taken.
車両の運転に際して、車両周辺の状況、例えば人や他の物体などの存在や接近を運転者が確認することが重要である。つまり、車両周囲において運転者が注意を要する対象を運転者自身が確認することは、正しく安全な運転行動をとる上で重要である。近年、車両にカメラを搭載して、撮影された画像を車内のモニタ装置に表示させることによって、この確認を助けるような運転支援装置や車両周辺監視装置が実用化されている。特開2003−274393号公報(特許文献1)には、注視すべき箇所のみを効果的に強調して見易くし、運転者に注意を喚起し易い画像を提示する車両周辺監視装置の技術が開示されている。これによれば、車載カメラによる撮影画像を、運転者に注視して欲しいエリアである一部の特定エリアと当該特定エリアを除いた他のエリアとに分ける。そして、特定エリアに先鋭化処理を加えたり、他のエリアに平滑化処理(非先鋭化処理)を加えたり、その両方を行ったりして運転者に注視して欲しい特定エリアを目立たせる。 When driving a vehicle, it is important for the driver to check the situation around the vehicle, for example, the presence or approach of a person or other object. In other words, it is important for the driver himself / herself to confirm what the driver needs to pay attention to around the vehicle in order to take correct and safe driving behavior. In recent years, a driving support device and a vehicle periphery monitoring device have been put into practical use that assist in this confirmation by mounting a camera on a vehicle and displaying a captured image on a monitor device in the vehicle. Japanese Patent Laid-Open No. 2003-274393 (Patent Document 1) discloses a technique of a vehicle periphery monitoring device that effectively emphasizes only a portion to be watched and makes it easy to see and presents an image that easily draws attention to the driver. Has been. According to this, the image captured by the in-vehicle camera is divided into a part of a specific area that is an area that the driver wants to pay attention to and another area excluding the specific area. Then, the sharpening process is applied to the specific area, the smoothing process (non-sharpening process) is applied to the other areas, or both are performed to highlight the specific area that the driver wants to watch.
また、特開平1−147983号公報(特許文献2)には、後進予想軌跡を示すガイド線を撮影画像に重畳表示させる車両の後方視界表示装置の技術が開示されている。これによれば、蛇角センサによって検出される蛇角に対応した後進予想軌跡や、予め設定された所定の蛇角に対する後進予想軌跡がガイド線として重畳される。 Japanese Laid-Open Patent Publication No. 1-147983 (Patent Document 2) discloses a technology of a vehicle rear view display device that superimposes and displays a guide line indicating a predicted backward trajectory on a captured image. According to this, the predicted reverse trajectory corresponding to the snake angle detected by the snake angle sensor and the predicted reverse trajectory for a predetermined snake angle set in advance are superimposed as a guide line.
特許文献2の舵角に対応した後進予想軌跡は、進行方向を運転者に伝える役目を有している。また、所定の蛇角に対する後進予想軌跡は、例えば、蛇角がゼロ(中立位置)に設定されていれば、最終的に車両が駐車されるエリアをエリア分けして示すものともなる。ここでは、撮影画像に対してガイド線を重畳させているが、ガイド線が重畳された後方視界の映像は、「非日常的」な映像である。従って、運転者によっては、ガイド線が示す意味を「直感的」には理解できない場合がある。
The predicted reverse trajectory corresponding to the rudder angle of
上述したような車両周辺監視装置や、ルームミラーなどを利用して車両周辺の状況を確認できる環境にあったとしても、運転に際しては運転者による直接の目視が重要である。目視、つまり、動的に顔を動かすことによる運動効果によって、運転者の思考力や判断力、運転操作に関わる反応力の向上も期待できる。従って、車両周辺の状況を目視するように促す認知支援が重要である。従来、注意すべきエリアを限定して表示させたり、人や物体の存在や接近を検出したりして直接的に報知するシステムは種々提案されている。しかし、意識を向けるきっかけとして気配を感じさせて目視を促す認知支援のような本来人間が有する能力を活かした間接的な支援を行うシステムはほとんど提案されていない。 Even in an environment in which the situation around the vehicle can be confirmed using a vehicle periphery monitoring device or a room mirror as described above, direct visual observation by the driver is important when driving. The visual effect, that is, the movement effect by dynamically moving the face, can be expected to improve the driver's thinking ability, judgment ability, and responsiveness related to driving operation. Therefore, cognitive support that prompts the user to visually check the situation around the vehicle is important. 2. Description of the Related Art Conventionally, various systems have been proposed in which notification is made directly by limiting the area to be noted, or detecting the presence or approach of a person or an object. However, few systems have been proposed that provide indirect support that makes use of the ability of human beings, such as cognitive support that encourages viewers to feel attentive as an opportunity to turn their consciousness.
本発明は、上記課題に鑑みて創案されたもので、車載カメラによる撮影画像を用いて意識を向けるきっかけとして気配を感じさせ、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を提供することを目的とする。 The present invention was devised in view of the above problems, and is a vehicle periphery recognition support device that makes a person feel attentive as an opportunity to turn his / her consciousness using an image captured by a vehicle-mounted camera and prompts the user to visually confirm the situation around the vehicle. The purpose is to provide.
上記目的を達成するための本発明に係る車両周辺認知支援装置の特徴構成は、
車両の周辺を撮影する車載カメラにより撮影された撮影画像を受け取る画像受取部と、
前記車両の移動状態を検出する移動状態検出部の検出結果に基づいて、前記車両の操舵角に応じて設定された前記車両の進行方向に沿った予想軌跡である基準軸の両側において前記基準軸から前記撮影画像の画像周辺に向かって、前記撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させて鮮明度を低くする画像処理部と、を備える点にある。
In order to achieve the above object, the characteristic configuration of the vehicle periphery recognition support device according to the present invention is as follows:
An image receiving unit that receives a captured image captured by an in-vehicle camera that captures the periphery of the vehicle;
The reference axis on both sides of the reference axis that is an expected trajectory along the traveling direction of the vehicle set according to the steering angle of the vehicle based on the detection result of the movement state detection unit that detects the movement state of the vehicle An image processing unit that lowers the sharpness by changing at least one of sharpness, hue, lightness, and saturation of the captured image with a predetermined gradient from the captured image toward the periphery of the captured image. It is in the point to prepare.
この構成によれば、車両の操舵角に応じて設定された車両の進行方向に沿った予想軌跡である基準軸の両側において前記基準軸から画像周辺に向かって、撮影画像の色相、明度、彩度などの色彩や、先鋭度の少なくとも1つを所定の勾配を有して変化させる。これにより、運転者に気を付けて欲しい画面領域の中の優先順位を違和感無く、直感的に運転者に把握させることができる。一部をはっきりさせ、他の部分を隠すような画像処理ではなく、基準軸から画像周辺に向かって勾配を有して色彩等を変化させることにより、車両の周辺の障害物等の視認性を確保した上で優先順位を表すことができる。例えば、あまり重要ではない領域から重要な領域へ、人や動物を含む何らかの物体が相対的に進入してきた場合、進入に応じて次第に当該物体が鮮明に映し出されることになる。重要な領域の中心である基準軸に物体が接近してきたことと、接近により所定の勾配に応じて物体の鮮明度が高くなることとによって、物体の映像は加速度的に鮮明になるので、当該物体に対して運転者が気づく可能性が高くなる。また、本発明の車両周辺認知支援装置により提供される映像は、ガイド線が重畳されるような「非日常的」な映像ではないので、本来人間が有する能力を活かし、「直感的」に理解可能な映像である。従って、物体を検出して報知するようなシステムではなく、運転者が煩わしさを覚えることなく自然に意識を向けるような気配を感じさせることが可能となる。運転者が感じるこの気配は、運転者が車両周辺の状況を直接目視により確認しようとする動機付けとなる。運転に際しては運転者による直接の目視が重要であり、本特徴によれば、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を提供することが可能となる。 According to this configuration, the hue, brightness, and color of the photographed image from the reference axis toward the periphery of the image on both sides of the reference axis that is an expected locus along the traveling direction of the vehicle set according to the steering angle of the vehicle. At least one of the color such as the degree and the sharpness is changed with a predetermined gradient. As a result, it is possible to make the driver intuitively understand the priority order in the screen area that the driver wants to pay attention to without feeling uncomfortable. The visibility of obstacles around the vehicle is improved by changing the color, etc., with a gradient from the reference axis toward the periphery of the image, rather than image processing that makes some parts clear and hides other parts. Priorities can be expressed after securing. For example, when a certain object including a person or an animal relatively enters from a less important area to an important area, the object is gradually and clearly displayed according to the approach. As the object approaches the reference axis, which is the center of the important area, and the sharpness of the object increases according to the predetermined gradient due to the approach, the image of the object becomes accelerated and sharp. The possibility that the driver will notice the object is increased. In addition, since the video provided by the vehicle periphery recognition support device of the present invention is not an “unusual” video in which a guide line is superimposed, it is understood that it is “intuitive” by utilizing the ability inherently human. It is possible video. Therefore, it is not a system for detecting and notifying an object, and it is possible to make the driver feel a sign that the driver is naturally aware without feeling troublesome. This sign that the driver feels is a motivation for the driver to confirm the situation around the vehicle directly by visual observation. Direct visual observation by the driver is important during driving, and according to this feature, it is possible to provide a vehicle periphery recognition support device that prompts the user to visually confirm the situation around the vehicle.
また、本発明に係る車両周辺認知支援装置の前記基準軸は、前記車両の操舵角に応じて、曲線状に設定されると好適である。 In addition, it is preferable that the reference axis of the vehicle periphery recognition support apparatus according to the present invention is set in a curved shape according to the steering angle of the vehicle.
基準軸が車両の操舵角に応じて設定されると、運転者がより注意をはらうべき画面領域の優先順位が車両の進行方向に応じて設定される。従って、車両周囲において運転者が注意を要する画面領域の中の優先順位を違和感無く、直感的に運転者に把握させることができる。また、車両が操舵されている際には、車両は弧を描いて進行する。基準軸が曲線状に設定されることによって、運転者がより注意をはらうべき画面領域の中の優先順位をさらに違和感無く、直感的に運転者に把握させることができる。また、ガイド線を重畳させることがないにも拘わらず、車両の進行方向についても、併せて違和感なく運転者に伝えることができる。 When the reference axis is set according to the steering angle of the vehicle, the priority order of the screen areas that the driver should pay more attention to is set according to the traveling direction of the vehicle. Therefore, it is possible to make the driver intuitively understand the priority order in the screen area where the driver needs attention around the vehicle without feeling uncomfortable. Further, when the vehicle is being steered, the vehicle travels in an arc. By setting the reference axis in a curved line, it is possible to make the driver intuitively grasp the priority order in the screen area where the driver should pay more attention without further discomfort. In addition, although the guide line is not superimposed, the traveling direction of the vehicle can also be transmitted to the driver without feeling uncomfortable.
また、本発明に係る車両周辺認知支援装置の前記勾配は、前記基準軸から前記撮影画像の画像周辺に達するまでの間に、所定の変化割合を超えて変化する変化点を有すると好適である。 In addition, it is preferable that the gradient of the vehicle periphery recognition support device according to the present invention has a change point that changes beyond a predetermined change rate before reaching the image periphery of the captured image from the reference axis. .
撮影画像の中には、非常に重要な領域の画像と、それほど重要ではない領域の画像との双方が含まれる。例えば、車両が進行して通過する可能性の有る領域は、当該領域内に何らかの物体が存在する場合には、車両と接触する可能性がある領域であり、重要な領域である。一方、車両が通過しないと考えられる領域は、当該領域に何らかの物体が存在したとしても、車両と接触する可能性は低く、それほど重要ではない領域である。車両が通過しないと考えられる領域は、撮影画像の周辺部であるから、基準軸から撮影画像の画像周辺へと至る途上からそれほど重要では無い領域が始まることとなる。ここで、基準軸から撮影画像の画像周辺に達するまでの間に、所定の変化割合を超えて変化する変化点を有して勾配が設定されると、それほど重要ではない領域の鮮明度が低下することにより、重要な領域の鮮明度が相対的に向上する。従って、運転者が気を付けるべき画面領域の中の優先順位をより明確且つ違和感無く、直感的に運転者に把握させることができる。 The captured image includes both a very important area image and a less important area image. For example, an area where the vehicle may travel and pass is an important area where there is a possibility of contact with the vehicle if any object is present in the area. On the other hand, the region that the vehicle is considered not to pass is a region that is not so important because the possibility of contact with the vehicle is low even if any object exists in the region. Since the area where the vehicle is considered not to pass is the periphery of the captured image, an area that is not so important starts on the way from the reference axis to the periphery of the captured image. Here, if the gradient is set with a change point that changes beyond a predetermined change rate from the reference axis to the periphery of the captured image, the sharpness of a less important area is reduced. By doing so, the sharpness of important areas is relatively improved. Therefore, it is possible to make the driver intuitively understand the priority order in the screen area that the driver should be aware of, without being more clear and uncomfortable.
また、本発明に係る車両周辺認知支援装置の前記勾配の前記変化点は、前記車両の車幅延長線に沿って設定されると好適である。 Moreover, it is preferable that the change point of the gradient of the vehicle periphery recognition support device according to the present invention is set along a vehicle width extension line of the vehicle.
車両が進行して通過する可能性が高い領域は、基準軸と車両の車幅の延長線との間の領域である。従って、変化点が車両の車幅延長線に沿って当該車幅延長線の近傍に設定されると、過不足なく変化点が設定されることになる。また、このように構成することによって、ガイド線が重畳されないにも拘わらず、車幅の延長線を示すガイド線と同等の効果を得ることができる。車幅の延長線を示すガイド線は、撮影画像に重畳されないので、ガイド線に隠れて撮影画像の視認性を損なうようなこともない。 The region where the vehicle is likely to pass through is a region between the reference axis and the extension line of the vehicle width of the vehicle. Therefore, when the change point is set in the vicinity of the vehicle width extension line along the vehicle width extension line of the vehicle, the change point is set without excess or deficiency. Further, with this configuration, the same effect as that of the guide line indicating the extension line of the vehicle width can be obtained even though the guide line is not superimposed. Since the guide line indicating the extension line of the vehicle width is not superimposed on the photographed image, it is not hidden by the guide line and the visibility of the photographed image is not impaired.
以下、本発明の実施形態を図面に基づいて説明する。本発明の車両周辺認知支援装置は、例えば、駐車支援装置や運転支援装置などに利用される。図1及び図2は、車両周辺認知支援装置が搭載される車両30の基本構成を示したものである。運転席に備えられたステアリング24は、パワーステアリングユニット33と連動し、回転操作力を前輪28fに伝えて車両30の操舵を行う。車両30の前部にはエンジン32と、このエンジン32からの動力を変速して前輪28fや後輪28rに伝えるトルクコンバータやCVT等を有する変速機構34とが配置されている。車両30の駆動方式(前輪駆動、後輪駆動、四輪駆動)に応じて、前輪28f及び後輪28rの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル26と、前輪28f及び後輪28rのブレーキ装置31を介して前輪28f及び後輪28rに制動力を作用させるブレーキペダル27とが並列配置されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The vehicle periphery recognition support device of the present invention is used for, for example, a parking support device and a driving support device. 1 and 2 show a basic configuration of a
運転席の近傍のコンソールの上部位置には、モニタ20(表示装置)が備えられている。モニタ20は、バックライトを備えた液晶式のものである。モニタ20には、感圧式や静電式によるタッチパネルが形成され、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されていると好適である。また、モニタ20には、スピーカも備えられており、種々の案内メッセージや効果音を発することができると好適である。車両30にナビゲーションシステムが搭載される場合、モニタ20はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ20は、プラズマ表示型のものやCRT型のものであっても良く、スピーカは、ドアの内側など他の場所に備えられても良い。
A monitor 20 (display device) is provided at the upper position of the console near the driver's seat. The
ステアリング24の操作系にはステアリングセンサ14が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー25の操作系にはシフト位置センサ15が備えられ、シフト位置が判別される。アクセルペダル26の操作系にはアクセルセンサ16が備えられ、操作量が計測される。ブレーキペダル27の操作系にはブレーキセンサ17が備えられ、操作の有無などが検出される。
A
また、移動距離センサとして、前輪28f及び後輪28rの少なくとも一方の回転量を計測する回転センサ18が備えられる。本実施形態では、後輪28rに回転センサ18が備えられた場合を例示している。尚、移動距離については、変速機構34において、駆動系の回転量から車両30の移動量を計測するようにしてもよい。また、車両30には本発明の車両周辺認知支援装置の中核となるECU(electronic control unit)10が配置されている。
In addition, a
車両30の後部には、車両30の後方の情景を撮影するカメラ12が備えられている。カメラ12は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ12は、広角レンズを備えており、例えば左右約140度程度の画角を有している。カメラ12は、略水平方向の視点を有して、車両30の後方の情景を撮影可能に設置されている。カメラ12は、車両30の後方に向けて例えば30度程度の俯角を有して設置され、概ね後方8m程度までの領域を撮影する。撮影された画像は、ECU10に入力される。
A
図3は、本発明の車両周辺認知支援装置の構成を模式的に示すブロック図である。図3に示すように、本実施形態において、車両周辺認知支援装置はECU10を中核として構成されている。ECU10は、画像受取部1と、画像処理部2と、移動状態演算部3との各機能部を有して構成される。ECU10は、例えば、マイクロコンピュータやDSP(digital signal processor)などによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。
FIG. 3 is a block diagram schematically showing the configuration of the vehicle periphery recognition support device of the present invention. As shown in FIG. 3, in the present embodiment, the vehicle periphery recognition support device is configured with the
画像受取部1は、車両30の周辺を撮影するカメラ12(車載カメラ)により撮影された撮影画像を受け取る機能部である。画像処理部2は、画像受取部1が受け取った撮影画像に所定の画像処理を施して車内のモニタ20に出力する機能部である。所定の画像処理とは、車両30の進行方向に沿った基準軸Xから画像周辺に向かって、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させ、鮮明度を低下させる処理である。車両30の進行方向に沿った基準軸Xは、移動状態演算部3によって演算される。移動状態演算部3は、ステアリングセンサ14、シフト位置センサ15、回転センサ18などの各種センサの検出結果に基づいて車両30の移動状態を演算する機能部である。移動状態演算部3及び各種センサは、本発明の移動状態検出部5に相当する。
The
図3に示したブロック図では、ECU10が移動状態演算部3を有する例を示したが、ECU10とは異なるECUなど、他の装置において移動状態を検出及び演算して、その結果がECU10に伝達される構成でもよい。この場合には、画像処理処理部2は、ECU10が受け取った移動状態情報を用いて、上記所定の画像処理を実施する。そして、移動状態を検出及び演算する他の装置が、本発明の移動状態検出部に相当する。
In the block diagram shown in FIG. 3, the example in which the
上述したように、画像処理部2は、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させる処理を実施する。撮影画像の先鋭度を異ならせる処理、つまり、先鋭化したり反対にぼかしたりする具体的な手法については、特許文献1に記載されているように公知であるので詳細な説明は省略する。先鋭化の度合いやぼかしの度合いを異ならせることによって、基準軸Xから画像周辺に向かって所定の勾配を有して先鋭度を変化させることができる。
As described above, the
撮影画像がカラー画像である場合には、その色彩を変化させることによって、撮影画像の鮮明度を所定の勾配を有して変化させてもよい。色彩は、色相、明度、彩度で表すことができ、これらの内の1つを異ならせることによって異なる色彩とすることが可能である。勿論、複数の要素を異ならせてもよい。色彩を異なられる手法については、種々の色空間に応じて多くの技術が広く知られているので、詳細な説明は省略する。色相、明度、彩度の少なくとも1つを異ならせることによって、基準軸Xから画像周辺に向かって所定の勾配を有して色彩を変化させることができる。尚、色彩と共に、先鋭度を異ならせてもよい。 When the photographed image is a color image, the sharpness of the photographed image may be changed with a predetermined gradient by changing the color. The color can be expressed by hue, brightness, and saturation, and different colors can be obtained by making one of them different. Of course, a plurality of elements may be different. Since many techniques are widely known for the method of changing colors according to various color spaces, detailed description thereof is omitted. By varying at least one of hue, lightness, and saturation, the color can be changed with a predetermined gradient from the reference axis X toward the periphery of the image. The sharpness may be varied along with the color.
尚、所定の勾配は、完全なリニアである必要はなく、デジタル的に細かなステップを有していてもよい。また、勾配は一定である必要はなく、所定の変化割合未満であれば、異なる変化割合で変化してもよい。例えば、基準軸Xから画像周辺に向かう勾配はリニアでなくてもよく、例えば二次関数的に変化してもよい。また、撮影画像そのものを変化させてもよいし、色彩の変化によって変化させる場合には、グラデーション画像を撮影画像に重畳させてもよい。 The predetermined gradient does not need to be completely linear, and may have fine steps in digital form. Further, the gradient need not be constant, and may change at a different change rate as long as it is less than a predetermined change rate. For example, the gradient from the reference axis X toward the periphery of the image may not be linear, and may change, for example, in a quadratic function. In addition, the captured image itself may be changed, and when changing by changing the color, a gradation image may be superimposed on the captured image.
以下、基準軸Xから画像周辺に向かって所定の勾配を有して先鋭度や色彩を変化させた場合について、図4〜図7に示すモニタ20に表示される画像の例を用いて説明する。
Hereinafter, the case where the sharpness and the color are changed with a predetermined gradient from the reference axis X toward the periphery of the image will be described using examples of images displayed on the
図4は、操舵角がゼロの場合にモニタ20に表示される画像の例である。移動状態演算部3は、ステアリングセンサ14、シフト位置センサ15、回転センサ18などの検出結果に基づいて、車両30の操舵角及び進行方向を演算する。例えば、シフト位置センサ15によってシフトレバー25がリバース位置にあることが検出され、ステアリングセンサ14によってステアリング24がほぼ中立位置に保持されていることが検出される。また、回転センサ18によって車両30が停車或いは微速後退していることが検出される。移動状態演算部3は、これらによって、車両30が真っ直ぐ後退しようとしている状態、又は後退している状態であると演算する。
FIG. 4 is an example of an image displayed on the
車両30の進行方向は、車両30の真後ろであるので、車両30の進行方向に沿った基準軸Xは、図4に示すように画像の中央において上下方向の直線となる。画像処理部2は、この基準軸Xから画像周辺に向かって、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させる。図4では、明度を変化させた場合を例示している。図4の下のグラフは、図中の左右方向の一点鎖線における明度の変化を示している。以下、図5〜図7においても同様である。図4に示すように、基準軸Xから画像周辺に向かうに従って、明度が明るい側から暗い側へと所定の勾配を有して変化している。
Since the traveling direction of the
図5は、左方向に旋回するように操舵されている場合にモニタ20に表示される画像の例である。一般的に、モニタ20に表示される車両後方の撮影画像は、運転者の違和感を減じるために、ルームミラーを介して車両後方を見た時と同様に鏡像となっている。上述したように、移動状態演算部3は、ステアリングセンサ14、シフト位置センサ15、回転センサ18などの検出結果に基づいて、車両30の操舵角及び進行方向を演算する。例えば、シフト位置センサ15によってシフトレバー25がリバース位置にあることが検出され、ステアリングセンサ14によって操舵角と操舵方向とが検出される。また、回転センサ18によって車両30が停車或いは微速後退していることが検出される。移動状態演算部3は、これらによって、車両30の予想軌跡を演算する。
FIG. 5 is an example of an image displayed on the
車両周辺認知支援装置10が、駐車支援装置と協業している場合には、駐車目標位置が設定されている。従って、現在の車両30の位置から駐車目標位置に至るまでの標準的な走行経路が予想軌跡として演算される。また、駐車目標位置を設定せず、単に車両30の後方を撮影した撮影画像を表示させたり、車幅延長線などのガイドラインを撮影画像に重畳表示させたりするような駐車支援装置や運転支援装置と協業する場合には、一般的な走行経路が予想軌跡として演算される。操舵角だけに基づいて予想軌跡を演算すると、予想軌跡が円状となり、遠方においては実際の軌跡と異なる可能性がある。一般的に、操舵角を保持して、90度以上旋回することは稀である。従って、概ね60〜90度程度旋回した後、直線的に進行する経路が予想軌跡として演算される。このようにして演算された予想軌跡は、図5に示すように、本発明の基準軸Xとなる。つまり、基準軸Xは、車両30の操舵角に応じて、曲線状に設定される。
When the vehicle periphery
画像処理部2は、この曲線上の基準軸Xから画像周辺に向かって、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させる。図5では、明度を変化させた場合を例示している。図5の下のグラフは、図中の左右方向の一点鎖線における明度の変化を示している。図5に示すように、基準軸Xから画像周辺に向かうに従って、明度が明るい側から暗い側へと所定の勾配を有して変化している。ここで、基準軸の左右における勾配は同一である。しかし、左右の勾配が同一であることに限定されず、左右で異なる勾配を有していてもよい。
The
このように、基準軸Xが車両30の操舵角に応じて設定されると、運転者がより注意をはらうべき画面領域の優先順位が車両の進行方向に応じて設定されることになる。従って、車両周囲において運転者が注意を要する画面領域の中の優先順位を違和感無く、直感的に運転者に把握させることができる。また、車両が操舵されている際には、車両は弧をを描いて進行する。基準軸Xが曲線状に設定されることによって、運転者がより注意をはらうべき画面領域の中の優先順位をさらに違和感無く、直感的に運転者に把握させることができる。
As described above, when the reference axis X is set according to the steering angle of the
但し、ステアリング24が中立位置ではなく、車両30の操舵角がゼロではない場合であっても、基準軸Xが直線状に設定されることを妨げるものではない。例えば、車両周辺認知支援装置10が、駐車支援装置等と協業していない場合、車両30の予想軌跡を取得することが困難な可能性がある。車両周辺認知支援装置10が、駐車支援装置等と協業していなくても、操舵角を保持して60〜90度程度旋回した後、直線的に進行する経路を基準軸Xとして設定することは可能である。しかし、その演算負荷を抑制したい場合もある。これらのようなケースでは、基準軸Xが、車両30の操舵角に応じて、直線状に設定されてもよい。
However, even when the steering 24 is not in the neutral position and the steering angle of the
図6は、基準軸Xが、車両30の操舵角に応じて、直線状に設定される場合を例示している。画像処理部2は、この直線上の基準軸Xから画像周辺に向かって、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させる。図6では、上記各例と同様に、明度を変化させた場合を例示している。図6の下のグラフについても同様である。
FIG. 6 illustrates a case where the reference axis X is set linearly according to the steering angle of the
上述したように、車両30の進行方向に沿った基準軸Xから画像周辺に向かって、撮影画像の色相、明度、彩度などの色彩や、先鋭度の少なくとも1つが所定の勾配を有して変化させされる。これにより、運転者に気を付けて欲しい画面領域の中の優先順位を違和感無く、直感的に運転者に把握させることができる。特許文献1に記載されたように、一部をはっきりさせ、他の部分を隠すような画像処理ではなく、基準軸から画像周辺に向かって勾配を有して色彩等を変化させることにより、車両の周辺の障害物等の視認性を確保した上で優先順位を表すことができる。
As described above, from the reference axis X along the traveling direction of the
例えば、あまり重要ではない領域から重要な領域へ、何らかの物体が車両30とは相対的に進入してきた場合、進入に応じて次第に当該物体が鮮明に映し出されることになる。重要な領域の中心である基準軸に接近してきたことと、接近により所定の勾配に応じて鮮明度が高くなることとによって、当該物体に対して運転者が気づく可能性が高くなる。つまり、物体を検出して報知するようなシステムではなく、運転者が煩わしさを覚えることなく自然に意識を向けるような気配を感じさせることが可能となる。運転者が感じるこの気配は、運転者が車両周辺の状況を目視により確認しようとする動機付けとなる。運転に際しては運転者による直接の目視が重要であり、本発明の車両周辺認知支援装置は車両周辺の状況を直接目視により確認するように促すことが可能である。
For example, when an object enters from a less important area to an important area relative to the
また、本発明における画像処理は、特許文献1のように、重要な領域と、重要では無い領域とを明確に分離するような画像処理ではない。図4〜図6に示した例では、発明の理解を容易にするために強調した例を示しているが、本発明では、一見すれば普通に撮影画像が表示されていると思えるような画像をモニタ20に表示することが可能である。従って、運転者に何ら違和感を生じさせることなく、また、過度に一部の領域に対して注意を引き付けさせることもなく、いわゆる気配を感じさせることが可能である。また、本発明の車両周辺認知支援装置により提供される映像は、特許文献2のように、ガイド線が重畳されるような非日常的な映像ではない。従って、その映像は、本来人間が有する能力を活かし、直感的に理解可能な映像である。
Further, the image processing in the present invention is not an image processing that clearly separates an important region and an unimportant region as in
図7は、撮影画像の先鋭度、色相、明度、彩度の少なくとも1つが変化する所定の勾配が、基準軸Xから撮影画像の画像周辺に達するまでの間に、所定の変化割合を超えて変化する変化点Yを有する例を示している。この変化点を有することにより、モニタ20に表示される画像上において、ややコントラストが生じるので、感覚的な領域の区別が容易となる。この変化点Yは、車両30の車幅延長線に沿って当該車幅延長線の近傍に設定されると好適である。視認性及び安全性を考慮すれば、車幅延長線よりも画像周辺側に設定されると好適である。図7の下のグラフに示すように、基準軸Xから画像周辺に向かうに従って、明度が明るい側から暗い側へと所定の勾配を有して変化しており、変化点Yにおいて所定の変化割合を超えて変化している。
FIG. 7 shows that a predetermined gradient at which at least one of sharpness, hue, lightness, and saturation of a captured image changes exceeds a predetermined change rate from the reference axis X to the periphery of the captured image. The example which has the change point Y which changes is shown. By having this change point, a slight contrast is generated on the image displayed on the
撮影画像の中には、当然ながら、非常に重要な領域の画像と、それほど重要ではない領域の画像との双方が含まれる。例えば、車両30が進行して通過する可能性の有る領域は、当該領域内に何らかの物体が存在する場合には、車両30と接触する可能性がある領域であり、重要な領域である。一方、車両30が通過しないと考えられる領域は、当該領域に何らかの物体が存在したとしても、車両30と接触する可能性は低く、それほど重要ではない領域である。車両30が通過しないと考えられる領域は、撮影画像の周辺部であるから、基準軸Xから撮影画像の画像周辺へと至る途上に、勾配が所定の変化割合を超えて変化する変化点Yが設けられる。基準軸Xから変化点Yまでの領域に比べて、変化点Yから画像周辺までの領域の鮮明度が相対的に低下することになり、基準軸Xから変化点Yまでの領域の鮮明度が相対的に向上することになる。従って、運転者がより注意をはらうべき画面領域の中の優先順位をより明確且つ違和感無く、直感的に運転者に把握させることが可能となる。また、このように構成することによって、さらに車幅延長線等のガイド線を撮影画像に重畳させる必要がなくなり、ガイド線に隠れて画面の視認性を損なうようなことが無くなる。
The captured image naturally includes both an image of a very important region and an image of a region that is not so important. For example, an area where the
車両30が進行して通過する可能性が高い領域は、基準軸Xと車両の車幅の延長線との間の領域である。従って、変化点Yが車両の車幅延長線に沿って当該車幅延長線の近傍に設定されると、過不足なく変化点が設定されることになる。好ましくは、余裕を持って、車両の車幅延長線の近傍であって画像周辺側に変化点Yが設定されるとよい。
The region where the
以上説明したように、本発明によって、車載カメラによる撮影画像を用いて意識を向けるきっかけとして気配を感じさせ、車両周辺の状況を目視により確認するように促す車両周辺認知支援装置を提供することが可能となる。 As described above, according to the present invention, it is possible to provide a vehicle periphery recognition support device that makes a person feel attentive as an opportunity to turn his / her consciousness using an image captured by an in-vehicle camera and urges the user to visually confirm the situation around the vehicle. It becomes possible.
1:画像受取部
2:画像処理部
5:移動状態検出部
10:ECU(車両周辺認知支援装置)
12:カメラ(車載カメラ)
1: Image receiving unit 2: Image processing unit 5: Movement state detection unit 10: ECU (vehicle periphery recognition support device)
12: Camera (vehicle camera)
Claims (4)
前記車両の移動状態を検出する移動状態検出部の検出結果に基づいて、前記車両の操舵角に応じて設定された前記車両の進行方向に沿った予想軌跡である基準軸の両側において前記基準軸から前記撮影画像の画像周辺に向かって、前記撮影画像の先鋭度、色相、明度、彩度の少なくとも1つを所定の勾配を有して変化させて鮮明度を低くする画像処理部と、を備える車両周辺認知支援装置。 An image receiving unit that receives a captured image captured by an in-vehicle camera that captures the periphery of the vehicle;
The reference axis on both sides of the reference axis that is an expected trajectory along the traveling direction of the vehicle set according to the steering angle of the vehicle based on the detection result of the movement state detection unit that detects the movement state of the vehicle An image processing unit that lowers the sharpness by changing at least one of sharpness, hue, lightness, and saturation of the captured image with a predetermined gradient from the captured image toward the periphery of the captured image. A vehicle periphery recognition support apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008308674A JP5196265B2 (en) | 2008-12-03 | 2008-12-03 | Vehicle periphery recognition support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008308674A JP5196265B2 (en) | 2008-12-03 | 2008-12-03 | Vehicle periphery recognition support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010135998A JP2010135998A (en) | 2010-06-17 |
| JP5196265B2 true JP5196265B2 (en) | 2013-05-15 |
Family
ID=42346855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008308674A Active JP5196265B2 (en) | 2008-12-03 | 2008-12-03 | Vehicle periphery recognition support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5196265B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101787054B1 (en) * | 2011-04-08 | 2017-11-15 | 현대모비스 주식회사 | Back parking assist apparatus and method thereof |
| WO2014129026A1 (en) | 2013-02-21 | 2014-08-28 | 本田技研工業株式会社 | Driving assistance device and image processing program |
| JP6245274B2 (en) * | 2013-12-03 | 2017-12-13 | 富士通株式会社 | Display control apparatus, display control method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002362270A (en) * | 2001-06-11 | 2002-12-18 | Matsushita Electric Ind Co Ltd | Driving support device |
| JP3941926B2 (en) * | 2002-03-12 | 2007-07-11 | 松下電器産業株式会社 | Vehicle periphery monitoring device |
-
2008
- 2008-12-03 JP JP2008308674A patent/JP5196265B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010135998A (en) | 2010-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5483535B2 (en) | Vehicle periphery recognition support device | |
| EP2990265B1 (en) | Vehicle control apparatus | |
| KR101238109B1 (en) | Vehicle peripheral display device | |
| JP5003946B2 (en) | Parking assistance device | |
| US8134594B2 (en) | Surrounding recognition assisting device for vehicle | |
| EP2583868A1 (en) | Drive assist device | |
| US20190244324A1 (en) | Display control apparatus | |
| JP5852076B2 (en) | Vehicle periphery display device | |
| JP6361318B2 (en) | VEHICLE IMAGE DISPLAY DEVICE AND VEHICLE IMAGE DISPLAY METHOD | |
| JP2009269551A (en) | Display for vehicle | |
| JP2014204132A (en) | Operation support device | |
| WO2020208804A1 (en) | Display control device, display control method, and display control program | |
| EP3582493B1 (en) | In-vehicle image display system and image processing method | |
| JP5196265B2 (en) | Vehicle periphery recognition support device | |
| KR101416401B1 (en) | System for display rear imageof vehicle and method thereof | |
| JP2010030524A (en) | Blind side indicator | |
| JP5157134B2 (en) | Attention guidance device and attention guidance method | |
| JP2007212342A (en) | Display device for vehicle | |
| JP6747349B2 (en) | Driving support device, driving support method and program | |
| JP2012237725A (en) | Display device for vehicle | |
| JP2022037773A (en) | Driving assist system | |
| JP2007148035A (en) | Image display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5196265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |