JP2018073275A - 画像認識装置 - Google Patents

Abstract

【課題】演算負荷を低減しながら、運転支援や自動運転において必要とされる情報を適切に認識する。【解決手段】車外を撮像するカメラ９が設けられた車両の画像認識装置１において、車外に存在する静止物体の三次元の位置情報が設定された三次元地図データ２と、車両と静止物体との相対位置および車両と静止物体との距離に基づいて、静止物体を画像認識処理の対象物として検出する検出部４と、車両の現在位置および三次元地図データ２に基づいて、カメラ９で撮像される撮像範囲の中から対象物が含まれる範囲を絞って認識範囲として設定する設定部５と、認識範囲内にのみ画像認識処理を施す処理部６と、を備える。【選択図】図１

Description

本発明は、車両外部（以下「車外」という）を撮像するカメラが設けられた車両の画像認識装置に関する。

従来、ドライバの運転操作の負担を軽減するための運転支援システムを搭載した車両が実用化されている。また、近年では、ドライバによる手動運転に代わって車両を自動的に走行させる自動走行システムの開発が進められている。運転支援システムや自動走行システムを搭載した車両には、車外の情報を取得するためのカメラが搭載される。カメラで撮像された画像には解析処理（画像認識処理）が施され、これにより車外に存在する物体が検出される（例えば特許文献１，２参照）。このような車両では、ドライバに代わってリアルタイムで道路状況や障害物等を把握することが重要となるため、搭載されるカメラは幅広い範囲を撮像できるものであることが望ましい。

特開２０１３−２１８５７１号公報 特開２０１２−２１０８６４号公報

しかしながら、従来の画像認識処理では、カメラで撮像される範囲全体に対して解析していることから、カメラの撮像範囲を拡大するとコンピュータの演算負荷が増大してしまう。一方で、撮像範囲が狭いと、運転支援や自動運転において必要とされる情報をコンピュータが認識できないおそれがある。

本件は、このような課題に鑑み案出されたもので、演算負荷を低減しながら、運転支援や自動運転において必要とされる情報を適切に認識することができるようにした画像認識装置を提供することを提供することを目的の一つとする。なお、この目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的である。

（１）ここで開示する画像認識装置は、車外を撮像するカメラが設けられた車両の画像認識装置であって、車外に存在する静止物体の三次元の位置情報が設定された三次元地図データと、前記車両と前記静止物体との相対位置および前記車両と前記静止物体との距離に基づいて、前記静止物体を画像認識処理の対象物として検出する検出部と、前記車両の現在位置および前記三次元地図データに基づいて、前記カメラで撮像される撮像範囲の中から前記対象物が含まれる範囲を絞って認識範囲として設定する設定部と、前記認識範囲内にのみ前記画像認識処理を施す処理部と、を備えたことを特徴としている。

（２）ＳＬＡＭ技術を用いて前記現在位置を推定する推定部を備え、前記検出部は、推定された前記現在位置と前記静止物体の前記位置情報とを用いて、前記相対位置および前記距離を算出することが好ましい。
（３）前記設定部は、推定された前記現在位置と前記対象物の前記位置情報と前記カメラの取り付け角度と前記カメラの画角とに基づいて、前記対象物が含まれる範囲を算出することが好ましい。
（４）前記設定部は、前記対象物が含まれる範囲の最小値を最小範囲として算出するとともに、前記最小範囲を所定割合だけ拡張した範囲を前記認識範囲として設定することが好ましい。

対象物が含まれる範囲を絞って画像認識処理を施す範囲（認識範囲）を設定するため、演算負荷を低減しながら画像認識処理の対象物を適切に認識することができる。

実施形態に係る画像認識装置を例示するブロック図である。 フロントカメラで撮像される撮像範囲に対象物が含まれる場合を例示した模式図である。 図１の画像認識装置により実施される制御内容を例示するフローチャートである。

図面を参照して、実施形態としての画像認識装置について説明する。以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。

［１．構成］
図１に示すように、画像認識装置１は、車両（「自車両」ともいう）に搭載された電子制御装置（コンピュータ）であり、車両に搭載されたカメラ９Ａ〜９Ｄで撮像された車外の画像を認識するものである。本実施形態の車両には、車両前方，車両後方，車両左側方，車両右側方のそれぞれを撮像するフロントカメラ９Ａ，リヤカメラ９Ｂ，左サイドカメラ９Ｃ，右サイドカメラ９Ｄが設けられる。以下、これらを総称してカメラ９と呼ぶ。

カメラ９は、車外の画像（静止画や動画）を撮影する撮像装置であり、例えば撮像素子〔ＣＣＤ（Charge-Coupled Device），ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）など〕を内蔵したビデオカメラである。車外に存在する様々な物体は、カメラ９で撮影された画像に解析処理（画像認識処理）を施すことによって検出される。各カメラ９Ａ〜９Ｄで撮像される撮像範囲は、各カメラ９Ａ〜９Ｄの配置，車体に対する取り付け角度（向き），各カメラ９Ａ〜９Ｄの画角などによって決まる。

画像認識装置１には、プロセッサ（中央処理装置），メモリ（メインメモリ，主記憶装置），補助記憶装置，インタフェース装置，記録媒体ドライブなどが内蔵される。画像認識装置１の入力側にはカメラ９が接続される。また、画像認識装置１の出力側には、例えば車両を統合制御する電子制御装置（図示略）が接続される。画像認識装置１によって認識（検出）された結果はこの電子制御装置に伝達され、例えば操舵装置，制動装置，駆動装置，ディスプレイ，スピーカ，方向指示器など（いずれも図示略）の制御（運転支援制御や自動運転制御）において利用される。

画像認識装置１には、３Ｄ地図データ２（三次元地図データ），推定部３，検出部４，設定部５，処理部６が設けられる。３Ｄ地図データ２を除いた要素３〜６は、画像認識装置１の機能を便宜的に分類して示したものであり、個々の要素を独立したプログラムとして記述してもよいし、これらの機能を兼ね備えた複合プログラムとして記述してもよい。これらのプログラムは、メモリや補助記憶装置に記憶され、プロセッサによって実行される。あるいは、これらのプログラムが光ディスクや半導体メモリなどの記録媒体（リムーバブルメディア）に記録され、記録媒体ドライブを介してメモリ上に読み込まれた上で実行される。

３Ｄ地図データ２は、車外に存在する静止物体の三次元の位置情報（地理座標情報）が設定された詳細な地図データであり、メモリや補助記憶装置に記憶されている。静止物体としては、例えば道路標識，道路標示，信号機，電柱，電光掲示板，建物などが挙げられる。また、位置情報は、静止物体の位置を地理座標〔（経度，緯度，高さ）の組合せ〕で表現した情報であり、静止物体ごとに与えられる。例えば、一つの地理座標（X,Y,Z）が１[cm³]のピクセルを表現する場合には、一つの静止物体には複数組の地理座標が位置情報として与えられる。

推定部３は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて車両の現在位置を推定するものである。ＳＬＡＭ技術とは、自己位置推定と環境地図作成とを同時に行う従来周知の技術である。推定部３は、例えば車両に設けられたレーザスキャナ等のセンサを用いて周囲をスキャンすることで地図を作成すると同時に、その地図上のどこに自車両が存在するのかを推定する。つまり推定部３は、車両が走行している走行レーンも推定（特定）する。

本実施形態の推定部３は、推定した自車両の位置（自車両の重心位置や車両前端部中央の位置など）を地理座標で表す。また、ＳＬＡＭ技術を用いることで、ＧＰＳを用いる場合と比較して車両の現在位置が高精度に推定される。推定部３は、推定した車両の現在位置の情報（地理座標）を走行レーンの情報（以下「レーン情報」という）とともに検出部４および設定部５へ伝達する。

検出部４は、車両と静止物体との相対位置および車両と静止物体との距離Ｅに基づいて、静止物体を画像認識処理の対象物として検出するものである。つまり、検出部４は、車外に存在するあらゆる静止物体の中から、画像認識処理を行う必要性の高い物体を「対象物」として検出する。なお、検出部４は、異なる複数の対象物を同時に検出してもよい。

本実施形態の検出部４は、推定部３で推定された車両の現在位置の情報およびレーン情報と３Ｄ地図データ２に含まれる静止物体の位置情報とを用いて、車両に対する静止物体の位置（相対位置）および車両と静止物体との距離Ｅを算出する。そして、例えば自車両の走行レーン上に存在し、かつ、自車両との距離Ｅが第一所定値Ｅ₁以上かつ第二所定値Ｅ₂（但し、Ｅ₁＜Ｅ₂）以下の静止物体（所定範囲内の静止物体）を対象物として検出する。なお、車両走行中は、車両と静止物体との距離Ｅが時々刻々と変化することから、検出部４は、同一の静止物体（例えば信号機）を対象物として何度も検出しうる。ただし、この静止物体との距離Ｅが第一所定値Ｅ₁未満になった場合には、この静止物体を対象物から除外する。

本実施形態の検出部４は、静止物体の種類も考慮して対象物を検出する。画像認識装置１には上記の３Ｄ地図データ２が記憶されていることから、位置情報以外の情報を持つ静止物体のみを画像認識処理の対象物とすることで、演算負荷が低減される。位置情報以外の情報を持つ静止物体としては、例えば信号機や電光掲示板のように表示内容が変化する物体や、道路標示のように劣化している可能性のある物体（例えば消えかかった白線など）が挙げられる。なお、検出部４で検出する対象物の優先順位を予め設定しておいてもよい。検出部４は、検出した対象物を設定部５へ伝達する。

設定部５は、推定部３で推定された車両の現在位置および３Ｄ地図データ２に基づいて、カメラ９で撮像される撮像範囲の中から、検出部４で検出された対象物が含まれる範囲を絞って認識範囲として設定するものである。ここで設定される認識範囲は、処理部６において画像認識処理が施される範囲である。つまり、本実施形態の画像認識装置１は、画像認識処理を、カメラ９で撮像される撮像範囲全体に対して施すのではなく、撮像範囲の一部（認識範囲）にのみ施す。これにより、演算負荷が大幅に低減される。なお、複数の対象物が同時に検出された場合には、カメラ９で撮像される撮像範囲の中に複数の認識範囲が設定される。

本実施形態の設定部５は、推定部３で推定された車両の現在位置，対象物の位置情報，カメラ９の取り付け角度，カメラ９の画角に基づいて、撮像範囲の中から対象物が含まれる範囲を算出する。例えば、設定部５は、推定部３で推定された車両の現在位置と各カメラ９Ａ〜９Ｄの取り付け角度および画角とを使ってカメラ９Ａ〜９Ｄごとの撮像範囲を算出し、算出した撮像範囲のどの位置に対象物が現れるかを対象物の位置情報を使って算出する。なお、対象物の位置情報は３Ｄ地図データ２から取得され、各カメラ９Ａ〜９Ｄの取り付け角度および画角は予め画像認識装置１に記憶されている。対象物が含まれる範囲は、例えば対象物全体を囲んだ矩形状として算出される。

さらに本実施形態の設定部５は、対象物が含まれる範囲の最小値（対象物の外形線に相当する範囲）を最小範囲として算出するとともに、この最小範囲を所定割合だけ拡張した範囲を認識範囲として設定する。これにより、推定部３による推定誤差やカメラ９の取り付け角度の誤差（予め記憶された値からのずれ）などを加味した認識範囲が設定される。なお、所定割合は予め設定されていてもよいし、車両と対象物との距離に応じて変化する可変値であってもよい。例えば、所定割合を、車両と対象物との距離が遠いほど小さくし、車両と対象物との距離が近いほど大きくしてもよい。

ここで、フロントカメラ９Ａによって撮像される撮像範囲の一例を図２に示す。なお、図２に示す車両前方の風景はドライバから見える風景であり、フロントカメラ９Ａで撮像された画像を画像認識装置１が認識した結果を示すものではない。撮像範囲内には、例えば、走行レーン１０，対向レーン１１，走行レーン側の信号機１２，対向レーン側の信号機１３，横断歩道１４，街路樹１５，建物１６などの静止物体が含まれる。３Ｄ地図データ２には、これらの静止物体の位置情報が設定されている。なお、撮像範囲には歩行者や他車両なども含まれうるが、動く物体は３Ｄ地図データ２に位置情報が設定されていないため、本実施形態の画像認識装置１の対象物からは除外される。

推定部３により自車両の現在位置および走行レーン１０が推定されると、検出部４によって、例えば、走行レーン１０上に存在し、かつ、自車両との距離が所定範囲内である信号機１２が対象物として検出される。この場合、設定部５によって、図中一点鎖線で示すように対象物（信号機１２）が含まれる範囲の最小値が最小範囲Ａとして算出される。さらに、最小範囲Ａを所定割合だけ拡張した範囲（図中破線）が認識範囲Ｂとして設定される。

処理部６は、設定部５で設定された認識範囲にのみ画像認識処理を施すものである。画像認識処理の具体的な手法は特に限定されず、一般的に知られている手法（例えば、認識範囲内の画像にフィルタ処理や二値化処理を施すとともに、エッジ検出処理，色彩解析処理，パターンマッチング処理などを施す手法）が採用される。なお、処理部６は、設定部５によって複数の認識範囲が同時に設定された場合（例えば車両前方および車両左側方）に、各認識範囲に対して同時に画像認識処理を施してもよいし、カメラ９Ａ〜９Ｄのそれぞれに対応する処理部６Ａ〜６Ｄを画像認識装置１に設けて、処理を分担してもよい。

［２．フローチャート］
図３は、上述した画像認識装置１によって実施される制御内容の一例を示すフローチャートである。このフローチャートは、例えば車両の電源がオンの場合に所定の演算周期で実施される。
図３に示すように、まず、推定部３によって車両の現在位置および走行レーンが推定される（ステップＡ１）。次いで、検出部４によって静止物体ごとに相対位置および距離が算出され（ステップＡ２）、静止物体の中から対象物が検出される（ステップＡ３）。

対象物が検出されたら、設定部５によって最小範囲が算出されるとともに（ステップＡ４）、この最小範囲を所定割合だけ拡張した認識範囲が設定される（ステップＡ５）。そして、処理部６によって認識範囲にのみ画像認識処理が施され（ステップＡ６）、その結果が出力されて（ステップＡ７）、このフローをリターンする。

［３．効果］
（１）上述した画像認識装置１では、カメラ９で撮像される撮像範囲全体に対して画像認識処理を施すのではなく、画像認識処理を施す範囲（認識範囲）を対象物が含まれる範囲に絞る。このため、撮像範囲全体に対して処理する場合と比較して、処理部６（画像認識装置１）の演算負荷を大幅に低減することができ、画像認識処理の対象物を適切に認識することができる。

（２）また、ＳＬＡＭ技術を用いて車両の現在位置を推定し、この現在位置と静止物体の位置情報（地理座標）とから車両と静止物体との相対位置および距離を算出して対象物を検出するため、対象物を精度よく検出することができる。
（３）さらに、推定された車両の現在位置と、３Ｄ地図データ２に含まれる対象物の位置情報と、カメラ９の取り付け角度および画角とに基づいて、対象物が含まれる範囲が算出されるので、認識範囲を精度よく設定することができる。

（４）また、対象物が含まれる範囲の最小値を最小範囲として算出し、この最小範囲を所定割合だけ拡張した範囲を認識範囲として設定することで、推定誤差やカメラ９の取り付け誤差や車両の挙動によってカメラ９の向きに影響があったとしても、対象物を認識範囲内に含ませることができるため、対象物に対し画像認識処理を確実に行うことができる。

［４．その他］
以上、本発明の実施形態および変形例を説明したが、本発明は上述した実施形態等に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。例えば、設定部５が、対象物が含まれる範囲を算出する際に所定マージンを持たせて算出し、その範囲を認識範囲として設定してもよい。つまり、最小範囲を算出して所定割合だけ拡張させるのではなく、予め対象物が含まれる範囲を大きめに算出する構成としてもよい。なお、推定精度を向上させて最小範囲を認識範囲に設定する構成としてもよい。また、推定部３がＳＬＡＭ技術を用いる代わりに、ＧＰＳを用いて現在位置を推定してもよい。なお、カメラ９の個数や配置は特に限られない。

１ 画像認識装置
２ ３Ｄ地図データ（三次元地図データ）
３ 推定部
４ 検出部
５ 設定部
６ 処理部
９ カメラ

Claims (4)

1. 車外を撮像するカメラが設けられた車両の画像認識装置であって、
   車外に存在する静止物体の三次元の位置情報が設定された三次元地図データと、
   前記車両と前記静止物体との相対位置および前記車両と前記静止物体との距離に基づいて、前記静止物体を画像認識処理の対象物として検出する検出部と、
   前記車両の現在位置および前記三次元地図データに基づいて、前記カメラで撮像される撮像範囲の中から前記対象物が含まれる範囲を絞って認識範囲として設定する設定部と、
   前記認識範囲内にのみ前記画像認識処理を施す処理部と、を備えた
   ことを特徴とする、画像認識装置。
2. ＳＬＡＭ技術を用いて前記現在位置を推定する推定部を備え、
   前記検出部は、推定された前記現在位置と前記静止物体の前記位置情報とを用いて、前記相対位置および前記距離を算出する
   ことを特徴とする、請求項１記載の画像認識装置。
3. 前記設定部は、推定された前記現在位置と前記対象物の前記位置情報と前記カメラの取り付け角度と前記カメラの画角とに基づいて、前記対象物が含まれる範囲を算出する
   ことを特徴とする、請求項２記載の画像認識装置。
4. 前記設定部は、前記対象物が含まれる範囲の最小値を最小範囲として算出するとともに、前記最小範囲を所定割合だけ拡張した範囲を前記認識範囲として設定する
   ことを特徴とする、請求項１〜３のいずれか１項に記載の画像認識装置。

Images