JP4635695B2 - 画像認識装置及び画像認識方法 - Google Patents

Description

本発明は、標識などの画像認識に用いられる画像認識装置及び画像認識方法に関するものである。

従来、画像データに基づき認識対象物を認識する装置として、特開２００１−２２２６８０号公報に記載されるように、カラーカメラで車両のナンバープレートを撮影し、そのカラー画像データに基づいてナンバープレートの表示内容とナンバープレートの色を判別するものが知られている。この装置は、ナンバープレートのプレート面が白色である場合に、その色情報の基づいてカラーカメラのホワイトバランスを調整しようとするものである。
特開２００１−２２２６８０号公報

このような装置にあっては、認識対象物が道路標識などである場合、様々な形状、模様のものがあり、そのプレート面からホワイトバランスの基準を取ることが困難である。また、プレートの地色が赤色、青色又は黄色のものがほとんどであり、白色のプレート面の画像データに基づいてホワイトバランスを調整することが困難である。このホワイトバランス調整を行わずに、道路標識など屋外の認識対象物について画像認識しようとすると、天候、季節又は時刻などによって画像の色温度が異なることから、認識対象物を精度よく認識することができない。

そこで本発明は、認識対象物の特定部分の画像データに基づいて色補正を行うことにより、認識精度の向上が図れる画像認識装置及び画像認識方法を提供することを目的とする。

すなわち、本発明に係る画像認識装置は、認識対象物を撮像するための撮像手段と、予めテンプレートを記憶しているデータベースと、前記撮像手段により撮像した撮像画像から前記データベースに記憶されたテンプレートとの相関値が第一相関しきい値以上であるものを認識対象物候補として抽出する抽出手段と、前記抽出手段により抽出した前記認識対象物候補について前記認識対象物の特定領域に対応する部分が前記特定領域の本来の色になるように色補正を行う補正手段と、前記認識対象物候補を抽出する際に用いたテンプレートを用いてパターン認識を行い、前記補正手段により色補正した前記認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを前記認識対象物と判断する判断手段とを備えて構成され、前記第一相関しきい値は前記第二相関しきい値よりも低く設定されている。

この発明によれば、撮像画像からデータベースに記憶されたテンプレートとの相関値が第二相関しきい値よりも低くされた第一相関しきい値以上であるものを認識対象物候補として抽出し、その抽出した認識対象物候補について認識対象物の特定領域に対応する部分が特定領域の本来の色になるように認識対象物候補を色補正し、認識対象物候補を抽出する際に用いたテンプレートを用いてパターン認識を行い、その色補正した認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを認識対象物と判断する。これにより、認識対象物候補が認識対象物であった場合には、色補正により認識対象物候補が本来の色合いに補正され、認識対象物に近似したものとなる。一方、認識対象物候補が認識対象物でない場合には、色補正により認識対象物候補が認識対象物とかけ離れたものとなる。従って、認識対象物候補が認識対象物であるか否かを正確に識別することができ、精度よく認識対象物の認識が行える。

また本発明に係る画像認識装置は、前記色補正に用いた補正値に基づいて前記撮像手段の撮像の色調整を行う調整手段を備えることが好ましい。

この発明によれば、撮像した認識対象候補の色補正に用いた補正値に基づいて撮像手段の撮像の色調整を行うことにより、撮像手段が撮影する画像について撮影環境の影響を低減したものとすることができる。このため、認識対象物を本来の色合いのものとして撮像することができ、画像認識の精度向上が図れる。

また本発明に係る画像認識装置は、前記認識対象物として道路標識を認識するものであることが好ましい。

また本発明に係る画像認識方法は、撮像手段によって撮像した撮像画像からデータベースに記憶されたテンプレートとの相関値が第一相関しきい値以上であるものを認識対象物候補として抽出する抽出工程と、前記抽出工程にて抽出した前記認識対象物候補について前記認識対象物の特定領域に対応する部分が前記特定領域の本来の色になるように色補正を行う補正工程と、前記抽出工程にて用いたテンプレートを用いてパターン認識を行い、前記補正工程にて色補正した前記認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを前記認識対象物と判断する判断工程とを備えて構成され、前記第一相関しきい値は前記第二相関しきい値よりも低く設定されている。

この発明によれば、撮像画像からデータベースに記憶されたテンプレートとの相関値が第二相関しきい値よりも低くされた第一相関しきい値以上であるものを認識対象物候補として抽出し、その抽出した認識対象物候補について認識対象物の特定領域に対応する部分が特定領域の本来の色になるように認識対象物候補を色補正し、認識対象物候補を抽出する際に用いたテンプレートを用いてパターン認識を行い、その色補正した認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを認識対象物と判断する。これにより、認識対象物候補が認識対象物であった場合には、色補正により認識対象物候補が本来の色合いに補正され、認識対象物に近似したものとなる。一方、認識対象物候補が認識対象物でない場合には、色補正により認識対象物候補が認識対象物とかけ離れたものとなる。従って、認識対象物候補が認識対象物であるか否かを正確に識別することができ、精度よく認識対象物の認識が行える。

また本発明に係る画像認識方法は、前記認識対象物として道路標識を認識するものであることが好ましい。

本発明によれば、認識対象物の特定部分の画像データに基づいて色補正を行うことにより、精度よく画像認識を行うことができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る画像認識装置の構成概要図である。

図１に示すように、本実施形態に係る画像認識装置１は、撮影した画像に認識対象物があるか否かを画像認識する装置であり、例えば車両に搭載される。この画像認識装置１は、カメラ２、画像処理部３及びデータベース４を備えて構成されている。カメラ２は、認識対象物を撮影するための撮影手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。このカメラ２は、カラー画像を撮影可能なものが用いられる。

画像処理部３は、カメラ２と接続されており、カメラ２で撮影した撮影画像を入力し、その撮影画像を画像処理し、撮影画像内の認識対象物を認識処理する画像処理手段である。この画像処理部３は、例えば、画像取込部３１、標識認識部３２、相関しきい値設定部３３、結果出力部３４、ＲＧＢ輝度比導出部３５、色補正パラメータ導出部３６、画像色補正部３７、ホワイトバランス補正パラメータテーブル３８、カメラホワイトバランス制御部３９を機能的に備えている。

画像取込部３１は、カメラ２で撮影した画像を取り込むものである。標識認識部３２は、抽出画像、色補正画像の認識処理を行うものである。相関しきい値設定部３３は、画像抽出及び画像認識を行う際の第一相関しきい値Ｔ１及び第二相関しきい値Ｔ２を設定するものである。結果出力部３４は、認識結果を装置外部に出力するものであり、例えば表示装置やスピーカなどが用いられる。

ＲＧＢ輝度比導出部３５、撮影画像内の標識候補における特定領域のＲＧＢの輝度比を導出するものである。色補正パラメータ導出部３６は、標識候補の特定領域を本来の色合いに補正するための補正パラメータを導出するものである。画像色補正部３７は、色補正パラメータに基づいて標識候補を色補正するものである。ホワイトバランス補正パラメータテーブル３８は、カメラ２のホワイトバランス補正パラメータを記憶する記録手段として機能するものである。カメラホワイトバランス制御部３９は、カメラ２に対しホワイトバランスを調整するためのゲイン値を出力し、カメラ２のホワイトバランス調整を行うものである。

データベース４は、認識対象物の画像データを複数記録するための記録手段として機能するものである。このデータベース４は、画像処理部３と接続され、画像処理部３と画像データの入出力が可能となっている。データベース４には、認識対象物である各種の標識のテンプレートデータが記録されている。

次に、本実施形態に係る画像認識装置の動作及び画像認識方法について説明する。

図２は本実施形態に係る画像認識装置の基本的動作及び画像認識方法を示すフローチャートである。この図２の制御処理は、例えば画像処理部３によって実行される。

まず、図２のＳ１０に示すように、カラー画像の取得処理が行われる。この処理は、カメラ２から出力される画像信号を画像処理部３に取り込んでカラー画像を読み込む処理である。カラー画像は、車両の周囲を撮影した画像であり、デジタル画像として記憶される。カメラ２から出力される画像信号がデジタル化されていない場合には、画像処理部３においてアナログ−デジタル変換（Ａ／Ｄ変換）を行えばよい。

そして、Ｓ１２に移行し、相関しきい値が第一相関しきい値Ｔ１に設定される。そして、標識候補の抽出処理が行われる（Ｓ１４）。標識候補の抽出処理は、第一段階の標識認識と言うべき処理であって、認識対象物である標識の候補を撮影したカラー画像から抽出する処理である。この抽出処理は、第一相関しきい値Ｔ１を用いて行われる。例えば、第一相関しきい値Ｔ１を用いたパターン認識により行われる。より具体的には、ＲＧＢ輝度情報であるカラー画像がＨＳＩ変換により色相、彩度、明度の情報に変換した画像とされ、予め用意されたテンプレートを用いたパターン認識が行われ、第一相関しきい値Ｔ１以上の相関値を有するものが標識候補として抽出される。

その際、第一相関しきい値Ｔ１が緩く設定されているので、認識対象物を抽出し損ねることが防止される。しかしながら、認識すべきものと異なるものを抽出する可能性が高くなる。例えば、図３に示すように、認識対象物として自動車通行止めの標識が設定され、その自動車通行止めの標識がテンプレート４１として設定されている場合、標識候補として自動車通行止めの標識候補４２と消防水利の標識候補４３が抽出される。これらの標識候補４２、４３の画像は、撮影環境の影響により、例えば青味がかった画像となっている。

そして、図２のＳ１６に移行し、抽出した標識候補が白領域をもつ標識であるか否かが判断される。ここで白領域とは、認識対象物における特定の領域を意味する。図３においては、テンプレート４１の自動車通行止めの標識が白い領域をもっているので、Ｓ１６において白い標識を持つものであると判断される。

Ｓ１６において、抽出した標識候補が白領域をもつ標識でないと判断されたときには、Ｓ２４に移行する。一方、Ｓ１６において、抽出した標識候補が白領域をもつ標識であると判断されたときには、標識候補の白領域の抽出処理が行われる（Ｓ１８）。図４に示すように、テンプレート４１において白領域が予め白領域４１ａとして設定されている。この白領域などの特定の色彩の領域は、記憶されるテンプレートごとに予め設定されている。白領域が存在しない標識については、赤領域など他の色領域を特定の領域と設定すればよい。

白領域の抽出処理は、図４に示すように、標識候補４２、４３において、テンプレート４１の白領域４１ａに対応する部分４２ａ、４３ａの画像４２ｂ、４３ｂを抽出して行われる。

そして、Ｓ２０に移行し、ホワイトバランス補正パラメータ導出処理が行われる。この処理は、Ｓ１８で抽出した白領域対応の画像４２ｂ、４３ｂに基づいて標識候補４２、４３を本来の色合いに補正するための補正式を導出する処理である。

例えば、画像４２ｂに基づいて補正式を導出する場合、画像４２ｂの画素数をＮ、画素の赤輝度値をＲｉ、画素の緑輝度値をＧｉ、画素の青輝度値をＢｉとすると、画像４２ｂの平均輝度Ｉｍｋは、Σ（Ｒｉ＋Ｇｉ＋Ｂｉ）／Ｎとなる。そして、赤の平均輝度をＲｍｋ、緑の平均輝度をＧｍｋ、青の平均輝度をＢｍｋとすると、赤輝度の補正量ＲｃｋはＩｍｋ−Ｒｍｋ、緑輝度の補正量ＧｃｋはＩｍｋ−Ｇｍｋ、赤輝度の補正量ＢｃｋはＩｍｋ−Ｂｍｋとなる。これに基づき、赤輝度補正式はＲｉ′＝Ｒｉ＋Ｒｃｋ、緑輝度補正式はＧｉ′＝Ｇｉ＋Ｇｃｋ、青輝度補正式はＢｉ′＝Ｂｉ＋Ｂｃｋとなる。

そして、Ｓ２２に移行し、標識候補４２、４３のホワイトバランス補正処理が行われる。このホワイトバランス補正処理は、標識候補４２、４３について白領域対応の画像４２ｂ、４３ｂが本来の色になるように色補正する処理である。具体的には、Ｓ２０で導出した補正式を用いて標識候補４２、４３の色補正が行われる。

図６は、標識候補４２、４３の色補正を行った結果を示した図である。

色補正前の標識候補４２、４３は、いずれも青味がかった色合いである。標識候補４２は、画像４２ｂに基づいて色補正を行った結果、色補正画像４２ｃに変換される。色補正画像４２ｃは、標識本来の色合いに補正されており、青味が無くなった画像となっている。これに対し、標識候補４３は、画像４３ｂに基づいて色補正を行った結果、色補正画像４３ｃに変換される。色補正画像４３ｃは、標識本来の色合いになっておらず、青味が減少されるものの赤味が強調された画像となっている。これは、標識候補４３が認識すべき標識、すなわちテンプレート４１と異なることに起因するものである。

そして、Ｓ２４に移行し、相関しきい値が第二相関しきい値Ｔ２に設定される。第二相関しきい値Ｔ２は、第一相関しきい値Ｔ１より大きい値に設定される。そして、標識認識処理が行われる（Ｓ２６）。標識認識処理は、第二段階の標識認識と言うべき処理であって、色補正した標識候補が認識対象物であるか否かを判断する処理である。この標識認識処理は、第二相関しきい値Ｔ２を用いて行われる。例えば、第二相関しきい値Ｔ２を用いたパターン認識により行われる。より具体的には、ＲＧＢ輝度情報である色補正画像４２ｃ、４３ｃがＨＳＩ変換により色相、彩度、明度の情報に変換した画像とされ、テンプレート４１に対するパターン認識が行われ、第二相関しきい値Ｔ２以上の相関値を有するか否かに基づきその画像がテンプレート４１の標識であるか否かが判断される。

その際、第二相関しきい値Ｔ２が第一相関しきい値Ｔ１より高く設定されているので、認識対象物以外のものを認識対象物であると誤認することを抑制できる。そして、色補正により、認識対象物である標識候補は認識対象物に近い画像になり、認識対象物でない標識候補は認識対象物にかけ離れた画像になる。このため、標識候補が認識対象物であるか否かを正確に識別することができ、精度よく認識対象物の認識が行える。

そして、Ｓ２８に移行し、標識候補を認識対象物であるとして認識できたか否かが判断される。認識できなかった場合には、Ｓ３４に移行する。一方、認識できた場合には、ホワイトバランス補正パラメータの一時記録が行われる（Ｓ３０）。そして、Ｓ３２に移行し、認識結果の出力処理が行われる。この認識結果の出力処理は、認識結果を表示や音声などにより出力する処理である。例えば、図示しない表示装置により認識対象物を認識した旨を表示する。また、図示しないスピーカーにより認識対象物を認識した旨を音声やブザーなどにより報知する。

そして、Ｓ３４に移行し、抽出した全ての標識候補について認識処理し終えたか否かが判断される。すなわち、Ｓ１４にて抽出されたすべての標識候補についてＳ１６〜３２の一連の制御処理を終えたか否かが判断される。Ｓ３４にて全ての標識候補について認識処理し終えていないと判断されたときには、Ｓ１６に戻る。

一方、Ｓ３４にて全ての標識候補について認識処理し終えたと判断されたときには、カメラ用ホワイトバランス補正パラメータ導出処理が行われる（Ｓ３６）。カメラ用ホワイトバランス補正パラメータ導出処理は、カメラ２におけるホワイトバランス補正用のパラメータを導出する処理であり、撮影環境に対し標識認識しやすいようにホワイトバランスを調整するためのパラメータの導出が行われる。例えば、Ｓ３０にて一時記録しておいた標識領域のパラメータを用いて画像全体のホワイトバランスを補正するパラメータが導出される。画像全体のホワイトバランス補正パラメータの導出式は、次の式（１）〜（３）に示す通りである。

式（１）において、Ｒｃは画像全体の赤輝度補正量、Ｒｃｋは標識領域における赤輝度補正量である。また、式（２）において、Ｇｃは画像全体の緑輝度補正量、Ｇｃｋは標識領域における緑輝度補正量である。また、式（３）において、Ｂｃは画像全体の青輝度補正量、Ｂｃｋは標識領域における青輝度補正量である。更に、式（１）〜（３）において、Ｎｋは、認識した標識に存在する白色部分の画素数である。

そして、Ｓ３８に移行し、カメラ用ホワイトバランス補正パラメータ書込処理が行われる。カメラ用ホワイトバランス補正パラメータ書込処理は、Ｓ３６で導出した赤、緑、青の輝度補正量Ｒｃ、Ｇｃ、Ｂｃをカメラ用ホワイトバランス補正パラメータテーブルに書き込む処理である。そして、制御処理を終了する。

次に本実施形態に係る画像認識装置及び画像認識方法におけるカメラホワイトバランス補正について説明する。

図７は本実施形態に係る画像認識装置及び画像認識方法におけるカメラホワイトバランス補正を示すフローチャートである。この図７の制御処理は、例えば画像処理部３によって実行される。

まず、図７のＳ７０に示すように、カメラ用ホワイトバランス補正パラメータテーブル読込処理が行われる。カメラ用ホワイトバランス補正パラメータテーブル読込処理は、カメラ用ホワイトバランス補正パラメータテーブルに書き込まれた赤、緑、青の輝度補正量Ｒｃ、Ｇｃ、Ｂｃを読み込む処理である。

そして、Ｓ７２に移行し、カメラゲイン調整処理が行われる。カメラゲイン調整処理は、赤、緑、青の輝度補正量Ｒｃ、Ｇｃ、Ｂｃを用いてカメラゲイン値を算出し、そのゲイン値をカメラ２に出力してカメラゲインを調整する処理である。

カメラ赤ゲイン値Ｒｇ′は、調整前のゲイン値をＲｇ、ゲイン係数をＫｒとすると、Ｒｇ＋Ｋｒ・Ｒｃとして算出される。また、カメラ緑ゲイン値Ｇｇ′は、調整前のゲイン値をＧｇ、ゲイン係数をＫｇとすると、Ｇｇ＋Ｋｇ・Ｇｃとして算出される。また、カメラ青ゲイン値Ｂｇ′は、調整前のゲイン値をＢｇ、ゲイン係数をＫｂとすると、Ｂｇ＋Ｋｂ・Ｂｃとして算出される。なお、ゲイン係数Ｋｒ、Ｋｇ、Ｋｂはカメラ２の固有な値であり、カメラ２のゲイン特性に応じて設定される。

このようなカメラゲイン調整により、カメラ２で撮影されるカラー画像が標識を認識しやすいようにホワイトバランスが調整される。これにより、標識認識の精度が向上する。

以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、撮像画像から標識候補を抽出し、その標識候補について認識対象物の特定領域に対応する部分が特定領域の本来の色になるように標識を色補正し、その色補正した標識候補が認識対象物であるか否かを判断する。これにより、標識候補が認識対象物であった場合には、色補正により標識候補が本来の色合いに補正され、認識対象物に近似したものとなる。一方、標識候補が認識対象物でない場合には、色補正により標識候補が認識対象物とかけ離れたものとなる。従って、標識候補が認識対象物であるか否かを正確に識別することができ、精度よく認識対象物の認識が行える。

また、標識候補を抽出するための第一相関しきい値Ｔ１を標識候補が認識対象物であるか否かを判断するための第二相関しきい値Ｔ２より低く設定することにより、標識候補を抽出し損ねることが防止でき、標識の検出の見落としが防止できる。

また、色補正に用いた補正値に基づいてカメラ２の撮像の色調整を行うことにより、カメラ２が撮影する画像について撮影環境の影響を低減したものとすることができる。このため、認識対象物を本来の色合いのものとして撮像することができ、画像認識の精度向上が図れる。

なお、本実施形態では、標識の白領域が本来の色合いとなるように色補正を行い、ホワイトバランスを調整する場合について説明したが、本発明に係る画像認識装置及び画像認識方法はそのようなものに限られるものではなく、標識の白領域以外の特定の色領域、例えば赤領域が本来の色合いとなるように色補正を行うものであってもよい。

また、本実施形態では、道路上の道路標識を認識する場合について説明したが、本発明に係る画像認識装置及び画像認識方法はこのようなものに限られるものではなく、標識以外のものを画像認識する場合に適用してもよい。

本発明の実施形態に係る画像認識装置の構成概要図である。 本発明の実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。 図１の画像認識装置における標識候補抽出処理の説明図である。 図１の画像認識装置における標識における色領域の説明図である。 図１の画像認識装置における色領域抽出処理の説明図である。 図１の画像認識装置における標識認識処理の説明図である。 本発明の実施形態に係る画像認識装置の動作及び画像認識方法におけるカメラホワイトバランス補正を示すフローチャートである。

符号の説明

１…画像認識装置、２…カメラ（撮像手段）、３…画像処理部、４…データベース（記録手段）。

Claims (5)

1. 認識対象物を撮像するための撮像手段と、
   予めテンプレートを記憶しているデータベースと、
   前記撮像手段により撮像した撮像画像から前記データベースに記憶されたテンプレートとの相関値が第一相関しきい値以上であるものを認識対象物候補として抽出する抽出手段と、
   前記抽出手段により抽出した前記認識対象物候補について前記認識対象物の特定領域に対応する部分が前記特定領域の本来の色になるように色補正を行う補正手段と、
   前記認識対象物候補を抽出する際に用いたテンプレートを用いてパターン認識を行い、前記補正手段により色補正した前記認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを前記認識対象物と判断する判断手段と、を備え、
   前記第一相関しきい値は前記第二相関しきい値よりも低く設定されていること、
   を特徴とする画像認識装置。
2. 前記色補正に用いた補正値に基づいて前記撮像手段の撮像の色調整を行う調整手段を備えたことを特徴とする請求項１に記載の画像認識装置。
3. 前記認識対象物として道路標識を認識するものであることを特徴とする請求項１又は２に記載の画像認識装置。
4. 撮像手段によって撮像した撮像画像からデータベースに記憶されたテンプレートとの相関値が第一相関しきい値以上であるものを認識対象物候補として抽出する抽出工程と、
   前記抽出工程にて抽出した前記認識対象物候補について前記認識対象物の特定領域に対応する部分が前記特定領域の本来の色になるように色補正を行う補正工程と、
   前記抽出工程にて用いたテンプレートを用いてパターン認識を行い、前記補正工程にて色補正した前記認識対象物候補のうち当該テンプレートとの相関値が第二相関しきい値以上であるものを前記認識対象物と判断する判断工程と、を備え、
   前記第一相関しきい値は前記第二相関しきい値よりも低く設定されていること、
   を特徴とする画像認識方法。
5. 前記認識対象物として道路標識を認識するものであることを特徴とする請求項４に記載の画像認識方法。

Images