JP4820771B2 - 標示体認識装置、標示体認識方法及び標示体認識プログラム - Google Patents

Description

本発明は、画像認識処理により標示体を認識する方法に関する。

カーナビゲーション装置やＰＣ上で動作して地図を表示するアプリケーションなどにおいて使用される地図データには、道路標識やコンビニエンスストアの看板等、道路に設置された標示体のデータが含まれている。このような標示体のデータは、実際の道路に設置された道路標識や看板を撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路標識の画像を撮影し、画像認識処理により道路標識を認識する例が特許文献１又は２に記載されている。

上記のような画像認識処理による標示体の認識は、現実に存在する標示体に対応するテンプレート（以下、「標示体パターン」と呼ぶ。）を用意し、これら標示体パターンと撮影した画像データとを形状パターンマッチングすることにより行われる。

特開２０００−１３２６６８号公報 特開２０００−２９３６７０号公報

しかし、従来の画像認識処理は、非一括処理であり、１枚の画像データに対して様々な標示体パターンによる形状パターンマッチングを複数回行っていた。そのため、処理時間が長くなり、誤認識が増加するという問題が生じていた。

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で効率的に標示体を認識すると共に、認識率を向上させることが可能な標示体認識方法を提供することを目的とする。

請求項１に記載の発明は、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段と、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶手段と、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段と、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段と、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段と、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段と、を備え、前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする。

請求項５に記載の発明は、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶工程と、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶工程と、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶工程と、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定工程と、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング工程と、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識工程と、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除工程と、を備え、前記マッチング領域設定工程は、前記認識済領域削除工程により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする。

請求項６に記載の発明は、コンピュータ上で実行される標示体認識プログラムであって、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶手段、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段、として前記コンピュータを機能させ、前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする。

本発明の好適な実施形態では、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段と、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、形状パターンマッチングによる各標示体パターンの認識率を認識率データとして記憶する認識率データ記憶手段と、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段と、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段と、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段と、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段と、を備え、前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定する。

上記の標示体認識装置は、予め画像データ記憶手段により、形状パターンマッチングの対象となる画像データが記憶されている。画像データは、例えば、道路に設置された標示体を撮影した画像データである。また、上記の標示体認識装置は、標示体パターン記憶手段により予め標示体パターンが記憶されており、認識率データ記憶手段により認識率データが記憶されている。標示体パターンは、画像データとの形状パターンマッチングの対象となる標示体のテンプレートである。認識率データは、事前に検証されたデータであって、形状パターンマッチングによって標示体を認識した場合の平均正解率のデータである。標示体認識装置のマッチング領域設定手段は、予め記憶されている画像データから抽出した１枚の画像データの全領域をマッチング領域に設定する。マッチング領域は、形状パターンマッチングの対象となる領域である。続いて、マッチング手段は、認識率データに基づいて認識率の高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行する。さらに、標示体認識手段は、形状パターンマッチングの結果に基づいて、マッチング領域内に存在する標示体を認識する。すると、認識済領域削除手段は、認識した標示体の領域を認識済領域としてマッチング領域から削除する。マッチング領域設定手段は、マッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定し、形状パターンマッチングによる標示体の認識処理を繰り返し行う。

これによれば、標示体認識装置は、認識率に基づいて標示体パターンの優先順位を設定し、優先順位の高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行している。即ち、誤認識の少ない標示体パターンから順に形状パターンマッチングを実行することで、標示体の認識を行っている。さらに、標示体認識装置は、認識した標示体の領域を認識済領域としてマッチング領域から削除していく。このように認識率の高い標示体パターンから順に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、認識率の向上及び認識処理の高速化を実現することができる。

上記標示体認識装置の一態様では、前記標示体パターン記憶手段は、認識対象の標示体パターンと、非認識対象の標示体パターンとを記憶している。これによれば、標示体認識手段は、マッチング領域内に存在する、認識対象の標示体パターンに対応する認識対象の標示体のみならず、非認識対象の標示体パターンに対応する認識対象でない標示体も認識することができる。よって、認識済領域削除手段は、認識対象でない標示体を認識した場合であっても、マッチング領域から当該標示体の領域を認識済領域として削除することができる。例えば、認識対象ではないが、認識対象である標示体と近似形状を有する標示体が存在する場合、その標示体に対応する標示体パターンを非認識対象の標示体パターンとして予め記憶しておく。すると、標示体認識装置は、非認識対象の標示体パターンに基づいて近似形状を有する標示体を認識した場合に、当該標示体の領域をマッチング領域から削除することができるため、当該標示体を認識対象である標示体と誤認識することを防止できる。このように、目的とする標示体以外の標示体を同時に使用することで、誤認識を防止し、認識率の向上を図ることができる。

上記標示体認識装置の他の一態様では、前記マッチング領域から前記標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段をさらに備え、前記マッチング領域設定手段は、前記カラー領域抽出手段により抽出されたカラー領域を新たなマッチング領域に設定する。これによれば、マッチング領域設定手段は、カラー領域抽出手段によりマッチング領域から抽出されたカラー領域を、新たなマッチング領域に設定する。そのため、マッチング手段は、認識率の高い標示体パターンから順に、新たなマッチング領域、即ちカラー領域との形状パターンマッチングを実行する。そして、標示体認識手段は、形状パターンマッチングの結果に基づいて、マッチング領域、即ちカラー領域内に存在する標示体を認識する。このように、標示体認識装置は、予め標示体パターン、即ち対応する標示体をベースカラーによりグループ分類し、色によりマッチング領域の絞込みをする。色によりマッチング領域の絞込みをすることで、認識率の向上及び認識処理の高速化を実現することができる。

上記標示体認識装置のさらに他の一態様では、前記標示体パターンを構成する基礎となるカラーは複数種類であって、前記カラー領域抽出手段が抽出したカラー領域を、前記マッチング領域から削除するカラー領域削除手段をさらに備え、前記マッチング領域設定手段は、前記カラー領域削除手段により前記マッチング領域から前記カラー領域を削除した残余領域を新たなマッチング領域に設定する。標示体パターンを構成する基礎となるカラーは複数種類であるため、マッチング領域設定手段は、認識対象パターンを構成する基礎となるカラーのカラー領域から、非認識パターンを構成する基礎となるカラーのカラー領域を削除した残余領域をマッチング領域に設定することができる。このように、標示体認識装置は、カラー領域抽出手段が抽出した複数のカラー領域を利用して、マッチング領域を効果的に絞り込むことで、認識率の向上及び認識処理の高速化を実現することができる。

本発明の他の実施形態では、標示体認識方法は、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶工程と、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶工程と、形状パターンマッチングによる各標示体パターンの認識率を認識率データとして記憶する認識率データ記憶工程と、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定工程と、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング工程と、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識工程と、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除工程と、を備え、前記マッチング領域設定工程は、前記認識済領域削除工程により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定する。このような標示体認識方法によっても、認識率の高い標示体パターンから順に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、認識率の向上及び認識処理の高速化を実現することができる。

本発明のさらに他の観点では、コンピュータ上で実行される標示体認識プログラムであって、形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段、形状パターンマッチングによる各標示体パターンの認識率を認識率データとして記憶する認識率データ記憶手段、１枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段、前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段、前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段、前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段、として前記コンピュータを機能させ、前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定する。このような標示体認識プログラムをコンピュータ上で実行することによっても、認識率の高い標示体パターンから順に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、認識率の向上及び認識処理の高速化を実現することができる。なお、この標示体認識プログラムは記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

[標示体認識装置]
図１は、本発明の実施例に係る標示体認識方法を適用した標示体認識装置１００の概略構成を示す図である。

本実施例において、標示体認識装置１００は、道路に設置された標示体を撮影した画像データと、現実に存在する標示体に対応するテンプレートである標示体パターンとを形状パターンマッチングすることにより標示体を認識する装置である。

標示体認識装置１００は、例えば、パーソナルコンピュータにより構成され、システムバス１１と、ＣＰＵ（Central Processing Unit）１２と、メモリ１３と、キーボード１４と、マウスなどの座標指示デバイス１５と、ディスプレイ１６と、プリンタ１７と、データベース１８とを備える。ここで、キーボード１４及び座標指示デバイス１５は、入力装置である。また、ディスプレイ１６及びプリンタ１７は、出力装置である。ＣＰＵ１２は、標示体認識装置１００全体を制御し、入出力装置の制御を行う。

ＣＰＵ１２、メモリ１３、データベース１８は、システムバス１１に接続される。キーボード１４、座標指示デバイス１５、ディスプレイ１６、プリンタ１７も図示しないインタフェースを介してシステムバス１１に接続される。メモリ１３は、作業メモリとしても使用される。

[標示体認識ユニット]
図２は、画像データと、標示体パターンとを形状パターンマッチングすることにより標示体を認識する標示体認識ユニット２００の機能ブロック図である。標示体認識ユニット２００は、実態的には、標示体認識装置１００の構成要素により構成される。図２に示すように、標示体認識ユニット２００は、認識用情報記憶部２０１、マッチング領域設定部２０２、カラー領域抽出部２０３、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７を備える。

認識用情報記憶部２０１は、道路に設置された標示体を撮影した画像データを記憶する。道路に設置された標示体とは、コンビニエンスストアやガソリンスタンドの看板、規制標識や警戒標識をはじめとする標識などであって、色が変化しないものである。

また、認識用情報記憶部２０１は、現実に存在する標示体に対応するテンプレートである標示体パターンと、各標示体パターンの形状パターンマッチングによる認識率を示す認識率データとを記憶する。

まず、標示体パターンについて、図３及び図４を参照して詳しく説明する。図３は、認識対象となる標示体に対応する標示体パターン（以下、「認識対象パターン」とも呼ぶ。）の例である。図４は、認識対象ではない標示体に対応する標示体パターン（以下、「非認識パターン」とも呼ぶ。）の例である。

一般的に特徴点の少ないシンプルな形状の標示体は誤認識されやすいため、標示体認識ユニット２００は、認識対象となる標示体と近似形状を含む認識対象ではない標示体も認識し、予め除外することとしている。そのため、認識用情報記憶部２０１は、標示体パターンとして認識対象パターン及び非認識パターンを記憶している。

図３（ａ）乃至（ｃ）に示す認識対象パターンは、基礎となるカラーが「青」である「指定方向外進行禁止」の規制標識に対応する標示体パターンである。また、図３（ｄ）乃至（ｇ）に示す認識対象パターンは、基礎となるカラーが「青」である「一方通行」の規制標識に対応する標示体パターンである。図示のように、「指定方向外進行禁止」や「一方通行」の規制標識は、基本的に矢印により進行可能な方向を示した図形となっている。図面において青色の領域は、左斜線で示す。

なお、認識用情報記憶部２０１は、画像データとの形状パターンマッチングにおいて３次元的な奥行きを考慮するため、図３（ｆ）及び（ｇ）に示すように、「一方通行」の規制標識に対応する標示体パターンを複数用意している。これにより、画像データ内の標示体が３次元的な奥行きにより傾いていたとしても、標示体認識ユニット２００は、形状パターンマッチングにより的確に標示体を認識することができる。

図４（ａ）に示す非認識パターンは、基礎となるカラーが「青」である「警笛鳴らせ」の規制標識に対応する標示体パターンである。また、図４（ｂ）に示す非認識パターンは、基礎となるカラーが「青」である「駐車可」の指示標識に対応する標示体パターンである。

本実施例では、画像データと図３に示す認識対象パターンとの形状パターンマッチングにより、「指定方向外進行禁止」及び「一方通行」の規制標識を認識するものとする。また、本実施例では、似たようなカラーパターンを持つ標示体の誤認識を低下させるため、基礎となるカラーが「青」であって、白いマークが描かれている図４に示す標示体パターンを非認識パターンとしている。

しかし、本発明はこれに限定されるものではなく、認識対象パターン及び非認識対象パターンに対応する標識や看板は、任意に設定することができる。例えば、「指定方向外進行禁止」や「一方通行」の規制標識を認識する場合、基礎となるカラーが「青」であって、白い矢印が描かれている「方面案内標識」や「指定方向別通行区分（レーン案内）」を非認識パターンとしてもよい。

次に、各標示体パターンの認識率を示す認識率データについて、図５を参照して説明する。図５は、認識率データのデータ構造を模式的に示す図である。図示のように、認識率データは、標示体パターン、名称及び認識率から構成されている。標示体パターンは、各標示体パターンの代表的な形状を示す。例えば、「指定方向外進行禁止」の規制標識は複数種類存在するが、図５では矢印が左方向の標識に対応する標示体パターンが代表として示されている。名称は、各標示体パターンに対応する標示体の名称を示す。認識率は、事前に検証されたデータであって、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である。通常、形状パターンマッチングによる認識処理では、特徴の強い形状を持つ標示体パターンほど認識率が高くなる。

認識用情報記憶部２０１は、本発明における画像データ記憶手段、標示体パターン記憶手段、認識率データ記憶手段として機能する。また、認識用情報記憶部２０１は、図１に示すデータベース１８内に構成することができる。

マッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている標示体パターンと形状パターンマッチングを実行する領域をマッチング領域として設定する。マッチング領域設定部２０２は、まず、１枚の画像データの全領域をマッチング領域として設定する。その後、マッチング領域設定部２０２は、詳細は後述するが、カラー領域抽出部２０３により抽出されたカラー領域をマッチング領域に設定したり、標示体認識部２０５により認識された標示体の領域を削除した残余領域をマッチング領域に設定したりする。マッチング領域設定部２０２は、本発明におけるマッチング領域設定手段として機能する。

カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。ここで、特定の標示体パターンとは、認識したい標示体に対応する標示体パターンであって、標示体パターンを構成する基礎となるカラーとは、対応する標示体を構成する基礎となるカラーである。例えば、基礎となるカラーが「青」である規制標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から青色の成分を多く含む領域を青色領域として抽出する。また、基礎となるカラーが「黄色」である警戒標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から黄色の成分を多く含む領域を黄色領域として抽出する。カラー領域抽出部２０３は、本発明におけるカラー領域抽出手段として機能する。

なお、マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。このように、標示体パターン及び対応する標示体を基礎となるカラーで複数のグループに分類することで、色によるマッチング領域の絞込みが可能となり、標示体を認識する処理を高速化することができる。

マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率の高い標示体パターンから順に、マッチング領域設定部２０２により設定されたマッチング領域との形状パターンマッチングを実行する。具体的に、マッチング部２０４は、１枚の画像データから抽出されたカラー領域に対して、認識率の高い順に認識対象パターン又は非認識パターンの形状パターンマッチングを実行する。このように、標示体パターン及び対応する標示体を予め検証された認識率に基づいてグループ化した上で、マッチング部２０４は、認識率の高いグループ毎に形状パターンマッチングを実行する。マッチング部２０４は、本発明におけるマッチング手段として機能する。

標示体認識部２０５は、マッチング部２０４による形状パターンマッチングの結果に基づいて、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。即ち、標示体認識部２０５は、マッチング領域の標示体が認識対象パターンに対応する標示体又は非認識パターンに対応する標示体であると認識する。標示体認識部２０５は、本発明における標示体認識手段として機能する。

なお、画像データと、標示体パターンとの形状パターンマッチングの具体的な処理については、周知技術であるため、便宜上説明は省略する。

認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識部２０５は、認識率が高い標示体から順に認識しているため、認識済領域削除部２０６は、認識率が高い標示体の領域から順に削除していく。換言すると、認識済領域削除部２０６は、誤認識の少ない標示体の領域から順に削除していく。認識済領域削除部２０６は、本発明における領域削除手段として機能する。

なお、マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。具体的に、マッチング部２０４は、この後、認識率の高い標示体パターンから順に、新たなマッチング領域、即ちカラー領域から認識済領域を削除した残りの残余領域との形状パターンマッチングを実行する。つまり、１枚の画像データに対応するマッチング領域は、標示体認識部２０５により標示体が認識される度に認識済領域がどんどん削除される。また、マッチング部２０４は、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行する。このように認識率の高いグループ毎に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、マッチング領域の減少による処理の高速化及び認識率の向上を実現することができる。

認識結果情報記憶部２０６は、標示体認識部２０５により認識された標示体の中で認識対象である標示体、つまり認識対象パターンに対応する標示体に関する情報を認識結果情報として記憶する。図６は、認識結果情報のデータ構造を模式的に示す図である。認識結果情報は、画像データＩＤ、撮影場所、方向、位置及び標示体ＩＤから構成されている。画像データＩＤは、マッチング部２０４による形状パターンマッチングの基になる画像データを識別する情報である。撮影場所は、対応する画像データの撮影場所を示す緯度及び経度である。方向は、対応する撮影場所において撮影を行った車両の進行方向である。位置は、標示体認識部２０５により認識された標示体の画像データ上の位置を示すＸ座標及びＹ座標である。標示体ＩＤは、標示体認識部２０５により認識された標示体を識別する情報である。認識結果記憶部２０６により記憶された認識結果情報に基づいて、例えば車両のナビゲーション装置に記憶されている地図データ等を更新することができる。なお、本実施例において認識結果情報記憶部２０６は、図６に示すようなデータ構造の認識結果情報を記憶することとしているが、本発明はこれに限定されるものではなく、形状パターンマッチングによるマッチング度合いや標示体の傾き等の情報を認識結果情報に含めることとしてもよい。

本実施例において標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されることとしているが、本発明はこれに限定されるものではなく、例えば、走行現地調査用の装置や通常の車両に搭載されたカーナビゲーション装置の構成要素により構成されることとしてもよい。

なお、本実施例における標示体認識ユニット２００は、図３及び図４に示す標示体パターンに対応する標示体を認識するものであって、この場合の形状パターンマッチングについては周知の技術であるため、便宜上説明を省略している。しかし、本発明はこれに限定されるものではなく、方面、方向、距離等を指示する方面案内標識を認識することも考えられる。この場合のマッチングについて図７を参照して特に説明する。

方面案内標識は、地名や距離など設置場所固有の情報が記載されているため、規制標識や警戒標識のような定型の標示体ではない。そのため、予め全ての方面案内標識に対応する標示体パターンを認識用情報記憶部２０１に記憶することは、標示体認識ユニット２００にとって負荷が極めて大きい。よって、標示体認識部２０５がマッチング領域に含まれる方面案内標識を認識する場合、マッチング部２０４は、図７に示すように、スケールを変化させながら小さい上向き矢印を、マッチング領域内の方面案内標識の領域とマッチングさせる。このときマッチング部２０４は、上向き矢印を３６０度回転させ、全ての角度について、方面案内標識の領域とのマッチングを実行する。そして、マッチング部２０４のマッチング結果により、矢印を複数個含む標示体が存在する場合、標示体認識部２０５は、「一方通行」や「指定方向外進行禁止」の規制標識と区別するため、標示体全体中の青色領域の割合を算出する。規制標識は、通常、方面案内標識と比べて青色領域の割合が少ないため、標示体認識部２０５は、算出した青色領域の割合が予め設定された閾値より大きい場合に、マッチング領域の標示体を方面案内標識であると認識する。

[標示体認識方法]
次に、標示体認識ユニット２００により、画像データと標示体パターンとを形状パターンマッチングすることで標示体を認識する方法について図８乃至図１０を参照して説明する。図８は、本実施例におけるマッチング領域を示す図である。図９は、本実施例における標示体認識方法を説明する図である。図１０は、従来の標示体認識方法を説明する図である。

標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図８（ａ）に示す画像データから、図８（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。このとき、カラー領域抽出部２０３は、青色の成分を多く含む領域を少し（例えば、数ピクセル）膨らませ、当該領域の周りを含めて青色領域として抽出する。これによれば、基礎となるカラーが「青」であり、エッジが「白」の標示体であっても、カラー領域抽出部２０３は、エッジを含む標示体を青色領域として抽出することができる。

マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。換言すると、カラー領域抽出部２０３が抽出した青色領域以外の部分は、形状パターンマッチングの対象とならない。よって、図面では、画像データにおいて形状パターンマッチングの対象とならない部分、即ちマッチング領域以外の部分を、便宜上、黒色で表現する。

続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域設定部２０２により設定された新たなマッチング領域との形状パターンマッチングを行う。即ち、マッチング部２０４は、はじめに、最も認識率が高い標示体パターンと、カラー領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が１００％であり最も高い「警笛鳴らせ」の規制標識に対応する非認識パターンと、図８（ｂ）に示す青色領域との形状パターンマッチングを行う。

マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。具体的に、標示体認識部２０５は、図８（ｂ）に示す青色領域と、「警笛鳴らせ」の規制標識に対応する非認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「警笛鳴らせ」の規制標識であると認識する。標示体を認識すると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。具体的に、認識済領域削除部２０６は、図８（ｃ）に示すように、標示体認識部２０５が認識した「警笛鳴らせ」の規制標識の領域を青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｃ）に示す領域を新たなマッチング領域に設定する。

そして、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、新たなマッチング領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が９７．１０％の「指定方向外進行禁止」の規制標識に対応する認識対象パターンと、既に「警笛鳴らせ」の規制標識の領域が削除された図８（ｃ）に示す青色領域との形状パターンマッチングを行う。マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、図８（ｃ）に示す青色領域と、「指定方向外進行禁止（右方向）」の規制標識に対応する認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「指定方向外進行禁止（右方向）」であると認識する。認識対象である標示体を認識した場合、認識結果情報記憶部２０７は、当該標示体に関する情報を、図６に示すような認識結果情報として記憶する。また、認識済領域削除部２０６は、図８（ｄ）に示すように、標示体認識部２０５が認識した「指定方向外進行禁止（右方向）」の規制標識の領域を認識済領域として青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｄ）に示す領域を新たなマッチング領域に設定する。

標示体認識ユニット２００は、１枚の画像データに対してマッチング領域がなくなるまでこのような処理を繰り返すことにより、標示体の認識を行う。換言すると、標示体認識ユニット２００は、図９（ａ）に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このとき、標示体認識ユニット２００は、予め各標示体パターンの認識率を認識率データとして記憶しており、当該認識率データに基づいて認識率の高い標示体パターンから順に形状パターンマッチングを実行する。

これに対し、従来の認識処理では、図１０に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを、標示体パターンの種類毎に複数回実行しており、処理時間が非常に長くなっていた。さらに、１枚の画像データに対する形状パターンマッチングを標示体パターンの種類毎に複数のプロセスで実行するため、１枚の画像データに含まれる１つの標示体を複数の標示体と誤認識するという問題が発生していた。

本実施例のように、標示体認識ユニット２００が、標示体パターンの認識率に基づいて、画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括処理することで、処理時間を高速化する共に、認識率の向上を実現することができる。

さらに、本実施例において標示体認識ユニット２００は、形状パターンマッチングにより標示体を認識した場合、認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識ユニット２００の認識用情報記憶部２０１は、認識対象パターン及び非認識パターンを標示体パターンとして記憶しているため、これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から削除することができる。よって、的確にマッチング領域を絞り込んでいくことができる。また、このように既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。よって、従来の認識処理より標示体の認識率を向上させることが可能となる。特にシンプルな形状である「一方通行」の規制標識は誤認識されやすいが、事前に近似形状を含む「指定方向外進行禁止」や「方面案内標識」の標識を認識対象パターン又は非認識パターンに対応する標示体として認識し、認識済領域をマッチング領域から削除することで、「一方通行」の標識の認識率を効果的に向上させることができる。

また、本実施例において標示体認識ユニット２００は、図９（ｂ）に示すように、マッチング領域から、認識対象パターンを構成する基礎となるカラーを備える領域をカラー領域として抽出した後、当該カラー領域と、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このように形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、形状パターンマッチングを実行するマッチング領域が予め絞られるため、処理時間を従来の認識処理より大幅に短縮することが可能となる。

[標示体認識処理]
次に、本実施例による標示体認識処理について、図１１を参照して説明する。図１１は、本実施例による標示体認識処理のフローチャートである。標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されるものであって、標示体認識処理は、図１に示すＣＰＵ１２がメモリ１３に記憶されたプログラムを実行することにより実現される。

まず、標示体認識ユニット２００のマッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている画像データの中から１枚の画像データを抽出し、当該画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する（ステップＳ１）。ここで、特定の標示体パターンとは、画像データから認識したい標示体に対応する標示体パターンである。よって、例えば基礎となるカラーが「青」の規制標識を認識したい場合、カラー領域抽出部２０３は、マッチング領域、即ち画像データの全領域から青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０２により抽出されたカラー領域を新たなマッチング領域に設定する。

続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上ではない場合（ステップＳ３；Ｎｏ）、マッチング部２０４は、認識率データに基づいて異なる標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上である場合（ステップＳ３；Ｙｅｓ）、標示体認識部２０５は、マッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する（ステップＳ４）。標示体認識部２０５により標示体が認識されると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する（ステップＳ５）。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。

また、標示体認識部２０５は、認識した標示体が認識対象であるか否かを判定する（ステップＳ６）。標示体認識部２０５により認識された標示体が認識対象である場合（ステップＳ６；Ｙｅｓ）、認識結果情報記憶部２０７は、当該標示体に関する情報を認識結果情報として記憶する（ステップＳ７）。そして、標示体認識ユニット２００は、マッチング領域に未認識領域があるか否かを判定する（ステップＳ８）。未認識領域とは、マッチング領域内においてまだ認識されていない標示体が存在する領域のことである。マッチング領域に未認識領域があると判定された場合（ステップＳ８；Ｙｅｓ）、マッチング部２０４は、認識率データに基づいて、標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、マッチング領域に未認識領域がないと判定された場合（ステップＳ８；Ｎｏ）、標示体認識ユニット２００は、標示体認識処理を完了する。

このように未認識領域がなくなるまで、標示体認識ユニット２００は、マッチング領域、即ちカラー領域から認識済領域が削除された残りの残余領域と、標示体パターンとの形状パターンマッチングを認識率の高い順に１つのプロセスで実行する。換言すると、標示体認識ユニット２００は、認識対象パターン又は非認識パターンに対応する標示体が認識される度に、マッチング領域から認識済領域を削除していき、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行することで、標示体を認識する。

これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から認識率が高い順に削除することができる。また、既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。さらに、１つの画像データと、複数の標示体パターンとの形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、マッチング領域が予め絞られるため、処理時間を大幅に短縮することができる。よって、標示体認識ユニット２００は、画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で効率的に標示体の認識をすると共に、認識率を向上させることができる。

[変形例]
本実施例では、認識対象である標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出してマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしている。しかし、本発明はこれに限定されるものではなく、認識対象ではない標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出し、当該カラー領域を画像データから削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。また、標示体を構成する基礎となるカラーは複数種類であるため、認識対象である標示体を構成する基礎となるカラーのカラー領域から、認識対象ではない標示体を構成する基礎となるカラーのカラー領域を削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。つまり、マッチング領域を絞り込むために、カラー領域抽出部２０３により抽出したカラー領域をどのように利用するかは任意である。

ここで、２種類のカラー領域を利用してマッチング領域を絞り込む方法について説明する。

本変形例において、認識対象である標示体は、「指定方向外進行禁止」及び「一方通行」の規制標識であるものとする。「指定方向外進行禁止」及び「一方通行」の規制標識の基礎となるカラーは「青」であり、図面では左斜線で示す。一方、認識対象ではない標示体は、図１２（ａ）及び（ｂ）に示す「車両進入禁止」及び「駐停車禁止」の規制標識であるものとする。「車両進入禁止」の規制標識の基礎となるカラーは「赤」であり、「駐停車禁止」の規制標識の基礎となるカラーは「赤」及び「青」の２色である。図面において赤色の領域は、右斜線で示す。

標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、図１３を参照して説明する。図１３は、変形例におけるマッチング領域を示す図である。カラー領域抽出部２０３は、図１３（ａ）に示す画像データから、図１３（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出された青色領域を新たなマッチング領域に設定する。これにより、基礎となるカラーが「赤」である「駐停車禁止」の規制標識は、画像データ内に存在するが青色領域としては抽出されないため、マッチング領域から除外される。しかし、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識は、青色の成分を含んでいる青色領域として抽出され、マッチング領域に含まれている。

さらに、カラー領域抽出部２０３は、マッチング領域設定部２０２により新たに設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図１３（ｂ）に示す青色領域から、赤色の成分を多く含む赤色領域を抽出する。赤色領域としては、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識の領域が抽出される。マッチング領域設定部２０２は、マッチング領域から、カラー領域抽出部２０３により抽出された赤色領域を削除した残余領域を新たなマッチング領域に設定する。これにより、マッチング領域は、図１３（ｃ）に示すような、「駐停車禁止」の規制標識の領域が削除された青色領域となる。

この後、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７により実行される標示体認識処理は、上述の実施例とほぼ同様であるため、便宜上説明は省略する。

なお、変形例におけるマッチング領域設定部２０２は、本発明におけるカラー領域削除手段として機能する。

このように、標示体認識ユニット２００は、カラー領域抽出部２０３により抽出した複数のカラー領域を利用して、マッチング領域を効果的に絞り込むことができる。これにより、標示体認識処理の高速化及び認識率の向上を実現することができる。

標示体認識装置の構成図である。 標示体認識ユニットの機能構成を示すブロック図である。 認識対象パターンの例である。 非認識パターンの例である。 認識率データのデータ構成を示す図である。 認識結果情報のデータ構成を示す図である。 方面案内標識の形状パターンマッチングについて説明する図である。 実施例におけるマッチング領域を示す図である。 実施例における標示体認識方法を説明する図である。 従来の標示体認識方法を説明する図である。 標示体認識処理のフローチャートである。 変形例において認識対象ではない標示体の例である。 変形例におけるマッチング領域を示す図である。

符号の説明

１１ システムバス
１２ ＣＰＵ
１３ メモリ
１４ キーボード
１５ 座標指示デバイス
１６ ディスプレイ
１７ プリンタ
１８ データベース
１００ 標示体認識装置

Claims (7)

1. 形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段と、
   形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、
   各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶手段と、
   １枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段と、
   前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段と、
   前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段と、
   前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段と、を備え、
   前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする標示体認識装置。
2. 前記標示体パターン記憶手段は、認識対象の標示体パターンと、非認識対象の標示体パターンとを記憶していることを特徴とする請求項１に記載の標示体認識装置。
3. 前記マッチング領域から前記標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段をさらに備え、
   前記マッチング領域設定手段は、前記カラー領域抽出手段により抽出されたカラー領域を新たなマッチング領域に設定することを特徴とする請求項１又は２に記載の標示体認識装置。
4. 前記標示体パターンを構成する基礎となるカラーは複数種類であって、
   前記カラー領域抽出手段が抽出したカラー領域を、前記マッチング領域から削除するカラー領域削除手段をさらに備え、
   前記マッチング領域設定手段は、前記カラー領域削除手段により前記マッチング領域から前記カラー領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする請求項３に記載の標示体認識装置。
5. 形状パターンマッチングの対象となる画像データを記憶する画像データ記憶工程と、
   形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶工程と、
   各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶工程と、
   １枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定工程と、
   前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング工程と、
   前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識工程と、
   前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除工程と、を備え、
   前記マッチング領域設定工程は、前記認識済領域削除工程により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする標示体認識方法。
6. コンピュータ上で実行される標示体認識プログラムであって、
   形状パターンマッチングの対象となる画像データを記憶する画像データ記憶手段、
   形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段、
   各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である認識率を認識率データとして記憶する認識率データ記憶手段、
   １枚の前記画像データの全領域をマッチング領域に設定するマッチング領域設定手段、
   前記認識率データに基づいて認識率の高い標示体パターンから順に、前記マッチング領域との形状パターンマッチングを実行するマッチング手段、
   前記形状パターンマッチングの結果に基づいて、前記マッチング領域から前記標示体パターンに対応する標示体を認識する標示体認識手段、
   前記標示体認識手段により認識された標示体の領域を認識済領域として、前記マッチング領域から削除する認識済領域削除手段、として前記コンピュータを機能させ、
   前記マッチング領域設定手段は、前記認識済領域削除手段により前記マッチング領域から前記認識済領域を削除した残余領域を新たなマッチング領域に設定することを特徴とする標示体認識プログラム。
7. 請求項６に記載の標示体認識プログラムを記録したことを特徴とする記録媒体。

Images