WO2007139035A1

WO2007139035A1 - 車両種別判定装置、プログラム、方法

Info

Publication number: WO2007139035A1
Application number: PCT/JP2007/060733
Authority: WO
Inventors: Kunikazu Takahashi; Kenji Kodama; Atsuyoshi Ando; Takako Shinjo; Sahoko Hata
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-05-26
Filing date: 2007-05-25
Publication date: 2007-12-06
Anticipated expiration: 2008-11-26
Also published as: JP2007316997A; JP4567630B2; EP2031571A1; CN101454814A; US20090074250A1; EP2031571A4; US8229171B2; EP2031571B1; CN101454814B

Abstract

　本発明は、撮影機器の設置条件に関わらず、精度よく種別を判定することができる車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法を提供することを課題とする。この課題を解決するため、車両種別判定装置１００は、認識対象の画像から車両部分を抽出する車両部分抽出部１１２と、車両部分抽出部１１２により抽出された車両部分においてボンネットに相当する領域を認識するボンネット認識部１１４と、ボンネット認識部１１４によって認識されたボンネット領域の側面の傾きの大きさに基づいて種別を判定する車両種別判定部１１３とを備える。

Description

明細書

車両種別判定装置、プログラム、方法

技術分野

[0001] この発明は、車両を撮影した画像をもちいて当該の車両の種別を判定する車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法に関し、特に、撮影機器の設置条件に関わらず、精度よく車両の種別を判定することができる車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法に関する。

背景技術

[0002] 従来より、路上に設置された撮影機器により撮影された車両の画像を解析し、車両の種別を判定するシステムが車両取締り業務等において使用されている。典型的には、画像中のナンバープレート部分を解析し、車両の種別を判定するシステムがよく知られている。このようなシステムは、ナンバープレートの車両番号だけでなぐナンバープレートの色等も利用して車両種別の判定をおこなう（例えば、特許文献 1)。

[0003] ところが、ナンバープレートを解析する方式では、ナンバープレートが汚れて!/、る場合等には、精度よく車両の種別を判定することができない。そこで、様々な条件下においても車両種別を精度よく判定することが必要な場合には、複数の方式を組み合わせて車両種別判定が行われる。ナンバープレート部分の解析によらずに車両の種別を判定する方式には、例えば、特許文献 2にて開示されている方式がある。

[0004] 特許文献 2にて開示されている車両種別判定方式は、画像中の車両のボンネット部分やフロントガラス部分を所定のルールに従って識別し、それらの部分の幅や高さに基づ!/、て、対象が普通車であるか大型車であるかと!/、つた大まかな車両種別判定をおこなうものである。

[0005] 特許文献 1：特開 2003— 331384号公報

特許文献 2：特開平 11 353581号公報

発明の開示

発明が解決しょうとする課題

[0006] し力しながら、特許文献 2にて開示されて、る車両種別判定方式は、ボンネット部分やフロントガラス部分の高さ等によって車両の種別を判定するものであるため、車両の形状と、路上に設置された撮影機器の設置角度の組合せによっては、車両種別を誤判定してしまうことがあった。

[0007] 一般的に、画像における普通車のボンネット部分の高さは、撮影機器が水平に近い角度で設置されるほど低くなり、設置角度が垂直に近くなるほど高くなる。このため、撮影機器の設置角度によっては、特定の種類の普通車のボンネット部分の高さが大型車のボンネット部分の高さほぼ同一に撮影され、普通車が大型車と誤判定されることがあった。車両は、車両種別ごとにそれぞれ特徴的な形状を有しているため、撮影機器の設置角度を調整しても、このような誤判定を完全に防止することは困難でめつに。

[0008] この発明は、上述した従来技術による問題点を解消するためになされたものであり、撮影機器の設置条件に関わらず、精度よく車両の種別を判定することができる車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法を提供することを目的とする。

課題を解決するための手段

[0009] 上述した課題を解決し、目的を達成するため、本発明の一つの態様では、車両を撮影した画像を用いて該車両の種別を判定する車両種別判定装置であって、前記車両の車両種別判定領域の輪郭を構成する水平方向の直線と側面の直線を、前記画像から抽出する手段と、前記水平方向の直線と前記側面の直線との角度を求める手段と、前記角度に基づいて前記車両の種別を判定する車両種別判定手段とを備えることを特徴とする。

[0010] また、本発明の一つの態様では、前記画像を撮影した撮影装置の設置位置から遠

V、側の側面を用いることを特徴とすることを特徴とする。

[0011] また、本発明の一つの態様では、前記角度と車両種別との関係を定義した記憶領域を備え、前記車両種別判定手段が、前記記憶領域を参照することで前記車両の種別を判定することを特徴とする。

[0012] また、本発明の一つの態様では、前記車両種別判定領域が、車両のボンネットであることを特徴とする。 [0013] また、本発明の一つの態様では、前記車両種別判定領域が、車両のフロントガラスであることを特徴とする。

[0014] なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

発明の効果

[0015] 本発明によれば、画像中における車両の所定の領域 (例えばボンネット）を認識し、その領域の輪郭を構成する水平方向の直線と側面の直線の角度に基づいて車両種別の判定をおこなうように構成したので、ボンネットの高さ等の他の情報に基づいて車両種別を正確に判定することができな、場合であっても、精度よく車両の種別を判定することができると、う効果を奏する。

図面の簡単な説明

[0016] [図 1]図 1は、背景画像の一例を示す図である。

[図 2]図 2は、認識画像の一例を示す図である。

[図 3]図 3は、車両部分の抽出結果の一例を示す図である。

[図 4]図 4は、縦方向のエッジの検出例を示す図である。

[図 5]図 5は、エッジに基づく境界の設定例を示す図である。

[図 6]図 6は、車両部分の領域分割例を示す図である。

[図 7]図 7は、ボンネットの傾きと高さの取得例を示す図である。

[図 8]図 8は、ワゴンの場合におけるボンネットの傾きと高さの取得例を示す図である。

[図 9]図 9は、本実施例に係る車両種別判定装置の構成を示す機能ブロック図である

[図 10]図 10は、車両種別の判定ルールの一例を示す図である。

[図 11]図 11は、車両部分抽出部によって車両部分が抽出された画像の一例を示す図である。

[図 12]図 12は、図 11に示した画像に基づいてボンネット認識部が生成する輪郭画像の一例を示す図である。

[図 13]図 13は、図 11における領域 Aを構成する各画素の画素値を示す図である。 [図 14]図 14は、図 12における領域 Aを構成する各画素の画素値を示す図である。

[図1—

〇 15]図 15は、車両の存在する領域の幅 Wの範囲を示す図である。

〇

[図 16]図 16は、 M=4の場合の分割線の一例を示す図である。

[図 17]図 17は、エッジ情報の一例を示す図である。

[図 18]図 18は、ボンネットの傾きを示す図である。

[図 19]図 19は、ボンネットに相当する領域の側面の座標を示す図である。

[図 20]図 20は、色によるボンネット領域の推定ルールの一例を示す図である。

[図 21]図 21は、領域の高さによるボンネット領域の推定ルールの一例を示す図である。

[図 22]図 22は、車両種別判定装置の処理手順を示すフローチャートである。

[図 23]図 23は、車両種別判定処理の処理手順を示すフローチャートである。

[図 24]図 24は、ボンネット認識処理の処理手順を示すフローチャートである。

[図 25]図 25は、車両種別判定プログラムを実行するコンピュータを示す機能ブロック図である。

符号の説明

車両種別判定装置

110 制御部

111 画像入力部

112 車両部分抽出部

113 車両種別判定部

114 ボンネット認識部

115 黄色ナンバー判定部

120 じ' 1思 p^:[5

121 画像データ記憶領域

122 判定ルール記憶領域

123 設定情報記憶領域

130 表示部

1000 コンピュータ 1010 CPU

1020 入力装置

1030 モニタ

1040 媒体読取り装置

1050 ネットワークインターフェース装置

1060 RAM

1061 車両種別判定プロセス

1070 ハードディスク装置

1071 車両種別判定プログラム

1072 車両種別判定用データ

1080 バス

発明を実施するための最良の形態

[0018] 以下に添付図面を参照して、本発明に係る車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法の好適な実施の形態を詳細に説明する。

実施例

[0019] まず、本実施例に係る車両種別判定方法の概要につ!、て説明する。本実施例に係る車両種別判定方法は、認識画像から認識対象の車両部分を抽出し、さらに、抽出した車両部分のボンネット部分 (車両種別判定領域)の高さと傾きに基づいて大まかな車両の種別を判定するものである。ボンネット部分の高さのみならず、傾きも判定材料とすることにより、撮影機器の設置角度等に関わらず、精度よく車両種別判定をおこなうことができる。

[0020] 本実施例に係る車両種別判定方法では、認識画像から認識対象の車両部分を抽出するために、背景画像と認識画像の比較をおこなう。図 1は、背景画像の一例を示す図であり、図 2は、認識画像の一例を示す図である。これらの図に示すように、背景画像と認識画像は、同一の撮影機器によって、同一位置かつ同一角度で撮影された画像である。そして、背景画像は、いずれの車両も映りこんでいない画像であり、認識画像は、認識対象の車両の一部もしくは全体が写っている画像である。

[0021] この 2つの画像を比較し、差分画像を作成することにより、図 3に示すように、認識画像から車両部分のみが抽出される。こうして、車両部分の抽出が完了した後、ボンネットを識別するため、抽出された車両部分は、いくつかの領域に分割される。

[0022] 車両部分の領域分割は、車両部分の中央を含む数箇所を縦方向に走査することにより検出されたエッジを基準としておこなわれる。図 4は、縦方向のエッジの検出例を示す図である。同図は、車両部分の中央を含む 3箇所を縦方向に走査することにより、エッジを検出する例を示している。図 5は、エッジに基づく境界の設定例を示す図である。同図は、ほぼ同一水平線上に存在する各エッジの中心を通る直線を最小二乗法等により取得し、これを境界とする例を示している。

[0023] なお、同図に示した例では、フロントグリルの領域およびそれより下方のエッジを無視している。フロントグリルの領域は、多くのエッジが検出されることにより識別可能であるが、通常、ボンネットよりも下方にある。本実施例に係る車両種別判定方法は、後述するように、上方の領域との比較によりボンネット部分を識別する論理をもちいており、ボンネットよりも下方の領域を必要としないため、フロントグリルの領域およびそれより下方のエッジを利用していない。なお、ボンネット部分を識別する論理を変更する場合には、フロントグリルの領域およびそれより下方のエッジを利用することができる

[0024] 図 6は、車両部分の領域分割例を示す図である。同図は、図 5において設定された境界線に基づいて車両部分を 3つの領域に分割した例を示している。こうして、領域分割がされた後は、各領域の色の変動パターンや縦方向の長さの変動パターンを上方の領域から調べ、その結果を所定の推定ルールに照合して、ボンネットに相当する領域を推定する。

[0025] そして、ボンネットに相当する領域を推定した後は、ボンネットの傾きと高さを取得し、これらを所定の閾値と比較することにより、車両種別判定をおこなう。図 7は、ボンネットの傾きと高さの取得例を示す図である。同図に示すように、ボンネットの傾き Θは、領域の下方の境界線と、撮影装置力遠い側面の輪郭線との角度として求められる。また、ボンネットの高さ Hは、領域の上方の境界線と下方の境界線の距離として求められる。なお、 0は厳密には、ボンネットの傾きそのものではなぐボンネットの傾きとカメラの撮影位置によって決定される角度である力カメラの撮影位置は一定であるため、本明細書では、 Θをボンネットの傾きと呼ぶこととする。

[0026] ボンネットの傾き Θを求めるには、撮影装置から遠、側面の輪郭線を取得することが必要になるが、この線は、例えば、ボンネットに相当する領域の撮影装置力遠い側面にぉ、て、車両部分として抽出された領域の境界線上の何点かをサンプルとして取得し、これらの点の中心を通る直線として、最小二乗法により求めることができる。また、車両部分が精密に抽出されていない場合は、横方向のエッジを何点力検出し、これを基準として輪郭線を取得することもできる。

[0027] 図 8は、ワゴンの場合におけるボンネットの傾きと高さの取得例を示す図である。同図に示すように、ワゴンの場合におけるボンネットの傾きは、図 7に示した普通車の場合における傾きよりも大きくなる。また、ワゴンの場合におけるボンネットの高さは、図 7 に示した普通車の場合における高さよりも低くなる。

[0028] すなわち、ボンネットの傾きと高さを取得し、これらを所定の閾値と比較することにより、認識対象が普通車である力ワゴンであるかを容易に判定することができる。万一、撮影装置の設置角度により、普通車のボンネットの高さがワゴンと同等に写ることがあつても、同時に、ボンネットの傾きがワゴンと同等に写ることはないため、誤判定を回避することができる。

[0029] 図 2等に示した画像は、車両を斜め上力撮影したものである力このように車両を斜め上カゝら撮影する手法は、ドライバにカメラの存在を気付カゝせずに済むといった利点がある。また、図 2等に示した画像は、ナンバープレートに基づく車両種別判定を容易にするため、車両全体を写すのではなぐ車両の前半部分が大きく写るように撮影されている。本実施例に係る車両種別判定方法は、このように車両の一部を斜め力撮影した画像であっても、ボンネットの傾きの程度の違、さえ識別することができれば車両種別判定を正確におこなうことが可能である。

[0030] 次に、本実施例に係る車両種別判定方法をもちいて車両種別判定をおこなう車両種別判定装置の構成について説明する。図 9は、本実施例に係る車両種別判定装置 100の構成を示す図である。同図に示すように、車両種別判定装置 100は、制御部 110と、記憶部 120と、表示部 130とを有する。表示部 130は、各種情報を表示するための装置であり、液晶表示装置等からなる。 [0031] 制御部 110は、車両種別判定装置 100を全体制御する制御部であり、画像入力部 111と、車両部分抽出部 112と、車両種別判定部 113と、ボンネット認識部 114と、黄色ナンバー判定部 115とを有する。画像入力部 111は、認識画像と背景画像の入力を受け付け、入力された認識画像と背景画像を記憶部 120の画像データ記憶領域 1 21に格納する処理部である。

[0032] 車両部分抽出部 112は、画像データ記憶領域 121に格納された認識画像と背景画像を比較し、認識画像から車両部分を差分画像として抽出する処理部である。車両部分抽出部 112は、認識画像と背景画像を比較するにあたって、認識画像において路面が撮影されて、る可能性の高、幾つかの点の周辺の画素の RGB (Red, Gre en and Blue)値を取得し、背景画像の同位置の周辺の画素の RGB値と比較する。

[0033] そして、差分が大きい点は、車両が写っている可能性が高いため除外し、路面と推定されるその他の点の差分の平均値を求める。そして、求めた差分の平均値をもちいて背景画像のストレッチングをおこない、明るさを認識画像と合わせる。このように、差分抽出に先立って背景画像の明るさを調整することにより、車両部分の抽出精度を向上させることができる。

[0034] 続いて、車両部分抽出部 112は、認識画像と背景画像を、細分化した領域ごと、もしくは、画素ごとに比較し、 R、 G、 B各値の差分の絶対値を求める。そして、差分の絶対値が、 R、 G、 Bのいずれかにおいて閾値以上である部分を車両部分として認識する。

[0035] このように、認識画像と背景画像を比較して車両部分を抽出することにより、路面上の白線のように背景中の他の部分と色合い等が大きく異なる部分が存在しても、その部分を消去して車両部分を正確に抽出することができる。なお、上記の説明では、 R GB値を基準として認識画像と背景画像を比較するものとしたが、明度や輝度等の他の値を RGB値に代えて、もしくは、 RGB値と併用して比較にもちいることとしてもよい

[0036] また、上記の説明では、背景画像との比較により車両部分を抽出する例を示したが、微分フィルタ等をもちいて認識画像中の輪郭を抽出し、抽出された輪郭に対してパターンマッチングをおこなうといった他の既知の手法によって車両部分を抽出することとしてもよ、。

[0037] 車両種別判定部 113は、車両部分抽出部 112により抽出された車両部分の解析をおこなって、大まかな車両の種別を判定する処理部である。具体的には、車両種別判定部 113は、抽出された車両部分を「バイク」、「路面'その他」、「軽自動車」、「大型車 (トラック)」、「ワゴン」および「普通車」の 6種類に分別する。なお、「軽自動車」とは、我国において、排気量が 660cc以下の小型の自動車が分類される車両種別であり、排気量が 1000〜3000cc程度の「普通車」が白いナンバープレートを与えられるのに対し、「軽自動車」は、黄色いナンバープレートを与えられる。

[0038] 車両種別判定部 113は、抽出された車両部分の面積と幅が所定の閾値以下の場合、高さが閾値より大きければ、対象を「バイク」と判定し、高さが閾値以下であれば、対象を「路面'その他」と判定する。また、抽出された車両部分に黄色いナンバープレートが写っていることが黄色ナンバー判定部 115の解析によって判明した場合には、対象を「軽自動車」と判定する。

[0039] また、車両種別判定部 113は、抽出された車両部分の面積と幅が所定の閾値以上の場合は、対象を「大型車」と判定する。そして、上記以外の場合には、既に説明した本実施例に係る車両種別判定方法をもちいて、ボンネットの傾きと高さに基づいて、対象が「ワゴン」であるか「普通車」であるかを判定する。

[0040] なお、上記の車両種別判定の区分と判定論理は一例であり、目的に応じて変更することが可能である。例えば、「軽自動車」をさらに「軽乗用車」と「軽トラック」に分類する必要がある場合には、本実施例に係る車両種別判定方法をもちヽて両者を判別することもできる。具体的には、黄色いナンバープレートが認識された場合、ボンネットの傾きの大きさが所定の閾値以上で、かつ、ボンネットの高さが所定の閾値以下であれば、対象を「軽トラック」と判定し、さもなければ、「軽乗用車」と判定する。

[0041] また、「大型車」の判別にも本実施例に係る車両種別判定方法をもち、ることができる。具体的には、ボンネットが垂直に近い傾きをもっており、高さが所定の閾値以上である場合に「大型車」であると判定することができる。ボンネットの傾きに基づいて、「普通車」と、「ワゴン」と、「大型車」とを判定する場合の判定ルールの一例を図 10に示す。同図に示した判定ルールが記憶部 120の判定ルール記憶領域 122に記憶されていた場合、車両種別判定部 113は、それを参照し、ボンネットの傾き Θ力 5° 〜75° であれば、対象を「普通車」と判定し、 0力^ 5° 〜85° であれば、対象を「ヮゴン」と判定し、 0力 ¾5° 〜105° であれば、対象を「大型車」と判定する。

[0042] ボンネット認識部 114は、車両部分抽出部 112により抽出された車両部分からボンネットに相当する部分を識別し、その部分の高さと傾きを取得する処理部である。ボンネット認識部 114により取得されたボンネットの傾きと高さは、車両種別判定部 113 による車両種別判定にもちヽられる。

[0043] ボンネット認識部 114は、まず、車両部分抽出部 112によって車両部分が抽出された画像に対して輪郭抽出処理を実行する。具体的には、コピーした画像データの各画素の RGB値を HSI (Hue, Saturation, Intensity)変換もしくは HSV (Hue, Satura tion, Value)変換し、得られた各画素の明度もしくは輝度を該当画素の画素値とするグレースケール画像を生成する。そして、生成したグレースケール画像に対して Sob elや Prewitt等の既知の微分フィルタをかけて輪郭を強調した後に、閾値処理による 2値化等を行って輪郭画像を生成する。

[0044] 図 11は、車両部分抽出部 112によって車両部分が抽出された画像の一例を示す図であり、図 12は、図 11に示した画像に基づいてボンネット認識部 114が生成する輪郭画像の一例を示す図である。また、図 13は、図 11における領域 Aを構成する各画素の画素値を示す図であり、図 14は、図 12における領域 Aを構成する各画素の画素値を示す図である。図 14の例では、輪郭部分の画素の画素値が 255となり、その他の部分の画素の画素値が 0となるように 2値化が行われて!/、る。

[0045] 続いて、ボンネット認識部 114は、輪郭画像を横方向に走査して、輪郭に相当する画素が出現する最も左寄りの座標と、最も右寄りの座標を取得し、その間を車両の存在する領域とみなして、その幅 Wを取得する。輪郭画像が図 12に示した画像である場合、車両の存在する領域の幅 Wは、図 15に示す範囲を示すことになる。

[0046] そして、ボンネット認識部 114は、車両の存在する領域を WZMの幅に分割する縦方向の分割線を M— 1本設定する。 Mは、少なくとも 3以上の整数である必要がある 1S 本実施例では、 M=4であるものとする。 M=4の場合、図 16に示すように、ライン A〜Cの 3本の縦方向の分割線が設定される。 [0047] 分割線を設定した後、ボンネット認識部 114は、隣接する上下の画素の画素値の差分をとりながら、各分割線上の画素を上から下方向へ走査する。そして、差分が閾値よりも大き、部分を検出するたびに、上側の画素の座標をエッジとしてエッジ情報に記録する。エッジ情報は、エッジ、すなわち、輪郭の境界に位置する画素の座標を分割線ごとに保持する情報であり、記憶部 120の画像データ記憶領域 121に処理対象の画像と対応付けて記憶される。エッジ情報の一例を図 17に示す。同図に示すように、エッジ情報には、輪郭の境界に位置する画素の座標が分割線ごとに記録される。なお、各分割線は車両の異なる部分を通過するため、エッジ情報に記録される座標の数は分割線ごとに異なることがある。

[0048] 続、て、ボンネット認識部 114は、エッジ情報を参照し、ほぼ水平に位置して、る座標の組合せを抽出する。座標の組合せの抽出は、例えば、 Y軸の値の差が所定値以内に収まる座標を各分割線上の座標から 1つずつ選び出すことにより行われる。 Y 軸の値の差が 10以内の座標を選び出すこととした場合、図 17に示したエッジ情報の例からは、ライン Aの（146、 12)と、ライン Bの（190、 17)と、ライン Cの（216、 16)の糸且合せや、ライン Aの（146、 36)と、ライン Bの（190、 37)と、ライン Cの（216、 35) の組合せ等が抽出される。

[0049] そして、ボンネット認識部 114は、抽出した組合せごとに最小二乗法等をもち、て、組合せ内の各座標の中心を通る水平方向の直線を求め、これらの直線を境界として、車両部分抽出部 112によって車両部分が抽出された画像を領域分割する。以上の処理により、図 6に示したように、車両部分抽出部 112によって抽出された車両部分を車両の部位ごとの領域に分割することができる。

[0050] こうして、車両部分を領域分割した後、ボンネット認識部 114は、それらの領域のどれがボンネットに相当するかを推定する。ボンネットに相当する領域を推定するため、ボンネット認識部 114は、各領域の色、幅および高さを求める。色については、領域中の各画素の色の平均をとつてもよ!、し、領域中の各画素の色の分布に基づ、て求めてもよい。そして、ボンネット認識部 114は、求められた各領域の色、幅および高さを、記憶部 120の判定ルール記憶領域 122に記憶された推定ルールと照合することによりボンネットに相当する領域を推定する。 [0051] 図 20は、色によるボンネット領域の推定ルールの一例を示す図である。同図に示すように、このルールは、隣接する 2つの領域の上位の領域の色と下位の領域の色の組合せごとに、下位の領域がボンネットに相当する領域である確度を定義したものである。

[0052] 例えば、上位の領域の色が「シルバー」であり、下位の領域の色が「白」である場合、上位の領域がフロントガラスであり、下位の領域がボンネットである可能性が高いので、この組合せに対する確度は、「30」となっている。また、上位の領域の色が「白」であり、下位の領域の色が「シルバー」である場合、上位の領域がルーフであり、下位の領域がフロントガラスである可能性が高いので、この組合せに対する確度は、「0」となっている。

[0053] 図 21は、領域の高さによるボンネット領域の推定ルールの一例を示す図である。同図に示すように、このルールは、隣接する 2つの領域の上位の領域の高さが全体に占める割合と下位の領域の高さが全体に占める割合の組合せごとに、下位の領域がボンネットに相当する領域である確度を定義したものである。

[0054] 例えば、上位の領域の高さの割合が「25%」であり、下位の領域の高さの割合が「4 0%」である場合、上位の領域がフロントガラスであり、下位の領域がボンネットである可能性が高いので、この組合せに対する確度は、「40」となっている。また、上位の領域の高さの割合が「30%」であり、下位の領域の高さの割合が「20%」である場合、上位の領域がルーフであり、下位の領域がフロントガラスである可能性が高、ので、この組合せに対する確度は、「0」となっている。

[0055] ボンネット認識部 114は、隣接する 2つの領域の全ての組合せについて、これらのルールとの照合をおこな、、下位の領域がボンネットである確度を組合せごと集計する。例えば、上位の領域の色が「シルバー」で、高さが「25%」であり、下位の領域の色が「白」で、高さが「40%」である場合、この組合せにおける下位の領域がボンネットである確度の集計値は、 30+40で 70となる。そして、ボンネット認識部 114は、最も高い確度が得られた組合せにおける下位の領域をボンネットと推定する。なお、このとき、幅が狭ぐボンネットであるはずがない領域が誤ってボンネットであると推定されることを防止するため、ボンネットの幅の下限値を判定ルール記憶領域 122に記憶しておき、下位の領域の幅がこの下限値未満である組合せを除外して判定することとしてちよい。

[0056] なお、上記の例では、隣接する 2つの領域の色や高さの変化のパターンに基づいてボンネットに相当する領域を推定している力隣接する 3つ以上の領域の色や高さの変化のパターンに基づいてボンネットに相当する領域を推定することとしてもよい。

[0057] こうして、ボンネットに相当する領域を推定した後、ボンネット認識部 114は、その領域の高さと傾きを求める。傾きは、ボンネットに相当する領域の下端の線、すなわち、エッジ情報に基づ、て求められた境界線のうち、ボンネットと推定された領域とその直下の領域との境界となっている線（図 18におけるライン D)と、ボンネットと推定された領域のカメラ力も遠い側の側面の直線（図 18におけるライン F)とのなす角度として求められる。

[0058] ボンネットと推定された領域の側面のうち、どちらがカメラ力も遠い側であるかを示す情報は、記憶部 120の設定情報記憶領域 123に予め記憶されている。そして、ボンネット認識部 114は、カメラ力も遠い側の側面と背景との境界部分の座標を図 19のように抽出し、最小二乗法等をもちいてこれらの座標の中心を通る直線を求め、その直線をカメラ力遠、側の側面の直線とする。

[0059] なお、カメラの設置角度や高さによってボンネットに相当する領域の傾きと高さが変動することを防止するため、ボンネット認識部 114が、記憶部 120の設定情報記憶領域 123に記憶された撮影機器の設置角度に関する情報や、認識画像全体におけるボンネット部分の位置等に基づ、て、ボンネットの傾きと高さを補正することとしてもよい。

[0060] 黄色ナンバー判定部 115は、車両部分抽出部 112により抽出された車両部分に黄色いナンバープレートが写っている力否かを判定する処理部である。この判定は、例えば、特許文献 1において開示されている技術をもちいて実現することができる。黄色ナンバー判定部 115の判定結果は、車両種別判定部 113による車両種別判定にもちいられる。

[0061] 記憶部 120は、各種情報を記憶する記憶部であり、画像データ記憶領域 121と、判定ルール記憶領域 122と、設定情報記憶領域 123とを有する。画像データ記憶領域 121は、画像入力部により入力が受け付けられた認識画像とその関連情報や、背景画像が格納される領域である。

[0062] 判定ルール記憶領域 122、車両種別判定部 113やボンネット認識部 114が各種判定をおこなうためのルールや閾値が記憶される領域である。設定情報記憶領域 123 は、撮影機器の設置角度のような設定情報が記憶される領域である。

[0063] 次に、図 9に示した車両種別判定装置 100の処理手順について説明する。図 22は

、車両種別判定装置 100の処理手順を示すフローチャートである。同図に示すように

、まず、画像入力部 111が、背景画像の入力を受け付けて、これを画像データ記憶領域に格納し (ステップ S101)、認識画像の入力を受け付けて、これを画像データ記憶領域に格納する (ステップ S 102)。

[0064] そして、車両部分抽出部 112が、認識画像と背景画像の路面部分の明るさが同等になるように背景画像の明るさを調整し (ステップ S103)、認識画像と背景画像を比較して、認識画像から車両部分を抽出する (ステップ S104)。

[0065] そして、車両部分抽出部 112により抽出された車両部分に対して、車両種別判定部 113が、後述する車両種別判定処理をおこなって車両の種別を判定し (ステップ S

105)、判定結果を表示部 130に出力する (ステップ S106)。

[0066] 図 23は、車両種別判定処理の処理手順を示すフローチャートである。同図に示すように、まず、車両種別判定部 113は、車両部分抽出部 112により抽出された車両部分の面積、幅および高さを取得する (ステップ S201)。

[0067] そして、面積と幅が閾値以下の場合は (ステップ S202肯定）、高さが閾値以下であれば (ステップ S211肯定）、認識対象を「路面 ·その他」と判定し (ステップ S213)、さもなければ (ステップ S211否定）、認識対象を「バイク」と判定する (ステップ S212)。

[0068] 車両部分抽出部 112により抽出された車両部分の面積と幅が閾値以下でない場合は (ステップ S202否定）、後述するボンネット認識処理をおこなって、ボンネットの傾きと高さを取得する (ステップ S 203)。

[0069] そして、黄色ナンバー判定部 115により黄色いナンバープレートの存在が認められた場合は (ステップ S 204肯定）、認識対象を「軽自動車」と判定し (ステップ S210)、車両部分の面積と幅が閾値以上であれば (ステップ S205肯定)、認識対象を「大型車」と判定する (ステップ S 209)。

[0070] そして、認識対象を「軽自動車」とも「大型車」とも判定しな力つた場合は (ステップ S 204否定、かつ、ステップ S205否定）、ボンネット認識処理によって得られたボンネットの傾きが閾値以上であり、かつ、高さが閾値以下の場合に (ステップ S206肯定）、認識対象を「ワゴン」と判定し (ステップ S208)、さもなければ (ステップ S 206否定）、認識対象を「普通車」と判定する (ステップ S 207)。

[0071] 図 24は、ボンネット認識処理の処理手順を示すフローチャートである。同図に示すように、まず、車両種別判定部 113は、車両部分抽出部 112により抽出された車両部分の縦方向のエッジを検出し (ステップ S301)、検出されたエッジを基準として車両部分を複数の領域に分割する (ステップ S302)。

[0072] そして、分割により得られた各領域の色、幅および高さを取得し (ステップ S303)、これを推定ルールと照合してボンネットに相当する領域を推定する (ステップ S304) 。そして、ボンネットの側面の輪郭線を検出し (ステップ S305)、ボンネットの傾きと高さを取得し (ステップ S306)、取得した傾きと高さの補正をおこなう（ステップ S307)。

[0073] なお、図 9に示した本実施例に係る車両種別判定装置 100の構成は、本発明の要旨を逸脱しない範囲で種々に変更することができる。例えば、車両種別判定装置 10 0の制御部 110の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、車両種別判定装置 100と同等の機能を実現することもできる。以下に、制御部 110の機能をソフトウェアとして実装した車両種別判定プログラム 1071を実行するコンピュータの一例を示す。

[0074] 図 25は、車両種別判定プログラム 1071を実行するコンピュータ 1000を示す機能ブロック図である。このコンピュータ 1000は、各種演算処理を実行する CPU (Central Processing Unit) 1010と、ユーザからのデータの入力を受け付ける入力装置 102 0と、各種情報を表示するモニタ 1030と、各種プログラム等を記録した記録媒体からプログラム等を読み取る媒体読取り装置 1040と、ネットワークを介して他のコンビユータとの間でデータの授受をおこなうネットワークインターフェース装置 1050と、各種情報を一時記憶する RAM (Random Access Memory) 1060と、ハードディスク装置 1 070とをバス 1080で接続して構成される。 [0075] そして、ハードディスク装置 1070には、図 9に示した制御部 110と同様の機能を有する車両種別判定プログラム 1071と、図 9に示した記憶部 120に記憶される各種データに対応する車両種別判定用データ 1072とが記憶される。なお、車両種別判定用データ 1072を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。

[0076] そして、 CPU1010が車両種別判定プログラム 1071をハードディスク装置 1070から読み出して RAM1060に展開することにより、車両種別判定プログラム 1071は、車両種別判定プロセス 1061として機能するようになる。そして、車両種別判定プロセス 1061は、車両種別判定用データ 1072から読み出した情報等を適宜 RAM1060 上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。

[0077] なお、上記の車両種別判定プログラム 1071は、必ずしもハードディスク装置 1070 に格納されている必要はなぐ CD— ROM等の記憶媒体に記憶されたこのプロダラムを、コンピュータ 1000が読み出して実行するようにしてもよい。また、公衆回線、ィンターネット、 LAN (Local Area Network)、 WAN (Wide Area Network)等を介してコンピュータ 1000に接続される他のコンピュータ（またはサーノ）等にこのプロダラムを記憶させておき、コンピュータ 1000がこれら力プログラムを読み出して実行するようにしてちょい。

[0078] 上述してきたように、本実施例では、画像中における車両のボンネットを認識し、その高さにカ卩えて、側面の傾きの大きさに基づいて車両種別の判定をおこなうように構成したので、撮影機器の設置条件により、ボンネットの高さ等に基づいて車両種別を正確に判定することができない場合であっても、精度よく車両の種別を判定することができる。

[0079] なお、上記の実施例におけるボンネットという用語は、車両前部にエンジンを備える車両であれば車両前部のエンジンのカバー、車両後部にエンジンを備える車両であれば車両前部のトランクのカバーのことを指す。

[0080] また、上記の実施例においては、認識画像中のボンネットの側面部分の傾きの大きさに基づいて車両の種別を判定する例について説明した力ボンネットの側面部分の丸みの大きさに基づいて車両の種別を判定することもできる。この場合、例えば、ボンネットの側面部分の近時曲線を求め、丸みの大きさを示す係数を算出し、これを閾値と比較して車両種別判定をおこなう。この方式は、ボンネットに丸みをもつ特殊な形状の車両を判定する場合に有効である。

[0081] また、認識画像中のボンネットに代えて、または、これに加えて、傾きの大きさをいずれかの角の角度として取得可能な部位 (例えば、フロントガラス部分やルーフ部分 )の傾きの大きさを取得して車両の種別を判定することもできる。例えば、フロントガラス部分の傾きが閾値よりも大きい場合は、認識対象が大型車であると判定することができる。

[0082] また、上記の実施例においては、これらの車両種別判定領域の下辺と側面の直線との角度をもちいて車両種別を判定する例を説明したが、これに替えて、車両種別判定領域の上辺と側面の直線との角度をもちいても同様の結果となることは明らかである。

産業上の利用可能性

[0083] 以上のように、本発明に係る車両種別判定装置、車両種別判定プログラムおよび車両種別判定方法は、車両を撮影した画像をもち!ヽて当該の車両の種別を判定する場合に有用であり、特に、撮影機器の設置条件に関わらず、精度よく車両の種別を判定することが必要な場合に適して、る。

Claims

請求の範囲

[1] 車両を撮影した画像を用いて該車両の種別を判定する車両種別判定装置であつて、

前記車両の車両種別判定領域の輪郭を構成する水平方向の直線と側面の直線を、前記画像から抽出する手段と、

前記水平方向の直線と前記側面の直線との角度を求める手段と、

前記角度に基づいて前記車両の種別を判定する車両種別判定手段と、を備えることを特徴とする車両種別判定装置。

[2] 前記側面の直線は、前記画像を撮影した撮影装置の設置位置から遠!ヽ側の側面を用いることを特徴とする請求項 1に記載の車両種別判定装置。

[3] 前記角度と車両種別との関係を定義した記憶領域を備え、

前記車両種別判定手段が、

前記記憶領域を参照することで前記車両の種別を判定することを特徴とする請求項 1に記載の車両種別判定装置。

[4] 前記車両種別判定領域が、車両のボンネットであることを特徴とする請求項 1に記載の車両種別判定装置。

[5] 前記車両種別判定領域が、車両のフロントガラスであることを特徴とする請求項 1に記載の車両種別判定装置。

[6] 前記画像を縦方向に走査して得られたエッジを基準として前記車両を複数の領域に分割し、これらの領域の色の変化のパターンに基づいて、前記車両種別判定領域を認識する車両種別判定領域抽出手段を備えることを特徴とする請求項 1に記載の車両種別判定装置。

[7] 前記画像を縦方向に走査して得られたエッジを基準として前記車両を複数の領域に分割し、これらの領域の高さの変化のパターンに基づいて、前記車両種別判定領域を認識する車両種別判定領域抽出手段を備えることを特徴とする請求項 1に記載の車両種別判定装置。

[8] 車両を撮影した画像を用いて該車両の種別を判定する車両種別判定装置を、前記車両の車両種別判定領域の輪郭を構成する水平方向の直線と側面の直線を、前記画像から抽出する手段と、

前記角度に基づいて前記車両の種別を判定する車両種別判定手段と、して動作させることを特徴とする車両種別判定プログラム。

車両を撮影した画像を用いて該車両の種別を判定する車両種別判定装置による車両種別判定方法であって、

前記車両の車両種別判定領域の輪郭を構成する水平方向の直線と側面の直線を

、前記画像から抽出するステップと、

前記水平方向の直線と前記側面の直線との角度を求めるステップと、

前記角度に基づいて前記車両の種別を判定する車両種別判定ステップと、を含むことを特徴とする車両種別判定方法。