JP2017058950A - 認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラム - Google Patents

Abstract

【課題】文字又は記号を撮像した撮像画像に相当する撮像情報に基づいて、当該文字又は記号の内容をより正確に認識することが可能な認識装置を提供する。
【解決手段】内容を認識されるべき文字等が記されたナンバープレートを撮像した画像データに基づいて、文字等を含み且つ当該文字等に外接する長方形の外縁を有する文字領域を文字等ごとに抽出する。そして、上記外縁と、文字等自体を構成する構成線と、により画されるスペースを文字領域から抽出し、そのスペースの数又は位置の少なくともいずれか一方を検出し、その検出結果に基づいて文字等の内容を認識する処理部３を備える。
【選択図】図１

Description

本発明は、認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラムの技術分野に属する。より詳細には、文字又は記号を撮像した撮像画像に相当する撮像情報に基づいて、当該文字又は記号の内容を認識する認識装置、認識方法及び当該認識装置用のプログラム、並びに当該認識装置を含む撮像システム及び撮像装置の技術分野に属する。

近年、例えば防犯上の必要性により、駐車場に並べられている車両のナンバープレートを撮像し、その内容としての車番（車両番号）等を読み取ることが行われている。ここで、当該車両番号としての数字を読み取る技術を開示した先行技術文献として、例えば下記特許文献１が挙げられる。下記特許文献１記載の技術では、個々の文字に対する個別辞書と、複数の文字を組み合わせた一括辞書と、の二パターンの辞書を用いたマッチング処理を使って、文字又は数字を認識することとされている。

特開２００２−１４０７９１号公報

しかしながら、上記特許文献１記載の技術では、文字又は数字を誤って認識した場合の修正方法については何ら言及されていない。このとき、上記防犯上の用途を考慮すると、誤認識はできる限り少なくすべきであり、また誤認識が発生した場合でもそれを修正する手法を設ける必要がある。

そこで本発明は、上記の問題点及び要請に鑑みて為されたもので、その課題の一例は、文字又は記号を撮像した撮像画像に相当する撮像情報に基づいて、当該文字又は記号の内容をより正確に認識することが可能な認識装置、認識方法及び当該認識装置用のプログラム、並びに当該認識装置を含む撮像システム及び撮像装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する処理部等の取得手段と、前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する文字切り出し部等の領域抽出手段と、前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出する結果修正部等のスペース抽出手段と、前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する結果修正部等の検出手段と、前記検出手段による検出結果に基づいて前記内容を認識する結果修正部等の内容認識手段と、を備える。

上記の課題を解決するために、請求項１３に記載の発明は、請求項１から請求項１２のいずれか一項に記載の認識装置と、前記撮像対象物を撮像して前記撮像情報を生成し、前記取得手段に出力するカメラ等の撮像装置と、を備える。

上記の課題を解決するために、請求項１４に記載の発明は、請求項１から請求項１２のいずれか一項に記載の認識装置と、前記撮像対象物を撮像して前記撮像情報を生成し、前記取得手段に出力するカメラ等の撮像手段と、を備える。

上記の課題を解決するために、請求項１５に記載の発明は、内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する取得工程と、前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する領域抽出工程と、前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出するスペース抽出工程と、前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する検出工程と、前記検出工程における検出結果に基づいて前記内容を認識する内容認識工程と、を含む。

上記の課題を解決するために、請求項１６に記載の発明は、コンピュータを、内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する取得手段、前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する領域抽出手段、前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出するスペース抽出手段、前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する検出手段、及び、前記検出手段として機能する前記コンピュータによる検出結果に基づいて前記内容を認識する内容認識手段、として機能させるように構成される。

請求項１又は請求項１３乃至請求項１６のいずれか一項に記載の発明によれば、文字／記号領域を文字又は記号ごとに抽出し、その文字／記号領域におけるスペースの数又は位置の少なくともいずれか一方を検出して文字又は記号の内容を認識する。よって、文字／記号領域におけるスペースの数又は位置の少なくともいずれか一方に基づいて、文字又は記号の内容をより正確に認識することができる。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の認識装置において、前記文字又は記号は算用数字であり、前記スペース抽出手段は、周囲を全て前記線により囲まれている前記スペースである第１スペースを抽出し、前記内容認識手段は、前記抽出された第１スペースの数が二つであることが前記検出手段により検出されたとき、前記算用数字が８であると認識するように構成される。

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、文字又は記号が算用数字であり、第１スペースの数が二つであることが検出されたとき、認識対象たる算用数字が「８」であると認識する。よって、当該算用数字が「８」であることをより正確に認識することができる。

上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の認識装置において、前記内容認識手段は、前記抽出された第１スペースの数が一つであること、及び当該第１スペースの重心が前記文字／記号領域において予め設定された位置よりも下にあることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が６であると認識するように構成される。

請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、第１スペースの数が一つであること、及びその重心が既定の位置よりも下にあることがそれぞれ検出されたとき、認識対象たる算用数字が「６」であると認識する。よって、当該算用数字が「６」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項４に記載の発明は、請求項３に記載の認識装置において、前記内容認識手段は、前記抽出された第１スペースの数が一つであること、及び当該第１スペースの重心が前記文字／記号領域において前記位置よりも上にあることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が９であると認識するように構成される。

請求項４に記載の発明によれば、請求項３に記載の発明の作用に加えて、第１スペースの数が一つであること、及びその重心が既定の位置よりも上にあることがそれぞれ検出されたとき、認識対象たる算用数字が「９」であると認識する。よって、当該算用数字が「９」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項５に記載の発明は、請求項２から請求項４のいずれか一項に記載の認識装置において、前記検出手段は、前記第１スペースの面積を更に検出し、前記内容認識手段は、前記抽出された第１スペースの数が一つであること、当該第１スペースの重心が前記文字／記号領域において予め設定された中心位置にあること、及び当該第１スペースの面積が予め設定された値よりも大きいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が０であると認識するように構成される。

請求項５に記載の発明によれば、請求項２から請求項４のいずれか一項に記載の発明の作用に加えて、第１スペースの数が一つであること、その重心が既定の中心位置にあること、及びその面積が既定値よりも大きいことがそれぞれ検出されたとき、認識対象たる算用数字が「０」であると認識する。よって、当該算用数字が「０」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項６に記載の発明は、請求項５に記載の認識装置において、前記内容認識手段は、前記抽出された第１スペースの数が一つであること、当該第１スペースの重心が前記文字／記号領域において前記中心位置にあること、及び当該第１スペースの面積が前記値よりも小さいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が４であると認識するように構成される。

請求項６に記載の発明によれば、請求項５に記載の発明の作用に加えて、第１スペースの数が一つであること、その重心が既定の中心位置にあること、及びその面積が既定値よりも小さいことがそれぞれ検出されたとき、認識対象たる算用数字が「４」であると認識する。よって、当該算用数字が「４」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項７に記載の発明は、請求項２に記載の認識装置において、前記スペース抽出手段は、前記第１スペースと、当該第１スペース以外の前記スペースである複数の第２スペースと、をそれぞれ抽出し、前記内容認識手段は、前記第１スペースの数及び前記第２スペースの数が共にゼロであることが前記検出手段により検出されたとき、前記算用数字が１であると認識するように構成される。

請求項７に記載の発明によれば、請求項２に記載の発明の作用に加えて、第１スペースの数及び第２スペースの数が共にゼロであることが検出されたとき、認識対象たる算用数字が「１」であると認識する。よって、当該算用数字が「１」であることをより正確に認識することができる。

上記の課題を解決するために、請求項８に記載の発明は、請求項７に記載の認識装置において、前記検出手段は、各前記第２スペースの面積をそれぞれ更に検出し、前記内容認識手段は、前記第１スペースの数がゼロであること、及び各前記検出された面積の最大値が予め設定された値よりも大きいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が３であると認識するように構成される。

請求項８に記載の発明によれば、請求項７に記載の発明の作用に加えて、第１スペースの数がゼロであること、及び第２スペースの面積の最大値が既定値よりも大きいことがそれぞれ検出されたとき、認識対象たる算用数字が「３」であると認識する。よって、当該算用数字が「３」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項９に記載の発明は、請求項８に記載の認識装置において、前記検出手段は、最も広い前記面積を有する前記第２スペースの重心である第１重心と、二番目に広い前記面積を有する前記第２スペースの重心である第２重心と、を結んだ線分の、正立させた前記文字／記号領域の短辺右向きをｘ軸とし長辺下向きをｙ軸とした座標系における傾きを更に検出し、前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、及び前記傾きが負であることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が５であるように構成される。

請求項９に記載の発明によれば、請求項７に記載の発明の作用に加えて、第１スペースの数がゼロであること、第２スペースの面積の最大値が既定値より小さいこと、及び第１重心と第２重心とを結んだ線分の傾きが負であることがそれぞれ検出されたとき、認識対象たる算用数字が「５」であると認識する。よって、当該算用数字が「５」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項１０に記載の発明は、請求項９に記載の認識装置において、前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、前記傾きが正であること、及び前記第２スペースの数が四つであることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が２であると認識するように構成される。

請求項１０に記載の発明によれば、請求項９に記載の発明の作用に加えて、第１スペースの数がゼロであること、第２スペースの面積の最大値が既定値より小さいこと、第１重心と第２重心とを結んだ線分の傾きが正であること、及び第２スペースの数が四つであることがそれぞれ検出されたとき、認識対象たる算用数字が「２」であると認識する。よって、当該算用数字が「２」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項１１に記載の発明は、請求項９又は請求項１０に記載の認識装置において、前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、前記傾きが正であること、及び前記第２スペースの数が二つであることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が７であると認識するように構成される。

請求項１１に記載の発明によれば、請求項９又は請求項１０に記載の発明の作用に加えて、第１スペースの数がゼロであること、第２スペースの面積の最大値が既定値より小さいこと、第１重心と第２重心とを結んだ線分の傾きが正であること、及び第２スペースの数が二つであることがそれぞれ検出されたとき、認識対象たる算用数字が「７」であると認識する。よって、当該算用数字が「７」であることを、より正確に認識することができる。

上記の課題を解決するために、請求項１２に記載の発明は、請求項１から請求項１１のいずれか一項に記載の認識装置において、前記撮像対象物が車両のナンバープレートであり、前記文字又は記号が前記ナンバープレートに記載されている算用数字であるように構成される。

請求項１２に記載の発明によれば、請求項１から請求項１１のいずれか一項に記載の発明の作用に加えて、撮像対象物が車両のナンバープレートであり、認識対象の文字又は記号がナンバープレートに記載されている算用数字であるので、当該算用数字の内容をより正確に認識することができる。

本発明によれば、文字／記号領域を文字又は記号ごとに抽出し、その文字／記号領域におけるスペースの数又は位置の少なくともいずれか一方を検出して文字又は記号の内容を認識する。

従って、文字／記号領域におけるスペースの数又は位置の少なくともいずれか一方に基づいて、文字又は記号の内容をより正確に認識することができる。

実施形態に係る監視システムの概要構成を示すブロック図である。 実施形態に係る監視システムの撮像対象であるナンバープレートを例示する図である。 実施形態に係る監視処理を示すフローチャートである。 実施形態に係る撮像内容を例示する図であり、（ａ）は実施形態に係る撮像画像を例示する図であり、（ｂ）は実施形態に係るナンバープレート部分の走査処理を例示する図であり、（ｃ）は実施形態に係るナンバープレート部分の切り出し結果を例示する図であり、（ｄ）は実施形態に係る文字領域の探索を例示する図であり、（ｅ）は実施形態に係る文字領域の切り出し結果を例示する図であり、（ｆ）は実施形態に係る認識結果を例示する図であり、（ｇ）は実施形態に係る数字用結果修正処理による修正結果を例示する図であり、（ｈ）は実施形態に係るナンバープレートの最終認識結果を例示する図である。 実施形態に係る数字用結果修正処理における各数字についてのスペースを示す図であり、（ａ）は数字「１」におけるスペースを示す図であり、（ｂ）は数字「２」におけるスペースを示す図であり、（ｃ）は数字「３」におけるスペースを示す図であり、（ｄ）は数字「４」におけるスペースを示す図であり、（ｅ）は数字「５」におけるスペースを示す図であり、（ｆ）は数字「６」におけるスペースを示す図であり、（ｇ）は数字「７」におけるスペースを示す図であり、（ｈ）は数字「８」におけるスペースを示す図であり、（ｉ）は数字「９」におけるスペースを示す図であり、（ｊ）は数字「０」におけるスペースを示す図である。 実施形態に係る数字用結果修正処理を示すフローチャートである。 実施形態に係るスペースの認識を示す図であり、（ａ）は当該認識の第一段階を例示する図であり、（ｂ）は当該認識の第二段階を例示する図であり、（ｃ）は当該認識の第三段階を例示する図であり、（ｄ）は当該認識の第四段階を例示する図であり、（ｅ）は当該認識の第五段階を例示する図である。

次に、本発明を実施するための形態について、図１乃至図７を用いて説明する。なお、以下に説明する実施形態は、例えば駐車場等に駐車されている車両のナンバープレートに記載されている車番を認識して防犯の用に供させる監視システムにおける当該車番の認識処理に対して本発明を適用した場合の実施の形態である。

また、図１は実施形態に係る監視システムの概要構成を示すブロック図であり、図２は当該監視システムの撮像対象であるナンバープレートを例示する図であり、図３は実施形態に係る監視処理を示すフローチャートであり、図４は実施形態に係る撮像内容をそれぞれ例示する図である。更に、図５は実施形態に係る数字用結果修正処理における各数字におけるスペースを示す図であり、図６は当該数字用結果修正処理を示すフローチャートであり、図７は実施形態に係るスペースの認識を示す図である。

図１に示すように、実施形態に係る監視システムＳは、上記駐車場等に備えられたカメラ装置Ｃと、上記駐車場等とは別の例えば管理施設等に備えられたサーバＳＶと、上記カメラ装置ＣとサーバＳＶとを接続して種々のデータの授受を可能とする例えばインターネット等のネットワークＮＷと、により構成されている。このとき実施形態に係る監視システムＳとしては、複数のカメラ装置ＣがネットワークＮＷを介して一つのサーバＳＶに接続されていてもよい。この場合の各カメラ装置Ｃは相互に同一の構成及び機能を有するので、以下の実施形態に係る説明では、一つのカメラ装置ＣがネットワークＮＷを介して一つのサーバＳＶに接続された構成を備える監視システムＳについて説明する。

以上の構成を有する実施形態に係る監視システムＳにおいて、カメラ装置Ｃは、実施形態に係る監視処理の一環として、上記駐車場等に駐車している車両のナンバープレートを撮像し、そこに記載されている車番（の内容）を認識し、ネットワークＮＷを介してその認識結果をサーバＳＶに送信する。これによりサーバＳＶは実施形態に係る監視処理の一環として、上記送信されてきた認識結果に基づき、例えば当該認識結果に相当する車番の車両が予め登録された注意車両の車番であるか否か等を判定し、当該判定結果に応じて予め設定されている通報処理等を行う。

次に、上記カメラ装置Ｃの細部構成について図１を用いて説明する。図１に示すように実施形態に係るカメラ装置Ｃは、例えばＣＣＤ（Charge Coupled Device）等からなるカメラ１と、ＲＡＭ（Random Access Memory）２と、ＣＰＵ、ＲＡＭ及びＲＯＭ（Read Only Memory）等からなる処理部３と、予め設定されたインターフェース処理等を行う通信部４と、例えば操作ボタン等からなる操作部５と、により構成されている。更に処理部３は、ナンバープレート検出部３０と、ナンバープレート切り出し部３１と、文字位置推定部３２と、文字切り出し部３３と、文字認識部３４と、誤認識判定部３５と、結果修正部３６と、により構成されている。このとき、ナンバープレート検出部３０、ナンバープレート切り出し部３１、文字位置推定部３２、文字切り出し部３３、文字認識部３４、誤認識判定部３５及び結果修正部３６は、処理部３を構成するＣＰＵ等を含むハードウェアロジック回路により実現されてもよいし、或いは、後述する実施形態に係る監視処理を示すフローチャートに相当するプログラムを上記ＣＰＵ等により実行することにより、ソフトウェア的に実現されてもよい。また、上記カメラ１が本発明に係る「撮像手段」の一例及び「撮像装置」の一例にそれぞれ相当し、上記処理部３が本発明に係る「取得手段」の一例に相当し、上記文字切り出し部３３が本発明に係る「領域抽出手段」の一例に相当し、上記結果修正部３６が本発明に係る「スペース抽出手段」の一例、「検出手段」の一例及び「内容認識手段」の一例にそれぞれ相当する。

以上のカメラ装置Ｃの構成において通信部４は、ネットワークＮＷを介したカメラ装置ＣとサーバＳＶとの間の諸データの授受を、処理部３の制御の下で制御する。また操作部５は、例えばカメラＣの撮像範囲や解像度を設定する等の操作が当該操作部５において実行されると、当該実行された操作に対応した操作信号を生成し、処理部３に出力する。

一方カメラ１は、処理部３の制御の下、例えば上記設定された撮像範囲にある車両を上記ナンバープレートと共に撮像し、当該撮像結果に相当する画像データを生成してＲＡＭ２に一時的に記憶させる。その後ＲＡＭ２は、当該一時的に記憶されている画像データを、例えば処理部３の制御の下で当該処理部３に出力する。

ここで、実施形態に係るカメラ装置Ｃの撮像対象及び車番の認識対象であるナンバープレートについて、図２を用いてその一例を説明する。図２に示すように、当該撮像対象等であるナンバープレート１０は、一般の車両等の前後に取り付けられている。そしてナンバープレート１０には一般に、運輸支局名１１と、分類番号１２と、ひらがな１３と、一連番号１４と、が記載されている。そして、運輸支局名１１、分類番号１２、ひらがな１３及び一連番号１４により、そのナンバープレート１０としての撮像対象等たる車番を構成している。このとき運輸支局名１１は、ナンバープレート１０が払い出された運輸支局名を示す地名であり、全部で１０６種類ある。また分類番号１２は、ナンバープレート１０が取り付けられている車両の用途や大きさを示す番号であり、一桁から三桁の数字で構成される。次にひらがな１３は、ナンバープレート１０が取り付けられている車両の用途を示す記号であり、全部で４２種類ある。最後に一連番号１４は、ナンバープレート１０が取り付けられている車両の持ち主がいわゆる希望番号制により自由に指定可能な番号で、一部の禁止番号（「９６４６番」等）を除いて指定可能な、一桁から四桁の数字により構成される。そして実施形態に係るカメラ装置Ｃは、以上のような一連番号１４等が記載されているナンバープレート１０を撮像してそれに記載されている車番を認識し、その結果を、ネットワークＮＷを介してサーバＳＶに送信する。

一方処理部３のナンバープレート検出部３０は、一のナンバープレート１０を撮像した上記画像データがＲＡＭ２から出力されてくると、当該画像データの中からナンバープレート１０に相当する部分を走査して検出し、その検出結果をナンバープレート切り出し部３１に出力する。そしてナンバープレート切り出し部３１は、ナンバープレート検出部３０における検出結果の中からナンバープレート１０に相当する部分（領域）を切り出し、当該切り出し結果を文字位置推定部３２に出力する。これにより文字位置推定部３２は、当該切り出し結果における文字（ナンバープレート１０上に記載されている上記運輸支局名１１等を構成する漢字、ひらがな及び数字をいう。以下、同様。）の位置を推定し、更に文字切り出し部３３が、当該推定された文字のみを当該推定結果から切り出す。その後文字認識部３４は、文字切り出し部３３により切り出された文字の内容を認識し、更に誤認識判定部３５は、文字認識部３４における文字の認識結果について、数字と数字を除く文字とに分けて、それぞれの認識結果に誤りがあるか否かを判定する。なお上記ナンバープレート検出部３０、ナンバープレート切り出し部３１、文字位置推定部３２、文字切り出し部３３、文字認識部３４及び誤認識判定部３５それぞれにおける上記処理は、基本的に従来の当該各処理と同様のものである。

次に結果修正部３６は、誤認識判定部３５においてナンバープレート１０に記載されている数字についての誤認識があった場合、後ほど詳述する実施形態に係る数字用結果修正処理を行い、当該誤認識を修正する。そして処理部３は、結果修正部３６による当該数字についての修正結果と、文字認識部３４における数字以外の文字の認識結果と、を結合し、ナンバープレート１０に記載された文字全体（即ち車番）の認識結果として通信部４に出力する。その後通信部４は、当該車番の認識結果を、上述したようにネットワークＮＷを介してサーバＳＶに出力する。

次に、実施形態に係る監視システムＳにおいて実行される、実施形態に係る監視処理について、図３乃至図７を主として用いて説明する。

実施形態に係る監視処理は、カメラ装置Ｃの駐車場等への設置終了後にその電源スイッチがオンとされると、例えば予め設定された時刻ごとに、又は予め設定されたタイミングで開始される。そして、対応するフローチャートを図３に示すように、実施形態に係る監視処理が開始されると、カメラ装置Ｃの処理部３はその一環として初めに、カメラ１を制御して、例えば上記設定された撮像範囲にある車両を上記ナンバープレートと共に撮像し（ステップＳ１）、当該撮像結果に相当する画像データを生成してＲＡＭ２に一時的に記憶させる（ステップＳ２）。ここで当該撮像結果としては、例えば図４（ａ）に示すように、ナンバープレートを含んだ車両の撮像結果Ｇが得られ、それに相当する画像データがＲＡＭ２に一時的に記憶させる。この撮像結果Ｇとしては、例えば図４（ａ）に示すように一台の車両を連写するように撮像してもよいし、車両一台につき一つの撮像結果Ｇを撮像してもよい。

次に処理部３のナンバープレート検出部３１は、上記撮像結果Ｇに相当する画像データをＲＡＭ２から読み出す。その後ナンバープレート検出部３１は、当該読み出した画像データに対して、図４（ｂ）に白矢印で例示するような、当該画像データの中からナンバープレート１０に相当するナンバープレート部分を検出するための走査処理を行う（ステップＳ３）。そしてナンバープレート検出部３１は、ナンバープレート部分が検出できたか否かを判定し（ステップＳ４）、当該ナンバープレート部分が検出できなかった場合は（ステップＳ４；ＮＯ）、上記ステップＳ１に戻って車両の撮像を再度行う。一方ステップＳ４の判定においてナンバープレート部分が検出できた場合（ステップＳ４；ＹＥＳ）、次にナンバープレート切り出し部３１は図４（ｃ）に例示するように、当該検出されたナンバープレート部分ＧＮを撮像結果Ｇに相当する画像データから切り出す（ステップＳ５）。次に文字位置推定部３２、文字切り出し部３３及び文字認識部３４により、ナンバープレート部分ＧＮに含まれている文字の内容を認識する（ステップＳ６）。

即ち当該ステップＳ６として先ず文字位置推定部３２は図４（ｄ）に例示するように、ナンバープレート切り出し部３１による切り出し結果（図４（ｃ）参照）における文字領域ＧＬの位置を推定する。次に文字切り出し部３３は図４（ｅ）に例示するように、当該位置が推定された文字領域ＧＬをナンバープレート部分ＧＮから切り出す。このとき、より具体的に文字位置推定部３２及び文字切り出し部３３は、例えば二つのルックアップテーブルを用いたいわゆるラベリング処理により、上記文字領域ＧＬの位置推定及び切り出しを行う。なおこのラベリング処理の結果は、結果修正部３６による後述の数字用結果修正処理にも用いられる。その後ステップＳ６として文字認識部３４は、文字切り出し部３３により切り出された文字領域ＧＬに含まれている文字の内容を認識する。このときより具体的に文字認識部３４は、例えば予め設定されて上記ＲＯＭ等に記録されているデータベース上の辞書データをいわゆるテンプレートとし、上記各文字領域ＧＬに相当する画像と当該テンプレートとの間の類似度を計算することで、当該文字領域ＧＬ内の文字の内容を認識する。この場合における当該類似度の計算方法は種々知られているが、一例としては、いわゆるＺＮＣＣ（Zero-mean Normalized Cross Correlation）法が挙げられる。このＺＮＣＣ法は、二つの画像間の相関を以下の数（１）で示す処理により算出するアルゴリズムである。その結果ZNCC[u, v]は−１〜＋１の間の値として表され、ZNCC[u, v]＝０の場合は「相関なし」（即ち、類似度の計算対象となっている文字は比較対象たるテンプレートの文字ではない）、ZNCC[u, v]＝１の場合は両者の間に「正の相関あり」、ZNCC[u, v]＝−１の場合は両者の間に「負の相関あり」、とされる。

そして文字認識部３４は図４（ｆ）に例示するように、例えば上記ＺＮＣＣ法を用いた認識結果ＲＳを出力する。

次に誤認識判定部３５は、上記認識結果ＲＳに含まれている数字以外の文字についての誤認識の有無を判定する（ステップＳ７）。このとき誤認識判定部３５は、例えば上記式（１）の計算結果ZNCC[u, v]を、ナンバープレート１０を構成する各文字等それぞれについての百分率の値に変換し、数字以外の文字についての当該値と予め設定された閾値とを比較する、いわゆるマッチング率による判定を行う。この予め設定された閾値は、例えば実験的或いは経験的に予め設定される。そして誤認識判定部３５は、数字以外の文字についての上記百分率の値が上記閾値以下の場合、当該数字以外の文字については誤認識と判定する。例えば図４（ｆ）に示す認識結果ＲＳの場合、運輸支局名１１及びひらがな１３をそれぞれ構成する漢字及びひらがなについての誤認識はないと判定される。

ステップＳ７の判定において、上記数字以外の文字のいずれかについて誤認識があると判定された場合（ステップＳ７；ＹＥＳ）、処理部３は上記ステップＳ１に戻って車両の撮像をやり直し、当該数字以外の文字についての認識率の向上を図る。一方ステップＳ７の判定において、ナンバープレート１０を構成する数字以外のいずれの文字についても誤認識がなかった場合（ステップＳ７；ＮＯ）、誤認識判定部３５は次に、上記認識結果ＲＳに含まれている数字についての誤認識の有無を判定する（ステップＳ８）。このとき誤認識判定部３５は、上記ステップＳ７の判定と同様に、例えば上記式（１）の計算結果ZNCC[u, v]を各文字等について変換した上記百分率の値のうちの数字について上記マッチング率による判定を行う。そして誤認識判定部３５は、数字についての上記百分率の値が上記閾値以下の場合、その数字については誤認識と判定する。例えば図４（ｆ）に示す認識結果ＲＳの場合、一連番号１４の左から三番目の「４」が「０」に誤認識されており、この場合ステップＳ８の判定として「ＹＥＳ」と判定される。

ステップＳ８の判定において、ナンバープレート１０を構成するいずれの数字についても誤認識がなかった場合（ステップＳ７；ＮＯ）、処理部３は後述するステップＳ１０に移行する。一方ステップＳ８の判定において、上記数字のいずれかについて誤認識があると判定された場合（ステップＳ８；ＹＥＳ）、次に結果修正部３６は、当該誤認識されている数字を含むナンバープレート１０の数字について、後ほど詳述する実施形態に係る数字用結果修正処理を行い、当該誤認識を修正する（ステップＳ９）。この結果修正部３６による修正により、図４（ｆ）に示す認識結果ＲＳにおける数字の認識の誤りが、図４（ｇ）に例示する修正認識結果ｍＲＳとして出力される。

その後処理部３は、ナンバープレート１０を構成する数字以外の文字の認識結果（上記ステップＳ６及びステップＳ７；ＮＯ参照）と、結果修正部３６による数字についての修正結果（ステップＳ９）と、を結合して、上記修正認識結果ｍＲＳとする（ステップＳ１０）。そして処理部３は更に、当該修正認識結果ｍＲＳに含まれている文字及び数字全体についての誤認識の有無を再度判定する（ステップＳ１１）。このとき処理部３は、ナンバープレート１０に付着した汚れ等を文字又は数字と認識する場合を排除すべく、ナンバープレート１０の内容としての各文字それぞれについての誤認識の有無を全体的に再度判定する。より具体的に処理部３は、以下の（Ｉ）から（III）のいずれか場合に誤認識と判定し（ステップＳ１１；ＹＥＳ）、それら以外の場合は誤認識でないと判定する（ステップＳ１１；ＮＯ）。
（Ｉ）例えば上記修正認識結果ｍＲＳとして、後述する閉鎖スペースの数が三つ以上と認識されている場合等、上記数字用結果修正処理（ステップＳ９）に沿わない場合
（II）上記修正認識結果ｍＲＳにおける一連番号１４の左端の数字が「０」と認識されている場合（我が国では一般に、一連番号１４として最初に「０」が含まれていることがないことによる）
（III）上記修正認識結果ｍＲＳにおいて、一連番号１４として五桁以上に認識されている場合、又は、分類番号１２として四桁以上に認識されている場合（我が国では一般に、一連番号１４が五桁以上になること、及び分類番号１２が四桁以上になることが共にないことによる）
ステップＳ１１の判定において、上記文字のいずれかについて誤認識があると判定された場合（ステップＳ１１；ＹＥＳ）、処理部３は上記ステップＳ１に戻って車両の撮像をやり直し、ナンバープレート１０の車番についての認識率の向上を図る。一方ステップＳ１１の判定において、ナンバープレート１０の車番全体として誤認識がなかった場合（ステップＳ１１；ＮＯ）、処理部３は次に、上記修正認識結果ｍＲＳを、ナンバープレート１０の車番の最終認識結果ＯＵＴ（図４（ｈ）に例示）として通信部４に出力する。その後通信部４は、ネットワークＮＷを介して当該最終認識結果ＯＵＴをサーバＳＶに出力する（ステップＳ１２）。

その後処理部３は、例えばカメラ装置Ｃ自体の電源スイッチがオフとされたか否かを判定する等の方法により、実施形態に係る監視処理を終了するか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、当該監視処理をカメラ装置Ｃとして継続する場合（ステップＳ１３；ＮＯ）、処理部３は上記ステップＳ１に戻り、例えば他の車両の撮像を行う。一方ステップＳ１３の判定において実施形態に係る監視処理を終了する場合（ステップＳ１３；ＹＥＳ）、処理部３はそのまま当該監視処理を終了する。

次に、実施形態に係る監視システムＳのサーバＳＶにおいて実行される、実施形態に係る監視処理について説明する。

実施形態に係る監視処理としてのサーバＳＶの処理は、例えば当該サーバＳＶ自体の電源スイッチがオンとされたタイミングから開始される。そして、実施形態に係る監視処理が開始されるとサーバＳＶは、いずれかのカメラ装置Ｃから上記車番の最終認識結果ＯＵＴが送信されてきたか否かの監視を行う（ステップＳ１５、Ｓ１５；ＮＯ）。ステップ１５の監視においていずれかのカメラ装置Ｃから最終認識結果ＯＵＴが送信されてきた場合（ステップＳ１５；ＹＥＳ）、サーバＳＶは当該送信されてきた最終認識結果ＯＵＴと、サーバＳＶ内に予め登録（記録）されている上記注意車両の車番とを比較する（ステップＳ１６）。ステップＳ１６の比較において、最終認識結果ＯＵＴがいずれ注意車両の車番とも一致しない場合（ステップＳ１６；ＮＯ）、その最終認識結果ＯＵＴを送信してきたカメラ装置Ｃの撮像範囲内には注意車両が駐車していないとして、サーバＳＶは上記ステップＳ１５に戻って最終認識結果ＯＵＴの新たな送信を監視する。

一方ステップＳ１６の比較において、登録されている注意車両の車番のいずれかと最終認識結果ＯＵＴとが一致した場合（ステップＳ１６；ＹＥＳ）、サーバＳＶは、そのカメラ装置Ｃの撮像範囲内に最終認識結果ＯＵＴを車番とする注意車両が駐車しているとして、その旨を例えば当該カメラ装置Ｃが備えられた駐車場等を管理する上記管理施設等の管理者に通報する（ステップＳ１７）。

その後サーバＳＶは、例えば上記電源スイッチがオフとされたか否かを判定する等の方法により、実施形態に係る監視処理を終了するか否かを判定する（ステップＳ１８）。ステップＳ１８の判定において、当該監視処理をサーバＳＶとして継続する場合（ステップＳ１８；ＮＯ）、サーバＳＶは上記ステップＳ１５に戻り、最終認識結果ＯＵＴの新たな送信を監視する。一方ステップＳ１８の判定において実施形態に係る監視処理を終了する場合（ステップＳ１８；ＹＥＳ）、サーバＳＶはそのまま当該監視処理を終了する。

次に、上記ステップＳ９としてカメラ装置Ｃにおいて実行される、実施形態に係る数字用結果修正処理について、図５乃至図７を用いて説明する。なお以下に説明する実施形態に係る数字用結果修正処理は、図３ステップＳ７及びステップＳ８それぞれの判定において誤認識されていると判定された数字のみを対象としてもよいし、いずれかの数字について当該誤認識されていると判定された場合において、ナンバープレート１０に記載されている数字全てを対象として実行されてもよい。

初めに、実施形態に係る数字用結果修正処理の原理について図５を用いて説明する。

例えば日本国内で登録される上記ナンバープレート１０の車番の場合、それを構成する文字は予め定められた書体を用いて記載されており、これは当該車番を構成する数字も同様である。そこで、このような既定の書体で記載されている数字についての誤認識の修正を行う実施形態に係る数字用結果修正処理では、上記ラベリング処理により切り出された長方形の文字領域ＧＬの外縁と、各数字を構成する構成線と、により画されるスペース（空白）を用いて、上記数字の誤認識を修正する。

より具体的に先ず数字「１」の場合、図５（ａ）に示すように、切り出された文字領域ＧＬの外縁と数字「１」を示す構成線Ｌ_１とがほぼ同一となるため、結果的に数字「１」の場合、上記スペースはゼロとなる。これに対し数字「２」の場合、図５（ｂ）に示すように、切り出された文字領域ＧＬの外縁と数字「２」を示す構成線Ｌ_２との間には、スペースＰ_２０、スペースＰ_２１、スペースＰ_２２及びスペースＰ_２３の四つのスペースが存在する。また数字「３」の場合、図５（ｃ）に示すように、切り出された文字領域ＧＬの外縁と数字「３」を示す構成線Ｌ_３との間には、スペースＰ_３０、スペースＰ_３１、スペースＰ_３２、スペースＰ_３３、スペースＰ_３４、スペースＰ_３５及びスペースＰ_３６の六つのスペースが存在する。更に同様に数字「５」の場合、図５（ｅ）に示すように、切り出された文字領域ＧＬの外縁と数字「５」を示す構成線Ｌ_５との間には、スペースＰ_５０、スペースＰ_５１、スペースＰ_５２及びスペースＰ_５３の四つのスペースが存在する。更にまた数字「７」の場合、図５（ｇ）に示すように、切り出された文字領域ＧＬの外縁と数字「７」を示す構成線Ｌ_７との間には、スペースＰ_７０及びスペースＰ_７１の二つのスペースが存在する。

これらに対し数字「４」の場合、図５（ｄ）に示すように、切り出された文字領域ＧＬの外縁と数字「４」を示す構成線Ｌ_４との間には、スペースＰ_４０、スペースＰ_４１、スペースＰ_４２及びスペースＰ_４３の四つのスペースが存在する。これに加えて数字「４」の場合、文字領域ＧＬの外縁と数字「４」を示す構成線Ｌ_４との間だけでなく、当該構成線Ｌ_４自体により周囲を囲まれた閉鎖スペースＰＣ_４が文字領域ＣＬの中央に存在する。このとき当該閉鎖スペースとは、数字を示す構成線Ｌによりその周囲の全てを囲まれているスペースをいう。また数字「６」の場合、図５（ｆ）に示すように、切り出された文字領域ＧＬの外縁と数字「６」を示す構成線Ｌ_６との間には、スペースＰ_６０、スペースＰ_６１、スペースＰ_６２、スペースＰ_６３及びスペースＰ_６４の五つのスペースが存在すると共に、構成線Ｌ_６自体により囲まれた閉鎖スペースＰＣ_６が文字領域ＧＬ全体から見て下方に存在する。更に数字「８」の場合、図５（ｈ）に示すように、切り出された文字領域ＧＬの外縁と数字「８」を示す構成線Ｌ_８との間には、スペースＰ_８０、スペースＰ_８１、スペースＰ_８２及びスペースＰ_８３の四つのスペースが存在すると共に、構成線Ｌ_８自体により囲まれた二つの閉鎖スペースＰＣ_８１及び閉鎖スペースＰＣ_８２が存在する。次に数字「９」の場合、図５（ｉ）に示すように、切り出された文字領域ＧＬの外縁と数字「９」を示す構成線Ｌ_９との間には、スペースＰ_９０、スペースＰ_９１、スペースＰ_９２及びスペースＰ_９３の四つのスペースが存在すると共に、構成線Ｌ_９自体により囲まれた閉鎖スペースＰＣ_９が文字領域ＧＬ全体から見て上方に存在する。最後に数字「０」の場合、図５（ｊ）に示すように、切り出された文字領域ＧＬの外縁と数字「０」を示す構成線Ｌ_０との間には、スペースＰ_００、スペースＰ_０１、スペースＰ_０２及びスペースＰ_０３の四つのスペースが存在すると共に、構成線Ｌ_０自体により囲まれた閉鎖スペースＰＣ_０が文字領域ＧＬの中央に広く存在する。なお以下の説明において、各数字における文字領域ＧＬの外縁と当該数字を示す構成線Ｌとの間のスペースＰ_００やスペースＰ_０１等について共通の事項を説明する場合、単に「スペースＰ」と称する。また、数字「４」の閉鎖スペースＰＣ_４、数字「６」の閉鎖スペースＰＣ_６、数字「８」の閉鎖スペースＰＣ_８１及び閉鎖スペースＰＣ_８２、数字「９」の閉鎖スペースＰＣ_９並びに数字「０」の閉鎖スペースＰＣ_０について共通の事項を説明する場合、単に「閉鎖スペースＰＣ」と称する。

以上の通り、文字領域ＧＬ内における閉鎖スペースＰＣ及びスペースＰそれぞれの数や、閉鎖スペースＰＣの文字領域ＧＬ内における位置は、各数字によって異なっている。従って当該数又は位置を検出すれば、それぞれの数字を正確に識別／認識できることになる。そこで、結果修正部３６による実施形態に係る数字用結果修正処理では、数字を含む各文字領域ＧＬ内における閉鎖スペースＰＣ及びスペースＰの数並びにそれぞれの位置を検出し、それらにより数字の認識結果を正しく修正する。

より具体的に上記ステップＳ９の数字用結果修正処理として、初めに結果修正部３６は、上記文字領域ＧＬの位置推定及び切り出しの際のラベリング処理の結果に基づき、各数字におけるスペースＰ及び閉鎖スペースＰＣそれぞれの数及び文字領域ＧＬ内の位置を検出する（ステップＳ２０）。このステップＳ２０としては、例えば数字「９」の場合について図７に示すように、上記ラベリング処理におけるいわゆる塗る潰しアルゴリズムに基づいて文字領域ＧＬ内を塗り潰していくと、塗り潰しが行われていない図７（ａ）に例示する段階から一回目の塗り潰しにより図７（ｂ）に例示するスペースＰ_９０が検出され、二回目の塗り潰しにより図７（ｃ）に例示するスペースＰ_９１が更に検出され、三回目の塗り潰しにより図７（ｄ）に例示する閉鎖スペースＰＣ_９が検出される。このとき、スペースＰと閉鎖スペースＰＣとの識別は、例えば文字領域ＧＬの左上端を原点とするｘ−ｙ軸を設定し、塗り潰されるスペースＰ又は閉鎖スペースＰＣの当該ｘ−ｙ軸上の最大値及び最小値を一時的に記録し、これらの最大値及び最小値と、文字領域ＧＬとしての上記ｘ−ｙ軸上の最大値及び最小値と、を比較し、当該最大値及び最小値が共に一致しない場合、その塗り潰された領域は閉鎖スペースＰＣであると検出する。その後、各スペースＰ及び閉鎖スペースＰＣについての塗り潰しが終了した時点で、図７（ｅ）に例示するように全てのスペースＰ及び閉鎖スペースＰＣの検出が終了するので、この検出結果に基づき、各文字領域ＧＬ内における閉鎖スペースＰＣ及びスペースＰの数並びにそれぞれの位置が検出される。

上記ステップＳ２０により、数字についての各文字領域ＧＬにおけるスペースＰ及び閉鎖スペースＰＣの数並びに位置が検出されたら、次に結果修正部３６は、検出された閉鎖スペースＰＣの数を判定する（ステップＳ２１）。ステップＳ２１の判定において閉鎖スペースＰＣの数が「２」であると判定された場合（ステップＳ２１；「２」）、結果修正部３６は、その時点での修正対象の数字が「８」であると判定し（図５（ｈ）参照）、認識結果ＲＳ内の対応する数字を「８」に置換する（ステップＳ２２）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「８」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

一方上記ステップＳ２１の判定において、閉鎖スペースＰＣの数が「０」であると判定された場合（ステップＳ２１；「０」）、結果修正部３６は次に、上記ステップＳ２０によるスペースＰ等の数及び位置の検出結果に基づき、当該検出された複数のスペースＰのうち最大の面積を有する当該スペースＰを判定する。そして結果修正部３６は、予め設定された面積閾値に基づいて、当該判定されたスペースＰの面積が「大」、「小」又は「０」のいずれであるかを判定する（ステップＳ２３）。このときステップＳ２３に係る上記面積閾値は、数字「２」における上記スペースＰ_２２及びスペースＰ_２３、数字「５」における上記スペースＰ_５０及びスペースＰ_５１、並びに数字「７」における上記スペースＰ_７０及びスペースＰ_７１のいずれの面積より大きく、数字「３」における上記スペースＰ_３２の面積より小さい面積閾値とされている。またステップＳ２３において判定される面積は、絶対的な値を有する面積でもよい（ナンバープレート１０の大きさが一定の規格で決められている場合）し、文字領域ＧＬの面積に対する上記スペースＰ_２２等の面積が占める割合により表される面積でもよい。また上記ステップＳ２３の判定では、上記判定されたスペースＰの面積が上記面積閾値よりも大きい場合は「大」と、当該面積閾値よりも小さい場合は「小」と、それぞれ判定される。

上記ステップＳ２３の判定において、判定されたスペースＰの面積が「０」であった場合（ステップＳ２３；「０」）、その時点での修正対象の数字には、スペースＰ及び閉鎖スペースＰＣのいずれもが存在しないことになる（上記ステップＳ２１；「０」参照）。よって結果修正部３６は、当該数字が「１」であると判定し（図５（ａ）参照）、認識結果ＲＳ内の対応する数字を「１」に置換する（ステップＳ２５）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「１」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

他方上記ステップＳ２３の判定において、判定されたスペースＰの面積が上記面積閾値よりも大きい場合（ステップＳ２３；「大」）、結果修正部３６は、その時点での修正対象の数字が「３」であると判定し（図５（ｃ）参照）、認識結果ＲＳ内の対応する数字を「３」に置換する（ステップＳ２４）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「３」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

更に上記ステップＳ２３の判定において、判定されたスペースＰの面積が上記面積閾値よりも小さい場合（ステップＳ２３；「小」）、結果修正部３６は次に、その時点での修正対象の数字におけるスペースＰのうち、その面積が最大のスペースＰ及び二番目に広いスペースＰそれぞれにおける重心を結んだ直線の、文字領域ＧＬ内における傾きを検出する（ステップＳ２６）。このとき当該傾きの検出は、例えば図３ステップＳ２０におけるスペースＰと閉鎖スペースＰＣとの識別に用いられた座標系（即ち文字領域ＧＬの左上端を原点とするｘ−ｙ軸を有する座標系）を基準として行われる。そして、当該座標系との関係において検出された傾きが「負」である（即ち、文字領域ＧＬにおいて当該傾きが「左下がり（又は右上がり）」である）場合（ステップＳ２６；「負」）、結果修正部３６はその時点での修正対象の数字が「５」であると判定し（図５（ｅ）参照）、認識結果ＲＳ内の対応する数字を「５」に置換する（ステップＳ２７）。この場合、図５（ｅ）に示すスペースＰ_５０の重心とスペースＰ_５１の重心とを結ぶ直線が左下がりとなることから、結果修正部３６は修正対象の数字が「５」であると判定する。これにより、当該修正対象の数字が誤認識されていても、それが正しく「５」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

一方ステップＳ２６の判定において、上記座標系との関係において検出された傾きが「正」である（即ち、文字領域ＧＬにおいて当該傾きが「右下がり（又は左上がり）」である）場合（ステップＳ２６；「正」）、次に結果修正部３６は、その時点での修正対象の数字におけるスペースＰの数を判定する（ステップＳ２８）。ステップＳ２８の判定において当該スペースＰの数が「２」である場合（ステップＳ２８；「２」）、結果修正部３６はその時点での修正対象の数字が「７」であると判定し（図５（ｇ）参照）、認識結果ＲＳ内の対応する数字を「７」に置換する（ステップＳ２９）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「７」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。他方ステップＳ２８の判定において、当該スペースＰの数が「４」である場合（ステップＳ２８；「４」）、結果修正部３６はその時点での修正対象の数字が「２」であると判定し（図５（ｂ）参照）、認識結果ＲＳ内の対応する数字を「２」に置換する（ステップＳ３０）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「２」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

次に、上記ステップＳ２１の判定において、閉鎖スペースＰＣの数が「１」であると判定された場合（ステップＳ２１；「１」）、結果修正部３６は次に、上記ステップＳ２０による閉鎖スペースＰＣの位置の検出結果に基づき、当該検出された閉鎖スペースＰＣの重心の、文字領域ＧＬ内における位置を検出する。そして結果修正部３６は、当該検出された閉鎖スペースＰＣの位置が、文字領域ＧＬ内おいて「上」にあるか、「中央」にあるか、「下」にあるか、を判定する（ステップＳ３１）。このときステップＳ３１における位置判定は、数字「６」における閉鎖スペースＰＣ_６の重心の文字領域ＧＬ内の位置と、数字「９」における閉鎖スペースＰＣ_９の重心の当該位置と、数字「０」における閉鎖スペースＰＣ_０及び数字「４」における閉鎖スペースＰＣ_４それぞれの重心の当該位置と、を識別し得る位置閾値に基づいて判定される。

上記ステップＳ３１の判定において、判定された閉鎖スペースＰＣの重心の位置が上記位置閾値により示される位置よりも下であった場合（ステップＳ３１；「下」）、結果修正部３６は、その時点での修正対象の数字が「６」であると判定し（図５（ｆ）参照）、認識結果ＲＳ内の対応する数字を「６」に置換する（ステップＳ３３）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「６」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。一方上記ステップＳ３１の判定において、判定された閉鎖スペースＰＣの重心の位置が上記位置閾値により示される位置よりも上であった場合（ステップＳ３１；「上」）、結果修正部３６は、その時点での修正対象の数字が「９」であると判定し（図５（ｉ）参照）、認識結果ＲＳ内の対応する数字を「９」に置換する（ステップＳ３２）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「９」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

他方上記ステップＳ３１の判定において、判定された閉鎖スペースＰＣの重心の当該位置が「中央」であった場合（ステップＳ３１；中央）、結果修正部３６は次に、上記ステップＳ２０による閉鎖スペースＰＣについての検出結果に基づき、当該検出された閉鎖スペースＰＣの面積が予め設定された第２面積閾値に基づいて「大」又は「小」のいずれであるかを判定する（ステップＳ３４）。このときステップＳ３４に係る上記第２面積閾値は、数字「４」における上記閉鎖スペースＰＣの面積より大きく、数字「０」における上記閉鎖スペースＰＣの面積より小さい第２面積閾値とされている。なおステップＳ３４において判定される面積は、上記ステップＳ２３の場合と同様に絶対的な値を有する面積でもよいし、文字領域ＧＬの面積に対する各閉鎖スペースＰＣの面積が占める割合により表される面積でもよい。

上記ステップＳ３４の判定において、判定対象の閉鎖スペースＰＣの面積が上記第２面積閾値よりも小さい場合（ステップＳ３４；「小」）、結果修正部３６は、当該数字が「４」であると判定し（図５（ｄ）参照）、認識結果ＲＳ内の対応する数字を「４」に置換する（ステップＳ３５）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「４」と修正される（図４（ｆ）及び図４（ｇ）参照）。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

他方上記ステップＳ３４の判定において、判定対象の閉鎖スペースＰＣの面積が上記第２面積閾値よりも大きい場合（ステップＳ３４；「大」）、結果修正部３６は、その時点での修正対象の数字が「０」であると判定し（図５（ｊ）参照）、認識結果ＲＳ内の対応する数字を「０」に置換する（ステップＳ３６）。これにより、当該修正対象の数字が誤認識されていても、それが正しく「０」と修正される。その後結果修正部３６及び処理部３は、図３に示すステップＳ１０に移行する。

以上の図６に示すステップＳ９により、認識対象の数字がいずれの数字であっても、それらの誤認識が正しく修正される。

以上説明したように、実施形態に係る監視システムＳにおける数字用結果修正処理によれば、文字領域ＧＬを文字ごとに抽出し、その文字領域ＧＬにおけるスペースＰ又は閉鎖スペースＰＣの数又は位置の少なくともいずれか一方を検出して文字の内容を認識する。よって、文字領域ＧＬにおけるスペースＰの数等に基づいて、文字の内容をより正確に認識することができる。

また、上記文字がナンバープレート１０用の数字であり、抽出された閉鎖スペースＰＣの数が二つであることが検出されたとき、認識対象たる数字が「８」であると認識する（図６ステップＳ２１；「２」、及びステップＳ２２参照）ので、数字が「８」であることをより正確に認識することができる。

更に、閉鎖スペースＰＣの数が一つであること、及びその重心が下にあることがそれぞれ検出されたとき、認識対象たる数字が「６」であると認識する（図６ステップＳ２１；「１」、ステップＳ３１；「下」、及びステップＳ３３参照）。よって、当該数字が「６」であることをより正確に認識することができる。

更にまた、閉鎖スペースＰＣの数が一つであること、及びその重心が上にあることがそれぞれ検出されたとき、認識対象たる数字が「９」であると認識する（図６ステップＳ２１；「１」、ステップＳ３１；「上」、及びステップＳ３２参照）ので、当該数字が「９」であることをより正確に認識することができる。

また、閉鎖スペースＰＣの数が一つであること、その重心が文字領域ＧＬの中心にあること、及びその面積が第２面積閾値よりも大きいことがそれぞれ検出されたとき、認識対象たる数字が「０」であると認識する（図６ステップＳ２１；「１」、ステップＳ３１；「中央」、ステップＳ３４；「大」、及びステップＳ３６参照）ので、当該数字が「０」であることをより正確に認識することができる。

更に、閉鎖スペースＰＣの数が一つであること、その重心が文字領域ＧＬの中心にあること、及びその面積が第２面積閾値よりも小さいことがそれぞれ検出されたとき、認識対象たる数字が「４」であると認識する（図６ステップＳ２１；「１」、ステップＳ３１；「中央」、ステップＳ３４；「小」、及びステップＳ３５参照）ので、当該数字が「４」であることをより正確に認識することができる。

更にまた、閉鎖スペースＰＣの数及び第２スペースの数が共にゼロであることが検出されたとき、認識対象たる数字が「１」であると認識する（図６ステップＳ２１；「０」、ステップＳ２３；「０」、及びステップＳ２５参照）ので、当該数字が「１」であることをより正確に認識することができる。

また、閉鎖スペースＰＣの数がゼロであること、及び文字領域ＧＬにおけるスペースＰの面積の最大値が面積閾値よりも大きいことがそれぞれ検出されたとき、認識対象たる数字が「３」であると認識する（図６ステップＳ２１；「０」、ステップＳ２３；「大」、及びステップＳ２４参照）ので、当該数字が「３」であることをより正確に認識することができる。

更に、閉鎖スペースＰＣの数がゼロであること、文字領域ＧＬにおけるスペースＰの面積の最大値が面積閾値より小さいこと、及び各スペースＰの重心を結んだ線分の傾きが負であることがそれぞれ検出されたとき、認識対象たる数字が「５」であると認識する（図６ステップＳ２１；「０」、ステップＳ２３；「小」、ステップＳ２６；「負」、及びステップＳ２７参照）ので、当該数字が「５」であることをより正確に認識することができる。

更にまた、閉鎖スペースＰＣの数がゼロであること、スペースＰの面積の最大値が面積閾値より小さいこと、第１重心と第２重心とを結んだ線分の傾きが正であること、及びスペースＰの数が四つであることがそれぞれ検出されたとき、認識対象たる数字が「２」であると認識する（図６ステップＳ２１；「０」、ステップＳ２３；「小」、ステップＳ２６；「正」、ステップＳ２８；「４」、及びステップＳ３０参照）。よって、当該数字が「２」であることをより正確に認識することができる。

また、閉鎖スペースＰＣの数がゼロであること、スペースＰの面積の最大値が面積閾値より小さいこと、第１重心と第２重心とを結んだ線分の傾きが正であること、及びスペースＰの数が二つであることがそれぞれ検出されたとき、認識対象たる数字が「７」であると認識する（図６ステップＳ２１；「０」、ステップＳ２３；「小」、ステップＳ２６；「正」、ステップＳ２８；「２」、及びステップＳ２９参照）ので、当該数字が「７」であることをより正確に認識することができる。

更に、撮像対象物が車両のナンバープレート１０であり、認識対象の文字がナンバープレート１０に記載されている数字であるので、当該数字の内容をより正確に認識することができる。

なお上述した実施形態では、ナンバープレート１０の車番が漢字、ひらがな及び数字のみで構成されている場合について説明したが、これ以外に、当該車番として予め設定された記号が含まれている場合に本発明を適用することもできる。

また上述した実施形態では、車両のナンバープレート１０を撮像し、それに記載されている車番の数字を認識する場合に本発明を適用したが、これ以外に本発明は、数字が記載されている撮像対象物を撮像して当該数字の内容を認識する場合に広く適用することができる。

更に、図３及び図６にそれぞれ示したフローチャートに対応するプログラムを例えば光ディスク等の記録媒体に記録しておき、又はインターネット等のネットワークを介して取得し、それらをマイクロコンピュータ等により読み出して実行することにより、当該マイクロコンピュータ等を実施形態に係る処理部３として機能させることも可能である。

以上説明したように、本発明は監視システムの分野に利用することが可能であり、特にカメラで撮像した画像データを用いて注意車両等を認識して監視する監視システムの分野に適用すれば特に顕著な効果が得られる。

１ カメラ
２ ＲＡＭ
３ 処理部
４ 通信部
５ 操作部
１０ ナンバープレート
１１ 運輸支局名
１２ 分類番号
１３ ひらがな
１４ 一連番号
３０ ナンバープレート検出部
３１ ナンバープレート切り出し部
３２ 文字位置推定部
３３ 文字切り出し部
３４ 文字認識部
３５ 誤認識判定部
３６ 結果修正部
Ｓ 監視システム
Ｃ カメラ装置
Ｇ 撮像結果
ＳＶ サーバ
ＮＷ ネットワーク
ＧＮ ナンバープレート部分
ＧＬ 文字領域
ＲＳ 認識結果
ｍＲＳ 修正認識結果
ＯＵＴ 最終認識結果
Ｌ_０、Ｌ_１、Ｌ_２、Ｌ_３、Ｌ_４、Ｌ_５、Ｌ_６、Ｌ_７、Ｌ_８、Ｌ_９ 構成線
Ｐ_００、Ｐ_０１、Ｐ_０２、Ｐ_０３、Ｐ_２０、Ｐ_２１、Ｐ_２２、Ｐ_２３、Ｐ_３０、Ｐ_３１、Ｐ_３２、Ｐ_３３、Ｐ_３４、Ｐ_３５、Ｐ_３６、Ｐ_５０、Ｐ_５１、Ｐ_５２、Ｐ_５３、Ｐ_７０、Ｐ_７１、Ｐ_４０、Ｐ_４１、Ｐ_４２、Ｐ_４３、Ｐ_６０、Ｐ_６１、Ｐ_６２、Ｐ_６３、Ｐ_６４、Ｐ_８０、Ｐ_８１、Ｐ_８２、Ｐ_８３、Ｐ_９０、Ｐ_９１、Ｐ_９２、Ｐ_９３ スペース
ＰＣ_０、ＰＣ_４、ＰＣ_６、ＰＣ_８１、ＰＣ_８２、ＰＣ_９ 閉鎖スペース

Claims (16)

1. 内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する取得手段と、
   前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する領域抽出手段と、
   前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出するスペース抽出手段と、
   前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する検出手段と、
   前記検出手段による検出結果に基づいて前記内容を認識する内容認識手段と、
   を備えることを特徴とする認識装置。
2. 請求項１に記載の認識装置において、
   前記文字又は記号は算用数字であり、
   前記スペース抽出手段は、周囲を全て前記線により囲まれている前記スペースである第１スペースを抽出し、
   前記内容認識手段は、前記抽出された第１スペースの数が二つであることが前記検出手段により検出されたとき、前記算用数字が８であると認識することを特徴とする認識装置。
3. 請求項２に記載の認識装置において、
   前記内容認識手段は、前記抽出された第１スペースの数が一つであること、及び当該第１スペースの重心が前記文字／記号領域において予め設定された位置よりも下にあることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が６であると認識することを特徴とする認識装置。
4. 請求項３に記載の認識装置において、
   前記内容認識手段は、前記抽出された第１スペースの数が一つであること、及び当該第１スペースの重心が前記文字／記号領域において前記位置よりも上にあることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が９であると認識することを特徴とする認識装置。
5. 請求項２から請求項４のいずれか一項に記載の認識装置において、
   前記検出手段は、前記第１スペースの面積を更に検出し、
   前記内容認識手段は、前記抽出された第１スペースの数が一つであること、当該第１スペースの重心が前記文字／記号領域において予め設定された中心位置にあること、及び当該第１スペースの面積が予め設定された値よりも大きいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が０であると認識することを特徴とする認識装置。
6. 請求項５に記載の認識装置において、
   前記内容認識手段は、前記抽出された第１スペースの数が一つであること、当該第１スペースの重心が前記文字／記号領域において前記中心位置にあること、及び当該第１スペースの面積が前記値よりも小さいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が４であると認識することを特徴とする認識装置。
7. 請求項２に記載の認識装置において、
   前記スペース抽出手段は、前記第１スペースと、当該第１スペース以外の前記スペースである複数の第２スペースと、をそれぞれ抽出し、
   前記内容認識手段は、前記第１スペースの数及び前記第２スペースの数が共にゼロであることが前記検出手段により検出されたとき、前記算用数字が１であると認識することを特徴とする認識装置。
8. 請求項７に記載の認識装置において、
   前記検出手段は、各前記第２スペースの面積をそれぞれ更に検出し、
   前記内容認識手段は、前記第１スペースの数がゼロであること、及び各前記検出された面積の最大値が予め設定された値よりも大きいことが前記検出手段によりそれぞれ検出されたとき、前記算用数字が３であると認識することを特徴とする認識装置。
9. 請求項８に記載の認識装置において、
   前記検出手段は、最も広い前記面積を有する前記第２スペースの重心である第１重心と、二番目に広い前記面積を有する前記第２スペースの重心である第２重心と、を結んだ線分の、正立させた前記文字／記号領域の短辺右向きをｘ軸とし長辺下向きをｙ軸とした座標系における傾きを更に検出し、
   前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、及び前記傾きが負であることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が５であると認識することを特徴とする認識装置。
10. 請求項９に記載の認識装置において、
    前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、前記傾きが正であること、及び前記第２スペースの数が四つであることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が２であると認識することを特徴とする認識装置。
11. 請求項９又は請求項１０に記載の認識装置において、
    前記内容認識手段は、前記第１スペースの数がゼロであること、前記最大値が前記値より小さいこと、前記傾きが正であること、及び前記第２スペースの数が二つであることが前記検出手段によりそれぞれ検出されたとき、前記算用数字が７であると認識することを特徴とする認識装置。
12. 請求項１から請求項１１のいずれか一項に記載の認識装置において、
    前記撮像対象物が車両のナンバープレートであり、
    前記文字又は記号が前記ナンバープレートに記載されている算用数字であることを特徴とする認識装置。
13. 請求項１から請求項１２のいずれか一項に記載の認識装置と、
    前記撮像対象物を撮像して前記撮像情報を生成し、前記取得手段に出力する撮像装置と、
    を備えることを特徴とする撮像システム。
14. 請求項１から請求項１２のいずれか一項に記載の認識装置と、
    前記撮像対象物を撮像して前記撮像情報を生成し、前記取得手段に出力する撮像手段と、
    を備えることを特徴とする撮像装置。
15. 内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する取得工程と、
    前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する領域抽出工程と、
    前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出するスペース抽出工程と、
    前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する検出工程と、
    前記検出工程における検出結果に基づいて前記内容を認識する内容認識工程と、
    を含むことを特徴とする認識方法。
16. コンピュータを、
    内容を認識されるべき文字又は記号が記された撮像対象物を撮像した撮像画像に相当する撮像情報を取得する取得手段、
    前記取得された撮像情報に基づいて、前記文字又は記号を含み且つ当該文字又は記号に外接する長方形の外縁を有する文字／記号領域を、前記文字又は記号ごとに抽出する領域抽出手段、
    前記抽出された文字／記号領域において、前記外縁と、前記文字又は記号自体を構成する線と、により画されるスペースを、当該文字／記号領域から抽出するスペース抽出手段、
    前記抽出された文字／記号領域における、前記抽出されたスペースの数又は位置の少なくともいずれか一方を検出する検出手段、及び、
    前記検出手段として機能する前記コンピュータによる検出結果に基づいて前記内容を認識する内容認識手段、
    として機能させることを特徴とする認識用プログラム。