JP2014003599A - カメラの位置ずれの検出 - Google Patents

Abstract

【課題】カメラの位置ずれを監視したり、検出したり、報告したりするための装置を提供する。
【解決手段】カメラシステム１０が、試験画像を取得するカメラ１２と、画像処理プロセッサ３０と、を含んでいる。画像処理プロセッサは、試験画像内に現れる物体２２を検出するために試験画像を分析して、検出した物体が試験画像内に現れる位置を決定して、決定した位置と基準位置とを比較して、比較の結果に基づいて、カメラが適切に位置合わせされているか、または正しい位置からずれているかのうちの一方であるかどうかを判断する。
【選択図】図１

Description

本発明の主題は、一般に、自動および／または無人カメラの技術に関する。赤信号用カメラおよび／または他の道路交通法施行用カメラに関連して特別な、しかし排他的ではない関連性が見られる。したがって、本明細書は、赤信号用カメラおよび／または他の道路交通法施行用カメラについて詳しく言及する。しかしながら、本発明の主題の態様が、他の類似の応用に対してもまた同様に等しく適していることを理解されたい。

赤信号用カメラ、道路交通法施行用カメラ、および／または他の類似の自動および／または無人カメラを用いて高品質画像を記録するためには、カメラを適切に位置合わせして、例えば、関心のある物体が位置する可能性がある方向に狙いを定めたり、および／または向けたりすることが一般に望ましい。例えば、赤信号用カメラは、そこを往来する交通があり、１つ以上の交通信号により交通整理されている交差点の方向に通常狙いを定めたり、または向いたりしている。時間の経過とともに、このような自動および／または無人カメラは、例えば、カメラの位置合わせを変化させる風または他の環境条件、カメラの位置合わせに関連する無許可の変更、カメラの設置時および／または保守時の偶発的な位置ずれなどが原因で、正しい位置からずれてしまう可能性がある。カメラが正しい位置からずれていると、カメラが記録した画像内で、関心のある物体、例えば、車両、運転者、および／またはナンバープレートなどを正確に視覚化したり、および／または特定したりすることができない可能性がある。例えば、記録した画像内でのこのような物体の正確な視覚化および／または特定は、法的処罰のために、および／または交通違反の召喚状の発行のために重要である場合が多い。

カメラの位置ずれは、結果として、カメラの狙いを望ましい方向に定めたり、またはカメラを望ましい方向に向けたりすることができないことにつながる。その結果、もしこのような位置ずれがなければ、カメラが取得する画像内に記録しようとする１つ以上の関心のある物体が、カメラの視界（ＦｏＶ）内にない可能性があり、または画像内で十分視覚化したり、および／または容易に特定したりすることができない可能性がある。したがって、記録した画像内の１つ以上の対象物体の正確な視覚化および／または特定に依存している法的処罰または他の法的措置は、頓挫する可能性がある。さらに、より進歩した一部のカメラシステムでは、カメラが観察する情景内で、例えば、情景の中の車両または車両移動の検出などの事象が発生したことに呼応して画像を記録するきっかけを与えてもよい。正しい位置からずれたカメラが、このような事象を観察しない場合には、事象が検出されなかったせいで、もし位置ずれがなければ望ましいはずの画像を、カメラが記録しない可能性がある。

通常、上述のような自動／無人カメラのオペレータは、正常なカメラの位置合わせを監視したり、調べたり、および／または確認したりするのに、人間の労働集約的な業務に依存していた。例えば、オペレータは、カメラから取得した画像の再検討を手作業で定期的にまたは断続的に実施して、それらの画像のフレーミングが適切かを視覚的に点検する。このようなオペレータに対して、多くのカメラを一般に割り当てて、かなり頻繁に調べる可能性がある。したがって、このようなプロセスは反復的であり、人為的見落としおよび／または人為的ミスを起こしやすい可能性がある。さらに、保守技術者を割り当てて、定期的な間隔または断続的な間隔で現場において手作業でカメラの取り付けを点検する可能性がある。これも先と同様に、人為的見落としおよび／または人為的ミスを起こしやすい労働集約的なプロセスである。

したがって、上述の問題および／または他の問題に対処して、カメラの位置ずれを監視したり、検出したり、および／または報告したりするための、新規なおよび／または改良された方法、システム、および／または装置を開示する。

一実施形態によって、カメラが記録する試験画像からのカメラの位置ずれを検出するための方法を提供する。この方法は、試験画像内に現れる物体を検出するために試験画像を分析することと、検出した物体が試験画像内に現れる位置を決定することと、決定した位置と基準位置とを比較することと、比較の結果に基づいて、カメラが適切に位置合わせされているか、または正しい位置からずれているかのうちの一方であるかどうかを判断することと、を含んでいる。

他の実施形態によって、カメラシステムが、試験画像を取得するカメラと、画像処理プロセッサと、を含んでいる。この画像処理プロセッサは、試験画像内に現れる物体を検出するために試験画像を分析して、検出した物体が試験画像内に現れる位置を決定して、決定した位置と基準位置とを比較して、比較の結果に基づいて、カメラが適切に位置合わせされているか、または正しい位置からずれているかのうちの一方であるかどうかを判断する。

図１は、本発明の主題の態様を実行するのに適した例示的カメラシステムを示す概略図である。 図２は、本発明の主題の態様を実行するのに使用できる例示的トレーニング画像を示す概略図である。 図３は、本発明の主題の態様に基づいて画像を分析するための例示的プロセスを示すフローチャートである。 図４は、本発明の主題の態様の分析に適した例示的画像を示す説明図である。

一般に、本明細書は、例えば、赤信号用カメラもしくは他の道路交通法施行用カメラ、または他の好適な自動もしくは無人カメラなどのカメラの位置ずれを検出するための方法、プロセス、装置、および／またはシステムについて記載する。実際には、記載の方法、プロセス、装置、および／またはシステムは、カメラが取得した画像を分析して、記録された画像内に現れる１つ以上の要素または物体を自動的に検出する。分析した画像内で検出した要素または物体は、例えば、少なくともカメラに対してほぼ静止していたり、および／または実質的に事実上不動であったりすることが適切である。その後、検出した要素／物体が記録画像内に現れる位置と、カメラが適切に位置合わせされていれば要素／物体が現れるはずである既知の位置または基準位置と、を比較することにより、カメラの位置ずれを決定する。検出した要素／物体が分析した画像内に現れる位置が、既知の位置または基準位置と実質的に一致したり、またはそうでなければ既知の位置または基準位置と十分に同じであったりする場合には、カメラは適切に位置合わせされていると見なされる。それ以外の場合は、検出した要素／物体が分析した画像内に現れる位置が、既知の位置または基準位置から実質的に外れていたり、または既知の位置または基準位置と十分に異なっていたりする場合には、カメラは、ずれていると見なされる。実際には、検出される実質的に静止した情景要素または物体は、交通信号の赤信号または他の灯火、一時停止または他の交通標識、道路車線区分線もしくは仕切り線またはその種の他のもの、料金所などを制限なく含んでいてもよい。

ここで図１を参照すると、自動および／または無人のカメラシステム１０が、カメラのＦｏＶの中の情景２０の画像を選択的に記録したり、および／または取得したりするためのカメラ１２を含んでいる。実際には、カメラ１２は、デジタルカメラであってもよく、静止画像カメラであっても、またはビデオカメラであってもよい。カメラ１２から記録されたり、またはそうでなければ取得されたりした画像を本明細書で引用するときには、写真カメラからの画像、またはビデオカメラからの静止画像を意味するよう意図されている。

図１に示すように、例えば、少なくともカメラ１２の位置に対してほぼ静止していたり、および／または実質的に事実上不動であったりする少なくとも１つの要素または物体２２を含む情景２０の方向にカメラ１２の狙いをほぼ定めたり、および／またはカメラ１２を向けたりする。図示の実施例では、カメラ１２が狙っていたり、および／またはカメラ１２を向けたりしている情景２０は交差点であり、要素または物体２２は交通信号の灯火（例えば、赤信号など）である。しかしながら、その代わりに、実際には他の情景（例えば、料金徴収場所など）が関心対象であってもよく、および／または他のほぼ静止している要素および／もしくは物体（例えば、料金所、一時停止または他の交通標識、道路車線区分線または仕切り線など）を使用してもよいことを理解すべきである。

図示の実施形態では、システム１０は、遠隔で、または他の方法でカメラ１２と通信するコンピュータ３０またはその種の他のものをさらに含んでいる。コンピュータ３０は、カメラ１２の位置ずれを自動的に監視したり、検出したり、および／または報告したりするために、カメラ１２が記録した画像を取得したり、またはそうでなければ受け取ったりして、分析するのに適している。実際には、コンピュータ３０が取得したり、または受け取ったりして、分析する画像は、例えば、デジタルカメラが記録するデジタル画像である。必要に応じて、コンピュータ３０はアナログ供給を受け取って、このアナログ供給をデジタル化してデジタル画像を取得してから分析してもよい。好適な一実施形態では、コンピュータ３０は、カメラ１２が記録した本質的にすべての画像を取得したり、または受け取ったりして、分析する。あるいは、コンピュータ３０は、定期的な間隔もしくは断続的な間隔で、またはそうでなければ選ばれた時間に、カメラ１２が記録した画像の代表サンプルまたは他の一部を取得したり、または受け取ったりして、分析してもよい。リアルタイムで、またはほぼリアルタイムで、またはひとまとまりで、または他の方法で、適切に画像をカメラ１２からコンピュータ３０へ送信したり、および／または分析したりしてもよい。

ここで図２を参照すると、カメラが適切に位置合わせされていることが分かっている（例えば、設置時点、またはほぼ設置時点など）ときに、カメラ１２が記録する情景２０の例示的トレーニングまたは基準画像１００を示している。この場合、要素または物体２２は、画像１００内の基準位置と見なされたり、および／または基準位置と呼ばれたりすべき所与の位置に現れる。基準位置は、例えば、（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）などの各座標の組で、または他の方法で定量化して、適切に規定してもよい。このようにして、基準画像１００を用いて基準位置を確立してもよい。例えば、基準画像１００内の要素／物体２２を自動的に検出したり、および／または要素／物体２２が基準画像１００内に現れる位置を自動的に決定したりするために、（例えば、図３に関して後述するのと同じ、または似ている）プロセスまたは方法を用いて基準画像１００を分析してもよい。このようにして決定した位置を、その後、基準位置として電子的に保存したり、または確保したり、またはそうでなければ確立したりしてもよい。あるいは、基準位置を手作業で確立してもよく、例えば、カメラ１２が適切に位置合わせされているときにカメラ１２が記録する画像内のどこに要素／物体２２が現れるべきかを規定する既知の座標またはその種の他のものの入力により基準位置を確立してもよい。

ここで図３を参照すると、取得されたり、または記録されたりした画像を、例えば、コンピュータ３０などにより分析する例示的方法および／またはプロセス３００を示すフローチャートを示している。本実施例のために、カメラ１２が記録して、そのように（図３の例示的方法および／またはプロセス３００のように）分析してもよい例示的試験画像２００を示す図４を参照する。この実施例では、カメラ１２がずれていたとき、すなわち、正しい位置からずれていたときに試験画像を記録した。図示のように、カメラ１２が記録した試験画像２００は、また同様に、情景２０全体と、情景２０内の要素または物体２２と、を含んでいる。試験画像２００内の要素／物体２２を自動的に検出して、検出した要素／物体２２が試験画像２００内に現れる位置を決定するために、例えば、方法および／またはプロセス３００などを用いて試験画像２００を適切に分析する。基準位置と同様に、要素／物体２２が試験画像２００内に現れると決定された位置（本明細書では、名目上、測定された位置と呼ぶ）は、例えば、（Ｘ_{ｍｅａｓｕｒｅｄ}，Ｙ_{ｍｅａｓｕｒｅｄ}）などの各座標の組で、または他の方法で定量化して、適切に規定してもよい。次に、要素／物体２２が試験画像２００内に現れると測定された位置と、基準位置と、を比較することにより、カメラ１２が適切に位置合わせされているか、または正しい位置からずれているかどうかを決定する。測定された位置と基準位置とが互いに実質的に一致したり、またはそうでなければ十分に同じであったりする（例えば、何らかの所与の許容値または閾値などの範囲内にある）場合には、カメラ１２は適切に位置合わせされており、すなわち、正しい位置にあると見なされる。それ以外の場合は、測定された位置と基準位置とが互いから実質的に外れていたり、または十分異なっていたりする（例えば、何らかの所与の許容値または閾値などの外にある）場合には、カメラ１２は、ずれている、すなわち、正しい位置からずれていると見なされる。

ステップ３０２に示すように、画像を取得する。例えば、カメラ１２が画像２００を記録して、コンピュータ３０に送信して、分析してもよい。

ステップ３０４で、画像２００を分析して、画像２００の中の要素または物体２２を検出する。この分析は、画像２００を分割して、現在検出中の要素または物体２２を求めて所与の画像部分の中を調べることを適切に含んでいてもよい。必要に応じて、例えば、要素／物体２２が交通信号の灯火である場合には、調べる部分は画像２００の上方部分、例えば、一番上の１／４などであってもよい。一実施形態では、現在捜し求めている要素／物体の特性および／または特徴に十分に一致するパラメータまたは値（例えば、色、明暗度、寸法、形状など）を有する画素またはその種の他のもののパッチまたは集まりを探すために画像の画素を走査することにより、調査を実行してもよい。例えば、現在捜し求めている要素または物体２２が交通信号の赤信号である場合には、好適な寸法を有する画素の本質的に円形の赤いパッチまたは集まりを求めて画像２００または画像部分を調べることができる。現在捜し求めている要素／物体２２に対応する画像２００の特徴を抽出したり、特定したり、および／または検出したりするために、スケール不変特徴変換（ＳＩＦＴ）を適切に使用してもよい。

ステップ３０６で、検出した要素または物体２２が画像２００内に現れる位置を、測定された位置として決定したり、および／またはそうでなければ確立したりする。検出した要素／物体２２が試験画像２００内に現れると決定された位置（本明細書では、名目上、測定された位置と呼ぶ）は、例えば、（Ｘ_{ｍｅａｓｕｒｅｄ}，Ｙ_{ｍｅａｓｕｒｅｄ}）などの各座標の組で、または他の方法で定量化して、適切に規定してもよい。

ステップ３０８で、測定された位置と基準位置とを比較する。例えば、各位置のＸ座標とＹ座標とを比較してもよい。

判断ステップ３１０で、測定された位置と基準位置とが互いに実質的に一致したり、またはそうでなければ十分に同じであったりする（例えば、何らかの所与の許容値または閾値などの範囲内にある）場合には、カメラ１２は適切に位置合わせされており、すなわち、正しい位置にあると見なされて、プロセス３００は終了してもよい。それ以外の場合は、測定された位置と基準位置とが互いから実質的に外れていたり、または十分異なっていたりする（例えば、何らかの所与の許容値または閾値などの外にある）場合には、カメラ１２は、ずれている、すなわち、正しい位置からずれていると見なされて、プロセスはステップ３１２に進んでもよい。測定された位置と基準位置の差の絶対値と、閾値とを適切に比較してもよい。差の絶対値がしきい値未満である（または必要に応じて、しきい値以下である）場合には、カメラ１２は正しい位置にあると見なされて、それ以外の場合は、差の絶対値がしきい値以上である（または必要に応じて、しきい値よりもほんの少し大きい）場合には、カメラ１２は、ずれていると見なされる。

ステップ３１２で、位置ずれの適切な通知を提供する。例えば、コンピュータ３０は、このような通知を、視覚的な表示、音響信号、適切なメッセージの表示または送出、人間に知覚できる警報またはアラームの起動などを通じて提供してもよい。

ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせにより、本明細書に記載の特定のタスク、ステップ、プロセス、分析、方法、機能、要素、および／または構成要素のうちの任意の１つ以上を適切に実行してもよいことを理解されたい。例えば、コンピュータ３０は、本明細書に記載のタスク、ステップ、プロセス、分析、方法、および／または機能のうちの１つ以上を実行するように構成されたり、および／またはそうでなければセットアップされたりした、例えば、計算装置または他の電子データ処理装置により具体化された、プロセッサを含んでいてもよい。例えば、適切なコード（例えば、ソースコード、解釈コード、オブジェクトコード、直接実行可能なコードなど）のリスト、または他の同種の命令もしくはソフトウェアもしくはファームウェア（例えば、本明細書に記載の処理および／または画像分析を実行したり、および／または管理したりするためのアプリケーションなど）を用いて、システム１０で使用するコンピュータ３０または他の電子データ処理装置を提供したり、供給したり、および／またはプログラムしたりして、それにより、コンピュータまたは他の電子データ処理装置を用いて起動したり、および／または実行したりするときに、本明細書に記載のタスク、ステップ、プロセス、分析、方法、および／または機能のうちの１つ以上を達成したり、またはそうでなければ実行したりするようにしてもよい。コードのリスト、または他の同種の命令もしくはソフトウェアもしくはファームウェアを実行したり、および／またはそれらを１つまたは複数の持続性のコンピュータおよび／または機械可読記憶媒体の中および／または上に記録したり、保存したり、収容したり、または含んだりして、その結果、コンピュータまたは他の電子データ処理装置に提供できたり、および／またはコンピュータまたは他の電子データ処理装置により実行できたりするようになっていることが適切である。例えば、１つおよび／または複数の適切な記憶媒体は、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは他の任意の１つもしくは複数の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、光ディスク、もしくは他の任意の１つもしくは複数の光媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、もしくは他のメモリもしくはチップもしくはカートリッジ、またはコンピュータもしくは機械もしくは電子データ処理装置が読み込んで使用できる他の任意の１つもしくは複数の実現可能な媒体を含むことができるが、これらに限らない。本明細書で使用する場合、基本的に、１つおよび／または複数の持続性のコンピュータ可読および／または機械可読媒体は、一時的な伝搬信号を除く、１つおよび／または複数のコンピュータ可読および／または機械可読媒体のすべてを含んでいる。

必要に応じて、１つ以上の汎用コンピュータ上、専用コンピュータ上、プログラムされたマイクロプロセッサもしくはマイクロコントローラおよび周辺集積回路要素上、ＡＳＩＣもしくは他の集積回路上、デジタル・シグナル・プロセッサ上、個別の要素回路などの、配線で接続された電子回路もしくは論理回路上、ＰＬＤなどのプログラム可能論理回路上、ＰＬＡ上、ＦＰＧＡ上、グラフィックカードＣＰＵ（ＧＰＵ）上、またはＰＡＬ上などで、本明細書に記載の特定のタスク、ステップ、プロセス、分析、方法、機能、要素、および／または構成要素のうちの任意の１つ以上を実行したり、および／または具体化したりしてもよい。一般に、本明細書に記載の各タスク、ステップ、プロセス、分析、方法、および／または機能を実行できる有限状態機械を実現できる任意の装置を使用できる。

Claims (10)

1. カメラが記録する試験画像からのカメラの位置ずれを検出する方法であって、
   前記試験画像内に現れる物体を検出するために前記試験画像を分析することと、
   前記検出した物体が前記試験画像内に現れる位置を決定することと、
   前記決定した位置と基準位置とを比較することと、
   前記比較の結果に基づいて、前記カメラが適切に位置合わせされているか、または正しい位置からずれているかのうちの一方であるかどうかを判断することと、を含む、
   方法。
2. 基準画像内に現れる前記物体を検出するように前記カメラを適切に位置合わせしたときに得られる前記基準画像を分析することと、
   前記検出した物体が前記基準画像内に現れる位置を決定することと、
   により前記基準位置を確立する、請求項１に記載の方法。
3. 前記決定した位置と基準位置とが実質的に一致する場合には、前記カメラが適切に位置合わせされていると見なされ、そうでなければ、前記決定した位置と基準位置とが実質的に一致しない場合には、前記カメラが正しい位置からずれていると見なされる、請求項１に記載の方法。
4. 前記分析することが、
   スケール不変特徴変換を適用することを含む、請求項１に記載の方法。
5. 前記分析することが、
   前記試験画像を分割して、現在検出中の前記物体を求めて前記画像のうちの選択した部分を調べることを含む、請求項１に記載の方法。
6. 前記選択した部分が前記試験画像の一番上の小区域を含む、請求項５に記載の方法。
7. 前記小区域が前記試験画像の一番上の１／４である、請求項６に記載の方法。
8. 前記方法が、
   検出した位置ずれの通知を提供することをさらに含む、請求項１に記載の方法。
9. 前記物体が、交通信号灯、交通標識、料金所、または道路車線区分線のうちの１つである、請求項１に記載の方法。
10. 請求項１に記載の方法を実行する装置。

Images