JP4868186B2 - マーカ生成及びマーカ検出のシステム、方法とプログラム - Google Patents

Description

本発明はマーカ生成及びマーカ検出のシステム、方法とプログラムに関する。

従来の映像からのオブジェクト検出システムの一例が、特許文献１から７に記載されている。

従来の映像からのオブジェクト検出システムはつぎのように動作する。

すなわち、特許文献１記載の方式では、オブジェクト検出を高度化することで、検出処理を容易にまたは高速に行うための、予め詳細に設計された既定のマーカを貼付することなく、任意形状の物体を検出し、その姿勢を推定することが可能である。特許文献１などのマーカを使用しないオブジェクト検出方式はマーカの貼付を必要としない反面、信頼性が低い、検出速度が遅い、または不安定であるという問題がある。特許文献２記載の方式では、これを解決するために、視覚的に比較的捉えやすい特徴的な図形パターンをマーカとして、検出を行いたいオブジェクトに貼付する。同文献では予め定めた任意の図形パターンの検出精度を向上できるとしている。しかしながら、偶然に背景部に既定のマーカの図形パターンと類似したパターンが出現すると、これらを混同してしまうという問題がある。特許文献３および特許文献４では、それぞれマーカを発光させる、マーカを特徴的な色で着色するなど、経験的に、予め背景部に出現しえないと予想される特異な形態のマーカを設計しておくことで、上記の問題を回避している。特許文献５記載の方式では、同心円弧状などの特殊な形状の図形マーカを使用する。赤外反射材で図形マーカを構成するなどの手段も併用する。これらではマーカのコストが増加する上に、依然として、偶然に背景部にマーカの形態と類似したパターンが現れたり、屋外など、マーカ形態の特殊性を打ち消しうる外乱を含む状況に置かれたりする場合においては、特許文献２などに記載の方法と類似した問題が発生する可能性を含む。また、マーカの設計には背景、外乱に影響されにくいと予想される形態を、経験的に、熟練を要する方法で設計するか、実運用環境下での試行錯誤を経て設計する必要がある。さらに、撮影時のカメラ設置方法の自由度により、マーカが幾何的に歪んで観測されうるため、これを考慮した検出方式を準備する必要がある。幾何歪みを考慮した検出の計算コスト増に加え、歪みを受けたマーカと背景パターンとが偶然類似してしまう可能性が増加してしまう可能性がある。特許文献６および特許文献７に記載の方式では、マーカを高度に複雑化して、偶然に背景パターンとは類似し得ない図形パターンをマーカとする。マーカ自体にマーカであることを検証するための冗長コードを埋め込んでいることもある。背景部からマーカを過剰検出する可能性を大きく減少させることができる反面、マーカの微細な図形情報を映像上で確認できなければならず、マーカの取りこぼしの原因となりうるため、撮像範囲を小さくするか、撮像デバイスを高解像度化する必要があり、デコーダの実装コスト、検出速度の低下が予想される。
特開2000-207568号公報 特開2003-223639号公報 特開2003-256783号公報 特開2005-293141号公報 特開2005-293579号公報 特開2006-190110号公報 特開平07-254037号公報

第１の問題点は、従来方式はオブジェクト検出の信頼性が低いということである。その理由は、背景にマーカと類似したパターンが出現した場合に過剰検出してしまう傾向があり、これを避けるためにマーカを複雑化するとマーカの微細構造を読み取れずに検出の取りこぼしが発生するためである。

第２の問題点は、マーカの設計に試行錯誤を要するか、または熟練者による設計が必要ということである。その理由は、マーカは予め経験的に設計されるため、実運用環境に類似したパターンが存在する場合に過剰検出の原因となってしまうためである。

第３の問題点は、マーカの設置に要するコストが増加するということである。その理由は、マーカと背景パターンが類似してしまうことをさけるために、視覚的に識別しやすくするよう反射材、発光素子などを使用する場合ためである。

第４の問題点は、マーカと撮像デバイスとの位置関係を自由にすると、より大きな検出精度・速度の低下の原因となりうるということである。その理由は、マーカの設計自体が幾何歪みを考慮せず、経験、熟練に基づき行われたものであるため、歪みを考慮した検出アルゴリズムを必要とし、幾何歪みが偶然に背景パターンと一致してしまう頻度を増長するためである。

第５の問題点は、過剰検出を低減するためにはより高解像度の撮像デバイスと、より複雑なマーカのデコーダが必要となるということである。その理由は、マーカを複雑化する必要があるためである。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は上記課題を解決するマーカ生成及びマーカ検出のシステム、方法とプログラムを提供することにある。

また、本発明の他の目的は、背景映像中に出現するいかなるパターンとも類似しないように図形マーカを自動設計することできるマーカ生成及びマーカ検出のシステム、方法とプログラムを提供することにある。

また、本発明の他の目的は、幾何歪みを考慮したマーカの生成および検出をするため、高精度かつ高速な検出を可能とすることができるマーカ生成及びマーカ検出のシステム、方法とプログラムを提供することにある。

また、本発明の他の目的は、必要以上にマーカパターンの複雑化を行わないため、撮像デバイスの解像度の低下に頑健にすることができるマーカ生成及びマーカ検出のシステム、方法とプログラムを提供することにある。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出する特徴抽出手段と、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択する特異特徴選択手段と、前記特異特徴に基づいて、マーカを生成するマーカ生成手段とを有することを特徴とするマーカ生成システムである。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出システムであって、前記マーカの特徴を記憶する記憶手段と、検出用の映像の特徴と前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知する特徴照合手段とを有することを特徴とするマーカ検出システムである。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出装置であって、前記マーカの不変特徴を記憶する記憶手段と、検出用の映像の不変特徴と前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知する不変特徴照合手段とを有することを特徴とするマーカ検出システムである。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択し、前記特異特徴に基づいて、マーカを生成することを特徴とするマーカ生成方法である。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出方法であって、検出用の映像の特徴と、予め記憶されている前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知することを特徴とするマーカ検出方法である。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出方法であって、検出用の映像の不変特徴と、予め記憶されている前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知することを特徴とするマーカ検出方法である。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出する処理と、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択する処理と、前記特異特徴に基づいて、マーカを生成する処理とを情報処理装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出のプログラムであって、検出用の映像の特徴と、予め記憶されている前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知する処理を情報処理装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出のプログラムであって、検出用の映像の不変特徴と、予め記憶されている前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知する処理を情報処理装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、前記特異特徴に基づいて生成されたマーカを付したＲＦＩＤタグである。
上記課題を解決する本発明は、マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴から前記背景映像の変動に対して不変な不変特徴を生成し、前記不変特徴ではない部分を特異特徴として選択して、前記選択された特異特徴に基づいて生成されたマーカを付したＲＦＩＤタグである。

上記課題を解決する本発明は、マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴から前記背景映像の変動に対して不変な不変特徴を生成し、前記不変特徴ではない部分を特異特徴として選択して、前記選択された特異特徴に基づいて生成されたマーカが表示された包装紙である。
上記課題を解決する本発明は、マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、前記特異特徴に基づいて生成されたマーカが表示された包装紙である。

第１の効果は、オブジェクト検出の信頼性を高めることができることにある。その理由は、背景を観測して類似したパターンを避けてマーカを設計するためである。必要以上にマーカを複雑化する必要がないため、比較的低解像度の撮像デバイスを使用してもマーカの微細構造が読み取れなくなることはなく、検出の取りこぼしを発生させない。

第２の効果は、マーカの設計に試行錯誤、熟練者を必要としないことにある。その理由は、背景を観測しそれに基づいたマーカ設計を自動的に行うためである。

第３の効果は、マーカの設置コストを低減できることにある。その理由は、マーカを、背景と混同しにくい、特徴的な図形パターンとして自動生成できるため、反射材、発光素子などといったマーカ素材に依存せずに視覚的な識別の容易さを実現できるためである。

第４の効果は、マーカと撮像デバイスとの位置関係を自由にしても、検出精度・速度の低下を生じないということである。その理由は、マーカの設計時に、対象物との相対位置関係による幾何歪みに影響されない幾何学的不変量を介した観測を行い、幾何学的不変量が背景パターンと類似しないようマーカを設計するため、幾何歪みによりマーカが偶然に背景パターンと一致してしまう可能性はないうえに、マーカ検出時に幾何歪みを補正したり、歪みを考慮したマッチングをしたり、などの対象物との位置関係の変化に依存する特別な配慮なしに、マーカ検出をおこなえるためである。

第５の問題点は、高解像度の撮像デバイスと、より複雑なマーカのデコーダを必要とせず、低コストな実装が可能なことである。その理由は、マーカは最低限背景パターンと図形的に識別できれば良いため、必要以上にマーカを複雑化する必要がなく、マーカに冗長コードを埋め込むことも必要不可欠ではないためである。

第１および第２の実施の形態の構成を示すブロック図である。 第１の実施の形態の動作を示す流れ図である。 第２の実施の形態の動作を示す流れ図である。 本発明を説明するための模式図である。 本発明を説明するための模式図である。 本発明を説明するための模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 実施例の動作を示す模式図である。 第３および第４の実施の形態の構成を示すブロック図である。 第３の実施の形態の動作を示す流れ図である。 第４の実施の形態の動作を示す流れ図である。 本発明を説明するための模式図である。 本発明を説明するための模式図である。 本発明を説明するための模式図である。 本発明を説明するための模式図である。 第５および第６の実施の形態の構成を示すブロック図である。 第５の実施の形態の動作を示す流れ図である。 第６の実施の形態の動作を示す流れ図である。 第５および第６の実施の形態の別の形態の構成を示すブロック図である。 本発明の実施の形態を説明する為の図である。 本発明の実施の形態を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の実施例を説明する為の図である。 本発明の他の実施の形態を説明する為の図である。

符号の説明

１０，１１ 図形マーカ生成部
２０，２１ 図形マーカ検出部
１００ 映像入力手段
１０１ 特徴抽出手段
１０２ 特徴記憶手段
１０３ 特異特徴選択手段
１０４ マーカ生成手段
１０５ マーカ記憶手段
１０６ 不変特徴変換手段
２００ 特徴照合手段

本発明の実施の形態を説明する。

本発明の実施の形態は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出する特徴抽出手段と、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択する特異特徴選択手段と、前記特異特徴に基づいて、マーカを生成するマーカ生成手段とを有することを特徴とする。

更に、本発明の実施の形態は、前記抽出された特徴の頻度分布を算出して記憶する特徴記憶手段を有し、前記特異特徴選択手段は、前記特徴の頻度分布から頻度が既定値以下である部分を特異特徴として選択する。

また、本発明の実施の形態は、前記抽出された特徴から不変特徴を生成する不変特徴変換手段を有し、前記特異特徴選択手段は、前記不変特徴ではない部分を特異特徴として選択する。

また、本発明の実施の形態における不変特徴変換手段は、前記特徴から幾何学的不変特徴を生成する。

また、本発明の実施の形態における不変特徴変換手段は、前記特徴から物体色的不変特徴を生成する。

また、本発明の実施の形態における不変特徴変換手段は、前記特徴からテクスチャ不変特徴を生成する。

また、本発明の実施の形態における不変特徴変換手段は、複数の次元の特徴を入力とし、複数の次元の不変特徴を生成することを特徴とする。

また、本発明の実施の形態における不変特徴変換手段は、幾何学的不変特徴、物体色的不変特徴、テクスチャ不変特徴及びそれらの複数の次元の不変特徴のいずれかを組み合わせて不変特徴を生成する。

また、本発明の実施の形態における特異特徴選択手段は、選択する特異特徴の数を増減できるように構成されている。

また、本発明の実施の形態における特異特徴選択手段は、前記不変特徴の頻度分布算出し、算出された不変特徴の頻度分布から頻度が所定の閾値以下である部分を特異特徴として選択する。

また、本発明の実施の形態における特異特徴選択手段は、前記閾値を変更することにより、選択する特異特徴の数を制御する。

また、本発明の実施の形態は、映像を入力する映像入力手段を有する。

また、本発明の実施の形態における映像入力手段は、パン、チルト、ズーム、移動することが可能である。

また、本発明の実施の形態は、前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段を有する。

また、本発明の実施の形態における映像入力手段は前記映像入力制御手段からの信号を受けて撮影を行い、システムがそれに従ってマーカを生成する。

また、本発明の実施の形態における映像入力手段が前記映像入力制御手段からの信号を受けて撮影を行い、前記不変特徴変換手段は、それに従って前記不変特徴を累積する。

また、本発明の実施の形態は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れていない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出システムであって、前記マーカの特徴を記憶する記憶手段と、検出用の映像の特徴と前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知する特徴照合手段とを有する。

また、本発明の実施の形態は、検出用の映像を入力する映像入力手段と、前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段と有し、前記特徴照合手段は、入力される映像に従って、特徴とマーカとを照合し、既定数回以上の頻度で照合に成功した場合に報知することを特徴とする。

また、本発明の実施の形態は、マーカを含まない映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出装置であって、前記マーカの不変特徴を記憶する記憶手段と、検出用の映像の不変特徴と前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知する不変特徴照合手段とを有する。

また、本発明の実施の形態における前記不変特徴は、幾何学的不変特徴、物体色的不変特徴、テクスチャ不変特徴及びそれらの複数の次元の不変特徴のいずれか、又はそれらの組み合わせである。

また、本発明の実施の形態における前記不変特徴照合手段は、ひとつの不変特徴が一致した場合、マーカの検出を報知する。

また、本発明の実施の形態における前記不変特徴照合手段は、過剰検出の原因となる前記映像の不変特徴に対応する前記マーカの不変特徴を照合対象から除外する。

また、本発明の実施の形態における前記不変特徴照合手段は、過剰検出の原因となる不変特徴に対応する背景部分を特定することを特徴とする。

また、本発明の実施の形態は、検出用の映像の範囲を限定する手段を有する。

また、本発明の実施の形態は、検出用の映像を入力する映像入力手段と、前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段とを有し、前記不変特徴照合手段は、入力される映像に従って、前記映像の不変特徴とマーカの不変特徴とを照合し、既定数回以上の頻度で照合に成功した場合に報知する。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１を参照すると、本発明は、大きく図形マーカ生成部１０、図形マーカ検出部２０に大別できる。
＜第１の実施の形態＞
第１の実施の形態は図形マーカ生成部１０に関する。この図形マーカ生成部１０は、映像入力手段１００と、特徴抽出手段１０１と、特徴記憶手段１０２と、特異特徴選択手段１０３と、マーカ生成手段１０４とを含んで構成される。

図形マーカ生成部１０は、実際に対象物にマーカの貼付を行い、マーカ検出を実施するのに先立って、マーカ検出を行おうとしている環境において、背景パターン、すなわち検出対象物を除く情景を観測し、特徴の出現頻度分布を得て、これをもとに、背景パターンに存在し得ない図形パターンをマーカパターンとして出力するものである。

図形マーカ生成部１０を構成する各々の手段はそれぞれ概略つぎのように動作する。

映像入力手段１００は、撮像デバイスからのライブ映像、録画映像、配信映像など、本発明を適用する環境の映像を含んだ映像を入力する。

特徴抽出手段１０１は、マーカを含まない映像を映像入力手段１００より入力し、映像フレーム中の特徴的なパターンを含む画像特徴を抽出する。

特徴記憶手段１０２は、特徴抽出手段１０１の出力する特徴の頻度分布を算出するメモリ領域を保持し、これを記憶する。

特異特徴選択手段１０３は、生成された特徴の頻度分布から頻度が、たとえば、０または既定値以下である部分を特異特徴として選択する。

マーカ生成手段１０４は、特異特徴を入力し、特徴抽出手段１０１が容易に検出可能な画像パターンを組み合わるなどしてマーカパターンを生成し出力する。

マーカ記憶手段１０５は、前記マーカ生成手段１０４の出力するマーカパターンを記憶する。

次に、図１及び図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、マーカを含まない環境すなわち背景映像を撮影した静止画フレームをディジタイズされたフレーム画像として入力する（図２のステップＡ１）。

次に、入力した静止画フレームから画像特徴を抽出する（ステップＡ２）。画像特徴としては、たとえば、図形的に特徴的な特性を数値化したものを用いても良い。たとえば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているＴｏｍｍａｓｉｎｉらによる「Making good features track better」に記載されている方法を使用すると、画像（図４参照）中の物体形状の頂点、線状の物体の交差点、端点（図５中の○）などを抽出することができるが、これらの点の画像上での位置座標情報の系列を図形的特徴としてもよい。図６に示した背景シーンに対して上記の方法で特徴抽出すると、図７に○で示したような特徴点群が得られ、以降、これらの座標値を特徴として用いることができる。Ｍｏｎｔａｎａｒｉによる１９７１年Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ＡＣＭ、１４巻に掲載されている「On the optimal detection of curves in noisy pictures」に記載の方法のように、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用してもよい。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出（後述）が頑健となる。ほかの特徴抽出の例として、画像上の各画素の輝度値、色差値そのものを特徴としてもよい。

こうして作られた全特徴は、特徴記憶部に出力され、記憶される（ステップＡ３）。

一連の特徴の記録が終了すると、記憶された特徴群から、シーンには現れていない画像特徴を特異特徴として選択する（ステップＡ４）。特異特徴は、背景パターンと一致しない特徴、すなわち背景からの特徴群が現れない特徴空間の部位を選択すればよい。事後に、意に反して特徴点の抽出誤差などにより、特異特徴が背景パターンと類似してしまうことを避けるために、特徴空間内で背景パターンの特徴が存在しないより大きな領域から特異特徴を選択するようにしてもよい。これを実装するためには、本実装は空間中の点の分布から大きな空白を見つける問題と同一視できるから、たとえば、２００３年文書解析認識国際会議予稿集に掲載されている「An Algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して大きな空白領域を抽出しても良いし、得られた特徴点を含まない矩形領域の中心を特異特徴としてもよい。その他の方法としては、特徴空間を特定の大きさのメッシュで量子化し、１次元もしくは多次元のヒストグラムを生成し、頻度が０となるメッシュの中心を特異特徴とするなどとしてもよい。頻度が０となるメッシュが存在しない場合、メッシュの大きさを小さくして、ヒストグラムをとり、頻度が０となるメッシュが現れた場合に、このときのメッシュから特異特徴を選択するようにしてもよい。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、規定値以下のメッシュから特異特徴を選択してもよい。

最後に、上記で抽出した特異特徴からマーカパターンを生成する（ステップＡ５）。まず、上記の例のように、画像中の頂点、交差点、端点を特徴点として使用する場合を例に説明する。上記「On the optimal detection of curves in noisy pictures」記載の方法などに基づく場合、マーカパターンの検出に必要となる、特徴点群の検出は、Ａ２の特徴抽出で使用している特徴点検出アルゴリズムに依存する。例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
（１）特異特徴位置に交差点を配置したパターン
（２）特異特徴の凸包を求め内部を特定の色で塗りつぶす、さらに凸包に使用されなかった特異特徴を用いて再度凸包を求め内部を別の色で塗りつぶす、といった操作を全ての特徴が選択されるまで反復して生成されるパターン
（３）特異特徴位置を頂点にもつ、水平垂直の辺をもつ塗りつぶした矩形の集合からなるパターン
（４）特異特徴点の最近傍点間を線分で結んだパターン
更に、Ａ２より得られる特徴として明度値、色差値を使用する場合、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷しても良い。

また、頂点、交差点、端点を図形的な特徴として利用する上記の方法やその他の特徴情報と併用することも可能である。この場合、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。

次に、本実施の形態の効果について説明する。

本実施の形態では、背景シーンを観測し、背景パターンと類似しないようにマーカパターンを自動設計可能とするよう構成されているため、オブジェクト検出の信頼性を高めることができる。同様の理由から、マーカの設計に試行錯誤、熟練者を必要としない。必要以上にマーカを複雑化する必要がないため、比較的低解像度の撮像デバイスを使用してもマーカの微細構造が読み取れなくなることはなく、検出の取りこぼしを発生させない。

また、本実施の形態では、マーカを、背景と混同しにくい、特徴的なパターンとして自動生成できるように構成されているため、マーカの設置コストを低減できる。

最後に、本実施の形態では、マーカは最低限背景パターンと識別できれば十分であるため、必要以上にマーカを複雑化する必要がなく、マーカに冗長コードを埋め込むことも必要不可欠ではないよう構成されているため、高解像度の撮像デバイスや複雑なマーカのデコーダを必要とせず、低コストな実装が可能である。
＜第２の実施の形態＞
次に、本発明の第２の発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１を参照して、本発明の図形マーカ検出部２０について詳細に説明する。本発明は、シーンからマーカパターンの検出に関する。

第２の実施の形態は図形マーカ検出部２０に関する。この図形マーカ検出部２０は、映像入力手段１００と、特徴抽出手段１０１と、マーカ記憶手段１０５と、特徴照合手段２００とを含んで構成される。

これらの手段はそれぞれ概略つぎのように動作する。

映像入力手段１００と特徴抽出手段１０１とは、第１の実施の形態の該当する各手段と同様に動作する。

マーカ記憶手段１０６は、予め生成されたマーカパターンを記憶する。第１の実施の形態の図形マーカ生成部１０により生成されたマーカパターンを使用する場合、マーカ生成手段１０４より生成されたマーカパターンを入力しこれを記憶しているものとする。

特徴照合手段２００は、マーカ記憶手段１０４に記憶されているマーカパターンを照合して一致が認められる場合はマーカの発見を発報する。

次に、図１及び図３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、マーカを検出しようとしている映像シーンに対して、図３のステップＡ１からＡ２は、第１の実施の形態と同様に動作する。

さらに、映像シーンから生成された特徴群は、予めマーカ記憶手段１０４に記憶されたマーカパターンと照合される（ステップＢ１）。マーカパターンは予め特徴に変換されている。たとえば、マーカパターンの特徴の１つと映像シーンから生成された特徴の１つが、特徴空間でのユークリッド距離が既定値以下である場合に、その特徴が一致したとして、一致した不変特徴の数をスコアとして累積していってもよい。

さらに、マーカパターンの照合結果が既定の条件を満たすとき、映像シーンからマーカパターンを発見したとして発報する（ステップＢ２）。

上記の例を採用する場合、スコアが既定値を超える場合にマーカの検出を受諾するようにしてもよいし、上記ユークリッド距離の累積値が既定値以下である条件を付加してもよい。第１の実施の形態で説明したように、特異特徴の決定を量子化した特徴空間で実行した場合、これを記憶しておき、マーカ設計時に頻度が０であったメッシュに、映像シーンからの特徴が１回でも投影される場合には、マーカパターンからの寄与であるとして検出を確定することで、高速にマーカ検出が行える。ノイズや特徴抽出計算の誤差による誤対応を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。または、同様な量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用しても良い。この場合、映像シーンから得た不変特徴が、マーカパターンの投影される特徴空間メッシュに１回、または既定回数一致した場合にマーカパターン検出を受諾するようにしてもよい。

次に、本発明を実施するための最良の形態の効果について説明する。

本発明を実施するための最良の形態では、不変量を介したマーカパターンと映像シーンとの照合を行うように構成されているため、オブジェクト検出の高速性、信頼性を高めることができる。マーカパターンの受諾または棄却するための判定方法を簡略化することで、オブジェクト検出の信頼性を維持した上で、検出処理をさらに高速化することが可能である。

次に、具体的な実施例を説明する。

まず、マーカの設計の動作について図形特徴を使用した場合を用いて具体的に説明する。

図６のような映像シーンに対して、図７に「●」で示したような特徴点群が生成される。以下、量子化した特徴空間から特異特徴を選択する動作を例に説明する。特徴点群を特徴量空間に写像し、この結果から不変量空間を８×８のメッシュに量子化したものを図８に示す。同図で、塗りつぶされたメッシュは、出現頻度が非０すなわち特徴点の射影がメッシュ内に存在する場合を示し、無色のメッシュは出現頻度が０のメッシュを示す。

第１の実施の形態に従うと、特異特徴は無色のメッシュから選択される。無色のメッシュの中心を特異特徴とした例を図９に示す。この例では、特徴空間での基準点、すなわち原点（０、０）を特異特徴に含めている。これを含めないようにしてもかまわない。得られた特異特徴点群より、第１の実施の形態で説明した４つの生成方法に従い、マーカパターンを生成した例をそれぞれ図１０〜１３に示す。

次に、マーカの検出の動作について具体的に説明する。マーカを含む図１４のような映像シーンから、図１３のマーカを高速かつ安定に検出する手順を説明する。同シーンに対する特徴抽出結果を図１５に示す。さらにこれを不変特徴空間に写像し、量子化後に、特徴点が写像されたメッシュを有色で示した結果が図１７である。もしマーカが存在しない場合、特徴点の写像は図１６の通りであった。このため、背景からは、写像がないはずであるメッシュ（図１７の太枠）に特徴点が存在する場合には、マーカが存在すると判断してもよい。

マーカを複数種類使用する場合には、図１８の「○」もしくは紫色のメッシュを各マーカパターンと対応付けて記憶しておき（薄字で記載した「Ａ」「Ｈ」「Ｂ」はマーカの例）、検出時に最も類似した、すなわち多くの写像を、近傍または同一メッシュに得たものを検出結果として採用してもよい。
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。

図１９を参照すると、第３の実施の形態は、図形マーカ生成部１１に関し、不変特徴変換手段１０６を含んで構成されることが、第１の実施の形態における図形マーカ生成部１０と異なる。

図形マーカ生成部１１において、不変特徴変換手段１０６は概略つぎのように動作する。

不変特徴変換手段１０６は、特徴抽出手段１０１より出力される特徴を不変特徴に変換し、特徴記憶手段１０２に出力する。

その他の各手段１００、１０１、１０２〜１０５は、第１の実施の形態と同様に動作する。

次に、図１９及び図２０のフローチャートを参照して本実施の形態の動作について詳細に説明する。

まず、図形マーカ生成部１１に関し、マーカを生成しようとしている映像シーンに対して、図２０のステップＡ１からＡ２は、第１の実施の形態と同様に動作する。

得られた特徴は不変特徴に変換される（ステップＡ７）。特徴抽出手段１０１より出力される特徴を不変特徴に変換し、特徴記憶手段１０２に出力する。画像の特徴的な部位を抽出しその画像上での位置座標情報の系列を図形的特徴とする場合、それらの不変特徴への変換はたとえば下記のように行うことができる。便宜的に、ここでは、位置座標情報の系列を特徴点群と呼ぶこととする。ここで、簡単のため、背景が遠方にある場合の幾何学的な不変特徴について説明する。ただし、光学歪みの影響で、画像が剪断変形歪みを被る場合も特徴量が不変となるよう配慮する。なお、背景が遠方にない場合などより自由度の高い不変特徴に拡張することは後述の通り容易である。幾何学的不変特徴すなわちカメラと撮影対象のシーンが相対的に回転、平行移動し、剪断変形歪みを被る場合に、その相対的な位置関係変化によらず、不変な特徴量を、特徴点群の位置関係から、生成する方法の一例を説明する。

特徴点群（図５中の○）から任意の３点の特徴点（図２２中の緑色の○）を選択する。他方で不変特徴空間を直交する２軸の張る２次元平面として定義する（図２３）。特徴点群から選択した特徴点のうちの一点を不変特徴空間での原点に対応付ける。その他の２点を不変特徴空間での、位置座標（１、０）および（０、１）にそれぞれ対応付ける（図２３の緑色の○）。これら３点を基底と呼ぶこととする。このとき、原画像空間から、不変特徴空間への１対１線形写像がアフィン変換として定義できる。基底を除く全ての特徴点群を、基底により特徴付けられた同一のアフィン変換を用いて不変特徴空間へ写像する（図２３の赤色の○）と、これら特徴点群はカメラとシーンの相対的位置関係によらず不変となる。ただし、実際には、シーンから常に同じ基底を選択できるとは限らないため、特徴点群の全ての３点の順列組み合わせから基底選択を行い、各基底に対する非基底特徴点を不変特徴空間に写像する必要がある。

こうして作られた全基底と、不変特徴空間への全特徴点の写像は、不変特徴として、不変特徴記憶部に出力され、記憶される（ステップＡ４）。これら特徴点群が幾何変形に対して不変である理由は、他の物体を含む映像（図７）中で、マーカから選択される基底により、得られる不変特徴は、常に一致する（図２４）ためである。

一連の不変特徴の記録が終了する（ステップＡ３）と、以降のステップＡ４からＡ５は、第１の実施の形態と同様に動作する。

上記ステップ７の動作の説明は、幾何学的不変量について記載したが、幾何学的不変量のほかに種々の不変量を使用してもよい。本発明に適用できる不変量の例として、物体色不変量について説明する。物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している個所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。ほかにも、画像から物体色を推定する方法には、Robby T. Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、 VOL. 27、 NO. 2、FEBRUARY 2005、 pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、 Steven D. Hordley、 Cheng Lu、 and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、 VOL. 28、 NO. 1、 JANUARY 2006、pp.59-68、に記載の「On the Removal of Shadows from Images」などを使用してもよい。

次に、テクスチャ不変量の例について説明する。画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。たとえば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、 VOL. 25、 NO. 5、 MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。

また、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面上にない４点を基底に選択し、図２３の不変量空間を３次元とすると、３次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標（１、０、０）および（０、１、０）、（０、０、１）に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。

さらに、これらやその他の不変量のうち２種類以上を組み合わせて使用してもよい。この際の特徴から不変特徴への変換（ステップＡ７）から特異特徴の選択（ステップＡ４）は概略つぎのように動作する。

上記幾何学的不変量と物体色不変量を併用する場合について動作の例を示す。

幾何学的不変量には上記ステップ７の動作の説明に用いたもの（図２３）と同様とする。物体色不変量には、幾何学的不変量を求める際に抽出された特徴点群の近傍画素について、上記Tanらの方法により得た物体色の輝度値を使用するものとする。まず、前記幾何学的不変量を求める手順と同様に特徴点群から３点を基底として選択し、２次元平面で記述される幾何学的不変量空間に射影する。各特徴位置に対応する物体色不変量を求め、幾何学的不変量平面に直交する軸、すなわち物体色不変量座標を含めた３次元空間を想定する。３次元空間の各軸を量子化して既定の大きさの直方体メッシュに分割し、直方体ごとのヒストグラムを生成する。あらゆる基底の組み合わせに対して同様の計算を行い、ヒストグラムが０となったメッシュの中心値を特異特徴とする（ステップＡ４）。マーカの生成（ステップＡ５）は、各特異特徴に対応する位置および色でマーカを生成すればよい。
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。

図１９を参照すると、本発明の実施の形態は、図形マーカ検出部２１に関し、不変特徴変換手段１０６を含んで構成されることが、第２の実施の形態における図形マーカ検出部２０と異なる。

図１９を参照して、本発明の図形マーカ検出部２１について詳細に説明する。本実施の形態は、シーンからマーカパターンを検出する方法に関する。

本実施の形態は、図形マーカ検出部２１に関し、映像入力手段１００と、特徴抽出手段１０１と、不変特徴変換手段１０６と、マーカ記憶手段１０５と、不変特徴照合手段２００とを含んで構成されることを特徴とするマーカ検出部２１を含んで構成されることを特徴とする。

これらの手段はそれぞれ概略つぎのように動作する。

映像入力手段１００と、特徴抽出手段１０１と、不変特徴変換手段１０２は、前記実施の形態の該当する各手段と同様に動作する。

マーカ記憶手段１０６は、予め生成されたマーカパターンを記憶する。図形マーカ生成部１１により生成されたマーカを使用する場合、マーカ生成手段１０５より生成されたマーカパターンを入力しこれを記憶する。

不変特徴照合手段２００は、マーカ記憶手段１０５に記憶されているマーカパターンを照合して一致が認められる場合はマーカの発見を発報する。

次に、図１９及び図２１のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、マーカを検出しようとしている映像シーンに対して、図２１のステップＡ１、Ａ２、Ａ７は、図形マーカ生成部１１の実施の形態と同様に動作する。

さらに、映像シーンから生成された不変特徴は、予めマーカ記憶手段１０５に記憶されたマーカパターンと照合される（ステップＢ１）。マーカパターンは予め不変特徴に変換されている。実際の映像シーンから生成された不変特徴との照合は不変特徴空間で行う。たとえば、マーカパターンの不変特徴の１つと映像シーンから生成された不変特徴の１つが、不変特徴空間でのユークリッド距離が既定値以下である場合に、その不変特徴が一致したとして、一致した不変特徴の数をスコアとして累積していってもよい。

さらに、マーカパターンの照合結果が既定の条件を満たすとき、映像シーンからマーカパターンを発見したとして発報する（ステップＢ２）。

上記の例を採用する場合、スコアが既定値を超える場合にマーカの検出を受諾するようにしてもよいし、上記ユークリッド距離の累積値が既定値以下である条件を付加してもよい。第１および第２の実施の形態で説明したように、特異特徴の決定を量子化した特徴空間で実行した場合、これを記憶しておき、マーカ設計時に頻度が０であったメッシュに、映像シーンからの特徴が１回でも投影される場合には、マーカパターンからの寄与であるとして検出を確定することで、高速にマーカ検出が行える。ノイズや特徴抽出計算の誤差による誤対応を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。または、同様な量子化した不変特徴空間をマーカパターンから生成可能である場合には、これを利用しても良い。この場合、映像シーンから得た不変特徴が、マーカパターンの投影される不変量空間メッシュに１回、または既定回数一致した場合にマーカパターン検出を受諾するようにしてもよい。

次に、第３および第４の実施の形態の効果について説明する。

第１、第２の実施の形態の効果に加えて、第３および第４の実施の形態では、マーカの設計時に、対象物との相対位置関係による幾何歪みに影響されない幾何学的不変量を介した観測を行い、幾何学的不変量が背景パターンと類似しないようマーカを設計するように構成されているため、幾何歪みによりマーカが偶然に背景パターンと一致してしまう可能性はないうえに、マーカ検出時に幾何歪みを補正したり、歪みを考慮したマッチングをしたり、などの対象物との位置関係の変化に依存する特別な配慮なしに、マーカ検出をおこなえる。

そのうえ、本実施の形態では、マーカの設計時に、対象物との相対位置関係による幾何歪みに影響されない幾何学的不変量を介した観測を行い、幾何学的不変量が背景パターンと類似しないようマーカを設計するように構成されているため、幾何歪みによりマーカが偶然に背景パターンと一致してしまう可能性はないうえに、マーカ検出時に幾何歪みを補正したり、歪みを考慮したマッチングをしたり、などの対象物との位置関係の変化に依存する特別な配慮なしに、マーカ検出をおこなえる。

また、本実施の形態では、幾何学的不変量と物体色不変量、テクスチャ不変量など多様な不変量の統計を得て、特異特徴を求めているため、環境変化に対して頑健に、より背景と混同しにくい特徴的な図形パターンを自動生成できるように構成されているため、マーカの設置コストを低減しつつ検出を安定的に実行することができる。
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。

図２４を参照して、本実施の形態の図形マーカ生成部１２について詳細に説明する。本実施の形態は、背景シーンからマーカパターンを生成する方法に関し、本発明の実施の形態は、映像入力制御手段１０７を含んで構成されることが、第１および第３の実施の形態における図形マーカ生成部１１と異なる。

映像入力制御手段１０７は概略つぎのように動作する。

映像入力制御手段１０７は、所定の開始終了時刻、所定の時間間隔で、映像入力手段１００にマーカを生成しようとしている背景映像の映像入力を行う指示を与える。これらの指示は本手段を介して人手で与えてもよい。以降、映像入力手段１００と、特徴抽出手段１０１と、不変特徴変換手段１０６と、特徴記憶手段１０２と、特異特徴選択手段１０３と、マーカ生成手段１０４と、マーカ記憶手段１０５は、前記実施の形態の該当する各手段と同様に動作し、順次もしくは全画像に対して１つもしくは１群の特異特徴を生成する。

次に、図２４及び図２５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、マーカを検出しようとしている映像シーンに対して、図２５の各ステップＡ２からＡ８は、第１または第３の実施の形態と同様に動作する。ただし、映像フレームの入力（ステップＡ８）は映像入力制御手段１０７の指示に従い、連続的もしくは間欠的に映像フレームを入力する。フレーム入力に従い、各ステップは第１または第３の実施の形態と同様の処理を実行する。ステップＡ４で特異特徴を１フレームごとに出力せずに不変量空間に蓄積し、多フレームにわたる観測の結果、背景シーンから観測されない特徴を特異特徴として出力するようにしてもよい。

また、図２７に記載したブロック図のように複数の映像入力手段１０８〜１１０を用いて映像入力し、同様な一連の処理を行ってもよいし、さらに複数の映像入力手段１０８〜１１０からの時系列映像フレームを処理するようにしてもよい。映像入力手段１０８〜１１０がパン、チルト、ズーム、移動可能な機構を保持していてもよい。この場合、カメラの画角制御を行いながら同様な一連の特異特徴選定の処理を行うようにしてもよい。

次に、第５の実施の形態の効果について説明する。
長時間または広域または異なる画角にわたる観測により特異特徴および該マーカの生成を行うため、不変特徴の頑健さを増すことが可能となる。不変量空間を複数の映像フレームで共有することで、マーカ生成および検出処理に要する計算リソースの削減にも寄与する。人物や動物のように非剛体運動をする物体が背景に存在する場合にも長時間または多角的に観測することで安定したマーカを生成することが可能となる。
＜第６の実施の形態＞
次に、本発明の第６の実施の形態について図面を参照して詳細に説明する。

図２４および図２７を参照して、本発明の図形マーカ検出部１２、１３について詳細に説明する。本発明は、映像シーンからマーカパターンを検出する方法に関し、本発明の実施の形態は、映像入力制御手段１０７を含んで構成されることが、第１および第３の実施の形態における図形マーカ生成部１１と異なる。図２７の図形マーカ検出部１３については、複数の映像入力手段１０８〜１１０を含んで構成されることが異なる。

映像入力制御手段１０７は、所定の開始終了時刻、所定の時間間隔で、映像入力手段１００にマーカを検出しようとしている映像の映像入力を行う指示を与える。これらの指示は本手段を介して人手で与えてもよい。以降、映像入力手段１００と、特徴抽出手段１０１と、不変特徴変換手段１０６と、マーカ記憶手段１０５とマーカ照合手段２００は、前記実施の形態の該当する各手段と同様に動作し、順次もしくは全画像に対して１つもしくは１群のマーカを検出するよう動作する。

次に、図２４、図２７および図２６のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、マーカを検出しようとしている映像シーンに対して、図２５の各ステップＡ２からＢ２は、第２または第４の実施の形態と同様に動作する。ただし、映像フレームの入力（ステップＡ８）は映像入力制御手段１０７の指示に従い、連続的もしくは間欠的に映像フレームを入力する。フレーム入力に従い、各ステップは第１または第３の実施の形態と同様の処理を実行する。ステップＢ１である１フレームからマーカが検出されても発報せずに検出の状況を追跡し、多フレームにわたる観測の結果、複数のシーンから観測されたマーカのみを出力するようにしてもよい。

また、図２７に記載したブロック図のように複数の映像入力手段１０８〜１１０を用いて映像入力し、同様な一連の処理を行ってもよいし、さらに複数の映像入力手段１０８〜１１０からの時系列映像フレームを処理するようにしてもよい。映像入力手段１０８〜１１０がパン、チルト、ズーム、移動可能な機構を保持していてもよい。この場合、カメラの画角制御を行いながら同様な一連のマーカ検出の処理を行うようにしてもよい。

次に、第６の実施の形態の効果について説明する。

長時間または広域または異なる画角にわたるマーカ検出を行うため、マーカ検出の頑健さを増すことが可能となる。マーカ検出のためのマーカ記憶手段を複数の映像フレームで共有することで、マーカ検出処理に要する計算リソースの削減にも寄与する。人物や動物のように非剛体運動をする物体にマーカを貼付する場合、および非剛体運動をする物体が背景に存在する場合にも長時間または多角的に観測することで安定してマーカのみを検出することが可能となる。

次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。

まず、マーカの設計の動作について具体的に説明する。図３０のような映像シーンに対して、図３１に丸で示したような特徴点群が生成される。ここでは、量子化した不変特徴空間から特異特徴を選択する動作を例に説明する。特徴点群を不変量空間に写像し、この結果から不変量空間を８×８のメッシュに量子化したものを図３２に示す。同図で、無色のメッシュは、出現頻度が非０すなわち特徴点の射影がメッシュ内に存在する場合を示し、塗りつぶされたメッシュは出現頻度が０のメッシュを示す。第１の実施の形態に従うと、特異特徴は塗りつぶされたメッシュから選択される。塗りつぶされたメッシュの中心を特異特徴とした例を図３３に示す。この例では、不変特徴空間での基底、すなわち（０，０）、（１，０）、（０，１）の点を特異特徴に含めている。これらを含めないようにしてもかまわない。得られた特異特徴点群より、第１の実施の形態で説明した４つの生成方法に従い、マーカパターンを生成した例をそれぞれ図３４〜３７に示す。

次に、マーカの検出の動作について具体的に説明する。マーカを含む図３８のような映像シーンから、図３７のマーカを高速かつ安定に検出する手順を説明する。同シーンに対する特徴抽出結果を図３９に示す。さらにこれを不変特徴空間に写像し、量子化後に、特徴点が写像されたメッシュを塗って示した結果が図４１である。もしマーカが存在しない場合、特徴点の写像は図４０の通りであった。このため、背景からは、写像がないはずであるメッシュ（図４１の太枠で囲まれた斜線部分）に特徴点が存在する場合には、マーカが存在すると判断してもよい。

マーカを複数種類使用する場合には、図４２の丸もしくは斜線が塗られたメッシュを各マーカパターンと対応付けて記憶しておき（「Ａ」「Ｈ」「Ｂ」はマーカの例）、検出時に最も類似した、すなわち多くの写像を、近傍または同一メッシュに得たものを検出結果として採用してもよい（図４３）。

次に、本発明の他の実施の形態を説明する。

他の実施の形態では、本発明のマーカ及び検出の技術を、ＲＦＩＤの検出技術に応用した例について説明する。図４４は、他の実施の形態を説明するための図である。

ＲＦＩＤ３００上には、本発明のマーカ３０１が付されている。ＲＦＩＤ３００はＲＦＩＤ検出装置３０２により検出され、マーカ３０１はＲＦＩＤ検出装置３０２とは別に設けられたマーカ検出装置３０３によって検出される。尚、マーカ検出装置３０３は、上述したマーカ検出部２０と同様な構成である。ＲＦＩＤ検出装置３０２の検出結果とマーカ検出装置３０３の検出結果とは比較部３０４に入力され、検出結果が比較される。

このような構成を所定のゲートの通過する物品を管理する物流管理に適用した場合、各物品に対して、マーカ３０１が付されたＲＦＩＤ３００を添付する。そして、ゲートの通過に際して、ＲＦＩＤ検出装置３０２によるＲＦＩＤ３００の検出と、マーカ検出装置３０３によるマーカ３０１の検出との双方を行うように構成する。そして、それらの検出結果を比較部３０４にて比較するようにすれば、物品の検出精度を高めることができる。尚、上述した例では、マーカ３０１をＲＦＩＤ３００に付した例を説明したが、これに限ることなく、別々に物品に添付しても良く、また、上述したように、物品の包装紙を本発明によるマーカとして作成し、これを用いるようにしても良い。

本出願は、２００７年１月２３日に出願された日本出願特願２００７−１２１３４号、及び２００８年１月１１日に出願された日本出願特願２００８−３９５０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、物品管理、フィジカルセキュリティをはじめとする映像モニタリングといった用途に適用できる。また、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用といった用途にも適用可能である。

Claims (42)

1. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出する特徴抽出手段と、
   前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択する特異特徴選択手段と、
   前記特異特徴に基づいて、マーカを生成するマーカ生成手段と
   を有することを特徴とするマーカ生成システム。
2. 前記抽出された特徴の頻度分布を算出して記憶する特徴記憶手段を有し、
   前記特異特徴選択手段は、前記特徴の頻度分布から頻度が既定値以下である部分を特異特徴として選択する
   ことを特徴とする請求項１に記載のマーカ生成システム。
3. 前記抽出された特徴から前記背景映像の変動に対して不変な不変特徴を生成する不変特徴変換手段を有し、
   前記特異特徴選択手段は、前記不変特徴ではない部分を特異特徴として選択する
   ことを特徴とする請求項１に記載のマーカ生成システム。
4. 前記不変特徴変換手段は、前記特徴から幾何学的不変特徴を生成することを特徴とする請求項３に記載のマーカ生成システム。
5. 前記不変特徴変換手段は、前記特徴から物体色的不変特徴を生成することを特徴とする請求項３に記載のマーカ生成システム。
6. 前記不変特徴変換手段は、前記特徴からテクスチャ不変特徴を生成することを特徴とする請求項３に記載のマーカ生成システム。
7. 前記不変特徴変換手段は、複数の次元の特徴を入力とし、複数の次元の不変特徴を生成することを特徴とする請求項３から請求項６のいずれかに記載のマーカ生成システム。
8. 前記不変特徴変換手段は、幾何学的不変特徴、物体色的不変特徴、テクスチャ不変特徴及びそれらの複数の次元の不変特徴のいずれかを組み合わせて不変特徴を生成することを特徴とする請求項３から請求項７のいずれかに記載のマーカ生成システム。
9. 前記特異特徴選択手段は、選択する特異特徴の数を増減できるように構成されていることを特徴する請求項１から請求項８のいずれかに記載のマーカ生成システム。
10. 前記特異特徴選択手段は、前記不変特徴の頻度分布算出し、算出された不変特徴の頻度分布から頻度が所定の閾値以下である部分を特異特徴として選択することを特徴とする請求項３から請求項９のいずれかに記載のマーカ生成システム。
11. 前記特異特徴選択手段は、前記閾値を変更することにより、選択する特異特徴の数を制御することを特徴する請求項１０に記載のマーカ生成システム。
12. 前記映像を入力する映像入力手段を有することを特徴とする請求項１から請求項１１のいずれかに記載のマーカ生成システム。
13. 前記映像入力手段が、パン、チルト、ズーム、移動することが可能であることを特徴とする請求項１２に記載のマーカ生成システム。
14. 前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段を有することを特徴とする請求項１２又は請求項１３に記載のマーカ生成システム。
15. 前記映像入力手段が前記映像入力制御手段からの信号を受けて撮影を行い、それに従ってマーカを生成することを特徴とする請求項１４に記載のマーカ生成システム。
16. 前記映像入力手段が前記映像入力制御手段からの信号を受けて撮影を行い、
    前記不変特徴変換手段は、それに従って前記不変特徴を累積する
    ことを特徴とする請求項１４又は請求項１５に記載のマーカ生成システム。
17. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出システムであって、
    前記マーカの特徴を記憶する記憶手段と、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の特徴と前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知する特徴照合手段と
    を有することを特徴とするマーカ検出システム。
18. 検出用の映像を入力する映像入力手段と、
    前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段と有し、
    前記特徴照合手段は、入力される映像に従って、特徴とマーカとを照合し、既定数回以上の頻度で照合に成功した場合に報知する
    ことを特徴とする請求項１７に記載のマーカ検出システム。
19. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された前記背景映像の変動に対して不変な不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出装置であって、
    前記マーカの不変特徴を記憶する記憶手段と、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の不変特徴と前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知する不変特徴照合手段と
    を有することを特徴とするマーカ検出システム。
20. 前記不変特徴は、幾何学的不変特徴、物体色的不変特徴、テクスチャ不変特徴及びそれらの複数の次元の不変特徴のいずれか、又はそれらの組み合わせであることを特徴とする請求項１９に記載のマーカ検出システム。
21. 前記不変特徴照合手段は、ひとつの不変特徴が一致した場合、マーカの検出を報知することを特徴とする請求項１９又は請求項２０に記載のマーカ検出システム。
22. 前記不変特徴照合手段は、過剰検出の原因となる前記映像の不変特徴に対応する前記マーカの不変特徴を照合対象から除外することを特徴とする請求項１９から請求項２１のいずれかに記載のマーカ検出システム。
23. 前記不変特徴照合手段は、過剰検出の原因となる不変特徴に対応する背景部分を特定することを特徴とする請求項１９から請求項２２のいずれかに記載のマーカ検出システム。
24. 検出用の映像の範囲を限定する手段を有することを特徴とする請求項１９から請求項２３のいずれかに記載のマーカ検出システム。
25. 検出用の映像を入力する映像入力手段と、
    前記映像入力手段に映像入力する開始終了時刻と撮影のタイミングを与える映像入力制御手段とを有し、
    前記不変特徴照合手段は、入力される映像に従って、前記映像の不変特徴とマーカの不変特徴とを照合し、既定数回以上の頻度で照合に成功した場合に報知する
    ことを特徴とする請求項１９から請求項２４のいずれかに記載のマーカ検出システム。
26. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、
    前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、
    前記特異特徴に基づいて、マーカを生成する
    ことを特徴とするマーカ生成方法。
27. 前記抽出された特徴の頻度分布を算出し、前記特徴の頻度分布から頻度が既定値以下である部分を特異特徴として選択する
    ことを特徴とする請求項２６に記載のマーカ生成方法。
28. 前記抽出された特徴から不変特徴を生成し、
    前記不変特徴ではない部分を特異特徴として選択する
    ことを特徴とする請求項２６に記載のマーカ生成方法。
29. 前記不変特徴は、前記特徴から生成された幾何学的不変特徴であることを特徴とする請求項２８に記載のマーカ生成方法。
30. 前記不変特徴は、前記特徴から生成された物体色的不変特徴であることを特徴とする請求項２８に記載のマーカ生成方法。
31. 前記不変特徴は、前記特徴から生成されたテクスチャ不変特徴であることを特徴とする請求項２８に記載のマーカ生成方法。
32. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記映像には現れない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出方法であって、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の特徴と、予め記憶されている前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知することを特徴とするマーカ検出方法。
33. 入力される検出用の映像に従って、前記映像の特徴とマーカの特徴とを照合し、既定数回以上の頻度で照合に成功した場合に報知することを特徴とする請求項３２に記載のマーカ検出方法。
34. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された前記映像の変動に対して不変な不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出方法であって、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の不変特徴と、予め記憶されている前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知することを特徴とするマーカ検出方法。
35. 前記不変特徴は、幾何学的不変特徴、物体色的不変特徴、テクスチャ不変特徴及びそれらの複数の次元の不変特徴のいずれか、又はそれらの組み合わせであることを特徴とする請求項３４に記載のマーカ検出方法。
36. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出する処理と、
    前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択する処理と、
    前記特異特徴に基づいて、マーカを生成する処理と
    を情報処理装置に実行させることを特徴とするプログラム。
37. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、この特異特徴に基づいて生成されたマーカを検出するマーカ検出のプログラムであって、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の特徴と、予め記憶されている前記マーカの特徴とを照合し、特徴の一致が認められる場合はマーカの検出を報知する処理を情報処理装置に実行させることを特徴とするプログラム。
38. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、この特徴から生成された前記映像の変動に対して不変な不変特徴ではない部分から選択された特異特徴に基づいて生成されたマーカを検出するマーカ検出のプログラムであって、
    マーカの検出を行う環境下における前記マーカを含む検出用の映像の不変特徴と、予め記憶されている前記マーカの不変特徴とを照合し、不変特徴の一致が認められる場合はマーカの検出を報知する処理を情報処理装置に実行させることを特徴とするプログラム。
39. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、前記特異特徴に基づいて生成されたマーカを付したＲＦＩＤタグ。
40. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴から前記背景映像の変動に対して不変な不変特徴を生成し、前記不変特徴ではない部分を特異特徴として選択して、前記選択された特異特徴に基づいて生成されたマーカを付したＲＦＩＤタグ。
41. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴から前記背景映像の変動に対して不変な不変特徴を生成し、前記不変特徴ではない部分を特異特徴として選択して、前記選択された特異特徴に基づいて生成されたマーカが表示された包装紙。
42. マーカの検出を行う環境下におけるマーカを含まない背景映像中の特徴的なパターンを含む部位を特徴として抽出し、前記抽出された特徴に基づいて、前記背景映像には現れない画像特徴を特異特徴として選択し、前記特異特徴に基づいて生成されたマーカが表示された包装紙。

Images