JP2006072668A - 画像処理装置、ゲーム装置および画像処理方法 - Google Patents

Abstract

【課題】 実オブジェクトと仮想オブジェクトとを関連付けて表示させる画像処理技術を提供する。
【解決手段】 本発明の画像処理装置は、実オブジェクトの位置関係に基づいて、仮想オブジェクトの表示パターンを変化させる。位置関係検出部１１０が、撮像装置が撮像した複数の実オブジェクト画像の位置関係を検出し、条件判定部１１２が、少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する。所定の条件が満たされた場合には、表示制御部１２０が、仮想オブジェクトの表示パターンを、表示パターン格納部１２２から読み出して決定する。表示制御部１２０は、決定した表示パターンによりキャラクタの表示処理を行う。
【選択図】 図４

Description

本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。

近年、２次元コードをカメラで撮像して認識し、２次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の１つとして、２次元バーコードをビデオカメラで撮像して、２次元バーコードに対応する３次元画像を表示装置に表示させる画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像した２次元バーコードの座標およびＣＣＤビデオカメラの焦点距離をもとに、３次元オブジェクトを表示する空間上の座標を決定し、２次元バーコードに３次元オブジェクトを重畳させて表示する。
特開２０００−３２２６０２号公報

特許文献１に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献１は、１つの２次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の２次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の２次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。

本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定し、読み出された複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部とを備える。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。

この画像処理装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいて仮想オブジェクトの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、仮想オブジェクトの新たな視覚表現を実現できる。

本発明の別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の３次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部とを備える。

このゲーム装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいてゲームキャラクタの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、ゲームキャラクタの新たな視覚表現を実現できる。

本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、格納部から読み出した複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップとを備える画像処理方法を提供する。

本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、格納部から読み出した複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能とを実現させるためのプログラムを提供する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することができる。

本発明は、撮像装置により撮像された複数の実オブジェクトの位置関係を検出し、検出した位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供する。実オブジェクトは、実在する１次元オブジェクト、２次元オブジェクトまたは３次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、２次元で表現されたコード情報を特徴部分として有するカードなどの２次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する３次元オブジェクトであってもよい。なお、２次元オブジェクトの２次元形状がユニークな特徴部分を構成してもよく、また３次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において３次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。実施例では、プレイヤが実オブジェクト同士を接触させることで、その接触に応じたイベントが発生し、イベントを順次実行していくことで進行するゲームアプリケーションを示す。

図１は、本発明の実施例にかかるゲームシステム１の構成を示す。ゲームシステム１は、撮像装置２、画像処理装置１０および出力装置６を備える。画像処理装置１０は、画像解析装置２０およびゲーム装置３０を備える。画像解析装置２０およびゲーム装置３０は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置２は、ＣＣＤ撮像素子またはＭＯＳ撮像素子などから構成されるビデオカメラである。撮像装置２は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域５は撮像装置２により撮像される範囲であり、撮像装置２の高さや向きを調整することで、撮像領域５の位置や大きさが調整される。ゲームプレイヤは、撮像領域５において、実オブジェクトであるゲームカード４を指で動かす。ゲームカード４は、自身を一意に識別するための特徴部分を有して構成される。

出力装置６は、表示装置であるディスプレイ７を有する。出力装置６は、さらにスピーカ（図示せず）を有して構成されてもよい。基本的に画像処理装置１０は、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させ、その際に、ゲームカード４上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図１の例では、撮像領域５に２枚のゲームカード４が存在し、ディスプレイ７には、それぞれのゲームカード４上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ７を見ることで、ゲームカード４が撮像領域５に入っているか容易に確認でき、入っていない場合には、ゲームカード４の位置をずらしたり、また撮像装置２の向きを調整して、撮像装置２にゲームカード４を撮像させるようにする。

実施例のゲームアプリケーションでは、プレイヤがゲームカード４に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード４とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード４に重ね合わせて表示させている。

以上のキャラクタの動きは、画像処理装置１０により制御される。まず、画像解析装置２０は、撮像装置２において取得されたフレーム画像から、ゲームカード４の画像情報を抽出する。さらに、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４の空間における位置情報、方向情報、距離情報などを決定する。

図２は、ゲームカード４の表面の一例を示す。ゲームカード４の表面には、方向指示部１１と識別部１２とが印刷されている。方向指示部１１は、ゲームカード４の前部を示すために設けられ、識別部１２は、ゲームカード４を一意に識別するための特徴部分を表現するために設けられる。識別部１２は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、４角のブロックは複数のゲームカード４に共通して付与され、実質的には４角以外のブロックにより、特徴部分が形成される。４角のブロックは、撮像装置２からの距離を測定するために利用される。

図１に戻って、画像解析装置２０は、フレーム画像中のゲームカード４を認識すると、ゲームカード４の画像における４角のブロック間の長さをもとに、撮像装置２とゲームカード４との距離を計算して求める。また、画像解析装置２０は、ゲームカード４の方向指示部１１を検出して、フレーム画像においてゲームカード４が向いている方向を求める。この場合、方向指示部１１が存在する方向が前方となり、キャラクタは、ゲームカード４上にて前方を向くように表示制御される。さらに、画像解析装置２０は、識別部１２の４角以外のブロックから、ゲームカード４の識別情報を取得する。

画像解析装置２０において画像解析された結果は、ゲーム装置３０に送られる。なお、撮像装置２において撮像されたフレーム画像が、ゲーム装置３０に送られて、ゲーム装置３０側で画像解析を行ってもよい。この場合、画像処理装置１０は、ゲーム装置３０のみで構成されることになる。

ゲーム装置３０は、画像解析装置２０における画像解析結果をもとに、ディスプレイ７の表示画面上で、キャラクタをゲームカード４の上に位置するように表示制御する。キャラクタは、ゲームカード４に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。本実施例では、ゲーム装置３０が、複数の実オブジェクト画像の位置関係を検出し、実オブジェクト画像間の位置関係が所定の条件を満たすことを判定すると、仮想オブジェクトの表示態様を制御する。

図３は、画像解析装置２０の構成を示す。画像解析装置２０は、フレーム画像取得部４０、実オブジェクト抽出部４２、状態決定部４４、識別情報取得部４６、識別情報格納部４８および送出部５０を備える。識別情報格納部４８は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図２におけるゲームカード４の識別部１２のパターン情報と、識別情報とを１対１に対応付けて記憶している。識別情報は、ゲーム装置３０においてキャラクタの割当てに利用される。例えば、５枚のゲームカード４の同時使用を許可するゲームシステム１の場合、それぞれのゲームカード４に対して、１から５までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード４のそれぞれを識別情報と紐付けすることで、個々のゲームカード４が認識可能となる。状態決定部４４は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード４の位置を決定する位置決定部５２、方向を決定する方向決定部５４および撮像装置２からの焦点距離を決定する距離決定部５６を有する。

フレーム画像取得部４０が、撮像装置２にて撮像された実空間のフレーム画像を取得する。ここでは、図１に示すように、撮像領域５に複数枚のゲームカード４が配置されている状態を想定する。撮像装置２は、周期的にフレーム画像を取得し、好適には１／６０秒間隔でフレーム画像を生成する。

実オブジェクト抽出部４２は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード４の画像を抽出する。この処理は、画像情報を２進数のビット表現に変換し、このビット表現からゲームカード４の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部４２は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード４の画像をフレーム画像から切り出すことができる。

状態決定部４４は、ゲームカード４を置いて動かすための台３のジオメトリ情報を予め検出しておき、さらに台３の表面を基準面として、その基準面上にゲームカード４を載せた姿勢のジオメトリ情報をゲームカード４の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置２を基準として生成されてもよい。状態決定部４４は、台３に関して取得したジオメトリ情報から、台３の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部５２は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部５２は、ゲームカード４の位置に加えて、ゲームカード４の基準面に対するゲームカード４の傾きおよび高さを、初期状態として記録したゲームカード４の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部５４は、実オブジェクト画像の方向を定める。方向決定部５４は、実オブジェクト画像の中から図２に示す方向指示部１１を検出して、実オブジェクトの向きを定めてもよい。距離決定部５６は、ゲームカード４の画像における識別部１２の４角間の長さをもとに、撮像装置２とゲームカード４との距離を決定する。識別情報取得部４６は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部４８から対応する識別情報を取得する。

状態決定部４４において決定された位置情報、方向情報、距離情報、および識別情報取得部４６において取得された識別情報は、それぞれ関連付けされて送出部５０からゲーム装置３０に送られる。なお、この関連付けは、それぞれのゲームカード４ごとに行われる。また、本実施例では、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させるため、フレーム画像自体も送出部５０からゲーム装置３０に送られる。

図４は、ゲーム装置３０の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、キャラクタ格納部１０６、位置関係検出部１１０、条件判定部１１２、表示制御部１２０および表示パターン格納部１２２を備える。

本実施例におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、位置関係検出部１１０、条件判定部１１２、表示制御部１２０としての機能をもつ。

解析情報取得部１００は、画像解析装置２０から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード４の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部１００は、受け取った解析結果をゲーム進行処理部１０２に渡す。なお、解析情報取得部１００は、撮像装置２からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置３０が、画像解析装置２０における機能を有して、画像解析装置２０に関して説明した処理と同様の処理を実行すればよい。

ゲーム進行処理部１０２は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部１０４に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた識別情報を伝える。キャラクタ格納部１０６は、ゲームステージごとに、ゲームカード４の識別情報とキャラクタの３次元画像データとを対応付けて記憶する。

図５は、キャラクタ格納部１０６の記憶内容を示す。本実施例のゲームシステム１は、５枚のゲームカード４を使用可能とする。キャラクタ格納部１０６は、ゲームステージに対応付けて、５枚のゲームカード４のそれぞれに割り当てるキャラクタの３次元画像データを記憶している。ステージ１では、識別情報１のゲームカードにキャラクタ「男」、識別情報２のゲームカードにキャラクタ「女」、識別情報３のゲームカードにキャラクタ「太鼓」、識別情報４のゲームカードにキャラクタ「レストランの建物」、識別情報５のゲームカードにキャラクタ「郵便局の建物」が割り当てられる。ステージ２では、識別情報１のゲームカードにキャラクタ「男」、識別情報２のゲームカードにキャラクタ「女」、識別情報３のゲームカードにキャラクタ「レストランのドア」、識別情報４のゲームカードにキャラクタ「ウェイター」、識別情報５のゲームカードにキャラクタ「テーブルと椅子」が割り当てられる。ステージ１およびステージ２において、識別情報３、４、５に割り当てられるキャラクタが異なっている。

キャラクタ決定部１０４は、ゲームステージ名と複数の識別情報をもとに、識別情報に対応付けられた複数のキャラクタの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。なお、読み出した３次元画像データは、表示制御部１２０に直接供給されてもよい。ゲーム進行処理部１０２は表示制御部１２０に、３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を供給する。表示制御部１２０は、３次元画像データを用いて、キャラクタをゲームカード４の表示位置に関連付けてディスプレイ７に表示させる。

具体的に、表示制御部１２０は、画像解析装置２０から送られるフレーム画像を受け取り、ディスプレイ７に表示させる。また、表示制御部１２０は、ゲームカード４の位置情報、方向情報、距離情報をもとにゲームカード４の位置、向き、距離を認識し、３次元画像データを用いてディスプレイ７に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部１２０は、ゲームカード４に重なるのであれば、キャラクタをどの位置に配置してもよいが、通常の表示態様では、ゲームカード４の中心点の上方に位置するように、キャラクタの表示位置を定める。

プレイヤがゲームカード４を動かすと、フレーム画像の解析結果が画像解析装置２０から解析情報取得部１００に逐次送られる。表示制御部１２０は、ゲーム進行処理部１０２からキャラクタの３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を受け取り、ディスプレイ７におけるゲームカード４の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード４の動きに追従させる。これにより、ディスプレイ７では、キャラクタがゲームカード４に常に乗っている表示態様となり、キャラクタとゲームカード４との一体感をプレイヤに認識させることができる。

図６は、ステージ１におけるディスプレイの表示例を示す。ここで、ゲームカード４ａは識別情報１のゲームカード、ゲームカード４ｂは識別情報２のゲームカード、ゲームカード４ｃは識別情報３のゲームカード、ゲームカード４ｄは識別情報４のゲームカード、ゲームカード４ｅは識別情報５のゲームカードを示す。

ゲームカード４ａにキャラクタ「男」が、ゲームカード４ｃにキャラクタ「太鼓」が、ゲームカード４ｄにキャラクタ「レストランの建物」が、ゲームカード４ｅにキャラクタ「郵便局の建物」が、それぞれ重畳表示されている。なお、ゲームカード４ｃには、太鼓とともに、太鼓を叩くための「ばち」も表示される。このとき、ゲームカード４ｂには、まだキャラクタ「女」の表示はない。

本実施例のゲームアプリケーションでは、複数のゲームカード４の配置位置が所定の位置関係となる場合に、イベントを発生させて、そのイベントを実行することで、ゲームストーリが進行する。プレイヤが複数のゲームカード４を動かすことで、キャラクタの動作パターンなどを変化させることができ、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。図６の例では、ステージ１で定められている所定のイベントを実行することで、「女」のキャラクタがゲームカード４ｂに登場する。

位置関係検出部１１０は、撮像装置２により撮像されたフレーム画像に含まれる複数のゲームカード４の画像の位置関係を検出する。具体的には、まず、ゲーム進行処理部１０２が、複数のゲームカード４の位置情報、方向情報、距離情報を、位置関係検出部１１０に引き渡す。位置関係検出部１１０は、複数のゲームカード４の位置情報、距離情報をもとに、ゲームカード間の位置関係を検出する。ここでは、２つ以上のゲームカード４の全ての組合せについて、ゲームカード間の位置関係を検出することが好ましい。例えば、位置関係検出部１１０は、それぞれのゲームカード４の中心座標に基づいて、中心座標間の距離を算出してもよい。

条件判定部１１２は、位置関係検出部１１０により検出された位置関係に基づいて、ゲームカード４間の位置関係が所定の条件を満足するか否かを判定する。ここでは、少なくとも２つのゲームカード４の画像について検出した位置関係が所定の条件を満たすか否かが判定される。条件判定の一例として、条件判定部１１２は、ゲームカード４の画像同士が接触しているか否かを判定する。単純には、２つのゲームカード画像の中心座標の距離が所定の範囲内にある場合に、条件判定部１１２は、ゲームカード画像の接触を判定してもよい。

条件判定部１１２は、ゲームカード画像同士の接触を判定する際、ゲームカード画像の向きを考慮する。ゲームカード画像の中心座標および向きにより、空間上におけるゲームカード画像の配置を定めることができる。これにより、条件判定部１１２は、空間におけるゲームカード画像の配置を知ることができ、接触しているか否かを判定できる。このとき、向きを考慮することで、ゲームカード画像のどの辺が接触しているのかも知ることができる。方向決定部５４によりゲームカード画像の向きは決定されているため、矩形のゲームカードが、前部の辺で接触しているのか、または左部の辺で接触しているのかを、条件判定部１１２は決定された方向情報により判定できる。条件判定部１１２が、接触判定時に、ゲームカード画像の向きを認識しておくことで、ゲームカード同士がどの向きで接触しているかで、発生させるイベントも異ならせることが可能となる。条件判定部１１２は、ゲームカード画像同士が接触していることを判定すると、その判定結果、接触しているゲームカード画像の識別情報と、ゲームカード画像の向きを、ゲーム進行処理部１０２に通知する。ゲーム進行処理部１０２は、表示制御部１２０に、これらの情報を伝える。以上の位置関係検出部１１０と条件判定部１１２の処理は、同時に実行されてよい。

さらに条件判定部１１２は、例えば１つのゲームカード画像に仮想の視野角を設定し、その視野角内に他のゲームカード画像が存在するか否かの判定を行ってもよい。この条件判定は、位置関係検出部１１０において検出された位置関係に基づいて実行され、ゲーム中では、あるキャラクタの視野角に他のキャラクタが存在するか否かの確認に利用される。条件判定部１１２は、視野角内に他のゲームカード画像が存在していることを判定すると、その判定結果、視野角を設定したゲームカード画像の識別情報、および視野角内に存在するゲームカード画像の識別情報をゲーム進行処理部１０２に通知する。これらの情報は、表示制御部１２０に伝えられる。

表示制御部１２０は、条件判定部１１２により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つのゲームカード画像の識別情報に基づいて、キャラクタの表示パターンを決定する。表示制御部１２０は、ゲーム進行処理部１０２より送られてきた判定結果、条件を満たしているゲームカード画像の識別情報、およびゲームカード画像の向きを受け取り、表示パターン格納部１２２を参照して、表示パターンを決定する。

表示パターン格納部１２２は、仮想オブジェクトの表示パターンを格納する。表示パターンは、例えば、条件を満たす少なくとも２つのゲームカード画像の識別情報に対応するキャラクタ間の動作パターンであってよい。この動作パターンは、少なくとも２つのゲームカード画像の識別情報と、それらのゲームカード画像の向きとに対応付けられて記憶されている。具体的に表示制御部１２０は、例えば、識別情報１のゲームカード４ａと識別情報３のゲームカード４ｃとを、それぞれの前辺同士で接触させた場合に、所定の動作パターンを表示パターン格納部１２２から読み出すことができる。換言すると、ゲームカード４ａの画像とゲームカード４ｃの画像とが接触しており、且つ、それらが前辺同士で接触していることが、表示パターン格納部１２２から表示パターンを読み出すための要件として設定されている。したがって、ゲームカード４ａとゲームカード４ｃとがそれぞれの前辺と左辺とで接触していても、表示制御部１２０は、表示パターンを読み出すことはできない。

表示制御部１２０は、画像解析装置２０から送られるフレーム画像上に、複数のキャラクタの３次元画像データを用いて、決定した表示パターンによりキャラクタの表示処理を行う。

図７は、図６に示す状態から、２枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード４ａとゲームカード４ｃを接触させている。なお、ゲームカード４ａとゲームカード４ｃは、それぞれ前辺同士で接触されている。「男」はゲームカード４ａの前辺方向を向いており、また「太鼓」もゲームカード４ｃの前辺方向を向いて配置されているため、「男」は、太鼓の正面に立つことで、太鼓を叩くことができる。逆にいうと、「男」は太鼓の側面に立っても、太鼓を叩くことはできない。接触させるゲームカード４の識別情報および接触時の向きは、既述のように表示パターン格納部１２２から表示パターンを読み出すための要件となっている。したがって、それぞれのゲームカードの前辺同士を接触させることで、表示制御部１２０は所定の動作パターンを読み出し、男がゲームカード４ｃ上に置かれていたばちを握り、太鼓を叩く表示処理を実行する。この一連の動きは、読み出された表示パターンにおいて定められたものである。

ゲームアプリケーションにおいて、太鼓を叩く動作は「女」のキャラクタを登場させるための条件となっており、ゲーム進行処理部１０２は、男により太鼓が叩かれたことを認識すると、「女」をゲームカード４ｂ上に登場させる。続いて、プレイヤは、男と女のキャラクタをレストランの前に移動させる。

図８は、図７に示す状態から、１枚のゲームカードに２枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード４ｄの左辺に、ゲームカード４ａの前辺とゲームカード４ｂの前辺とを接触させている。接触させるゲームカードの識別情報および向きは、既述のように表示パターンを読み出すための要件として設定されている。ステージ１では、図８のように、男と女のキャラクタをレストランの前に移動させることが、ステージ１を終了してステージ２に進むための移行条件として設定されている。条件判定部１１２は、ゲームカード４ａ、４ｂ、４ｄについて図８に示す位置関係を位置関係検出部１１０から通知されると、ゲームカード４ｄの左辺に対してゲームカード４ａ、４ｂの前辺がそれぞれ接触していることを判定し、ゲーム進行処理部１０２に報告する。ゲーム進行処理部１０２は、この報告を受けると、ステージ１の終了条件が成立したことを認識し、ゲームステージの切替処理を行う。なお、条件判定部１１２が、この終了条件の成立を判定してもよい。ゲーム進行処理部１０２は、次のステージ名（ステージ２）をキャラクタ決定部１０４に通知する。

キャラクタ決定部１０４は、ステージ名を通知されると、図５に示す対応関係を参照して、ステージ２に割り当てられた識別情報の３次元画像データを読み出す。このように、キャラクタ決定部１０４が、ステージに応じて参照する対応関係を変えることで、ステージごとに新たなキャラクタを登場させることができ、ゲームストーリを充実させることが可能となる。ステージ２では、図５に示したように、識別情報３のゲームカードにキャラクタ「レストランのドア」、識別情報４のゲームカードにキャラクタ「ウェイター」、識別情報５のゲームカードにキャラクタ「テーブルと椅子」が割り当てられ、図８に示すキャラクタ表示が切り替えられる。

本実施例のゲームシステム１では、ゲームカード画像の位置関係を利用して、上記以外の様々な画像処理技術を実現することができる。

図９は、複数のゲームカード画像に１つのキャラクタを割り当てる処理を説明するための図である。
図９（ａ）は、３枚のゲームカードに建物が割り当てられている状態を示す。ゲームカード４ａ、４ｂ、４ｃに同一の建物が割り当てられているが、ここでは、割り当てるキャラクタの対象は問題としない。図９（ｂ）は、３枚のゲームカードを接触させた状態を示す。このとき、３枚のゲームカード上に１つの大きな建物が割り当てられている。

表示パターン格納部１２２は、条件を満たす少なくとも２つのゲームカード画像に対して、１つの仮想オブジェクトを割り当てた表示パターンを記憶する。この例において、表示パターン格納部１２２は、３つのゲームカード画像の識別情報（識別情報１、２、３）と、それらのゲームカード画像の接触部分の向きに対応付けた表示パターンを記憶している。ここで、接触部分の向きは左右方向、すなわち、各ゲームカード画像が左辺または右辺にて他のゲームカード画像と接触していることが、表示パターンを読み出すための条件となる。

条件判定部１１２は、ゲームカード４ａ、４ｂ、４ｃが左右方向にて接触していることを判定すると、その判定結果およびゲームカード画像の識別情報、画像の向きが、ゲーム進行処理部１０２を介して表示制御部１２０に供給される。表示制御部１２０は、これらの情報をもとに、表示パターン格納部１２２から表示パターンを読み出す。表示制御部１２０は、表示パターンに基づいて、図９（ｂ）に示す表示処理を行う。これにより、キャラクタを大きく表示できるため、ゲームストーリにおいて新たな視覚効果を実現できる。プレイヤは、ゲームカード同士をくっつけてみることで、予想もしないキャラクタが登場することにもなり、ゲームの面白さを高めることもできる。

図１０は、キャラクタの向きを変更する処理を説明するための図である。
図１０（ａ）は、ゲームカード４ａのキャラクタ「男」とゲームカード４ｂのキャラクタ「女」との位置関係を示す。キャラクタ「男」から延びる２本の破線１０１は、男の仮想的な視野角を示す。条件判定部１１２は、ゲームカード４ａの位置情報および方向情報と、ゲームカード４ｂの位置情報から、ゲームカード４ｂの画像が、ゲームカード４ａの仮想的な視野角に入っているかを判定する。なお、位置情報および方向情報は、位置関係検出部１１０より引き渡される。キャラクタ「女」が仮想的な視野角に入っていることを判定すると、その判定結果およびゲームカード４ａ、４ｂの識別情報をゲーム進行処理部１０２に伝える。ゲームカード４ａは、以後のプレイヤの操作により、矢印の経路に沿って進められるものとする。

図１０（ｂ）は、図１０（ａ）に示す矢印に沿って動かした後の状態を示す。ゲームカード４ａのキャラクタは、本来前方方向を向くように設定されているが、この例ではゲームカード４ｂのキャラクタの方向を向いている。表示制御部１２０は、ゲーム進行処理部１０２からゲームカード４ａ、４ｂの識別情報と、ゲームカード４ｂがゲームカード４ａの視野角に入っていることを示す情報を受け取る。表示パターン格納部１２２は、ゲームカード４ａのキャラクタがゲームカード４ｂのキャラクタを見続けるように向きを変えることを示す動作パターンを記憶している。この表示パターンは、これらのゲームカードと視野角の関係が成立したことを条件として読み出し可能に設定されている。表示制御部１２０は、この動作パターンを読み出し、図１０（ｂ）に示す表示処理を実行する。すなわち、表示制御部１２０は、ゲームカード４ａのキャラクタの向きを、ゲームカード４ｂのキャラクタの位置に応じて変化させる。これによりプレイヤは、ゲームカード４ａのキャラクタにとってゲームカード４ｂのキャラクタがゲーム進行に重要な影響を及ぼす可能性があることを認識する。このような表示態様は、プレイヤに対して、ゲームカード４ａをゲームカード４ｂに接触させて新たなイベントを発生させる契機を与えることになる。

図１１は、仮想オブジェクトを伸縮して表示する処理を説明するための図である。
図１１（ａ）は、ゲームカード４ａとゲームカード４ｂとが接触した状態を示す。２枚のゲームカードを接触させると、キャラクタ同士の間に、仮想オブジェクト１０３が発生する。この仮想オブジェクト１０３は、図１１（ｂ）に示すように、ゲームカード同士を離すことにより、伸びるように表現される。一方、図１１（ｂ）に示す状態から再びゲームカード同士を近づけていくと、仮想オブジェクト１０３は縮むように表現される。これにより、新たな視覚効果を実現できる。なお、表示パターン格納部１２２は、ゲームカード４ａとゲームカード４ｂの前辺同士が接触することで、キャラクタの間に、それらの位置関係に応じて伸縮可能な仮想オブジェクトを発生させる表示パターンを記憶している。

位置関係検出部１１０が、ゲームカード画像間の位置関係が第１の状態から第２の状態に移行することを検出すると、表示制御部１２０が、それぞれの識別情報に対応するキャラクタ間において、それらを結ぶ仮想オブジェクトを伸縮して表示する表示パターンを表示パターン格納部１２２から読み出して決定する。表示制御部１２０は、その表示パターンを用いて、図１１（ａ）および図１１（ｂ）に示す表示を行う。

図１２は、ゲーム性を向上するために、プレイヤに課題をだした状態を示す。例えば、その課題は、２枚のゲームカード４をくっつけたまま、ディスプレイ７に表示される矢印１０５にしたがって、ゲームカード４を台３上で移動させるというものである。位置関係検出部１１０は、ゲームカード４ａ、４ｂのそれぞれの移動ベクトルを計算し、その平均を２枚のゲームカードの移動方向とする。移動ベクトルは、ゲームカード画像の中心座標および距離情報をフレームごとにメモリ（図示せず）に保存し、前後のフレームにおけるゲームカード４の距離変化および中心座標の差分から算出される。条件判定部１１２は、移動ベクトルから、課題が達成されたか否かを判定し、具体的には移動ベクトルが矢印１０５に沿っているかを判定して、ベクトルと矢印１０５の向きが実質的に同一であれば、課題をクリアできたものとする。プレイヤは課題をクリアすることで、ゲーム上でオプション的なメリットなどを受けるようにしてもよい。

図１３は、実施例の画像処理フローを示す。ゲーム装置３０において、位置関係検出部１１０が、撮像装置２により撮像されたフレーム画像に含まれる複数のゲームカード４の画像の位置関係を検出する（Ｓ１０）。条件判定部１１２は、位置関係検出部１１０により検出された位置関係に基づいて、ゲームカード４間の位置関係が所定の条件を満足するか否かを判定する（Ｓ１２）。所定の条件が成立した場合（Ｓ１２のＹ）、表示制御部１２０が、成立した条件に対応付けられた表示パターンを決定して、表示パターン格納部１２２から読み出す（Ｓ１４）。表示制御部１２０は、決定した表示パターンによりキャラクタの表示処理を行う（Ｓ１６)。

所定の条件が成立せず（Ｓ１２のＮ）、ステージが継続する間（Ｓ１８のＮ）、位置関係検出部１１０が、ゲームカード４間の位置関係を検出し続ける。ステージが切り替わると（Ｓ１８のＹ）、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの３次元画像データが読み出され、上記したフローが実行される。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記した実施例では、ゲームカード４間の位置関係に基づいて、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなく、音声などによる演出を行ってもよい。この場合、条件判定部１１２においてゲームカード４間の位置関係が所定の条件を満たすことが判定されると、ゲーム進行処理部１０２は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置３０は、画像処理装置として機能するだけでなく、音声処理装置としても機能するため、ゲーム装置３０を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置３０は、ゲームカード４間の位置関係に基づいて、音声制御のみを行ってもよい。

実施例にかかるゲームシステムの構成を示す図である。 ゲームカードの表面の一例を示す図である。 画像解析装置の構成を示す図である。 ゲーム装置の構成を示す図である。 キャラクタ格納部の記憶内容を示す図である。 ステージ１におけるディスプレイの表示例を示す図である。 図６に示す状態から、２枚のゲームカードを接触させた状態を示す図である。 図７に示す状態から、１枚のゲームカードに２枚のゲームカードを接触させた状態を示す図である。 複数のゲームカード画像に１つのキャラクタを割り当てる処理を説明するための図である。 キャラクタの向きを変更する処理を説明するための図である。 仮想オブジェクトを伸縮して表示する処理を説明するための図である。 プレイヤに課題をだした状態を示す図である。 画像処理のフローチャートである。

符号の説明

１・・・ゲームシステム、２・・・撮像装置、４・・・ゲームカード、５・・・撮像領域、７・・・ディスプレイ、１０・・・画像処理装置、２０・・・画像解析装置、３０・・・ゲーム装置、４０・・・フレーム画像取得部、４２・・・実オブジェクト抽出部、４４・・・状態決定部、４６・・・識別情報取得部、４８・・・識別情報格納部、５０・・・送出部、５２・・・位置決定部、５４・・・方向決定部、５６・・・距離決定部、１００・・・解析情報取得部、１０２・・・ゲーム進行処理部、１０４・・・キャラクタ決定部、１０６・・・キャラクタ格納部、１１０・・・位置関係検出部、１１２・・・条件判定部、１２０・・・表示制御部、１２２・・・表示パターン格納部。

Claims (14)

1. 実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
   撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
   少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
   フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、
   条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
   を備えることを特徴とする画像処理装置。
2. 表示パターンは、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に対応する仮想オブジェクト間の動作パターンを定めることを特徴とする請求項１に記載の画像処理装置。
3. 表示パターンは、条件を満たす少なくとも２つの実オブジェクト画像に対して、１つの仮想オブジェクトを割り当てることを特徴とする請求項１に記載の画像処理装置。
4. 条件判定部は、実オブジェクト画像同士が接触しているか否かを判定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 条件判定部は、接触判定時に、実オブジェクト画像の向きを認識することを特徴とする請求項４に記載の画像処理装置。
6. 格納部は、実オブジェクトを識別するための識別情報と仮想オブジェクトの３次元画像データとの対応関係を複数記憶し、
   前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに３次元画像データを読み出すことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、１つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 位置関係検出部により検出される実オブジェクト画像間の位置関係が第１の状態から第２の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想オブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、
    撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
    少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
    フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、
    条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の３次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、
    を備えることを特徴とするゲーム装置。
11. ゲーム進行が複数のステージから構成される場合に、
    格納部は、ステージごとに、実オブジェクトを識別するための識別情報とゲームキャラクタの３次元画像データとを対応付けて記憶することを特徴とする請求項１０に記載のゲーム装置。
12. 撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、
    少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、
    実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、
    所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、
    格納部から読み出した複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、
    を備えることを特徴とする画像処理方法。
13. コンピュータに、
    撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、
    少なくとも２つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、
    実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、
    所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも２つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、
    格納部から読み出した複数の３次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、
    を実現させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images