JP2010049690A - エンタテイメント装置、システム、及び方法 - Google Patents

Abstract

【課題】拡張現実システムにおいて、仮想マップを適切に生成する。
【解決手段】仮想画像を実画像と合成し、拡張現実画像を生成するためのエンタテイメント装置。ビデオカメラ７５６から通信リンクを介して一連のビデオ画像を受信するように動作可能な受信手段を備える。さらに、受信されたビデオ画像内の拡張現実マーカ１０００を検出するように動作可能な検出手段と、その検出に基づいて仮想画像面１０１０を生成するように動作可能な処理手段とを備える。仮想画像面は、仮想画像を当該実表面に対応して生成することができるように、拡張現実マーカが配置されている実表面と実質的に同一平面になるように構成される。上記処理手段は、仮想画像面が上記検出された拡張現実マーカに対応して定義されるように、当該仮想画像面を捕捉ビデオ画像内に生成するように動作可能であり、且つ仮想画像面は拡張現実マーカに対応する面積より大きい面積を有する。
【選択図】図４

Description

本発明は、エンタテイメント装置、システム、及び方法に関する。

近年、これまで以上に強力なコンピュータの出現により、ビデオカメラを使用して物体をリアルタイムに追跡することが、より達成可能になってきた。さらに、そのようなシステムを使用して実画像を仮想画像と合成し、それによって拡張現実画像を生成すると共に、ユーザのためにコンテンツの豊富なメディア体験を作り出すことができる。拡張現実画像を生成することができる多くの異なる方法が存在する。

いくつかの拡張現実システムにおいて、既知の仮想マップ（たとえばコンピュータ支援設計を使用して実環境に対応するように生成される）を、ビデオカメラによって捕捉された実環境の画像とマッチングさせることができる。次に、そのマップを使用して仮想現実画像を生成する。この仮想現実画像を、捕捉ビデオ画像に重ね合わせるか又は該ビデオ画像と合成し、それによって拡張現実画像を生成することができる。しかしながら、そのようなシステムは、マップを実世界に登録するか又はマッチングすることを必要とする。したがって、仮想マップを実画像にマッチングさせることは、特にマップがそれほど詳細ではない場合、又は捕捉画像内にすぐに識別することができる物体がほとんど存在しない場合に、実行するのが容易でないおそれがある。

非特許文献１において記載されるシステムのような他のシステムは、一連のビデオ画像内の特徴点を追跡し、それに従ってマップを生成する。いくつかのシステムにおいて、一連の捕捉ビデオ画像内の物体を拡張可能に追跡することによってマップを生成することができる。基本マップが生成されると、次にそのマップを使用して仮想物体をシーンに挿入することができる。しかしながら、そのようなマップの生成は計算コストが高くなり得る。さらに、静的特徴点に関連するマップを作成するために、カメラは捕捉されるシーンがフレーム毎に異なるようにパン又はチルトされる必要があり、それによって特徴点を追跡することが可能になる。したがって、このようなシステムでは、カメラが固定している場合又は追跡される特徴点がほとんど存在しない場合（たとえば卓上のような平面の場合に起こり得る）に、適切なマップを生成するのが困難であるおそれがある。

拡張現実は、ビデオゲームシステムにおいてますます使用されるようになっている。たとえば、ソニーコンピュータエンタテインメント（登録商標）（Sony Computer Entertainment（R））によって発表された「ジ アイ オブ ジャッジメント（The eye of judgement）」と称するビデオゲームは、ゲームカードをビデオカメラによって検出することができると共に、その検出されたゲームカード上にゲームクリーチャを重ねて表示することができるように拡張現実画像を生成することができるシステムを使用する。しかしながら、このようなシステムは、ゲームカードがプレイされると、ゲームシステムと少しの間さらにリアルタイムで対話することを求める場合がある。

G. Klein及びD. Murray著「Parallel Tracking and Mapping for Small AR Workspaces」（Proceedings of the Sixth IEEE and ICM International Symposium on Mixed and Augmented Reality（ISMAR2007） pages 225-234, 13-16 November 2007）

本発明は、上記問題を緩和又は軽減しようとするものである。

第１の態様では、仮想画像をビデオカメラによって捕捉される実画像と合成して拡張現実画像を生成するためのエンタテイメント装置であって、
ビデオカメラから通信リンクを介して一連のビデオ画像を受信するように動作可能な受信手段と、
受信されたビデオ画像内の拡張現実マーカを検出するように動作可能な検出手段と、
検出手段による拡張現実マーカの検出に基づいて仮想画像面を生成するように動作可能な処理手段であって、当該仮想画像面を前記拡張現実マーカが配置されている実表面に対応して生成することができるように、当該仮想画像面を実表面と実質的に同一平面になるように構成する処理手段と
を備え、
処理手段は、
仮想画像面が上記検出された拡張現実マーカに対応して定義されるように、当該仮想画像面を捕捉ビデオ画像内に生成するように動作可能であり、且つ
仮想画像面は、
拡張現実マーカに対応する面積より大きい面積を有するエンタテイメント装置が提供される。

第２の態様では、仮想画像をビデオカメラによって捕捉される実画像と合成して拡張現実画像を生成する方法であって、
ビデオカメラから通信リンクを介して一連のビデオ画像を受信すること、
受信されたビデオ画像内の拡張現実マーカを検出すること、及び
前記検出手段による前記拡張現実マーカの検出に基づいて仮想画像面を生成することであって、当該仮想画像面を前記拡張現実マーカが配置されている実表面に対応して生成することができるように、当該仮想画像面を実表面と実質的に同一平面になるように構成すること
を含み、
仮想画像面は、
当該仮想画像面が検出された拡張現実マーカに対応して定義されるように、捕捉ビデオ画像内に生成され、且つ
仮想画像面は、
拡張現実マーカに対応する面積より大きい面積を有する方法が提供される。

第３の態様では、拡張現実生成システムを用いて使用するための拡張現実マーカであって、
拡張現実生成システムによって認識するための画像を備える一次ファセットと、
１つ又は複数の二次ファセットであって、一次ファセットが当該１つ又は複数の二次ファセットと平行にならないように当該一次ファセットに対して配置される、１つ又は複数の二次ファセットと
を備える拡張現実マーカが提供される。

仮想画像面が上記検出された拡張現実マーカに対応して定義されるように当該仮想画像面を生成することによって、本発明の実施形態は有利には、拡張現実画像を生成することができるように実環境をマッピングすることができる方法を提供する。例えば、拡張現実マーカの歪みを検出することによって、拡張現実マーカが配置される表面の較正を固定ビデオカメラを使用して実行することができる。さらに、マーカを検出して仮想画像面を実表面にマッピングするのに必要とされる処理資源を低減することができる。これは、マーカが、一連の画像を通じて複数の点を追跡する必要なく、画像の特徴を簡単に検出することを可能にすることができるためである。

本発明のさらなるそれぞれの態様及び特徴は、添付の特許請求の範囲に規定される。

ここで、本発明の実施形態を、添付の図面を参照して例として説明する。

エンタテイメント装置の概略図である。 セルプロセッサの概略図である。 ビデオグラフィックスプロセッサの概略図である。 本発明の一実施形態による拡張現実マーカに対するエンタテイメントシステムの配置の概略図である。 本発明の一実施形態による拡張現実マーカの一例の概略図である。 本発明の一実施形態による３次元拡張現実マーカの概略図である。 本発明の一実施形態による対話エリア及び２つの拡張現実マーカの概略図である。 本発明の一実施形態による仮想画像面を生成する方法を示すフローチャートである。 本発明の一実施形態による拡張現実マーカの概略図である。 図９Ａに示す拡張現実マーカの断面図である。

エンタテイメント装置、システム、及び方法が開示される。以下の説明では、本発明の実施形態の徹底した理解を提供するために、多数の具体的な詳細が提示される。しかしながら、本発明を実施するのに、これらの具体的な詳細を用いる必要がないことは、当業者には明らかであろう。逆に、当業者に既知の具体的な詳細は、実施形態の提示を明瞭にする目的で省略される。

図１は、ソニー（登録商標）（Sony（R））プレイステーション３（登録商標）（playstation 3（R））エンタテイメント装置の全体的なシステムアーキテクチャを概略的に示している。システムユニット１０が、このシステムユニットに接続可能なさまざまな周辺装置と共に提供される。

システムユニット１０は、セルプロセッサ１００と、ラムバス（登録商標）（Rambus（R））ダイナミックランダムアクセスメモリ（XDRAM）ユニット５００と、専用のビデオランダムアクセスメモリ（VRAM）ユニット２５０を有するリアリティシンセサイザ（Reality Synthesiser）グラフィックスユニット２００と、Ｉ／Ｏブリッジ７００とを備える。

システムユニット１０は、ディスク４４０から読み出しを行うためのブルーレイ（登録商標）（Blu Ray（R））ディスクビーディーロム（登録商標）（BD-ROM（R））光ディスクリーダ４３０及び着脱可能スロットインハードディスクドライブ（HDD）４００も備える。これらの光ディスクリーダ４３０及びＨＤＤ４００には、Ｉ／Ｏブリッジ７００を通じてアクセス可能である。オプションとして、このシステムユニットは、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）（Memory Stick（R））メモリカード等を読み出すためのメモリカードリーダ４５０も備える。このメモリカードリーダ４５０にも、同様に、Ｉ／Ｏブリッジ７００を通じてアクセス可能である。

Ｉ／Ｏブリッジ７００は、４つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート７１０、ギガビットイーサネット（登録商標）ポート７２０、IEEE802.11b/g無線ネットワーク（Wi-Fi）ポート７３０、及び最大７つまでのブルートゥース（登録商標）（Bluetooth（R））接続のサポートが可能なブルートゥース無線リンクポート７４０にも接続している。

動作中、Ｉ／Ｏブリッジ７００は、１つ又は複数のゲームコントローラ７５１からのデータを含む、すべての無線データ、ＵＳＢデータ、及びイーサネット（登録商標）データをハンドリングする。たとえば、ユーザがゲームをプレイしているとき、Ｉ／Ｏブリッジ７００は、ブルートゥースリンクを介してゲームコントローラ７５１からデータを受信し、そのデータをセルプロセッサ１００に方向付ける。セルプロセッサ１００は、それに従ってゲームの現在の状態を更新する。

無線ポート、ＵＳＢポート、及びイーサネット（登録商標）ポートは、ゲームコントローラ７５１に加えて、リモートコントローラ７５２、キーボード７５３、マウス７５４、ソニープレイステーションポータブル（登録商標）（Sony Playstation Portable（R））エンタテイメント装置のような携帯エンタテイメント装置７５５、アイトイ（登録商標）（EyeToy（R））ビデオカメラ７５６のようなビデオカメラ、マイクロホンヘッドセット７５７のような、他の周辺装置の接続性も提供する。したがって、このような周辺装置は、原則的にはシステムユニット１０に無線で接続することができる。たとえば、携帯エンタテイメント装置７５５は、Wi-Fiアドホック接続を介して通信することができる一方、マイクロホンヘッドセット７５７は、ブルートゥースリンクを介して通信することができる。

これらのインターフェースの提供は、プレイステーション３装置が、デジタルビデオレコーダ（DVR）、セットトップボックス、デジタルカメラ、携帯メディアプレーヤ、ボイスオーバＩＰ電話、移動電話、プリンタ、及びスキャナのような他の周辺装置とも潜在的に互換性があることを意味する。

加えて、レガシーメモリカードリーダ４１０をＵＳＢポート７１０を介してシステムユニットに接続することができ、プレイステーション（登録商標）（Playstation（R））装置又はプレイステーション２（登録商標）（Playstation 2（R））装置によって使用される種類のメモリカード４２０の読み出しが可能になる。

本実施形態では、ゲームコントローラ７５１は、ブルートゥースリンクを介してシステムユニット１０と無線通信するように動作可能である。しかしながら、ゲームコントローラ７５１は、代わりにＵＳＢポートに接続することができ、それによって、ゲームコントローラ７５１のバッテリーを充電する電力を提供することもできる。１つ又は複数のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、各軸における平行移動及び回転に対応した６つの自由度の動きに反応する。その結果、ゲームコントローラのユーザによるジェスチャ及び移動は、従来のボタン若しくはジョイスティックのコマンドに加えて又はそれらに代えて、ゲームへの入力として変換することができる。オプションとして、プレイステーションポータブル装置のような他の無線対応周辺装置をコントローラとして使用することができる。プレイステーションポータブル装置の場合、追加のゲーム又は制御情報（たとえば、制御命令又はライフの数）を装置のスクリーン上に提供することができる。ダンスマット（図示せず）、ライトガン（図示せず）、ステアリングホイール及びペダル（図示せず）、高速応答クイズゲーム用の単一又はいくつかの大きなボタンのような特注のコントローラ（同様に図示せず）のような、他の代替的又は補助的な制御装置も使用することができる。

リモートコントローラ７５２も、ブルートゥースリンクを介してシステムユニット１０と無線通信するように動作可能である。リモートコントローラ７５２は、ブルーレイディスクビーディーロムリーダ４３０のオペレーション及びディスクコンテンツのナビゲーションに適した制御装置を備える。

ブルーレイディスクビーディーロムリーダ４３０は、従来の事前に記録されたＣＤ及び記録可能ＣＤ並びにいわゆるスーパーオーディオＣＤに加えて、プレイステーション装置及びプレイステーション２装置と互換性のあるＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ４３０は、従来の事前に記録されたＤＶＤ及び記録可能ＤＶＤに加えて、プレイステーション２装置及びプレイステーション３装置と互換性のあるＤＶＤ−ＲＯＭを読み出すように動作可能でもある。リーダ４３０は、従来の事前に記録されたブルーレイディスク及び記録可能ブルーレイディスクだけでなく、プレイステーション３装置と互換性のあるビーディーロムを読み出すようにさらに動作可能である。

システムユニット１０は、プレイステーション３装置により生成又は復号されたオーディオ及びビデオを、リアリティシンセサイザグラフィックスユニット２００を介し、オーディオコネクタ及びビデオコネクタを通じて、ディスプレイ３０５及び１つ又は複数のラウドスピーカ３１０を有するモニタ又はテレビセットのようなディスプレイ・サウンド出力装置３００に供給するように動作可能である。オーディオコネクタ２１０は、従来のアナログ出力及びデジタル出力を含むことができる一方、ビデオコネクタ２２０は、コンポーネントビデオ出力、Ｓビデオ出力、コンポジットビデオ出力、及び１つ又は複数の高精細マルチメディアインターフェース（HDMI）出力をさまざまに含むことができる。その結果、ビデオ出力は、ＰＡＬ若しくはＮＴＳＣのようなフォーマットにすることもできるし、又は７２０ｐ、１０８０ｉ、若しくは１０８０ｐの高精細にすることもできる。

オーディオ処理（生成、復号等）は、セルプロセッサ１００によって行われる。プレイステーション３装置のオペレーティングシステムは、ドルビー（登録商標）（Dolby（R））５．１サラウンドサウンド、ドルビー（登録商標）（Dolby（R））シアターサラウンド（DTS）、及びブルーレイ（登録商標）（Blu-Ray（R））ディスクからの７．１サラウンドサウンドを復号したものをサポートしている。

本実施形態では、ビデオカメラ７５６は、単一の電荷結合素子（CCD）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮・符号化装置を備え、それによってシステムユニット１０により復号するためのイントラ画像ベースのＭＰＥＧ（モーションピクチャエキスパートグループ）標準規格のような適切なフォーマットで圧縮ビデオデータを送信することができるようになっている。カメラＬＥＤインジケータは、たとえば逆の照明条件を示すシステムユニット１０からの適切な制御データに応答して照明するように配置されている。ビデオカメラ７５６の実施形態は、ＵＳＢ通信ポート、ブルートゥース通信ポート、又はWi-Fi通信ポートを介してシステムユニット１０にさまざまに接続することができる。ビデオカメラの実施形態は、１つ又は複数の関連付けられるマイクロホンを含むことができ、また、オーディオデータを送信することもできる。ビデオカメラの実施形態では、ＣＣＤは、高精細ビデオキャプチャに適した解像度を有することができる。使用中、ビデオカメラによってキャプチャされた画像は、たとえば、ゲーム内に組み込むこともできるし、又はゲーム制御入力として解釈することもできる。

一般に、システムユニット１０の通信ポートのうちの１つを介してビデオカメラ又はリモートコントローラのような周辺装置とのデータ通信を成功させるために、デバイスドライバのような適切なソフトウェアが提供されるべきである。デバイスドライバ技術は、既知であり、ここでは、デバイスドライバ又は同様のソフトウェアインターフェースが、説明する本実施形態で必要とされ得ることを当業者が認識するであろうと言う以外には、詳細に説明しない。

次に図２を参照して、セルプロセッサ１００は、４つの基本コンポーネントを備えるアーキテクチャを有する。この４つの基本コンポーネントは、メモリコントローラ１６０及びデュアルバスインターフェースコントローラ１７０Ａ、１７０Ｂを備える外部入力／出力構造、パワー演算処理要素（Power Processing Element）１５０として参照されるメインプロセッサ、相乗演算処理要素（Synergistic Processing Element）（ＳＰＥ）１１０Ａ〜１１０Ｈとして参照される８つのコプロセッサ、及び要素相互接続バス１８０として参照される、上記コンポーネントを接続する循環データバスである。セルプロセッサの総浮動小数点性能は、プレイステーション２装置のエモーションエンジンの6.2GFLOPsと比較して、218GFLOPSである。

パワー演算処理要素（PPE）１５０は、３．２ＧＨｚの内部クロックで動作する双方向の同時マルチスレッディングパワー９７０準拠のパワーＰＣコア（PPU）１５５に基づいている。ＰＰＥ１５０は、５１２ｋＢのレベル２（Ｌ２）キャッシュ及び３２ｋＢのレベル１（Ｌ１）キャッシュを備える。ＰＰＥ１５０は、１クロックサイクル当たり８つの単一位置演算（single position operation）が可能であり、3.2GHzで25.6GFLOPsに換算される。ＰＰＥ１５０の主な役割は、相乗演算処理要素１１０Ａ〜１１０Ｈのコントローラとして機能することである。相乗演算処理要素１１０Ａ〜１１０Ｈは、計算作業負荷のほとんどをハンドリングする。動作中、ＰＰＥ１５０は、相乗演算処理要素１１０Ａ〜１１０Ｈのジョブをスケジューリングしてそれらの進行を監視するジョブキューを保持する。その結果、各相乗演算処理要素１１０Ａ〜１１０Ｈは、カーネルを動作させる。カーネルの役割は、ジョブのフェッチ、ジョブの実行、及びＰＰＥ１５０との同期である。

各相乗演算処理要素（SPE）１１０Ａ〜１１０Ｈは、それぞれの相乗演算処理ユニット（SPU）１２０Ａ〜１２０Ｈ及びそれぞれのメモリフローコントローラ（MFC）１４０Ａ〜１４０Ｈを備える。ＭＦＣ１４０Ａ〜１４０Ｈは、それぞれのダイナミックメモリアクセスコントローラ（DMAC）１４２Ａ〜１４２Ｈ、それぞれのメモリ管理ユニット（MMU）１４４Ａ〜１４４Ｈ、及びバスインターフェース（図示せず）を備える。各ＳＰＵ１２０Ａ〜１２０Ｈは、3.2GHzでクロック制御されると共に、原理的には４ＧＢに拡張可能な２５６ｋＢローカルＲＡＭ１３０Ａ〜１３０Ｈを備えるＲＩＳＣプロセッサである。各ＳＰＥは、理論的な25.6GFLOPSの単精度性能を与える。ＳＰＵは、４つの単精度浮動小数点数、４つの３２ビット数、８つの１６ビット整数、又は１６個の８ビット整数に対して単一のクロックサイクルで処理を行うことができる。同じクロックサイクルで、ＳＰＵは、メモリオペレーションも行うことができる。ＳＰＵ１２０Ａ〜１２０Ｈは、システムメモリＸＤＲＡＭ５００に直接アクセスしない。ＳＰＵ１２０Ａ〜１２０Ｈによって形成される６４ビットアドレスが、ＭＦＣ１４０Ａ〜１４０Ｈに渡され、ＭＦＣ１４０Ａ〜１４０Ｈは、要素相互接続バス１８０及びメモリコントローラ１６０を介してメモリにアクセスするように自身のＤＭＡコントローラ１４２Ａ〜１４２Ｈに命令する。

要素相互接続バス（EIB）１８０は、上記プロセッサ要素、すなわち、ＰＰＥ１５０、メモリコントローラ１６０、デュアルバスインターフェース１７０Ａ、１７０Ｂ、及び８つのＳＰＥ１１０Ａ〜１１０Ｈの合計１２個の関係者（participant）を接続するセルプロセッサ１００の内部の論理的循環通信バス（logically circular communication bus）である。これらの関係者は、１クロックサイクル当たり８バイトのレートで、バスの読み出し及びバスへの書き込みを同時に行うことができる。上述したように、各ＳＰＥ１１０Ａ〜１１０Ｈは、より長い読み出しシーケンス又は書き込みシーケンスをスケジューリングするためのＤＭＡＣ１４２Ａ〜１４２Ｈを備える。ＥＩＢは、４つのチャネルを備え、時計方向及び反時計方向にそれぞれ２つのチャネルがある。その結果、１２個の関係者について、任意の２つの関係者間の最長のステップワイズデータフロー（step-wise data-flow）は、適切な方向で６つのステップである。したがって、１２個のスロットの理論的ピーク瞬時ＥＩＢ帯域幅は、関係者間のアービトレーションを通じた完全利用の場合に、１クロック当たり９６Ｂである。これは、3.2GHzのクロックレートにおける307.2GB/s（ギガバイト毎秒）の理論的ピーク帯域幅に等しい。

メモリコントローラ１６０は、ラムバス社によって開発されたＸＤＲＡＭインターフェース１６２を備える。このメモリコントローラは、25.6GB/sの理論的ピーク帯域幅を有するラムバスＸＤＲＡＭ５００とインターフェースする。

デュアルバスインターフェース１７０Ａ、１７０Ｂは、ラムバスフレックスアイオー（登録商標）（Rambus FlexIO（R））システムインターフェース１７２Ａ、１７２Ｂを備える。このインターフェースは、それぞれが８ビット幅である１２個のチャネルに編成され、５つのパスはインバウンドであり、７つのパスはアウトバウンドである。これによって、セルプロセッサと、コントローラ１７０Ａを介したＩ／Ｏブリッジ７００との間、及び、セルプロセッサと、コントローラ１７０Ｂを介したリアリティシミュレータグラフィックスユニット２００との間で、62.4GB/s（36.4GB/sアウトバウンド、26GB/sインバウンド）の理論的ピーク帯域幅が提供される。

セルプロセッサ１００によってリアリティシミュレータグラフィックスユニット２００へ送信されたデータは、通常、表示リストを備える。この表示リストは、頂点の描画、ポリゴンへのテクスチャの適用、照明条件の指定等を行うためのコマンドシーケンスである。

次に図３を参照して、リアリティシミュレータグラフィックス（ＲＳＸ）ユニット２００は、セルプロセッサ１００によって生成されたコマンドのリストを処理及びレンダリングするエヌヴィディア（登録商標）（NVidia（R））G70/71アーキテクチャに基づくビデオアクセラレータである。ＲＳＸユニット２００は、セルプロセッサ１００のバスインターフェースコントローラ１７０Ｂと通信するように動作可能なホストインターフェース２０２、８つの頂点シェーダ２０５を備える頂点パイプライン２０４（VP）、２４個のピクセルシェーダ２０７を備えるピクセルパイプライン２０６（PP）、８つのレンダリング出力ユニット（ROP）２０９を備えるレンダリングパイプライン２０８（RP）、メモリインターフェース２１０、及びビデオ出力を生成するためのビデオ変換器２１２を備える。ＲＳＸ２００は、600MHzでクロック制御されると共に、25.6GB/sの理論的ピーク帯域幅でＲＳＸ２００とインターフェースするように動作可能な256MBダブルデータレート（DDR）ビデオＲＡＭ（VRAM）２５０によって補完される。動作中、ＶＲＡＭ２５０は、フレームバッファ２１４及びテクスチャバッファ２１６を保持する。テクスチャバッファ２１６は、ピクセルシェーダ２０７にテクスチャを提供する一方、フレームバッファ２１４は、処理パイプラインの結果を記憶する。ＲＳＸは、ＥＩＢ１８０を介してメインメモリ５００にアクセスして、たとえば、テクスチャをＶＲＡＭ２５０にロードすることもできる。

頂点パイプライン２０４は、主として、レンダリングされる画像内のポリゴンを規定する頂点の変形及び変換を処理する。

ピクセルパイプライン２０６は、主として、あらゆる画素透明度を含めて、これらのポリゴンへの色、テクスチャ、及び照明の適用を処理し、処理された各画素の赤、緑、青、及びアルファ（透明度）の値を生成する。テクスチャマッピングは、グラフィック画像を表面に単に適用する場合もあるし、又は、バンプマッピング（表面の概念方向（notional direction）が、テクスチャ値に従って摂動され、照明モデルの濃淡が作成される）若しくはディスプレースメントマッピング（適用されたテクスチャが頂点位置をさらに摂動させて、テクスチャと一致する変形された表面が生成される）を含む場合もある。

レンダリングパイプライン２０８は、ピクセル間の深さ比較を行い、いずれが最終画像にレンダリングされるべきかを判断する。オプションとして、介在するピクセルプロセスが深さ値に影響を与えない場合（たとえば、透明度又はディスプレースメントマッピングがない場合）、レンダリングパイプライン及び頂点パイプライン２０４は、それらの間で深さ情報を通信することができ、それによって、画素処理よりも前に、遮蔽された要素の除去が可能になり、したがって、全体的なレンダリング効率が改善される。加えて、レンダリングパイプライン２０８は、結果の画像にわたって、フルスクリーンアンチエイリアシングのようなその後の効果も適用する。

頂点シェーダ２０５及びピクセルシェーダ２０７の双方は、シェーダモデル３．０標準規格に基づいている。１クロックサイクル当たり最大１３６個までのシェーダオペレーションを行うことができ、したがって、結合されたパイプラインは、毎秒７４８億個のシェーダオペレーションが可能であり、毎秒最大８億４０００万個の頂点及び１００億個の画素の出力が可能である。ＲＳＸ２００の全浮動小数点性能は、1.8TFLOPSである。

通常、ＲＳＸ２００は、セルプロセッサ１００と密接にコラボレーションして動作する。たとえば、爆発、又は雨若しくは雪のような気象効果を表示するとき、多数の粒子をシーン内で追跡、更新、及びレンダリングしなければならない。この場合、セルプロセッサのＰＰＵ１５５は、粒子のそれぞれの一団の軌道を計算するように１つ又は複数のＳＰＥ１１０Ａ〜１１０Ｈをスケジューリングすることができる。その間に、ＲＳＸ２００は、要素相互接続バス１８０、メモリコントローラ１６０、及びバスインターフェースコントローラ１７０Ｂを介してメインシステムメモリ５００から、ビデオＲＡＭ２５０に現在保持されていない任意のテクスチャデータ（たとえば、雪片）にアクセスする。そのＳＰＥ又は各ＳＰＥ１１０Ａ〜１１０Ｈは、自身が計算した粒子の特性（通常、位置及び姿勢を示す座標及び法線）をビデオＲＡＭ２５０に直接出力する。そのＳＰＥ又は各ＳＰＥ１１０Ａ〜１１０ＨのＤＭＡコントローラ１４２Ａ〜１４２Ｈは、バスインターフェースコントローラ１７０Ｂを介してビデオＲＡＭ２５０をアドレス指定する。したがって、実際には、割り当てられたＳＰＥは、タスクの継続期間の間、ビデオ処理パイプラインの一部となる。

一般に、ＰＰＵ１５５は、利用可能な８つのＳＰＥのうちの６つにこのようにしてタスクを割り当てることができる。１つのＳＰＥはオペレーティングシステムのために確保される一方、１つのＳＰＥは有効にディセーブルされる。１つのＳＰＥをディセーブルすることによって、１つのＳＰＥが製造プロセスで不合格になることが許容されるので、セルプロセッサの製造中、より大きな許容レベルが提供される。代替的に、８つのすべてのＳＰＥが機能している場合、８番目のＳＰＥは、セルプロセッサの寿命期間中に、他のＳＰＥのうちの１つによるその後の故障の場合の冗長性の余地を提供する。

ＰＰＵ１５５は、いくつかの方法でＳＰＥにタスクを割り当てることができる。たとえば、ＳＰＥを共に連鎖させて、ＤＶＤへのアクセス、ビデオ及びオーディオの復号、並びにエラーマスキングのような複雑なオペレーションの各ステップを別個のＳＰＥに割り当て、それらの各ステップをハンドリングすることができる。代替的に又は加えて、上記粒子アニメーションの例のように、入力データを並列に操作するように２つ以上のＳＰＥを割り当てることもできる。

セルプロセッサ１００及び／又はＲＳＸ２００によって実施されるソフトウェア命令は、製造時に供給して、ＨＤＤ４００に記憶することができ、且つ／又は、光ディスク若しくはソリッドステートメモリのようなデータキャリア若しくは記憶媒体で、若しくは、有線ネットワーク、無線ネットワーク、若しくはインターネット接続のような伝送媒体を介して、若しくは、これらの組み合わせを介して供給することができる。

製造時に供給されたソフトウェアは、システムファームウェア及びプレイステーション３装置のオペレーティングシステム（OS）を含む。動作中、ＯＳは、ゲームのプレイ、音楽の鑑賞、写真の鑑賞、又はビデオの鑑賞を含むさまざまな機能の中から選択することをユーザに可能にするユーザインターフェースを提供する。このインターフェースは、機能のカテゴリーが横方向に配置されたいわゆるクロスメディアバー（XMB）の形態を取る。

ユーザは、所望の機能アイコンを強調表示するために、ゲームコントローラ７５１、リモートコントローラ７５２、又は他の適した制御装置を使用して複数の機能アイコン（機能を表す）の間で横方向に移動することによってナビゲートする。この強調表示の時点で、その機能に関係するオプションが、その機能アイコンを中心として縦方向にスクロール可能オプションアイコンのリストとして現われる。このリストは、類似の方法でナビゲートすることができる。一方、ゲームディスク、オーディオディスク、又は映画ディスク４４０がビーディーロム光ディスクリーダ４３０に挿入されると、プレイステーション３装置は、（たとえば、ゲームを開始することによって）適切なオプションを自動的に選択することもできるし、又は関連のあるオプション（たとえば、オーディオディスクのプレイ又はそのコンテンツのＨＤＤ４００への圧縮を選択する）を提供することもできる。

加えて、ＯＳは、オンライン能力を提供する。このオンライン能力は、ウェブブラウザと、追加のゲームコンテンツ、デモゲーム（デモ）、及び他のメディアをダウンロードすることができるオンラインストアとのインターフェースと、たとえば利用可能な周辺装置に応じてテキスト、オーディオ、又はビデオによって、現在の装置のユーザによってノミネートされた他のプレイステーション３装置ユーザとのオンライン通信を提供する友人管理能力とを含む。このオンライン能力によって、適切に構成されたゲームのプレイ中にオンライン通信、コンテンツダウンロード、及びコンテンツ購入も提供され、また、プレイステーション３装置自体のファームウェア及びＯＳの更新も提供される。「オンライン」という用語は、さまざまなタイプの無線接続にも該当し得るので、有線の物理的な存在を暗に意味するものでないことが理解されよう。

ここで、図４〜図８を参照して、拡張現実画像を生成することができるように拡張現実マーカを使用して実世界空間を較正する本発明の実施形態を説明する。

図４は、ユーザがビデオゲームと対話することができるように、拡張現実マーカを検出するように構成されるエンタテイメントシステムの概略図を示している。後述の実施形態では、エンタテイメントシステムは、図１〜図３を参照して上述したエンタテイメントシステムと同じものである。しかしながら、任意の適切なエンタテイメントシステムを使用することができることが理解されよう。

特に、図４はビデオカメラ７５６及びティスプレイ・サウンド出力装置３００に動作可能に接続されるエンタテイメント装置１０を示している。ゲームコントローラ７５１のようなエンタテイメントシステムの他の要素は、図面の理解を明確にするために図４から省略されている。本発明の実施形態では、ビデオカメラ７５６は拡張現実マーカ１０００の画像を捕捉するように構成される。次に、拡張現実マーカ１０００の検出を使用して、拡張現実マーカ１０００が配置される実表面に関連する仮想画像面１０１０を生成する。次に、セルプロセッサ１００は対話エリア１０２０（図４において破線で示される）を生成することができる。対話エリアは、捕捉画像のうちの、その中で仮想画像を生成すると共に、該仮想画像を、ユーザが該仮想画像と対話することができるように捕捉ビデオ画像と合成することができるエリアである。対話エリアについては、後に以下でより詳細に説明する。

本発明の実施形態では、対話エリア１０２０は、ユーザがたとえば仮想ペットと対話することを可能にする。仮想ペットは実環境の画像と合成して表示することができる。たとえば、仮想ペットは、対話エリア１０２０内の仮想画像面１０１０上を歩き回っているか又は走り回っているように見えるように表示することができる。これによって、拡張現実マーカ１００が配置された表面上に仮想ペットが実際に存在するかのように見せる画像がユーザに提供される。

この機能が達成される方法を以下に説明する。

仮想ペットのような仮想現実物体を、ユーザにとって迫真性のある形で実画像と合成するために、ビデオカメラ７５６の位置及びビデオカメラ７５６によって捕捉される画像は、実表面、たとえばユーザの居間に対応するように仮想画像をレンダリングすることを可能にするように較正されなくてはならない。これが完了すると、仮想ペットがその表面上を動き回っているように見せるように該仮想ペットをレンダリングすることができる。たとえば、仮想画像面１０１０がユーザの居間の卓上に対応するようにカメラを較正することができる。次に、仮想ペットが卓上を走り回っているように見えるように該仮想ペットをレンダリングし、該ペットがユーザの部屋の中にいるという錯覚をユーザに与えることができる。

したがって、本発明の実施形態によって、仮想画像面１０１０を（卓上のような）実表面上の拡張現実マーカ１０００の位置から較正することが可能になる。これを達成するために、ユーザは、拡張現実マーカ１０００がビデオカメラ７５６の視野内に存在するように、適切な表面上に拡張現実マーカ１０００を配置する。それに従って、次にセルプロセッサ１００は仮想画像面１０１０を生成する。

いくつかの実施形態では、この較正プロセスは、ゲームの開始時に、たとえばユーザがセルプロセッサ１００によって生成されるスクリーン上のプロンプトに応答して、較正される表面上に拡張現実マーカ１０００を配置することによって実行することができる。他の実施形態では、較正は、仮想画像面１０１０の較正を実行するべきであることを示す、適切なユーザインターフェース（たとえば、ゲームコントローラ７５１）を介したユーザ選択に応答して実行してもよい。しかしながら、較正をゲームにおける任意の適切な時点において実行することができることが理解されよう。

ここで仮想画像面を生成する方法を説明する。

図５は、本発明の実施形態による仮想画像面１０１０を較正するのに使用することができる拡張現実マーカ１０００の一例を示している。

拡張現実マーカ１０００は、正方形１０５０と文字「Ａ」１０６０のような英数字とを合わせた画像を含むが、他の適切なシンボル又はパターンを使用することができることが理解されよう。図５に示す拡張現実マーカ１０００は２次元であるが、このようなマーカを、たとえば図７に示すような３次元物体に応用することができることが理解されよう。

較正の間、セルプロセッサ１００は、ビデオカメラ７５６によって捕捉された画像を分析することによって拡張現実マーカ１０００を検出する。セルプロセッサ１００は白黒の二値画像を生成するために、捕捉画像に画像閾値を適用する。次にセルプロセッサ１００は、エッジ追従及びテンプレートマッチングのような既知の技法を使用して、正方形１０５０（「クアッド」とも称される）に対応する可能性が高い画素領域を検出する。次に、セルプロセッサ１００によってクアッドを含んでいるとして検出される分析された画像のそれらの領域は、正方形１０５０内に英数字、たとえば文字Ａ１０６０が存在するか否かを検出するための既知の技法を使用して分析される。

次に、セルプロセッサ１００はクアッド内に英数字を含んでいるとして検出される各画像領域に関連付けられる確率を計算する。次に、セルプロセッサは、いずれの画像領域が最も高い確率を有するかを検出し、その領域を拡張現実マーカ１０００に対応する領域としてラベル付けする。次に、拡張現実マーカ１０００の位置を基準点として使用することができる。この基準点を中心として仮想現実平面１０１０及び対話エリア１０２０を定義することができる。

図５に示す拡張現実マーカの例において、英数字Ａ１０６０とクアッド１０５０の内側との間の距離（図５では「ａ」で表される）は、クアッド１０５０の厚みの距離（図５では「ｂ」で表される）及びクアッド１０５の外側とマーカ１０００の外縁との間の距離（図５では「ｃ」で表される）と実質的に同じである。さらに、英数字Ａ１０６０とクアッド１０５０の内側との間の距離（図５では「ｐ」で表される）は、クアッド１０５０の厚みの距離（図５では「ｑ」で表される）及びクアッド１０５の外側とマーカ１０００の外縁との間の距離（図５では「ｒ」で表される）と実質的に同じである。換言すれば、一実施形態では、ａ＝ｂ＝ｃ＝ｐ＝ｑ＝ｒである。このことは、セルプロセッサ１００がマーカを検出するときに役立つ。これは、クアッドを英数字、他のシンボル又はパターンと共に検出するのに役立つように、マーカ１０００を、セルプロセッサ１００によって個々に分析することができる５×５の部分領域から成るグリッドに分割することができるためである。

しかしながら、図４に示される構成のようなほとんどの構成において、ビデオカメラ７５６の光軸は、拡張現実マーカ１０００が配置される表面に対し垂直ではない。したがって、拡張現実マーカ１０００の捕捉画像は歪む可能性が高い。これに対処するために、セルプロセッサ１００によってクアッドの検出が実行されるとき、セルプロセッサ１００は、既知の技術を使用して、拡張現実マーカ１０００の回転変換、スキュー変換及び台形変換を検出するようにも動作可能である。

拡張現実マーカ１０００が検出されると、次に拡張現実マーカ１０００の画像の歪みを有利に分析して、拡張現実マーカ１０００が配置されている表面（たとえば卓上）を検出することができる。拡張現実マーカ１０００が配置されている表面が実質的に平面であり、且つマーカが該表面と実質的に同一平面になるように構成されると想定すると、それに従って、マーカ１０００の検出された歪みを表面にマッピングすることによって仮想画像面１０１０を生成することができる。

一実施形態では、たとえば拡張現実マーカ１０００の形状及びサイズを含むマーカ１０００の表現は、ブルーレイ（登録商標）（Blu-Ray（R））ディスク４４０のような適切な記録媒体又はＨＤＤ４００からＸＤＲＡＭ５００に予めロードされている。一実施形態では、セルプロセッサ１００は、マーカ１０００がビデオカメラ７５６から所定の距離だけ離れ且つカメラの光軸に対し垂直となるようにマーカ１０００を変換することに対応する変換を計算するように動作可能である。マーカ１０００は、マーカ１０００が配置されている表面に対し（少なくとも該表面が実質的に平面である状況において）平行である（実質的に同一平面になるように構成される）ため、結果としての計算された変換を使用して仮想画像面１０１０を画定する座標を計算することができる。しかしながら、マーカの検出から仮想画像面１０１０を生成する他の適切な方法を使用することができることが理解されよう。

別の実施形態では、拡張現実マーカ１０００の次元が事前にわかっていない場合、ディスプレイ・サウンド出力装置３００上に表示される適切なメニューからのユーザ選択に応答して、マーカ１０００の形状及びサイズの較正をシステムユニット１０によって実行することができる。

この較正の間、ユーザは、拡張現実マーカ１０００がビデオカメラ７５６の光アクセス（optical access）に対して垂直となり且つビデオカメラ７５６から所定の距離だけ離れているように、拡張現実マーカ１０００をビデオカメラ７５６の視野内に保持する。次に、セルプロセッサ１００は既知の技法を使用してカメラの全画素解像度に対する捕捉画像のサイズから拡張現実マーカ１０００の寸法を検出し、結果としての画像を、マーカを検出することができるようにメモリに格納する。したがって、寸法及び格納された画像は、マーカの所定の表現を形成する。該所定の表現は、仮想画像面１０１０を生成するために、捕捉画像内の拡張現実マーカを検出すると共に該検出されたマーカと該所定の表現との間の歪の度合を検出するのに使用することができる。

マーカの寸法を検出すること及びマーカの画像を格納することと共に、又はそれに代えて、エッジ検出において二値閾値を捕捉画像に適用することによって拡張現実マーカマスクを生成することができる。次に、結果としてのマスクはマーカの表現を形成する。該マーカの表現は、マーカを検出すると共に該マーカと所定の表現との間の歪の度合を計算するのに使用される。しかしながら、拡張現実マーカの所定の表現を生成する任意の他の適切な方法を使用することができることが理解されよう。

一実施形態では、上述したように１つの画像フレームのみを使用して仮想画像面を較正する。これは、画像面１０１０の較正が実行されるべきであるというユーザによる選択に応答して実行することができる。代替的に、マーカ１０００が配置される実際の表面に対する仮想画像面１０２０の較正を、ゲームのロード時に自動的に実行してもよい。他の実施形態では、仮想画像面１０２０は、一連のビデオ画像内のそれぞれの画像からそれぞれ生成された仮想画像面に関連する座標の平均を計算することによって較正される。いくつかの実施形態では、ユーザは拡張現実マーカを、システム１０によってディスプレイ３０５上に示されるカメラ７５６の視野のエリア内に配置することができ、それによって仮想画像面の較正を上述したように実行することができる。しかしながら、仮想画像面は、較正が実行されるべきであるというシステム１０による指示に応答して、又は任意の他の適切なユーザ入力に応答して、ゲーム内の任意の他の適切な時点において較正することができることが理解されよう。

仮想画像面の較正を実行すると、次にユーザは仮想現実マーカ１０００をビデオカメラ７５６の視野から取り去ることができる。拡張現実マーカを使用して仮想画像面を較正することによって、平面の較正を迅速且つ効果的に実行することができ、それによって仮想画像面を拡張現実画像の生成中に使用することができる。

本発明の実施形態では、仮想ペットがディスプレイ・サウンド出力装置３００上に表示されると共に実画像と合成されて見えるように、該ペットをシステムユニット１０によって生成することができる。

１つの実施形態では、仮想画像面１０１０がビデオカメラ７５６の視野全体にわたって延在するように、仮想画像面１０１０をセルプロセッサ１００によって生成することができる。しかしながら、ユーザ入力に応答するか又はセルプロセッサ１００によって生成される命令に応答して、ペットに仮想画像面１０１０内を動き回らせる場合、ビデオカメラ７５６によって捕捉される画像内の他の実物体が仮想ペットの生成された位置と重なる場合があり、それによって実環境における仮想ペットの錯覚に不利な影響が及ぼされる。

たとえば、これは拡張現実マーカ１０００が配置された平面がユーザの居間の床である場合に発生する場合がある。この状況では、部屋の縁の周りにこれもまたビデオカメラ７５６の視野内にある家具が存在する場合があり、これは拡張現実画像の生成に影響を及ぼす場合がある。この問題に対処するために、セルプロセッサ１００は、ユーザとの対話のために仮想現実物体を表示することができる捕捉画像の領域である対話エリアを生成するように動作可能である。対話エリア１０２０は図４において破線によって示される。本発明の実施形態では、仮想ペットの動きは、該ペットが仮想対話エリア１０２０内でのみ動くことができるように制限されている。したがって、仮想ペットの動きによって、スクリーン３０５の、他の実世界の物体に対応するエリア内に該仮想ペットが表示される可能性は低い。

ユーザはゲームコントローラ７５１のような任意の適切なユーザインターフェースを介して仮想ペットと対話することができる。好ましくはユーザは動作を介して仮想ペットと対話し、動作の画像はビデオカメラ７５６によって捕捉される。セルプロセッサ１００は、既知の技法を使用して、ペットの近くで発生する動作に関して捕捉画像を分析し、それに従って仮想ペットの行動を修正及び制御する。ユーザは同様にしてセルプロセッサ１００によって生成される他の仮想物体と対話することもできる。

本発明の実施形態では、対話エリア１０２０は、検出された拡張現実マーカ１０００を中心とし、且つビデオカメラ７５６によって捕捉された画像の全画素面積の５０％となるように、セルプロセッサ１００によって自動的に設定される。他の実施形態では、対話エリア１０２０は、ビデオカメラ７５６によって捕捉された画像の全画素面積の５０％に対応し、且つ該全画素面積の下側半分となるようにセルプロセッサ１００によって設定される。しかしながら、任意の他の適切な画素面積のパーセンテージ又はマーカ１０００に対し選択されるエリアの位置を使用することができることが理解されよう。

さらに、ユーザは適切なユーザインターフェースとセルプロセッサ１００によって生成されるスクリーン上の選択メニューとを使用することによって対話エリア１０２０の形状を選択することができる。たとえば、図４に示されるように、対話エリア１０２０は、仮想画像面を較正するのに使用された拡張現実マーカ１０００の位置に対応する中心を有する長方形とすることができる。いくつかの実施形態では、対話エリア１０２０の形状は、仮想画像面１０１０がカメラ７５６の画像面に平行な平面にマッピングされるとき、対話エリア１０２０が長方形に見えるように、仮想画像面１０１０において実質的に台形である。しかしながら、他の形状の対話エリアを使用することができると共に、対話エリアは仮想現実マーカ１０００を中心とする必要がないことが理解されよう。

代替的に、対話エリアは、該対話エリアが、検出された対話エリア画素に対応するようにセルプロセッサ１００によって生成される。対話エリア画素は、検出された拡張現実マーカ１０００の周囲の画素であり、拡張現実マーカ１０００に対応する画素に隣接する１つ又は複数の画素の検出された色に対し、所定の色閾値内でカラーマッチングされる。セルプロセッサ１００は、拡張現実マーカ１０００に対応する画素に隣接する画素の色平均を検出することによって対話エリア画素を検出する。次に、セルプロセッサ１００は、いずれの画素が拡張現実マーカ１０００に隣接する画素に接触し、且つ、対話エリア画素を生成するための、拡張現実マーカ１０００に隣接する画素の所定の色閾値内にあるかを検出する。

しかしながら、拡張現実マーカ１０００の周囲の画素の大部分と異なる色又は輝度であるが、それにもかかわらず対話エリア内に含まれなくてはならない、マーカ１００の周囲のいくつかの画素が存在する場合、問題が発生し得る。たとえばこれはマーカ１０００が配置されるカーペット上に染みが存在する場合に発生し得る。この場合、染みは対話エリアから除外され、それによって仮想ペットがそのエリアに入らないようにされるであろう。したがって、一実施形態では、セルプロセッサは、対話エリア画素の検出を実行する前に、拡張現実マーカ１０００の周囲の画素に対し、適宜既知の画素補整及び／又はフィルタリング技法を適用するように動作可能である。これによって、マーカ１０００の周囲にあると共に拡張現実マーカ１０００が配置される表面上に発生する任意の小さな画像特徴が対話エリアから誤って除外される可能性が低減される。

１つの実施形態では、セルプロセッサは、対話エリア画素が、たとえば上述したようにビデオカメラ７５６によって捕捉されたマーカ１０００を中心とする画像の全画素面積の５０％以内で発生するように、対話エリア画素の生成を制限するように動作可能である。しかしながら、任意の他の適切な画素面積のパーセンテージ又はマーカ１０００に対し選択されるエリアの位置を使用することができることが理解されよう。

ここで、図６を参照して、対話エリア１０２０を画定するのに２つの拡張現実マーカを使用する一実施形態を説明する。

図６は拡張現実マーカ１０００を別の拡張現実マーカ１１００と共に示している。この実施形態では、セルプロセッサ１００は拡張現実マーカＡ１０００及び拡張現実マーカＢ１１００を検出すると共に、対話エリア１０２０の周縁の少なくとも一部が、検出された拡張現実マーカ１０００及び１１００と対応するように対話エリアを生成するように動作可能である。たとえば、拡張現実マーカ１０００及び１１００は図６に示すように長方形の角を指示することができる。このようにして、ユーザは拡張現実マーカ１０００及び１１００を、それらが居間の床のような物理空間内で対話エリアの角の輪郭を描くように位置決めすることができる。さらに、セルプロセッサ１００は、仮想画像面１０１０（図６には示されていない）をマーカが配置される表面にマッピングするために、既知の技法を使用して２つのマーカの相対的なサイズ及び任意の画像歪みを検出することができる。

拡張現実マーカ１０００及び１１００は、図６に示す対話エリア１０２０の周縁とは異なる形状を有する対話エリアの周縁を指示するために使用されることができることが理解されよう。したがって、対話エリア１０２０の形状は長方形に限定される必要はなく、正方形、円、三角形等のような他の形状を使用することができることが理解されよう。

さらに、任意の数の拡張現実マーカを使用して対話エリア１０２０の周縁を指示することができる。しかしながら、拡張現実マーカの数が増加すると、マーカを検出し、ひいては対話エリアを生成するのに必要な処理資源の量が増加する場合がある。さらに、このようにして画定される対話エリアによって、時に、仮想ペットが対話エリアの外に行くことができないように生成される「見えない壁」が発生する（すなわち、仮想ペットが見えない壁に阻まれる）場合がある。これによって、実環境における仮想ペットの錯覚に不利な影響が及ぼされ得る。これはユーザが対話エリアの縁を見ることができないためである。しかしながら、対話エリアを定義するためのこのようなシステムは、実環境内に、対話エリアの一部となるべきでない多くの実物体が存在する場合に有用であり得る。

ここで、図７を参照して、３次元拡張現実マーカを使用することができる一実施形態を説明する。

図７は、仮想画像面１０１０及び／又は対話エリア１０２０を生成するのに使用することができる３次元拡張現実マーカ２０００を示している。図７に示す実施形態では、３次元仮想現実マーカ２０００は複数のマーカ面２０００ａ、２０００ｂ、及び２０００ｃを備える立方体である。それらのマーカ面のそれぞれは、該マーカ面の相対配向を示す形状が存在するクアッドを備える。たとえば、マーカ面２０００ａは英数字「Ａ」が示されているクアッドを備える。マーカ面２０００ｂ及び２０００ｃは２つの異なる非英数字を示している。しかしながら、仮想拡張現実マーカ２０００のために他の３次元形状を使用することができると共に、マーカ上の画像は本質的に平面である必要がないことが理解されよう。

３次元拡張現実マーカの使用によって、カメラの光軸が拡張現実マーカが配置される表面に平行な直線と鋭角を形成する場合に発生し得る問題に対処する。この場合、表面上に配置される２次元マーカの歪みは非常に大きくなるため、セルプロセッサ１００による拡張現実マーカ１０００の検出の可能性が低くなるか又は検出が不可能になることを意味し得る。マーカの検出が可能な場合であっても、マーカを使用して仮想画像面を較正するのに十分な精度で歪みを検出することが可能でない場合がある。

しかしながら、拡張現実マーカ２０００のような３次元拡張現実マーカを使用することによって、マーカの少なくとも一部がビデオカメラ７５６の光軸に対し実質的に垂直となる可能性が高い。これによって、有利にはマーカが検出される可能性が増加する。図７に示す例において、セルプロセッサ１００はマーカ面２０００ａを検出し、その画像領域をマーカ２０００に対応するものとして割り当てる可能性が高い。拡張現実マーカ２０００の高さｈ（ソフトウェア内に予め定められる、適切な記憶媒体からロードされる、ユーザから入力される等でもよい）が与えられると、次にセルプロセッサ１００は、仮想画像面１０１０を生成するためにマーカ面２０００ｂ及び２０００ｃの歪みを検出することができる。仮想画像面及び対話エリア１０２０は、図４〜図６を参照して上述したように生成される。

いくつかの実施形態では、ビデオカメラ７５６は、ビデオカメラ７５６と、ビデオカメラ７５６の視野内の物体との間の距離に関連する奥行き情報を生成するように動作可能である。このようなカメラは「ｚ」座標を測定するため、通常「Ｚカメラ」と称され、当該技術分野において既知である（たとえば、3DVsystemsによって製造されたZ-Camに関連する、http://www.3dvsystems.com/technology/tech.htmlを参照されたい）。奥行き情報の生成に関して、time-of-flight及び赤外線パターン歪みのようなさまざまな異なる技術が既知であるため、ここではこれらの技術を詳細に説明しない。

一実施形態では、各画素の奥行き情報はビデオカメラによって生成される。代替的に、各画素の奥行き情報はセルプロセッサ１００がカメラから受信したデータを分析することによって生成されてもよい。このようにして、拡張現実マーカ２０００に対する距離ｄ（図７に示される）を検出することができる。次に、セルプロセッサ１００は、上述したように拡張現実マーカ２０００の検出された３次元空間位置に対して仮想画像面１０１０が定義されるように、該仮想画像面を捕捉ビデオ画像内に生成する。

奥行き情報を生成するように動作可能なカメラの使用は、仮想画像面から所定の距離より上にある物体を有利に検出するのに使用することもできる。一実施形態では、仮想画像面から所定の距離より上にあるものとして検出される物体は対話エリアから除外される。これによって、テーブルの天板のような、対話エリアに張り出している場合があるか又は対話エリアを不明瞭にする物体が対話エリア内に含まれないようにする。

さらに、Ｚカメラの使用によって、たとえばセルプロセッサ１００が仮想ペットが物体の後ろを走り回っているように見える（すなわち、カメラの視野から一次的に隠される）ことができるように仮想ペットを生成することが可能になる。換言すれば、Ｚカメラを使用して、実環境における実物体による仮想物体（たとえば仮想ペット）の遮蔽を検出することができる。これを達成するために、セルプロセッサは、奥行き情報を分析することによって、仮想現実物体位置（たとえば仮想ペットの位置）が、仮想現実物体が実物体によってビデオカメラの視点から遮蔽されるようになっているか否かを検出するように動作可能である。仮想現実物体が実物体によって遮蔽されるものとして検出される場合、次にセルプロセッサ１００は仮想物体が実物体の背後にあるように見えるように仮想物体を生成することができる。これによって、仮想ペットが実際に実環境にいるという、ユーザに対する錯覚が改善する。

本発明の実施形態では、ユーザはたとえば仮想ペットと、該仮想ペットの近くで自身の手を動かすことによって対話することができる。この機能を達成するために、セルプロセッサ１００は、（たとえば拡張現実マーカ１０００又は拡張現実マーカ２０００を使用して仮想画像面を較正するときに）動いている物体が存在しない画像をＨＤＤ４００のＸＤＲＡＭ５００に記憶させ、この画像を背景画像として割り当てる。次に、セルプロセッサ１００によって後続の画像フレームが分析され、背景画像に対する画素値の変化が検出される。背景画像に対して変化する任意の画素値が前景画素としてラベル付けされ、これらはたとえばユーザによる動作に対応する可能性が高い。次に、セルプロセッサ１００は既知の物体検出技術及び物体追跡技術を実行して、それぞれの前景画素に物体タイプを割り当てる。一実施形態では、各対話する物体は異なる方法で仮想ペットと対話することができる。

たとえば、ペットの上であるが該ペットに極めて近接した画素における急速な変化は、くすぐりの動作を模倣しているユーザに対応する場合があり、したがってセルプロセッサ１００は、それに応じて反応するようにペットをレンダリングすることができる。しかしながら、任意の他の対話形態を使用することができると共に、サッカーボール、乗り物、道具等の他の仮想現実物体をシミュレートすることができることが理解されよう。

さらに、拡張現実マーカ１０００又は拡張現実マーカ２０００を、エンタテイメント装置１０によって実行されるゲーム内のゲーム特徴として使用することができる。たとえば、ゲームによって仮想ペットとの対話が可能になる場合、拡張現実マーカを使用して、水のボトルのようなペット給餌装置や、ペットの洗浄（たとえばペットに水浴びをさせる）のシミュレーションを実行するために使われてもよい。別の例として、拡張現実マーカは、ペットの仮想食料を有する仮想食料分注装置から充填することができる食料容器に対応させることができる。次にユーザは、容器内の仮想食料を、セルプロセッサ１００によって生成された仮想食料ボウル内に分注させるように仮想現実マーカを操作することができる。しかしながら、拡張現実マーカは、自身が関連付けられるゲームに適した任意の適切な物体又はインジケータとして機能することができることが理解されよう。

いくつかの実施形態において、セルプロセッサ１００は、リアリティシミュレータグラフィックスユニットＲＳＸ２００に、仮想画像面１０１０内に仮想の穴をレンダリングさせるように動作可能である。換言すれば、ユーザには、たとえば自身の部屋の床に穴が存在するかのように見える。次に、セルプロセッサ１００は、仮想物体及び／又は仮想ペットが生成されるか又は仮想環境から除去されるとき、且つそれに応じて、仮想の穴を通じて該仮想物体及び／又は仮想ペットを出現及び消滅（それぞれ物体の産出及び拡張現実環境からの物体の除去とも称される）させることができる。次に、セルプロセッサ１００は、物体又はペットが生成される（産出される）か又は拡張現実環境から除去されると、その仮想の穴を消滅させることができる。ここで、図８を参照して、仮想画像面を生成する方法を説明する。

図８は、本発明の実施形態による仮想画像面を生成する方法を示すフローチャートである。第１のステップｓ１００において、ビデオカメラ７５６によって捕捉された一連のビデオ画像がＷＩＦＩ又はブルートゥース（登録商標）（Bluetooth（R））のような通信リンクを介してエンタテイメント装置１０によって受信される。次に、ステップｓ１０５において、セルプロセッサ１００は上述したように受信したビデオ画像内の拡張現実マーカを検出する。ステップｓ１０５において拡張現実マーカが検出されると、ステップｓ１１０において、セルプロセッサ１００は、仮想画像面が捕捉ビデオ画像内に定義されるように該仮想画像面を生成するように動作可能であり、該仮想ビデオ画像面は上述したように検出された拡張現実マーカに対して定義される。換言すれば、セルプロセッサ１００は、仮想画像面が拡張現実マーカが配置される表面に対応する（すなわち該表面と実質的に同一平面になるように配置される）ように該仮想画像面を生成することができる。

ここで、図９Ａ及び図９Ｂを参照して、上述した拡張現実マーカとして使用することができる拡張現実マーカを説明する。

図９Ａは、本発明の一実施形態による拡張現実マーカを示している。特に、図９Ａは一次ファセット６０１０を有する拡張現実マーカ６０００を示している。一実施形態では、一次ファセットは、上述したようにビデオカメラ７５６と共にシステムユニット１０によって認識するための画像を備える。たとえば、一次ファセット６０１０は、図５を参照して上述したように英数字と共にクアッドを備えることができる。しかしながら、一次ファセット６０１０は任意の他の適切なシンボル又はパターンを備えることができることが理解されよう。

図９Ａ及び図９Ｂに示される拡張現実マーカ６０００は、複数の二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄも備える。二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄは、一次ファセット６０１０が二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄと共に角錐台の面を形成するように、一次ファセット６０１０に対して配置される。図９Ａ及び図９Ｂに示される実施形態では、一次ファセットは図９Ｂに示すように角錐台の上にある。

図９Ｂは、図９Ａに示す拡張現実マーカの、図９Ａにおいて破線Ｄ−Ｄで示される直線に沿った断面図である。図９Ｂからかわるように、一次ファセット６０１０は角錐台の上にあり（すなわちマーカの頂部にあり）、二次ファセット６０２０ａ及び６０２０ｃは角錐台の２つの面を形成する。

いくつかの実施形態において、拡張現実マーカ６０００は、図９Ｂに示される角錐台の底面を形成する底部も備える。この場合、角錐台は閉じた容積を形成する。しかしながら、図９Ａに示されるマーカの他の実施形態では、底部を有さない。底部を有さないとは、角錐台の底が開いていることを意味する。

マーカ６０００は使用時に通常、一次ファセット６０１０がビデオカメラ７５６に面を向けるようにユーザによって保持される。いくつかの実施形態では、一次ファセット６０１０の反対側に位置決めされるマーカ６０００の側面（すなわち一次ファセット６０１０の逆側又は底部６０３０）にハンドルを取り付けることもできる。これによってユーザによるマーカ６０００の操作が容易になる。

１つ又は複数の二次ファセットを、一次ファセット６０１０と平行にならないように配置することによって、システムユニット１０はビデオカメラ７５６と協働して、拡張現実マーカ１０００に関して上述したのと同じようにしてカメラ７５６に対する拡張現実マーカ６０００の傾き及び姿勢を検出することができる。

たとえば、二次ファセット６０２０ｂが二次ファセット６０２０ｄよりもビデオカメラからわずかに離れている（すなわちマーカ６０００の頂部がビデオカメラ７５６に向かって傾いている）場合、クアッド内のシンボルを十分に解像することができないか、又は一次ファセット６０１０上の画像が或る程度の対称性を有するとき、システムユニット１０が、マーカ６０００の頂部がカメラに向かって傾いているのか又はカメラから離れて傾いているのかを判断することが難しい場合がある。したがって、セルプロセッサ１００は二次ファセット６０２０ｂ及び６０２０ｄに対応する画像特徴の相対的な画像サイズを比較して、傾き方向における任意の不明確性を解消することができる。セルプロセッサ１００は二次ファセット６０２０ａ及び６０２０ｂに対して同様の画像処理を実行することができる。換言すれば、セルプロセッサ１００は、ビデオカメラ７５６に対するマーカ６０００の相対的な配向及び傾きを検出するために、二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄの相対的な歪みを検出するように動作可能である。

いくつかの実施形態では、二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄは、一次ファセット６０１０とは異なる色である。これは、一次ファセット６０１０を二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄから区別するのに役立つ。さらに、いくつかの実施形態では、二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄのうちの１つ又は複数は互いに異なる色を有する場合がある。セルプロセッサ１００は二次ファセット６０２０ａ、６０２０ｂ、６０２０ｃ、及び６０２０ｄに対応する画像特徴に対する色検出を実行するように動作可能である。これは、ビデオカメラ７５６に対するマーカ６０００の傾きの相対配向に関する任意の不明確性を解消するのにさらに役立つ。

いくつかの実施形態では、マーカ６０００は、一次ファセットと共に、一次ファセットが１つ又は複数の二次ファセットと平行にならないように配置された１つ又は複数の二次ファセットを備えることができることが理解されよう。たとえば、マーカは、一次ファセット６０１０と共に、一次ファセット６０１０と二次ファセット６０２０ｃとの間の角度（図９Ｂにおいてθで表される）が９０度にならないように配置された二次ファセット６０２０ｃを備えることができる。換言すれば、一次ファセットは二次ファセットに対し平行ではない（ここで、平行はθ＝１８０度を意味する）。

好ましくは、それぞれが一次ファセットに対しそれぞれの角度θを有する１つ又は複数のファセットが存在する場合、角度θは１８０＞θ≧９０の範囲にある。しかしながら、角度θを９０度以下とすることにより二次ファセットを使用して任意の傾き不明確性を解消することができる可能性が減るけれども、角度θを９０度以下とすることができることが理解されよう。さらに、各二次ファセットは一次ファセットに対し異なるそれぞれの角度を形成することができると共に、ファセットの縁は互いに接触している必要がないことが理解されよう。さらに、マーカを円錐台形としたり、一次ファセット及び二次ファセットを任意の他の適切な角錐台を形成するように配置することもできる。

上述の技法を適宜組み合わせることができることが理解されよう。たとえば、２つ以上のマーカを使用して仮想画像面及び／又は対話エリアを画定する場合、一つのマーカを図７を参照して上述した３次元マーカとすることができ、他のマーカを２次元マーカとすることができる。

本発明の実施形態において、エンタテイメント方法の要素を任意の適切な方法でエンタテイメント装置内で実施することができることが理解されよう。したがって、従来の同等の装置の既存の部品への必要とされる適合は、プロセッサ実施可能命令を含むコンピュータプログラム製品の形態で実施することができる。このプロセッサ実施可能命令は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、若しくはこれらの任意の組み合わせ、若しくは他の記憶媒体のようなデータキャリアに記憶するか、イーサネット（登録商標）、無線ネットワーク、インターネット、若しくは他のネットワークのこれらの任意の組み合わせのようなネットワーク上でデータ信号を介して送信するか、又は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、若しくは従来の同等の装置を採用するときに使用するのに適した他の構成可能回路若しくは特注回路としてハードウェアにおいて実現してもよい。

結論として、本明細書においてさまざまな実施形態を説明したが、これらは例示としてのみ提供され、このような実施形態に対する多くの変形形態及び変更形態が当業者に明らかであると共に、添付の特許請求の範囲及びそれらの均等物によって規定される本発明の範囲内に含まれる。

Claims (16)

1. 仮想画像をビデオカメラによって捕捉される実画像と合成して拡張現実画像を生成するためのエンタテイメント装置であって、
   ビデオカメラから通信リンクを介して一連のビデオ画像を受信するように動作可能な受信手段と、
   前記受信されたビデオ画像内の拡張現実マーカを検出するように動作可能な検出手段と、
   前記検出手段による前記拡張現実マーカの検出に基づいて仮想画像面を生成するように動作可能な処理手段であって、当該仮想画像面を前記拡張現実マーカが配置されている実表面に対応して生成することができるように、当該仮想画像面を実表面と実質的に同一平面になるように構成する処理手段と
   を備え、
   前記処理手段は、
   前記仮想画像面が前記検出された拡張現実マーカに対応して定義されるように、当該仮想画像面を前記捕捉ビデオ画像内に生成するように動作可能であり、且つ
   前記仮想画像面は、
   前記拡張現実マーカに対応する面積より大きい面積を有することを特徴とするエンタテイメント装置。
2. 請求項１に記載のエンタテイメント装置であって、
   前記処理手段は、
   前記拡張現実マーカの予め定められた表現と、前記検出された拡張現実マーカとの間の歪の度合を検出すると共に、
   前記検出された歪の度合に基づいて前記仮想画像面を生成するように動作可能であることを特徴とするエンタテイメント装置。
3. 請求項１または２に記載のエンタテイメント装置であって、
   前記処理手段は、
   仮想現実物体位置において仮想現実物体を生成するように動作可能であり、
   当該仮想現実物体位置は、
   前記処理手段によって前記仮想画像面を参照して生成されることを特徴とするエンタテイメント装置。
4. 請求項３に記載のエンタテイメント装置であって、
   前記仮想画像面は、
   前記拡張現実画像内の対話エリアに関連し、
   当該対話エリアは、
   前記仮想現実物体をユーザとの対話のために表示することができる前記捕捉画像の領域であり、
   前記処理手段は、
   前記仮想現実物体を前記ビデオカメラによって捕捉された前記実画像と合成して前記対話エリア内に表示することができるように、当該対話エリアを前記仮想画像面に基づいて生成するように動作可能であることを特徴とするエンタテイメント装置。
5. 請求項４に記載のエンタテイメント装置であって、
   前記処理手段は、
   前記対話エリアの画素面積が前記ビデオカメラの全画素面積の所定のパーセンテージであるように前記対話エリアを生成するように動作可能であることを特徴とするエンタテイメント装置。
6. 請求項４に記載のエンタテイメント装置であって、
   前記処理手段は、
   前記受信したビデオ画像を分析することによって、前記拡張現実マーカの周囲にあると共に、前記拡張現実マーカに対応する画素に隣接するものとして検出される１つ又は複数の画素の色に対し予め定められた色閾値内でカラーマッチングされる対話エリア画素を検出すると共に、
   前記対話エリアが前記検出された対話エリア画素に対応するように、当該対話エリアを生成するように動作可能であることを特徴とするエンタテイメント装置。
7. 請求項４に記載のエンタテイメント装置であって、
   前記検出手段は、
   前記受信したビデオ画像内の少なくとももう１つの拡張現実マーカを検出するように動作可能であり、
   前記処理手段は、
   前記対話エリアの周囲の少なくとも一部が前記検出された拡張現実マーカに対応するように、当該対話エリアを生成するように動作可能であることを特徴とするエンタテイメント装置。
8. 請求項３から７のいずれか一項に記載のエンタテイメント装置であって、
   前記仮想現実物体は仮想生物であることを特徴とするエンタテイメント装置。
9. 請求項１から８のいずれか一項に記載のエンタテイメント装置であって、
   前記受信手段は、
   前記一連のビデオ画像を、前記ビデオカメラによって生成される、当該ビデオカメラと前記拡張現実マーカとの間の距離に関連する奥行き情報と共に受信するように動作可能であり、
   前記検出手段は、
   前記受信したビデオ画像及び前記受信した奥行き情報を分析することによって、前記ビデオカメラに対する前記拡張現実マーカの３次元空間位置を検出するように動作可能であり、
   前記処理手段は、
   前記仮想画像面が前記拡張現実マーカの前記検出された３次元空間位置に対応して定義されるように、当該仮想画像面を前記捕捉ビデオ画像内に生成するように動作可能であることを特徴とするエンタテイメント装置。
10. 請求項３から８のいずれか一項に従属する場合の請求項９に記載のエンタテイメント装置であって、
    前記処理手段は、
    前記受信した奥行き情報に基づいて、前記仮想現実物体位置が、前記仮想現実物体が実物体によって前記ビデオカメラの視野から遮蔽されるようになっているか否かを検出し、
    前記仮想現実物体が前記実物体によって遮蔽される場合、当該仮想物体が当該実物体の背後にあるように見えるように当該仮想物体を生成するように動作可能であることを特徴とするエンタテイメント装置。
11. 請求項１から１０のいずれか一項に記載のエンタテイメント装置であって、
    前記拡張現実マーカは、
    前記エンタテイメント装置によって実行されるゲームのゲーム特徴に関連することを特徴とするエンタテイメント装置。
12. 請求項１から１１のいずれか一項に記載のエンタテイメント装置であって、
    前記検出手段は、
    前記拡張現実マーカの検出が実施されるべきであるという指示に応答して、前記受信したビデオ画像から選択される単一フレーム内の前記マーカを検出するように動作可能であることを特徴とするエンタテイメント装置。
13. 仮想画像をビデオカメラによって捕捉される実画像と合成して拡張現実画像を生成するためのシステムであって、
    実環境のビデオ画像を捕捉し、ビデオカメラと拡張現実マーカとの間の距離に関連する奥行き情報を生成するように動作可能であるビデオカメラと、
    請求項１から１２のいずれか一項に記載のエンタテイメント装置と
    を備えることを特徴とするシステム。
14. 仮想画像をビデオカメラによって捕捉される実画像と合成して拡張現実画像を生成する方法であって、
    ビデオカメラから通信リンクを介して一連のビデオ画像を受信する手段、
    前記受信されたビデオ画像内の拡張現実マーカを検出すること、および
    前記検出手段による前記拡張現実マーカの検出に基づいて仮想画像面を生成することであって、当該仮想画像面を前記拡張現実マーカが配置されている実表面に対応して生成することができるように、当該仮想画像面を実表面と実質的に同一平面になるように構成すること
    を含み、
    前記仮想画像面は、
    当該仮想画像面が前記検出された拡張現実マーカに対応して定義されるように、前記捕捉ビデオ画像内に生成され、
    前記仮想画像面は、
    前記拡張現実マーカに対応する面積より大きい面積を有することを特徴とする方法。
15. 請求項１４に記載の方法を実施するためのコンピュータプログラム。
16. 前記拡張現実生成システムを用いて使用するための拡張現実マーカであって、
    前記拡張現実生成システムによって認識するための画像を備える一次ファセットと、
    １つ又は複数の二次ファセットであって、前記一次ファセットが当該１つ又は複数の二次ファセットと平行にならないように当該一次ファセットに対応して配置される、１つ又は複数の二次ファセットと
    を備えることを特徴とする拡張現実マーカ。

Images