JP2013098840A - 情報処理装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能な情報処理装置、表示制御方法およびプログラムを提供する。
【解決手段】表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、を備える、情報処理装置。
【選択図】図７

Description

本開示は、情報処理装置、表示制御方法およびプログラムに関する。

近年、映像を立体視できる３次元立体映像が注目されている。３次元立体映像の鑑賞方式としては、水平方向に視差を設けた左目用映像と右目用映像を鑑賞させることにより鑑賞者に映像を立体視させる両目視差方式が普及しつつある。

このような立体映像をより自然に見せるために、特許文献１では、撮影時の２つのカメラ（右目用および左目用）の位置精度等に依存する立体映像信号の誤差を補正する技術が開示されている。

特開２０１１−７７９８４号公報

しかしながら、上記特許文献１に開示されているような立体映像信号の補正は、立体映像を鑑賞する者の位置に応じて制御されるものではない。

近年の立体映像技術では、鑑賞者が裸眼で立体映像を鑑賞できる方式と、専用のメガネを用いる方式が知られているが、いずれにしても鑑賞者が顔を傾けたりなどすると、立体映像が正常に見えず、鑑賞者（ユーザ）の目に負担がかかるという問題があった。

そこで、本開示では、ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能な、新規かつ改良された通信装置、通信制御方法およびプログラムを提案する。

本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、を備える情報処理装置が提供される。

また、本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、を含む表示制御方法が提供される。

また、本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、をコンピュータに実行させるプログラムが提供される。

以上説明したように本開示によれば、ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能となる。

本開示による３次元立体映像制御の概要について説明するための図である。 本開示の第１の実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。 本開示の第１の実施形態によるＣＰＵ（制御部）の機能構成を示すブロック図である。 第１の実施形態によるイメージセンサから取得した撮像画像を示す図である。 第１の実施形態による仮想カメラの位置制御を説明するための図である。 ｘｙ方向に視差を制御した左目用画像および右目用画像の一例を示す図である。 第１の実施形態による動作処理を示すフローチャートである。 上下左右方向に映像が振り分けられた場合のイメージ図である。 円偏光メガネを用いる方式について説明するための図である。 複数のユーザが鑑賞している場合に検出される各ユーザの顔の傾きθを説明するための図である。 本開示の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。 本開示の第３の実施形態の概要を説明するための図である。 本開示の第３の実施形態による情報処理装置の構成を示すブロック図である。 本開示の第３の実施形態による情報処理装置の重力方向Ｇに対する傾きθを示す図である。 本開示の第３の実施形態によるＣＰＵの機能構成を示すブロック図である。 第３の実施形態による仮想カメラの位置制御を説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．３次元立体映像の視差制御の概要
２．各実施形態
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
３．まとめ

＜１．３次元立体映像の視差制御の概要＞
まず、本開示による３次元立体映像の視差制御の概要について図１を参照して説明する。図１に示すように、本開示による情報処理装置１０は、表示装置１０７を備えたタブレット型デバイスであって、鑑賞者であるユーザを撮像するイメージセンサ１１０を有する。

ここで、本実施形態による３次元立体映像の鑑賞方式は、一例として、視差を設けた左目用映像と右目用映像を鑑賞させることで鑑賞者に映像を立体視させる両目視差方式が用いられる。なお、両目視差方式には、上述したように、専用のメガネを用いるメガネ方式と、メガネを用いない裸眼方式がある。

上記メガネ方式には、偏光の違いを利用して左目用画像と右目用画像を分離する偏光方式と、左右交互に開閉するシャッタをメガネに設け、時分割で表示される左目用画像と右目用画像にメガネのシャッタの開閉が同期されるシャッタ方式とがある。

また、上記裸眼方式には、レンチキュラー方式と、パララックスバリア方式とがある。レンチキュラー方式は、かまぼこ型の細かなレンズ（レンチキュラーレンズ）を配列させることによって、左目用画像と右目用画像の光路を分離する。また、パララックスバリア方式は、光を遮光する視差バリアと光を通過させる領域である縦のスリットを交互に配列させることによって、左目用画像と右目用画像の光路を分離する。

以上説明した両目視差方式では、ユーザの右目に右目用画像、左目に左目用画像を適切に見せることによって、正常な３次元立体映像が結像されるが、鑑賞位置や視域が制限されるという問題があった。

例えば、通常、左目用画像および右目用画像には、所定の視域においてユーザが鑑賞していることを想定して水平方向の視差が設けられている。しかし、ユーザが顔を傾けた場合、所定の視域から外れ、正常な３次元立体映像が結像されない。特に、左目に右目用画像、右目に左目用画像が見える逆視状態となる場合は、ユーザの目に負担がかかる。

また、上記縦のスリットと視差バリアから成るパララックスバリア方式において鑑賞中にユーザが図１に示すように顔を９０度近く傾けると、表示画面に対して両目が縦に位置して両目に同じ映像が見えてしまい、正常な３次元立体映像が結像されない。

このように、ユーザが顔を傾けることにより、正常な３次元立体映像が見えず、ユーザの目に負担がかかってしまう。

そこで、本開示による３次元立体映像の視差制御によれば、３次元立体映像を鑑賞するユーザの顔の傾きに応じて左目用画像および右目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能となる。

以上、本開示による３次元立体映像の視差制御の概要について説明した。続いて、本開示による３次元立体映像の視差制御について複数の実施形態を挙げて詳細に説明する。

＜２．各実施形態＞
ここでは、本開示による３次元立体映像の視差制御を実行する情報処理装置について、第１の実施形態〜第３の実施形態を挙げて説明する。

［２−１．第１の実施形態］
第１の実施形態による情報処理装置１０は、情報処理装置１０に設けられるイメージセンサ１１０を用いてユーザの顔の傾きを検出し、検出されたユーザの顔の傾きに応じて３次元立体映像の視差制御を行う。以下、第１の実施形態による情報処理装置１０の構成について図２および図３を参照して説明する。

（情報処理装置１０のハードウェア構成）
図２は、本実施形態による情報処理装置１０のハードウェア構成の一例を示すブロック図である。本実施形態にかかる情報処理装置１０は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００と、ＲＯＭ（Ｒｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ホストバス１０４ａ、ブリッジ１０４、外部バス１０４ｂ、インタフェース１０５、入力装置１０６、表示装置１０７、ストレージ装置１０８、イメージセンサ１１０、および通信装置１１３を有する。

ＣＰＵ１００は、演算処理部および制御部として機能し、各種プログラムに従って情報処理装置１０の動作全般を制御する。また、ＣＰＵ１００は、マイクロプロセッサであってもよい。なお、本実施形態によるＣＰＵ１００（制御部）の具体的な機能の詳細については後述する。

ＲＯＭ１０２は、ＣＰＵ１００が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１００の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。また、ＣＰＵ１００、ＲＯＭ１０２およびＲＡＭ１０３は、ＣＰＵバスなどから構成されるホストバス１０４ａにより相互に接続されている。

ホストバス１０４ａは、ブリッジ１０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ
Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。なお、必ずしもホストバス１０４ａ、ブリッジ１０４および外部バス１０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０６は、タッチパネル、ボタン、マイクおよびスイッチなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０６を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置１０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ
Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、およびＯＬＥＤ（Ｏｒｇａｎｉｃ
Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ
Ｄｉｏｄｅ）装置などの表示部である。

ストレージ装置１０８は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置１０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。また、ストレージ装置１０８は、ＣＰＵ１００が実行するプログラムや各種データを格納する。

イメージセンサ１１０は、被写体を撮像する撮像部である。イメージセンサ１１０は、撮像した画像をＲＡＭ１０３に出力する。なお、本実施形態によるイメージセンサ１１０は、ユーザの顔の傾きを検出するために用いられる。イメージセンサ１１０に基づくユーザの顔の傾き検出の詳細については、図４を参照して後述する。

通信装置１１３は、例えば、通信網２０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１３は、無線ＬＡＮ（Ｌｏｃａｌ
Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、本実施形態による情報処理装置１０のハードウェア構成の一例について詳細に説明した。続いて、本実施形態によるＣＰＵ１００（制御部）の機能構成について、図３を参照して詳細に説明する。

（ＣＰＵ１００の機能構成）
図３は、本実施形態によるＣＰＵ１００（制御部）の機能構成を示すブロック図である。図３に示すように、ＣＰＵ１００は、傾き検出部１２１、画像生成部１２３、および表示制御部１２５として機能する。これにより、本実施形態によるＣＰＵ１００は、イメージセンサ１１０から出力された画像（撮像画像）に基づいてユーザの顔の傾きを検出し、検出結果に応じて視差を制御した右目用画像および左目用画像を表示装置１０７に表示するよう制御することができる。以下、図３に示す各機能構成について説明する。

「傾き検出部１２１」
傾き検出部１２１は、イメージセンサ１１０から出力された撮像画像においてユーザの顔の位置や顔のパーツ情報を認識し、ユーザの顔の傾きを検出することができる。また、傾き検出部１２１は、検出結果を画像生成部１２３に出力する。

ここで、傾き検出部１２１によるユーザの顔の傾きの検出は、例えば両目の位置や、鼻の位置を利用して行ってもよい。傾き検出部１２１が行う傾き検出の一例について図４を参照して具体的に説明する。

図４は、イメージセンサ１１０から出力された撮像画像３１を示す図である。図４に示すように、傾き検出部１２１は、撮像画像３１を解析し、ユーザの顔の位置と、その顔のパーツを認識する。ここでは一例として、図４に示すように、ユーザの両目（右目３５Ｒおよび左目３５Ｌ）を認識する。そして、傾き検出部１２１は、認識した右目３５Ｒおよび左目３５Ｌを結ぶ線３３と、表示装置１０７の水平方向に相当する水平線Ｍとが成す角度θを、ユーザの顔の傾きとして検出する。図４に示すように、ユーザの右目３５Ｒおよび左目３５Ｌの位置は、ユーザが顔を傾けるほど、ｘ方向（水平方向）の差が縮まり、同時にｙ方向（垂直方向）の差が広がる。

「画像生成部１２３」
画像生成部１２３は、傾き検出部１２１から出力された検出結果に基づいて、ユーザの顔の傾きに応じて視差を制御した左目用画像および右目用画像を生成する。また、画像生成部１２３は、生成した左目用画像および右目用画像を、表示制御部１２５に出力する。

例えば、画像生成部１２３は、予めモデリングされた３次元の仮想空間を観察する仮想カメラの位置を、ユーザの顔の傾きに応じて調整することによって、ｘｙ方向に視差を有する左目用画像および右目用画像を生成することができる。ここで、図５を参照して画像生成に利用する仮想空間について説明する。

図５は、仮想空間４０を説明するための図である。図５に示すように、仮想空間４０では、立体視モデル（オブジェクト）４１、４２の３Ｄがモデリングされ、仮想空間４０を観察する仮想カメラ４３ａ、４３ｂにより任意の位置からレンダリングすることができる。

仮想カメラ４３ａ、４３ｂの位置の調整は、傾き検出部１２１から出力されたユーザの顔の傾き角度θに応じて行われる。図５に示す例では、仮想カメラ４３ａがユーザの左目３５Ｌ、仮想カメラ４３ｂがユーザの右目３５Ｒに相当するので、仮想カメラ４３ａと４３ｂを結ぶ線４４が水平線Ｍに対して角度θを成すよう位置調整が行われる。

画像生成部１２３は、このように仮想カメラ４３の位置調整を行った上でレンダリングし、ユーザの顔の傾きに応じてｘｙ方向に視差が制御された左目用画像および右目用画像を生成することができる。

このようにして生成した左目用画像および右目用画像の一例を図６に示す。図６に示す左目用画像５０Ｌは、仮想カメラ４３ａから取得した画像であり、右目用画像５０Ｒは、仮想カメラ４３ｂから取得した画像である。図６下に示すように、左目用画像５０Ｌおよび右目用画像５０Ｒは、ユーザの顔の傾きに応じてｘｙ方向に視差を有する。

「表示制御部１２５」
表示制御部１２５は、画像生成部１２３から出力された左目用画像および右目用画像を表示装置１０７に表示するよう制御する。また、表示制御部１２５は、３次元立体映像の具体的な実現方式（上述した裸眼方式、メガネ方式）に応じて、ユーザの両目にそれぞれ正しく画像を振り分けるよう表示制御する。両目視差画像の振り分けについては図８を参照して後述する。

以上、本実施形態によるＣＰＵ１００の機能構成について詳細に説明した。続いて、本実施形態によるＣＰＵ１００の動作処理について図７を参照して説明する。

（ＣＰＵ１００による動作処理）
図７は、本実施形態によるＣＰＵ１００の動作処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０１において、ＣＰＵ１００は、表示装置１０７（表示画面）を鑑賞するユーザがいるか否かを判断する。具体的な判断方法は、例えばイメージセンサ１１０により撮像した画像を解析して顔認識した場合、ＣＰＵ１００は、鑑賞するユーザがいると判断してもよい。

次に、ステップＳ２０３において、傾き検出部１２１は、イメージセンサ１１０により撮像した画像を解析してユーザの顔の傾きθを検出する。また、傾き検出部１２１は、傾きθを示す検出結果を、画像生成部１２３に出力する。

次いで、ステップＳ２０５において、画像生成部１２３は、仮想空間４０を観察する２つの仮想カメラ４３ａ、４３ｂの位置を、傾き検出部１２から検出されたユーザの顔の傾きθだけ回転させる。

そして、ステップＳ２０７において、画像生成部１２３は、回転させた仮想カメラ４３ａ、４３ｂから画像を取得することで、ユーザの顔の傾きに応じてｘｙ方向に視差を有する左目用画像および右目用画像を生成することができる。

以上、ＣＰＵ１００の動作処理について説明した。次に、このようにＣＰＵ１００がｘｙ方向（水平および／または垂直方向）に視差を制御して生成した左目用画像および右目用画像を、鑑賞者の両目にそれぞれ正しく振り分ける場合の具体例について説明する。

（両目視差画像の振り分け）
例えば裸眼方式を利用する場合、ユーザが顔を傾けた場合にも正常に左右の目に適切な画像が届くよう、左右方向に加えて、上下方向に映像を振り分けるようにしてもよい。図８に、左右方向に加えて、上下方向にも映像を振り分ける場合の、１視点目（右目）および２視点目（左目）に見える画像のイメージ図を示す。

図８に示すように、画像のピクセル（若しくはサブピクセル）が上下左右に振り分けられ、１視点目（左目）には、図８左に示すイメージの白い部分５５Ｌのピクセルが見え、２視点目（右目）には、図８右に示すイメージの白い部分５５Ｒのピクセルが見える。

このように、ｘｙ方向に視差を有する３次元立体映像を上下左右方向に振り分けることで、ユーザが顔を９０度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。なお、この場合、ＣＰＵ１００は、図８の左右に示すイメージの各白い部分を合わせた画像を表示装置１０７に表示する。

また、図８に示すように画像を振り分けるための光学部品は、例えば、光を遮光する視差バリアと光を通過させる領域であるスリットを格子状に設けた（すなわち視差バリアを斜めに配列した）パララックスバリアであってもよい。または、レンチキュラーレンズを升目状に配列した光学部品であってもよい。

以上、裸眼方式により実現する場合の具体的な画像振り分け方法について説明した。一方、メガネ方式により実現する場合、例えば図９に示すように、円偏光メガネ６０を用いて、左右の目に見える映像を振り分けてもよい。

円偏光メガネ方式では、ＣＰＵ１００は、表示装置１０７に左目用画像と右目用画像を交互に表示し、図示しないフィルタにより異なる回転方向の円偏光を与える。そして、左目用画像と右目用画像それぞれの偏光方向と同じ方向に偏光する円偏光メガネ６０を用いることにより、両目に正しい情報が入る。この場合、ユーザが顔を９０度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。

また、メガネ方式により実現する場合、交互に開閉するシャッターメガネを用いて、左右の目に見える映像を振り分けてもよい。

シャッターメガネ方式では、表示装置１０７に左目用画像と右目用画像を交互に表示するタイミングと、シャッターメガネの開閉タイミングを同期させることで、ユーザの両目に正しい情報が入る。この場合、ユーザが顔を９０度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。

上述したように、本開示の第１の実施形態によれば、ユーザの顔の傾き（ユーザの両目の位置のｘｙ方向への変化）に応じて、動的にｘｙの２次元方向に視差を作り出した左目用画像および右目用画像を生成することができる。このように生成した画像を、顔を傾けたユーザの両目にそれぞれ正しく振り分けることで、ユーザは顔を傾けた場合でも正常に３次元立体映像を鑑賞させることができ、ユーザの目への負担が軽減される。

なお、上述した第１の実施形態では、２視差の３次元立体映像を生成する場合を例として示したが、本開示による実施形態はこれに限定されない。例えば、４視差若しくはそれ以上の視差の３次元立体映像を生成する場合も、同様にユーザの顔の傾きに応じてｘｙ方向に視差を制御することができる。

また、上述した第１の実施形態では、予めモデリングされた仮想空間４０を利用して水平方向および垂直方向に視差を制御した３次元立体映像を生成したが、本開示による実施形態はこれに限定されない。

例えば、水平方向に視差を有する映像コンテンツの場合、仮想的な平面に多視差の映像が重畳しているので、かかる平面に対する視差の変化量を加味することで、同様にユーザの顔の傾きに応じた視差制御を行うことができる。ただし、この場合元々垂直方向の視差を含まないので、水平方向の視差制御のみとなるが、ユーザの目への負担軽減は可能である。例えば、ユーザが顔を傾けるほど水平方向の視差を無くし、９０度傾いた場合は２次元映像を鑑賞させることで、ユーザの目への負担を軽減することができる。

また、水平方向に視差を有する映像コンテンツから、仮想空間を再構成することで、擬似的に垂直方向の視差を作ることも可能である。これにより、ユーザの顔の傾きに応じて水平方向および垂直方向の視差を制御することができ、例えばユーザが顔を９０度傾けた場合でも３次元立体映像を正常に鑑賞させることができる。

［２−２．第２の実施形態］
上記第１の実施形態は、鑑賞しているユーザ一人の顔の傾きに応じた視差制御を行っている。一方、複数のユーザが同時に鑑賞している場合、図１０に示すようにユーザ毎に異なる傾きθが検出される可能性が高い。

図１０は、複数のユーザが鑑賞している場合に検出される傾きθを説明するための図である。図１０では、イメージセンサ１１０により撮像される画像３３において、ユーザの両目を結ぶ線と、表示装置１０７の水平方向に相当する水平線Ｍとが成す角θが、ユーザ毎に示されている。

複数のユーザが同時に鑑賞している場合、図１０に示すユーザ１の顔の傾きθ１およびユーザ２の顔の傾きθ２のように、異なる傾きθが検出されるので、第１の実施形態にように水平方向および垂直方向の視差を制御することは困難である。

そこで、本開示による第２の実施形態では、鑑賞しているユーザが複数検出された場合、水平方向のみに視差を作り出して３次元立体映像を鑑賞させることで、ユーザの目への負担を軽減することができる。このような第２の実施形態によるＣＰＵの機能構成について、以下図１１を参照して説明する。

（第２の実施形態によるＣＰＵ１２０の機能構成）
図１１は、第２の実施形態によるＣＰＵ１２０の機能構成を示す図である。図１１に示すように、ＣＰＵ１２０は、傾き検出部１２１、画像生成部１２３、表示制御部１２５、およびユーザ検出部１２７を有する。

本実施形態によるユーザ検出部１２７は、イメージセンサ１１０により撮像された画像に基づいて、鑑賞するユーザが複数か否かを検出し、検出結果を画像生成部１２３に出力する。そして、画像生成部１２３は、ユーザ検出部１２７による検出結果に基づき、水平方向および／または垂直方向の視差を制御した３次元立体映像を生成し、表示制御部１２５に出力する。

より具体的には、画像生成部１２３は、鑑賞するユーザが一人の場合、上記第１の実施形態と同様に、傾き検出部１２１により検出されたユーザの顔の傾きに応じて、水平方向および／または垂直方向に視差を制御した３次元立体映像を生成する。一方、鑑賞するユーザが複数の場合、画像生成部１２３は、水平方向のみ視差を有する３次元立体映像を生成し、表示制御部１２５に出力する。

このように、鑑賞するユーザが複数の場合、ＣＰＵ１２０による視差制御は水平方向のみとなるが、ユーザの目への負担軽減は可能である。例えば、ユーザが顔を傾けるほどユーザの両目のｘ方向の差が縮むので、３次元立体映像における水平方向の視差を無くす。そして、ユーザの顔が９０度近く傾いた場合、水平方向の視差がほぼゼロになり、２次元映像が結像されるが、ユーザの目への負担は軽減することができる。

以上説明したように、本開示による第２の実施形態によれば、鑑賞しているユーザが複数の場合は水平方向のみ視差制御を行うことで、ユーザの目への負担を軽減している。

なお、両目視差方式による３次元立体映像を表示する場合、上述した裸眼方式においては、鑑賞する角度によって左右の情報が逆転した領域（逆視領域）が現れ、ユーザの目に負担となる。そこで、上述した第２の実施形態によるユーザ検出部１２７は、イメージセンサ１１０により撮像された画像を解析し、ユーザが逆視領域にいるか否かを検出してもよい。

そして、画像生成部１２３は、ユーザ検出部１２７から出力された検出結果に基づき、ユーザが逆視領域に居る場合は、左目用画像および右目用画像の視差を無くすよう制御し、２次元画像を生成する。このように、ユーザが逆視領域に居る場合は視差を無くす制御により２次元画像を生成し、表示させることで、ユーザの目への負担を軽減することができる。

［２−３．第３の実施形態］
上記第１および第２の実施形態では、ユーザの顔の傾きをイメージセンサ１１０により撮像された画像に基づいて検出しているが、本開示による実施形態はこれに限定されない。例えば、情報処理装置に内蔵された、自装置の傾きを検出するセンサを用いて、相対的なユーザの顔の傾きを検出してもよい。自装置の傾きを検出するセンサは、例えば加速度センサ、地磁気センサなどの重力方向に対する角度を検知するセンサであってもよい。以下に説明する第３の実施形態では、加速度センサを用いてユーザの顔の傾きを検出する場合について説明する。

図１２は、第３の実施形態による情報処理装置を説明するための図である。図１２に示すように、ユーザが情報処理装置１２を傾けた場合、相対するユーザの顔（両目の位置）は、情報処理装置１２の表示装置１０７に対して傾いた状態と言える。本実施形態による情報処理装置１２は、このように自装置が傾いた場合に相対的に傾くユーザの顔の傾きに応じて、水平方向および／または垂直方向に視差を制御することで、ユーザの目への負担を軽減することができる。

（第３の実施形態による情報処理装置１２の構成）
図１３は、本開示の第３の実施形態による情報処理装置１２の構成を示すブロック図である。図１３に示すように、第３の実施形態による情報処理装置１２は、加速度センサ１１４を有する点で、上記各実施形態と異なる。

加速度センサ１１４は、加速度を測定することで、自装置の重力方向に対する傾き（角度）を検知することができる。具体的には、図１４に示すように、自装置（情報処理装置１２）の重力方向Ｇに対する傾きθを検知し、検知結果をＲＡＭ１０３に出力する。

（第３の実施形態によるＣＰＵ１００の機能構成）
図１５は、第３の実施形態によるＣＰＵ１３０の機能構成を示す図である。図１５に示すように、ＣＰＵ１３０の傾き検出部１３１は、加速度センサ１１４からの検知結果に基づいて、ユーザの顔の傾きを検出する。

本実施形態では、加速度センサ１１４から、図１４に示すような重力方向Ｇに対する自装置（情報処理装置１２）の傾きθが検知結果として出力される。傾き検出部１３１は、情報処理装置１２の傾きθに基づいて、相対的に傾くユーザの顔の傾きθを検出する。そして、傾き検出部１３１は、検出したユーザの顔の傾きθを示す検出結果を画像生成部１２３に出力する。

画像生成部１２３は、図１６に示すように、傾き検出部１３１から出力されたユーザの顔の傾きθに応じて仮想空間４０を観察する仮想カメラ４３ａ、４３ｂの位置を制御し、レンダリングする。このようにして、画像生成部１２３は、上記各実施形態と同様に、ｘｙ方向に視差が制御された左目用画像および右目用画像を生成することができる。

画像生成部１２３は、生成した左目用画像および右目用画像を表示制御部１２５に出力し、表示制御部１２５は、かかる左目用画像および右目用画像を表示装置１０７に表示するよう制御する。

以上説明したように、本開示の第３の実施形態によれば、情報処理装置１２に自装置の傾きを検知するセンサを内蔵することで、相対的なユーザの顔の傾きを検出することができる。そして、本実施形態による情報処理装置１２は、上記各実施形態と同様に、ユーザの顔の傾きに応じて３次元立体映像の視差を水平方向および／または垂直方向に制御することで、ユーザの目への負担を軽減することができる。

＜３．まとめ＞
上述したように、本開示の実施形態によれば、ユーザの顔の傾きに応じて、３次元立体映像の水平方向および／または垂直方向の視差を制御することで、ユーザの目への負担を軽減することができる。

また、本開示の実施形態によれば、裸眼方式において、左右方向に加えて上下方向に映像を振り分けることで、ユーザが顔を傾けても正常に３次元立体映像を鑑賞させることができる。

また、本開示の実施形態によれば、複数のユーザが同時に鑑賞している場合、水平方向の視差のみを制御することで、ユーザの目への負担を軽減させることができる。

また、本開示の実施形態によれば、鑑賞しているユーザが逆視領域に居る場合、視差を無くして２次元映像を表示するよう制御することで、ユーザの目への負担を軽減させることができる。

また、本開示の実施形態によれば、ユーザの顔の傾きに応じて、仮想空間を観察する仮想カメラの位置を回転させることで、水平方向および垂直方向（ｘｙ方向）に視差を有する３次元立体映像を生成することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、
前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、
を備える、情報処理装置。
（２）
前記制御部は、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、２次元画像を表示するよう制御する、前記（１）から（３）のいずれか１項に記載の情報処装置。
（５）
前記制御部は、前記傾き検出部の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記情報処理装置は、ユーザの顔を撮像する撮像部を備え、
前記傾き検出部は、前記撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、前記（１）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記情報処理装置は、自装置の傾きを検知するセンサを備え、
前記傾き検出部は、前記センサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、前記（１）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示画面の前面には、前記表示画面に表示される画像を上下左右方向に振り分けるための光学部品が設けられる、前記（１）から（７）のいずれか１項に記載の情報処理装置。
（９）
前記光学部品は、光を遮光する視差バリアと、視差バリア間の光が透過する領域であるスリットとを格子状に設けたパララックスバリアである、前記（８）に記載の情報処理装置。
（１０）
前記光学部品は、複数のレンチキュラーレンズを升目状に並べたレンズである、前記（８）に記載の情報処理装置。
（１１）
表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、
前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、
を含む、表示制御方法。
（１２）
表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、
前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、
をコンピュータに実行させる、プログラム。
（１３）
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、前記（１２）に記載のプログラム。
（１４）
前記制御する処理は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、前記（１２）または（１３）に記載のプログラム。
（１５）
前記制御する処理は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、２次元画像を表示するよう制御する、前記（１２）から（１４）のいずれか１項に記載のプログラム。
（１６）
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、前記（１２）から（１５）のいずれか１項に記載のプログラム。
（１７）
前記傾きを検出する処理は、撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、前記（１２）から（１６）のいずれか１項に記載のプログラム。
（１８）
前記傾きを検出する処理は、前記情報処理装置の傾きを検知するセンサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、前記（１２）から（１７）のいずれか１項に記載のプログラム。

１０、１２ 情報処理装置
４０ 仮想空間
４３ａ、４３ｂ 仮想カメラ
１００、１２０、１３０ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ａ ホストバス
１０４ ブリッジ
１０４ｂ 外部バス
１０５ インタフェース
１０６ 入力装置
１０７ 表示装置
１０８ ストレージ装置
１１０ イメージセンサ
１１３ 通信装置
１１４ 加速度センサ
１２１、１３１ 傾き検出部
１２３ 画像生成部
１２５ 表示制御部
１２７ ユーザ検出部

Claims (18)

1. 表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、
   前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、
   を備える、情報処理装置。
2. 前記制御部は、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、請求項１に記載の情報処理装置。
3. 前記制御部は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、請求項２に記載の情報処理装置。
4. 前記制御部は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、２次元画像を表示するよう制御する、請求項２に記載の情報処装置。
5. 前記制御部は、前記傾き検出部の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、請求項２に記載の情報処理装置。
6. 前記情報処理装置は、ユーザの顔を撮像する撮像部を備え、
   前記傾き検出部は、前記撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、請求項２に記載の情報処理装置。
7. 前記情報処理装置は、自装置の傾きを検知するセンサを備え、
   前記傾き検出部は、前記センサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、請求項２に記載の情報処理装置。
8. 前記表示画面の前面には、前記表示画面に表示される画像を上下左右方向に振り分けるための光学部品が設けられる、請求項２に記載の情報処理装置。
9. 前記光学部品は、光を遮光する視差バリアと、視差バリア間の光が透過する領域であるスリットとを格子状に設けたパララックスバリアである、請求項８に記載の情報処理装置。
10. 前記光学部品は、複数のレンチキュラーレンズを升目状に並べたレンズである、請求項８に記載の情報処理装置。
11. 表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、
    前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、
    を含む、表示制御方法。
12. 表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、
    前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、
    をコンピュータに実行させる、プログラム。
13. 前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、請求項１２に記載のプログラム。
14. 前記制御する処理は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、請求項１３に記載のプログラム。
15. 前記制御する処理は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、２次元画像を表示するよう制御する、請求項１３に記載のプログラム。
16. 前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、請求項１３に記載のプログラム。
17. 前記傾きを検出する処理は、撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、請求項１３に記載のプログラム。
18. 前記傾きを検出する処理は、前記情報処理装置の傾きを検知するセンサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、請求項１３に記載のプログラム。
    
    

Images