JP6396171B2 - 情報処理装置 - Google Patents

Description

本発明は、ユーザのカメラ映像を配信する技術に関する。

近年、ユーザが作成またはキャプチャした動画を共有するサービスが普及している。またユーザの端末同士がピアトーピア（Ｐ２Ｐ）で接続して、互いに直接通信することも可能となっている。このような仕組みを利用して、ユーザはインターネットを介して様々なデータを他のユーザと共有できるようになっている。特許文献１は、配信元のゲーム装置が、受信側のゲーム装置に対してゲームのプレイ状況に関する情報を配信し、受信側のユーザが、配信元のゲーム装置で実行中のゲームに参加することのできるゲーム配信システムを提案している。

特開２０１２−３４７９３号公報

動画配信サービスにおいて、ユーザは、自身がプレイしているゲーム画像とともに、カメラで撮影した自身の様子も一緒に配信することがある。いわゆる「顔出し」配信であるが、ユーザは顔出しすることで、視聴者との距離を縮めることができ、また視聴者数の獲得にもつなげられる。そのため、「顔出し」配信を効果的に行う技術に対するニーズが存在する。

そこで本発明は、効果的にユーザの様子を配信するための技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の情報処理装置は、撮像装置から撮像画像を取得する画像取得部と、撮像画像において複数のユーザの顔画像を検出する顔認識部と、表示画像に含めるユーザを決定する表示ユーザ決定部と、撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、切り出した領域を含む表示画像を生成する表示画像生成部と、指示を受け付ける指示受付部と、を備える。指示受付部が受け付けた指示をもとに、表示ユーザ決定部が、表示画像に含めるユーザを決定して、顔画像切出部が、決定されたユーザの顔画像を含む領域を切り出す。

本発明の別の態様もまた、情報処理装置である。この装置は、撮像装置から撮像画像を取得する画像取得部と、撮像画像において複数のユーザの顔画像を検出する顔認識部と、所定の音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける指示受付部と、切替指示をもとに、表示画像に含めるユーザを決定する表示ユーザ決定部と、撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、切り出した領域を含む表示画像を生成する表示画像生成部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の情報処理技術によると、効果的にユーザの様子を配信するための技術を提供することが可能となる。

本発明の実施例にかかる情報処理システムを示す図である。 入力装置の外観構成を示す図である。 情報処理装置の機能ブロックを示す図である。 情報処理装置の構成を示す図である。 ゲーム画面の一例を示す図である。 共有処理の選択肢を示す入力画面の一例を示す図である。 設定画面の一例を示す図である。 カメラ映像の重畳態様を設定する画面の一例を示す図である。 カメラによって撮影される空間の一例を示す図である。 顔認識部による顔識別結果を示す図である。 ユーザＡのカメラ映像を重畳したゲーム画面を示す図である。 ユーザＣのカメラ映像を重畳したゲーム画面を示す図である。 ユーザＢのカメラ映像を重畳したゲーム画面を示す図である。 ユーザ名、識別ワードの画面表示例を示す図である。 顔認識部による顔識別結果を示す図である。 全てのユーザを含むカメラ映像を重畳したゲーム画面を示す図である。

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、配信主となるユーザがプレイ中のゲーム画像をライブ配信し、別の視聴ユーザがゲーム画像を視聴する環境を実現する。情報処理システム１は、配信ユーザが利用する情報処理装置１０と、ネットワークサーバ５と、共有サーバ１１と、各種の端末装置９ａ、９ｂを備え、これらはインターネットやＬＡＮ（Local Area Network）、電話網などのネットワーク３を介して接続している。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のネットワークサーバ５、共有サーバ１１と通信可能に接続する。

情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザが操作した情報を情報処理装置１０に出力する。情報処理装置１０は入力装置６から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作情報を供給する機器であってよい。情報処理装置１０は、端末装置９ａ、９ｂに対して、プレイ中のゲーム画像データをストリーミング配信し、したがって実施例における情報処理システム１は、ゲーム画像配信システムとして動作する。

ネットワークサーバ５は情報処理装置１０のユーザに対してゲームのネットワークサービスを提供する。ネットワークサーバ５はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いて、ネットワークサーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、ネットワークサーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品（トロフィ）を登録できる。

この例では、３人のユーザＡ、Ｂ、Ｃが情報処理装置１０で一緒にゲームをプレイしており、ユーザＡは入力装置６ａを、ユーザＢは入力装置６ｂを、ユーザＣは入力装置６ｃをそれぞれ操作している。出力装置４には、プレイ中のゲーム画像が表示されており、このゲーム画像は、共有サーバ１１を通じて、視聴ユーザの端末装置９ａ、９ｂに配信されている。図１においては端末装置９ａがパーソナルコンピュータであって、ＡＰ経由でネットワーク３に接続し、また端末装置９ｂがスマートフォンなどのモバイル機器であって、基地局を経由してネットワーク３に接続している様子を示しているが、視聴ユーザは、情報処理装置１０と同じ端末装置で、ゲーム画像の配信を受けてもよい。なお別の例では、情報処理装置１０と端末装置とがＰ２Ｐで接続して、互いにデータを送受信するようにしてもよい。以下、特に区別しない場合には、視聴ユーザの端末を「端末装置９」と総称する。

補助記憶装置２はＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、内蔵型記憶装置であってもよい。出力装置４は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、無線接続されてもよい。

入力装置６は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側方に配置されてもよく、いずれにしても出力装置４の前方でゲームをプレイするユーザＡ、Ｂ、Ｃを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。情報処理システム１では、ユーザを撮影したカメラ画像データが、ユーザがプレイするゲーム画像データとともに、視聴ユーザの端末装置９にリアルタイムで配信される。なおカメラ画像は、ゲーム画像に重畳されて合成され、又はカメラ画像とゲーム画像とは重ならないように合成されて、合成された画像データが端末装置９に配信される。

入力装置６のボタン構成について説明する。
［上面部の構成］
図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６と情報処理装置１０とを接続する通信機能をアクティブにするために使用される。入力装置６が情報処理装置１０と接続した後は、機能ボタン８０は、情報処理装置１０にホーム画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。ＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、情報処理装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

［奥側側面部の構成］
図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。図１に示すように、３台の入力装置６ａ、６ｂ、６ｃが使用されている場合、情報処理装置１０は、ユーザＡ、Ｂ、Ｃが各入力装置６を区別できるように、入力装置６ａ、６ｂ、６ｃの発光部８５の点灯色を異なる色、それぞれ青、赤、緑と定めてよい。これにより各ユーザは、自分が使用している入力装置６を発光部８５の点灯色によって認識できるため、入力装置６を取り違える可能性が低減される。

筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ７は、点灯した発光部８５を好適に撮像できる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

図３は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、ネットワークサーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、ネットワークサーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

図４は、ストリーミングデータの配信装置として動作する情報処理装置１０の構成を示す。情報処理装置１０は処理部１００、通信部１０２、受付部１０４、マイク１１０および登録ユーザ情報保持部１７０を備え、処理部１００はアプリケーション実行部１０６、アプリケーション画像生成部１０８、撮像画像取得部１２０、顔認識部１２２、音声取得部１３０、音声認識部１３２、顔画像生成部１４０、表示画像生成部１６０および共有処理部１６２を備える。顔画像生成部１４０は、順序決定部１４２、表示ユーザ決定部１４４、指示受付部１４６および顔画像切出部１４８を有する。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

通信部１０２は、入力装置６の操作情報を受信し、また処理部１００で生成したコンテンツを、共有サーバ１１経由で他の端末装置９に配信する。端末装置９のユーザは、ネットワーク３に接続する共有サーバ１１にアクセスして、情報処理装置１０から配信されているコンテンツを視聴できる。ここでコンテンツは、ユーザＡ、Ｂ、Ｃがプレイしているゲーム画像である。通信部１０２は図３に示す無線通信モジュール３８および有線通信モジュール４０の機能を併せ持つ構成として表現している。なお通信部１０２は、他の端末装置９に直接コンテンツを配信してもよい。

受付部１０４は、通信部１０２と処理部１００との間に設けられ、通信部１０２と処理部１００との間でデータないしは情報を伝送する。受付部１０４は通信部１０２を介して入力装置６の操作情報を受け付けると、その操作情報を処理部１００におけるアプリケーション実行部１０６、顔画像生成部１４０または共有処理部１６２などに供給する。また受付部１０４は、表示画像生成部１６０からコンテンツを受け付け、通信部１０２に提供する。

登録ユーザ情報保持部１７０は補助記憶装置２の記憶領域に形成されて、情報処理装置１０に登録されているユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、ネットワークサーバ５にサインインするためのサインインＩＤ、ネットワークアカウント、ユーザのオンラインＩＤ（ネットワーク上でのユーザ名）、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。顔認識処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部１７０が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。

ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認識部１２２による顔認識処理において比較対象とされるデータであり、顔認識部１２２が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、実施例では顔認識部１２２が既知の顔認識アルゴリズムを採用している。なお、顔画像を登録していない登録ユーザに関しては、当然のことながら、顔識別用データは、登録ユーザ情報保持部１７０に含まれていない。

実施例において、アプリケーション実行部１０６は、ゲームプログラムを実行する。アプリケーション実行部１０６は、ユーザＡ〜Ｃのそれぞれから入力装置６ａ〜６ｃに入力された操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ここでアプリケーション実行部１０６は、アプリケーション（ゲームプログラム）そのものであってよい。アプリケーション画像生成部１０８はレンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）であってよく、アプリケーション実行部１０６による処理結果を受けて、アプリケーション（ゲーム）の画像データを生成する。表示画像生成部１６０は、後述する共有処理が開始される前、アプリケーション画像生成部１０８で生成されたゲーム画像を、そのまま表示画像として出力装置４から出力する。

図５は、出力装置４に表示されるゲーム画面の一例を示す。この例では、ユーザＡ〜Ｃが、一緒にサッカーゲームを楽しんでいる。なおアプリケーション実行部１０６が、ゲーム以外のアプリケーションを実行し、アプリケーション画像生成部１０８が、ゲーム以外のアプリケーション画像データを生成してもよい。

実施例の共有処理部１６２は、アプリケーション画像生成部１０８で生成されたゲーム画像データを他のユーザと共有するための機能を実現する。この共有処理は、情報処理装置１０でゲームプレイをしているユーザＡ〜Ｃのいずれかが、自身の入力装置６に設けられた特定の入力部、ここではＳＨＡＲＥボタン８１を操作したことを契機として実行される。ここで共有処理とは、出力装置４に表示される画面を、端末装置９にて別のユーザが視聴可能な状態にすること、または端末装置９にて別のユーザが実際に視聴することを意味する。以下、ユーザＡが入力装置６ａのＳＨＡＲＥボタン８１を操作した場合について説明する。

ゲームプレイ中、受付部１０４が、ユーザＡの入力装置６ａからＳＨＡＲＥボタン８１の操作情報を受け付けると、共有処理部１６２は、アプリケーション画像生成部１０８により生成されたゲーム画像データを他のユーザと共有するための処理を行う。まず最初に共有処理部１６２は、画像データの共有に関する選択肢を示す入力画像を生成する。

図６は、共有処理の選択肢を示す入力画面の一例を示す。この入力画面において、コンテンツ共有に関する３つの選択肢が示される。“ビデオクリップをアップロードする”は、補助記憶装置２に記録された画像データを共有サーバ１１にアップロードすることを指定するＧＵＩ、“スクリーンショットをアップロードする”は、スクリーンショットの画像データを共有サーバ１１にアップロードすることを指定するＧＵＩ、“ゲームプレイをブロードキャストする”は、ゲームのプレイ映像を共有サーバ１１を介してライブ中継することを指定するＧＵＩである。ユーザＡは入力装置６ａを操作して枠２００を動かし、いずれかのＧＵＩを選択して決定ボタンを押すことで、選択した共有処理が実行される。

図７は、“ゲームプレイをブロードキャストする”が選択された場合に表示される設定画面の一例を示す。この設定画面には、ブロードキャストの態様を設定するための項目が含まれる。実施例においてはユーザＡが少なくとも“カメラの映像をブロードキャストに含める”ことに同意し、ゲームのプレイ映像とともに、カメラ７の映像が一緒に配信される。“カメラの映像をブロードキャストに含める”ことが選択されると、表示画像生成部１６０は、ゲーム画面とカメラ映像とを合成した表示画像を生成して出力装置４から出力し、また共有処理部１６２は、表示画像生成部１６０で生成された表示画像をエンコードして、配信画像として配信する。したがって共有処理では、プレイユーザが見る画面と同じ画面が視聴ユーザに配信されるようになる。なお実施例では、ゲーム画像が共有サーバ１１を介して共有されるが、Ｐ２Ｐによりゲーム画像が端末装置９に配信されてもよい。

表示画像生成部１６０は、第１の領域にゲーム画像を配置し、第２の領域にカメラ画像を配置した表示画像を生成する。以下に説明するように、表示画像生成部１６０は、第２の領域を、第１の領域内に設定してもよく、また第１の領域と第２の領域とが重ならないように設定してもよい。第２の領域を、第１の領域に対してどの位置に設定するかは、カメラ映像の配信態様に依存する。

共有処理部１６２は、カメラ映像の配信態様をユーザが選択できるようにする。図７に示す設定画面において、ユーザが“画面にコメントを表示する”を選択すると、ゲーム画面には重ならない位置にコメント表示欄が作成される。つまり表示画像生成部１６０が生成する表示画像において、ゲーム画面が若干縮小表示され、縮小したことによる余白部分にカメラ映像とコメント表示欄とが配置される。なおユーザが“画面にコメントを表示する”を選択すると、“カメラの映像の重畳態様を設定する”が選択できないようにグレーアウト表示される。一方で、ユーザが“画面にコメントを表示する”を選択しなければ、全画面表示されるゲーム画面に、カメラ映像が重畳表示される。この場合、表示画像生成部１６０は、第１の領域を全画面としてゲーム画像を配置し、第１の領域内の第２の領域にカメラ映像を表示する。

“画面にコメントを表示する”が選択されない状態で、ユーザが“カメラの映像の重畳態様を設定する”を選択すると、共有処理部１６２は、カメラ映像の重畳態様をユーザに設定させる設定画面を出力装置４に表示する。

図８は、カメラ映像の重畳態様を設定する画面の一例を示す。この設定画面においては、ゲーム画面中にカメラ映像を埋め込む位置、サイズおよびアスペクト比が少なくとも選択できるようにされ、プレビュー画面において、選択した位置、サイズおよびアスペクト比に応じたカメラ映像が表示される。このようにカメラ映像をゲーム画面に重畳する場合には、全画面表示されるゲーム画面の一部の領域に、カメラ映像が埋め込まれる。たとえば“位置”の選択肢として、右上、右下、左上、左下の４つが用意され、“サイズ”の選択肢として、小、中、大の３つが用意され、“アスペクト比”の選択肢として、通常、ワイドの２つが用意されてよい。なおアスペクト比はカメラ映像の縦横比を表現し、たとえば“通常”は１：１、“ワイド”は９：１６のカメラ映像枠を設定する。

また設定画面においては、カメラ映像の加工態様の選択肢が提供される。加工態様として“背景”と“エフェクト”の項目が用意され、“背景”項目は、カメラ映像に含まれるユーザの背景を変更するか否か、また“エフェクト”項目は、カメラ映像にエフェクトを施さないか、施す場合にはどのエフェクトを施すかを、ユーザが選択できるようにしている。なお“背景”項目を“変更しない”、“エフェクト”項目を“なし”に設定すると、ユーザに関して切り出したカメラ映像が、そのままゲーム画面に埋め込まれるようになる。

ユーザが決定ボタンを押すと、図７に示す設定画面に戻るが、ユーザにより設定されたカメラ映像の配信態様は、表示画像生成部１６０に提供され、表示画像生成部１６０は、この配信態様にしたがってカメラ映像をゲーム画面に埋め込んだ表示画像を生成する。なお図８に示す設定画面は、共有処理の開始後であっても、ユーザが機能ボタン８０を操作して呼び出せるようにされ、共有処理中にカメラ映像の重畳態様が再設定できるようにしてもよい。以下の例では、ユーザが、カメラ映像をゲーム画面の右上領域に重畳することを選択した場合について説明する。

図７に示す設定画面において、ユーザが枠２０２を“ブロードキャストをはじめる”に配置して決定ボタンを押すと、受付部１０４が、ブロードキャストの開始を共有処理部１６２に通知する。図４に戻り、共有処理部１６２による共有処理が開始されると、顔認識部１２２による顔認識処理が開始される。

図９は、カメラ７によって撮影される空間の一例を示す。この撮影空間には、３人のユーザＡ〜Ｃが存在している。図９において３人のユーザを取り囲む四角の枠はカメラ７の撮像範囲（画角）を表現している。撮像画像取得部１２０は、カメラ７から撮像画像データを取得する。たとえばカメラ７は周期的（たとえば１／３０秒ごと）に空間を撮像して、撮像画像をＵＳＢモジュール３４を経由して撮像画像取得部１２０に提供する。顔認識部１２２は、撮像画像において複数のユーザの顔画像を検出する。ここで顔認識部１２２は、撮像画像において、人の顔と推定される部分を検出して抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部１７０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。

具体的に顔認識部１２２は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１７０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認識部１２２は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認識部１２２は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認識部１２２は、撮像画像に含まれるユーザが、顔画像を登録したユーザでないことを判定する。このように顔認識部１２２は、登録ユーザ情報保持部１７０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

図１０は、顔認識部１２２による顔識別結果を示す。ここでは、左側のユーザがユーザＡであること、真ん中のユーザがユーザＢであること、右側のユーザがユーザＣであることが判定されている。顔認識部１２２は、ユーザＡの顔の撮像画像中の位置を示す顔領域２０４ａと、ユーザＢの顔の撮像画像中の位置を示す顔領域２０４ｂと、ユーザＣの顔の撮像画像中の位置を示す顔領域２０４ｃとを、カメラ画像中の座標で設定する。各顔領域２０４は、ユーザの顔画像に外接する矩形領域として設定されてよい。

顔画像生成部１４０は、ゲーム画面に合成するための顔画像を生成する。実施例において、カメラ７により複数のユーザが撮影されている場合には、顔画像生成部１４０は、ユーザの顔画像を切り替えて、表示画像生成部１６０に提供する。切り替えるタイミングは、ユーザにより所定のコマンドが入力されたときであり、ユーザが所定のコマンドを入力すると、予め定めた表示順序にしたがって、顔画像が切り替えられる。

順序決定部１４２は、複数のユーザの表示順序を決定する。たとえば１番目は、共有処理を指示したユーザＡに設定し、２番目以降は、顔領域２０４の大きい順から上位に設定する。実施例において、ゲームをプレイする全てのユーザは情報処理装置１０にログインしており、したがって情報処理装置１０は、各ユーザが操作する入力装置６と、そのユーザとを対応付けて管理している。そのため情報処理装置１０は、ＳＨＡＲＥボタン８１を操作したユーザがユーザＡであることを把握しており、順序決定部１４２は、ユーザＡを、１番目の順序に設定する。続いて順序決定部１４２は、他のユーザ、すなわちユーザＢ、Ｃの顔領域２０４ｂ、２０４ｃの大きさを比較し、大きい順に、上位の順序に設定する。たとえば顔領域２０４ｃが顔領域２０４ｂよりも大きければ、順序決定部１４２は、ユーザＣを２番目の順序に、ユーザＢを３番目の順序に設定する。顔領域２０４の大きさの比較は、面積を基準として行われてよい。顔領域２０４の大きいユーザの表示順序を上位とするのは、ゲームに熱くなるユーザほど出力装置４に近い位置でプレイする傾向があることを利用しており、顔領域２０４の大きいユーザは、それだけ出力装置４に近い位置でプレイしていると考えられるため、表示順序を上位としている。

なお、この例では、ユーザＡ〜Ｃの全てが顔画像を登録しているユーザであり、顔認識部１２２が各ユーザを特定しているが、ユーザによっては、顔画像を登録していないものもいる。そのため順序決定部１４２は、顔画像を登録しているユーザの順序が、顔画像を登録していないユーザの順序よりも高くなるように設定してもよい。また順序決定部１４２は、正面を向いているユーザの順序が、正面を向いていないユーザの順序よりも高くなるように設定してもよい。ユーザの顔の向きは、顔認識部１２２により検出されて、順序決定部１４２に通知されてよい。また順序決定部１４２は、カメラ７からの距離の実測値をもとに、距離の近い順に順序を設定してもよい。カメラ７はステレオカメラであるため、順序決定部１４２は２枚の撮像画像からカメラ７とユーザとの距離を求め、ユーザの順序を決定してもよい。

なお撮像画像には、プレイユーザ以外に、ゲームプレイをただ見ているだけのユーザが含まれていることもある。このようなユーザであっても、顔認識部１２２は撮像画像において顔画像を検出して顔領域２０４を設定し、順序決定部１４２は、表示順序付けの対象とする。顔認識部１２２は、顔検出されたユーザの顔の下方に入力装置６が存在するか検出し、存在していればプレイユーザであり、存在していなければ非プレイユーザであることを判定してもよい。このとき順序決定部１４２は、プレイユーザの順序が、非プレイユーザの順序よりも高くなるように設定してもよい。なお上記の例では、ＳＨＡＲＥボタン８１を操作したユーザＡに、１番の表示順序が設定されることを説明したが、順序決定部１４２は、顔領域２０４の大きさの順、またはカメラ７との実測距離の近い順に、複数のユーザの表示順序を決定してもよい。

顔画像切出部１４８は、顔認識部１２２により設定された顔領域２０４ａ〜２０４ｃをもとに、各ユーザの切出領域２０６ａ〜２０６ｃを定める。この切出領域２０６は、ゲーム画面に重畳する際に撮像画像から切り出す領域であり、１人のユーザの顔領域２０４を含み、且つ顔領域２０４よりも広い領域に設定される。切出領域２０６は、顔領域２０４を上下左右方向に広げた矩形領域に設定されることが好ましい。顔領域２０４よりも広い領域とすることで、ユーザが多少顔を動かしても、切出領域２０６内で顔が確実に撮影されるようになる。

顔認識部１２２は、常時ユーザの顔を追跡処理（トラッキング）することが理想的であるが、顔認識処理には大きなＣＰＵ負荷がかかるため、ＣＰＵパワーによっては追跡処理が容易でないこともある。そのため顔認識部１２２が、ユーザの顔をトラッキングしない場合には、顔画像切出部１４８は、設定した切出領域２０６ａ〜２０６ｃを固定して、ユーザの顔画像を切り出すようにしてもよい。そのためにも顔画像切出部１４８は、切出領域２０６を広めに設定しておくことが好ましい。

以下、順序決定部１４２が、１番をユーザＡ、２番をユーザＣ、３番をユーザＢと順序付けしたものとする。なお実施例では顔認識部１２２が、撮像画像中の左側のユーザがユーザＡであること、真ん中のユーザがユーザＢであること、右側のユーザがユーザＣであることを特定しているため、順序決定部１４２が、１番をユーザＡ、２番をユーザＣ、３番をユーザＢと順序付けできている。しかしながら既述したように、撮像画像中には、プレイしていないユーザや、顔画像を登録していないユーザも含まれることがあり、撮像されたユーザが誰であるか特定できないことも生じうる。そこで順序決定部１４２は、実際には、ユーザが誰であるかを特定する必要はなく、検出された顔領域２０４ａのユーザを１番、顔領域２０４ｃのユーザを２番、顔領域２０４ｂのユーザを３番と順序付けすればよい。以下では、説明の便宜上、検出された顔領域２０４ａのユーザをユーザＡ、顔領域２０４ｃのユーザをユーザＣ、顔領域２０４ｂのユーザをユーザＢと呼んで説明を行う。

表示ユーザ決定部１４４は、表示画像生成部１６０で生成する表示画像に含めるユーザを決定する。ここで表示ユーザ決定部１４４は、順序決定部１４２で決定された表示順序にしたがって、ゲーム画面に重畳するユーザを決定する。顔画像切出部１４８は、撮像画像から、表示ユーザ決定部１４４により決定されたユーザの顔画像を含む領域を切り出し、表示画像生成部１６０は、切り出した領域を含む表示画像を生成する。

具体的に、共有処理が開始すると、まず表示ユーザ決定部１４４は、順序を１番に設定されたユーザＡを表示ユーザとして決定し、顔画像切出部１４８に通知する。顔画像切出部１４８は、ユーザＡの切出領域２０６ａを撮像画像から切り出し、表示画像生成部１６０に提供する。表示画像生成部１６０は、アプリケーション画像生成部１０８からゲーム画像の提供も受ける。表示画像生成部１６０は、共有処理部１６２において設定されたカメラ映像の重畳態様にしたがって、ゲーム映像上の領域に、切り出したカメラ映像を重畳した表示画像を生成する。生成された表示画像は、出力装置４から出力されるとともに、共有処理部１６２により通信部１０２を介して共有サーバ１１に配信される。

図１１は、ユーザＡのカメラ映像を重畳したゲーム画面を示す。カメラ映像の重畳態様により指定された表示領域２１０には、ユーザＡに関して切り出されたカメラ映像が表示されている。このゲーム画面は、出力装置４において表示されるとともに、共有サーバ１１を経由して端末装置９にも配信される。このように情報処理システム１においては、視聴ユーザが、ゲームプレイしているユーザと同じゲーム画面を見ることができる。

図４を参照して、音声取得部１３０は、マイク１１０に入力された音声を取得する。ゲームをプレイ中のユーザＡ〜Ｃは、コマンドを発声することで、表示領域２１０に表示されているカメラ映像を切り替えることができる。発声するユーザは、誰であってもよく、プレイユーザＡ〜Ｃ以外のユーザであってもよい。

音声認識部１３２は、音声取得部１３０で取得した音声を解析して、所定のコマンドであるか判定する。音声認識部１３２の音声認識機能は、ユーザによる所定のワード、たとえば“音声認識オン”の発声を検出するように構成されており、“音声認識オン”の発声を検出することで、所定時間、他の音声（ワード）も認識できるように構成されている。つまり音声認識部１３２は、“音声認識オン”の発声を検出することで、検出後、所定時間内に音声取得部１３０で取得した音声を音声解析する。たとえば、カメラ映像を切り替えるための音声コマンドは「顔を探す」であり、音声認識部１３２が、ユーザが「顔を探す」と発声したことを検出すると、音声コマンドであることを認識して、指示受付部１４６に、音声コマンドが入力されたことを通知する。指示受付部１４６は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける。指示受付部１４６が、切替指示を受け付けると、表示ユーザ決定部１４４が、切替指示をもとに、表示画像に含めるユーザを切り替えるように決定する。具体的に表示ユーザ決定部１４４は、順序決定部１４２で決定された表示順序にしたがって表示画像に含めるユーザを決定する。

表示ユーザ決定部１４４は、表示中のユーザの次順のユーザを表示ユーザとして決定し、具体的にはユーザＡの次順であるユーザＣを表示ユーザとして決定する。決定された表示ユーザは顔画像切出部１４８に通知され、顔画像切出部１４８は、ユーザＣの顔画像を含む切出領域２０６ｃを撮像画像から切り出し、表示画像生成部１６０に提供する。表示画像生成部１６０は、ゲーム画面中の表示領域２１０に、撮像画像中の切出領域２０６ｃのカメラ映像を埋め込み、表示画像を生成する。

図１２は、ユーザＣのカメラ映像を重畳したゲーム画面を示す。表示領域２１０には、ユーザＣに関して切り出されたカメラ映像が表示されている。このゲーム画面は、出力装置４において表示されるとともに、共有サーバ１１を経由して端末装置９にも配信される。

図１２に示すゲーム画面が表示されている状態で、音声認識部１３２が、音声取得部１３０で取得した音声が「顔を探す」であることを検出すると、指示受付部１４６に、音声コマンドが入力されたことを通知する。指示受付部１４６は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付け、表示ユーザ決定部１４４が、順序決定部１４２で決定された順序をもとに、表示画像に含めるユーザを切り替えるように決定する。表示ユーザ決定部１４４は、表示中のユーザの次順のユーザを表示ユーザとして決定し、具体的にはユーザＣの次順であるユーザＢを表示ユーザとして決定する。決定された表示ユーザは顔画像切出部１４８に通知され、顔画像切出部１４８は、ユーザＢの顔画像を含む切出領域２０６ｂを撮像画像から切り出し、表示画像生成部１６０に提供する。表示画像生成部１６０は、ゲーム画面中の表示領域２１０に、撮像画像中の切出領域２０６ｂのカメラ映像を埋め込み、表示画像を生成する。

図１３は、ユーザＢのカメラ映像を重畳したゲーム画面を示す。表示領域２１０には、ユーザＢに関して切り出されたカメラ映像が表示されている。この状態で、音声認識部１３２が、音声取得部１３０で取得した音声が「顔を探す」であることを検出すると、指示受付部１４６に、音声コマンドが入力されたことを通知する。指示受付部１４６は、音声コマンドの入力があったことを通知されると、その音声コマンドを、表示画像に含めるユーザの切替指示として受け付け、表示ユーザ決定部１４４が、順序決定部１４２で決定された順序をもとに、表示画像に含めるユーザを切り替えるように決定する。表示ユーザ決定部１４４は、次順のユーザを表示ユーザとして決定するが、次順のユーザがいない場合には、先頭に戻って表示ユーザを決定する。つまり表示中のユーザがユーザＣである場合には、その次順のユーザがいないため、１番のユーザＡが表示ユーザとして決定され、顔画像切出部１４８が、ユーザＡの切出領域２０６ａを撮像画像から切り出し、表示画像生成部１６０が、ゲーム画面中の表示領域２１０に、撮像画像中の切出領域２０６ａのカメラ映像を埋め込み、表示画像を生成する。

このようにユーザは、表示するカメラ映像を簡単に切り替えることができる。これにより視聴ユーザは、プレイ環境にいる様々なユーザの様子を見ることができ、プレイ環境の雰囲気を感じられるようになる。また音声コマンドによりカメラ映像を切り替えるようにしたことで、ユーザは、入力装置６をゲーム操作に集中して使用でき、カメラ映像の切り替え作業を容易に実現できるようになる。特に、素早いゲーム操作が必要となるゲームにおいては、カメラ映像の切り替えを入力装置６で指示することは困難なことも想定されるため、音声コマンドで切替指示を生成できることは意義が高い。

一方で指示受付部１４６は、入力装置６の所定の操作を、カメラ映像の切替指示として受け付けてもよい。情報処理装置１０がマイク１１０を備えておらず、音声認識部１３２が音声コマンドを受け付けられない場合に、入力装置６の所定の操作をカメラ画像の切替指示として利用することは、有効となる。

以上の説明においては、設定した切出領域２０６ａ〜２０６ｃの座標を固定して、カメラ映像の切替指示にしたがって、表示画像に含める切出領域２０６を順次切り替えていった。音声認識部１３２の音声認識機能が、ユーザが所定のワードを発声することで所定時間、他の発声も音声解析するように構成されている場合、音声認識機能の起動中に、ユーザが「顔を探す」と発声したことを検出すると、音声コマンドであることを認識して、表示画像に含める切出領域２０６が切り替えられる。一方、所定時間が経過して音声認識機能が終了し、あらためてユーザが所定のワードを発声することで音声認識機能が起動された後は、ユーザが「顔を探す」と発声したことを検出すると、顔認識部１２２に対して顔認識処理の実行指示を通知して、顔認識部１２２が、顔認識処理を再実行し、ユーザの顔領域２０４を再設定するようにしてもよい。このとき順序決定部１４２は、複数のユーザの表示順序を再決定し、顔画像切出部１４８が切出領域２０６を再設定してもよい。

なおＣＰＵパワーが十分である場合には、顔認識部１２２は、ユーザの顔を追跡して、常時、顔領域２０４を更新していくことが好ましい。この場合、顔画像切出部１４８は、顔認識部１２２から顔領域２０４の座標を取得し、顔領域２０４に応じて動的に切出領域２０６を設定してもよい。追跡処理する場合であっても、順序決定部１４２が決定した表示順序は固定であり、ユーザＡ、ユーザＣ、ユーザＢの順序でカメラ映像が切り替えられることに変わりはない。

なお追跡処理をする場合には、顔認識部１２２は、撮影されているユーザ構成に変化があったか検出できる。たとえばユーザＣがカメラ７の画角内からいなくなったり、また新たなユーザＤがカメラ７の画角内に入ってきたりすることがある。顔認識部１２２は、ユーザ構成に変化があった場合には、その変化の内容を顔画像生成部１４０に通知し、これにより順序決定部１４２は、表示順序を更新し、また顔画像切出部１４８が切出領域２０６を再設定することが好ましい。

また実施例では、複数人のユーザが撮影されている場合について説明したが、１人のユーザのみが撮影されることもある。顔認識部１２２による追跡処理を実行しない場合、音声認識部１３２が、音声取得部１３０で取得した音声が「顔を探す」であることを検出すると、指示受付部１４６に、音声コマンドが入力されたことを通知するとともに、顔認識部１２２に対して顔認識処理の実行指示を通知する。つまり撮影されているユーザが１人の場合には、適切な切出領域２０６を再設定するために、顔認識部１２２による顔認識処理を再実行して、顔画像切出部１４８が、更新された顔領域２０４をもとに、適切な切出領域２０６を設定するようにしてもよい。

なお顔画像切出部１４８は、切出領域２０６で撮像画像を切り出した後、その切出画像に加工を施してもよい。顔画像切出部１４８は、図８に示すカメラ映像の重畳態様の設定画面で入力された“背景”項目や“エフェクト”項目の内容にしたがって、切出領域２０６のカメラ映像を加工してもよい。

またユーザによっては、自分の顔画像の配信を希望しないものもいる。そのようなユーザは、予め配信を希望しない旨を登録ユーザ情報保持部１７０に登録しておき、表示ユーザ決定部１４４が、配信を希望しないユーザを表示ユーザとして決定した場合には、顔画像切出部１４８が、そのユーザの切出領域２０６の代わりに、そのユーザのアイコンやアバターなどを表示画像生成部１６０に提供してもよい。

なお上記の例では、ユーザの顔画像が、順序決定部１４２により決定された表示順序にしたがって切り替えられることを説明した。ユーザの顔画像の切替は、明示的にユーザを特定する情報を指定することで実行されてもよい。指示受付部１４６は、ユーザを指定する指示を受け付けると、表示ユーザ決定部１４４は、指定されたユーザを表示画像に含めることを決定する。

たとえば、ユーザＡのユーザ名が“Ｋａｔｅ”、ユーザＢのユーザ名が“Ｄａｖｉｄ”、ユーザＣのユーザ名が“Ｌｕｃｙ”であるとする。ユーザＣのカメラ映像を配信したい場合、誰かが“Ｌｕｃｙ”と発声すると、音声認識部１３２が、発声された音声が“Ｌｕｃｙ”であることを検出し、指示受付部１４６に通知する。指示受付部１４６は、検出された“Ｌｕｃｙ”を、ユーザを指定する指示として受け付け、表示ユーザ決定部１４４は、“Ｌｕｃｙ”であるユーザＣを表示ユーザとして決定し、顔画像切出部１４８が、ユーザＣの切出領域２０６ｃを切り出して表示画像生成部１６０に提供する。これによりユーザは、表示したいユーザを自ら指定することができる。

なお表示ユーザ決定部１４４は、ユーザ名ではなく、撮影されているユーザに識別ワードを発行して、その識別ワードによって表示ユーザを決定してもよい。たとえばユーザＡに対して“プレイヤ１”、ユーザＢに対して“プレイヤ２”、ユーザＣに対して“プレイヤ３”と識別ワードを設定する。たとえば、この番号は、入力装置６を情報処理装置１０に接続した順で定められてもよい。音声認識部１３２が、発声された音声が“プレイヤ３”であることを検出し指示受付部１４６に通知すると、指示受付部１４６は、検出された“プレイヤ３”を、ユーザを指定する指示として受け付け、表示ユーザ決定部１４４は、“プレイヤ３”であるユーザＣを表示ユーザとして決定する。識別ワードは、音声認識部１３２による認識精度が高いワードであることが好ましい。

なお、上記したユーザ名や、識別ワードは、ユーザが認識できるように、画面に表示されることが好ましい。
図１４は、ユーザ名、識別ワードの画面表示例を示す。この画面は、たとえば顔認識部１２２による顔認識処理が終了した直後に、出力装置４に表示される。この例では、ユーザ名と、識別ワードの双方が表示されているが、いずれか一方だけであってもよい。ユーザは、この画面を見ることで、ユーザ名ないし識別ワードを確認することができ、ゲームプレイ中に、ユーザ名ないし識別ワードを発声することで、配信するユーザの顔画像を効率的に切り替えることができるようになる。

なお、ゲームプレイ中でもユーザがユーザ名ないしは識別ワードを確認できるように、ゲーム画面の下欄などの目立たない領域に、これらの情報が小さく表示されるようにしてもよい。

また実施例では、ユーザからの音声コマンド（ないしは入力装置６の操作情報）をもとに、表示ユーザの切替が行われることを説明したが、表示ユーザ決定部１４４は、ユーザからのコマンドによらずに、表示ユーザを決定することもできる。一例として、表示ユーザ決定部１４４は、順序決定部１４２で決定された複数ユーザの表示順序にしたがって、一定時間ごとに表示ユーザを決定してもよい。たとえば表示ユーザ決定部１４４は、１０秒ごとに表示ユーザを切り替える。この場合、端末装置９の視聴ユーザは、ゲームプレイに関する全てのユーザの様子を満遍なく見ることができるため、ユーザがプレイしている環境の雰囲気を感じられるようになる。

なお共有処理部１６２は、表示画像生成部１６０で生成された表示画像に、様々な情報を付加して配信してもよい。たとえば、表示画像に含まれるユーザに関する情報として、ユーザＩＤ、ユーザ名や年齢、トロフィレベルなどの個人情報や、カメラ７で撮影されているユーザ数などの情報が付加されてもよい。これらの情報は、表示画像にテキスト出たとして重畳されて配信されてもよく、またメタデータとして付加されて配信されてもよい。

ユーザＩＤやユーザ名は、カメラ映像に含まれるユーザを特定する情報として役立つ。なおカメラ７に撮影されている全てのユーザＩＤやユーザ名も配信すると、視聴ユーザは、カメラ映像に含まれないユーザの存在も知ることができ、プレイ環境の雰囲気を伝えることにもつながる。またユーザ数の情報も同じく、何人が集まっているか視聴ユーザに知らせる情報となるため、大勢いる場合には、盛り上がった雰囲気にあることを視聴ユーザに推測させることができる。年齢やトロフィレベルは、視聴ユーザが自分と同レベルのユーザがプレイしているか判断するための情報になり、たとえばメタデータとして配信される場合には、共有サーバ１１で視聴ユーザが配信ゲーム映像を選択する際に、検索キーとして使用されることも可能となる。

ユーザは、表示されているカメラ映像が気に入らなければ、別の画像に置き換えることを顔画像切出部１４８に指示できる。この指示は、音声コマンドや入力装置６の操作情報により行われてよく、たとえば過去に撮影した画像や、過去に配信したカメラ映像、また既述したユーザのアイコンやアバターなどで置換できるようにしてもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ユーザの顔画像がゲーム画面に重畳表示されることをメインに説明したが、ユーザの顔画像は、ゲーム画面とは別の領域に表示されてもよい。また切替指示は、音声コマンドないしは入力装置６の操作情報によって行われることを説明したが、ユーザの所定のジェスチャによって行われてもよい。

また実施例では、１人のユーザの顔画像を配信することを説明したが、プレイ中のユーザの雰囲気を効果的に伝えるために、複数のユーザの顔画像を配信してもよい。
図１５は、顔認識部１２２による顔識別結果を示す。図１０にも示したように、顔認識部１２２は、ユーザＡの顔の撮像画像中の位置を示す顔領域２０４ａと、ユーザＢの顔の撮像画像中の位置を示す顔領域２０４ｂと、ユーザＣの顔の撮像画像中の位置を示す顔領域２０４ｃとを、カメラ画像中の座標で設定する。

顔画像切出部１４８は、顔認識部１２２により設定された顔領域２０４ａ〜２０４ｃをもとに、全てのユーザの顔領域２０４ａ〜２０４ｃが含まれる切出領域２１２を定める。この切出領域２１２には、全てのユーザの顔画像が含まれているため、プレイ中の雰囲気を表現するのに相応しい。

図１６は、全てのユーザを含むカメラ映像を重畳したゲーム画面を示す。視聴ユーザは、このカメラ映像を見ることで、どのような雰囲気でゲームがプレイされているか容易に想像できるようになる。なお全てのユーザを含むカメラ映像を重畳する場合には、図８に示す設定画面において、アスペクト比が“ワイド”に設定されていることが好ましい。

一つの例では、全てのユーザの顔画像を含む切出領域２１２は、各ユーザの切出領域２０６とともに、順序決定部１４２により表示順序を定められてもよい。実施例で説明したように順序決定部１４２は、１番をユーザＡ、２番をユーザＣ、３番をユーザＢと順序付けしつつ、４番を全ユーザＡ、Ｂ、Ｃと設定する。これにより、ゲーム画面の右上には、ユーザＡの切出領域２０６ａのカメラ映像、ユーザＣの切出領域２０６ｃのカメラ映像、ユーザＢの切出領域２０６ｂのカメラ映像、ユーザＡ、Ｂ、Ｃの切出領域２１２のカメラ映像の順番で表示されるようになる。ユーザは「顔を探す」と発声するだけで、ユーザ個人のカメラ映像、また複数ユーザを含むカメラ映像を容易に切り替えることができる。

また別の例では、指示受付部１４６は、配信するカメラ映像に含めるユーザを１人とする（１人モード）か、全員とする（複数モード）かを定める音声コマンドを受け付ける。１人モードを指定する音声コマンドは「１人」であり、複数モードを指定する音声コマンドは「全員」である。音声認識部１３２が、発声された音声が「１人」であることを検出し、指示受付部１４６に通知すると、指示受付部１４６は、１人モードが選択されたことを受け付け、表示ユーザ決定部１４４が、１人モードで表示ユーザを決定する。１人モードにおける表示ユーザの決定方法については、実施例で説明したとおりである。一方、音声認識部１３２が、発声された音声が「全員」であることを検出し、指示受付部１４６に通知すると、指示受付部１４６は、複数モードが選択されたことを受け付け、表示ユーザ決定部１４４が、複数モードが選択されたことを顔画像切出部１４８に通知する。これにより顔画像切出部１４８は、図１５に示す切出領域２１２を撮像画像から切り出して、表示画像生成部１６０に提供する。

実施例では、プレイしているユーザないしはプレイ環境にいるユーザが、音声コマンドや入力装置６の操作情報により、表示画像に含めるユーザを決定したが、変形例では、端末装置９のユーザが、表示画像に含めるユーザを決定できるようにしてもよい。特に端末装置９が、情報処理装置１０と同じ端末であって、双方向通信をしているような場合には、端末装置９から情報処理装置１０に直接コマンドを送信することができ、表示ユーザ決定部１４４に、外部からコマンドを入力することができる。

たとえば情報処理装置１０と端末装置９とがボイスチャットをしている場合には、端末装置９とユーザが「顔を探す」と発声すると、情報処理装置１０のスピーカから出力された音声がマイク１１０によりひろわれるため、指示受付部１４６は切替指示として受け付けて、表示ユーザ決定部１４４が、表示ユーザを切り替えてもよい。

また既述したように、配信画像に、ユーザＩＤやユーザ名などが付加されている場合には、端末装置９のユーザは、ユーザＩＤやユーザ名を指定した切替指示を情報処理装置１０に送信してもよい。また端末装置９のユーザは、ユーザ名ではなく、ゲーム中のキャラクタを指定することで、切替指示を送信できるようにしてもよい。端末装置９のユーザがボイスチャットで「フォワードを探して」と発声すると、ゲームが、フォワードを操作しているユーザを特定し、そのユーザＩＤが指示受付部１４６を介して表示ユーザ決定部１４４に通知されることで、表示ユーザ決定部１４４が、フォワードを操作しているユーザを表示ユーザとして決定してもよい。このようにゲーム側に、ユーザ名を顔画像生成部１４０に通知する機能を搭載することで、視聴ユーザは、ゲーム中のキャラクタを指定することで、カメラ映像に含まれるユーザを指定できるようになる。

また情報処理装置１０にリモートアクセスして、別の端末装置でゲームに参加しているリモートユーザがいる場合に、端末装置９のユーザは、リモートユーザを指定できてもよい。このリモートユーザは、カメラ７の撮像画像には含まれていないため、表示ユーザ決定部１４４は、リモートユーザの端末装置にカメラ起動要求を送信し、この端末装置がカメラ起動して撮影画像を情報処理装置１０に転送することで、顔画像切出部１４８が、リモートユーザの顔画像を切り出して、表示画像生成部１６０に提供する。なお、リモートユーザは、スマートフォンなどの別の端末から撮影画像を情報処理装置１０に送信してもよい。

１・・・情報処理システム、４・・・出力装置、６・・・入力装置、７・・・カメラ、９・・・端末装置、１０・・・情報処理装置、１１・・・共有サーバ、１００・・・処理部、１０２・・・通信部、１０４・・・受付部、１０６・・・アプリケーション実行部、１０８・・・アプリケーション画像生成部、１１０・・・マイク、１２０・・・撮像画像取得部、１２２・・・顔認識部、１３０・・・音声取得部、１３２・・・音声認識部、１４０・・・顔画像生成部、１４２・・・順序決定部、１４４・・・表示ユーザ決定部、１４６・・・指示受付部、１４８・・・顔画像切出部、１６０・・・表示画像生成部、１６２・・・共有処理部、１７０・・・登録ユーザ情報保持部。

Claims (11)

1. ユーザの顔を撮影した顔画像をゲーム画像とともに配信する情報処理装置であって、
   撮像装置から周期的に撮影された撮像画像を取得する画像取得部と、
   撮像画像において複数のユーザの顔画像を検出する顔認識部と、
   撮像装置により撮影されている複数のユーザの表示順序を決定する順序決定部と、
   表示画像に含めるユーザを決定する表示ユーザ決定部と、
   撮像画像から、決定されたユーザの顔画像を含む領域を切り出す顔画像切出部と、
   切り出した領域とゲーム画像を含む表示画像を生成する表示画像生成部と、
   表示画像に含めるユーザの切替指示を受け付ける指示受付部と、
   前記表示画像生成部が生成した表示画像を配信する共有処理部と、を備え、
   前記指示受付部が受け付けたユーザの切替指示をもとに、前記表示ユーザ決定部が表示順序にしたがって、表示画像に含めるユーザを決定して、前記顔画像切出部が、決定されたユーザの顔画像を含む領域を切り出すことを特徴とする情報処理装置。
2. 前記顔画像切出部は、１人のユーザの顔画像を含む領域を切り出すことを特徴とする請求項１に記載の情報処理装置。
3. 前記順序決定部は、前記顔認識部によりユーザの顔画像に外接する矩形領域として設定された顔領域の大きさの順、または撮像装置と顔との距離の近い順に、複数のユーザの表示順序を決定する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記順序決定部は、顔画像を登録しているユーザの表示順序が、顔画像を登録していないユーザの表示順序よりも先となるように、複数のユーザの表示順序を決定する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
5. 前記指示受付部は、所定の音声コマンドを、表示画像に含めるユーザの切替指示として受け付ける、
   ことを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記表示画像生成部は、第１の領域にゲーム画像を配置し、第２の領域に切り出した領域を配置した表示画像を生成することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記表示画像生成部は、第２の領域を、第１の領域内に設定することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示画像生成部は、第１の領域と第２の領域とが重ならないように設定することを特徴とする請求項６に記載の情報処理装置。
9. 前記顔画像切出部は、複数のユーザの顔画像を含む領域を切り出すことを特徴とする請求項１から８のいずれかに記載の情報処理装置。
10. ユーザの顔を撮影した顔画像とゲーム画像とを配信するコンピュータに、
    撮像装置から周期的に撮影された撮像画像を取得する機能と、
    撮像画像において複数のユーザの顔画像を検出する機能と、
    撮像装置により撮影されている複数のユーザの表示順序を決定する機能と、
    表示画像に含めるユーザの切替指示を受け付ける機能と、
    受け付けたユーザの切替指示をもとに、複数のユーザの表示順序にしたがって、表示画像に含めるユーザを決定する機能と、
    撮像画像から、決定されたユーザの顔画像を含む領域を切り出す機能と、
    切り出した領域とゲーム画像を含む画像を生成する機能と、
    生成した画像を配信する機能と、
    を実現させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images