WO2017195513A1

WO2017195513A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Info

Publication number: WO2017195513A1
Application number: PCT/JP2017/014549
Authority: WO
Inventors: 雅人赤尾; 西堀　一彦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-05-10
Filing date: 2017-04-07
Publication date: 2017-11-16
Anticipated expiration: 2018-11-10
Also published as: US20190149807A1; JPWO2017195513A1; US11006098B2

Abstract

双方向コミュニケーションを実行する情報処理装置間で送受信する仮想視点画像を、より自然な立体画像とする構成を実現する。仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、被写体ユーザを撮影した実カメラの撮影画像に基づいて仮想視点画像を生成する構成であり、被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する。例えば、被写体ユーザの前方位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を向けて撮影したと想定される仮想視点画像を生成する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばネットワークを介した双方向通信により画像や音声を送信し、双方向コミュニケーションを実行する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

　ネットワークを介した双方向通信により画像や音声を送受信するテレビ会議システム等の双方向コミュニケーションシステムは、様々な分野で利用されている。
　昨今では、高精細の大型ディスプレイが多く利用され、また、ネットワークを介して通信される画像、音声の品質も向上しており、ディスプレイに表示された遠隔のユーザとのコミュニケーションを、同じ会議室で行っているような感覚で行うことが可能となっている。

　しかし、このような、双方向コミュニケーションシステムでは、多くの場合、表示部（ディスプレイ）に表示される会議参加者等のユーザは平面的な２次元画像であり、そのため、相手方がその場にいるような雰囲気が失われ、臨場感に欠けるという問題点がある。

　このような問題点を解決する従来技術として、例えば特許文献１（特開２０１４－８６７７５号公報）がある。
　特許文献１には、表示部の表示画像を３次元モデルとして表示し、視聴者の動きに応じて、例えば表示人物の向きを変更する構成を開示している。
　この文献に開示された構成は、視聴者の動きに応じて表示画像を変更することで、立体感のある画像が観察できる。しかし、例えば表示部に表示される人物位置は、ディスプレイ上の１つの位置に固定され、不自然な動きを示す３次元画像として観察されるという問題がある。

特開２０１４－８６７７５号公報

　本開示は、例えば、上述の問題点に鑑みてなされたものであり、例えば、双方向コミュニケーションシステムにおいて利用される表示部（ディスプレイ）に表示する画像を、あたかもその場にいるような表示画像として表示することを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置にある。

　さらに、本開示の第２の側面は、
　仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像生成部の生成した仮想視点画像を、前記視聴ユーザ側の装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置にある。

　さらに、本開示の第３の側面は、
　仮想視点画像の視聴ユーザの視聴位置情報を検出する視聴位置検出部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置にある。

　さらに、本開示の第４の側面は、
　双方向通信を実行する第１情報処理装置と第２情報処理装置を有する情報処理システムであり、
　前記第１情報処理装置、および第２情報処理装置は、
　通信相手装置から、仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、通信相手装置の表示部に表示する仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像を通信相手装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理システムにある。

　さらに、本開示の第５の側面は、
　情報処理装置において実行する情報処理方法であり、
　仮想視点位置算出部が、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出し、
　仮想視点画像生成部が、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成するとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理方法にある。

　さらに、本開示の第６の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　仮想視点位置算出部に、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出させ、
　仮想視点画像生成部に、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行させ、
　前記仮想視点画像生成処理において、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成させるとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、双方向コミュニケーションを実行する情報処理装置間で送受信する仮想視点画像を、より自然な立体画像とする構成が実現される。
　具体的には、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、被写体ユーザを撮影した実カメラの撮影画像に基づいて仮想視点画像を生成する構成であり、被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する。例えば、被写体ユーザの前方位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を向けて撮影したと想定される仮想視点画像を生成する。
　本構成により、双方向コミュニケーションを実行する情報処理装置間で送受信する仮想視点画像を、より自然な立体画像とする構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

双方向コミュニケーションシステムについて説明する図である。運動視差について説明する図である。運動視差について説明する図である。仮想カメラの設定例について説明する図である。本開示の処理によって表示部に表示される画像の例について説明する図である。本開示の処理によって表示部に表示される画像の例について説明する図である。本開示の処理によって表示部に表示される画像の例について説明する図である。本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置の構成例について説明する図である。本開示の実施例１の仮想カメラの設定と位置算出例について説明する図である。本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。本開示の実施例１の変形例における仮想カメラの設定と位置算出例について説明する図である。本開示の実施例１の変形例における仮想カメラの設定例について説明する図である。本開示の実施例１の変形例における仮想カメラの設定による表示画像の例について説明する図である。本開示の実施例１の変形例における仮想カメラの設定による表示画像の視覚感覚の例について説明する図である。本開示の実施例１の変形例における仮想カメラの設定と位置算出例について説明する図である。本開示の実施例２の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例２の変形例における仮想カメラの設定と位置算出例について説明する図である。本開示の実施例３における仮想カメラの設定例について説明する図である。本開示の実施例３の仮想カメラ設定による表示画像の例について説明する図である。本開示の実施例３の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例４の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例５の仮想カメラの設定例について説明する図である。本開示の実施例５の仮想カメラの設定例について説明する図である。本開示の実施例５の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例６の仮想カメラの設定例について説明する図である。本開示の実施例６の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例６の変形例の仮想カメラ設定例について説明する図である。本開示の実施例６の変形例の仮想カメラ設定と位置算出例について説明する図である。本開示の実施例７の仮想カメラの設定例について説明する図である。本開示の実施例７の仮想カメラの設定と位置算出例について説明する図である。本開示の実施例７の仮想カメラ設定による見え方について説明する図である。情報処理装置のハードウェアの構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．双方向コミュニケーション処理の概要と、運動視差に基づく立体感提示効果について
　２．表示部の表示オブジェクトを、自然な奥行き感のある立体画像として表示する構成について
　３．本開示の情報処理装置の構成と処理について
　４．（実施例１）仮想カメラを半径Ｒの円状に移動させる実施例について
　５．情報処理装置の実行する処理シーケンスについて
　６．自装置の表示部に表示する表示用仮想視点画像生成処理を、自装置側で行う実施例について
　７．（実施例１の変形例１）仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について
　８．（実施例１の変形例２）仮想カメラ撮影方向設定点Ｃを被写体後方に配置した例について
　９．（実施例１の変形例３）仮想カメラを、仮想カメラ撮影方向設定点Ｃを中心とする半径Ｒの円上に位置させた例について
　１０．（実施例１の変形例４）仮想カメラ撮影方向設定点Ｃの位置を視聴ユーザ位置に応じて移動する設定とした例について
　１１．（実施例２）仮想視点画像を撮影する仮想カメラを直線状に移動させる実施例について
　１２．（実施例２の変形例１）仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について
　１３．（実施例３）仮想視点画像を撮影する仮想カメラを半径Ｒの垂直の円状に移動させる実施例について
　１４．（実施例４）仮想視点画像を撮影する仮想カメラを垂直な直線状に移動させる実施例について
　１５．（実施例５）仮想カメラの位置を被写体と視聴者の視線が一致する位置とする実施例について
　１６（実施例６）仮想カメラの位置を被写体と視聴者の視線が一致する位置とし、仮想カメラの動きを直線状に設定した実施例について
　１７．（実施例６の変形例１）仮想カメラの位置を被写体と視聴者間の視線が一致する位置とし、仮想カメラの軌跡を、仮想カメラと被写体間距離を一定に保つ設定とした実施例について
　１８．（実施例７）仮想カメラの位置を被写体と視聴者間を結ぶ直線上の位置（視聴者の後方等）にした実施例について
　１９．情報処理装置のハードウェア構成例について
　２０．本開示の構成のまとめ

　　［１．双方向コミュニケーション処理の概要と、運動視差に基づく立体感提示効果について］
　まず、双方向コミュニケーション処理の概要と、運動視差に基づく立体感提示効果について説明する。
　図１は、双方向コミュニケーションシステム構成の一例を示す図である。

　図１には、
　（１）第１ロケーション
　（２）第２ロケーション
　これらの２つのロケーションの構成例を示している。
　これら２つのロケーションは、各々離れた遠隔地にあり、各ロケーションにいるユーザ同士が、双方向コミュニケーションを行う。各ロケーションのシステム同士がネットワーク３０を介して接続されている。

　第１ロケーションには、ユーザＡがいる。
　また、第１ロケーションには、表示部（ディスプレイ）１１、カメラ１２ａ～ｃ、音声入出力部（マイク＆スピーカ）１３ａ～ｂを備えた情報処理装置１０がある。
　一方、第２ロケーションには、ユーザＢがいる。
　また、第２ロケーションには、表示部（ディスプレイ）２１、カメラ２２ａ～ｃ、音声入出力部（マイク＆スピーカ）２３ａ～ｂを備えた情報処理装置１０がある。

　第１ロケーションのカメラ１２ａ～ｃは、第１ロケーションのユーザＡを異なる方向から撮影する。
　情報処理装置１０内のデータ処理部は、これらの画像から送信用画像として、１つの仮想視点画像を生成しネットワーク３０を介して第２ロケーションの情報処理装置２０に送信する。
　第２ロケーションの情報処理装置２０の表示部２１には、第１ロケーションの情報処理装置１０が生成した１つの仮想視点画像が表示される。
　この仮想視点画像は、例えばユーザＢの視点からの観察画像である。ユーザＢの視点情報は、第２ロケーションのカメラ２２ａ～２２ｃによる撮影画像に基づいて、情報処理装置２０が解析し、この視点解析情報が第１ロケーションの情報処理装置１０に送信される。

　なお、第１ロケーションの音声入出力部（マイク＆スピーカ）１３ａ，ｂは、第１ロケーションのユーザＡの発話等を取得し、取得音声データが、ネットワーク３０を介して第２ロケーションの情報処理装置２０に送信される。
　第２ロケーションの情報処理装置２０は、第１ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）２３ａ，ｂを介して出力する。

　一方、第２ロケーションのカメラ２２ａ～ｃは、第２ロケーションのユーザＢを異なる方向から撮影する。
　情報処理装置２０内のデータ処理部は、これらの画像から送信用画像として、１つの仮想視点画像を生成しネットワーク３０を介して第１ロケーションの情報処理装置１０に送信する。
　第１ロケーションの情報処理装置１０の表示部１１には、第２ロケーションの情報処理装置２０が生成した１つの仮想視点画像が表示される。
　この仮想視点画像は、例えばユーザＡの視点からの観察画像である。ユーザＡの視点情報は、第１ロケーションのカメラ１２ａ～１２ｃによる撮影画像に基づいて、情報処理装置１０が解析し、この視点解析情報が第２ロケーションの情報処理装置２０に送信される。

　また、第２ロケーションの音声入出力部（マイク＆スピーカ）２３ａ，ｂは、第２ロケーションのユーザＢの発話等を取得し、取得音声データが、ネットワーク３０を介して第１ロケーションの情報処理装置１０に送信される。
　第１ロケーションの情報処理装置１０は、第２ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）１３ａ，ｂを介して出力する。

　このような処理により、第１ロケーションのユーザＡと、第２ロケーションのユーザＢは、遠隔地のユーザの画像と発話を表示部、スピーカを介して取得し、双方向コミュニケーションを行うことが可能となる。

　このような双方向コミュニケーション処理において、表示部１１，２１に表示されるユーザの表示画像として、仮想視点画像を用いることで、コミュニケーション相手が、その場にいるような臨場感を持ってコミュニケーションを行うことが可能となる。

　仮想視点画像を用いることで、表示部に表示された対話ユーザが、自分と同じロケーションで対面しているような感覚、すなわち立体感を持つ画像として提示することができる。
　この立体感の提示効果を与える視差として運動視差がある。
　図２以下を参照して運動視差に基づく立体感提示効果について説明する。
　人間は、視覚的な観察情報に基づいて、観察対象の立体構造、すなわち３次元構造を把握することができる。
　その１つが、左右の眼に観察される画像の視差、すなわち両眼視差である。
　さらに、もう１つが運動視差である。

　運動視差とは、観察者あるいは観察対象、いずれかの動きに応じて発生する視差である。例えば、電車の窓から外を観察した場合、近くのものは素早く動き、遠くの山などの風景はゆっくり動く。運動視差は、このように観察オブジェクト自体の動き、または観察者自身の動きによって、観察距離に応じて発生する視差であり、自分の近くにあるものと遠くにあるもの、すなわち被写体距離を判別して立体感を把握可能としている。
　なお、この運動視差は、両眼視差とは異なり、片目で観察した画像からも得られる視差であり、片目観察によっても立体感を把握することができる。

　運動視差による立体感の把握、および提示例について、図２、図３を参照して説明する。
　図２は、例えば、図１を参照して説明したシステムを利用したテレビ会議等を行っているユーザＡ，Ｂを示している。ユーザＡは、第１ロケーションにおり、ユーザＢは、遠隔地の第２ロケーションにいる。ユーザＢの画像や音声がネットワークを介して、ユーザＡのいる第１ロケーションに送信され、ユーザＢの顔が表示部（ディスプレイ）に表示され、ユーザＡとユーザＢ間で会話が行われる。

　図２には、以下の各図を示している。
　図２中央の（１）ユーザＡが表示部を正面から観察している場合
　図２左側の（２）ユーザＡが表示部を左斜めから観察している場合
　図２右側の（３）ユーザＡが表示部を右斜めから観察している場合

　ユーザＢのいる第２ロケーションにおいて、ユーザＢの顔の撮影を、ユーザＢの正面にある１台のカメラで行い、その撮影画像が、そのまま、第１ロケーションの表示部に表示する構成の場合、図２（１）～（３）に示すように、ユーザＡの観察位置が変化しても、ユーザＢの表示態様は全く変わらず、正面向きの顔、すなわち、ユーザＢを正面から見た顔（正面顔）の画像となる。
　このような表示処理を行なうと、ユーザＡは、ユーザＢを平面的な２次元画像としてしか観察できず、立体感を把握することができない。
　すなわち、運動視差による立体感の把握ができない。

　これに対して、運動視差による立体感の把握を可能とした表示態様の例を図３に示す。
　図３に示す３つの図は、図２と同様、以下の各図を示している。
　図３中央（１）ユーザＡが表示部を正面から観察している場合
　図３左側（２）ユーザＡが表示部を左斜めから観察している場合
　図３右側（３）ユーザＡが表示部を右斜めから観察している場合

　図３に示す表示部のユーザＢの表示態様は、以下の通りである。
　図３中央（１）ユーザＡが表示部を正面から観察している場合には、ユーザＢを正面から見た顔が表示されている。
　図３左側（２）ユーザＡが表示部を左斜めから観察している場合には、ユーザＢを左斜めから見た顔が表示されている。
　図３右側（３）ユーザＡが表示部を右斜めから観察している場合には、ユーザＢを右斜めから見た顔が表示されている。

　ユーザＡは、自身の視点の移動に応じて、ユーザＢを異なる方向から見ることができる。このようにあるオブジェクトを観察する観察者自身の動き、あるいは観察オブジェクトの動きに応じて見え方が異なる、すなわち視差が発生する。この視差が運動視差であり、この運動視差により観察者（ユーザＡ）は、観察オブジェクト（ユーザＢ）を立体的なオブジェクトとして把握することができる。

　図３に示す表示態様変更処理は、表示部の視聴者であるユーザＡの動きに応じて実行される。この表示制御は、先の項目［背景技術］の欄で説明した特許文献１（特開２０１４－８６７７５号公報）に記載された表示制御に相当する。
　具体的にはユーザＢを複数の異なる位置にあるカメラで撮影し、これらの複数の撮影画像に基づいて、ユーザＡの視点方向からの仮想画像を生成して表示する構成である。

　しかし、この方法では、ユーザＢの位置が、表示部の表示面位置に固定されてしまう。すなわち表示部を見ている視聴ユーザＡは、ユーザＢが、表示面（ディスプレイ面）に張り付いた位置に存在するように感じ、不自然な動きを示す３次元画像として観察されるという問題がある。

　例えば、表示部の表示面（ディスプレイ面）より奥側にユーザＢがいるような観察画像が得られれば、より自然な位置関係での立体感の把握が可能となると考えられる。
　以下、表示部に表示される人物等の表示オブジェクトを、より自然な奥行き感や立体感で表示することを可能とした本開示の処理について説明する。

　　［２．表示部の表示オブジェクトを、自然な奥行き感のある立体画像として表示する構成について］
　次に、本開示の情報処理装置が実行する処理、すなわち、表示部の表示オブジェクトを、自然な奥行き感のある立体画像として表示する構成について説明する。

　図４には、以下の２つの仮想視点画像撮影スメラの設定例を示している。
　（１）従来の仮想視点画像撮影カメラの設定例
　（２）本開示の仮想視点画像撮影カメラの設定例

　仮想視点画像として表示されるユーザは、ここではユーザＯとする。表示部に表示されるユーザＯを見る視聴者がユーザＡである。
　ユーザＡは、図に示すように様々な位置（ｐ１，ｐ２，ｐ３）から表示部のユーザＯを見る。

　表示部に表示する仮想視点画像は、ユーザＡの位置（＝仮想視点）に対応した仮想カメラによって撮影された仮想視点画像とする。
　この仮想視点画像は、先に図１を参照して説明した複数の異なる位置から撮影された画像の合成処理によって生成される。

　図４（１）は、上述した特許文献１（特開２０１４－８６７７５号公報）に記載された表示制御に相当する。
　視聴ユーザＡが位置ｐ１から表示部を見る場合、この位置ｐ１に仮想視点画像撮影カメラが設定され、この位置からユーザＯを撮影した画像が仮想視点画像として生成され、この仮想視点画像が視聴ユーザＡ側の表示部に表示される。
　また、視聴ユーザＡが位置ｐ２から表示部を見る場合、この位置ｐ２に仮想視点画像撮影カメラが設定され、この位置からユーザＯを撮影した画像が仮想視点画像として生成され、この仮想視点画像が視聴ユーザＡ側の表示部に表示される。
　さらに、視聴ユーザＡが位置ｐ３から表示部を見る場合、この位置ｐ３に仮想視点画像撮影カメラが設定され、この位置からユーザＯを撮影した画像が仮想視点画像として生成され、この仮想視点画像が視聴ユーザＡ側の表示部に表示される。

　図４（１）に示す仮想視点画像撮影カメラ設定例は、上述した特許文献１（特開２０１４－８６７７５号公報）に記載された表示制御に相当し、この結果、ユーザＯの位置は、表示部の表示面位置に固定されてしまう。すなわち、図３を参照して説明したように、ユーザＯの位置が表示面（ディスプレイ面）に張り付いたような不自然な動きを示す３次元画像として観察されるという問題がある。

　一方、図４（２）は、本開示の情報処理装置が実行する表示制御の一例に相当する。
　視聴ユーザＡが位置ｐ１から表示部を見る場合、図４（１）と同様、この位置ｐ１に仮想視点画像撮影カメラが設定されるが、この仮想視点画像撮影カメラの撮影方向はユーザＯではなく、ユーザＯの前方に設定された仮想カメラ撮影方向設定点Ｃとする。視聴ユーザＡが位置ｐ２，ｐ３から表示部を見る場合の仮想視点画像撮影カメラの設定も同様であり、各位置に設定される各仮想視点画像撮影カメラの撮影方向はユーザＯではなく、ユーザＯの前方に設定された仮想カメラ撮影方向設定点Ｃとする。

　このように、仮想視点画像撮影カメラの撮影方向を、ユーザＯではなく、ユーザＯの前方に設定された仮想カメラ撮影方向設定点Ｃとすることで、表示部に表示されるユーザＯを、先に図３を参照して説明した表示部表面に表示ユーザが張り付いたような表示とは異なる態様で表示することが可能となる。

　具体的には、表示部に表示されるユーザ等の表示オブジェクトを、自然な奥行き感のある立体画像として表示することが可能となる。
　具体的な表示例について、図５以下を参照して説明する。

　図５は、図４（２）に示す仮想視点画像撮影カメラ設定で生成した仮想視点画像の表示例を示す図である。
　図５には、先に図３を参照して説明したと同様、以下の各図を示している。
　図５中央（１）ユーザＡが表示部を正面から観察している場合（＝ユーザＡが、図４（２）の位置ｐ２から表示部を観察している場合）
　図５左側（２）ユーザＡが表示部を左斜めから観察している場合（＝ユーザＡが、図４（２）の位置ｐ１から表示部を観察している場合）
　図５右側（３）ユーザＡが表示部を右斜めから観察している場合（＝ユーザＡが、図４（２）の位置ｐ３から表示部を観察している場合）

　図５に示す表示部のユーザＯの表示態様は、以下の通りである。
　図５中央（１）ユーザＡが表示部を正面から観察している場合には、ユーザＯを正面から見た顔が表示されている。
　ユーザＯの表示位置は表示部の中央になる。

　図５左側（２）ユーザＡが表示部を左斜めから観察している場合には、ユーザＯを左斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の左側に移動する。これは、仮想画像撮影カメラの向きが、図４（２）に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より左側にずれた位置となる。

　また、図５右側（３）ユーザＡが表示部を右斜めから観察している場合には、ユーザＯを右斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の右側に移動する。これは、仮想画像撮影カメラの向きが、図４（２）に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より右側にずれた位置となる。

　視聴ユーザＡが、表示部に表示されるユーザＯをどのような位置にいると把握するかについて図６、図７を参照して説明する。
　図６は、図５と同様の図に合わせて、上段に表示部の表示面を上面から見た図と、視聴ユーザＡから、表示ユーザＯがどの位置に見えているかを示す図を追加した図である。

　図６（１）～（３）は図５（１）～（３）と同様、以下の各図である。
　中央（１）ユーザＡが表示部を正面から観察している場合（＝ユーザＡが、図４（２）の位置ｐ２から表示部を観察している場合）
　左側（２）ユーザＡが表示部を左斜めから観察している場合（＝ユーザＡが、図４（２）の位置ｐ１から表示部を観察している場合）
　右側（３）ユーザＡが表示部を右斜めから観察している場合（＝ユーザＡが、図４（２）の位置ｐ３から表示部を観察している場合）

　視聴ユーザＡが把握する表示ユーザＯの位置は、図６の上段に示すように、表示部の表示面から奥に離間した位置となる。
　図６左側（２）ユーザＡが表示部を左斜めから観察している場合には、ユーザＯを左斜めから見た顔が表示部の左側に表示され、図６中央（１）ユーザＡが表示部を正面から観察している場合には、ユーザＯを正面から見た顔が表示部の中央に表示され、図６右側（３）ユーザＡが表示部を右斜めから観察している場合には、ユーザＯを右斜めから見た顔が表示部の右側に表示される。
　この結果、視聴ユーザＡは、表示ユーザＯが、図６の上段に示すオブジェクト観察位置５０に位置するように把握することになる。
　すなわち、表示部の表示面より奥側の位置である。

　図７は、視聴ユーザＡが把握する具体的な表示ユーザＯの存在位置認識例を説明する図である。
　視聴ユーザＡは、例えばテーブル上に置かれた表示部の表示面より、さらに奥側に表示ユーザＯが位置していると把握することができ、より自然な奥行き感のある立体画像の表示がなされることになる。

　このように、図４（１）のような従来型の仮想視点画像撮影カメラの設定構成では、先に図３を参照して説明したように、表示ユーザは、表示面に張り付いた位置にあるように把握されてしまうが、図４（２）に示すように、仮想カメラ撮影方向設定点Ｃを表示ユーザＯと異なる位置に設定することで、表示ユーザＯを表示部の表示面から離れた位置に存在するように表示することが可能となり、自然な奥行き感のある立体画像の表示を行うことができる。

　　［３．本開示の情報処理装置の構成と処理について］
　次に、図８以下を参照して、本開示の情報処理装置の構成と処理について説明する。
　なお、本開示の情報処理装置は、先に図１を参照して説明したと同様の双方向コミュニケーションを実行する情報処理装置であり、図１の各ロケーションに設置される情報処理装置１０，２０と同様、表示部、カメラ、音声入出力部を有し、ネットワークを介して画像、音声、その他の情報を送受信することが可能に装置である。

　図８は、本開示の一実施例に係る画像処理装置１００の構成例を示すブロック図である。
　なお、図８には双方向コミュニケーションを実行する第１ロケーションの情報処理装置１００と、ネットワーク接続された遠隔の第２ロケーション情報処理装置１３０を示しており、さらに第１ロケーションの情報処理装置１００の詳細構成を示している。
　第２ロケーションの情報処理装置１３０の詳細構成は、第１ロケーションの情報処理装置１００の詳細構成と同様の構成である。

　第１ロケーションの情報処理装置１００は、センサ部（カメラ，デプスセンサ）１０１、ローカル情報処理部１０２、符号化部１０３、送信部１０４、受信部１０２５、復号部１０６、リモート情報処理部１０７、表示部１０８を有する。
　送信部１０４、受信部１０５は、ネットワーク１２０を介して双方向コミュニケーションを実行する遠隔の第２ロケーション情報処理装置１３０との通信を実行する。
　図８に示す構成は、情報処理装置における画像処理を実行する処理部を中心として示す情報処理装置の一部構成である。
　情報処理装置には、この他にも、音声処理の実行部や記憶部等、様々な構成が備えられている。なお、第２ロケーション情報処理装置１３０も同様である。

　センサ部（カメラ，デプスセンサ）１０１は、第１ロケーション側の双方向コミュニケーション実行ユーザの画像を撮影するカメラと、撮影されるユーザ（ローカルユーザ）の位置を測定する距離測定センサ（デプスセンサ）等によって構成される。
　なお、以下の説明において、自装置側をローカル側、自装置側のユーザをローカルユーザと呼び、コミュニケーション相手装置側をリモート側、相手装置側のユーザをリモートユーザと呼ぶ。

　なお、ユーザ位置は、複数の異なる位置に設置されたカメラの撮影画像に基づいても算出可能であり、デプスセンサを用いることなく、複数の異なる位置から被写体を撮影する複数カメラのみの構成としてもよい。
　具体的には、センサ部１０１は、以下のいずれかの構成であればよい。
　（ａ）複数の異なる位置から被写体を撮影する複数カメラ
　（ｂ）１台（以上）のカメラと１つのデプスセンサ

　（ａ）の構成は、例えは図１に示す３台のカメラ備えた構成に相当する。
　（ｂ）のように１台のカメラと１つのデプスセンサとしてもよい。
　センサ部１０１の検出したセンサ情報（カメラ撮影画像（＋デプス情報））は、ローカル情報処理部１０２に入力される。

　ローカル情報処理部１０２は、双方向コミュニケーションの相手装置、すなわち、第２ロケーション情報処理装置１３０側のユーザ（リモートユーザ）の視聴位置（仮想視点位置）から、第１ロケーション側のユーザ（ローカルユーザ）を見た場合の画像である仮想視点画像を生成する。

　ローカル情報処理部１０２は、センサ部１０１からの入力データとして、
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　少なくともこれら（ａ），（ｂ）のいずれかのセンサ情報を入力する。
　さらに、リモート情報処理部１０７から、第２ロケーションのユーザ（リモートユーザ）の位置情報に基づいて生成される仮想視点位置情報を入力する。
　ローカル情報処理部１０２は、これらの入力情報に基づいて、第２ロケーション情報処理装置１３０に送信する仮想視点画像を生成する。
　なお、ローカル情報処理部１０２は、第２ロケーション情報処理装置１３０側で、第１ロケーション情報処理装置１００の表示部に表示するリモートユーザの仮想視点画像を生成するために必要となるローカルユーザの視聴位置情報も生成する。

　これらの生成情報は、符号化部１０３において符号化（圧縮）処理された後、送信部１０４を介してネットワーク１２０経由で第２ロケーション情報処理装置１３０に送信される。

　受信部１０５は、第２ロケーション情報処理装置１３０が生成した仮想視点画像と、第２ロケーション側のユーザ（リモートユーザ）の視聴位置情報を、ネットワーク１２０を介して受信する。

　受信部１０５の受信データは、符号化（圧縮）データであり、復号部１０６において復号された後、リモート情報処理部１０７に入力される。
　リモート情報処理部１０７は、第２ロケーション情報処理装置１３０が生成した仮想視点画像を表示部１０８に表示し、さらに、第２ロケーション側のユーザ（リモートユーザ）の視聴位置情報に基づいて、第２ロケーションに送信する仮想視点画像を生成するために適用する仮想視点位置情報を生成してローカル情報処理部１１０２に入力する。

　表示部１０８は、第２ロケーション情報処理装置１３０が生成した仮想視点画像を表示部１０８に表示する。
　なお、表示部１０８に表示される仮想視点画像は、第１ロケーションのローカルユーザの視聴位置に応じて設定された仮想視点位置から観察した画像であり、具体的には、図４（２）を参照して説明した仮想カメラによって撮影された画像である。
　すなわち、カメラの撮影方向（光軸）を、図４（２）に示す仮想カメラ撮影方向Ｃに向けて撮影された画像である。

　第１ロケーションのローカルユーザの位置は、図４（２）に示すユーザＡの位置（ｐ１～ｐ３）に対応するとき、仮想視点画像の撮影カメラの撮影画像である仮想視点画像は、図４（２）に示すように各位置ｐ１～ｐ３の位置から、撮影方向（光軸）を仮想カメラ撮影方向Ｃに向けて撮影された画像となる。
　この結果、先に図５～図７を参照して説明したような表示画像、すなわち、表示部の表示面より奥側にコミュニケーシュン相手（リモートユーザ）が存在するような感覚の立体画像の観察が可能となる。

　図８に示す情報処理装置１００のローカル情報処理部１０２と、リモート情報処理部１０７の詳細構成と処理について、図９を参照して説明する。

　図９には、図８に示す情報処理装置１００の構成要素であるローカル情報処理部１０２と、リモート情報処理部１０７の詳細構成を示している。
　図９に示すように、ローカル情報処理部１０２は、ローカルユーザ視聴位置検出部１５１と、送信用仮想視点画像生成部１５２を有する。
　また、リモート情報処理部１０７は、リモート側仮想視点位置算出部１６１を有する。

　図９に示すように、ローカル情報処理部１０２は、センサ部１０１からローカル側センサ情報１７１を入力する。
　ローカル側センサ情報１７１には、以下の（ａ），（ｂ）のいずれかの情報が含まれる。
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　ローカル情報処理部１０２は、少なくともこれら（ａ），（ｂ）のいずれかを含むローカル側センサ情報１７１を入力する。
　さらに、リモート情報処理部１０７から、第２ロケーションのユーザ（リモートユーザ）の位置情報に基づいて生成されるリモート側仮想視点位置情報１８３を入力する。

　なお、このリモート側仮想視点位置情報１８３は、リモート側の情報処理装置に送信する仮想視点画像の撮影カメラ位置を示す情報である。
　なお、このリモート側仮想視点位置情報１８３は、リモートユーザの視聴位置、すなわち、リモート側の情報処理装置から送信される図９に示す受信リモートユーザ視聴位置情報１８１に一致する場合としない場合がある。

　図４（２）に示す設定では、視聴位置（ｐ１～ｐ３）と仮想視点画像を撮影する仮想視点画像撮影カメラの位置は一致しているが、これは、一例であり、本願の構成では、表示部を見る視聴ユーザの視聴位置と、表示部に表示される仮想視点画像の撮影視点（＝仮想画像撮影カメラの位置）とが異なる場合がある。この具体例については後段で説明する。

　リモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、リモート側の情報処理装置から受信する受信リモートユーザ視聴位置情報１８１に基づいて、予め既定されたアルゴリズムに従ってリモート側仮想視点位置情報１８３を算出する。
　すなわちリモート側で表示部を見ている視聴ユーザであるリモートユーザの視聴位置（受信リモートユーザ視聴位置情報１８１）を入力して、リモート側の表示部に表示する仮想視点画像の撮影位置となる仮想視点位置（リモート側仮想視点位置情報１８３）を算出する。

　リモート側仮想視点位置情報１８３は、例えば表示部の表示面の中心位置を含む水平面（ｘｚ平面）の座標情報である。
　具体的には、例えば予め規定した原点を（ｘ，ｚ）＝（０，０）、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ平面における座標情報（ｘ，ｚ）である。
　この座標情報の生成、利用例については後段で説明する。

　ローカル情報処理部１０２の送信用仮想視点画像生成部１５２は、
　センサ部１０１から入力するローカル側センサ情報１７１、すなわち、
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　上記（ａ），（ｂ）のいずれかの情報を入力し、さらに、
　リモート情報処理部１０７のリモート側仮想視点位置算出部１６１から、
　リモート側仮想視点位置情報１８３
　を入力する。

　ローカル情報処理部１０２の送信用仮想視点画像生成部１５２は、これらの入力情報に基づいて、リモート側の情報処理装置に送信する仮想視点画像、すなわち図９に示す送信用仮想視点画像１７３を生成する。
　この送信用仮想視点画像１７３は、リモート側仮想視点位置情報１８３に対応する仮想視点位置から観察した画像である。
　具体的には、例えば図４（２）の仮想視点画像撮影カメラによって撮影される仮想視点画像である。

　さらに、ローカル情報処理部１０２のローカルユーザ視聴位置検出部１５１は、センサ部１０１から入力するローカル側センサ情報１７１、すなわち、
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　上記（ａ），（ｂ）のいずれかの情報を入力し、これらの入力情報に基づいて、ローカルユーザの視聴位置情報を生成する。図９に示す送信用ローカルユーザ視聴位置情報１７２である。

　ユーザ視聴位置情報は、前述のリモート側仮想視点位置情報１８３と同様、例えば、表示部の表示面の中心位置を含む水平面をｘｚ平面とした座標情報である。
　予め規定した原点を（ｘ，ｚ）＝（０，０）、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ平面における座標情報（ｘ，ｚ）として生成する。
　この座標情報の生成、利用例については後段で説明する。

　ローカル情報処理部１０２の生成した送信用ローカルユーザ視聴位置情報１７２と、送信用仮想視点画像１７３は、符号化部１０３において符号化（圧縮）され、リモート側の情報処理装置、すなわち、図８に示す第２ロケーション情報処理装置１３０に送信される。

　　［４．（実施例１）仮想カメラを半径Ｒの円状に移動させる実施例について］
　次に、実施例１として、仮想視点画像を撮影するカメラである仮想カメラを半径Ｒの円状に移動させる実施例について説明する。

　図１０を参照して、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１が実行するリモート側仮想視点位置情報１８３の生成処理の具体例について説明する。
　図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、リモート側から受信する受信リモートユーザ視聴位置情報１８１に基づいて、リモート側仮想視点位置情報１８３を生成する。

　図９に示すローカル情報処理部１０２の送信用仮想視点画像生成部１５２は、このリモート側仮想視点位置情報１８３に基づいて、このリモート側仮想視点位置から撮影したと仮定される仮想視点画像を生成する。

　図１０は、先に図４（２）を参照して説明した設定と同様の設定において、仮想視点画像撮影カメラの位置（仮想カメラ位置）を算出する具体的手順を説明する図である。
　図１０左上部の図は、図４（２）を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図１０左上部の図には、ｘｚ平面座標の座標軸であるｘ軸とｚ軸を示している。
　撮影オブジェクトＯの位置を含む水平面をｘｚ平面とした座標情報である。
　図１０には、撮影オブジェクトＯの位置を原点（ｘ，ｚ）＝（０，０）として、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ座標軸（ｘ軸，ｚ軸）を示している。

　なお、撮影オブジェクトＯの位置を原点とした水平面であるｘｚ平面は、撮影オブジェクトＯが表示されるリモート側の表示装置、すなわち視聴ユーザＡが存在するリモート側の空間では、例えばリモート側装置の表示部の表示面に垂直な水平面に相当する。

　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。この視聴ユーザ位置情報は、リモート側の情報処理装置において計測され、ローカル側情報処理装置において受信する情報である。図９に示す受信リモートユーザ視聴位置情報１８１に相当する。

　なお、座標の設定情報や、視聴ユーザの推定移動円の半径Ｒ等の設定情報、さらに、先に図４（２）を参照して説明した仮想カメラ撮影方向設定点Ｃの位置情報等は、双方向コミュニケーション処理を実行する情報処理装置間で、予め決定し共有する。
　これらの情報は、コミュニケーション開始前に実行するコミュニケーション準備処理において双方で決定し、共有する。
　なお、具体的な処理シーケンスについては、後段でフローチャートを参照して説明する。

　図１０を参照して、仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。
　図１０の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラの設定位置の算出例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図１０左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_１，ｚ_１）、
　とする。
　なお、視聴ユーザＡの位置は、リモート側から受信する受信リモートユーザ視聴位置情報１８１に相当する。

　この時、仮想カメラの軌跡、すなわち、仮想視点画像を生成する仮想カメラの移動経路を示すカメラ座標（ｘ_１，ｚ_１）の軌跡は、
　ｘ^２＋ｚ^２＝Ｒ^２
　上記式を満足する座標（ｘ_１，ｚ_１）となる。
　なお、Ｒは、被写体Ｏを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。
　このパラメータ決定、共有処理については、図１１以下に示すフローチャートを参照した説明において詳細に説明する。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向けた設定とする。
　なお、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離ｃの正負の設定は以下の設定とする。
　被写体Ｏより前方（視聴ユーザＡに近づく方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが＋の値、すなわち、ｃ＞０とする。
　一方、被写体Ｏより後方（視聴ユーザＡから離れる方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが－の値、すなわち、ｃ＜０とする。
　なお、この仮想カメラ撮影方向設定点Ｃは、上述の半径Ｒと同様、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　（ｂ）仮想カメラの設定位置の算出例
　次に、仮想視点画像を撮影する仮想カメラの設定位置の算出処理について説明する。
　視聴ユーザＡの位置、すなわち、リモート側から受信する受信リモートユーザ視聴位置情報１８１を（ｘ_０，ｚ_０）とする。
　図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、この受信リモートユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_１，ｚ_１）を以下の手順で算出する。

　なお、視聴ユーザＡは、被写体Ｏを中心とする半径Ｒの円の軌跡を必ずしも辿らないが、仮想カメラは、被写体Ｏを中心とする半径Ｒの円の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）が仮想カメラの中心座標位置となる。
　なお、被写体Ｏと視聴ユーザＡを接続する直線ＯＡは、同一空間に被写体Ｏと視聴ユーザＡが存在すると想定した場合の直線であり、視聴ユーザＡ側の装置の表示部に表示される被写体Ｏの仮想的な位置と視聴ユーザＡの実際の位置を結ぶ直線に相当する。

　ここで、仮想カメラ位置（ｘ_１，ｚ_１）と、視聴ユーザ位置（ｘ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｘ_１ ^２＋ｚ_１ ^２＝Ｒ^２

　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
　ｚ_１＝Ｒｚ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
となり、
　仮想カメラ位置（ｘ_１，ｚ_１）が求まる。

　図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、上述した手順に従って、リモート側から受信する受信リモートユーザ視聴位置情報１８１を（ｘ_０，ｚ_０）に基づいて、仮想カメラ位置（ｘ_１，ｚ_１）を算出する。
　この仮想カメラ位置（ｘ_１，ｚ_１）が、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の出力情報であるリモート側仮想視点位置情報１８３となる。

　図９に示すローカル情報処理部１０２の送信用仮想視点画像生成部１５２は、このリモート側仮想視点位置情報１８３、すなわち、仮想カメラ位置（ｘ_１，ｚ_１）を入力し、この仮想カメラ位置（ｘ_１，ｚ_１）から撮影したと過程される仮想視点画像を生成する。この仮想視点画像の生成処理には、センサ部１０１から入力するセンサ情報、すなわち、
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　上記（ａ），（ｂ）のいずれかの情報が利用される。

　ただし、送信用仮想視点画像生成部１５２の生成する仮想視点画像は、仮想カメラ位置（ｘ_１，ｚ_１）から、予め規定した仮想カメラ撮影方向設定点Ｃを撮影方向（光軸方向）として設定して撮影した画像である。
　この結果、先に図５～図７を参照して説明したような表示画像、すなわち、表示部の表示面より奥側にコミュニケーシュン相手（リモートユーザ）が存在するような感覚の立体画像の観察が可能となる。

　　［５．情報処理装置の実行する処理シーケンスについて］
　次に、図１１以下のフローチャートを参照して情報処理装置の実行する処理シーケンスについて説明する。

　図１１に示すフローチャートは、情報処理装置が、遠隔の第２の情報処理装置との間で双方向コミュニケーションを実行する場合の全体シーケンスを説明するフローチャートである。
　なお、図１１以下に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を持つＣＰＵ等を備えたデータ処理部の制御の下に実行される。
　図１１に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、情報処理装置は、双方向コミュニケーションを実行する第２ロケーションの情報処理装置との通信接続処理を実行する。

　　（ステップＳ１０２）
　ステップＳ１０１において、双方向コミュニケーションを実行する２つの情報処理装置間の通信接続が完了すると、情報処理装置は、次に、ステップＳ１０２において、コミュニケーション準備処理を実行する。

　このコミュニケーション準備処理では、例えば先に図１０を参照して説明した座標設定情報等、双方向コミュニケーションを行う情報処理装置間で利用するパラメータ等の決定、共有処理を行なう。
　このコミュニケーション準備処理の詳細については、図１２を参照して後段で説明する。

　　（ステップＳ１０３）
　ステップＳ１０２において、双方向コミュニケーションを実行する２つの情報処理装置間で、利用パラメータ等の決定、共有処理等の準備処理が完了すると、情報処理装置は、次に、ステップＳ１０３において、コミュニケーション処理を実行する。

　このコミュニケーション処理において、情報処理装置は、通信相手側の視聴ユーザの視聴位置対応の仮想視点画像の生成、送信処理等を実行する。
　このコミュニケーション処理の詳細については、図１３を参照して後段で説明する。

　　（ステップＳ１０４）
　次に、ステップＳ１０４において、情報処理装置は、コミュニケーションの終了判定を行ない、終了する場合は、ステップＳ１０５に進む。終了せずコミュニケーションを継続する場合は、ステップＳ１０３に戻りコミュニケーションの実行処理を継続する。

　　（ステップＳ１０５）
　ステップＳ１０４において、コミュニケーションを終了すると判定した場合は、ステップＳ１０５に進み、ステップＳ１０５において、コミュニケーション相手装置との通信接続を解除する通信切断処理を実行して処理を終了する。

　次に、図１２に示すフローチャートを参照して、図１１のフローにおけるステップＳ１０２のコミュニケーション準備処理の詳細シーケンスについて説明する。
　先に説明したように、図１１のフローにおけるステップＳ１０２のコミュニケーション準備処理では、例えば先に図１０を参照して説明した座標設定情報等、双方向コミュニケーションを行う情報処理装置間で利用するパラメータ等の決定、共有処理を行なう。
　図１２に示すフローの各ステッブの処理について説明する。

　　（ステップＳ１２１）
　まず、情報処理装置は、双方向コミュニケーション処理を実行する情報処理装置間で撮影画像を送受信する。
　双方の視聴ユーザ（＝相手側の表示ユーザ）を撮影した画像の送受信を行う。

　　（ステップＳ１２２）
　次に、情報処理装置は、仮想視点画像の生成に必要となるパラメータの決定、共有処理を実行する。
　なお、パラメータ決定処理は、双方向コミュニケーション処理を実行する２つの情報処理装置のいずれか一方において実行し、決定したパラメータを相手方に送信する構成としてもよい。

　決定し共有するパラメータは。例えば以下のパラメータである。
　（１）座標設定情報
　（２）視聴ユーザ推定移動軌跡情報
　（３）仮想カメラ撮影方向設定点Ｃの位置

　図１２の右側の２つの図は、２つのパラメータ設定例１，２を示す。
　パラメータ設定例１は、先に図１０を参照して説明したと同様、視聴ユーザＡが表示ユーザの位置を中心とした半径Ｒの円上を移動すると想定した例である。
　座標は、ユーザＯの位置を原点とした水平面をｘｚ平面として、表示部表示面に平行な方向をｘ軸、垂直方向をｚ軸として設定した座標設定である。
　視聴ユーザ推定移動軌跡は、例えば、原点（ｘ，ｚ）＝（０，０）を中心とした半径Ｒの円である。
　仮想カメラ撮影方向設定点Ｃの位置は、図１２に示す（ｘ_ｃ，ｚ_ｃ）の位置となる。
　双方向コミュニケーションを実行する少なくとも一方の情報処理装置は、例えばこれらのパラメータを決定し、相手方に決定パラメータを通知し、双方の情報処理装置間でパラメータを共有する処理を行なう。

　パラメータ設定例２は、先に図１０を参照して説明した例と異なり、視聴ユーザＡが表示ユーザの位置から表示面垂直方向に距離Ｒの位置を表示面に平行に移動すると想定した例である。
　座標は、ユーザＯの位置を原点とした水平面をｘｚ平面として、表示部表示面に平行な方向をｘ軸、垂直方向をｚ軸として設定した座標設定である。
　視聴ユーザ推定移動軌跡は、表示ユーザの位置（原点（ｘ，ｚ）＝（０，０））から表示面垂直方向に距離Ｒの位置の表示面に平行なラインである。
　仮想カメラ撮影方向設定点Ｃの位置は、図に示す（ｘ_ｃ，ｚ_ｃ）の位置となる。
　双方向コミュニケーションを実行する少なくとも一方の情報処理装置は、例えばこれらのパラメータを決定し、相手方に決定パラメータを通知し、双方の情報処理装置間でパラメータを共有する処理を行なう。

　図１１に示すフローのステップＳ１０２におけるコミュニケーション準備処理では、これらのパラメータの決定、共有処理が実行される。
　これらの処理の後、ステップＳ１０３のコミュニケーション処理が開始される。

　次に、図１１に示すフロー中のステップＳ１０３の処理、すなわちコミュニケーション処理の詳細シーケンスについて図１３に示すフローチャートを参照して説明する。
　コミュニケーション処理において、情報処理装置は、通信相手側の視聴ユーザの視聴位置対応の仮想視点画像の生成、送信処理等を実行する。
　以下、図１３に示すフローの各ステップの処理について、順次説明する。

　なお、図１３に示すフローにおいて、
　ステップＳ１３１～１３２の処理、
　ステップＳ１４１～Ｓ１４２の処理、
　ステップＳ１５１～Ｓ１５２の処理、
　これらの各処理は、並列に実行される。
　また、ステップＳ１４３～Ｓ１４４の処理は、ステップＳ１５１～Ｓ１５２の処理と並列に実行される。

　　（ステップＳ１３１）
　情報処理装置は、ステップＳ１３１において、センサ情報の取得処理を行なう、具体的には、双方向コミュニケーションの自装置側の利用ユーザであるローカルユーザの撮影画像を取得する。
　画像撮影は、先に図１を参照して説明したように、例えば異なる位置に設置された複数のカメラによって実行される。
　なお、１つのカメラの撮影画像と、デプス情報（距離情報）を取得する設定としてもよい。

　　（ステップＳ１３２）
　次に情報処理装置は、ステップＳ１３２において、ローカルユーザの視聴位置を検出する。ステップＳ１３１で取得したセンサ情報、すなわち、
　複数の異なる位置からの撮影画像、あるいは、
　１つのカメラの撮影画像とデプス情報、
　上記いずれかのセンサ情報に基づいて、ローカルユーザの視聴位置を検出する。

　　（ステップＳ１４１）
　情報処理装置は、ステップＳ１３１～Ｓ１３２の処理に並列にステップＳ１４１～Ｓ１４２の処理を実行する。
　まず、ステップＳ１４１において、双方向コミュニケーションの相手装置側の利用ユーザであるリモートユーザの視聴位置情報を受信取得する。
　この情報は、リモート側の情報処理装置において生成、送信された情報である。

　　（ステップＳ１４２）
　次に、情報処理装置は、ステップＳ１４１においてリモート側装置から受信したリモートユーザ視聴位置情報に基づいて、リモート装置に送信する仮想視点画像の仮想視点位置を算出する。

　この処理は、先に、図９を参照して説明したリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の実行する処理である。リモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、リモート側の情報処理装置から受信する受信リモートユーザ視聴位置情報１８１に基づいて、予め既定されたアルゴリズムに従ってリモート側仮想視点位置情報１８３を算出する。

　すなわちリモート側で表示部を見ている視聴ユーザであるリモートユーザの視聴位置（受信リモートユーザ視聴位置情報１８１）を入力して、リモート側の表示部に表示する仮想視点画像の撮影位置となる仮想視点位置（リモート側仮想視点位置情報１８３）を算出する。具体的には、先に図１０を参照して説明した仮想カメラ位置（ｘ_１，ｚ_１）を算出する。

　　（ステップＳ１４３）
　次に、情報処理装置は、ステップＳ１４３において、リモートユーザの仮想視点位置対応のローカルユーザの仮想視点画像を生成する。

　この処理は、先に図９を参照して説明したローカル情報処理部１０２の送信用仮想視点画像生成部１５２の実行する処理である。
　ローカル情報処理部１０２の送信用仮想視点画像生成部１５２は、ステップＳ１３１で取得したセンサ情報（画像等）と、ステップＳ１４２で算出した仮想視点位置（リモート側仮想視点位置情報１８３）、これらの入力情報に基づいて、リモート側の情報処理装置に送信する仮想視点画像、すなわち図９に示す送信用仮想視点画像１７３を生成する。

　この送信用仮想視点画像１７３は、リモート側仮想視点位置情報１８３に対応する仮想視点位置から観察した画像である。
　具体的には、例えば図４（２）の仮想視点画像撮影カメラによって撮影される仮想視点画像であり、撮影方向（光軸方向）を仮想カメラ撮影方向設定点Ｃに設定した撮影された仮想視点画像である。
　この仮想視点画像は、図５～図７を参照して説明したように、表示部において表示された場合、表示ユーザが表示部の表示面より奥側に位置するように観察される３次元画像データである。

　　（ステップＳ１４４）
　次に、情報処理装置は、ステップＳ１４４において、ステップＳ１３２で検出したローカルユーザの視聴位置情報と、ステップＳ１４３で生成した送信用仮想視点画像、すなわちリモートユーザの視聴位置に基づいて算出した仮想視点対応の仮想視点画像をリモート側の情報処理装置に送信する。

　　（ステップＳ１５１）
　ステップＳ１５１～Ｓ１５２の処理は、ステップＳ１３１～Ｓ１３２、ステップＳ１４１～Ｓ１４４の処理と並列に行われる処理である。

　情報処理装置は、ステップＳ１５１において、リモート側の次用法処理装置から送信されるリモートユーザの仮想視点画像を受信する。
　この仮想視点画像は、リモート側の装置において、図１３のフローのステップＳ１３１～Ｓ１３２、ステップＳ１４１～Ｓ１４４の処理と同様の処理が行われ、生成されたリモートユーザが含まれる仮想視点画像である。
　仮想視点位置は、ローカルユーザの視聴位置に基づいて算出された仮想視点となる。

　　（ステップＳ１５２）
　情報処理装置は、ステップＳ１５２において、ステップｓ１５１でリモート情報処理装置から受信した仮想視点画像を表示部に表示する。
　この仮想視点画像は、ローカルユーザの視聴位置に基づいて算出された仮想視点から撮影された画像に相当する画像である。

　具体的には、例えば図４（２）に示す仮想視点画像撮影カメラからの撮影画像に相当する。
　先に図４（２）を参照して説明したように、この仮想視点画像は、仮想カメラ撮影方向設定点Ｃに、カメラを向けて撮影した画像に相当し、図５～図７を参照して説明したように、表示ユーザ（リモートユーザ）は表示部の表示面より奥側に位置する３次元画像データとして表示される。

　　［６．自装置の表示部に表示する表示用仮想視点画像生成処理を、自装置側で行う実施例について］
　図１３に示すフローチャートに従ったコミュニケーション処理は、自装置の表示部に表示する表示用仮想視点画像の生成処理を相手装置（リモート装置）において実行し、相手装置（リモート装置）の生成した仮想視点画像を、自装置（ローカル装置）が受信して、自装置（ローカル装置）の表示部に表示するシーケンスである。

　この処理は、先に図９を参照して説明したローカル情報処理装置１０２と、リモート情報処理装置１０７の構成に対応した処理である。

　次に、自装置の表示部に表示する表示用仮想視点画像の生成処理を自装置側で行う実施例について、図１４、図１５を参照して説明する。

　図１４は、本実施例におけるローカル情報処理部１０２と、リモート情報処理部１０７の詳細構成と処理について説明する図である。
　なお、図１４に示すローカル情報処理部１０２と、リモート情報処理部１０７は、図８に示す情報処理装置１００の構成要素である。

　図１４に示すように、ローカル情報処理部１０２は、ローカルユーザ視聴位置検出部２０１と、ローカル側仮想視点位置算出部２０２を有する。
　また、リモート情報処理部１０７は、表示用仮想視点画像生成部２１１を有する。

　図１４に示すように、ローカル情報処理部１０２は、センサ部１０１からローカル側センサ情報２３１を入力する。
　ローカル側センサ情報２３１には、以下の（ａ），（ｂ）のいずれかの情報が含まれる。
　（ａ）複数の異なる位置からローカルユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（ローカルユーザ）距離情報、
　ローカル情報処理部１０２は、少なくともこれら（ａ），（ｂ）のいずれかを含むローカル側センサ情報２３１を入力する。

　これらのセンサ情報２３１は、符号化部１０３において符号化され、リモート側の情報処理装置にそのまま送信される。
　さらに、ローカル情報処理部１０２のローカルユーザ視聴位置検出部２０１に入力される。

　ローカル情報処理部１０２のローカルユーザ視聴位置検出部２０１は、センサ部１０１から入力する上記（ａ），（ｂ）のいずれかの情報を入力し、これらの入力情報に基づいて、ローカルユーザの視聴位置情報を生成する。図１４に示すローカルユーザ視聴位置情報２３２である。

　ユーザ視聴位置情報は、先に図１０を参照して説明したように、例えば、表示部の表示面の中心位置を含む水平面をｘｚ平面とした座標情報である。
　予め規定した原点を（ｘ，ｚ）＝（０，０）、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ平面における座標情報（ｘ，ｚ）として生成する。

　ローカルユーザ視聴位置検出部２０１の生成したローカルユーザ視聴位置情報２３２は、ローカル情報処理部１０２のローカル側仮想視点位置算出部２０２に入力される。

　ローカル側仮想視点位置算出部２０２は、ローカルユーザ視聴位置情報２３２に基づいて、予め既定されたアルゴリズムに従ってローカル側仮想視点位置情報２３３を算出する。
　すなわち自装置のローカル側で表示部を見ている視聴ユーザであるローカルユーザの視聴位置（ローカルユーザ視聴位置情報２３２）を入力して、自装置（ローカル）側の表示部に表示する仮想視点画像の撮影位置となる仮想視点位置（ローカル側仮想視点位置情報２３３）を算出する。

　ローカル側仮想視点位置情報２３３は、例えば表示部の表示面の中心位置を含む水平面をｘｚ平面とした座標情報である。
　予め規定した原点を（ｘ，ｚ）＝（０，０）、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ平面における座標情報（ｘ，ｚ）として生成する。

　ローカル側仮想視点位置算出部２０２が算出したローカル側仮想視点位置情報２３３は、リモート情報処理部１０７の表示用仮想視点画像生成部２１１に入力される。

　リモート情報処理部１０７の表示用仮想視点画像生成部２１１は、
　リモート側情報処理装置から受信するセンサ情報２３４、すなわち、
　（ａ）複数の異なる位置からリモートユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（リモートユーザ）距離情報、
　上記（ａ），（ｂ）のいずれかの情報を入力し、さらに、
　ローカル側仮想視点位置算出部２０２が算出したローカル側仮想視点位置情報２３３を入力する。

　リモート情報処理部１０７の表示用仮想視点画像生成部２１１は、これらの入力情報に基づいて、自装置（ローカル）側の表示部に表示する仮想視点画像、すなわち図１４に示す表示用仮想視点画像２３５を生成して、表示部１０８に表示する。
　この表示用仮想視点画像２３５は、ローカル側仮想視点位置情報２３３に対応する仮想視点位置から観察した画像である。
　具体的には、例えば図４（２）の仮想視点画像撮影カメラによって撮影される仮想視点画像である。

　先に説明した図９の構成は、リモート側から受信する仮想視点画像をそのまま表示する構成であったが、この図１４に示す構成では、リモート側から受信するセンサ情報（画像、または画像とデプス情報）を利用して、自装置側で、表示用の仮想視点画像を生成する構成である。

　この構成において情報処理装置の実行する処理シーケンスは、先に説明した図１１に従った処理となり、ステップＳ１０２のコミュニケーション準備処理は、先に図１２を参照して説明したフローに従った処理となる。
　ただし、ステップＳ１０３のコミュニケーション処理は、先に説明した図１３に示すフローとは異なるシーケンスとなる。

　図１４の構成を適用した場合のステップＳ１０３のコミュニケーション処理の詳細シーケンスについて、図１５に示すフローチャートを参照して説明する。
　図１４の構成を適用した場合、コミュニケーション処理において、情報処理装置は、自装置側の視聴ユーザの視聴位置対応の仮想視点画像の生成、表示処理等を実行する。
　以下、図１５に示すフローの各ステップの処理について、順次説明する。

　　（ステップＳ１７１）
　情報処理装置は、ステップＳ１７１において、センサ情報の取得処理を行なう、具体的には、双方向コミュニケーションの自装置側の利用ユーザであるローカルユーザの撮影画像を取得する。
　画像撮影は、先に図１を参照して説明したように、例えば異なる位置に設置された複数のカメラによって実行される。
　なお、１つのカメラの撮影画像と、デプス情報を取得する設定としてもよい。

　　（ステップＳ１７２）
　次に情報処理装置は、ステップＳ１７２において、ステップＳ１７１で取得したセンサ情報をリモート側の情報処理装置に送信する。

　　（ステップＳ１８１）
　情報処理装置は、ステップＳ１８１において、ローカルユーザの視聴位置を検出する。ステップＳ１７１で取得したセンサ情報、すなわち、
　複数の異なる位置からの撮影画像、あるいは、
　１つのカメラの撮影画像とデプス情報、
　上記いずれかのセンサ情報に基づいて、ローカルユーザの視聴位置を検出する。

　　（ステップＳ１８２）
　次に、情報処理装置は、ステップＳ１８２において、ステップＳ１８１で取得したローカルユーザ視聴位置情報に基づいて、ローカルユーザの仮想視点位置を算出する。

　この処理は、先に、図１４を参照して説明したローカル情報処理部１０２のローカル側仮想視点位置算出部２０２の実行する処理である。ローカル情報処理部１０２のローカル側仮想視点位置算出部２０２は、ローカルユーザ視聴位置検出部２０１が生成したローカルユーザ視聴位置情報２３２に基づいて、予め既定されたアルゴリズムに従ってローカル側仮想視点位置情報２３２を算出する。

　すなわち自装置側（ローカル側）で表示部を見ている視聴ユーザであるローカルユーザの視聴位置（ローカルユーザ視聴位置情報２３２）を入力して、ローカル側の表示部に表示する仮想視点画像の撮影位置となる仮想視点位置（ローカル側仮想視点位置情報２３３）を算出する。具体的には、先に図１０を参照して説明した仮想カメラ位置（ｘ_１，ｚ_１）を算出する。

　　（ステップＳ１９１）
　ステップＳ１９１は、リモート側情報処理装置からのセンサ情報の受信処理である。
　具体的には、
　（ａ）複数の異なる位置からリモートユーザを撮影した画像、あるいは、
　（ｂ）１枚の画像と、被写体（リモートユーザ）距離情報、
　上記（ａ），（ｂ）のいずれかの情報を受信する。

　　（ステップＳ１９２）
　次に、情報処理装置は、ステップＳ１９２において、ローカルユーザの仮想視点位置対応のリモートユーザの仮想視点画像を生成する。

　この処理は、先に図１４を参照して説明したリモート情報処理部１０７の表示用仮想視点画像生成部２１１の実行する処理である。
　リモート情報処理部１０７の表示用仮想視点画像生成部２１１は、ステップＳ１９１で取得したリモート側のセンサ情報（画像等）と、ステップＳ１８２で算出した仮想視点位置（ローカル側仮想視点位置情報２３３）、これらの入力情報に基づいて、自装置（ローカル）側の表示部に表示する仮想視点画像、すなわち図１４に示す表示用仮想視点画像２３５を生成する。

　この表示用仮想視点画像２３５は、ローカル側仮想視点位置情報２３３に対応する仮想視点位置から観察した画像である。
　具体的には、例えば図４（２）の仮想視点画像撮影カメラによって撮影される仮想視点画像である。

　　（ステップＳ１９３）
　次に、情報処理装置は、ステップＳ１９３において、ステップＳ１９２で生成した表示用仮想視点画像、すなわちローカルユーザの視聴位置に基づいて算出した仮想視点対応の仮想視点画像を自装置（ローカル）側の表示部に表示する。

　表示部に表示される仮想視点画像は、ローカルユーザの視聴位置に基づいて算出された仮想視点から撮影された画像に相当する画像である。
　具体的には、例えば図４（２）に示す仮想視点画像撮影カメラからの撮影画像に相当する。
　先に図４（２）を参照して説明したように、この仮想視点画像は、仮想カメラ撮影方向設定点Ｃに、カメラを向けて撮影した画像に相当し、図５～図７を参照して説明したように、表示ユーザ（リモートユーザ）は表示部の表示面より奥側に位置する３次元画像データとして表示される。

　　［７．（実施例１の変形例１）仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について］
　次に実施例１の変形例１（バリエーション１）として、仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について説明する。

　仮想視点画像の撮影位置に相当する仮想カメラ位置の算出処理の具体例として、先に図１０を参照して説明した。
　この図１０に示す仮想カメラ位置の算出処理を、簡易化した処理について、図１６を参照して説明する。

　図１６に示す左上部の図も、先に説明した図１０と同様、図４（２）を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図１６左上部の図には、ｘｚ平面座標の座標軸であるｘ軸とｚ軸を示している。
　表示部の表示面の中心位置を含む水平面をｘｚ平面とした座標情報である。
　図１６には、撮影オブジェクトＯの位置を原点（ｘ，ｚ）＝（０，０）として、表示部表示面に平行な方向をｘ、表示部表示面に垂直な方向（離間方向）をｚとしたｘｚ座標軸（ｘ軸，ｚ軸）を示している。

　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。なお、座標の設定情報や、視聴ユーザの推定移動円の半径Ｒ等の設定情報、さらに、先に図４（２）を参照して説明した仮想カメラ撮影方向設定点Ｃの位置情報等は、双方向コミュニケーション処理を実行する情報処理装置間で、予め決定し共有する。
　これらの情報は、図１１、図１２のフローを参照して説明したようにコミュニケーション開始前に実行するコミュニケーション準備処理において双方で決定し、共有する。
　図１６の右側に、仮想カメラの設定位置の算出処理の手順を示している。

　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_１，ｚ_１）を以下の手順で算出する。

　なお、視聴ユーザＡは、被写体Ｏを中心とする半径Ｒの円の軌跡を必ずしも辿らないが、仮想カメラは、被写体Ｏを中心とする半径Ｒの円の軌跡を辿るものと近似して処理を実行する。
　図１６に示す仮想カメラ位置算出処理例では、視聴ユーザＡの中心座標（ｘ_０，ｚ_０）のｘ座標位置と、仮想カメラ位置座標（ｘ_１，ｚ_１）のｘ座標を一致するものと近似する。すなわち、
　ｘ_１＝ｘ_０
　とする。ただし、
　ｘ_０＞Ｒの場合は、ｚ_１が求まるように、
　ｘ_０＝Ｒ
　上記の近似処理を行う。

　この近似処理を行なうと、仮想カメラ位置（ｘ_１，ｚ_１）と、視聴ユーザ位置（ｘ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｘ_１＝ｘ_０
　ｘ_１ ^２＋ｚ_１ ^２＝Ｒ^２

　上記の連立方程式を解くと、
　ｘ_１＝ｘ_０
　ｚ_１＝ＳＱＲＴ（Ｒ^２－ｘ_０ ^２）
となり、
　仮想カメラ位置（ｘ_１，ｚ_１）が求まる。

　この仮想カメラ位置（ｘ_１，ｚ_１）が、例えば図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の出力情報であるリモート側仮想視点位置情報１８３となる。
　また、図１４に示す例では、図１４に示すローカル情報処理部１０２のローカル側仮想視点位置算出部２０２の出力情報であるローカル側仮想視点位置情報２３３が、この仮想カメラ位置（ｘ_１，ｚ_１）となる。

　　［８．（実施例１の変形例２）仮想カメラ撮影方向設定点Ｃを被写体後方に配置した例について］
　次に、実施例１の変形例２（バリエーション２）として、仮想カメラ撮影方向設定点Ｃを被写体後方に配置した例について説明する。

　図１７は、仮想カメラ撮影方向設定点Ｃを被写体Ｏの後方に配置した例について説明する図である。
　先に図４を参照して説明したように、例えば図４（１）に示すように、仮想視点画像撮影カメラの撮影方向を被写体に一致させると図３を参照して説明したように、ユーザＯの位置が表示面（ディスプレイ面）位置に固定されてしまい、不自然な動きを示す３次元画像として観察されるという問題がある。

　そこで、図４（２）に示すように、仮想視点画像撮影カメラの撮影方向はユーザＯではなく、被写体（ユーザＯ）の前方に設定された仮想カメラ撮影方向設定点Ｃとすることで、図５～図７を参照して説明したように、表示ユーザＯを表示部の表示面から離れた位置に存在するように表示することが可能となり、自然な奥行き感のある立体画像の表示を行うことができる。

　図１０を参照して説明した（実施例１）は、図４（２）の設定と同様、被写体（ユーザＯ）の前方に仮想カメラ撮影方向設定点Ｃを設定した例である。
　この仮想カメラ撮影方向設定点Ｃを、様々な位置に設定することで、表示部に表示されるオブジェクト（被写体）見え方を変更することが可能となる。

　図１７に示す例は、仮想カメラ撮影方向設定点Ｃを被写体後方に配置した例を示している。
　このような設定とすると、表示ユーザＯを表示部の表示面の前方の位置に存在するように表示することが可能となる。

　図１８は、図１７に示す仮想視点画像撮影カメラの設定で生成した仮想視点画像の表示例を示す図である。
　図１８には、以下の各図を示している。
　図１８中央（１）ユーザＡが表示部を正面から観察している場合（＝ユーザＡが、図１７の位置ｐ２から表示部を観察している場合）
　図１８左側（２）ユーザＡが表示部を左斜めから観察している場合（＝ユーザＡが、図１７の位置ｐ１から表示部を観察している場合）
　図１８右側（３）ユーザＡが表示部を右斜めから観察している場合（＝ユーザＡが、図１７の位置ｐ３から表示部を観察している場合）

　図１８に示す表示部のユーザＯの表示態様は、以下の通りである。
　図１８中央（１）ユーザＡが表示部を正面から観察している場合には、ユーザＯを正面から見た顔が表示される。
　ユーザＯの表示位置は表示部の中央になる。

　図１８左側（２）ユーザＡが表示部を左斜めから観察している場合には、ユーザＯを左斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の右側に移動する。これは、仮想画像撮影カメラの向きが、図１７に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より右側にずれた位置となる。

　また、図１８右側（３）ユーザＡが表示部を右斜めから観察している場合には、ユーザＯを右斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の左側に移動する。これは、仮想画像撮影カメラの向きが、図１７に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より左側にずれた位置となる。

　これらの画像表示により、視聴ユーザＡは、運動視差により、表示ユーザＯの位置が図１８の上段に示すように、表示部表示面から前面に飛び出した位置として把握することになる。

　このように、仮想カメラ撮影方向設定点Ｃを被写体（＝表示ユーザ等の表示オブジェクト）と異なる位置に設定することで、表示ユーザ等の表示オブジェクトを表示部の表示面から離れた様々な位置に存在するように表示することが可能となる。

　　［９．（実施例１の変形例３）仮想カメラを、仮想カメラ撮影方向設定点Ｃを中心とする半径Ｒの円上に位置させた例について］
　次に、実施例１の変形例３（バリエーション３）として、仮想カメラを、仮想カメラ撮影方向設定点Ｃを中心とする半径Ｒの円上に位置させた例について説明する。

　図１９を参照して本例の仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。
　図１９の左に示す図は、仮想カメラ（仮想視点画像撮影カメラ）を、仮想カメラ撮影方向設定点Ｃを中心とする半径Ｒの円上に位置させた例を示している。

　図１９の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラの設定位置の算出例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図１９左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｘ_１，ｚ_１）の軌跡は、
　ｘ^２＋（ｚ－ｃ）^２＝Ｒ^２
　上記式を満足する座標（ｘ_１，ｚ_１）となる。
　なお、Ｒは、仮想カメラ撮影方向設定点Ｃを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向く設定とする。
　なお、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離ｃの正負の設定は以下の設定とする。
　被写体Ｏより前方（視聴ユーザＡに近づく方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが＋の値、すなわち、ｃ＞０とする。
　一方、被写体Ｏより後方（視聴ユーザＡから離れる方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが－の値、すなわち、ｃ＜０とする。
　なお、この仮想カメラ撮影方向設定点Ｃは、上述の半径Ｒと同様、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　（ｂ）仮想カメラの設定位置の算出例
　次に、仮想視点画像を撮影する仮想カメラの設定位置の算出処理について説明する。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　この視聴ユーザ位置は、予め取得され、取得された視聴ユーザ位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_１，ｚ_１）を以下の手順で算出する。

　なお、仮想カメラは、仮想カメラ撮影方向設定点Ｃを中心とする半径Ｒの円の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、仮想カメラ撮影方向設定点Ｃと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）が仮想カメラの中心座標位置となる。

　ここで、仮想カメラ位置（ｘ_１，ｚ_１）と、視聴ユーザ位置（ｘ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｘ_１ ^２＋（ｚ_１－ｃ）^２＝Ｒ^２

　上記の連立方程式を解くと、
　仮想カメラ位置（ｘ_１，ｚ_１）が求まる。

　例えば、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、上述した手順に従って、リモート側から受信する受信リモートユーザ視聴位置情報１８１を（ｘ_０，ｚ_０）に基づいて、仮想カメラ位置（ｘ_１，ｚ_１）を算出する。
　この仮想カメラ位置（ｘ_１，ｚ_１）が、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の出力情報であるリモート側仮想視点位置情報１８３となる。

　また、図１４に示す例では、図１４に示すローカル情報処理部１０２のローカル側仮想視点位置算出部２０２の出力情報であるローカル側仮想視点位置情報２３３が、この仮想カメラ位置（ｘ_１，ｚ_１）となる。

　　［１０．（実施例１の変形例４）仮想カメラ撮影方向設定点Ｃの位置を視聴ユーザ位置に応じて移動する設定とした例について］
　次に、実施例１の変形例４（バリエーション４）として、仮想カメラ撮影方向設定点Ｃの位置を視聴ユーザ位置に応じて移動する設定とした例について説明する。

　図２０を参照して本例の仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。
　図２０の左に示す図は、仮想カメラ撮影方向設定点Ｃの位置を視聴ユーザ位置に応じて移動する設定とした例を示している。

　例えば、視聴ユーザＡが図に示す位置ｐ１にいる場合の仮想カメラ撮影方向設定点は図に示すＣ１である。
　また、視聴ユーザＡが図に示す位置ｐ２にいる場合の仮想カメラ撮影方向設定点は図に示すＣ２である。

　仮想カメラ撮影方向設定点Ｃは、視聴ユーザ位置に応じて図に示すｚ軸情報を移動する。
　被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとし、
　被写体Ｏと視聴ユーザＡとを結ぶＯＡと、ｚ軸との角度をθとしたとき、
　ｃ＝ｃ_０×θ
　とする。
　ただし、ｃ_０は予め既定された係数である。
　このような設定の下、仮想カメラ撮影方向設定点Ｃの位置が、視聴ユーザ位置に応じて移動する。

　図２０の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラ撮影方向設定点Ｃの設定例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図２０左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｘ_１，ｚ_１）の軌跡は、
　ｘ^２＋ｚ^２＝Ｒ^２
　上記式を満足する座標（ｘ_１，ｚ_１）となる。
　なお、Ｒは、仮想カメラ撮影方向設定点Ｃを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向く設定とする。

　（ｂ）仮想カメラ撮影方向設定点Ｃの設定例
　次に、仮想視点画像を撮影する仮想カメラの撮影方向設定点Ｃの設定例について説明する。

　図２０左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｘ_１，ｚ_１）の軌跡は、
　ｘ^２＋ｚ^２＝Ｒ^２
　上記式を満足する座標（ｘ_１，ｚ_１）となる。

　仮想カメラの光軸の向きを決定する仮想カメラの撮影方向設定点Ｃは、
　被写体の手前、または後ろに設定可能である。
　前述したように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとし、
　被写体Ｏと視聴ユーザＡとを結ぶＯＡと、ｚ軸との角度をθとしたとき、
　ｃ＝ｃ_０×θ
　とする。
　ただし、ｃ_０は予め既定された係数である。
　このような設定の下、仮想カメラ撮影方向設定点Ｃの位置が、視聴ユーザ位置に応じて移動する。

　　［１１．（実施例２）仮想視点画像を撮影する仮想カメラを直線状に移動させる実施例について］
　次に、実施例２として、仮想視点画像を撮影する仮想カメラを直線状に移動させる実施例について説明する。

　例えば、図１０を参照して説明した実施例１において、仮想視点画像を撮影する仮想カメラは、被写体Ｏを中心とする半径Ｒの円弧上を移動する設定としていた。
　以下に説明する実施例２は、図２１に示すように、仮想視点画像を撮影する仮想カメラを直線状に移動させる実施例である。

　図２１に示す図は、視聴ユーザＡ、および仮想カメラが、被写体Ｏからｚ軸方向（表示面垂直方向）に距離Ｒの位置を表示面に平行移動すると想定した例である。
　座標は、ユーザＯの位置を原点とした水平面をｘｚ平面として、表示部表示面に平行な方向をｘ軸、垂直方向をｚ軸として設定してある。
　仮想カメラの軌跡は、表示ユーザの位置（原点（ｘ，ｚ）＝（０，０））から表示面垂直方向に距離Ｒの位置の表示面に平行なラインｐｑとなる。

　図２１の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラ位置算出例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図２１左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｘ_１，ｚ_１）の軌跡は、
　ｚ＝Ｒ
　となる。
　なお、Ｒは、被写体Ｏからのｚ方向距離であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向く設定とする。
　なお、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離ｃの正負の設定は以下の設定とする。
　被写体Ｏより前方（視聴ユーザＡに近づく方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが＋の値、すなわち、ｃ＞０とする。
　一方、被写体Ｏより後方（視聴ユーザＡから離れる方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが－の値、すなわち、ｃ＜０とする。
　なお、この仮想カメラ撮影方向設定点Ｃは、上述のＲと同様、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　（ｂ）仮想カメラ設定位置算出例
　次に、仮想視点画像を撮影する仮想カメラの設定位置の算出処理について説明する。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　この視聴ユーザ位置は、予め取得され、取得された視聴ユーザ位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_１，ｚ_１）を以下の手順で算出する。

　なお、仮想カメラは、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの交点座標（ｘ_１，ｚ_１）が仮想カメラの中心座標位置となる。

　ここで、仮想カメラ位置（ｘ_１，ｚ_１）と、視聴ユーザ位置（ｘ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｚ_１＝Ｒ

　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ｚ_０
　ｚ_１＝Ｒ
　となり、
　仮想カメラ位置（ｘ_１，ｚ_１）が求まる。

　　［１２．（実施例２の変形例１）仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について］
　次に実施例２の変形例１（バリエーション１）として、仮想視点画像の撮影位置に相当する仮想カメラ位置の算出を簡易化した例について説明する。
　図２２を参照して説明する。

　図２２に示す左上部の図も、先に説明した図２１と同様、仮想視点画像を撮影する仮想カメラを直線状に移動させる実施例を説明する図である。
　図２２に示す図は、視聴ユーザＡ、および仮想カメラが、被写体Ｏからｚ軸方向（表示面垂直方向）に距離Ｒの位置を表示面に平行移動すると想定した例である。
　座標は、ユーザＯの位置を原点とした水平面をｘｚ平面として、表示部表示面に平行な方向をｘ軸、垂直方向をｚ軸として設定してある。
　仮想カメラの軌跡は、表示ユーザの位置（原点（ｘ，ｚ）＝（０，０））から表示面垂直方向に距離Ｒの位置の表示面に平行なラインｐｑとなる。

　図２２の右側に、仮想カメラの設定位置の算出処理の手順を示している。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_１，ｚ_１）を以下の手順で算出する。

　なお、仮想カメラは、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの交点座標（ｘ_１，ｚ_１）が仮想カメラの中心座標位置となる。
　さらに、視聴ユーザＡと仮想カメラのｘ座標が一致すると近似する。

　ここで、仮想カメラ位置（ｘ_１，ｚ_１）と、視聴ユーザ位置（ｘ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｘ_１＝ｘ_０
　ｚ_１＝Ｒ
　上記となり、
　仮想カメラ位置（ｘ_１，ｚ_１）が求まる。

　　［１３．（実施例３）仮想視点画像を撮影する仮想カメラを半径Ｒの垂直の円状に移動させる実施例について］
　次に、実施例３として、仮想視点画像を撮影する仮想カメラを半径Ｒの垂直の円状に移動させる実施例について説明する。

　図２３は、本実施例３の構成を説明する図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図２３は、被写体Ｏを原点として、垂直上方向をｙ方向、右方向をｚ方向としたｙｚ平面座標の座標軸であるｙ軸とｚ軸を示している。
　仮想カメラは、被写体Ｏを中心とした上下（垂直）方向の半径Ｒの半円上を移動する。

　視聴ユーザＡの位置を（ｙ_０，ｚ_０）とする。
　仮想カメラの位置を（ｙ_１，ｚ_１）とする。
　なお、座標の設定情報や、視聴ユーザの推定移動円の半径Ｒ等の設定情報、さらに、仮想カメラ撮影方向設定点Ｃの位置情報等は、双方向コミュニケーション処理を実行する情報処理装置間で、予め決定し共有する。
　これらの情報は、コミュニケーション開始前に実行するコミュニケーション準備処理において双方で決定し、共有する。

　図２４は、図２３に示す仮想視点画像撮影カメラの設定で生成した仮想視点画像の表示例を示す図である。
　図２４には、以下の各図を示している。
　図２４（１）ユーザＡが表示部を上斜めから観察している場合（＝ユーザＡが、図２３の位置ｐ１から表示部を観察している場合）
　図２４（２）ユーザＡが表示部を正面から観察している場合（＝ユーザＡが、図２３の位置ｐ２から表示部を観察している場合）
　図２４（３）ユーザＡが表示部を下斜めから観察している場合（＝ユーザＡが、図２３の位置ｐ３から表示部を観察している場合）

　図２４に示す表示部のユーザＯの表示態様は、以下の通りである。
　図２４（２）ユーザＡが表示部を正面から観察している場合には、ユーザＯを正面から見た顔が表示される。
　ユーザＯの表示位置は表示部の中央になる。

　図２４（１）ユーザＡが表示部を上斜めから観察している場合には、ユーザＯを上斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の上側に移動する。これは、仮想画像撮影カメラの向きが、図２３に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より上側にずれた位置となる。

　また、図２４（３）ユーザＡが表示部を下斜めから観察している場合には、ユーザＯを下斜めから見た顔が表示されている。
　ただし、ユーザＯの表示位置が表示部の下側に移動する。これは、仮想画像撮影カメラの向きが、図２３に示す仮想カメラ撮影方向設定点Ｃに向いているためであり、表示部の中央位置に点Ｃが設定され、ユーザＯの表示位置は、表示部の中央より下側にずれた位置となる。

　これらの画像表示により、視聴ユーザＡは、運動視差により、表示ユーザＯの位置が図２４の右側に示すように、表示部表示面より奥側の位置に把握することになる。

　次に、図２５を参照して、この実施例３の仮想カメラの
軌跡と向き、および仮想カメラの設定位置算出処理について説明する。
　図２５の左に示す図は、仮想カメラ（仮想視点画像撮影カメラ）を、被写体Ｏを中心とした上下（垂直）方向の半径Ｒの半円上を移動する例を示している。

　図２５の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラの設定位置の算出例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図２５左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｙ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｙ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｙ_１，ｚ_１）の軌跡は、
　ｙ^２＋ｚ^２＝Ｒ^２
　上記式を満足する座標（ｙ_１，ｚ_１）となる。
　なお、Ｒは、被写体Ｏを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　（ｂ）仮想カメラの設定位置の算出例
　次に、仮想視点画像を撮影する仮想カメラの設定位置の算出処理について説明する。
　視聴ユーザＡの位置を（ｙ_０，ｚ_０）とする。
　この視聴ユーザ位置は、予め取得され、取得された視聴ユーザ位置情報（ｙ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｙ_１，ｚ_１）を以下の手順で算出する。

　なお、仮想カメラは、被写体Ｏを中心とする半径Ｒの円の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｙ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｙ_１，ｚ_１）が仮想カメラの中心座標位置となる。

　ここで、仮想カメラ位置（ｙ_１，ｚ_１）と、視聴ユーザ位置（ｙ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｚ_１＝（ｚ_０／ｙ_０）ｙ_１
　ｙ_１ ^２＋ｚ_１ ^２＝Ｒ^２

　上記の連立方程式を解くと、
　ｙ_１＝Ｒｙ_０／ＳＱＲＴ（ｙ_０ ^２＋ｚ_０ ^２）
　ｚ_１＝Ｒｚ_０／ＳＱＲＴ（ｙ_０ ^２＋ｚ_０ ^２）
となり、
　仮想カメラ位置（ｙ_１，ｚ_１）が求まる。

　例えば、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１は、上述した手順に従って、リモート側から受信する受信リモートユーザ視聴位置情報１８１を（ｙ_０，ｚ_０）に基づいて、仮想カメラ位置（ｙ_１，ｚ_１）を算出する。
　この仮想カメラ位置（ｙ_１，ｚ_１）が、図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の出力情報であるリモート側仮想視点位置情報１８３となる。

　また、図１４に示す例では、図１４に示すローカル情報処理部１０２のローカル側仮想視点位置算出部２０２の出力情報であるローカル側仮想視点位置情報２３３が、この仮想カメラ位置（ｙ_１，ｚ_１）となる。

　　［１４．（実施例４）仮想視点画像を撮影する仮想カメラを垂直な直線状に移動させる実施例について］
　次に、実施例２として、仮想視点画像を撮影する仮想カメラを垂直（上下）方向の直線状に移動させる実施例について説明する。

　先に図２３～図２５を参照して説明した実施例３において、仮想視点画像を撮影する仮想カメラは、被写体Ｏを中心として垂直（上下）方向に設定した半径Ｒの円弧上を移動する。
　以下に説明する実施例４は、図２６に示すように、仮想視点画像を撮影する仮想カメラを垂直（上下）方向の直線状に移動させる実施例である。

　図２６に示す図は、視聴ユーザＡ、および仮想カメラが、被写体Ｏからｚ軸方向（表示面垂直方向）に距離Ｒの位置を垂直に直線状に移動すると想定した例である。
　座標は、ユーザＯの位置を原点とした垂直面をｙｚ平面として、上下方向をｙ軸、水平方向をｚ軸として設定してある。
　仮想カメラの軌跡は、表示ユーザの位置（原点（ｙ，ｚ）＝（０，０））から表示面距離Ｒの位置の表示面に平行な垂直ラインｐｑとなる。

　図２６の右側に、
　（ａ）仮想カメラの軌跡と向き
　（ｂ）仮想カメラ位置算出例
　これらについての説明を示している。以下、これらの記載に基づいて仮想視点画像を撮影する仮想カメラの軌跡と向き、および仮想カメラの設定位置算出処理について説明する。

　（ａ）仮想カメラの軌跡と向き
　図２６左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｙ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｙ_１，ｚ_１）、
　とする。

　この時、仮想カメラの軌跡、すなわち、カメラ座標（ｙ_１，ｚ_１）の軌跡は、
　ｚ＝Ｒ
　となる。
　なお、Ｒは、被写体Ｏからのｚ方向距離であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　（ｂ）仮想カメラ設定位置算出例
　次に、仮想視点画像を撮影する仮想カメラの設定位置の算出処理について説明する。
　視聴ユーザＡの位置を（ｙ_０，ｚ_０）とする。
　この視聴ユーザ位置は、予め取得され、取得された視聴ユーザ位置情報（ｙ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｙ_１，ｚ_１）を以下の手順で算出する。

　なお、仮想カメラは、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｙ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏからのｚ方向距離Ｒの直線ｐｑの交点座標（ｙ_１，ｚ_１）が仮想カメラの中心座標位置となる。

　ここで、仮想カメラ位置（ｙ_１，ｚ_１）と、視聴ユーザ位置（ｙ_０，ｚ_０）の各パラメータ間には、以下の関係式が成立する。
　ｚ_１＝（ｚ_０／ｙ_０）ｙ_１
　ｚ_１＝Ｒ

　上記の連立方程式を解くと、
　ｙ_１＝Ｒｙ_０／ｚ_０
　ｚ_１＝Ｒ
　となり、
　仮想カメラ位置（ｙ_１，ｚ_１）が求まる。

　　［１５．（実施例５）仮想カメラの位置を被写体と視聴者の視線が一致する位置とする実施例について］
　次に、実施例５として、仮想カメラの位置を被写体と視聴者の視線が一致する位置とする実施例について説明する。

　双方向コミュニケーションを行う場合、表示部に表示された表示ユーザと、表示部を見る視聴ユーザが会話をする。このような会話を行う場合、双方のユーザの視線が一致することがスムーズなコミュニケーションを行う上で重要となる。
　以下に説明する実施例５は、この視線一致を実現する位置に仮想カメラの位置を設定する実施例である。

　図２７を参照して、本実施例５における仮想カメラの軌跡と向き、視聴者角度に応じた仮想カメラの設定位置について説明する。
　図２７左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_２，ｚ_２）、
　とする。

　この時、仮想カメラ座標（ｘ_２，ｚ_２）は、
　ｘ_２＝Ｒｓｉｎθ，
　ｚ_２＝Ｒｃｏｓθ
　となる。
　ただし、Ｒは、被写体Ｏを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。
　θは、仮想カメラとｚ軸のなす角度である。
　カメラの軌跡は、ｘ^２＋ｚ^２＝Ｒ^２
　となる。

　本実施例では、被写体Ｏに対する仮想カメラ角度θを、視聴者角度Φに応じて変化させる。
　なお、θ、Φは、図に示すように、それぞれ、以下の角度である。
　θ：ｚ軸と、被写体Ｏと仮想カメラを接続する直線のなす角度、
　Φ：ｚ軸と、被写体Ｏと視聴ユーザＡを接続する直線のなす角度、
　なお、被写体Ｏと視聴ユーザＡを接続する直線とは、同一空間に被写体Ｏと視聴ユーザＡが存在すると想定した場合の直線であり、表示部に表示される被写体Ｏの位置と視聴ユーザＡとを結ぶ直線に相当する。

　本実施例では、被写体Ｏに対する仮想カメラ角度θを、視聴者角度Φに応じて変化させ、具体的には、仮想カメラ位置を被写体Ｏと視聴ユーザＡ間の視線が一致する位置に設定する。
　例えば、視聴ユーザＡが正面から角度φだけずれた位置にいるとすると、仮想カメラの位置を正面から角度θだけずれた位置に設定する。
　θは、Φをパラメータとした以下の算出関数ｆによって算出される。
　θ＝ｆ（φ）
　情報処理装置は、上記の関数ｆ、あるいは、θとφの関係データを、予めデータベースとして記憶部に保持する。

　図２７（ｂ）には、データベースに格納されるデータである上記の関数：θ＝ｆ（φ）
の例を示している。
　情報処理装置は、このデータベース格納データを利用して、入力された視聴ユーザ位置に基づいて、仮想カメラの設定位置を決定する。

　図２８を参照して、上述したデータベースの生成処理例について説明する。
　データベースの生成は、以下の２つのステップ（Ｓ０１）～（Ｓ０２）を繰り返して行われる。
　（ステップＳ０１）被写体Ｏを正面から角度θの位置から撮影する
　（ステップＳ０２）視聴者Ａがディスプレイの正面から角度φの位置にいる場合、ディスプレイに（Ｓ０１）での撮影被写体Ｏを表示して、視線が一致する角度φを求める。

　上記の（Ｓ０１），（Ｓ０２）を繰り返して、角度φの位置から見て視線が一致する被写体の撮影角度θとし、
　θ＝ｆ（φ）の関数を求め、関数ｆ、またはθとΦとの対応関係データをデータベースとして記憶部に保存する。

　次に、図２９を参照して、本実施例５の設定における仮想カメラ位置算出処理例について説明する。
　図２９左に示す図は、図２７を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図２９の右側には、本実施例５の設定における仮想カメラ位置算出処理例を示している。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_２，ｚ_２）を以下の手順で算出する。

　なお、視聴ユーザＡは、被写体Ｏを中心とする半径Ｒの円の軌跡を必ずしも辿らないが、仮想カメラは、被写体Ｏを中心とする半径Ｒの円の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）が仮想カメラの位置（ｘ_２，ｚ_２）を求める基準となる。

　視聴ユーザＡの中心座標（ｘ_０，ｚ_０）と、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）との間には以下の式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｘ_１ ^２＋ｚ_１ ^２＝Ｒ^２
　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
　ｚ_１＝Ｒｚ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
　となる。
　この（ｘ_１，ｚ_１）から、角度Φを算出し、θ＝ｆ（Φ）に従って、θを算出し、θから、仮想カメラ位置（ｘ_２，ｚ_２）を求める。

　この仮想カメラ位置（ｘ_２，ｚ_２）が、例えば図９に示すリモート情報処理部１０７のリモート側仮想視点位置算出部１６１の出力情報であるリモート側仮想視点位置情報１８３となる。
　また、図１４に示す例では、図１４に示すローカル情報処理部１０２のローカル側仮想視点位置算出部２０２の出力情報であるローカル側仮想視点位置情報２３３が、この仮想カメラ位置（ｘ_２，ｚ_２）となる。

　　［１６（実施例６）仮想カメラの位置を被写体と視聴者の視線が一致する位置とし、仮想カメラの動きを直線状に設定した実施例について］
　次に、実施例６として、仮想カメラの位置を被写体と視聴者の視線が一致する位置とし、仮想カメラの動きを直線状に設定した実施例について説明する。

　本実施例６は、実施例５と同様、この視線一致を実現する位置に仮想カメラの位置を設定する実施例である。ただし、仮想カメラの移動軌跡を直線としている。

　図３０を参照して、本実施例６における仮想カメラの軌跡と向き、視聴者角度に応じた仮想カメラの設定位置について説明する。
　図３０左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_２，ｚ_２）、
　とする。
　視聴ユーザＡ、および仮想カメラが、被写体Ｏからｚ軸方向（表示面垂直方向）に距離Ｒの位置を表示面に平行移動すると想定している。

　この時、仮想カメラ座標（ｘ_２，ｚ_２）は、
　ｘ_２＝Ｒｔａｎθ，
　ｚ_２＝Ｒ
　となる。
　ただし、Ｒは、仮想カメラの移動する直線ｐｑを規定するパラメータであり被写体Ｏからの距離に相当する。このＲは、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。
　θは、仮想カメラとｚ軸のなす角度である。
　カメラの軌跡は、ｚ＝Ｒ
　となる。

　本実施例では、被写体Ｏに対する仮想カメラ角度θを、視聴者角度Φに応じて変化させる。
　なお、θ、Φは、図に示すように、それぞれ、以下の角度である。
　θ：ｚ軸と、被写体Ｏと仮想カメラを接続する直線のなす角度、
　Φ：ｚ軸と、被写体Ｏと視聴ユーザＡを接続する直線のなす角度、

　図３０（ｂ）には、データベースに格納されるデータである上記の関数：θ＝ｆ（φ）
の例を示している。
　情報処理装置は、このデータベース格納データを利用して、入力された視聴ユーザ位置に基づいて、仮想カメラの設定位置を決定する。

　次に、図３１を参照して、本実施例６の設定における仮想カメラ位置算出処理例について説明する。
　図３１左に示す図は、図３０を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図３１の右側には、本実施例６の設定における仮想カメラ位置算出処理例を示している。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_２，ｚ_２）を以下の手順で算出する。

　なお、視聴ユーザＡは、被写体Ｏから距離Ｒの直線の軌跡を必ずしも辿らないが、仮想カメラは、被写体Ｏから距離Ｒの直線の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏから距離Ｒの位置の直線ｐｑの交点座標（ｘ_１，ｚ_１）が仮想カメラの位置（ｘ_２，ｚ_２）を求める基準となる。

　視聴ユーザＡの中心座標（ｘ_０，ｚ_０）と、直線ＯＡと、被写体Ｏから距離Ｒの位置の直線ｐｑの交点座標（ｘ_１，ｚ_１）との間には以下の式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｚ_１＝Ｒ
　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ｚ_０
　ｚ_１＝Ｒ
　となる。
　この（ｘ_１，ｚ_１）から、角度Φを算出し、θ＝ｆ（Φ）に従って、θを算出し、θから、仮想カメラ位置（ｘ_２，ｚ_２）を求める。

　　［１７．（実施例６の変形例１）仮想カメラの位置を被写体と視聴者間の視線が一致する位置とし、仮想カメラの軌跡を、仮想カメラと被写体間距離を一定に保つ設定とした実施例について］
　次に、実施例６の変形例１として、仮想カメラの位置を被写体と視聴者間の視線が一致する位置とし、仮想カメラの軌跡を、仮想カメラと被写体間距離を一定に保つ設定とした実施例について説明する。

　図３２を参照して、本実施例６の変形例１における仮想カメラの軌跡と向き、視聴者角度に応じた仮想カメラの設定位置について説明する。
　図３２左側の図に示すように、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとする。また、
　視聴ユーザＡの座標を（ｘ_０，ｚ_０）、
　仮想カメラの位置を示すカメラ座標を（ｘ_２，ｚ_２）、
　とする。
　視聴ユーザＡ、および仮想カメラが、被写体Ｏからｚ軸方向（表示面垂直方向）に距離Ｒの位置を表示面に平行移動すると想定している。

　さらにこの変形例１では、被写体Ｏと視聴ユーザＡとの距離、および被写体Ｏと仮想カメラとの距離を一定に維持する設定としている。
　この距離をＤとする。

　この時、仮想カメラ座標（ｘ_２，ｚ_２）は、
　ｘ_２＝Ｄｓｉｎθ，
　ｚ_２＝Ｄｃｏｓθ
　となる。
　ただし、Ｄは、被写体Ｏと視聴ユーザＡとの距離に相当し、
　Ｄ＝ＳＱＲＴ（ｘ_１ ^２＋ｚ_１ ^２）

　上記のように、Ｄは、被写体Ｏと視聴ユーザＡとの距離である。また、
　θは、仮想カメラとｚ軸のなす角度である。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向く設定とする。
　なお、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離ｃの正負の設定は以下の設定とする。
　被写体Ｏより前方（視聴ユーザＡに近づく方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが＋の値、すなわち、ｃ＞０とする。
　一方、被写体Ｏより後方（視聴ユーザＡから離れる方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが－の値、すなわち、ｃ＜０とする。
　なお、この仮想カメラ撮影方向設定点Ｃは、上述のＤと同様、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　図３２（ｂ）には、データベースに格納されるデータである上記の関数：θ＝ｆ（φ）
の例を示している。
　情報処理装置は、このデータベース格納データを利用して、入力された視聴ユーザ位置に基づいて、仮想カメラの設定位置を決定する。

　次に、図３３を参照して、本実施例６の変形例１における仮想カメラ位置算出処理例について説明する。
　図３３左に示す図は、図３２を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図３３の右側には、本実施例６の変形例１の設定における仮想カメラ位置算出処理例を示している。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_２，ｚ_２）を以下の手順で算出する。

　視聴ユーザＡの中心座標（ｘ_０，ｚ_０）と、直線ＯＡと、被写体Ｏから距離Ｒの位置の直線ｐｑの交点座標（ｘ_１，ｚ_１）との間には以下の式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｚ_１＝Ｒ
　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ｚ_０
　ｚ_１＝Ｒ
　となる。
　この（ｘ_１，ｚ_１）から、角度Φを算出し、さらに、
　θ＝ｆ（Φ）
　に従って、θを算出し、さらに、先に、図３２を参照して説明した関係式、すなわち、
　ｘ_２＝Ｄｓｉｎθ
　ｚ_２＝Ｄｃｏｓθ
　上記式に従って、仮想カメラ位置（ｘ_２，ｚ_２）を求める。

　　［１８．（実施例７）仮想カメラの位置を被写体と視聴者間を結ぶ直線上の位置（視聴者の後方等）にした実施例について］
　次に、実施例７として、仮想カメラの位置を被写体と視聴者間を結ぶ直線上の位置（視聴者の後方等）にした実施例について説明する。

　図３４を参照して本実施例７について説明する。
　図３４左に示す図は、本実施例７の構成を説明する図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　なお、角度Φは、ｚ軸と、被写体Ｏと視聴ユーザＡを接続する直線のなす角度である。
　本実施例７では、視聴ユーザＡは、被写体Ｏを中心とする半径Ｒの円弧上を移動すると仮定し、仮想カメラは、被写体Ｏを中心とする半径（Ｒ＋ｒ）の円弧上を移動する設定としている。

　図３３の右には、（ａ）仮想カメラの軌跡と向きについての説明を示している。
　以下、この実施例７における仮想カメラの軌跡と向きについて説明する。
　被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離をｃとすると、
　視聴ユーザＡの座標（ｘ_０，ｚ_０）のとき、カメラ座標（ｘ_２，ｚ_２）は、以下のように示される。
　ｘ_２＝（Ｒ＋ｒ）ｓｉｎΦ，
　ｚ_２＝（Ｒ＋ｒ）ｃｏｓΦ

　また、仮想カメラの軌跡は、
　ｘ^２＋ｚ^２＝（Ｒ＋ｒ）^２
　を満足する座標（ｘ_２，ｚ_２）となる。
　なお、Ｒ＋ｒは、被写体Ｏを中心とする半径の値であり、双方向コミュニケーションを実行する装置において、事前に決定され、双方の装置間で共有される。

　さらに、仮想カメラの向き（カメラ光軸の向き）は、仮想カメラ撮影方向設定点Ｃに向く設定とする。
　なお、被写体Ｏと仮想カメラ撮影方向設定点Ｃの距離ｃの正負の設定は以下の設定とする。
　被写体Ｏより前方（視聴ユーザＡに近づく方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが＋の値、すなわち、ｃ＞０とする。
　一方、被写体Ｏより後方（視聴ユーザＡから離れる方向）に、仮想カメラ撮影方向設定点Ｃが設定される場合は、距離ｃが－の値、すなわち、ｃ＜０とする。

　次に、図３５を参照して、本実施例７の設定における仮想カメラ位置算出処理例について説明する。
　図３５左に示す図は、図３４を参照して説明したと同様の図であり、以下の各構成要素からなる図である。
　Ｏ：撮影オブジェクト（＝仮想視点画像に含まれる表示ユーザ）
　Ａ：視聴ユーザ（＝仮想視点画像を見るユーザ）
　仮想視点画像撮影カメラ（＝仮想カメラ）
　Ｃ：仮想カメラ撮影方向設定点

　図３５の右側には、本実施例７の設定における仮想カメラ位置算出処理例を示している。
　視聴ユーザＡの位置を（ｘ_０，ｚ_０）とする。
　このユーザ視聴位置情報（ｘ_０，ｚ_０）に基づいて、仮想視点画像を撮影する仮想カメラの設定位置（ｘ_２，ｚ_２）を以下の手順で算出する。

　なお、視聴ユーザＡは、被写体Ｏを中心とする半径Ｒの円の軌跡を必ずしも辿らないが、仮想カメラは、被写体Ｏを中心とする半径（Ｒ＋ｒ）の円の軌跡を辿るものと近似して処理を実行する。
　視聴ユーザＡの中心座標を（ｘ_０，ｚ_０）とすると、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）が仮想カメラの位置（ｘ_２，ｚ_２）を求める基準となる。

　視聴ユーザＡの中心座標（ｘ_０，ｚ_０）と、直線ＯＡと、被写体Ｏと仮想カメラ間の距離（Ｒ）を半径とした半径Ｒの円の軌跡の交点座標（ｘ_１，ｚ_１）との間には以下の式が成立する。
　ｚ_１＝（ｚ_０／ｘ_０）ｘ_１
　ｘ_１ ^２＋ｚ_１ ^２＝Ｒ^２
　上記の連立方程式を解くと、
　ｘ_１＝Ｒｘ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
　ｚ_１＝Ｒｚ_０／ＳＱＲＴ（ｘ_０ ^２＋ｚ_０ ^２）
　となる。
　この（ｘ_１，ｚ_１）から、角度Φを算出し、Ｒとｒとの対応関係に従って仮想カメラ位置（ｘ_２，ｚ_２）を求める。

　この実施例７は、仮想カメラと被写体Ｏとの距離を一定に維持することを特徴としている。この処理の効果について、図３６を参照して説明する。
　図３６は、被写体Ｏから、仮想カメラ撮影方向設定点Ｃまでの距離ｃについて、
　ｃ＞０の場合（被写体Ｏの前方に仮想カメラ撮影方向設定点Ｃを設定）と、
　ｃ＞０の場合（被写体Ｏの後方に仮想カメラ撮影方向設定点Ｃを設定）との
　２つの例について説明する図である。

　図３６（１）には、ｃ＞０の場合（被写体Ｏの前方に仮想カメラ撮影方向設定点Ｃを設定）の表示例を示している。
　この場合、被写体Ｏの顔が表示部表示面（ディスプレイ）の奥側に定位するように表示されるので、視聴ユーザＡと被写体Ｏとの距離が離れることを意味する。
　この距離が離れる効果をさらに強調するために、仮想カメラを撮影対象から離す（ｒ＞０）。すると、撮影対象の顔が小さく表示される。

　図３６（２）には、ｃ＞０の場合（被写体Ｏの後方に仮想カメラ撮影方向設定点Ｃを設定）の表示例を示している。
　この場合、被写体Ｏの顔が表示部表示面（ディスプレイ）の手前側に定位するように表示されるので、視聴ユーザＡと被写体Ｏとの距離が近づくことを意味する。
　この距離が近づく効果をさらに強調するために、仮想カメラを撮影対象に近づける（ｒ＜０）。すると、撮影対象の顔が大きく表示される。

　このように、仮想カメラ撮影方向設定点Ｃの位置設定に応じて被写体の大きさが変更される。実施例７では、仮想カメラの位置を、視聴ユーザからの離間距離としてのパラメータｒを制御してこの効果をさらに強調する設定としている。

　　［１９．情報処理装置のハードウェア構成例について］
　次に、図３７を参照して情報処理装置のハードウェア構成例について説明する。
　図３７は、本開示の処理を実行する情報処理装置のハードウェア構成例を示す図である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、入力部５０６、出力部５０７等が接続される。
　入力部５０６は、例えばセンサ５２１からのセンサ情報（撮影画像やデプス情報）の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホン等からの各種データ、コマンド、設定情報等の入力を行う。
　出力部５０７は、例えば、表示部５２２やスピーカなどに対するデータ出力を実行する。
　ＣＰＵ５０１は、入力部５０６から入力されるデータや、指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［２０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。

　（２）　前記仮想視点画像生成部は、
　前記被写体ユーザの前方位置に設定した前記仮想カメラ撮影方向設定点Ｃに撮影方向を向けて撮影したと想定される仮想視点画像を生成する（１）に記載の情報処理装置。

　（３）　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（４）　前記仮想視点位置算出部は、
　前記仮想カメラ撮影方向設定点Ｃを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記仮想カメラ撮影方向設定点Ｃを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（５）　前記仮想視点画像生成部は、
　前記視聴ユーザの位置に応じて、前記仮想カメラ撮影方向設定点Ｃの位置を変更して、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（７）　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として垂直面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として垂直面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（８）　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、垂直面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、垂直面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（９）　前記仮想視点位置算出部は、
　前記仮想視点画像内の表示ユーザと、前記視聴ユーザとの視線の一致する視線一致位置を仮想視点位置として算出し、
　前記仮想視点画像生成部は、
　前記視線一致位置を仮想カメラ位置として、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（１）または（２）に記載の情報処理装置。

　（１０）　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（９）に記載の情報処理装置。

　（１１）　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する（９）に記載の情報処理装置。

　（１２）　仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像生成部の生成した仮想視点画像を、前記視聴ユーザ側の装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。

　（１３）　仮想視点画像の視聴ユーザの視聴位置情報を検出する視聴位置検出部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。

　（１４）　前記情報処理装置は、
　前記仮想視点画像の生成に適用する画像を受信する受信部を有し、
　前記仮想視点画像生成部は、
　前記受信部の受信した画像に基づいて仮想視点画像を生成する（１３）に記載の情報処理装置。

　（１５）　双方向通信を実行する第１情報処理装置と第２情報処理装置を有する情報処理システムであり、
　前記第１情報処理装置、および第２情報処理装置は、
　通信相手装置から、仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、通信相手装置の表示部に表示する仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像を通信相手装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理システム。

　（１６）　情報処理装置において実行する情報処理方法であり、
　仮想視点位置算出部が、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出し、
　仮想視点画像生成部が、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成するとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理方法。

　（１７）　情報処理装置において情報処理を実行させるプログラムであり、
　仮想視点位置算出部に、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出させ、
　仮想視点画像生成部に、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行させ、
　前記仮想視点画像生成処理において、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成させるとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、双方向コミュニケーションを実行する情報処理装置間で送受信する仮想視点画像を、より自然な立体画像とする構成が実現される。
　具体的には、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、被写体ユーザを撮影した実カメラの撮影画像に基づいて仮想視点画像を生成する構成であり、被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する。例えば、被写体ユーザの前方位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を向けて撮影したと想定される仮想視点画像を生成する。
　本構成により、双方向コミュニケーションを実行する情報処理装置間で送受信する仮想視点画像を、より自然な立体画像とする構成が実現される。

　　１０，２０　情報処理装置
　　１１，２１　表示部（ディスプレイ）
　　１２，２２　カメラ
　　１３，２３　スピーカ
　　３０　ネットワーク
　１００　情報処理装置
　１０１　センサ部
　１０２　ローカル情報処理部
　１０３　符号化部
　１０４　送信部
　１０５　受信部
　１０６　復号部
　１０７　リモート情報処理部
　１０８　表示部
　１２０　ネットワーク
　１３０　第２ロケーション情報処理部
　１５１　ローカルユーザ視聴位置検出部
　１５２　送信用仮想視点画像生成部
　１６１　リモート側仮想視点位置算出部
　２０１　ローカルユーザ視聴位置検出部
　２０２　ローカル側仮想視点位置算出部
　２１１　表示用仮想視点画像生成部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア
　５２１　センサ
　５２２　表示部

Claims

　仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。
　前記仮想視点画像生成部は、
　前記被写体ユーザの前方位置に設定した前記仮想カメラ撮影方向設定点Ｃに撮影方向を向けて撮影したと想定される仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記仮想カメラ撮影方向設定点Ｃを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記仮想カメラ撮影方向設定点Ｃを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点画像生成部は、
　前記視聴ユーザの位置に応じて、前記仮想カメラ撮影方向設定点Ｃの位置を変更して、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として垂直面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として垂直面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、垂直面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、垂直面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記仮想視点画像内の表示ユーザと、前記視聴ユーザとの視線の一致する視線一致位置を仮想視点位置として算出し、
　前記仮想視点画像生成部は、
　前記視線一致位置を仮想カメラ位置として、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項１に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザを中心として水平面に設定した円の円周を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザを中心として水平面に設定した円の円周に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項９に記載の情報処理装置。
　前記仮想視点位置算出部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線を仮想カメラ軌跡とし、該仮想カメラ軌跡上の視聴ユーザ位置の近接位置を仮想視点位置とし、
　前記仮想視点画像生成部は、
　前記被写体ユーザから所定距離、離間した点を通り、水平面に設定した直線に沿った仮想カメラ軌跡上から、前記仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する請求項９に記載の情報処理装置。
　仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像生成部の生成した仮想視点画像を、前記視聴ユーザ側の装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。
　仮想視点画像の視聴ユーザの視聴位置情報を検出する視聴位置検出部と、
　前記視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理装置。
　前記情報処理装置は、
　前記仮想視点画像の生成に適用する画像を受信する受信部を有し、
　前記仮想視点画像生成部は、
　前記受信部の受信した画像に基づいて仮想視点画像を生成する請求項１３に記載の情報処理装置。
　双方向通信を実行する第１情報処理装置と第２情報処理装置を有する情報処理システムであり、
　前記第１情報処理装置、および第２情報処理装置は、
　通信相手装置から、仮想視点画像の視聴ユーザの視聴位置情報を受信する受信部と、
　前記視聴位置情報に基づいて、通信相手装置の表示部に表示する仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出する仮想視点位置算出部と、
　前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成部と、
　前記仮想視点画像を通信相手装置に送信する送信部を有し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成する構成であり、
　前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理システム。
　情報処理装置において実行する情報処理方法であり、
　仮想視点位置算出部が、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出し、
　仮想視点画像生成部が、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行し、
　前記仮想視点画像生成部は、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成するとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　仮想視点位置算出部に、仮想視点画像の視聴ユーザの視聴位置情報に基づいて、仮想視点画像を撮影する仮想カメラの位置に相当する仮想視点位置を算出させ、
　仮想視点画像生成部に、前記仮想視点位置からの撮影画像に相当する仮想視点画像を生成する仮想視点画像生成処理を実行させ、
　前記仮想視点画像生成処理において、
　被写体ユーザを撮影した実カメラの撮影画像に基づいて前記仮想視点画像を生成させるとともに、前記被写体ユーザと異なる位置に設定した仮想カメラ撮影方向設定点Ｃに撮影方向を設定した仮想視点画像を生成させるプログラム。