WO2019097802A1

WO2019097802A1 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: WO2019097802A1
Application number: PCT/JP2018/031552
Authority: WO
Inventors: 龍正小池; 厚史泉原; 浩司古澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-11-14
Filing date: 2018-08-27
Publication date: 2019-05-23
Anticipated expiration: 2020-05-14
Also published as: US10986310B2; US20200275055A1

Abstract

【課題】リアルタイムでの空間の繋がりを維持したまま過去の双方向コミュニケーションを振り返ることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】第１の空間と第２の空間の双方向通信を制御する情報処理装置であって、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部を備え、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム

　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

　昨今の情報処理技術の発展に伴い、企業や教育の場で行われる会議、セミナー、又は講演会等の様々な形態の会合の運用を支援する種々の情報処理システムが提案されている。

　例えば、会議支援システムの一例として遠隔会議システムが挙げられる。遠隔会議システムでは、遠隔に位置する複数の会議室に、表示装置、カメラ、マイク、およびスピーカが設置され、各会議室で取得された映像および音声が他の会議室に送信されてリアルタイムで出力され、遠隔に位置する複数の会議間でも会議を同時に進行することが可能となる。

　また、異なる場所に居る複数人でのリアルタイムでのコンテンツの共有という観点からは、例えば下記特許文献１において、複数のユーザが同一のコンテンツをリアルタイムで閲覧し、スクロールやマウスカーソルもリアルタイムで共有できるコンテンツ共有システムが開示されている。かかるシステムにより、複数のユーザで話題のＷｅｂページを題材にチャットを行うといったコミュニケーションが実現可能となる。

　また、下記特許文献２では、会合の様子を撮像した動画像と、会合で参照したプレゼンテーション資料画像を、時間軸上で同期を取りながら対応付けることで、会合の様子を実際に使用した資料画像と共に再現することができるコンテンツ処理システムが開示されている。かかるシステムにより、閲覧者は同一の時間帯でのビデオおよび資料画面を見比べながら閲覧することが出来る。

特許第５８５７４４３号公報特開２００５－２６０５１２号公報

　しかしながら、上述した遠隔会議システムや特許文献１に記載のコンテンツ共有システムは、リアルタイムで同一のコンテンツを閲覧したり、互いの会議室の様子を見たりといったリアルタイムで起きている現象の共有を対象とした技術であって、過去の現象の共有は行われていなかった。

　また、上記特許文献２では、過去の会合のビデオと資料画面を同一の時間帯で閲覧することが可能であるが、双方向コミュニケーションの再現については言及されていない。特に現在の複数空間の接続を維持したまま過去の双方向コミュニケーションを再現するといったことは考慮されていなかった。

　そこで、本開示では、リアルタイムでの空間の繋がりを維持したまま過去の双方向コミュニケーションを振り返ることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

　本開示によれば、第１の空間と第２の空間の双方向通信を制御する情報処理装置であって、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部を備え、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理装置を提案する。

　本開示によれば、第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置であって、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部を備え、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であって、前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理装置を提案する。

　本開示によれば、第１の空間と第２の空間の双方向通信を制御する情報処理方法であって、プロセッサが、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行うことを含み、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理方法を提案する。

　本開示によれば、コンピュータを、第１の空間と第２の空間の双方向通信を制御する情報処理装置として機能させるプログラムであって、さらに、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部として機能させ、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、プログラムを提案する。

　本開示によれば、第１の空間と第２の空間の双方向通信の制御が行われる情報処理方法であって、プロセッサが、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行うことを含み、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であって、前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理方法を提案する。

　本開示によれば、コンピュータを、第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置として機能させ、さらに、前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部として機能させ、前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、前記第２の画像情報は、前記第２の空間に関する過去の画像情報であって、前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、プログラムを提案する。

　以上説明したように本開示によれば、リアルタイムでの空間の繋がりを維持したまま過去の双方向コミュニケーションを振り返ることが可能となる。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムを用いたコミュニケーションの様子について説明する図である。本実施形態による情報処理システムの全体構成の一例を示す図である。本実施形態による情報処理装置の構成の一例を示すブロック図である。本実施形態による仮想空間に表示されるメニュー選択画面の一例を示す図である。本実施形態による想い出機能が選択された場合の過去映像の選択方法の一例を示す図である。本実施形態による想い出機能を利用して各空間において双方向にお互いから見えていた過去映像をそれぞれ表示する例である。本実施形態による想い出機能を利用して各空間においてお互いから見えていた双方の過去映像を表示する例である。図８に示す双方の過去映像を表示する場合の表示サイズの他の例を示す図である。図８に示す双方の過去映像を表示する場合の表示サイズの他の例を示す図である。本実施形態による想い出機能を利用して各空間において過去映像を表示する表示方法のバリエーションについて説明する図である。本実施形態による想い出機能を利用して各空間において過去映像を表示する表示方法のバリエーションについて説明する図である。本実施形態による想い出機能を利用した過去映像の雰囲気を伝える表示例として過去映像から抽出した人物のシルエットを表示する例を示す図である。本実施形態による想い出機能を利用して過去映像から抽出した人物を深度情報を参照して配置する例を示す図である。本実施形態による想い出機能を利用して相手側および自分側の過去映像からそれぞれ抽出した人物を両方合成する例を示す図である。本実施形態による想い出機能を利用して相手側および自分側の過去映像からそれぞれ抽出した人物の３Ｄモデルを生成して仮想空間上に配置する例を示す図である。本実施形態によるサーバの構成の一例を示すブロック図である。本実施形態による想い出機能を実行する場合における情報処理装置の動作処理を示すフローチャートである。本実施形態による想い出機能を実行する場合におけるサーバの動作処理を示すフローチャートである。本実施形態による他のシステム構成例を示す図である。他のシステム構成例に係る第１の実施例による情報処理装置の構成の一例を示す図である。他のシステム構成例に係る第１の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第１の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第２の実施例による情報処理装置の構成の一例を示す図である。他のシステム構成例に係る第２の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第２の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第３の実施例による情報処理装置の構成の一例を示す図である。他のシステム構成例に係る第３の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第３の実施例による情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第４の実施例による情報処理装置の構成の一例を示す図である。他のシステム構成例に係る第４の実施例による第１の情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第４の実施例による第１の情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第４の実施例による第２の情報処理装置の動作処理を示すフローチャートである。他のシステム構成例に係る第４の実施例による第２の情報処理装置の動作処理を示すフローチャートである。本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．情報処理装置１０の構成
　　２－２．サーバ２０の構成
　３．動作処理
　　３－１．想い出機能実行に関する情報処理装置１０Ａの動作処理
　　３－２．想い出機能実行に関するサーバ２０の動作処理
　４．他のシステム構成例
　　４－１．第１の実施例
　　４－２．第２の実施例
　　４－３．第３の実施例
　　４－４．第４の実施例
　５．ハードウェア構成
　６．まとめ

　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、離れた場所に位置する空間同士（例えば空間Ａおよび空間Ｂ）を、映像・音声・その他の情報チャンネルによって接続する空間隣接テレプレゼンスシステムである。

　具体的には、例えば空間Ａおよび空間Ｂにそれぞれ設置されたカメラおよびマイクロホン（不図示）により空間情報（映像および音声）が取得されると、リアルタイムで相手側の空間に送信され、例えば相手空間のリビングやダイニング等の壁に設置されたディスプレイ１３１およびスピーカ（不図示）から出力される。ディスプレイ１３１は、相手空間と繋がる仮想的な窓（若しくは、ドアや出入口）であって、仮想的な窓から相手側の空間の様子が見えるため、ユーザは、相手側の空間があたかもすぐ隣にある部屋のように感じ、相手ユーザと同じ場所にいるような感覚を得ることができる。ここで、図２を参照し、本実施形態による情報処理システムを用いたコミュニケーションの様子について説明する。

　図２に示すように、例えば空間Ａにおいて、部屋の壁等に大型のディスプレイ１３１Ａが設置されている。ディスプレイ１３１Ａの周辺またはディスプレイ１３１Ａ上には、カメラ、マイクロホン、及びスピーカが設置される。これらはそれぞれ複数設けられていてもよい。また、カメラ、マイクロホン、及びスピーカの配置場所は特に限定しないが、カメラは、ディスプレイ１３１Ａ側から部屋の内部方向を撮像方向として空間Ａの様子を撮像することが好ましい。なお空間Ｂにおいても同様に、ディスプレイ、カメラ、マイクロホン、及びスピーカが設置されている。

　ディスプレイ１３１Ａには、接続する空間Ｂで取得された映像がリアルタイムで表示される。ディスプレイ１３１Ａには、空間Ｂの映像３１０が画面全体に表示されてもよいし（この場合、空間Ａの壁を介してすぐ隣に空間Ｂが存在しているように感じられる）、図２に示すように、奥行きを持たせて少し離れた場所に空間Ｂの映像３１０を表示し、空間Ｂとの間に仮想空間を生成してもよい。仮想空間を生成した場合、空間Ｂの映像３１０と空間Ａの仮想的な窓（ディスプレイ１３１Ａの枠）が地続きして見えるよう、例えば通路画像３２０を表示してもよい。

　また、ディスプレイ１３１Ａのサイズおよび設置位置は特に限定しない。例えば図２に示すように、ディスプレイ１３１Ａが人間より大きいサイズであって、ディスプレイ１３１Ａの下辺が床の近くに位置していてもよいし、人間の上半身程のサイズで、ディスプレイ１３１Ａの下辺が人間の腰の高さ程に位置していてもよい。

　また、ディスプレイ１３１Ａの周辺には、カメラ、マイクロホン、及びスピーカが設置されている。スピーカ（不図示）からは、相手空間で取得された音声（発話音声に限定されず、ドアの開け閉めやテレビの音、および足音等の生活音を含む様々な環境音）が出力されるため、相手の姿が見えなくとも相手空間の雰囲気や気配を感じることが出来る。特に離れて暮らす家族の部屋を常時繋げた場合、互いの状況をいつでも確認することができるため、遠隔地で様子がわからない不安が減り、安心感を得られる。

　また、従来の例えばスマートフォンやＰＣ（パーソナルコンピュータ）等の情報通信端末を用いたビデオチャットでは、用事があるときに相手を呼び出して目的を持った会話が行われていたが、本実施形態による空間隣接テレプレゼンスシステムは基本的には相手空間と常時接続しているため、気軽に話し掛けたり何気ない会話が行いやすく、コミュニケーションが増えるといった効果が生じる。また、仮想的な窓から相手の顔が見えない状態であっても声は聞こえるため、顔を見ないで会話をすることも可能である。

（背景）
　ここで、空間隣接テレプレゼンスシステムでは、リアルタイムに相手空間と接続することでコミュニケーションを手軽に取ることができるが、日常の様子やその場所で起きた特別なイベントを後から思い出し、接続相手との過去を振り返るようなコミュニケーションを取ることも考えられる。

　そこで、本実施形態では、空間隣接テレプレゼンスシステムにおいて、その空間で起こった過去の出来事（すなわち、過去の双方向コミュニケーション）を、リアルタイムで空間が隣接しているように見える効果は維持したまま過去の様子を振り返ることを可能とする。

　具体的には、各空間の映像および音声等の空間情報を記憶しておき、互いの空間の仮想的な窓から見えていた相手空間の様子（過去映像）を時間軸上で同期し、各空間でそれぞれ再生することで、それぞれの空間で見えていた相手空間の過去の様子（過去の双方向コミュニケーション）を同じタイミングで振り返ることが可能となる。かかる過去の様子を振り返る機能は、本実施形態による空間隣接テレプレゼンスシステムにおいて、「想い出機能」として設けられる。

　このような本実施形態による情報処理システムは、例えば図３に示すような構成を有する。図３は、本実施形態による情報処理システムの全体構成の一例を示す図である。

　図３に示すように、本実施形態による情報処理システム１は、複数の情報処理装置１０（１０Ａ、１０Ｂ）と、サーバ２０とを含む。情報処理装置１０Ａ、情報処理装置１０Ｂ、およびサーバ２０は、ネットワーク３０を介して接続されている。

　各情報処理装置１０は、各空間に設けられた入力部および出力部を用いて空間情報の入出力の制御を行う。具体的には、情報処理装置１０Ａは、空間Ａの映像または音声といった空間情報を空間Ａに設置された入力部から取得し、サーバ２０または情報処理装置１０Ｂに送信する。また、情報処理装置１０Ａは、情報処理装置１０Ｂまたはサーバ２０から受信した情報処理装置１０Ｂの空間情報（映像および音声）を、空間Ａに設置された出力部から出力する制御を行う。

　サーバ２０は、各情報処理装置１０から送信された各空間の空間情報を記憶する。また、サーバ２０は、空間隣接テレプレゼンスシステムにおいて双方向コミュニケーションの過去の振り返りが行われる場合、蓄積した過去の空間情報を、適宜、情報処理装置１０Ａおよび情報処理装置１０Ｂに送信する制御、また、各空間の過去の空間情報に対して時間軸上の同期を取る制御を行う。

　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。

　＜＜２．構成＞＞
　　＜２－１．情報処理装置１０の構成＞
　図４は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図４に示すように、情報処理装置１０は、制御部１００、入力部１１０、操作Ｉ／Ｆ（インタフェース）１２０、出力部１３０、通信部１４０、および記憶部１５０を有する。

　（制御部１００）
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。

　制御部１００は、入力部１１０から様々な空間情報を取得し、取得した空間情報を記憶部１５０に蓄積、さらに送信部１４１からサーバ２０へ送信する制御を行う。入力部１１０からは、例えば、映像、音声、深度情報等が得られる。制御部１００は、ノイズ処理や圧縮等、所定の加工処理を施した情報を蓄積、送信するようにしてもよい。

　また、制御部１００は、入力部１１０から得られた様々な空間情報に基づいて、ユーザ認識を行うことも可能である。ユーザ認識は、例えば予め登録された顔画像と比較することによりユーザが誰であるかを認識するユーザ識別や、ユーザの位置（部屋の中のどの場所に居るか）、姿勢（歩いているか、座っているか、立っているか等）、感情（笑っているか、怒っているか等）、行動（何をしている状況であるか）等の状況認識が想定される。

　また、制御部１００は、入力部１１０から得られた音声情報に基づいて、ユーザの発話音声を認識することが可能である。

　また、制御部１００は、入力部１１０から得られた様々な空間情報に基づいて、空間の環境（例えば物体認識（どこに何があるか））を認識することが可能である。

　制御部１００は、このような各種認識結果を空間情報に含めて記憶部１５０に蓄積したり、送信部１４１からサーバ２０へ送信したりしてもよい。

　また、本実施形態による制御部１００は、機能選択部１０１、画像合成部１０２、および出力制御部１０３としても機能する。

　機能選択部１０１は、本実施形態による空間隣接テレプレゼンスシステムにおいて利用可能な機能の選択を行う。例えば機能選択部１０１は、リモートコントローラ等を用いて行われたユーザ操作情報を操作Ｉ／Ｆ１２０から取得し、ユーザ操作に従った機能を選択する。利用可能な機能は、例えばデジタルカメラ等により撮像された撮像画像を相手ユーザと一緒に閲覧するアルバム機能、相手ユーザと仮想空間を利用して何らかのゲームを行うゲーム機能、相手空間との双方向コミュニケーションを相手ユーザと振り返る想い出機能（本実施形態による過去の様子を振り返る機能）等が想定される。ここで、図５を参照してメニュー選択の方法について説明する。

　図５に示すように、ディスプレイ１３１には、常時接続している相手空間の映像３１０と、相手空間とユーザ側とを繋ぐ仮想空間の通路画像３２０と、を含む画像３００が表示されている。この際、所定のトリガ操作（例えばユーザのジェスチャ、音声、タッチ操作、ボタン操作、リモートコントローラによる操作）に応じて、図５に示すように、メニューアイコン３３０が仮想空間上、相手空間の映像３１０の手前側に表示される。図５に示すアイコンの画像は一例であって、本実施形態はこれに限定されない。例えば、アイコン３３０ａはアルバム機能のアイコン、アイコン３３０ｂはゲーム機能のアイコン、アイコン３３０ｃは想い出機能のアイコン、アイコン３３０ｄはツール機能のアイコン、アイコン３３０ｅは設定機能のアイコンである。ユーザは、リモートコントローラ（不図示）、ジェスチャ、音声、ディスプレイ１３１の画面へのタッチ操作、又は画面周辺に設けられたボタン等の操作部（不図示）の操作等により、アイコンの選択を行う。

　ここで、例えば想い出機能のアイコン３３０ｃが選択された場合における過去映像の選択方法の一例について図６を参照して説明する。想い出機能のアイコン３３０ｃが選択された場合、例えば図６左に示すようにカレンダー画像３３１が表示される。カレンダー画像３３１から振り返りたい日付を選択すると、図６右に示すように、選択した日付の１日の過去映像を検索するシークバー３３２が表示される。ユーザは、シークバー３３２を操作し、対応して表示される過去映像３３３を確認しながら振り返りたい時間帯を選択する。検索する過去映像３３３は、自分側の空間から見えていた相手空間の映像であってもよいし、相手側の空間から見えていた自分側の空間の映像であってもよい。なお図６に示す過去映像の検索および選択方法は一例であって、本実施形態はこれに限定されず、日付や時間が指定できるものであれば他の方法であってもよい。

　画像合成部１０２は、想い出機能により選択された時間帯の過去映像がサーバ２０から送信された際、当該過去映像を、現在繋がっている相手空間のリアルタイムの映像に合成する処理を行う。サーバ２０からは、相手空間の過去映像の他、過去映像に基づいて生成された加工コンテンツ（例えば、過去映像から人物だけを抜き出した画像や３Ｄモデル）や、相手空間の過去映像と自分側の空間の過去映像が時間軸上で同期された同期コンテンツが受信され得る。

　出力制御部１０３は、受信部１４２により受信した、常時接続する相手空間のリアルタイムの空間情報を出力部１３０から出力する制御を行う。例えば、出力制御部１０３は、空間Ａに設けられたディスプレイ１３１に、空間Ｂで撮像されたリアルタイムの映像を表示し、空間Ａに設けられたスピーカ（不図示）から、空間Ｂで集音されたリアルタイムの音声を出力する制御を行う。ディスプレイ１３１は、例えば図２に示すように部屋の壁等に設置された大型の表示部であって、かかるディスプレイ１３１に表示される相手空間の映像は、ディスプレイ１３１を仮想的な窓とした場合に違和感の無く見えるよう適切な画角で撮像されたものである。このようなディスプレイ１３１の配置および相手空間の映像の表示は相手空間でも同様に行われ、これにより互いの空間が隣接しているように見え、各ユーザはディスプレイ１３１を介して双方向にコミュニケーションを行うことができる。

　出力制御部１０３は、ディスプレイ１３１において、相手空間の映像を仮想空間内に配置した表現で表示（すなわち隣接する空間との距離を設けて表示）してもよいし、仮想空間を設けずに（すなわち隣接する空間との距離ゼロで）ディスプレイ１３１の画面全体に相手空間の映像を表示してもよい。いずれの表示方法を選択するか、また、仮想空間を設ける場合はどの程度離れた距離とするか、仮想空間のシーン設定はどのようなものにするかといった種々の設定内容は、自動で（デフォルトで）設定してもよいし、ユーザにより選択されてもよい。また、かかる設定を相手空間における表示方法と共有するようにしてもよい。

　また、出力制御部１０３は、上述した画像合成部１０２により合成された画像をディスプレイ１３１に表示する制御を行い得る。ここで、図７～図１６に、想い出機能利用時における過去映像等の合成の具体例を示す。いずれの表示方法にするかは、システム側で自動で（デフォルトで）設定してもよいし、ユーザが任意に選択して変更してもよい。また、いずれかのユーザが選択した表示方法は、空間Ａと空間Ｂとで共有され得る。

　図７は、各空間において双方向にお互いから見えていた過去映像をそれぞれ表示する例である。この場合、図７に示すように、ユーザＢが居る空間Ｂのディスプレイ１３１Ｂには、空間Ｂから見えていた空間Ａの過去映像３３３が、現在のリアルタイムの空間Ｂの映像３４０の手前の仮想空間上に配置されている。一方、ユーザＡが居る空間Ａのディスプレイ１３１Ａには、空間Ａから見えていた空間Ｂの過去映像３３５が、現在のリアルタイムの空間Ｂの映像３１０の手前の仮想空間上に配置されている。これらの過去映像３３３、３３５は、同時間帯の過去映像であって、各空間において同時に再生される。これにより各ユーザは、リアルタイムでの空間の繋がりを維持したまま（すなわちリアルタイムで相手空間のユーザと会話しながら）、過去の双方向コミュニケーションを振り返ることが可能となる。例えばユーザＡがユーザＢの息子であって、空間Ａで行われた孫（ユーザＣ）の誕生日会の様子を、その場に居なかったユーザＢに見せることが可能となる。ここでは双方向の過去映像をそれぞれ表示しているが、同時に集音された過去音声も出力され得る。

　図８は、各空間においてお互いから見えていた双方の過去映像を表示する例である。この場合、図８に示すように、ユーザＢが居る空間Ｂのディスプレイ１３１Ｂには、空間Ｂから見えていた空間Ａの過去映像３３３ｂおよび空間Ａから見えていた空間Ｂの過去映像３３５ｂが、現在のリアルタイムの空間Ｂの映像３４０の手前の仮想空間上に配置されている。ディスプレイ１３１Ｂで同時表示される過去映像３３３ｂおよび過去映像３３５ｂは、同時間帯の過去映像であって、サーバ２０により時間軸上で同期処理された同期コンテンツである。一方、ユーザＡが居る空間Ａのディスプレイ１３１Ａには、空間Ａから見えていた空間Ｂの過去映像３３５ａおよび空間Ｂから見えていた空間Ａの過去映像３３３ａが、現在のリアルタイムの空間Ｂの映像３１０の手前の仮想空間上に配置されている。ディスプレイ１３１Ａで同時表示される過去映像３３３ａおよび過去映像３３５ａも、同時間帯の過去映像であって、サーバ２０により時間軸上で同期処理された同期コンテンツである。各同期コンテンツは、各空間において同時に再生される。これにより各ユーザは、リアルタイムでの空間の繋がりを維持したまま（すなわちリアルタイムで相手空間のユーザと会話しながら）、過去の双方向コミュニケーションにおけるお互いから見えていた両方の映像を振り返ることが可能となる。この場合、例えばユーザＢは、相手空間（空間Ａ）の過去の様子だけではなく、同時間帯における自分側の空間（空間Ｂ）の過去の様子も見ることができるため、例えば孫（ユーザＣ）がプレゼントを開けて遊んでいる空間Ａの様子を見ている空間Ｂに居るユーザＤの様子も同時に見ることが可能となる。また、ここでも当然に、双方向の過去映像の表示のみならず、同時に集音された過去音声も出力され得る。

　なお、図８に示す例において、過去映像の表示の大きさや配置は適宜ユーザ操作等により変更することが可能である。例えば図８に示す例では、相手空間の過去映像を自分側の空間の過去映像よりも仮想空間上で手前に配置されているが、これらの位置関係を維持したまま仮想空間上で前後の移動を行ってもよい。また、前後の位置関係を維持したまま図９や図１０に示すように、表示サイズのバランスを変更してもよい。

　また、仮想空間上に過去映像を表示する方法のバリエーションとしては、図７～図１０に示すような単に仮想空間上に配置する他、図１１に示すように、仮想空間の通路画像３２０に置かれた装置から上方に投影されているように表現してもよいし、図１２に示すように、仮想空間の通路画像３２０に置かれた写真立てに挟まれているように表現してもよい。

　図１３は、過去映像の雰囲気を伝える表示例として過去映像から抽出した人物のシルエットを表示する例を示す図である。この場合、図１３に示すように、ユーザＢが居る空間Ｂのディスプレイ１３１Ｂには、空間Ｂから見えていた空間Ａの過去映像３３３から抽出された人物のシルエット画像（例えばユーザＣのシルエット、動画）が、現在のリアルタイムの空間Ｂの映像３４０に合成されている。空間の背景は同じであるため、過去の人物のシルエットを現在の映像に重畳表示するだけでも、過去にその空間に居た人物の動きや雰囲気を感じ取ることができる。一方、ユーザＡが居る空間Ａのディスプレイ１３１Ａには、空間Ａから見えていた空間Ｂの過去映像３３５から抽出された人物のシルエット画像（例えばユーザＤのシルエット、動画）が、現在のリアルタイムの空間Ｂの映像３１０に合成されている。これらのシルエット画像は、同時間帯の過去映像であって、各空間において同時に再生される。

　過去画像から抽出した人物の表現は、図１３に示すようなシルエット（影）であってもよいし、ぼかし表現であってもよいし、ボーン表現（身体の骨格を認識して生成した棒人間の表現）であってもよい。また、抽出した人物をそのまま表示してもよいし、透過して表示してもよい。

　また、抽出した人物の画像が合成される位置は、例えば深度情報に基づいて部屋のどの位置にいたかに基づいて配置されてもよい。

　また、抽出した人物の画像は、現在の映像に写る人物の手前に表示してもよいし、深度情報に基づいて現在の映像に写る人物の手前に位置する場合は手前に表示し、後ろに位置する場合は現在の人物の後ろに回り込むよう表示するようにしてもよい。一例を図１４に示す。図１４に示す例では、空間Ａの過去映像から抽出されたユーザＣとユーザＥが、当該過去映像の深度情報に基づいて、空間Ａの同背景に適宜配置されている。これにより、過去映像において、ユーザＣは現在ユーザＡが居る場所より手前に位置しており、ユーザＥはユーザＡの後ろに位置していたことが分かる。

　なお、図１３および図１４では、相手空間の過去映像から抽出した人物のみ合成していたが、本実施形態はこれに限定されず、さらに自分側の空間の過去映像から抽出した人物を合成してもよい。一例を図１５に示す。この場合、図１５に示すように、ユーザＢが居る空間Ｂのディスプレイ１３１Ｂには、空間Ｂから見えていた空間Ａの過去映像３３３から抽出された人物のシルエット画像（例えばユーザＣのシルエット、動画）および空間Ａから見えていた空間Ｂの過去映像３３５から抽出された人物のシルエット画像（例えばユーザＤのシルエット、動画）が、現在のリアルタイムの空間Ｂの映像３４０に合成されている。一方、ユーザＡが居る空間Ａのディスプレイ１３１Ａには、空間Ａから見えていた空間Ｂの過去映像３３５から抽出された人物のシルエット画像（例えばユーザＤのシルエット、動画）および空間Ｂから見えていた空間Ａの過去映像３３３から抽出された人物のシルエット画像（例えばユーザＣのシルエット、動画）が、現在のリアルタイムの空間Ｂの映像３１０に合成されている。これらのシルエット画像は、同時間帯の過去映像であって、各空間において同時に再生される。また、自分側の空間の過去映像から抽出した人物の画像は、図１５に示すように、仮想空間の最も手前側に配置し、さらにその人物を後ろから見ているようユーザに知覚させるため、左右反転させたシルエットとしてもよい。若しくは、３Ｄモデルに基づいて生成されたその人物の後ろ姿を合成するようにしてもよい。また、図１５に示す例では、抽出された人物がいずれもシルエットで表示されているが、本実施形態はこれに限定されない。例えば手前側の人物（自分側の空間の過去映像から抽出された人物）をシルエットで表示し、相手空間の過去映像から抽出した人物を図１４に示すように透過表示させる等、抽出された人物の表示方法を異ならせてもよい。

　図１６は、双方の空間の過去映像に基づいて抽出した人物の３Ｄモデルを生成し、仮想空間上で窓枠を介して向かい合うよう配置する例を示す図である。この場合、図１６に示すように、ユーザＢが居る空間Ｂのディスプレイ１３１Ｂには、空間Ｂから見えていた空間Ａの過去映像３３３から抽出された人物の３Ｄ画像（例えばユーザＣの３Ｄ画像、動画）と空間Ａから見えていた空間Ｂの過去映像３３５から抽出された人物の３Ｄ画像（例えばユーザＤの３Ｄ画像、動画）が、現在のリアルタイムの空間Ｂの映像３４０の手前に位置する仮想空間の通路画像３２０ｂに配置される。仮想空間の通路画像３２０ｂでは、各人物の３Ｄ画像が、仮想的な窓を挟んで向かい合うよう配置され、隣接する空間を表現する窓越しの関係が表現される。また、各人物の３Ｄ画像の窓枠から位置は、深度情報に基づいて適宜配置されてもよい。一方、ユーザＡが居る空間Ａのディスプレイ１３１Ａでも同様に、空間Ａから見えていた空間Ｂの過去映像３３５から抽出された人物のシルエット画像（例えばユーザＤのシルエット、動画）と空間Ｂから見えていた空間Ａの過去映像３３３から抽出された人物のシルエット画像（例えばユーザＣのシルエット、動画）が、現在のリアルタイムの空間Ａの映像３１０に合成されている。これら抽出された人物の３Ｄ画像は、同時間帯の過去映像に基づいて生成され、各空間において同時に再生される。

　このように、相手空間との隣接を維持しながら、仮想空間上で過去の双方向コミュニケーションを再現し、相手ユーザと共に両方の様子を俯瞰して振り返ることが可能となる。３Ｄモデル化は人物のみならず、人物周辺の様子をモデル化してもよい。また、仮想空間に配置する３Ｄモデル全体の大きさは適宜変更可能であって、例えばユーザがリモートコントローラ等により変更してもよい。

　（入力部１１０）
　入力部１１０は、空間情報を制御部１００に入力する機能を有する。例えば入力部１１０は、カメラ、マイクロホン、およびセンサにより実現される。カメラは、複数であってもよく、空間内（例えばリビング）を撮像し、撮像画像を取得する。また、マイクロホンは、複数であってもよく、空間内の音（例えば部屋の中の音や、部屋の外から聞こえる音等）を集音し、音声データを取得する。また、センサは、空間内の各種情報を検知する機能を有し、例えば、深度センサ（距離センサ）、人感センサ、赤外線センサ、照度センサ等が想定される。

　（操作Ｉ／Ｆ１２０）
　操作Ｉ／Ｆ１２０は、ユーザによる操作入力を受け付け、制御部１００に操作情報を出力する。操作Ｉ／Ｆ１２０は、例えばボタン、スイッチ、キーボード、タッチセンサ等により実現され、ディスプレイ１３１の周辺等に設けられる。また、操作Ｉ／Ｆ１２０は、ユーザにより操作されるリモートコントローラと無線／有線通信により接続し、ユーザによる操作入力情報を取得し得る。リモートコントローラは、ＩＲ（赤外線）リモートコントローラであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）リモートコントローラであってもよい。また、リモートコントローラは、専用端末であってもよいし、スマートフォンやタブレット端末等の情報通信端末により実現されてもよいし、ゲーム装置（ゲームパッド等）で代用されてもよい。また、ユーザ操作の入力は、手の動き等のジェスチャや発話音声によっても可能である。ジェスチャや発話音声の解析は、入力部１１０から得られた撮像画像や音声情報に基づいて制御部１００により行われ得る。

　（通信部１４０）
　通信部１４０は、有線または無線によりネットワーク３０と接続し、ネットワーク３０を介してサーバ２０や他の情報処理装置１０と接続し、データの送受信を行う。通信部１４０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式））等によりネットワーク３０と通信接続する。また、図４に示すように、通信部１４０は、機能構成として情報の送信を行う送信部１４１および情報の受信を行う受信部１４２を含む。

　（出力部１３０）
　出力部１３０は、制御部１００の制御に従って、例えば相手空間のリアルタイムの空間情報を出力する。例えば出力部１３０は、ディスプレイ１３１およびスピーカを含み、画像の出力および音声の出力を行う。ここでは一例としてディスプレイ１３１を用いるが画像表示装置はディスプレイ１３１に限定されず、例えばプロジェクターであってもよい。情報処理装置１０は、部屋の壁に相手空間のリアルタイムの映像を投影してもよい。

　（記憶部１５０）
　記憶部１５０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。

　以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は図４に示す例に限定されず、例えば一部の構成が別体により実現され、情報処理装置１０と無線／有線により接続していてもよい。すなわち、情報処理装置１０が複数の装置により構成されていてもよい。また、情報処理装置１０の制御部１００により行われる処理の一部が、サーバ２０またはサーバ２０との間に位置する中間サーバ（不図示）により行われてもよい。これにより情報処理装置１０の処理負担が軽減される。

　　＜２－２．サーバ２０の構成＞
　図１７は、本実施形態によるサーバ２０（情報処理装置）の構成の一例を示すブロック図である。図１７に示すように、サーバ２０は、制御部２００、通信部２１０、およびコンテンツ記憶部２２０を有する。

　（制御部２００）
　制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。

　制御部２００は、各情報処理装置１０から送信された空間情報をコンテンツ記憶部２２０に蓄積する制御を行う。また、制御部２００は、情報処理装置１０からのリクエストに応じて、適宜必要な情報を情報処理装置１０に送信したり、情報処理装置１０での出力制御を行う。

　例えば、制御部２００は、情報処理装置１０から想い出機能実行のリクエストがあった場合、指定された日時のコンテンツ（すなわち過去映像、過去音声）をコンテンツ記憶部２２０から抽出（検索）して情報処理装置１０に送信し、ディスプレイ１３１において相手空間の現在の映像と共に表示するよう制御する。

　また、本実施形態による制御部２００は、コンテンツ加工部２０１およびコンテンツ同期部２０２としても機能する。制御部２００は、情報処理装置１０からのリクエストに応じて、コンテンツ加工部２０１により過去映像を加工した加工コンテンツまたはコンテンツ同期部２０２により双方の過去映像（空間Ａおよび空間Ｂの過去映像）を同期した同期コンテンツを情報処理装置１０に送信し、ディスプレイ１３１において相手空間の現在の映像と共に表示するよう制御する。

　コンテンツ加工部２０１は、想い出機能の利用において、所定の過去映像から人物のみを抽出した人物画像を生成したり、過去映像および対応する（同時間帯の）センサ情報に基づく３次元情報から過去映像に映る人物の３Ｄモデルを生成したりする。

　コンテンツ同期部２０２は、図８を参照して説明したように各空間で双方の過去映像を表示する場合に、選択された同時間帯の空間Ａおよび空間Ｂの各過去映像を同時間軸上で関連付けた（同期させた）コンテンツ（同期コンテンツとも称す）を生成する。

　（通信部２１０）
　通信部２１０は、有線または無線によりネットワーク３０と接続し、ネットワーク３０を介して各情報処理装置１０とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等によりネットワーク３０と接続し得る。

　（コンテンツ記憶部２２０）
　コンテンツ記憶部２２０は、各情報処理装置１０から送信された空間情報を記憶する。また、コンテンツ記憶部２２０は、コンテンツ記憶部２２０に記憶された空間情報から抽出した所定の過去映像に基づいてコンテンツ加工部２０１により加工されたコンテンツや、コンテンツ同期部２０２により生成された同期コンテンツを記憶してもよい。また、コンテンツ記憶部２２０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現され得る。

　以上、本実施形態によるサーバ２０の構成について具体的に説明した。なお図１７に示すサーバ２０の構成は一例であって、本実施形態はこれに限定されない。例えばサーバ２０の少なくとも一部の構成が外部装置にあってもよいし、制御部２００の各機能の少なくとも一部が情報処理装置１０または通信距離が比較的情報処理装置１０に近い情報処理端末（例えば、いわゆるエッジサーバなど）により実現されてもよい。このように、サーバ２０の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。

　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について図１８および図１９を用いて具体的に説明する。図１８は、本実施形態による想い出機能を実行する場合における情報処理装置１０Ａの動作処理を示すフローチャートである。ここでは空間Ａと空間Ｂが常時接続している場合を前提として、一例として空間Ａにおいて空間情報の入出力を行う情報処理装置１０Ａの動作処理について説明するが、空間Ｂにおいて空間情報の入出力を行う情報処理装置１０Ｂも同様の動作処理を行い得る。また、図１９は、本実施形態による想い出機能を実行する場合におけるサーバ２０の動作処理を示すフローチャートである。

　　＜３－１．想い出機能実行に関する情報処理装置１０Ａの動作処理＞
　図１８に示すように、まず、情報処理装置１０Ａは、入力部１１０から空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を取得する（ステップＳ１０３）。

　次に、情報処理装置１０Ａは、空間Ａのリアルタイムの空間情報を、サーバ２０及び情報処理装置１０Ｂに送信する（ステップＳ１０６）。

　次いで、情報処理装置１０Ａは、情報処理装置１０Ｂから、空間Ｂのリアルタイムの空間情報を受信し（ステップＳ１０９）、空間Ａのディスプレイ１３１Ａおよびスピーカから出力するよう制御する（ステップＳ１１２）。

　情報処理装置１０Ａは、上記ステップＳ１０３～ステップＳ１１２の処理を繰り返し、空間Ｂとの常時接続を実現する。なお、情報処理装置１０Ｂでも同様の処理が行われ、空間Ａのリアルタイムの空間情報が空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力されている。

　続いて、情報処理装置１０Ａは、ユーザ側から想い出機能の操作入力があった場合（ステップＳ１１５／Ｙｅｓ）、指定された日時情報をサーバ２０に送信する（ステップＳ１１８）。すなわち、図５および図６を参照して説明したように、想い出機能のアイコン３３０ｃが選択され、ユーザにより所定の日時が指定された場合、指定された日時をサーバ２０に想い出機能の実行リクエストとして送信する。

　次いで、情報処理装置１０Ａは、指定された日時のコンテンツをサーバ２０から受信する（ステップＳ１２２）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ１１５／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ１２５／Ｙｅｓ）、情報処理装置１０Ａは、ユーザＢ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツをサーバ２０から受信する（ステップＳ１２８）。

　ここで、サーバ２０から受信する指定日時のコンテンツとは、例えば相手空間の指定日時の過去映像、指定日時の過去映像に基づいて加工された加工コンテンツ、若しくは同時間帯の自分側の空間の過去映像と相手空間の過去映像が同期された同期コンテンツである。

　次に、情報処理装置１０Ａは、受信したコンテンツを、空間Ｂから継続的に受信しているリアルタイムの空間情報（現在の空間Ｂの映像）と合成し、ディスプレイ１３１Ａに表示する（ステップＳ１３０）。コンテンツの合成例は、図７～図１６に示した通りである。情報処理装置１０Ａは、過去映像の音声も併せてスピーカから出力してもよい。

　　＜３－２．想い出機能実行に関するサーバ２０の動作処理＞
　続いて、サーバ２０の動作処理について図１８を参照して説明する。

　図１８に示すように、まず、サーバ２０は、情報処理装置１０Ａ及び情報処理装置１０Ｂから各空間（空間Ａ及び空間Ｂ）のリアルタイムの空間情報（映像、音声、センサ情報）をそれぞれ受信する（ステップＳ１３３）。

　次に、サーバ２０は、受信した各リアルタイムの空間情報をコンテンツ記憶部２２０に保存する（ステップＳ１３６）。

　次いで、情報処理装置１０Ａまたは情報処理装置１０Ｂから、想い出機能実行のリクエストがあった場合（ステップＳ１３９／Ｙｅｓ）、サーバ２０は、指定された日時のコンテンツ（空間Ａの過去映像及び空間Ｂの過去映像）をコンテンツ記憶部２２０から抽出する（ステップＳ１４２）。

　次に、サーバ２０は、過去映像の加工が必要な場合（ステップＳ１４５／Ｙｅｓ）、コンテンツ加工部２０１によりコンテンツの加工を行う（ステップＳ１４８）。具体的には、例えばコンテンツ加工部２０１は、想い出機能の表示方法としてユーザによりシルエット表示が選択された場合、過去映像から人物を抽出してシルエット加工する処理を行う。

　次に、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ１５１／Ｙｅｓ）、サーバ２０のコンテンツ同期部２０２は、抽出した空間Ａおよび空間Ｂの過去映像の時間軸を同期したコンテンツ（同期コンテンツ）を生成する（ステップＳ１５４）。「自分側の過去映像も見ることが選択されている場合」とは、図８～図１２、図１５、及び図１６を参照して説明したように、相手空間と自分側の空間の過去映像を同時に見る表示方法が選択された場合を想定する。

　そして、サーバ２０は、生成した同期コンテンツを情報処理装置１０Ａ及び情報処理装置１０Ｂに（同時に）送信する（ステップＳ１５７）。情報処理装置１０Ａ及び情報処理装置１０Ｂ側では、受信した同期コンテンツ（指定時間帯における空間Ａの過去映像と空間Ｂの過去映像とが時間軸上で同期されたコンテンツ）を、リアルタイムの相手空間の映像と共に表示する（図８～図１２、図１５、及び図１６参照）。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ１５１／Ｎｏ）、サーバ２０は、抽出した空間Ａの過去映像（若しくは加工したコンテンツ）は情報処理装置１０Ｂに、空間Ｂの過去映像（若しくは加工したコンテンツ）は情報処理装置１０Ａに、（同時に）送信する（ステップＳ１６０）。情報処理装置１０Ａ及び情報処理装置１０Ｂ側では、受信した過去映像（若しくは加工コンテンツ）を、リアルタイムの相手空間の映像と共に表示する（図７、図１１～図１４参照）。

　これにより、複数空間が隣接して接続している状態を維持したまま、過去の双方向コミュニケーションを共に振り返ることが可能となる。また、過去映像等はサーバ２０から同時に情報処理装置１０Ａ及び情報処理装置１０Ｂに送信されるため、これにより各情報処理装置１０での過去映像の再生タイミングの同期が図られ、同時に同時間帯の過去映像等がそれぞれ再生され得る。

　＜＜４．他のシステム構成例＞＞
　以上、本開示の一実施形態による情報処理システムの構成および動作処理について説明したが、本実施形態による情報処理システムの構成は、図３に示す構成、すなわちサーバ２０と情報処理装置１０Ａおよび情報処理装置１０Ｂから成るサーバ－クライアント型のシステム構成に限定されない。例えば、サーバ２０を含まない構成、具体的には図２０に示すように、情報処理装置１０－ｎＡと情報処理装置１０―ｎＢから成るシステム構成により実現されてもよい。このような情報処理システム１ｘの場合における情報処理装置１０－ｎ（１０－１～１０－４）の構成例および動作処理について、以下複数の実施例を用いて具体的に説明する。

　＜４－１．第１の実施例＞
　（構成）
　図２１は、他のシステム構成例に係る第１の実施例による情報処理装置１０－１の構成の一例を示す図である。なお、第１の実施例では、各空間の情報処理装置１０－１は同じ構成を有する。すなわち、第１の実施例による情報処理システム１－１は、情報処理装置１０－１Ａおよび１０－１Ｂから成る。以下の説明では、情報処理装置１０－１Ｂを、単に情報処理装置１０Ｂと称す。

　図２１に示すように、情報処理装置１０－１は、制御部１００－１、入力部１１０、操作Ｉ／Ｆ１２０、出力部１３０、通信部１４０、および記憶部１５０－１を有する。なお図３に示す情報処理装置１０の構成と同じ個所については同符号を付し、ここでの詳細な説明は省略する。また、ここでは図３を参照して説明した構成と異なる部分について主に説明する。

　本実施例による制御部１００－１は、入力部１１０から得られた、自分側の空間のリアルタイムの空間情報（映像、音声、センサ情報）を、常時接続する相手空間の情報処理装置１０Ｂに送信する制御、および送信した当該空間情報を送信コンテンツ記憶部１５１に蓄積する制御を行う。また、制御部１００－１は、情報処理装置１０Ｂから受信した相手空間のリアルタイムの空間情報を、受信コンテンツ記憶部１５２に蓄積する制御、および出力部１３０から出力する制御を行う。また、制御部１００－１は、想い出機能実行指示があった場合、指定された日時のコンテンツ（すなわち過去映像および過去音声等）を記憶部１５０－１から抽出（検索）する。また、制御部１００－１は、図２１に示すように、機能選択部１０１、画像合成部１０２、出力制御部１０３、コンテンツ加工部１０４、およびコンテンツ同期部１０５としても機能する。

　コンテンツ加工部１０４は、図１７を参照して説明したコンテンツ加工部２０１と同様に、想い出機能の利用において、抽出された所定の過去映像から人物のみを抽出した人物画像を生成したり、過去映像および対応する（同時間帯の）センサ情報に基づく３次元情報から過去映像に映る人物の３Ｄモデルを生成したりする機能を有する。

　コンテンツ同期部１０５は、図１７を参照して説明したコンテンツ同期部２０２と同様に、各空間で双方の過去映像を表示する場合に、抽出された空間Ａおよび空間Ｂの所定の各過去映像を同時間軸上で関連付けた（同期させた）コンテンツ（同期コンテンツとも称す）を生成する。

　記憶部１５０－１は、送信コンテンツ記憶部１５１および受信コンテンツ記憶部１５２を有する。送信コンテンツ記憶部１５１には、他の情報処理装置１０に送信したコンテンツ、具体的には、自分側の空間の入力部１１０から得られた空間情報、コンテンツ加工部１０４により加工した加工コンテンツ、またはコンテンツ同期部１０５により同期した同期コンテンツが保存され得る。受信コンテンツ記憶部１５２には、他の情報処理装置１０から受信したコンテンツ、具体的には、相手空間のリアルタイムの空間情報、加工コンテンツ、または同期コンテンツが保存され得る。

　（動作処理）
　図２２および図２３は、他のシステム構成例に係る第１の実施例による情報処理装置１０－１Ａの動作処理を示すフローチャートである。

　図２２に示すように、まず、情報処理装置１０－１Ａは、空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を取得し（ステップＳ２０３）、常時接続する隣接空間である空間Ｂの情報処理装置１０Ｂに送信し（ステップＳ２０６）、また、情報処理装置１０Ｂに送信した空間情報を送信コンテンツ記憶部１５１に保存する（ステップＳ２０９）。

　また、情報処理装置１０－１Ａは、空間Ｂのリアルタイムの空間情報（映像、音声、センサ情報）を、情報処理装置１０Ｂから受信し（ステップＳ２１２）、受信コンテンツ記憶部１５２に保存する（ステップＳ２１５）。

　次いで、情報処理装置１０－１Ａは、空間Ｂのリアルタイムの空間情報を、空間Ａのディスプレイ１３１Ａおよびスピーカから出力する（ステップＳ２１８）。

　情報処理装置１０－１Ａは、上記ステップＳ２０３～ステップＳ２１８の処理を繰り返し、空間Ｂとの常時接続を実現する。また、情報処理装置１０Ｂでも同様の処理が行われ、空間Ａのリアルタイムの空間情報が空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力されている。

　このように、第１の実施例による情報処理装置１０－１では、相手空間に送信したコンテンツ、すなわち自分側の空間の空間情報と、相手空間から受信したコンテンツ、すなわち相手空間の空間情報とを、記憶部１５０－１に蓄積している。

　次いで、ユーザ側から想い出機能の操作入力があった場合（ステップＳ２２１／Ｙｅｓ）、情報処理装置１０－１Ａは、指定された日時情報を情報処理装置１０Ｂに送信する（ステップＳ２２４）。

　次に、情報処理装置１０－１Ａは、指定された日時のコンテンツ（過去映像）を記憶部１５０－１から抽出する（ステップＳ２２７）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ２２１／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ２３０／Ｙｅｓ）、情報処理装置１０－１Ａは、ユーザＢ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツ（過去映像）を記憶部１５０－１から抽出する（ステップＳ２３３）。

　ここで、記憶部１５０－１から抽出する指定日時のコンテンツとは、受信コンテンツ記憶部１５２に保存された相手空間の過去映像、または必要に応じてさらに、送信コンテンツ記憶部１５１に保存された自分側の空間の過去映像である。

　続いて、過去映像の加工が必要な場合（ステップＳ２３６／Ｙｅｓ）、情報処理装置１０－１Ａは、コンテンツ加工部１０４によりコンテンツの加工を行う（ステップＳ２３９）。具体的には、例えばコンテンツ加工部１０４は、想い出機能の表示方法としてユーザによりシルエット表示が選択された場合、過去映像から人物を抽出してシルエット加工する処理を行う。

　次に、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ２４２／Ｙｅｓ）、情報処理装置１０－１Ａは、コンテンツ同期部１０５により、抽出した空間Ａ（自分側）および空間Ｂ（相手側）の過去映像の時間軸を同期したコンテンツ（同期コンテンツ）を生成する（ステップＳ２４５）。

　次いで、情報処理装置１０－１Ａは、同期処理が終了したことを情報処理装置１０Ｂに通知する（ステップＳ２４８）。

　次に、情報処理装置１０－１Ａは、情報処理装置１０Ｂ側でも同期処理が終了したか否かを確認する（ステップＳ２５７）。本実施例では、情報処理装置１０Ｂも同様の構成を有し、図２２および図２３に示す処理と同様の動作処理が行われる。従って、自分側の過去映像も見ることが選択されている場合、情報処理装置１０Ｂにおいても同期処理が行われる。そして、情報処理装置１０Ｂで同期処理が終了した場合は、同期処理が終了したことを示す通知が情報処理装置１０Ｂから送信される。これにより、情報処理装置１０Ｂ側でも同期処理が終了したか否かを確認することができる。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ２４２／Ｎｏ）、情報処理装置１０－１Ａは、準備完了フラグを情報処理装置１０Ｂに送信する（ステップＳ２５４）。

　次に、情報処理装置１０－１Ａは、準備完了フラグが揃ったか否かを確認する（ステップＳ２５７）。上述したように情報処理装置１０Ｂでも図２２および図２３に示す処理と同様の動作処理が行われるため、情報処理装置１０Ｂからも準備完了フラグが送信される。情報処理装置１０－１Ａは、情報処理装置１０Ｂに準備完了フラグを送信し、情報処理装置１０Ｂからも準備完了フラグが送信された場合、準備完了フラグが揃ったと判断する。

　そして、情報処理装置１０Ｂ側でも同期処理が終了した場合（ステップＳ２５１／Ｙｅｓ）、若しくは準備完了フラグが揃った場合（ステップＳ２５７／Ｙｅｓ）、情報処理装置１０－１Ａは、抽出した相手空間（空間Ｂ）の過去映像（若しくは加工コンテンツ又は同期コンテンツ）を、リアルタイムの相手空間の映像と共に（合成して）表示する（ステップＳ２６０）。

　これにより、相手空間が隣接して接続している状態を維持したまま、過去の双方向コミュニケーションを共に振り返ることが可能となる。また、過去映像等の表示は、情報処理装置１０－１Ａ及び情報処理装置１０－１Ｂが共に準備完了（または同期処理終了）したタイミングで行われるため、各情報処理装置１０－１での過去映像の再生タイミングの同期が図られ、同時に同時間帯の過去映像等がそれぞれ再生され得る。

　＜４－２．第２の実施例＞
　（構成）
　図２４は、他のシステム構成例に係る第１の実施例による情報処理装置１０－２の構成の一例を示す図である。なお、第２の実施例では、各空間の情報処理装置１０－２は同じ構成を有する。すなわち、第２の実施例による情報処理システム１－２は、情報処理装置１０－２Ａおよび１０－２Ｂから成る。以下の説明では、情報処理装置１０－２Ｂを、単に情報処理装置１０Ｂと称す。

　図２４に示すように、情報処理装置１０－２は、制御部１００－２、入力部１１０、操作Ｉ／Ｆ１２０、出力部１３０、通信部１４０、および記憶部１５０－２を有する。なお図３に示す情報処理装置１０の構成と同じ個所については同符号を付し、ここでの詳細な説明は省略する。また、ここでは図３を参照して説明した構成と異なる部分について主に説明する。

　本実施例による制御部１００－２は、入力部１１０から得られた、自分側の空間のリアルタイムの空間情報（映像、音声、センサ情報）を、常時接続する相手空間の情報処理装置１０Ｂに送信する制御を行う。また、制御部１００－２は、情報処理装置１０Ｂから受信した相手空間のリアルタイムの空間情報を、受信コンテンツ記憶部１５２に蓄積する制御、および出力部１３０から出力する制御を行う。また、制御部１００－２は、想い出機能実行指示があった場合、指定された日時のコンテンツ（すなわち過去映像および過去音声等）を受信コンテンツ記憶部１５２から抽出（検索）する。

　また、制御部１００－２は、図２４に示すように、機能選択部１０１、画像合成部１０２、出力制御部１０３、コンテンツ加工部１０４、およびコンテンツ同期部１０５としても機能する。コンテンツ加工部１０４およびコンテンツ同期部１０５については、図２１を参照して説明した通りである。

　記憶部１５０－２は、受信コンテンツ記憶部１５２を有する。受信コンテンツ記憶部１５２には、図２１と同様に、他の情報処理装置１０から受信したコンテンツ、具体的には、相手空間のリアルタイムの空間情報、加工コンテンツ、または同期コンテンツが保存され得る。

　（動作処理）
　図２５および図２６は、他のシステム構成例に係る第２の実施例による情報処理装置１０－２Ａの動作処理を示すフローチャートである。

　図２５に示すように、まず、情報処理装置１０－２Ａは、空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を取得し（ステップＳ３０３）、常時接続する隣接空間である空間Ｂの情報処理装置１０Ｂに送信する（ステップＳ３０６）。

　また、情報処理装置１０－２Ａは、空間Ｂのリアルタイムの空間情報（映像、音声、センサ情報）を、情報処理装置１０Ｂから受信し（ステップＳ３０９）、受信コンテンツ記憶部１５２に保存する（ステップＳ３１２）。

　次いで、情報処理装置１０－２Ａは、空間Ｂのリアルタイムの空間情報を、空間Ａのディスプレイ１３１Ａおよびスピーカから出力する（ステップＳ３１５）。

　情報処理装置１０－２Ａは、上記ステップＳ３０３～ステップＳ３１５の処理を繰り返し、空間Ｂとの常時接続を実現する。また、情報処理装置１０Ｂでも同様の処理が行われ、空間Ａのリアルタイムの空間情報が空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力されている。

　このように、第２の実施例による情報処理装置１０－２では、相手空間に送信したコンテンツ、すなわち自分側の空間の空間情報は保存せず、相手空間から受信したコンテンツ、すなわち相手空間の空間情報を記憶部１５０－２に蓄積している。

　次いで、ユーザ側から想い出機能の操作入力があった場合（ステップＳ３１８／Ｙｅｓ）、情報処理装置１０－２Ａは、指定された日時情報を情報処理装置１０Ｂに送信する（ステップＳ３２１）。

　次に、情報処理装置１０－２Ａは、指定された日時のコンテンツ（相手空間の過去映像）を受信コンテンツ記憶部１５２から抽出する（ステップＳ３２４）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ３１８／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ３２７／Ｙｅｓ）、情報処理装置１０－２Ａは、ユーザＢ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツ（相手空間の過去映像）を受信コンテンツ記憶部１５２から抽出する（ステップＳ３３０）。

　次いで、必要に応じて、抽出したコンテンツ（相手空間の過去映像）のコピーを情報処理装置１０Ｂに送信する（ステップＳ３３３）。「必要に応じて」とは、具体的には、想い出機能の表示方法において、自分側の過去映像も見ることが選択されている場合を想定する。この場合、図８～図１２、図１５、及び図１６を参照して説明したように、相手空間と自分側の空間の両方の過去映像が必要となるが、本実施例では、相手空間の過去映像しか保存していないため、情報処理装置１０Ｂでは、自分側の空間の過去映像すなわち空間Ｂの過去映像が必要となる。そこで情報処理装置１０－１Ａは、相手空間の過去映像（すなわち空間Ｂの過去映像）のコピーを情報処理装置１０Ｂに送信する制御を行う。かかる制御は、情報処理装置１０Ｂ側でも同様に行われるため、情報処理装置１０－１Ａは、自分側の空間の過去映像すなわち空間Ａの過去映像を情報処理装置１０Ｂから受信することができる。

　続いて、過去映像の加工が必要な場合（ステップＳ３３６／Ｙｅｓ）、情報処理装置１０－２Ａは、コンテンツ加工部１０４によりコンテンツの加工を行う（ステップＳ３３９）。具体的には、例えばコンテンツ加工部１０４は、想い出機能の表示方法としてユーザによりシルエット表示が選択された場合、過去映像から人物を抽出してシルエット加工する処理を行う。

　次に、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ３４２／Ｙｅｓ）、情報処理装置１０－２Ａは、コンテンツ同期部１０５により、受信した空間Ａ（自分側）および抽出した空間Ｂ（相手側）の過去映像の時間軸を同期したコンテンツ（同期コンテンツ）を生成する（ステップＳ３４５）。

　次いで、情報処理装置１０－２Ａは、同期処理が終了したことを情報処理装置１０Ｂに通知する（ステップＳ３４８）。

　次に、情報処理装置１０－２Ａは、情報処理装置１０Ｂ側でも同期処理が終了したか否かを確認する（ステップＳ３５１）。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ３４２／Ｎｏ）、情報処理装置１０－２Ａは、準備完了フラグを情報処理装置１０Ｂに送信する（ステップＳ３５４）。

　次に、情報処理装置１０－２Ａは、準備完了フラグが揃ったか否かを確認する（ステップＳ３５７）。

　そして、情報処理装置１０Ｂ側でも同期処理が終了した場合（ステップＳ３５１／Ｙｅｓ）、若しくは準備完了フラグが揃った場合（ステップＳ３５７／Ｙｅｓ）、情報処理装置１０－２Ａは、抽出した相手空間（空間Ｂ）の過去映像（若しくは加工コンテンツ又は同期コンテンツ）を、リアルタイムの相手空間の映像と共に（合成して）表示する（ステップＳ３６０）。

　これにより、相手空間が隣接して接続している状態を維持したまま、過去の双方向コミュニケーションを共に振り返ることが可能となる。また、過去映像等の表示は、情報処理装置１０－２Ａ及び情報処理装置１０－２Ｂが共に準備完了（または同期処理終了）したタイミングで行われるため、各情報処理装置１０－２での過去映像の再生タイミングの同期が図られ、同時に同時間帯の過去映像等がそれぞれ再生され得る。

　＜４－３．第３の実施例＞
　（構成）
　図２７は、他のシステム構成例に係る第３の実施例による情報処理装置１０－３の構成の一例を示す図である。なお、第３の実施例では、各空間の情報処理装置１０－３は同じ構成を有する。すなわち、第３の実施例による情報処理システム１－３は、情報処理装置１０－３Ａおよび１０－３Ｂから成る。以下の説明では、情報処理装置１０－３Ｂを、単に情報処理装置１０Ｂと称す。

　図２７に示すように、情報処理装置１０－３は、制御部１００－３、入力部１１０、操作Ｉ／Ｆ１２０、出力部１３０、通信部１４０、および記憶部１５０－３を有する。なお図３に示す情報処理装置１０の構成と同じ個所については同符号を付し、ここでの詳細な説明は省略する。また、ここでは図３を参照して説明した構成と異なる部分について主に説明する。

　本実施例による制御部１００－３は、入力部１１０から得られた、自分側の空間のリアルタイムの空間情報（映像、音声、センサ情報）を、常時接続する相手空間の情報処理装置１０Ｂに送信する制御、および送信した当該空間情報を送信コンテンツ記憶部１５１に蓄積する制御を行う。また、制御部１００－３は、情報処理装置１０Ｂから受信した相手空間のリアルタイムの空間情報を、出力部１３０から出力する制御を行う。また、制御部１００－２は、想い出機能実行指示があった場合、指定された日時のコンテンツ（すなわち過去映像および過去音声等）を送信コンテンツ記憶部１５１から抽出（検索）する。

　また、制御部１００－３は、図２７に示すように、機能選択部１０１、画像合成部１０２、出力制御部１０３、コンテンツ加工部１０４、およびコンテンツ同期部１０５としても機能する。コンテンツ加工部１０４およびコンテンツ同期部１０５については、図２１を参照して説明した通りである。

　記憶部１５０－３は、送信コンテンツ記憶部１５１を有する。送信コンテンツ記憶部１５１には、他の情報処理装置１０に送信したコンテンツ、具体的には、自分側の空間の入力部１１０から得られた空間情報、コンテンツ加工部１０４により加工した加工コンテンツ、またはコンテンツ同期部１０５により同期した同期コンテンツが保存され得る。

　（動作処理）
　図２８および図２９は、他のシステム構成例に係る第３の実施例による情報処理装置１０－３Ａの動作処理を示すフローチャートである。

　図２８に示すように、まず、情報処理装置１０－３Ａは、空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を取得し（ステップＳ４０３）、常時接続する隣接空間である空間Ｂの情報処理装置１０Ｂに送信し（ステップＳ４０６）、また、情報処理装置１０Ｂに送信した空間情報を送信コンテンツ記憶部１５１に保存する（ステップＳ４０９）。

　また、情報処理装置１０－３Ａは、空間Ｂのリアルタイムの空間情報（映像、音声、センサ情報）を、情報処理装置１０Ｂから受信し（ステップＳ４１２）、空間Ａのディスプレイ１３１Ａおよびスピーカから出力する（ステップＳ４１５）。

　情報処理装置１０－１Ａは、上記ステップＳ４０３～ステップＳ４１５の処理を繰り返し、空間Ｂとの常時接続を実現する。また、情報処理装置１０Ｂでも同様の処理が行われ、空間Ａのリアルタイムの空間情報が空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力されている。

　このように、第３の実施例による情報処理装置１０－３では、相手空間に送信したコンテンツ、すなわち自分側の空間の空間情報を送信コンテンツ記憶部１５１に保存し、相手空間から受信したコンテンツは保存していない。

　次いで、ユーザ側から想い出機能の操作入力があった場合（ステップＳ４１８／Ｙｅｓ）、情報処理装置１０－３Ａは、指定された日時情報を情報処理装置１０Ｂに送信する（ステップＳ４２１）。

　次に、情報処理装置１０－３Ａは、指定された日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ４２４）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ４１８／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ４２７／Ｙｅｓ）、情報処理装置１０－３Ａは、ユーザＢ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ４３０）。

　次いで、抽出したコンテンツ（自分側の空間の過去映像）を情報処理装置１０Ｂに送信する（ステップＳ４３３）。想い出機能の表示では、少なくとも相手空間の過去映像が必要となるが、本実施例では、自分側の空間の過去映像しか保存していないため、情報処理装置１０Ｂでは、相手空間の過去映像すなわち空間Ａの過去映像が必要となる。そこで情報処理装置１０－３Ａは、自分側の空間の過去映像（すなわち空間Ａの過去映像）を情報処理装置１０Ｂに送信する制御を行う。かかる制御は、情報処理装置１０Ｂ側でも同様に行われるため、情報処理装置１０－３Ａは、相手空間の過去映像すなわち空間Ｂの過去映像を情報処理装置１０Ｂから受信することができる。

　続いて、過去映像の加工が必要な場合（ステップＳ４３６／Ｙｅｓ）、情報処理装置１０－３Ａは、コンテンツ加工部１０４によりコンテンツの加工を行う（ステップＳ４３９）。

　次に、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ４４２／Ｙｅｓ）、情報処理装置１０－３Ａは、コンテンツ同期部１０５により、抽出した空間Ａ（自分側）の過去映像と、受信した空間Ｂ（相手側）の過去映像との時間軸を同期したコンテンツ（同期コンテンツ）を生成する（ステップＳ４４５）。

　次いで、情報処理装置１０－３Ａは、同期処理が終了したことを情報処理装置１０Ｂに通知する（ステップＳ４４８）。

　次に、情報処理装置１０－３Ａは、情報処理装置１０Ｂ側でも同期処理が終了したか否かを確認する（ステップＳ４５１）。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ４４２／Ｎｏ）、情報処理装置１０－３Ａは、準備完了フラグを情報処理装置１０Ｂに送信する（ステップＳ４５４）。

　次に、情報処理装置１０－３Ａは、準備完了フラグが揃ったか否かを確認する（ステップＳ４５７）。

　そして、情報処理装置１０Ｂ側でも同期処理が終了した場合（ステップＳ４５１／Ｙｅｓ）、若しくは準備完了フラグが揃った場合（ステップＳ４５７／Ｙｅｓ）、情報処理装置１０－３Ａは、受信した相手空間（空間Ｂ）の過去映像（若しくは加工コンテンツ又は同期コンテンツ）を、リアルタイムの相手空間の映像と共に（合成して）表示する（ステップＳ４６０）。

　これにより、相手空間が隣接して接続している状態を維持したまま、過去の双方向コミュニケーションを共に振り返ることが可能となる。また、過去映像等の表示は、情報処理装置１０－３Ａ及び情報処理装置１０－３Ｂが共に準備完了（または同期処理終了）したタイミングで行われるため、各情報処理装置１０－３での過去映像の再生タイミングの同期が図られ、同時に同時間帯の過去映像等がそれぞれ再生され得る。

　＜４－４．第４の実施例＞
　（構成）
　図３０は、他のシステム構成例に係る第４の実施例による情報処理装置１０－４の構成の一例を示す図である。第４の実施例による情報処理システム１－４は、情報処理装置１０－４Ａおよび１０－４Ｂから成る。ここでは、一方の情報処理装置１０－４が「コンテンツ加工部」および「コンテンツ同期部」を有する。

　図３０に示すように、情報処理装置１０－４Ａは、制御部１００－４Ａ、入力部１１０、操作Ｉ／Ｆ１２０、出力部１３０、通信部１４０、および記憶部１５０－４Ａを有し、制御部１００－４Ａは、コンテンツ加工部１０４およびコンテンツ同期部１０５としても機能する。

　一方、情報処理装置１０－４Ｂは、制御部１００－４Ｂ、入力部１１０、操作Ｉ／Ｆ１２０、出力部１３０、通信部１４０、および記憶部１５０－４Ｂを有し、制御部１００－４Ｂは、コンテンツ加工機能やコンテンツ同期機能は有していない。

　このように一方の情報処理装置１０－４Ａがコンテンツ加工機能やコンテンツ同期機能を有する場合の情報処理システムの動作処理について、以下図３１～図３４を参照して説明する。図３１および図３２は、コンテンツ加工機能やコンテンツ同期機能を有する情報処理装置１０－４Ａの動作処理を示すフローチャートである。また、図３３および図３４は、コンテンツ加工機能やコンテンツ同期機能を有していない情報処理装置１０－４Ｂの動作処理を示すフローチャートである。以下の説明では、情報処理装置１０－４Ｂを、単に情報処理装置１０Ｂとも称す。

　（情報処理装置１０－４Ａの動作処理）
　図３１に示すように、まず、情報処理装置１０－４Ａは、空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を取得し（ステップＳ５０３）、常時接続する隣接空間である空間Ｂの情報処理装置１０Ｂに送信し（ステップＳ５０６）、また、情報処理装置１０Ｂに送信した空間情報を送信コンテンツ記憶部１５１に保存する（ステップＳ５０９）。

　また、情報処理装置１０－４Ａは、空間Ｂのリアルタイムの空間情報（映像、音声、センサ情報）を、情報処理装置１０Ｂから受信し（ステップＳ５１２）、空間Ａのディスプレイ１３１Ａおよびスピーカから出力する（ステップＳ５１５）。

　情報処理装置１０－４Ａは、上記ステップＳ５０３～ステップＳ５１５の処理を繰り返し、空間Ｂとの常時接続を実現する。また、情報処理装置１０Ｂでも同様の処理が行われ、空間Ａのリアルタイムの空間情報が空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力されている。

　このように、第４の実施例による情報処理装置１０－４Ａでは、相手空間に送信したコンテンツ、すなわち自分側の空間の空間情報を送信コンテンツ記憶部１５１に保存し、相手空間から受信したコンテンツは保存していない。

　次いで、ユーザ側から想い出機能の操作入力があった場合（ステップＳ５１８／Ｙｅｓ）、情報処理装置１０－４Ａは、指定された日時情報を情報処理装置１０Ｂに送信する（ステップＳ５２１）。

　次に、情報処理装置１０－４Ａは、指定された日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ５２４）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ５１８／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ５２７／Ｙｅｓ）、情報処理装置１０－４Ａは、ユーザＢ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ５３０）。

　次いで、抽出したコンテンツ（自分側の空間の過去映像）を情報処理装置１０Ｂに送信する（ステップＳ５３３）。詳細は、第３の実施例で説明したステップＳ４３３と同様である。

　続いて、過去映像の加工が必要な場合（ステップＳ５３６／Ｙｅｓ）、情報処理装置１０－４Ａは、コンテンツ加工部１０４によりコンテンツの加工を行う（ステップＳ５３９）。

　次に、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ５４２／Ｙｅｓ）、情報処理装置１０－４Ａは、コンテンツ同期部１０５により、抽出した空間Ａ（自分側）の過去映像と、受信した空間Ｂ（相手側）の過去映像との時間軸を同期したコンテンツ（同期コンテンツ）を生成する（ステップＳ５４５）。

　次いで、情報処理装置１０－４Ａは、同期処理したコンテンツのコピーを情報処理装置１０Ｂに送信する（ステップＳ５４８）。本実施例では、情報処理装置１０Ｂがコンテンツ同期機能を有していないため、情報処理装置１０Ａで生成した同期コンテンツを送信している。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ５４２／Ｎｏ）、情報処理装置１０－４Ａは、加工処理を行った場合は、加工コンテンツを情報処理装置１０Ｂに送信する（ステップＳ５５１）。本実施例では、情報処理装置１０Ｂがコンテンツ加工機能を有していないため、情報処理装置１０Ａで生成した加工コンテンツを送信している。なお、加工処理を行っていない場合は、第３の実施例と同様に準備完了フラグを送信し、準備完了フラグが揃ったか否かを確認してもよい。

　そして、情報処理装置１０－４Ａは、受信した相手空間（空間Ｂ）の過去映像（若しくは加工コンテンツ又は同期コンテンツ）を、リアルタイムの相手空間の映像と共に（合成して）表示する（ステップＳ５５４）。

　（情報処理装置１０－４Ｂの動作処理）
　次に、コンテンツ加工機能やコンテンツ同期機能を有していない情報処理装置１０－４Ｂの動作処理について図３３および図３４を参照して説明する。ここでは、情報処理装置１０－４Ａを、単に情報処理装置１０Ａとも称す。

　図３３に示すように、まず、情報処理装置１０－４Ｂは、空間Ｂのリアルタイムの空間情報（映像、音声、センサ情報）を取得し（ステップＳ５７３）、常時接続する隣接空間である空間Ａの情報処理装置１０Ａに送信し（ステップＳ５７６）、また、情報処理装置１０Ａに送信した空間情報を送信コンテンツ記憶部１５１に保存する（ステップＳ５７９）。

　また、情報処理装置１０－４Ｂは、空間Ａのリアルタイムの空間情報（映像、音声、センサ情報）を、情報処理装置１０Ａから受信し（ステップＳ５８２）、空間Ｂのディスプレイ１３１Ｂおよびスピーカから出力する（ステップＳ５８５）。

　情報処理装置１０－４Ｂは、上記ステップＳ５７３～ステップＳ５８５の処理を繰り返し、空間Ａとの常時接続を実現する。

　このように、第４の実施例による情報処理装置１０－４Ｂでは、相手空間に送信したコンテンツ、すなわち自分側の空間の空間情報を送信コンテンツ記憶部１５１に保存し、相手空間から受信したコンテンツは保存していない。

　次いで、ユーザ側から想い出機能の操作入力があった場合（ステップＳ５８８／Ｙｅｓ）、情報処理装置１０－４Ｂは、指定された日時情報を情報処理装置１０Ａに送信する（ステップＳ５９１）。

　次に、情報処理装置１０－４Ｂは、指定された日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ５９４）。

　一方、ユーザ側からの想い出機能の操作入力ではなく（ステップＳ５８８／Ｎｏ）、相手側からの想い出機能の操作入力があった場合（ステップＳ５９７／Ｙｅｓ）、情報処理装置１０－４Ｂは、ユーザＡ（常時接続している相手空間側のユーザ）が指定した日時のコンテンツ（自分側の空間の過去映像）を送信コンテンツ記憶部１５１から抽出する（ステップＳ６００）。

　次いで、抽出したコンテンツ（自分側の空間の過去映像）を情報処理装置１０Ａに送信する（ステップＳ６０３）。詳細は、第４の実施例で説明したステップＳ４３３と同様である。

　続いて、想い出機能の表示方法として、ユーザが自分側の過去映像も見ることが選択されている場合（ステップＳ６０６／Ｙｅｓ）、情報処理装置１０－４Ｂは、情報処理装置１０Ａから、同期コンテンツを受信する（ステップＳ６０９）。

　一方、ユーザが自分側の過去映像も見ることは選択されていない場合（ステップＳ６０６／Ｎｏ）、情報処理装置１０－４Ｂは、過去映像の加工が必要な場合は、情報処理装置１０Ａから、加工コンテンツを受信する（ステップＳ６１２）。なお、加工処理が不要な場合は、第３の実施例と同様に準備完了フラグを送信し、準備完了フラグが揃ったか否かを確認してもよい。

　本実施例では、情報処理装置１０Ｂはコンテンツ同期機能や加工機能を有していないため、想い出機能の表示方法において加工や同期が必要な場合、情報処理装置１０Ａにより生成された加工コンテンツや同期コンテンツを受信する。

　そして、情報処理装置１０－４Ｂは、受信した相手空間（空間Ａ）の過去映像（若しくは加工コンテンツ又は同期コンテンツ）を、リアルタイムの相手空間の映像と共に（合成して）表示する（ステップＳ６１５）。

　以上説明したように、第４の実施例においても、相手空間が隣接して接続している状態を維持したまま、過去の双方向コミュニケーションを共に振り返ることが可能となる。また、過去映像等の表示は、情報処理装置１０－４Ａから同期コンテンツや加工コンテンツを情報処理装置１０－４Ｂに送信したタイミング、若しくは共に準備完了したタイミングで行われるため、各情報処理装置１０－４での過去映像の再生タイミングの同期が図られ、同時に同時間帯の過去映像等がそれぞれ再生され得る。

　＜＜５．ハードウェア構成＞＞
　最後に、図３５を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図３５は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図３５に示す情報処理装置９００は、例えば、図４に示した情報処理装置１０、図２１に示した情報処理装置１０－１、図２４に示した情報処理装置１０－２、図２７に示した情報処理装置１０－３、図３０に示した情報処理装置１０－４（１０－４Ａ、１０－４Ｂ）、または図１７に示したサーバ２０を実現し得る。本実施形態に係る情報処理装置１０、１０－１～１０－４、またはサーバ２０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

　図９に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１００、図１７に示す制御部２００、図２１に示す制御部１００－１、図２４に示す制御部１００－２、図２７に示す制御部１００－３、又は図３０に示す制御部１００－４を形成し得る。

　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す記憶部１５０、図１７に示すコンテンツ記憶部２２０、図２１に示す記憶部１５０－１、図２４に示す記憶部１５０－２、図２７に示す記憶部１５０－３、又は図３０に示す記憶部１５０－４を形成し得る。

　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）などによりデータ伝送可能な外部機器との接続口である。接続ポート９１１は、例えば、図４に示す操作Ｉ／Ｆ１２０を形成し得る。

　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図４、図２１、図２４、図２７、又は図３０に示す通信部１４０、若しくは図１７に示す通信部２１０を形成し得る。

　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、リアルタイムでの空間の繋がりを維持したまま過去の双方向コミュニケーションを振り返ることが可能となる。

　また、過去映像から人物のみを抽出して再生することで、現在と過去の差分を感じることができるため、より直感的に過去が思い出される。過去の人物が現在の空間の映像に重畳表示されるため、子供の成長等も直感的に把握することが可能となる。

　また、過去を振り返る機能を設けることで、常時接続している相手とのコミュニケーションを取るきっかけとなり、コミュニケーションの機会が増加する。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上述した情報処理装置１０、またはサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０、またはサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の空間と第２の空間の双方向通信を制御する情報処理装置であって、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部を備え、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理装置。
（２）
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置であって、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部を備え、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示されている前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理装置。
（３）
　前記制御部は、前記第２の画像情報を、前記第１の画像情報の手前に設けた仮想空間上に表示する制御を行う、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記第１の空間に関する前記過去の画像情報と前記第２の画像情報が時間軸上において同期されたコンテンツを、前記第１の画像情報と共に表示する制御を行う、前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、前記第２の画像情報に基づいて加工したコンテンツを、前記第１の画像情報に重畳表示する制御を行う、前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記加工したコンテンツは、前記第２の画像情報から抽出した人物の加工画像である、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記抽出した人物の加工画像を、当該人物の深度情報に基づいて前記第１の画像情報に重畳表示する位置を制御する、前記（６）に記載の情報処理装置。
（８）
　前記人物の加工画像は、前記抽出した人物のシルエット画像である、前記（６）または（７）に記載の情報処理装置。
（９）
　前記人物の加工画像は、前記抽出した人物の３Ｄモデル化画像であって、前記第１の空間の表示部において、前記第１の画像情報の手前に設けた仮想空間上に表示される、前記（６）に記載の情報処理装置。
（１０）
　第１の空間と第２の空間の双方向通信を制御する情報処理方法であって、
　プロセッサが、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行うことを含み、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理方法。
（１１）
　コンピュータを、
　第１の空間と第２の空間の双方向通信を制御する情報処理装置として機能させるプログラムであって、
　さらに、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部として機能させ、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、プログラム。
（１２）
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理方法であって、
　プロセッサが、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行うことを含み、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理方法。
（１３）
　コンピュータを、
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置として機能させ、
　さらに、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部として機能させ、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、プログラム。

　１　　情報処理システム
　１０（１０Ａ、１０Ｂ）、１０－１～１０－４　　情報処理装置
　２０　　サーバ
　３０　　ネットワーク
　１００　　制御部
　１０１　　機能選択部
　１０２　　画像合成部
　１０３　　出力制御部
　１０４　　コンテンツ加工部
　１０５　　コンテンツ同期部
　１１０　　入力部
　１２０　　操作Ｉ／Ｆ
　１３０　　出力部
　１３１　　ディスプレイ
　１４０　　通信部
　１５０　　記憶部
　１５１　　送信コンテンツ記憶部
　１５２　　受信コンテンツ記憶部
　２００　制御部
　２０１　　コンテンツ加工部
　２０２　　コンテンツ同期部
　２１０　通信部
　２２０　コンテンツ記憶部

Claims

　第１の空間と第２の空間の双方向通信を制御する情報処理装置であって、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部を備え、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理装置。
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置であって、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部を備え、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理装置。
　前記制御部は、前記第２の画像情報を、前記第１の画像情報の手前に設けた仮想空間上に表示する制御を行う、請求項２に記載の情報処理装置。
　前記制御部は、前記第１の空間に関する前記過去の画像情報と前記第２の画像情報が時間軸上において同期されたコンテンツを、前記第１の画像情報と共に表示する制御を行う、請求項２に記載の情報処理装置。
　前記制御部は、前記第２の画像情報に基づいて加工したコンテンツを、前記第１の画像情報に重畳表示する制御を行う、請求項２に記載の情報処理装置。
　前記加工したコンテンツは、前記第２の画像情報から抽出した人物の加工画像である、請求項５に記載の情報処理装置。
　前記制御部は、前記抽出した人物の加工画像を、当該人物の深度情報に基づいて前記第１の画像情報に重畳表示する位置を制御する、請求項６に記載の情報処理装置。
　前記人物の加工画像は、前記抽出した人物のシルエット画像である、請求項６に記載の情報処理装置。
　前記人物の加工画像は、前記抽出した人物の３Ｄモデル化画像であって、前記第１の空間の表示部において、前記第１の画像情報の手前に設けた仮想空間上に表示される、請求項６に記載の情報処理装置。
　第１の空間と第２の空間の双方向通信を制御する情報処理方法であって、
　プロセッサが、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行うことを含み、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、情報処理方法。
　コンピュータを、
　第１の空間と第２の空間の双方向通信を制御する情報処理装置として機能させるプログラムであって、
　さらに、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御と共に、
　前記第２の空間に、第３の画像情報と第４の画像情報を表示させる制御を行う制御部として機能させ、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、前記第２の空間に関する過去の画像情報であり、
　前記第３の画像情報は、前記第１の空間に関する現在の画像情報であり、
　前記第４の画像情報は、前記第１の空間に関する、前記第２の画像情報と同時間帯の過去の画像情報である、プログラム。
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理方法であって、
　プロセッサが、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行うことを含み、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、情報処理方法。
　コンピュータを、
　第１の空間と第２の空間の双方向通信の制御が行われる情報処理装置として機能させ、
　さらに、
　前記第１の空間に、第１の画像情報と第２の画像情報を表示させる制御を行う制御部として機能させ、
　前記第１の画像情報は、前記第２の空間に関する現在の画像情報であり、
　前記第２の画像情報は、
　　前記第２の空間に関する過去の画像情報であって、
　　前記第２の空間に表示される前記第１の空間に関する過去の画像情報と同時間帯の画像情報である、プログラム。