JP2019082904A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2019082904A JP2019082904A JP2017210456A JP2017210456A JP2019082904A JP 2019082904 A JP2019082904 A JP 2019082904A JP 2017210456 A JP2017210456 A JP 2017210456A JP 2017210456 A JP2017210456 A JP 2017210456A JP 2019082904 A JP2019082904 A JP 2019082904A
- Authority
- JP
- Japan
- Prior art keywords
- information
- presentation
- user
- sensory
- sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とするを提供する。
【解決手段】情報処理システム1は、ユーザ端末10−1、10−2、検出装置30−1、30−2、提示装置40−1、40−2を備える。ユーザ端末10−1、10−2の制御部は、データ取得部、感覚情報決定部、提示制御部を備える。データ取得部は、あらかじめセンシングされた複数の感覚情報の関連性データを取得する。感覚情報決定部は、関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する。提示制御部は、第2の感覚情報に対応する提示データのユーザへの提示を制御する。
【選択図】図1
【解決手段】情報処理システム1は、ユーザ端末10−1、10−2、検出装置30−1、30−2、提示装置40−1、40−2を備える。ユーザ端末10−1、10−2の制御部は、データ取得部、感覚情報決定部、提示制御部を備える。データ取得部は、あらかじめセンシングされた複数の感覚情報の関連性データを取得する。感覚情報決定部は、関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する。提示制御部は、第2の感覚情報に対応する提示データのユーザへの提示を制御する。
【選択図】図1
Description
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、所定の感覚情報に対応する提示データをユーザに提示することによって、所定の感覚をユーザに体験させる技術が存在する。例えば、コンピュータなどによって感覚情報に対応する提示データを生成し、生成した提示データをユーザに提示する技術が存在する。一例として、送信装置から受信した感覚情報に対応する提示データを生成する受信装置に関する技術が開示されている(例えば、特許文献1参照)。ここで、提示データに対応する感覚情報も人間によって生成されるのが一般的である。
しかし、ユーザは、自分自身によって実際に体験された感覚と同じような感覚を再度体験したいと望むことがある。あるいは、ユーザは、他のユーザによって実際に体験された感覚と同じような感覚を自分も体験したいと望むこともある。そこで、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とする技術が提供されることが望ましい。
本開示によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。
本開示によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定することと、プロセッサにより、前記第2の感覚情報に対応する提示データのユーザへの提示を制御することと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータを、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とする技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.実施形態の詳細
1.1.システム構成例
1.2.ユーザ端末の機能構成例
1.3.サーバの機能構成例
1.4.登録処理およびデータ更新処理
1.5.提示処理
1.5.1 第1の例
1.5.2 第2の例
1.5.3 第3の例
2.ハードウェア構成例
3.むすび
1.実施形態の詳細
1.1.システム構成例
1.2.ユーザ端末の機能構成例
1.3.サーバの機能構成例
1.4.登録処理およびデータ更新処理
1.5.提示処理
1.5.1 第1の例
1.5.2 第2の例
1.5.3 第3の例
2.ハードウェア構成例
3.むすび
<1.実施形態の詳細>
以下、本開示の実施形態の詳細について説明する。
以下、本開示の実施形態の詳細について説明する。
[1.1.システム構成例]
まず、本開示の実施形態に係る情報処理システムの構成例について説明する。
まず、本開示の実施形態に係る情報処理システムの構成例について説明する。
図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示すように、情報処理システム1は、ユーザ端末10−1、検出装置30−1および提示装置40−1を備える。ユーザ端末10−1、検出装置30−1および提示装置40−1は、ユーザU1によって利用され得る。ユーザ端末10−1は、検出装置30−1および提示装置40−1それぞれと無線または有線によって接続されている。また、ユーザ端末10−1は、ネットワーク90に接続されており、ネットワーク90を介してサーバ20と通信可能に構成されている。
また、図1に示すように、情報処理システム1は、ユーザ端末10−2、検出装置30−2および提示装置40−2を備える。ユーザ端末10−2、検出装置30−2および提示装置40−2は、ユーザU2によって利用され得る。ユーザ端末10−2は、検出装置30−2および提示装置40−2それぞれと無線または有線によって接続されている。また、ユーザ端末10−2は、ネットワーク90に接続されており、ネットワーク90を介してサーバ20と通信可能に構成されている。
なお、図1に示した例では、ユーザの数が(ユーザU1およびユーザU2の)2人である。しかし、ユーザの数は特に限定されない。すなわち、ユーザが自分自身によって実際に体験された感覚と同じような感覚を再度体験する場合には、ユーザの数は1人であってもよい。あるいは、ユーザが他のユーザによって実際に体験された感覚と同じような感覚を体験したい場合には、ユーザの数は最低2人必要である。ユーザの数は3人以上であってもよい。ユーザの数が3人以上である場合、3人以上のユーザそれぞれに対応して、ユーザ端末10、検出装置30および提示装置40が存在すればよい。
なお、本開示の実施形態においては、ユーザ端末10、検出装置30および提示装置40がユーザごとに設けられている場合を主に想定する。しかし、ユーザ端末10、検出装置30および提示装置40の少なくとも一部は、ユーザごとに設けられていなくてもよい。すなわち、ユーザ端末10、検出装置30および提示装置40の少なくとも一部は、一部または全部のユーザによって共有されてもよい。その場合、ログイン時に入力されたユーザIDによってユーザが識別可能であってもよい。
また、本開示の実施形態においては、ユーザ端末10−1およびユーザ端末10−2がスマートフォンである場合を主に想定する。しかし、ユーザ端末10−1およびユーザ端末10−2はスマートフォンに限定されない。例えば、ユーザ端末10−1およびユーザ端末10−2の少なくとも一部は、携帯電話であってもよいし、タブレット端末であってもよいし、PC(Personal Computer)であってもよいし、ヘッドマウントディスプレイであってもよいし、カメラであってもよい。ユーザ端末10−1およびユーザ端末10−2それぞれは、情報処理装置として機能し得る。
図1に示すように、情報処理システム1は、サーバ20を備える。サーバ20は、ネットワーク90に接続されている。そして、サーバ20は、ネットワーク90を介してユーザ端末10−1と通信可能に構成されている。また、サーバ20は、ネットワーク90を介してユーザ端末10−2と通信可能に構成されている。図1に示すように、サーバ20は、ユーザ端末10とは独立したコンピュータによって構成されてよい。しかし、サーバ20が有する各種機能は、ユーザ端末10−1およびユーザ端末10−2のいずれかに組み込まれていてもよい。
以上、本開示の実施形態に係る情報処理システム1の構成例について説明した。
[1.2.ユーザ端末の機能構成例]
続いて、ユーザ端末10の機能構成例について説明する。
続いて、ユーザ端末10の機能構成例について説明する。
図2は、本開示の実施形態に係るユーザ端末10の機能構成例を示す図である。図2に示したように、ユーザ端末10は、制御部110、操作部160、記憶部170、通信部180および出力部190を有している。以下、ユーザ端末10が備えるこれらの機能ブロックについて説明する。
制御部110は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。これらのブロックがCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。制御部110は、かかる処理装置によってプログラムが実行されることによって実現され得る。ここで、制御部110の詳細な構成について説明する。
図3は、制御部110の詳細な構成例を示す図である。図3に示すように、制御部110は、検出データ取得部120、検出データ送信制御部140、管理データ取得部151、感覚情報決定部152および提示制御部153を有する。
検出データ取得部120は、検出装置30によって検出されたデータ(検出データ)を検出装置30から取得する。検出データ取得部120は、視覚情報取得部121、聴覚情報取得部122、嗅覚情報取得部123、触覚情報取得部124、味覚情報取得部125を有する。また、検出データ取得部120は、生体情報取得部131、地理情報取得部132、時間情報取得部133、イベント情報取得部134、その他情報取得部135およびユーザ情報取得部136を有する。
視覚情報取得部121は、検出装置30がユーザの視覚情報をセンシング可能な視覚情報検出装置を有する場合、当該視覚情報検出装置によってセンシングされた視覚情報を取得する。このとき、視覚情報検出装置は、撮像装置を含んで構成され、撮像装置によって撮像された実世界の画像を視覚情報として得てもよいし、環境センシング技術(SLAM:Simultaneous Localization and Mapping)を用いて画像から得られた実世界の三次元的な環境マップを視覚情報として得てもよい。例えば、視覚情報は、RGBカメラ、Depthカメラ、偏光カメラ、赤外線カメラ、超音波センサ、ジャイロセンサ、加速度センサおよびGPS(Global Positioning System)センサのうちの一つまたは複数の組み合わせによって検出されてもよい。
聴覚情報取得部122は、検出装置30がユーザの聴覚情報をセンシング可能な聴覚情報検出装置を有する場合、当該聴覚情報検出装置によってセンシングされた聴覚情報を取得する。このとき、聴覚情報検出装置は、マイクロフォンを含んで構成され、マイクロフォンによって検出された音情報を聴覚情報として得てよい。聴覚情報取得部122は、音情報から音源にある物体が認識された場合には、音情報とともに物体の認識結果を取得してもよい。聴覚情報検出装置が指向性を有するマイクロフォンを含んで構成される場合、マイクロフォンから音源までの方位情報および距離情報を音情報とともに取得してもよい。距離情報は、絶対座標によって表されてもよいし、相対座標によって表されてもよい。
嗅覚情報取得部123は、検出装置30がユーザの嗅覚情報をセンシング可能な嗅覚情報検出装置を有する場合、当該嗅覚情報検出装置によってセンシングされた嗅覚情報を取得する。このとき、嗅覚情報検出装置は、特定の気体の濃度に反応する複数のセンサを含んで構成され、かかるセンサによる検出結果を嗅覚情報として得てもよい。あるいは、嗅覚情報検出装置は、人間の嗅覚の機能を模倣するバイオセンサを含んで構成され、かかるセンサによる検出結果を嗅覚情報として得てよい。
触覚情報取得部124は、検出装置30がユーザの触覚情報をセンシング可能な触覚情報検出装置を有する場合、当該触覚情報検出装置によってセンシングされた触覚情報を取得する。このとき、触覚情報検出装置は、ユーザの腕、足、指などの身体の一部に装着されるセンサを含んで構成され、かかるセンサによって検出される、ユーザが物体を保持した場合に手に加えられる力覚、ユーザが素材に触れたときの接触面の凹凸感などを、触覚情報として得てもよい。
味覚情報取得部125は、検出装置30がユーザの味覚情報をセンシング可能な味覚情報検出装置を有する場合、当該味覚情報検出装置によってセンシングされた味覚情報を取得する。このとき、味覚情報検出装置は、ユーザに装着されたセンサ(例えば、脳波センサ、生体情報センサなど)によって構成され、かかるセンサによる検出結果を味覚情報として得てもよい。あるいは、味覚情報検出装置は、ユーザの口から摂取される成分に直接反応する味覚センサによって構成される場合、かかるセンサによる検出結果を味覚情報として得てもよい。
このようにして、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報が取得され得る。一般に、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報は、五感情報とも言われている。したがって、本明細書において使用される「感覚情報」は、五感情報の少なくともいずれか一つを含んでよい。そして、五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含んでよい。しかし、感覚情報は、五感情報のいずれかに限定されない。
生体情報取得部131は、検出装置30がユーザの生体情報をセンシング可能な生体情報検出装置を有する場合、当該生体情報検出装置によってセンシングされた生体情報を取得する。このとき、生体情報検出装置は、ユーザに装着された心拍センサによって構成され、かかるセンサによって検出された心拍数を生体情報として得てもよい(例えば、心拍数の変化から心拍上昇などの情報が得られる)。あるいは、生体情報検出装置は、発汗センサによって構成される場合、かかるセンサによって検出された発汗量を生体情報として得てもよい(例えば、発汗量が閾値を上回る場合に、ユーザが暑さを感じているという情報が得られる)。あるいは、生体情報検出装置は、ユーザに装着された温度センサによって構成される場合、かかるセンサによって検出された体温の変化を生体情報として得てもよい。
地理情報取得部132は、ユーザ端末10によって検出された地理情報を取得する。地理情報の形式は特に限定されない。例えば、地理情報は、ユーザのGPS情報(位置情報)を含んでよい。時間情報取得部133は、ユーザ端末10によって検出された時間情報を取得する。例えば、時間情報は、日付け、時刻情報などを含んでよい。イベント情報取得部134は、ユーザ端末10によって検出されたイベント情報を取得する。イベントの種類は限定されない。例えば、イベントは、遠足の日であってもよいし、誕生日であってもよいし、サンバの開催日であってもよい。
その他情報取得部135は、ユーザ端末10によって検出されたその他情報を取得する。その他情報はどのような情報であってもよい。例えば、その他情報は、ユーザによってSNSに登録された情報であってもよい。例えば、その他情報は、飼い猫に装着された生体センサによって取得された猫の生体状況を示す生体情報など、他の装置から取得した情報であってもよい。ユーザ情報取得部136は、ユーザ端末10によって検出されたユーザIDを取得する。
図2に戻って説明を続ける。
操作部160は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部160が、タッチパネルを含む場合を主に想定する。しかし、操作部160は、ボタンを含んでもよいし、マウスを含んでもよいし、キーボードを含んでもよいし、スイッチを含んでもよいし、レバーなどを含んでもよい。また、操作部160は、ユーザの音声を検出するマイクロフォンを含んでもよい。
記憶部170は、メモリを含んで構成され、制御部110によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部170は、制御部110による演算のためにデータを一時的に記憶する。例えば、記憶部170は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
通信部180は、通信回路を含んで構成され、ネットワークを介して他の装置との間で通信を行う機能を有する。例えば、通信部180は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。例えば、通信部180は、通信インターフェースにより構成される。
出力部190は、各種の情報を出力する。例えば、出力部190は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよい。このとき、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよい。なお、情報表示の必要がない場合などには、ユーザ端末10は、出力部190を有していなくてもよい。
なお、本開示の実施形態においては、操作部160、通信部180、記憶部170および出力部190がユーザ端末10の内部に存在する場合を主に想定する。しかし、操作部160、通信部180、記憶部170および出力部190の少なくともいずれか一つは、ユーザ端末10の外部に存在していてもよい。
以上、本開示の実施形態に係るユーザ端末10の機能構成例について説明した。
[1.3.サーバの機能構成例]
続いて、本開示の実施形態に係るサーバ20の機能構成例について説明する。図4は、本開示の実施形態に係るサーバ20の機能構成例を示す図である。図4に示したように、サーバ20は、制御部210、記憶部230および通信部240を有している。
続いて、本開示の実施形態に係るサーバ20の機能構成例について説明する。図4は、本開示の実施形態に係るサーバ20の機能構成例を示す図である。図4に示したように、サーバ20は、制御部210、記憶部230および通信部240を有している。
制御部210は、サーバ20の各部の制御を実行する。なお、制御部210は、例えば、CPU(Central Processing Unit;中央演算処理装置)などで構成されていてよい。制御部210がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部210は、かかる処理装置によってプログラムが実行されることによって実現され得る。
記憶部230は、メモリを含んで構成され、制御部210によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部230は、制御部210による演算のためにデータを一時的に記憶する。例えば、記憶部230は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
ここで、プログラムの実行に必要なデータの例について説明する。図5は、プログラムの実行に必要なデータの例を示す図である。図5に示すように、記憶部230は、プログラムの実行に必要なデータの例として、記憶データ231および関連性データ232を記憶することが可能である。なお、記憶データ231および関連性データ232の詳細については、後に説明する。
図4に戻って説明を続ける。
通信部240は、通信回路を含んで構成され、ネットワークを介して他の装置との間で通信を行う機能を有する。例えば、通信部240は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。例えば、通信部240は、通信インターフェースにより構成される。
以上、本開示の実施形態に係るサーバ20の機能構成例について説明した。
[1.4.登録処理およびデータ更新処理]
続いて、本開示の実施形態に係る情報処理システム1による登録処理およびデータ更新処理について説明する。
続いて、本開示の実施形態に係る情報処理システム1による登録処理およびデータ更新処理について説明する。
まず、ユーザ端末10において、検出データ取得部120は、検出装置30およびユーザ端末10によって検出された各種情報(五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザID)を取得する。例えば、五感情報および生体情報は、検出装置30によって検出され得る。一方、地理情報、時間情報、イベント情報、その他情報、および、ユーザIDは、ユーザ端末10において検出され得る。
以下、各種情報における任意の1つの情報または任意の複数の情報の組み合わせを「検出データ」と称する場合がある。これらの検出データは、同一ユーザから対応するタイミングに検出されたデータである。対応するタイミングは、同時であってもよいし、あらかじめ決められた所定の条件を満たすタイミングであってもよい。
検出データ送信制御部140は、通信部180による各種情報のサーバ20への送信を制御する。
サーバ20において、データ取得部212は、通信部240によってユーザ端末10から受信された各種情報を取得する。そして、記憶制御部214は、データ取得部212によって取得された各種情報に基づいて、記憶部230によって記憶されている記憶データ231を更新する。具体的に、記憶制御部214は、データ取得部212によって取得された各種情報を、記憶部230によって記憶されている記憶データ231に追加すればよい。
図6は、記憶データ231の例を示す図である。図6を参照すると、記憶データ231には、ユーザU1の検出装置30−1によって検出された各種情報(五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザID=「U1」)が追加されている。また、記憶データ231には、ユーザU2の検出装置30−2によって検出された各種情報(五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザID=「U2」)が追加されている。
図6に示したように、同一ユーザから対応するタイミングに検出された各種情報が1件のデータとして記憶データ231に登録される。続いて、関連性算出部216は、記憶データ231に基づいて、関連性データ232を算出する。具体的に、関連性算出部216は、記憶データ231に基づいて、複数の検出データ同士が同一ユーザから対応するタイミングに検出された頻度に基づいて複数の検出データ同士の関連度を算出する。例えば、関連性算出部216は、記憶データ231に基づいて、複数の感覚情報同士が同一ユーザから対応するタイミングに検出された頻度に基づいて複数の感覚情報同士の関連度を算出する。
本開示の実施形態においては、関連性算出部216が、複数の検出データのうちの一方がセンシングされた条件下において、複数の検出データのうちの他方が当該一方と対応するタイミングに同一ユーザからセンシングされた割合を、関連度として算出する場合を主に想定する。例えば、関連性算出部216は、複数の感覚情報のうちの一方がセンシングされた条件下において、複数の感覚情報のうちの他方が当該一方と対応するタイミングに同一ユーザからセンシングされた割合を、関連度として算出する。
図7は、関連性データ232の例を示す図である。図7を参照すると、関連性データ232には、第1の検出データが検出された条件下において、第2の検出データが第1の検出データと対応するタイミングに同一ユーザから検出された割合が「関連度」として含まれている。図7には、第1の検出データ「視覚情報V1」がセンシングされた条件下において、第2の検出データ「聴覚情報A1」が第1の検出データ「視覚情報V1」と対応するタイミングに同一ユーザからセンシングされた割合が「関連度2%」として含まれている。
また、閾値と比較される関連度は、どのように表現されてもよい。例えば、関連度としては、上記のように割合が直接使われてもよいし、割合が変換された後の他の値であってもよい。関連度の算出について、さらに具体的に説明する。なお、以下では、感覚情報または生体情報から抽出される特徴を、感覚情報または生体情報の直後に括弧書きで示す場合がある(例えば、視覚情報(クッキー)など)。
例えば:視覚情報A(猫)、視覚情報B(猫の口が開いている)、視覚情報C(人)、触覚情報A(左手:猫の毛のふさふさ感)、触覚情報B(右手:所持しているおもちゃの重さ)、聴覚情報A(猫の鳴き声)、その他情報A(猫の装着したセンサーが血糖値低めと検出)である場合を想定する。
このとき、関連性算出部216は、視覚情報A、視覚情報C、触覚情報A、触覚情報Bが同時に取得された場合、視覚情報Cの視覚情報Aとの関連度を高め、視覚情報A+Cの触覚情報Aとの関連度を高め、視覚情報A+C+触覚情報Bの触覚情報Aとの関連度を高めてもよい。すなわち、関連性算出部216は、新たに現れた組み合わせの関連度を高め、再度発生した組み合わせ同士の関連度を高めてもよい。
また、関連性算出部216は、視覚情報A、視覚情報B、聴覚情報Aが所定の回数を超えて同時に取得された場合、視覚情報Aの視覚情報Cとの関連度を高め、視覚情報Aの視覚情報Bとの関連度を高めてもよい。そして、関連性算出部216は、複数の感覚情報同士の関連度が所定の値まで達したら、当該複数の感覚情報同士の関連度を「関連性あり」として確定してもよい。
一方、関連性算出部216は、視覚情報Aと触覚情報Bとが同時に取得される回数が所定の期間または所定の空間内において所定の回数より低い場合、視覚情報Aと触覚情報Bとの関連度を低くしてもよい。そして、関連性算出部216は、複数の感覚情報同士の関連度が所定の値まで達したら、当該複数の感覚情報同士の関連度を「関連性なし」として確定してもよい。
また、視覚情報Aと視覚情報Bとその他情報Aとの組み合わせの聴覚情報Aに対する関連度が閾値を超えており(例えば、80%と高めであり)、視覚情報Aと視覚情報Bとその他情報A以外との組み合わせの聴覚情報Aに対する関連度が閾値未満である場合(例えば、2%と低めである場合)、その他情報Aを、視覚情報Aと視覚情報Bとが同時に取得されるという状況下での聴覚情報Aの発生要件であると確定してよい。
以上、関連度の算出について、具体的に説明したが、関連度の算出は、他の手法によってなされてもよい。例えば、関連性算出部216は、人工知能、機械学習などの手法を用いて、複数の感覚情報同士の関連度を算出したり、感覚情報が発生するという状況下での他の感覚情報が発生するための条件を算出したりしてもよい。
なお、本開示の実施形態においては、記憶データ231に含まれる検出データがどのユーザから検出されたかは考慮されずに、あらゆるユーザ(本開示の実施形態においては、ユーザU1およびユーザU2)の検出データに基づいて一括で関連度が算出される場合を主に想定する。しかし、記憶データ231に含まれる検出データに基づく関連度が、検出データが検出されたユーザごとに算出されてもよい。
図8は、本開示の実施形態に係る情報処理システム1による登録処理の例を示すフローチャートである。なお、図8に示したフローチャートは、本開示の実施形態に係る情報処理システム1による登録処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム1による登録処理は、図8に示したフローチャートの例に限定されない。
まず、ユーザ端末10において、検出データ取得部120は、検出装置30およびユーザ端末10によって検出された各種情報(五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザID)を取得する(S11)。そして、検出データ送信制御部140は、通信部180による各種情報のサーバ20への送信を制御する(S12)。
図9は、本開示の実施形態に係る情報処理システム1によるデータ更新処理の例を示すフローチャートである。なお、図9に示したフローチャートは、本開示の実施形態に係る情報処理システム1によるデータ更新処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム1によるデータ更新処理は、図9に示したフローチャートの例に限定されない。
まず、サーバ20において、通信部240は、ユーザ端末10から送信された各種情報を受信し(S21)、データ取得部212は、通信部240によって受信された各種情報を取得する。そして、記憶制御部214は、データ取得部212によって取得された各種情報に基づいて、記憶データ231を更新する(S22)。関連性算出部216は、記憶データ231に基づいて、関連性データ232を更新する(S23)。
以上、本開示の実施形態に係る情報処理システム1による登録処理およびデータ更新処理について説明した。
[1.5.提示処理]
続いて、本開示の実施形態に係る情報処理システム1による提示処理について説明する。
続いて、本開示の実施形態に係る情報処理システム1による提示処理について説明する。
(1.5.1 第1の例)
以下、本開示の実施形態に係る情報処理システム1による提示処理の第1の例について説明する。ここでは、ユーザU2がユーザU1の体験した感覚と同じような感覚を体験したいと考えた場合を想定する。しかし、ユーザU2は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。まず、ユーザ端末10−2において、第1の感覚情報が選択される。かかる場合、ユーザU2によって選択された第1の感覚情報は、操作部160によって受け付けられ、感覚情報決定部152によって取得される。
以下、本開示の実施形態に係る情報処理システム1による提示処理の第1の例について説明する。ここでは、ユーザU2がユーザU1の体験した感覚と同じような感覚を体験したいと考えた場合を想定する。しかし、ユーザU2は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。まず、ユーザ端末10−2において、第1の感覚情報が選択される。かかる場合、ユーザU2によって選択された第1の感覚情報は、操作部160によって受け付けられ、感覚情報決定部152によって取得される。
本開示の実施形態においては、第1の感覚情報として、ユーザU2が体験したい感覚を示す情報を選択する場合を主に説明する。しかし、第1の感覚情報はどのように選択されてもよい。例えば、第1の感覚情報は、所定のアルゴリズムによってユーザ端末10−2によって選択されてもよい。かかる場合には、所定のアルゴリズムによって選択された第1の感覚情報は、感覚情報決定部152によって取得される。
第1の感覚情報が選択された場合、管理データ取得部151は、サーバ20から関連性データ232を取得する。感覚情報決定部152は、関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する。具体的に、感覚情報決定部152は、第1の感覚情報との関連度が閾値を超える感覚情報に基づいて、第2の感覚情報を決定してよい。例えば、感覚情報決定部152は、第1の感覚情報との関連度が閾値を超える感覚情報を、第2の感覚情報として決定してもよい。
そして、提示制御部153は、第2の感覚情報に対応する提示データのユーザU2への提示を制御する。かかる構成によれば、ユーザU2は、ユーザU1によって実際に体験された感覚に応じた感覚を体験することが可能となる。
このとき、例えば、第1の感覚情報の種類が視覚情報であり、第2の感覚情報の種類が聴覚情報であるといったように、第1の感覚情報の種類は、第2の感覚情報の種類と異なっていてよい。そうすれば、ユーザU2は、ユーザU1によって実際に体験された感覚と同じような感覚を、別の種類の感覚によって体験することが可能である。
提示制御部153によって、第2の感覚情報に対応する提示データのユーザU2への提示が制御されるとき、提示制御部153は、第1の感覚情報に対応する提示データのユーザU2への提示も制御してよい。第1の感覚情報に対応する提示データもユーザU2に提示される場合には、ユーザU2の体験したい感覚がより強い臨場感を伴ってユーザU2に体験されることが予想される。
例えば、第1の感覚情報に対応する感覚を「感覚X0」と示す。そして、第1の感覚情報と関連性のある第2の感覚情報に対応する感覚として「感覚X1」「感覚X2」「感覚X3」が取得された場合を想定する。このとき、提示制御部153は、「感覚X1」「感覚X2」「感覚X3」だけではなく「感覚X0」もユーザU2に体験されるように、「感覚X0」に対応する提示データのユーザU2への提示も制御してよい。
一方、提示制御部153によって、第2の感覚情報に対応する提示データのユーザU2への提示が制御されるとき、提示制御部153は、第1の感覚情報に対応する提示データのユーザU2への提示を制御しなくてもよい。第1の感覚情報に対応する提示データがユーザU2に提示されない場合には、ユーザU2の体験したい感覚が間接的にユーザU2によって体験される。
例えば、上記と同様に、第1の感覚情報と関連性のある第2の感覚情報に対応する感覚として「感覚X1」「感覚X2」「感覚X3」が取得された場合を想定する。このとき、提示制御部153は、「感覚X1」「感覚X2」「感覚X3」はユーザU2に体験されるようにしつつも「感覚X0」はユーザU2に体験されないように、「感覚X0」に対応する提示データのユーザU2への提示は制御しなくてもよい。
ここで、感覚情報と提示データとはあらかじめ対応付けられていてよい。例えば、提示装置40が視覚提示装置(例えば、ディスプレイなど)を含む場合、提示制御部153は、視覚情報に対応する提示データが視覚提示装置によって提示されるように制御してよい。例えば、提示制御部153は、クッキーの視覚情報に対応する画像データを生成し、視覚提示装置による提示を制御することによって、クッキーの視覚情報に対応する提示データの提示を制御してもよい。
例えば、提示装置40が触覚提示装置を含む場合、提示制御部153は、触覚情報に対応する提示データが触覚提示装置によって提示されるように制御してよい。例えば、提示制御部153は、クッキーの触覚情報(クッキーを手に持った感触など)に対応する触覚情報を生成し、触覚提示装置による提示を制御することによって、クッキーの触覚情報に対応する提示データの提示を制御してもよい。
このとき、提示制御部153は、ユーザが触れたときに油っぽい感触をユーザに対して与えるとともに、クッキーの大きさから重量を予測し、ユーザの手に圧力を加えることによって、ユーザに対して重量感を与えてもよい。また、提示制御部153は、ユーザによる噛む動作が検出されたら、触覚提示装置によってユーザの歯に所定の適度な反発力が加えられるように制御することによって、クッキーのサクサクした触覚をユーザに対して与えてもよい。
例えば、提示装置40が嗅覚提示装置を含む場合、提示制御部153は、嗅覚情報に対応する提示データが嗅覚提示装置によって提示されるように制御してよい。例えば、提示制御部153は、クッキーの嗅覚情報(クッキーの匂いなど)に対応する嗅覚情報を生成し、嗅覚提示装置による提示を制御することによって、クッキーの嗅覚情報に対応する提示データの提示を制御してもよい。
このとき、提示制御部153は、クッキーの場所が検出された場合、クッキーの場所から空気を通じて匂いが伝わってくるように匂いを発生してもよい。例えば、提示制御部153は、ユーザが仮想的に表示されたクッキーの画像に近づくほど、匂い放出の強度を上げることにより、クッキーの匂いの濃度を高めてもよい。
例えば、提示装置40が聴覚提示装置を含む場合、提示制御部153は、聴覚情報に対応する提示データが聴覚提示装置によって提示されるように制御してよい。例えば、提示制御部153は、クッキーの聴覚情報(クッキーを噛む音など)に対応する聴覚情報を生成し、聴覚提示装置による提示を制御することによって、クッキーの聴覚情報に対応する提示データの提示を制御してもよい。
このとき、提示制御部153は、歯の動作と口内におけるクッキーの仮想的な場所に応じて、サクサクと噛む音データを生成し、生成した音データを提示する。提示制御部153は、聴覚情報に対応する提示データの提示を制御する場合にあっても、嗅覚情報に対応する提示データの提示を制御する場合と同様に、定位された音データ、立体感が出された音データの提示を制御してもよい。
感覚情報に対する認識が行われれば、その感覚情報の特徴が抽出され得る(生体情報に対する認識が行われた場合にも、その生体情報の特徴が抽出され得る)。例えば、クッキーが含まれる視覚情報に対する認識が行われれば、その感覚がユーザに体験されることによって、クッキーに関する視覚がユーザに体験されることが把握され得る。
ユーザU2の体験したい感覚が間接的にユーザU2によって体験される具体的な例を説明する。特に、ユーザU2の体験したい感覚として、クッキーに関する味覚が選択され、実際にユーザU2に体験させる感覚として、クッキーに関する味覚の代わりに、クッキーに関する視覚、聴覚、嗅覚が決定される場合について説明する。図10は、ユーザU2の体験したい感覚が間接的にユーザU2によって体験される具体的な例を示す図である。
まず、図10に示すように、ユーザU2がクッキーの味覚を体験したいと考え、ユーザ端末10−2において、ユーザU2が、第1の感覚情報として「味覚情報(クッキー)」を選択した場合を想定する。かかる場合、ユーザU2によって選択された第1の感覚情報「味覚情報(クッキー)」は、操作部160によって受け付けられ、感覚情報決定部152によって取得される。
第1の感覚情報「味覚情報(クッキー)」が選択された場合、管理データ取得部151は、サーバ20から関連性データ232を取得する。例えば、感覚情報決定部152は、関連性データ232に基づいて、第1の感覚情報「味覚情報(クッキー)」との関連度が閾値を超える感覚情報を、第2の感覚情報として決定する。
図10に示した例では、「視覚情報(クッキー)、触覚情報(クッキー)、嗅覚情報(クッキー)」は、第1の感覚情報「味覚情報(クッキー)」との関連度が「80%」である。閾値が「70%」である場合を想定すると、「視覚情報(クッキー)、触覚情報(クッキー)、嗅覚情報(クッキー)」は、第1の感覚情報「味覚情報(クッキー)」との関連度「80%」が閾値「70%」を超えているため、感覚情報決定部152は、「視覚情報(クッキー)、触覚情報(クッキー)、嗅覚情報(クッキー)」を第2の感覚情報として決定する。
そして、提示制御部153は、第2の感覚情報「視覚情報(クッキー)、触覚情報(クッキー)、嗅覚情報(クッキー)」に対応する提示データのユーザU2への提示を制御する。かかる構成によれば、ユーザU2は、ユーザU1によって実際に体験された感覚(クッキーに関する味覚)に応じた感覚(クッキーに関する視覚、触覚および嗅覚)を体験することが可能となる。
ここでは特に、提示制御部153が、第1の感覚情報「味覚情報(クッキー)」の代わりに、第2の感覚情報「視覚情報(クッキー)、触覚情報(クッキー)、嗅覚情報(クッキー)」に対応する提示データのユーザU2への提示を制御する場合を想定している。これによって、ユーザU2の体験したい感覚(クッキーに関する味覚)が間接的にユーザU2によって体験される。
なお、上記した例では、第1の感覚情報に対応する提示データがユーザU2に提示されるか否かがあらかじめ決められている場合を主に説明した。しかし、第1の感覚情報に対応する提示データがユーザU2に提示されるか否かは、状況に応じて制御されてもよい。すなわち、提示制御部153は、所定の条件に基づいて第1の感覚情報に対応する提示データのユーザU2への提示を制御するか否かを判断してもよい。
所定の条件は、特にどのような条件であってもよい。例えば、所定の条件は、第1の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含んでもよい。すなわち、提示制御部153は、第1の感覚情報に対応する提示データを提示する提示装置をユーザU2が持っているか否かに応じて、第1の感覚情報に対応する提示データのユーザU2への提示を制御するか否かを判断してもよい。
あるいは、所定の条件は、第1の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件であってもよい。すなわち、提示制御部153は、第1の感覚情報に対応する提示データの提示を許容する設定がなされているか否かに応じて(ユーザU2の嗜好設定または電力モード設定に応じて)、第1の感覚情報に対応する提示データのユーザU2への提示を制御するか否かを判断してもよい。
例えば、提示制御部153は、省電力モード設定がなされている場合には、第1の感覚情報に対応する提示データのユーザU2への提示を制御せず、省電力モード設定がなされていない場合には、第1の感覚情報に対応する提示データのユーザU2への提示を制御してもよい。あるいは、衛生上の都合などによって、第1の感覚情報(例えば、味覚情報)に対応する提示データが提示されないほうがよい場合などには、第1の感覚情報に対応する提示データのユーザU2への提示を制御しない場合も想定される。
図11は、本開示の実施形態に係る情報処理システム1による提示処理の第1の例を示すフローチャートである。なお、図11に示したフローチャートは、本開示の実施形態に係る情報処理システム1による提示処理の一例を示したに過ぎない。例えば、図11に示した例では、ユーザU1が体験した感覚と同じような感覚をユーザU2が体験する場合を主に想定している。しかし、ユーザU2は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。その他、本開示の実施形態に係る情報処理システム1による提示処理は、図11に示したフローチャートの例に限定されない。
まず、ユーザ端末10−2において、ユーザU2は、ユーザU2が体験したい感覚を示す情報(第1の感覚情報)を選択する。かかる場合、ユーザU2によって選択された第1の感覚情報は、操作部160によって受け付けられ、感覚情報決定部152によって取得される。また、感覚情報決定部152によって、装置情報および個人情報も取得される(S31)。
装置情報には、ユーザU2が持っている提示装置40−2の種類を示す情報(すなわち、ユーザ端末10−2に接続された提示装置40−2の種類を示す情報)が含まれ得る。提示装置40−2の種類は、提示装置40−2がユーザU2に提示可能な提示データの種類(すなわち、提示装置40−2がユーザU2に体験させることが可能な感覚の種類)であってよい。また、個人情報には、ユーザU2に関する情報であり、ユーザU2の年齢および性別などが含まれ得る。
ユーザU2の体験したい感覚を示す感覚情報(第1の感覚情報)が選択された場合、管理データ取得部151は、サーバ20から関連性データ232を取得する。そして、感覚情報決定部152は、関連性データから、ユーザU2の体験したい感覚を示す感覚情報(第1の感覚情報)とユーザU1の感覚情報との関連度を取得する(S32)。感覚情報決定部152は、関連度が閾値よりも高いか否かを判断する(S33)。
感覚情報決定部152は、関連度が閾値以下である場合(S33において「No」)、提示処理を終了する。一方、感覚情報決定部152は、関連度が閾値よりも高い場合(S33において「Yes」)、装置情報に基づいて、ユーザU1の感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っているか否かを判断する(S34)。
提示制御部153は、ユーザU1の感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っていない場合(S34において「No」)、提示処理を終了する。一方、提示制御部153は、ユーザU1の感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っている場合(S34において「Yes」)、ユーザU2の個人情報に基づいて、ユーザU1の感覚情報に対応する提示データがユーザU2に提示されるように制御し(S35)、提示処理を終了する。
ユーザU2の個人情報に基づく提示データは、特に限定されない。例えば、ユーザU2の年齢が低いほどユーザU2に体験される感覚の強度は小さいほうが望ましいと考えられる。そこで、提示制御部153は、ユーザU2の年齢が低いほど、強度の小さい感覚を示す感覚情報に対応する提示データがユーザU2に提示されるように制御してもよい。
あるいは、ユーザU2の性別が女性である場合には、ユーザU2の性別が男性である場合よりも、ユーザU2に体験される感覚の強度は小さいほうが望ましいと考えられる。そこで、提示制御部153は、ユーザU2の性別が女性である場合、ユーザU2の性別が男性である場合よりも、強度の小さい感覚を示す感覚情報に対応する提示データがユーザU2に提示されるように制御してもよい。なお、提示データは、ユーザU2の個人情報に特に依存しなくてもよい。
以上、本開示の実施形態に係る情報処理システム1による提示処理の第1の例について説明した。
(1.5.2 第2の例)
以下、本開示の実施形態に係る情報処理システム1による提示処理の第2の例について説明する。ここでは、ユーザU2の生体情報がユーザU1の生体情報と対応する場合に、ユーザU1の体験した感覚と同じような感覚をユーザU2にも体験させることによって、ユーザU2が体験する感覚がより強い臨場感を伴うようにする場合を想定する。このとき、ユーザU1の体験した感覚がユーザU2によって現在体験されている感覚とある程度よりも親和性が高い場合に、ユーザU1の体験した感覚がユーザU2にも体験される。
以下、本開示の実施形態に係る情報処理システム1による提示処理の第2の例について説明する。ここでは、ユーザU2の生体情報がユーザU1の生体情報と対応する場合に、ユーザU1の体験した感覚と同じような感覚をユーザU2にも体験させることによって、ユーザU2が体験する感覚がより強い臨場感を伴うようにする場合を想定する。このとき、ユーザU1の体験した感覚がユーザU2によって現在体験されている感覚とある程度よりも親和性が高い場合に、ユーザU1の体験した感覚がユーザU2にも体験される。
なお、以下において想定する場合と同様にして、ユーザU2の生体情報が自分自身の過去の生体情報と対応する場合に、ユーザU2が過去に体験した感覚と同じような感覚を自分自身に再度体験させることによって、ユーザU2が体験する感覚がより強い臨場感を伴うようにされてもよい。
ここでは、感覚情報決定部152が、ユーザU2に基づく感覚情報(第1の感覚情報)とともにユーザU2に基づく生体情報(第1の生体情報)を取得した場合を想定する。かかる場合、感覚情報決定部152は、第1の生体情報に応じた第2の生体情報と対応するタイミングに同一ユーザ(ここでは、ユーザU1)からセンシングされた感覚情報であり、かつ、第1の感覚情報と関係性のある感覚情報を第2の感覚情報として決定する。第1の生体情報に応じた第2の生体情報は、第1の生体情報と同一または類似する(同じ特徴を有する)第2の生体情報であってよい。
以下では、ユーザU2に基づく生体情報(第1の生体情報)として、ユーザU2によって入力された生体情報(特に、ユーザU2によってSNS(Social Networking Service)に対して登録された生体情報)を例に挙げて説明する。しかし、ユーザU2に基づく生体情報(第1の生体情報)は、ユーザU2に対する検出装置30−2によるセンシングによって得られた生体情報であってもよい。
さらに、ユーザU2に基づく感覚情報(第1の感覚情報)として、ユーザU2によって入力された感覚情報(特に、ユーザU2によってSNSに対して登録された感覚情報)を例に挙げて説明する。しかし、ユーザU2に基づく感覚情報(第1の生体情報)は、ユーザU2に対する検出装置30−2によるセンシングによって得られた感覚情報であってもよい。
以下、本開示の実施形態に係る情報処理システム1による提示処理の第2の例について具体的に説明する。図12は、ユーザU2によって現在体験されている感覚を示す情報の例を示す図である。図12を参照すると、ユーザU2によって現在体験されている感覚を示す情報(感覚情報)の例として、視覚情報G1が示されている。視覚情報G1によって示される感覚がユーザU2に体験されることによって、山に関する視覚がユーザに体験されている。
図13は、本開示の実施形態に係る情報処理システム1による提示処理の第2の例について具体的に説明するための図である。ここでは、視覚情報G1によって示される感覚がユーザU2に体験されているときに、データD1に示すように、ユーザU2によって、SNSに対して生体情報(心拍上昇)、視覚情報(山)、生体情報(暑い)が登録された場合を想定する。かかる場合には、感覚情報決定部152によって、生体情報(心拍上昇)、視覚情報(山)、生体情報(暑い)が取得される。
一方、ユーザU1の体験として、太陽に関する視覚を体験したときに、太陽から照りつけられる日光を直接浴びたせいで、発汗が活発になり、心拍が上昇するという体験をしたことがある場合を想定する。かかる場合には、図13に示すように、記憶データ231には、ユーザID「U1」、視覚情報(太陽)および生体情報(心拍上昇)が関連付けられたデータが登録される。
同様に、ユーザU1の体験として、暖房に関する視覚を体験したときに、暖房が近くに見える場所に居たせいで、発汗が活発になり、心拍が上昇するという体験をしたことがある場合を想定する。かかる場合には、図13に示すように、記憶データ231には、ユーザID「U1」、視覚情報(暖房)および生体情報(心拍上昇)が関連付けられたデータが登録される。
感覚情報決定部152は、ユーザU2の生体情報(心拍上昇)、視覚情報(山)、生体情報(暑い)を取得すると、ユーザU2の生体情報に応じたユーザU1の生体情報を取得する。ここでは、感覚情報決定部152は、記憶データ231から、ユーザU2の生体情報(心拍上昇)と同じ特徴を有する生体情報として、ユーザU1の生体情報(心拍上昇)を取得する。そして、感覚情報決定部152は、記憶データ31から、ユーザU1の生体情報(心拍上昇)と対応するタイミングに同一ユーザU1からセンシングされた感覚情報として、視覚情報(太陽)および視覚情報(暖房)を取得する。
続いて、感覚情報決定部152は、ユーザU1からセンシングされた視覚情報(太陽)および視覚情報(暖房)のうち、ユーザU2によって現在体験されている視覚情報(山)および生体情報(暑い)のいずれとも関連性のある感覚情報を第2の感覚情報として決定する。
関連性データ232を参照すると、視覚情報(太陽)は、視覚情報(山)との関連度が80%であり、生体情報(暑い)との関連度が60%である。例えば、閾値が50%である場合を想定する。かかる場合、視覚情報(太陽)は、視覚情報(山)および生体情報(暑い)のいずれとの関連度も閾値を超えている。そのため、視覚情報(太陽)は、視覚情報(山)および生体情報(暑い)のいずれとも関連性があると言える。
したがって、ユーザU1からセンシングされた視覚情報(太陽)は、ユーザU2によって現在体験されている視覚情報(山)および生体情報(暑い)のいずれともある程度よりも親和性が高いと考えられるため、視覚情報(太陽)に対応する提示データをユーザU2への提示対象としてよい。
なお、感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)と同種の感覚情報がユーザU2からそもそも取得されない場合には、無条件にユーザU1の感覚情報に対応する提示データがユーザU2に提示されるように制御してもよい。例えば、感覚情報は、触覚情報(猫の毛)であってもよいし、嗅覚情報(ミント)などであってよい。
感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)と同種の感覚情報がユーザU1から取得されない場合には、ユーザU2の感覚情報に対応する提示データがそのままユーザU2に提示されるように制御してもよい。例えば、感覚情報は、聴覚情報であってもよいし、生体情報(足が重い)などであってよい。生体情報(足が重い)に対応する提示データは、ユーザの足に圧力を加えることによってユーザに与えられてもよい。
一方、関連性データ232を参照すると、視覚情報(暖房)は、視覚情報(山)との関連度が1%であり、生体情報(暑い)との関連度が80%である。同様にして、閾値が50%である場合を想定する。かかる場合、視覚情報(暖房)は、生体情報(暑い)との関連度が閾値を超えているものの、視覚情報(山)との関連度が閾値以下である。そのため、視覚情報(暖房)は、生体情報(暑い)と関連性があるものの、視覚情報(山)とは関連性がないと言える。
したがって、ユーザU1からセンシングされた視覚情報(暖房)は、ユーザU2によって現在体験されている生体情報(暑い)とはある程度より親和性が高いが、視覚情報(山)とはさほど親和性が高くないと考えられるため、視覚情報(暖房)に対応する提示データをユーザU2への提示対象としなくてよい。
図14は、ユーザU1によって体験された視覚情報に対応する提示データがユーザU2への提示対象とされた場合を説明するための図である。図13を参照しながら説明したように、ユーザU1によって体験された視覚情報(太陽)に対応する提示データがユーザU2に提示される。これによって、視覚情報(太陽)に対応する感覚もユーザU2によって体験されるようになり、ユーザU2が体験する感覚がより強い臨場感を伴うようになる。
図14を参照すると、図12に示した視覚情報G1に対して、視覚情報(太陽)が追加された視覚情報G2が示されている。なお、上記したように、視覚情報(暖房)に対応する提示データは、ユーザU2への提示対象とされないため、視覚情報G2には、視覚情報(暖房)が追加されていない。
図15は、本開示の実施形態に係る情報処理システム1による提示処理の第2の例を示すフローチャートである。なお、図15に示したフローチャートは、本開示の実施形態に係る情報処理システム1による提示処理の一例を示したに過ぎない。例えば、図15に示した例では、ユーザU1が体験した感覚と同じような感覚をユーザU2が体験する場合を主に想定している。しかし、ユーザU2は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。その他、本開示の実施形態に係る情報処理システム1による提示処理は、図15に示したフローチャートの例に限定されない。
まず、ユーザ端末10−2において、感覚情報決定部152によって、ユーザU2の生体情報(第1の生体情報)が取得される。また、感覚情報決定部152によって、装置情報および個人情報も取得される(S41)。感覚情報決定部152によって、ユーザU2の生体情報(第1の生体情報)が取得された場合、管理データ取得部151は、サーバ20から関連性データ232を取得する。そして、感覚情報決定部152は、関連性データから、ユーザU2の生体情報(第1の感覚情報)に関連するユーザU1の感覚情報(第2の感覚情報)を取得する(S42)。
感覚情報決定部152は、装置情報に基づいて、ユーザU1の感覚情報(第2の感覚情報)に対応する提示データを提示する提示装置40−2をユーザU2が持っているか否かを判断する(S43)。感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)に対応する提示データを提示する提示装置40−2をユーザU2が持っていない場合(S43において「No」)、提示処理を終了する。
一方、感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)に対応する提示データを提示する提示装置40−2をユーザU2が持っている場合(S43において「Yes」)、S44に動作を移行させる。
感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)と同種の感覚情報がユーザU2から取得されない場合には(S44において「No」)、S47に動作を移行させる。一方、感覚情報決定部152は、ユーザU1の感覚情報(第2の感覚情報)と同種の感覚情報がユーザU2から取得された場合には(S44において「Yes」)、関連性データから、ユーザU1の感覚情報(第2の感覚情報)とユーザU2の感覚情報との関連度を取得する(S45)。
感覚情報決定部152は、関連度が閾値よりも高いか否かを判断する(S46)。提示制御部153は、関連度が閾値以下である場合(S46において「No」)、提示処理を終了する。一方、提示制御部153は、関連度が閾値よりも高い場合(S46において「Yes」)、ユーザU2の個人情報に基づいて、ユーザU1の感覚情報に対応する提示データがユーザU2に提示されるように制御し(S47)、提示処理を終了する。
以上、本開示の実施形態に係る情報処理システム1による提示処理の第2の例について説明した。
(1.5.3 第3の例)
以下、本開示の実施形態に係る情報処理システム1による提示処理の第3の例について説明する。ここでは、上記のようにして選択された感覚情報(第1の感覚情報)と関連性のある感覚情報の種類が第1の種類である場合に、感覚情報決定部152によって、第1の種類とは異なる第2の種類の感覚情報が第2の感覚情報として決定され、提示制御部153によって、第2の感覚情報に対応する提示データがユーザU2に提示される場合を想定する。これによって、ユーザU2が第1の種類の感覚情報に対応する感覚を知覚できない場合、第1の種類の感覚情報が万全ではない場合などに有効である。
以下、本開示の実施形態に係る情報処理システム1による提示処理の第3の例について説明する。ここでは、上記のようにして選択された感覚情報(第1の感覚情報)と関連性のある感覚情報の種類が第1の種類である場合に、感覚情報決定部152によって、第1の種類とは異なる第2の種類の感覚情報が第2の感覚情報として決定され、提示制御部153によって、第2の感覚情報に対応する提示データがユーザU2に提示される場合を想定する。これによって、ユーザU2が第1の種類の感覚情報に対応する感覚を知覚できない場合、第1の種類の感覚情報が万全ではない場合などに有効である。
例えば、感覚情報決定部152は、選択された感覚情報(第1の感覚情報)と関連性のある感覚情報の種類が第1の種類である場合に、第1の種類とは異なる第2の種類の感覚情報を第2の感覚情報として決定するとよい。これによって、選択された感覚情報(第1の感覚情報)と関連性のある感覚情報と同じような感覚情報が第2の感覚情報として決定され、第2の感覚情報に対応する提示データがユーザU2に提示され得る。第1の種類および第2の種類それぞれは、特に限定されない。
このとき、感覚情報決定部152は、選択された感覚情報(第1の感覚情報)と関連性のある感覚情報の種類が第1の種類である場合に、当該感覚情報の認識結果に基づいて、第2の種類の感覚情報を第2の感覚情報として決定するとよい。感覚情報の認識はどのようにされてもよい。
例えば、感覚情報決定部152は、選択された感覚情報(第1の感覚情報)が視覚情報である場合、視覚情報の解析に基づいて、ユーザが歩く音の反射音(聴覚情報)、空気の流れ(触覚情報)などを予測して認識結果として得てもよい。そして、聴覚情報(ユーザが歩く音の反射音)および触覚情報(空気の流れ)を第2の感覚情報として決定してもよい。
あるいは、感覚情報決定部152は、選択された感覚情報(第1の感覚情報)が視覚情報である場合、視覚情報の解析によって、猫の口の動きなどを認識結果として得てもよい。そして、猫の口が開いたり閉じたりしたことが認識された場合に、猫の泣き声(聴覚情報)を第2の感覚情報として決定してもよい。このとき、猫の泣き声は、猫の口の開閉に合わせてユーザU2に提示されてよい。
あるいは、感覚情報決定部152は、選択された感覚情報(第1の感覚情報)が視覚情報である場合、視覚情報の解析によって、ユーザの手と猫の位置関係などを認識結果として得てもよい。そして、ユーザの手が猫に触れたことが認識された場合に、触覚情報(猫の毛)を第2の感覚情報として決定してもよい。このとき、触覚情報(猫の毛)は、ユーザの手の動きに合わせてユーザU2に提示されてよい。
例えば、ユーザU2が視覚障害者であるために、視覚を知覚できないが、聴覚および触覚であれば知覚できる場合が想定される。かかる場合、感覚情報決定部152は、ユーザU2によって選択された感覚情報(第1の感覚情報)と関連性のある感覚情報の種類が視覚である場合、聴覚情報または触覚情報がユーザU2に提示される提示データに対応する第2の感覚情報として決定されるとよい。すなわち、第1の種類は、視覚を含み、第2の種類は、聴覚および触覚の少なくともいずれか一方を含んでよい。
以下、本開示の実施形態に係る情報処理システム1による提示処理の第3の例について具体的に説明する。図16は、本開示の実施形態に係る情報処理システム1による提示処理の第3の例について具体的に説明するための図である。ここでは、ユーザU2が視覚障害者である場合を想定する。かかる場合において、視覚情報(猫)に対応する感覚が選択された場合を想定する。このとき、感覚情報決定部152は、視覚情報(猫)に基づいて、聴覚情報(猫)を取得すればよい。そして、提示制御部153は、聴覚情報(猫)に対応する提示データのユーザU2への提示を制御することによって、聴覚情報(猫)に対応する聴覚を実際にユーザU2に体験させるのがよい。
図17は、本開示の実施形態に係る情報処理システム1による提示処理の第3の例を示すフローチャートである。なお、図17に示したフローチャートは、本開示の実施形態に係る情報処理システム1による提示処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム1による提示処理は、図17に示したフローチャートの例に限定されない。
まず、ユーザ端末10−2において、上記のようにして選択された感覚情報(第1の感覚情報)が、感覚情報決定部152によって取得される(S51)。また、感覚情報決定部152によって、装置情報および個人情報も取得される(S52)。ここで、選択された感覚情報(第1の感覚情報)をユーザU2は知覚可能である場合には(S53において「No」)、S54に動作が移行されるが、選択された感覚情報(第1の感覚情報)をユーザU2は知覚不可能である場合には(S53において「Yes」)、S56に動作が移行される。
S54に動作が移行された場合、提示制御部153は、選択された感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っていない場合には(S54において「No」)、提示処理を終了する。一方、提示制御部153は、選択された感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っている場合には(S54において「Yes」)、個人情報に基づいて、選択された感覚情報に対応する提示データがユーザU2に提示されるように制御して(S55)、提示処理を終了する。
一方、S56に動作が移行された場合、感覚情報決定部152は、選択された感覚情報に基づいて他の感覚情報を取得する(S56)。提示制御部153は、他の感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っていない場合には(S57において「No」)、提示処理を終了する。一方、提示制御部153は、他の感覚情報に対応する提示データを提示する提示装置40−2をユーザU2が持っている場合には(S57において「Yes」)、個人情報に基づいて、他の感覚情報に対応する提示データがユーザU2に提示されるように制御して(S55)、提示処理を終了する。
以上、本開示の実施形態に係る情報処理システム1による提示処理の第3の例について説明した。
<2.ハードウェア構成例>
次に、図18を参照して、本開示の実施形態に係る情報処理装置(ユーザ端末)10のハードウェア構成について説明する。図18は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。なお、図18に示した例は、情報処理装置(ユーザ端末)10のハードウェア構成例であるが、サーバ20のハードウェア構成も、図18に示したハードウェア構成例と同様に実現され得る。
次に、図18を参照して、本開示の実施形態に係る情報処理装置(ユーザ端末)10のハードウェア構成について説明する。図18は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。なお、図18に示した例は、情報処理装置(ユーザ端末)10のハードウェア構成例であるが、サーバ20のハードウェア構成も、図18に示したハードウェア構成例と同様に実現され得る。
図18に示すように、情報処理装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置10は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置10の筐体の姿勢など、情報処理装置10自体の状態に関する情報や、情報処理装置10の周辺の明るさや騒音など、情報処理装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<3.むすび>
以上説明したように、本開示の実施形態によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。
以上説明したように、本開示の実施形態によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。
かかる構成によれば、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部110が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
上記では、検出データ取得部120、検出データ送信制御部140、管理データ取得部151、感覚情報決定部152および提示制御部153が、ユーザ端末10−1に組み込まれている場合について主に説明した。しかし、これらの機能は、ユーザ端末10とは異なる装置に組み込まれてもよい。例えば、これらの機能は、ロボットなどに組み込まれてもよい。これによって、ロボットによって提供されるサービスの質が向上されることが期待される。
また、上記では、データ取得部212、記憶制御部214および関連性算出部216がサーバ20に組み込まれている場合について主に説明した。しかし、これらの機能は、サーバ20とは異なる装置に組み込まれていてもよい。例えば、これらの機能は、複数のユーザ端末10の一部または全部に組み込まれていてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える、情報処理装置。
(2)
前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御するとともに、前記第2の感覚情報に対応する提示データの提示を制御する、
前記(1)に記載の情報処理装置。
(3)
前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御せずに、前記第2の感覚情報に対応する提示データの提示を制御する、
前記(1)に記載の情報処理装置。
(4)
前記提示制御部は、所定の条件に基づいて前記第1の感覚情報に対応する提示データの提示を制御するか否かを判断する、
前記(1)に記載の情報処理装置。
(5)
前記所定の条件は、前記第1の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含む、
前記(4)に記載の情報処理装置。
(6)
前記所定の条件は、前記第1の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件を含む、
前記(5)に記載の情報処理装置。
(7)
前記感覚情報決定部は、前記第1の感覚情報とともに前記ユーザに基づく第1の生体情報が得られた場合、前記第1の生体情報に応じた第2の生体情報と対応するタイミングに同一ユーザからセンシングされた感覚情報であり、かつ、前記第1の感覚情報と関係性のある感覚情報を前記第2の感覚情報として決定する、
前記(1)に記載の情報処理装置。
(8)
前記第1の生体情報は、前記ユーザに対するセンシングによって得られた生体情報、および、前記ユーザによって入力された生体情報の少なくともいずれか一方を含む、
前記(7)に記載の情報処理装置。
(9)
前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、前記第1の種類とは異なる第2の種類の感覚情報を前記第2の感覚情報として決定する、
前記(1)に記載の情報処理装置。
(10)
前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、当該感覚情報の認識結果に基づいて、前記第2の種類の感覚情報を前記第2の感覚情報として決定する、
前記(9)に記載の情報処理装置。
(11)
前記第1の種類は、視覚を含み、
前記第2の種類は、聴覚および触覚の少なくともいずれか一方を含む、
前記(9)または(10)に記載の情報処理装置。
(12)
前記第1の感覚情報の種類は、前記第2の感覚情報の種類と異なる、
前記(1)に記載の情報処理装置。
(13)
前記感覚情報決定部は、前記第1の感覚情報との関連度が閾値を超える感覚情報に基づいて、前記第2の感覚情報を決定する、
前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記感覚情報決定部は、前記ユーザまたは所定のアルゴリズムによって選択された前記第1の感覚情報を取得する、
前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記複数の感覚情報同士の関連度は、前記複数の感覚情報同士が同一ユーザから対応するタイミングにセンシングされた頻度に基づいて算出される、
前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記関連度は、前記複数の感覚情報のうちの一方がセンシングされた条件下において、前記複数の感覚情報のうちの他方が前記一方と対応するタイミングに同一ユーザからセンシングされた割合である、
前記(15)に記載の情報処理装置。
(17)
前記第1の感覚情報は、五感情報のうちの少なくともいずれか一つを含む、
前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含む、
前記(17)に記載の情報処理装置。
(19)
あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定することと、
プロセッサにより、前記第2の感覚情報に対応する提示データのユーザへの提示を制御することと、
を含む、情報処理方法。
(20)
コンピュータを、
あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える情報処理装置として機能させるためのプログラム。
(1)
あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える、情報処理装置。
(2)
前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御するとともに、前記第2の感覚情報に対応する提示データの提示を制御する、
前記(1)に記載の情報処理装置。
(3)
前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御せずに、前記第2の感覚情報に対応する提示データの提示を制御する、
前記(1)に記載の情報処理装置。
(4)
前記提示制御部は、所定の条件に基づいて前記第1の感覚情報に対応する提示データの提示を制御するか否かを判断する、
前記(1)に記載の情報処理装置。
(5)
前記所定の条件は、前記第1の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含む、
前記(4)に記載の情報処理装置。
(6)
前記所定の条件は、前記第1の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件を含む、
前記(5)に記載の情報処理装置。
(7)
前記感覚情報決定部は、前記第1の感覚情報とともに前記ユーザに基づく第1の生体情報が得られた場合、前記第1の生体情報に応じた第2の生体情報と対応するタイミングに同一ユーザからセンシングされた感覚情報であり、かつ、前記第1の感覚情報と関係性のある感覚情報を前記第2の感覚情報として決定する、
前記(1)に記載の情報処理装置。
(8)
前記第1の生体情報は、前記ユーザに対するセンシングによって得られた生体情報、および、前記ユーザによって入力された生体情報の少なくともいずれか一方を含む、
前記(7)に記載の情報処理装置。
(9)
前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、前記第1の種類とは異なる第2の種類の感覚情報を前記第2の感覚情報として決定する、
前記(1)に記載の情報処理装置。
(10)
前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、当該感覚情報の認識結果に基づいて、前記第2の種類の感覚情報を前記第2の感覚情報として決定する、
前記(9)に記載の情報処理装置。
(11)
前記第1の種類は、視覚を含み、
前記第2の種類は、聴覚および触覚の少なくともいずれか一方を含む、
前記(9)または(10)に記載の情報処理装置。
(12)
前記第1の感覚情報の種類は、前記第2の感覚情報の種類と異なる、
前記(1)に記載の情報処理装置。
(13)
前記感覚情報決定部は、前記第1の感覚情報との関連度が閾値を超える感覚情報に基づいて、前記第2の感覚情報を決定する、
前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記感覚情報決定部は、前記ユーザまたは所定のアルゴリズムによって選択された前記第1の感覚情報を取得する、
前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記複数の感覚情報同士の関連度は、前記複数の感覚情報同士が同一ユーザから対応するタイミングにセンシングされた頻度に基づいて算出される、
前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記関連度は、前記複数の感覚情報のうちの一方がセンシングされた条件下において、前記複数の感覚情報のうちの他方が前記一方と対応するタイミングに同一ユーザからセンシングされた割合である、
前記(15)に記載の情報処理装置。
(17)
前記第1の感覚情報は、五感情報のうちの少なくともいずれか一つを含む、
前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含む、
前記(17)に記載の情報処理装置。
(19)
あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定することと、
プロセッサにより、前記第2の感覚情報に対応する提示データのユーザへの提示を制御することと、
を含む、情報処理方法。
(20)
コンピュータを、
あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える情報処理装置として機能させるためのプログラム。
1 情報処理システム
10 ユーザ端末(情報処理装置)
110 制御部
120 検出データ取得部
121 視覚情報取得部
122 聴覚情報取得部
123 嗅覚情報取得部
124 触覚情報取得部
125 味覚情報取得部
131 生体情報取得部
132 地理情報取得部
133 時間情報取得部
134 イベント情報取得部
135 他情報取得部
136 ユーザ情報取得部
140 検出データ送信制御部
151 管理データ取得部
152 感覚情報決定部
153 提示制御部
160 操作部
170 記憶部
180 通信部
190 出力部
20 サーバ
210 制御部
212 データ取得部
214 記憶制御部
216 関連性算出部
230 記憶部
231 記憶データ
232 関連性データ
240 通信部
30 検出装置
40 提示装置
90 ネットワーク
10 ユーザ端末(情報処理装置)
110 制御部
120 検出データ取得部
121 視覚情報取得部
122 聴覚情報取得部
123 嗅覚情報取得部
124 触覚情報取得部
125 味覚情報取得部
131 生体情報取得部
132 地理情報取得部
133 時間情報取得部
134 イベント情報取得部
135 他情報取得部
136 ユーザ情報取得部
140 検出データ送信制御部
151 管理データ取得部
152 感覚情報決定部
153 提示制御部
160 操作部
170 記憶部
180 通信部
190 出力部
20 サーバ
210 制御部
212 データ取得部
214 記憶制御部
216 関連性算出部
230 記憶部
231 記憶データ
232 関連性データ
240 通信部
30 検出装置
40 提示装置
90 ネットワーク
Claims (20)
- あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える、情報処理装置。 - 前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御するとともに、前記第2の感覚情報に対応する提示データの提示を制御する、
請求項1に記載の情報処理装置。 - 前記提示制御部は、前記第1の感覚情報に対応する提示データの提示を制御せずに、前記第2の感覚情報に対応する提示データの提示を制御する、
請求項1に記載の情報処理装置。 - 前記提示制御部は、所定の条件に基づいて前記第1の感覚情報に対応する提示データの提示を制御するか否かを判断する、
請求項1に記載の情報処理装置。 - 前記所定の条件は、前記第1の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含む、
請求項4に記載の情報処理装置。 - 前記所定の条件は、前記第1の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件を含む、
請求項5に記載の情報処理装置。 - 前記感覚情報決定部は、前記第1の感覚情報とともに前記ユーザに基づく第1の生体情報が得られた場合、前記第1の生体情報に応じた第2の生体情報と対応するタイミングに同一ユーザからセンシングされた感覚情報であり、かつ、前記第1の感覚情報と関係性のある感覚情報を前記第2の感覚情報として決定する、
請求項1に記載の情報処理装置。 - 前記第1の生体情報は、前記ユーザに対するセンシングによって得られた生体情報、および、前記ユーザによって入力された生体情報の少なくともいずれか一方を含む、
請求項7に記載の情報処理装置。 - 前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、前記第1の種類とは異なる第2の種類の感覚情報を前記第2の感覚情報として決定する、
請求項1に記載の情報処理装置。 - 前記感覚情報決定部は、前記第1の感覚情報と関連性のある感覚情報の種類が第1の種類である場合に、当該感覚情報の認識結果に基づいて、前記第2の種類の感覚情報を前記第2の感覚情報として決定する、
請求項9に記載の情報処理装置。 - 前記第1の種類は、視覚を含み、
前記第2の種類は、聴覚および触覚の少なくともいずれか一方を含む、
請求項9に記載の情報処理装置。 - 前記第1の感覚情報の種類は、前記第2の感覚情報の種類と異なる、
請求項1に記載の情報処理装置。 - 前記感覚情報決定部は、前記第1の感覚情報との関連度が閾値を超える感覚情報に基づいて、前記第2の感覚情報を決定する、
請求項1に記載の情報処理装置。 - 前記感覚情報決定部は、前記ユーザまたは所定のアルゴリズムによって選択された前記第1の感覚情報を取得する、
請求項1に記載の情報処理装置。 - 前記複数の感覚情報同士の関連度は、前記複数の感覚情報同士が同一ユーザから対応するタイミングにセンシングされた頻度に基づいて算出される、
請求項1に記載の情報処理装置。 - 前記関連度は、前記複数の感覚情報のうちの一方がセンシングされた条件下において、前記複数の感覚情報のうちの他方が前記一方と対応するタイミングに同一ユーザからセンシングされた割合である、
請求項15に記載の情報処理装置。 - 前記第1の感覚情報は、五感情報のうちの少なくともいずれか一つを含む、
請求項1に記載の情報処理装置。 - 前記五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含む、
請求項17に記載の情報処理装置。 - あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定することと、
プロセッサにより、前記第2の感覚情報に対応する提示データのユーザへの提示を制御することと、
を含む、情報処理方法。 - コンピュータを、
あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
前記関連性データに基づいて、第1の感覚情報と関連性のある第2の感覚情報を決定する感覚情報決定部と、
前記第2の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
を備える情報処理装置として機能させるためのプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017210456A JP2019082904A (ja) | 2017-10-31 | 2017-10-31 | 情報処理装置、情報処理方法およびプログラム |
| CN201880069169.9A CN111263926B (zh) | 2017-10-31 | 2018-08-03 | 信息处理装置、信息处理方法和计算机可读存储介质 |
| PCT/JP2018/029273 WO2019087502A1 (ja) | 2017-10-31 | 2018-08-03 | 情報処理装置、情報処理方法およびプログラム |
| EP18873419.8A EP3705981A4 (en) | 2017-10-31 | 2018-08-03 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| US16/758,502 US11169599B2 (en) | 2017-10-31 | 2018-08-03 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017210456A JP2019082904A (ja) | 2017-10-31 | 2017-10-31 | 情報処理装置、情報処理方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019082904A true JP2019082904A (ja) | 2019-05-30 |
Family
ID=66331725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017210456A Pending JP2019082904A (ja) | 2017-10-31 | 2017-10-31 | 情報処理装置、情報処理方法およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11169599B2 (ja) |
| EP (1) | EP3705981A4 (ja) |
| JP (1) | JP2019082904A (ja) |
| CN (1) | CN111263926B (ja) |
| WO (1) | WO2019087502A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102131614B1 (ko) * | 2019-07-16 | 2020-07-08 | 주상현 | 대체현실 제공 시스템 및 그 방법 |
| WO2022180770A1 (ja) * | 2021-02-26 | 2022-09-01 | 享 山中 | プログラム、情報処理装置、及び情報処理方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102608981B1 (ko) * | 2018-10-24 | 2023-12-01 | 한국전자통신연구원 | 향 시각화 시스템 및 방법 |
| CN113906415A (zh) * | 2019-03-27 | 2022-01-07 | 日本烟草产业株式会社 | 信息处理装置、程序及信息提供系统 |
| WO2021214998A1 (ja) * | 2020-04-24 | 2021-10-28 | 日本電信電話株式会社 | 食感提示装置、食感提示方法、および食感提示プログラム |
| WO2025094687A1 (ja) * | 2023-10-31 | 2025-05-08 | パナソニックIpマネジメント株式会社 | 伝達方法、伝達装置、及び、プログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3408263B2 (ja) * | 1992-03-30 | 2003-05-19 | 株式会社東芝 | 情報提示装置及び情報提示方法 |
| JP3733075B2 (ja) | 2002-02-07 | 2006-01-11 | 株式会社国際電気通信基礎技術研究所 | インタラクション・メディアシステム |
| WO2006036442A2 (en) * | 2004-08-31 | 2006-04-06 | Gopalakrishnan Kumar | Method and system for providing information services relevant to visual imagery |
| JP2009194597A (ja) | 2008-02-14 | 2009-08-27 | Sony Corp | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
| WO2010008232A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
| US8396282B1 (en) * | 2008-10-31 | 2013-03-12 | Hrl Labortories, Llc | Method and system for computing fused saliency maps from multi-modal sensory inputs |
| US9727128B2 (en) * | 2010-09-02 | 2017-08-08 | Nokia Technologies Oy | Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode |
| US9176649B2 (en) * | 2013-03-15 | 2015-11-03 | American Megatrends, Inc. | Method and apparatus of remote management of computer system using voice and gesture based input |
| US9339236B2 (en) * | 2013-07-05 | 2016-05-17 | James Tyler Frix | Continuous transdermal monitoring system and method |
| CN105556506B (zh) | 2013-10-25 | 2018-08-28 | 英特尔公司 | 用于捕获和生成用户体验的装置和方法 |
| WO2015075692A1 (en) * | 2013-11-25 | 2015-05-28 | Koninklijke Philips N.V. | Electrocardiography monitoring system and method |
| AU2014210579B2 (en) * | 2014-07-09 | 2019-10-10 | Baylor College Of Medicine | Providing information to a user through somatosensory feedback |
| JP6530975B2 (ja) | 2015-06-12 | 2019-06-12 | 日本電信電話株式会社 | 学習支援装置、学習支援方法、及びプログラム |
| US10368112B2 (en) * | 2015-12-26 | 2019-07-30 | Intel Corporation | Technologies for immersive user sensory experience sharing |
| CN106377252A (zh) * | 2016-09-30 | 2017-02-08 | 兰州大学 | 一种基于虚拟现实的生物信息反馈系统 |
-
2017
- 2017-10-31 JP JP2017210456A patent/JP2019082904A/ja active Pending
-
2018
- 2018-08-03 EP EP18873419.8A patent/EP3705981A4/en not_active Withdrawn
- 2018-08-03 WO PCT/JP2018/029273 patent/WO2019087502A1/ja not_active Ceased
- 2018-08-03 CN CN201880069169.9A patent/CN111263926B/zh not_active Expired - Fee Related
- 2018-08-03 US US16/758,502 patent/US11169599B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102131614B1 (ko) * | 2019-07-16 | 2020-07-08 | 주상현 | 대체현실 제공 시스템 및 그 방법 |
| WO2021010761A1 (ko) * | 2019-07-16 | 2021-01-21 | 주상현 | 대체현실 제공 시스템 및 그 방법 |
| WO2022180770A1 (ja) * | 2021-02-26 | 2022-09-01 | 享 山中 | プログラム、情報処理装置、及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019087502A1 (ja) | 2019-05-09 |
| US20200341540A1 (en) | 2020-10-29 |
| CN111263926B (zh) | 2022-07-26 |
| EP3705981A1 (en) | 2020-09-09 |
| EP3705981A4 (en) | 2020-12-09 |
| US11169599B2 (en) | 2021-11-09 |
| CN111263926A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019087502A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Hu et al. | An overview of assistive devices for blind and visually impaired people | |
| US12248635B2 (en) | Spatially aware computing hub and environment | |
| US12416967B2 (en) | Spatially aware computing hub and environment | |
| US12007561B2 (en) | Methods and devices related to extended reality | |
| WO2020116233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20210072829A1 (en) | Touch Enabling Process, Haptic Accessory, and Core Haptic Engine to Enable Creation and Delivery of Tactile-Enabled Experiences with Virtual Objects | |
| CN109426343B (zh) | 基于虚拟现实的协作训练方法及系统 | |
| JP6969577B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN118103799A (zh) | 与远程设备的用户交互 | |
| US20250139842A1 (en) | Systems and methods for rendering simulated environments to provide sexual stimulation | |
| WO2019123744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN105279354A (zh) | 用户可融入剧情的情境建构系统 | |
| JP7750294B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2023169331A (ja) | 情報処理システム、情報処理方法、プログラム | |
| US20210256263A1 (en) | Information processing apparatus, information processing method, and program | |
| US20250359816A1 (en) | Virtual remote tele-physical examination systems | |
| US20250335025A1 (en) | Generative model-driven sampling for adaptive sparse multimodal sensing of user environment and intent | |
| GB2622063A (en) | System and method | |
| WO2025204236A1 (ja) | 情報処理システム、プログラム、および情報処理方法 | |
| KR20250132882A (ko) | 생성형 ai를 이용한 사용자 심리 치료 방법 및 장치 | |
| KR20230101498A (ko) | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 | |
| HUNTONE | The benefits of haptic feedback in mobile phone camera |