JP5069687B2

JP5069687B2 - コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置

Info

Publication number: JP5069687B2
Application number: JP2008531865A
Authority: JP
Inventors: エムアールツ，ロナルデュス; クルト，ラルフ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-09-26
Filing date: 2006-09-22
Publication date: 2012-11-07
Anticipated expiration: 2026-09-22
Also published as: US20080235284A1; JP2009510826A; CN101495942A; WO2007034442A2; EP1984803A2; WO2007034442A3

Description

本発明は、家庭電化製品のインターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析するための方法に関連する。本発明は、家庭電化製品のインターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析するための装置、心理的データを記憶するデータストレージ及びコンピュータプログラムにも関連する。

米国特許第6,798,461号(特許文献１)はあるビデオシステムを開示しており、そのビデオシステムは、ビデオデータを視聴者に表示するディスプレイと、脈拍や皮膚の導電性のような心理的データを検出することに備えて視聴者の指に取り付けられたセンサと、ビデオデータを受信するビデオ混合装置とを有する。ビデオ混合装置は、視聴者がビデオデータを鑑賞している間、心理的データを受信し、それらを表示するよう用意される。このシステムは、ビデオコンテンツを楽しみながら、視聴者が心理的データをモニタすることを可能にする。

既存のシステムは、リアルタイムで測定された心理的データ及びビデオコンテンツを同時に表示することを可能にする。そのようなシステムの場合、視聴者は、そのビデオコンテンツを見て感じたものを、同じビデオコンテンツを見ていない他者に伝達できないかもしれない。
米国特許第6,798,461号明細書

本発明の課題は、コンテンツ情報の提供を受けたユーザの感情状態を分析し、ユーザが自身の体験を伝達できるようにする方法を提供することである。

一実施形態による方法は、
家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する方法であって、
前記ユーザの感情状態を示す心理的データを取得するステップと、
コンテンツ情報の提供を受けた前記ユーザに向いたカメラからのビデオデータを取得することで前記ユーザを監視するステップと、
取得した前記ビデオデータのうち、前記心理的データに関連する前記コンテンツ情報の一部分を特定するステップと、
前記コンテンツ情報の関連部分を指すリファレンスと共に、前記心理的データを格納するステップと
を有する方法である。

コンテンツ情報がユーザに提供される際、そのコンテンツ情報に関する或る感情をユーザが抱いていることを、測定可能な心理的プロセスが示すかもしれない。例えば、ユーザが現在鑑賞している映画によってユーザが突然驚き(又は恐怖)を感じたとき、皮膚の抵抗が変化する。ユーザの感情状態を記録するため、心理的データを伴う信号(例えば、直流皮膚抵抗測定値、筋電図測定値又は瞳の大きさ等)が取得される。

ユーザがコンテンツ情報を徐々に消費する際に、ユーザの感情状態が変化するかもしれない。このため心理的データも変化するかもしれない。従って、特定の時点で得られた特定の心理的データに対応するコンテンツ情報の部分が、特定される。コンテンツ情報の対応する部分を指すリファレンスを伴う心理的データは、ユーザの体験を明確に表すことを可能にする。

ユーザがコンテンツ情報の提供の提供を受ける際、後の利用に備えてユーザの体験又は感情を保存することが望ましい。このため、コンテンツ情報の関連部分を指すリファレンスと共に、心理的データが記憶される。心理的データを記憶することで、その心理的データを後に利用可能にする時間シフトが用意される。記憶された心理的データは、コンテンツ情報を再び再生するため及びユーザの感じた感情状態を示すために使用される。コンテンツ情報の関連部分を指すリファレンスと共に記憶された心理的データは、他のユーザに伝達されてもよいし、或いは他のユーザの心理的データと比較されてもよい。

本発明によれば、家庭電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する装置が提供される。本装置はデータプロセッサを有し、該データプロセッサは：
− 前記ユーザの感情状態を示す心理的データを取得すること；
− 前記心理的データに関連する前記コンテンツ情報の部分を特定すること；及び
− 前記コンテンツ情報の関連部分のリファレンスと共に、前記心理的データを格納可能にすること；
を実行するようにした装置である。

本装置は説明される本方法と共に動作するように構築される。

これら及び他の本発明の形態は、図面と共に実施例により説明及び記述される。

家庭電化製品システムにおいてユーザは様々な方法でコンテンツ情報(又は、単にコンテンツと呼ぶ)の提供を受ける。例えば、ユーザが現在読んでいる本の中のページを検出する何らかの電子装置を組み込んだ取り外し可能なカバーと共に、ユーザは本を読むかもしれない。別の例として、ユーザはTV画面又はPCディスプレイでサッカーゲームを鑑賞するかもしれない。ユーザにコンテンツが提供される際、それは、如何なるディスプレイも又は如何なるオーディオ再生装置も利用せずに、例えば本を読むことで、ユーザがコンテンツを利用することを意味するかもしれないし、或いは、家庭電化装置で見たり聴いたりすることでユーザがコンテンツを利用することを意味するかもしれない。

コンテンツは、視覚的な情報(例えば、ビデオ画像、写真、グラフィックス)、オーディオ情報及びテキスト情報の内の少なくとも１つ又は何らかの組み合わせを含んでもよい。「オーディオ情報」なる用語は、聞き取れる音、静けさ、会話、音楽、静寂、外部雑音等による音に関するデータを意味する。オーディオデータは、MPEG-1レイヤIII(mp3)標準仕様(MPEG: Moving Picture Experts Group)のようなフォーマット、AVI(Audio Video Interleaves)フォーマット、WAM(Windows Media Audio)フォーマット等でもよい。「ビデオ情報」なる用語は、動き、画像、「静止画」、ビデオテキスト等のような視覚的なデータを意味する。ビデオデータは、GIF(Graphic Interchange Format)、JPEG(Joint Photographic Experts Groupに由来する)、MPEG-4等のようなフォーマットでもよい。テキスト情報は、ASCII(American Standard Code for Information Interchange)フォーマット、PDFフォーマット(Adobe Acrobat Format)、HTML(Hyper Text Markup Language)フォーマット等でもよい。

図１は２つのユーザインターフェース110,130及び装置150を有するシステム例を示す。ユーザインターフェース110では、電子装置114a,114bを組み込んでいるブックカバーの中に用意された本112をユーザが読む。電極114a,114bは監視プロセッサ116に接続されてもよい。ユーザが本を読む場合、電極114a,114bを通じて電気皮膚反応(galvanic skin response)が測定され、測定値に付随する適切な信号が生じる。更に、その信号は監視プロセッサ116に(無線で)供給される。別の実施例では、電極114a,114bは、本を読んでいるユーザの脈拍を測定するように用意される。別の実施例では、取り外し可能なブックカバーが或るセンサを組み込み、センサは、ユーザの体の中の他の心理的プロセス(例えば、ユーザの顔の皮膚温度分布−これはユーザの感情状態の変化に関連付けられる)を測定する。

監視プロセッサ116は、本を読んでいるユーザのビデオデータを捕捉するビデオカメラ118に結合されてもよい。ユーザが読んでいる本の中のページ、ユーザが見ている本の中の絵、又はユーザが現在読んでいる段落(パラグラフ)を確認するため、ビデオカメラ118は、捕捉したビデオデータを監視プロセッサ116に供給するよう構築される。ビデオデータの以後のコンテンツ分析により、現在読まれているページ若しくはそのページ内の段落又は見られている絵は判定可能になる。コンテンツ分析は監視プロセッサ116で実行されてもよいし、或いは装置150で実行されてもよい。ユーザインターフェース110でビデオカメラ118を利用することは選択的である。なぜなら、ユーザにより現在利用されているコンテンツの一部分が、別の方法で確認されてもよいからである。例えば、監視プロセッサ116は、物理的なブックマーク形式でのページカウンタや、本の中のページを特定する別の小さなツール(gadget)等を含んでもよい。

電気皮膚反応測定値又は他の心理的データ及びリファレンスを有する信号を装置150に送信するように監視プロセッサ116は構築され、そのリファレンスは、信号が取得された時点でユーザが見ていた又は聴いていたコンテンツの対応する部分を指す。或いは、監視プロセッサ116から信号及びビデオデータを受信するように装置150は構築され、その信号及びビデオデータは、コンテンツの対応する部分を指すリファレンスを特定するために更に処理されることを要する。

更に、ユーザインターフェース130において、ユーザはビデオ及びオーディオコンテンツ(例えば、映画)を鑑賞するかもしれないし、或いはユーザはディスプレイ装置(例えば、TVセット、PDA(パーソナルディジタルアシスタント)のタッチスクリーン、又は移動電話機等)に表示される電子テキスト(例えば、新聞又は書籍)を読むかもしれない。ユーザがコンテンツを見る際、その信号は、ユーザの脈拍数、電気皮膚抵抗又は他の心理的パラメータを示す。信号は様々な方法で取得されてよい。例えば、ディスプレイ装置は、心理的データを取得するセンサを組み込んでいるキーボード又はリモートコントロールユニットを備えていてもよい。

信号中の対応する心理的データに関するコンテンツ部分の身元(識別子)を装置150に与えるように、ディスプレイ装置は構築されてもよい。例えば、ディスプレイ装置は、映画の中のフレーム番号や、映画の開始以来の時間等を示してもよい。映画の中で示される特定のビデオオブジェクトやキャラクタに心理的データが関連することも、ディスプレイ装置が示すかもしれない。別の例では、ディスプレイ装置は装置150に識別子を明示的には提供しないが、ディスプレイ装置はコンテンツ及び信号を装置150に時間的に同期して送信する。

心理的データは１つ以上のイヤフォンを通じて取得されてもよい。ユーザに対してオーディオを再生するイヤフォンの通常の機能に対する追加的な選択肢として、電気皮膚反応を測定するようにイヤフォンは設計されてもよい。例えば、イヤフォンの表面は、電気皮膚反応を検出する１つ以上の電極を含んでもよい。ユーザはユーザインターフェース110,130でそのような１つ以上のイヤフォンを使用してもよい。

対応する心理的データに関連するコンテンツ部分を指すリファレンスを設定するのに必要な全ての情報及び心理的データを、監視プロセッサ116から又はディスプレイ装置から装置150は受信する。

装置150はデータプロセッサ151を有し、データプロセッサは、例えば信号に組み込まれている受信した心理的データから、特定の情報、他の情報(対応する心理的データに関連するコンテンツ部分を特定する)及びインデックス(対応する心理的データ及びコンテンツの特定された部分を指定する)を生成するよう構築される。或いは、コンテンツの対応部分でコンテンツに心理的データを埋め込むように、データプロセッサ151が構築されてもよい。更に別の例では、ユーザの感情状態各々に関連付けられた対応する感情記述子に、心理的データを変換するようにデータプロセッサは構築されてもよい。そして、１つ以上の感情記述子は、コンテンツの対応する部分に埋め込まれてもよいし、又は、コンテンツの特定部分及び対応する感情記述子を示すインデックスが生成されてもよい。インデックス、埋め込まれた心理的データを伴うコンテンツ、又は埋め込まれた感情記述子を伴うコンテンツを格納するよう用意されたデータストレージ160と(リモートに)通信するように装置150が構築されてもよい。データストレージ160はデータベースのように問い合わせを受けることが好ましい。

インデックス及び／又はコンテンツは様々なデータキャリアのデータストレージ160に如何なるフォーマットで格納されてもよい。データキャリアは、例えば、オーディオ又はビデオテープ、光記憶ディスク(例えば、CD-ROM(コンパクトディスクリードオンリメモリ)又はDVDディスク(ディジタル多用途ディスク))、フロッピディスク及びハードディスク等である。フォーマットは、例えば、MPEG(モーションピクチャーエキスパートグループ)、MIDI(Musical Instrument Digital Interface)、ショックウェーブ(Shockwave)、クイックタイム(QuickTime)、WAV(Waveform Audio)等である。例えば、データ記憶部はコンピュータハードディスクドライブ、多用途フラッシュメモリカード(例えば、「メモリスティック」装置等)等で構築されてもよい。

図１を参照しながら説明したように、ユーザにコンテンツを提供するのに２種類ある。ユーザは時間的に非線形にコンテンツを利用するかもしれない。例えば、ユーザインターフェース130でディスプレイ装置に示されている写真集の中の写真をユーザが見ていたとする。その写真集から別の写真を表示する際、ユーザはリモート制御装置で方向ボタンを押すかもしれないし、何らかの時点でキーボードのキーを押すかもしれない。別の例では、コンテンツは所定の時間的進捗と共に提示される。そのようなコンテンツは映画、歌又はスライドショー(スライドショーでスライドは自動的に変えられる)等かもしれない。コンテンツ提示の何れのタイプにおいも(すなわち、時間的に線形でも非線形でも)、少なくとも２つの方法を使って対応する心理的データに関連するコンテンツ部分を特定することができる：心理的データを取得した時間に基づく方法、又はコンテンツ情報の特定の部分に注意を払っているユーザを監視する方法である。第１の方法の具体例は、コンテンツが映画の場合である。心理的データを取得する時間は監視プロセッサ116又はデータプロセッサ151に実装されているタイマ(図示せず)により記録される。所与の記録された時点があれば、ユーザが特定の感情を抱きそれに応じて関連する心理データが得られたことに応じて、映画の中のフレーム又はビデオシーンを特定することは容易である。

第１の方法の別の例はユーザインターフェース110について与えられる。対応する心理的データに関連するコンテンツ部分を時間ベースで特定することは、先ず本112のページが開かれた時にタイマーを起動し、そのページがめくられつつある時にタイマーを止めることで実行されてもよい。従って、タイマーは本112の１ページ(２ページ)の合計時間を特定可能にする。どんな心理的データがその期間に受信されるかが知られるようにも仮定される。更に、本のページ内のどの段落が、その対応する心理的データに関連しているかが、補間により算出されてもよい。一方、ユーザが複数のページにざっと目を通す場合、確認された期間がページ当たり又は画像／写真当たり１秒未満であったならば、そのページは読むことができないので、データプロセッサは、確認されたその期間に取得された心理的データを無視するように構築されてもよい。

第２の方法では、例えばコンテンツは写真集かもしれない。例えばカメラ118又は本112に取り付けられたページカウンタのような監視装置は、特定の場合にユーザが利用したコンテンツの部分を判定可能にする。例えば、ビデオデータとコンテンツとを比較することで確認されたコンテンツの一部分を含むビデオデータを取得するように、カメラ118は構築される。写真集の場合、特定の一枚の画像が確認されてもよい。コンテンツが映画の場合、特定のフレームが同様に確認されてもよい。

写真集又は映画を眺めている間、ユーザが着目しているオブジェクト(対象)を検出することで、より精密な判定が達成できるかもしれない。ユーザの視線方向、本の位置、コンテンツを表示するディスプレイ装置の位置等を判定するためにカメラ118が使用されることが、オブジェクトの検出には必要となる。画面又は本の中のオブジェクトを検出する方法自体は、既知である。オブジェクト検出は、心理的データをコンテンツの特定の有意義な部分(semantic portion)(例えば、映画の中の或るキャラクタや、デュエットソングでの歌手の１人)に関連付けることを可能にする。

精密な判定は、ユーザインターフェース110で上述したように補間法を利用し、対応する心理的データに関連する本のページの段落を判定することによっても可能である。ページ内に画像が有る場合、ユーザは先ずその画像を見るであろう。従って、ページが開かれた直後に取得された心理的データと画像との間に直接的な結びつきの可能性がある。

本発明の一実施例では、対応する心理的データに関するコンテンツ部分を特定し、集まってしまったユーザ感情の影響が補償されるようにデータプロセッサ151を合わせることが予測される。ユーザがコンテンツを利用している間にユーザ感情が集まり、心理的データがコンテンツの特定の部分に関する感情を客観的には反映しないかもしれないので、そのような影響が生じる。その影響は或る有利な方法で緩和され、例えば、ユーザインターフェース130において、ユーザが写真集に目を通す際、写真及び心理的データ間の同期を遅らせることで緩和される。この遅延は、ある写真が別の写真の後で提示される場合に、感情を晴らして落ち着くのにユーザがいくらか時間を要することを考慮に入れる。

データプロセッサ151は、本発明を実行し且つ説明済みの装置の動作を可能にするように適切に構築された周知の中央処理装置(CPU)をでもよい。

図２を参照しながら本発明が更に説明され、図２はユーザがコンテンツを利用する差異ユーザの感情状態を分析する方法例を示す。

ステップ210において、ユーザが例えば映画を見たり、歌を聴いたり、本を読んだりする際に心理的データが取得される。心理的データは、コンテンツを利用する特定の時点におけるユーザの感情状態を導出可能にする。例えば、ユーザの興奮の度合いが推測されてもよい。ある心理的データは、怒り、憂い、喜び等のような感情状態を確実に推論及び分類できるようにする。

動作ステップ220では、心理的データが所定の基準と比較され、コンテンツの利用された部分に対する心理的データがユーザの感情反応の或るレベルを超えたか否かを判定する。例えば、電気皮膚反応が、ユーザの感情状態のレベルに応じて変わるかもしれない。

ステップ220において、感情状態レベルが閾値を越えているように心理的データから判定された場合、心理的データに関するコンテンツ部分がステップ230で確認される。心理的データとコンテンツの対応する確認された部分との間の対応関係は、ユーザインターフェース110,130に対するリファレンスと共に上述したように決定される。

ステップ240では、インデックスがデータストレージ160に格納される。或いは、心理的データ又は少なくとも１つの感情記述子が、コンテンツの関連部分を指すリファレンスと共にコンテンツに組み込まれ、そのコンテンツがデータストレージ160に格納される。

選択的に、ステップ220で閾値を越えていた場合、ユーザに向けられたカメラ118で得られたビデオデータが、感情状態及びユーザの態度(例えば、ユーザの表情)を抽出するのに使用される。代替的に又は追加的に、例えばマイクロフォンのようなオーディオ入力装置が、ユーザの声を記録するように活性化(アクティブに)される。ビデオデータ及び／又は音声データは、装置150に供給され、更にデータストレージ160に格納される。こうして、ユーザの体験は記録され、ユーザに又は他者に何らかの後の時点で、例えば同期した方式でコンテンツ自身と共に同時に、提示されてもよい。

ステップ250では、コンテンツ情報が心理的データと同期して提示される。この提示は別様に実行されてもよい。但し、コンテンツの一部分の提示は、コンテンツのその部分に関する心理的データの同期した提示を伴うものとする。例えば、映画が通常の方法でディスプレイ画面に提示されるが、ディスプレイ画面周囲のフレームの色は、映画の対応するフレームに関連する心理的データに応じて変化する。

ステップ250の有利な代替例では、コンテンツの一部分が、対応する関連する心理的データに依存して修正された方法で提示される。例えば、オブジェクトに関する心理的データが、そのユーザはそのビデオオブジェクトに関して或る感情を抱いたことを示す場合、映画のそのビデオオブジェクトが別様にハイライト又強調される。この強調は、心理的データから導かれる特定の感情に対応する色を利用することを含んでもよい。

或いは、心理的データを使って、コンテンツの中から、ある選択基準に合う１つ以上のコンテンツ部分だけを選別してもよい。例えば、ユーザは、写真集の中から、ある感情を引き起こす画像だけを取り出してもよい。

如何なる所望の長さのコンテンツの粗筋でも作成可能である。例えば、対応する心理的データが所定の閾値を上回る感情レベルを示す場合に、粗筋に備えてコンテンツの一部分がマークされる。閾値を(適切に)合わせることで、ユーザ又はデータプロセッサは時間の長さや粗筋のサイズを調整できる。

別の実施例では、ユーザの心理的データは、同じコンテンツに関する他者の別の心理的データと比較される。この比較は、彼らが同じコンテンツを好むか否かをユーザが確認できるようにし、選択的に、同じコンテンツの同じ部分又は別の部分を各ユーザが好む程度を確認できるようにする。

別の実施例では、ユーザは心理的データを利用し、データストレージ160の中で、実質的に同じ心理的データを伴う別のコンテンツを探すことができる。例えば、データストレージ160に問い合わせを行うユーザの問い合わせ語句(クエリ)は、コンテンツの中である形式で分布している心理的データのパターンを有するかもしれない。例えば、そのパターンは、ユーザの感情反応が中頃で高く、コンテンツの終わりで特に高いことを示すかもしれない。コンテンツベースで構築されたそのようなパターンは、同じ又は同様なパターンを伴う別のコンテンツを見出すのに使用されてもよい。

説明された実施例の変形例及び修正例は、本発明概念の範囲内で可能である。例えば装置150及び／又はデータストレージ160は、ユーザ装置に遠隔的にアクセス可能であってもよく、ユーザ装置は、例えば、ケーブル、衛星又は他のリンクを伴うテレビジョンセット(TVセット)、ビデオカセット、HDDレコーダ、家庭用映画システム、携帯用CDプレーヤ、アイプロント(iPronto)リモートコントロールのようなリモートコントロール装置、セルラ電話機等である。ユーザ装置はステップ250を、或いはステップ250の代替例を実行するように構築されてもよい。

一実施例では、図１に示されるシステムは単独の装置で実現されてもよいし、或いはサービスプロバイダ及びクライアントを含んでもよい。或いは、本システムは分散され互いに離れて設けられた装置群で構築されてもよい。

データプロセッサ151はソフトウエアプログラムを実行し、本発明の方法のステップを実行可能にしてもよい。そのソフトウエアは、ソフトウエアが動作している装置150を独立に動作可能にする。装置を動作可能にするため、データプロセッサはソフトウエアプログラムを他の(外部の)装置に例えば伝送してもよい。独立の方法請求項及びコンピュータプログラム製品関連請求項は、家庭電気製品での動作に備えてソフトウエアが作成され或いは利用される場合に、本発明を保護するために使用されるかもしれない。例えば、ブルートゥース、IEEE802.11[a-g]等のような既存の記述を使って、外部装置がデータプロセッサと接続されてもよい。データプロセッサは、UPnP(ユニバーサルプラグアンドプレイ)標準仕様に従って外部装置と相互作用してもよい。

「コンピュータプログラム」は、フロッピディスク等のようなコンピュータ読み取り可能な媒体に格納され、インターネット等のようなネットワークを介してダウンロード可能であり或いは他の何らかの方法による市販の如何なるソフトウエア製品をも意味するように理解されるべきである。

様々なプログラム製品が本発明によるシステム及び方法の機能を実現し、ハードウエアと共に又は様々な装置に設けられたいくつかの方法で組み合わせられてもよい。本発明は、いくつもの個別素子を有するハードウエアを用いて、及び適切にプログラムされたコンピュータを用いて実現可能である。いくつもの手段を有する装置の請求項では、これらのいくつもの手段は１つの同じハードウエア品目で実現されてもよい。

本発明によるシステム例を示す機能ブロック図である。本発明の方法例を示す図である。

Claims

家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する方法であって、
前記ユーザの感情状態を示す心理的データを取得するステップと、
コンテンツ情報の提供を受けた前記ユーザに向いたカメラからのビデオデータを取得することで前記ユーザを監視するステップと、
取得した前記ビデオデータのうち、前記心理的データに関連する前記コンテンツ情報の一部分を特定するステップと、
前記コンテンツ情報の関連部分を指すリファレンスと共に、前記心理的データを格納するステップと
を有する方法
前記心理的データが、電気皮膚反応の測定値を有する請求項１記載の方法。
前記心理的データが、ユーザのイヤフォンを通じて取得される請求項２記載の方法。
前記コンテンツ情報が、再生時間に線形な場合に適している請求項１記載の方法。
前記コンテンツ情報が、時間に非線形にユーザが利用する場合に適している請求項１記載の方法。
前記コンテンツ情報が、電子テキスト、印刷テキスト又は複数の画像である請求項５記載の方法。
前記コンテンツの一部分が、関連する心理的データを取得した時間に基づいて特定される請求項４又は５に記載の方法。
心理的データに関連する前記コンテンツ情報の一部分が、コンテンツ情報の提供を受けた前記ユーザを監視することで確認される請求項４又は５に記載の方法。
前記格納するステップにおいて、前記心理的データが前記コンテンツ情報に組み込まれる請求項１記載の方法。
前記特定するステップ及び前記格納するステップを行わせるための閾値を、前記心理的データが越えたか否かを判定するステップを更に有する請求項１記載の方法。
前記閾値を越えた場合、カメラ又はオーディオ入力装置を活性化し、前記ユーザのビデオデータ又は前記ユーザの音声データをそれぞれ記録するステップを更に有する請求項１０記載の方法。
前記心理的データと同時に前記コンテンツ情報を提供し直すステップ、
ある選択基準に従って、前記心理的データに関連する前記コンテンツ情報の少なくとも一部分を選択するステップ、
前記ユーザの前記心理的データと、同じコンテンツ情報に関する別ユーザの別の心理的データとを比較するステップ、
前記心理的データを用いて、実質的に同じ心理的データを伴う別のコンテンツ情報をデータベースの中で探すステップ
の内の何れかを更に有する請求項１記載の方法。
家庭用電化製品インターフェースでコンテンツ情報の提供を受けたユーザの感情状態を分析する装置であって、当該装置はデータプロセッサを有し、前記データプロセッサは、
前記ユーザの感情状態を示す心理的データを取得し、
コンテンツ情報の提供を受けた前記ユーザに向いたカメラからのビデオデータを取得することで前記ユーザを監視し、
取得した前記ビデオデータのうち、前記心理的データに関連する前記コンテンツ情報の一部分を特定し、
前記コンテンツ情報の関連部分を指すリファレンスと共に、前記心理的データを格納可能にする処理を実行する、装置。
請求項１乃至１２の何れか１項に記載の方法をコンピュータ装置に実行させるコード手段を有するコンピュータプログラム。