JP2013078121A - Image information processing apparatus and image information processing method - Google Patents
Image information processing apparatus and image information processing method Download PDFInfo
- Publication number
- JP2013078121A JP2013078121A JP2012208278A JP2012208278A JP2013078121A JP 2013078121 A JP2013078121 A JP 2013078121A JP 2012208278 A JP2012208278 A JP 2012208278A JP 2012208278 A JP2012208278 A JP 2012208278A JP 2013078121 A JP2013078121 A JP 2013078121A
- Authority
- JP
- Japan
- Prior art keywords
- program
- information
- viewer
- image
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
【課題】本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供する。
【解決手段】実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。
【選択図】図２The present invention provides an image information processing apparatus and an image information processing method capable of effectively utilizing the face image data of a viewer and the face image data of a performer included in the program data of the program and the program information.
According to an embodiment, a first image processing unit detects first face image data from an imaging signal. The second image processing unit detects second face image data included in the program data. The control unit and the first face image data detected by the second image processing unit in response to a change in the first face image data detected by the first image processing unit and the first face image data Image information associated with the first face image data detected by the image processing unit and the program information of the program is created and registered in the registration unit.
[Selection] Figure 2
Description
本発明の実施形態は画像情報処理装置及び画像情報処理方法に関する。 Embodiments described herein relate generally to an image information processing apparatus and an image information processing method.
視聴者が興味を持つと考えられる画像コンテンツを特定する装置がある。この装置は、画像コンテンツを視聴したときの視聴者の表情を撮像し、視聴者の感情を推測する、また画像コンテンツの出演者の表情から出演者の感情を推測する。そして視聴者と出演者の感情が一致するシーンを、視聴者が共感したシーンであると推測し、このシーンの画像を要約画像として所定の記憶領域に記憶する。 There are devices that identify image content that a viewer may be interested in. This device captures the viewer's facial expression when viewing the image content, guesses the viewer's emotion, and also estimates the performer's emotion from the performer's facial expression of the image content. Then, a scene in which the emotions of the viewer and the performer match is presumed to be a scene sympathized by the viewer, and an image of this scene is stored as a summary image in a predetermined storage area.
番組の特定のシーンと視聴者の表情を関連付ける技術が開発されているが、この技術はさらなる展開を要望される。 Although a technique for associating a specific scene of a program with the facial expression of a viewer has been developed, this technique is required to be further developed.
本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供することを目的とする。 An object of the present embodiment is to provide an image information processing apparatus and an image information processing method capable of effectively utilizing the face image data of the viewer and the face image data of the performer included in the program data of the program and the program information. .
実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。 According to the embodiment, the first image processing unit detects first face image data from the imaging signal. The second image processing unit detects second face image data included in the program data. The control unit and the first face image data detected by the second image processing unit in response to a change in the first face image data detected by the first image processing unit and the first face image data Image information associated with the first face image data detected by the image processing unit and the program information of the program is created and registered in the registration unit.
以下、実施の形態について図面を参照して説明する。図１は、本実施形態が適用された例えばテレビジョン受信装置の概略構成を示している。テレビジョン受信装置に代わって、データ記録再生装置であってもよい。１１は、チューナ装置であり、複数のチューナが内蔵されており、同時に複数のチャンネルを受信し、複数の放送番組を復調することができる。チューナ装置１１には、入力端子ＡＮ１，・・・ＡＮｎを介してアンテナで受けられた高周波信号が入力される。入力端子ＢＮ１は、外部入力端子であり、ケーブル或いはネットワーク或いは他の機器からの信号が入力する。 Hereinafter, embodiments will be described with reference to the drawings. FIG. 1 shows a schematic configuration of, for example, a television receiver to which the present embodiment is applied. A data recording / reproducing apparatus may be used instead of the television receiving apparatus. A tuner device 11 includes a plurality of tuners, and can simultaneously receive a plurality of channels and demodulate a plurality of broadcast programs. The tuner device 11 receives a high frequency signal received by an antenna via input terminals AN1,. The input terminal BN1 is an external input terminal, and receives a signal from a cable, a network, or another device.
セレクタ１２は、チューナ装置１１からの復調信号（ストリーム信号）、或いは入力端子ＢＮ１からの信号を制御部２０からの制御の元で選択して出力する。セレクタ１２で選択された制御ストリームは、制御部２０に入力される。セレクタ１２で選択された番組信号のストリームは、信号処理部１３に入力される。
The selector 12 selects and outputs a demodulated signal (stream signal) from the tuner device 11 or a signal from the input terminal BN1 under the control of the
信号処理部１３は、入力した番組信号のストリームの内、例えば視聴される番組のストリームを復号処理し、復号された画像信号を出力部１４に出力する。出力部１４では制御部２０からのグラフィック画像信号（番組表画像信号、メニュー画像信号など）が、番組画像信号に多重される。また出力部１４では、画像信号のサイズ、スケール変換、解像度処理などが行われ、表示器１５に出力される。
The
表示器１５には、カメラ１７が取り付けられている。カメラ１７は、表示器１５のキャビネット内に内蔵されていてもよい。カメラ１７は、表示器１７の画像を視聴している視聴者を撮像するものである。カメラ１７の撮像信号は、インターフェース１８を介して制御部２０に取り込むことができる。またカメラ１７の撮像信号は、制御部２０から出力部１４を通り、表示器１５でモニタすることができる。このとき、ユーザは、カメラ１７の撮像状態を調整し、撮像方向、撮像エリアなどを設定することができる。この設定は、リモートコントローラで行うことも可能であるし、カメラ１７の操作部を直接操作することで可能である。なおカメラ１７は、その配置位置を種々変更可能に取り付けられていてもよい。
A
制御部２０は、周辺に接続されているブロックを統括的に制御している。またリモートコントローラ２２からの操作信号が、受信部２１を介して制御部２０に入力される。これによりユーザの操作が装置全体に反映される。
The
制御部２０にはリードオンリーメモリ（ＲＯＭ）２６が接続されている。ＲＯＭ２０６には、制御部２０が利用する各種のプログラムが格納されている。制御部２０にはランダムアクセスメモリ２３が接続されている。このメモリ２３は、一時的なデータの保存部、演算処理のためのプログラムの展開部として利用される。さらに制御部２０にはハードディスクドライブ（ＨＤＤ）２４が接続されている。ＨＤＤ２４は、番組信号を録画及び再生するための媒体として利用される。また制御部２０にはＢＤ/ＤＶＤドライブ２５が接続されている。ＢＤ/ＤＶＤドライブ２５もまた、番組信号を録画及び又は再生するための媒体として利用される。さらにまた、制御部２０には、ＵＳＢケーブルを介して、キーボード２７を接続することができる。ユーザは、ある動作モードにおいては、表示器１５を見ながらキーボード２７を操作して、データ（文字、図形など）を入力することができる。
A read only memory (ROM) 26 is connected to the
制御部２０には、客観的画像処理部２０１、お勧め番組情報構築部２０２、表示データ制御部２０３が内蔵されている。
The
図２には、客観的画像処理部２０１のブロック構成を示している。３０２は、この客観的画像処理部２０１の動作を指令するための実行指示部である。この実行指示部３０２に実行操作信号が入力されると、同期制御部３０３が起動する。同期制御部３０３は、視聴者画像処理部３０４に含まれる視聴者画像取得部３４１を起動する。視聴者画像取得部３４１は、カメラ１７を起動し、視聴者の撮像画像を取り込む。
FIG. 2 shows a block configuration of the objective
顔検出部３４２は、視聴者を撮像した画像信号の中から顔画像信号を検出する。検出した顔画像信号は、表情解析部３４３に入力される。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）により、顔の変化（例えば笑顔、泣き顔、怒り顔）を検出することができる。つまり視聴者の表情変化が設定レベル以上になったときを検出している。
The
表情解析部３４３の解析結果信号は、同期制御部３０３に入力される。同期制御部３０３は、解析結果信号が来たときの番組の視聴画像信号の区間を決定する。つまり、視聴者が視聴している視聴画像信号であって、視聴者が例えば笑顔に変化したとき及びその前後の例えば１乃至２分間の視聴画像信号を特定する。
The analysis result signal from the facial
この視聴画像信号を特定するタイミングは、視聴者が笑顔に変化したときに限定されるものではなく、定期的に実施されてもよい。定期的に実施される場合は、上記の解析結果信号は、定期的なタイミング信号となる。 The timing for specifying the viewing image signal is not limited to when the viewer changes to a smile, and may be periodically performed. When performed regularly, the analysis result signal is a periodic timing signal.
同期制御部３０３の制御に基づいて、視聴番組画像処理部３０５は、以下のように動作する。視聴画像取得部３５１は、前記１乃至２分間の視聴画像信号を取り込む。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録のために送信したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
Based on the control of the
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして視聴者の識別データと、視聴者の例えば顔画像信号と、前記番組の特定した出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けたテーブルを作成することができる。このテーブルは、ある視聴者が、どの出演者に興味を持つかという視聴者情報として位置づけられる。
Upon receiving the above notification, the
客観的画像処理部２０１が処理対象とする番組の画像信号は、例えば受信中であって視聴者が視聴しておりかつ録画中の番組の画像信号であってもよい。或いは、客観的画像処理部２０１が、処理対象とする番組の画像信号は、すでに記録媒体に録画されている番組の画像信号であって現在当該番組が再生されて、視聴者が視聴している番組の画像信号であってもよい。
The image signal of the program to be processed by the objective
図３は、図２に示した視聴者画像処理部３０４と視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。実行指示部３０２から処理開始の指示があると（ステップＳ３−１）、同期制御部３０３は、画像取得指示を視聴者画像処理部３０４、視聴番組画像処理部３０５に指示する。視聴者画像処理部３０４は、上記したようにカメラ１７から取り込んだ撮像信号を処理し、視聴者の顔画像信号を処理する。視聴番組画像処理部３０５は、視聴者が視聴している番組の画像信号処理に移行する（ステップＳ３−４）。
FIG. 3 is a flowchart simply showing the operations of the viewer
視聴者画像処理部３０４、視聴番組画像処理部３０５の処理動作は、同期制御部３０３により統括されている。同期制御部３０３は、視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして、識別データと、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けた前述したテーブルを作成することができる。
Processing operations of the viewer
図４は、上記した視聴者画像処理部３０４の動作を簡単に示すフローチャートである。実行指示部３０２から画像を取得せよとの指示があると（ステップＳ４−１）、視聴者の画像がカメラ１７から取り込まれる。次に顔検出処理が行われ（ステップＳ４−２）、検出した顔画像信号を用いて、表情解析処理が実施される（ステップＳ４−３）。そして表情解析結果信号は、同期信号制御部３０３に通知される。
FIG. 4 is a flowchart simply showing the operation of the viewer
図５は、上記した視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。同期制御部３０３の制御に基づいて、視聴画像取得部３５１が、前記表情解析結果信号が通知された時点の前後数秒間の画像信号を取り込む（ステップＳ５−１）（ステップＳ５−２）。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する（ステップＳ５−３）。番組信号から取得した顔画像信号に対応する人物の画像信号がデータベース３５４に含まれているかどうかをサーチされる（ステップＳ５−４）。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在するか否かの判定が行われる（ステップＳ５−５）。
FIG. 5 is a flowchart simply showing the operation of the viewing program
これにより、同期制御部３０３は、上記したように視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。
As a result, the
図６は、視聴データ登録部３０６内のデータベース（視聴者情報）の構成例を示している。４１１は、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述される。
FIG. 6 shows a configuration example of a database (viewer information) in the viewing
４１２は、視聴者Ａのための視聴者情報領域であり、４１３は、視聴者Ｂのための視聴者情報領域であり、４１４は、視聴者Ｃのための視聴者情報領域である。
今、視聴者情報領域４１２には、視聴者Ａの顔画像、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ１が格納されているものとする。この視聴者情報は、出演者ＡＡが番組情報ＡＰ１の番組に出演し、視聴者Ａがこの出演者ＡＡに興味を持っているものとして位置づけられている。
Now, assume that the
また、視聴者情報領域４１３には、視聴者Ｂの顔画像、出演者ＢＡの顔画像及び識別子
であるＢＡＩＤ、及び番組情報ＢＰ１が格納されているものとする。この視聴者情報は、出演者ＢＡが番組情報ＢＰ１の番組に出演し、視聴者Ｂがこの出演者ＢＡに興味を持っているものとして位置づけられている。
In the
さらに、視聴者情報領域４１４には、視聴者Ｃの顔画像、出演者ＣＡの顔画像及び識別子であるＣＡＩＤ、及び番組情報ＣＰ１が格納されているものとする。この視聴者情報は、出演者ＣＡが番組情報ＣＰ１の番組に出演し、視聴者Ｃがこの出演者ＣＡに興味を持っているものとして位置づけられている。さらにこの視聴者情報には、出演者ＢＡの顔画像及び識別子であるＢＡＩＤ、及び番組情報ＢＰ１が格納されている。この情報は、視聴者Ｂの視聴者情報と同じであり、このことは、視聴者Ｃは、視聴者Ｂが興味をもつ出演者ＢＡにも興味を持つことを意味する。さらにまた視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ２が格納されているものとする。この場合は、視聴者Ｃは、視聴者Ａと同じ出演者ＡＡに興味を持つが、視聴者ＡとＣは異なる番組を見て出演者ＡＡに興味を持ったことを意味している。
Furthermore, it is assumed that the
今、一次保存領域である視聴者情報領域４１１には、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述されている。
The
しかし、新しく取り込んだ視聴者情報は、視聴者データ登録部３０６に登録されるべきか否かチェックされる必要がある。これは、視聴者データ登録部３０６において、重複情報が構築されるのを防ぐ必要があるからである。この重複情報のチェックは、お勧め番組情報構築部２０２のデータ整理部２０２ａにより行われる。
However, it is necessary to check whether or not the newly acquired viewer information should be registered in the viewer
図７には、データ整理部２０２ａにより実行される登録処理ルーチンを示している。視聴者情報を視聴者データ登録部３０６に登録すべきか否かをチェックする処理ルーチンである。
FIG. 7 shows a registration processing routine executed by the
新しく取り込んだ視聴者情報の視聴者Ｎの顔画像は、視聴データ登録部３０６に登録されている既登録の視聴者の顔画像と比較される（ステップＳ７−１）。一致する既登録顔画像が無い場合は、新しく取り込んだ顔画像は、新規の視聴者であるから、登録が実施される。即ち、新しい視聴者情報ための領域が確保され、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組（番組情報ＮＰ）に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが登録される。 The face image of the viewer N of the newly acquired viewer information is compared with the face image of the registered viewer registered in the viewing data registration unit 306 (step S7-1). If there is no matching registered face image, the newly acquired face image is a new viewer, so registration is performed. That is, an area for new viewer information is secured, the face image of the viewer N, the face image of the performer NA appearing in the program (program information NP) viewed by the viewer N, and the performer identifier NAID. The program information NP of the viewed program is registered.
ステップＳ７−１で、一致する既登録顔画像が存在する場合（例えばＮ＝Ｃであるとする）は、既に、視聴者Ｃが登録されていることである。そして、次のチェック（ステップＳ７−２）として、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、既登録の出演者の顔画像及び出演者識別子とを比較する。一致するものが無い場合は、視聴者Ｃが新しい出演者の番組を視聴したことであり、当該出演者及びそのときの番組情報を視聴者Ｃの番組情報領域４１４に登録する。
If there is a matching registered face image in step S7-1 (eg, N = C), it means that the viewer C has already been registered. Then, as the next check (step S7-2), the face image and performer identifier NAID of the performer NA are compared with the face image and performer identifier of the registered performer. If there is no match, the viewer C has watched the program of the new performer, and the performer and the program information at that time are registered in the
しかしここで、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと一致する出演者の顔画像及び出演者識別子が存在する場合（例えばＮＡ＝ＡＡ、ＮＡＩＤ＝ＡＡＩＤとする）、すでに視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び出演者識別子が含まれていることである。次は番組情報のチェックが実施される（ステップＳ７−３）。即ち、新しい番組情報ＮＰと、視聴者Ｃの視聴者情報内で出演者ＡＡが出演する番組情報と一致するものが存在するか否かの判定が行われる。いま、番組情報ＮＰがＮＰ＝ＡＰ２であったとする。一方、出演者ＡＡが出演する既登録番組情報がＡＰ１であったとする。この場合は、ステップＳ７−３の判定では、一致無しであるから、番組情報ＡＰ２の登録が実施される（ステップＳ７−５）。しかしステップＳ７−３で番組情報が一致した場合は、登録無しで終了する（ステップＳ７−４）。 However, if there is a face image and performer identifier of the performer that matches the face image and performer identifier NAID of the performer NA (for example, NA = AA, NAID = AAID), the viewing of the viewer C has already been performed. The performer information includes the face image of the performer AA and the performer identifier. Next, program information is checked (step S7-3). That is, it is determined whether or not there is a new program information NP that matches the program information in which the performer AA appears in the viewer information of the viewer C. Assume that the program information NP is NP = AP2. On the other hand, it is assumed that the registered program information in which the performer AA appears is AP1. In this case, since there is no match in the determination in step S7-3, the program information AP2 is registered (step S7-5). However, if the program information matches in step S7-3, the process ends without registration (step S7-4).
上記したように、新しく視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組情報ＮＰの番組に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが取得されたとしても、既登録の情報と比較され、重複登録が回避される。 As described above, the face image of the viewer N newly, the face image and performer identifier NAID of the performer NA appearing in the program of the program information NP viewed by the viewer N, and the program information NP of the viewed program Is acquired, it is compared with the information already registered, and duplicate registration is avoided.
図８と図９は、視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
FIG. 8 and FIG. 9 are diagrams illustrating functions for enhancing recommended programs for each viewer in the viewing
図８の例に示すように、視聴者Ａと視聴者Ｃは、同じアクター（出演者ＡＡ）に興味を持っているものとする。ここで、視聴者Ａは、出演者ＡＡが出演した番組情報ＡＰ１の番組を視聴し、視聴者Ｃは、出演者ＡＡが出演した番組情報ＡＰ２の番組を視聴したものとする。このような場合は、視聴者Ａの視聴者情報にも番組情報ＡＰ２を追加し、視聴者Ｃの視聴者情報にも番組情報ＡＰ１を追加することが好ましい。 As shown in the example of FIG. 8, it is assumed that viewer A and viewer C are interested in the same actor (performer AA). Here, it is assumed that the viewer A views the program of the program information AP1 in which the performer AA has appeared, and the viewer C has viewed the program of the program information AP2 in which the performer AA has appeared. In such a case, it is preferable to add the program information AP2 to the viewer information of the viewer A and also add the program information AP1 to the viewer information of the viewer C.
なお図８では、視聴データ登録部３０６に視聴者反応画像ファイル４１５，４１６，４１７を示しているがこのファイルについては後述する。
In FIG. 8, viewer response image files 415, 416, and 417 are shown in the viewing
図９は、図８で示した形態の視聴者情報編集処理を実施するための処理ルーチンである。例えば視聴者Ａの視聴者情報に含まれている出演者ＡＡの顔画像及びＡＡＩＤをレジスタへ格納する（ステップＳ９−１）。 FIG. 9 is a processing routine for performing the viewer information editing processing of the form shown in FIG. For example, the face image and AAID of the performer AA included in the viewer information of the viewer A are stored in the register (step S9-1).
次に、出演者ＡＡの顔画像及びＡＡＩＤと、他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子とを順次比較する（ステップＳ９−２）。出演者ＡＡの顔画像及びＡＡＩＤに一致する他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子が存在しない場合は、終了する。 Next, the face image and AAID of the performer AA are sequentially compared with the face image and identifier of the performer included in the viewer information of the other viewers (step S9-2). If the face image of the performer and the identifier included in the viewer information of other viewers that match the AAID do not exist, the process ends.
しかし、出演者ＡＡの顔画像及びＡＡＩＤに一致する他の出演者の顔画像及び識別子が存在した場合、次のチェックにシフトする。図９、図８の例では、視聴者Ａの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤと、視聴者Ｃの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤとが一致する。このことは、視聴者ＡとＣが、出演者（アクター）ＡＡに興味を持つことを意味する。 However, if there are face images and identifiers of other performers that match the performer AA's face image and AAID, the process shifts to the next check. In the example of FIGS. 9 and 8, the face image and AAID of the performer AA included in the viewer information of the viewer A match the face image and AAID of the performer AA included in the viewer information of the viewer C. To do. This means that viewers A and C are interested in the performer (actor) AA.
次のステップＳ９−３では、視聴者Ａの視聴者情報に含まれる番組ＡＰ１情報と、視聴者Ｃの視聴者情報に含まれる番組情報ＡＰ２との比較を実施する。この場合は、番組情報ＡＰ１と番組情報ＡＰ２とが不一致であるから、ステップＳ９−４で、番組情報ＡＰ２を視聴者Ａの番組情報に追加する。 In the next step S9-3, the program AP1 information included in the viewer information of the viewer A is compared with the program information AP2 included in the viewer information of the viewer C. In this case, since the program information AP1 and the program information AP2 do not match, the program information AP2 is added to the program information of the viewer A in step S9-4.
視聴者Ｃの視聴者情報が他の視聴者の視聴者情報と比較される場合は、番組情報ＡＰ１が視聴者Ｃの視聴者情報に含まれていないことが判明する。したがって、視聴者Ｃの視聴者情報に番組情報ＡＰ１が追加される。 When the viewer information of the viewer C is compared with the viewer information of other viewers, it is found that the program information AP1 is not included in the viewer information of the viewer C. Accordingly, the program information AP1 is added to the viewer information of the viewer C.
上記の視聴者情報は、お勧め番組を提供する場合に有効である。例えば視聴者Ａの視聴者情報を読み出して、出演者の顔と、番組情報（番組名、チャンネルなど）を表示器に表示することができる。 The above viewer information is effective when a recommended program is provided. For example, the viewer information of the viewer A can be read, and the face of the performer and the program information (program name, channel, etc.) can be displayed on the display.
図１０（Ａ），図１０（Ｂ）は、テレビジョン受信装置１５が、表示データ制御部２０３の制御に基づいて、視聴者に対してお勧め番組情報を提供している様子を示している。例えば、視聴者が、リモートコントローラ操作を通じて、テレビジョン受信装置１５に対してメニュー表示を要求したとする。すると、図１０（Ａ）に示すようにメニューの中には、「お勧め番組」の項目があり、この項目の横には「あなたにお勧めの番組情報が用意されています。番組リストを表示しますか？」と言う、コメントが表示される。
FIGS. 10A and 10B show a state where the
視聴者が、この「お勧め番組」の項目を選択して決定ボタンを操作すると、図１０（Ｂ）に示すように、視聴者に対応する視聴者情報が表示される。例えば視聴者が図８で説明した視聴者Ｃであったとすると、視聴者Ｃが興味を持っている出演者ＣＡ及びＡＡが出演している番組の番組情報ＣＰ１、ＢＰ１，ＡＰ１，ＡＰ２などが各番組の出演者の顔画像と共に表示される。視聴者は、視聴しようとする番組名をカーソル操作により選択し、決定ボタンを押すことで、当該番組の再生が開始される。 When the viewer selects this “recommended program” item and operates the enter button, viewer information corresponding to the viewer is displayed as shown in FIG. For example, if the viewer is the viewer C described in FIG. 8, the program information CP1, BP1, AP1, AP2, etc. of the programs in which the performers CA and AA in which the viewer C is interested are shown. It is displayed with the face image of the performer of the program. The viewer selects the name of the program to be viewed by operating the cursor and presses the enter button, thereby starting playback of the program.
このように視聴者毎にお勧め番組を提供できるのは、以下の理由による。視聴者が例えばメニューボタンを押したとき、カメラ１７を介して視聴者が撮像される。撮像された視聴者の顔が顔検出部で検出される。検出された顔画像は、既に視聴者データ登録部に登録されている視聴者の顔画像と比較され、登録顔画像内に同一人物が存在するか否か判定される。そして、同一人物（視聴者）が検出されている場合に、前述した「お勧め番組」の項目が表示される。
The reason why the recommended program can be provided for each viewer is as follows. For example, when the viewer presses the menu button, the viewer is imaged through the
上記したように、視聴者は、自分が興味を持っているアクターが出演した番組情報を他の視聴者情報からも取得することが可能である。 As described above, a viewer can obtain program information on which an actor he / she is interested in from other viewer information.
図１１には、表情解析部３４３が表情解析を行う時期を設定する場合、種々の選択肢を示している。まず、表情解析部３４３が表情解析を行う時期に対してＣＭ期間停止情報５０１を与えることで、ＣＭ期間は停止するように設定することができる。また表情解析部３４３が表情解析を行う期間として、連続して行う連続指示情報５０３又は定期的に行うことを指示するための定期的実行指示情報５０４の何れかを与えることができる。定期的実行指示情報５０４が表情解析部３４３に与えられた場合、そのインターバル情報５０５（例えば５分間隔、１０分間隔、１５分間隔など）を設定することができる。
FIG. 11 shows various options when the facial
ＣＭ期間停止情報５０１は、視聴番組画像処理部３０５或いはその内部の視聴画像取得部３５１、顔検出部３５２、顔認識部３５３などに与えられてもよい。
The CM period stop
さらに、視聴データ登録部３０６に「視聴者情報」を登録する場合、登録する条件を設定することも可能である。まず条件設定５１２は、条件無しで定期的に視聴者情報を登録するように設定することができる。視聴者情報の登録は、図７乃至図９で説明したとおりである。次に条件設定５１３がある、この設定５１３は、視聴者の笑顔検出があったときを登録条件とするものである。このとき笑い声検出により、笑い声も条件設定５１４の項目としてよい。
Furthermore, when “viewer information” is registered in the viewing
さらに条件設定として、視聴者の視聴人数をデータ登録条件としてもよい。視聴している視聴者の人数を登録条件として（条件設定５１５）、複数の場合と単独の場合との何れかを指定できるようにしてもよい。また視聴者が特定の人物であるときのみを登録条件として設定できるようにしてもよい（条件設定５１６）。このためには、予めカメラで撮像した人物を登録しておくことで、現在の視聴者を特定可能としている。 Furthermore, as a condition setting, the number of viewers may be set as a data registration condition. The number of viewers who are watching can be specified as a registration condition (condition setting 515), and either a plurality of cases or a single case can be designated. Alternatively, the registration condition may be set only when the viewer is a specific person (condition setting 516). For this purpose, it is possible to specify the current viewer by registering a person imaged in advance with a camera.
さらに、視聴データが登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイル作成を設定できるようにしても良い（条件設定５２３）。 Furthermore, when viewing data is registered, it may be possible to set digest file creation in which program images and viewer face images are associated (condition setting 523).
図１２は、視聴データが視聴データ登録部に登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイルの作成を設定できる実施形態の例を示している。図２に示したブロックと同一部分には同一符号を付している。 FIG. 12 illustrates an example of an embodiment in which creation of a digest file that associates a program image with a viewer face image can be set when viewing data is registered in the viewing data registration unit. The same parts as those shown in FIG.
客観的画像処理部２０１において、視聴者画像処理部３０４は、図２に示した構成とほぼ同じである。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）の情報が、笑顔検出部３４４に入力される。笑顔検出部３４４は、顔の変化の情報から笑顔を検出することができる。
In the objective
笑顔検出信号は、視聴番組画像処理部３０５の取得画像選択部３５７に入力される。取得画像選択部３５７は、視聴コンテンツ取得部３５６を制御し、視聴者の笑顔が検出された時点とその前後例えば１乃至２分のコンテンツを取得する。さらに取得されたコンテンツから、顔検出部３５２が人物の顔画像を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録し、登録したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
The smile detection signal is input to the acquired
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば数十秒間の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイル（視聴者反応画像ファイルと称しても良い）を作成することができる。
Upon receiving the above notification, the
図１３には、視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示している。これらのファイルは、図８で示した所謂、視聴者反応画像ファイル４１５，４１６，４１７であり、視聴データ登録部３０６を構成している例えばＨＤＤなどの記録媒体の記録エリアに格納される。
FIG. 13 shows a data configuration example of a digest version file in which the face image signal of the viewer, the face image signal of the performer of the corresponding program, and the image signal of the program are associated with each other. These files are so-called viewer reaction image files 415, 416, and 417 shown in FIG. 8, and are stored in a recording area of a recording medium such as an HDD constituting the viewing
例えば番組Ａに対する視聴者情報（この実施形態では視聴者情報ファイルと称しても良い）は、番組Ａの番組情報（たとえば番組名、放送局名、チャンネル、収録日時情報、ジャンル）の領域と、画像データの領域を有する。画像データの領域は、例えば番組の代表画像（出演者の顔画像でも良い）の領域、視聴者の顔画像の領域と、サンプリング画像領域とを有する。 For example, the viewer information for program A (which may be referred to as a viewer information file in this embodiment) includes program A program information (for example, program name, broadcast station name, channel, recording date and time information, genre) area, It has an area for image data. The image data area includes, for example, a program representative image area (which may be a performer's face image), a viewer face image area, and a sampling image area.
サンプリング画像領域では、視聴者の笑顔を検出した時点とその前後１乃至５分程度の区間における視聴者を撮像した画像と前記区間に対応する番組のシーンの画像とがペアになって記録されている。図の例では番組のシーン１、シーン２、シーン３の区間がサンプリング画像として記憶されている。ここで、視聴者を撮像した画像データの先頭には、シーン１，２，３に対応するが現れる視聴者画像データには、番組の相対時間を示したタイムスタンプＴＳを記述しておいても良い。
In the sampled image area, a point in time when a viewer's smile is detected and an image of the viewer in a section of about 1 to 5 minutes before and after that are recorded in pairs and an image of a program scene corresponding to the section. Yes. In the example shown in the figure, sections of
図１４、図１５は、表示データ制御部２０３の制御に基づいて、上記した視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示している。ユーザは、表示器１５に例えば録画リストを表示することができる。録画リストは、制御部２０にて管理されている。録画リストの中には、視聴者反応画像ファイル４１５，４１６，４１７が含まれている。ユーザは、リモートコントローラ操作により、所望のファイルを選択して再生ボタンを操作することができる。ユーザが、例えば視聴者反応画像ファイル４１５を再生したとすると、例えば図１３で示した番組のシーン１，２，３が順次再生されるとともに、同時に対応して視聴者の画像が再生される。選択ボタンにより、番組のシーンと視聴者の画像の何れか一方をピクチャーインピクチャーとして表示することができる。
14 and 15 show examples of images displayed on the display unit when the above-described viewer reaction image file is reproduced based on the control of the display
視聴者画像を再生する場合は、上記の形態に限定されない。例えば、番組Ａを最初から連続して再生している途中で、シーン１、シーン２、シーン３のときに図１４或いは図１５に示すような表示形態に切換ってもよい。視聴者画像１，２，３にはそれぞれタイムスタンプＴＳが含まれているので、番組Ａが再生されている途中で、シーン１、２、３が再生されるときに同期させて視聴者画像１，２，３を再生することができる。この再生を行う場合は、さらに再生モード選択ボタンにより、視聴者反応画像ファイルの同時再生を選択できるように構成される。なお、上記の説明で用いた用語は、このような称呼に限定されるものではなく、同等の機能を実現できる構成であれば、他の呼び方をされてもよい。
When reproducing a viewer image, it is not limited to the above-described form. For example, during the continuous playback of the program A from the beginning, it may be switched to the display form as shown in FIG. 14 or FIG. Since the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１１・・・チューナ装置、１２・・・セレクタ、１３・・・信号処理部、１４・・・出力部、１５・・・表示器、１７・・・カメラ、１８・・・インターフェース、２０・・・制御部、２０１・・・客観的画像処理部、２０２・・・お勧め番組情報構築部。
DESCRIPTION OF SYMBOLS 11 ... Tuner apparatus, 12 ... Selector, 13 ... Signal processing part, 14 ... Output part, 15 ... Display, 17 ... Camera, 18 ... Interface, 20 ...
Claims (7)
番組データに含まれる第２の顔画像データを検出する第２の画像処理部と、
前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する制御部とを有した画像情報処理装置。 A first image processing unit for detecting first face image data from the imaging signal;
A second image processing unit for detecting second face image data included in the program data;
The second face image data detected by the second image processing unit and the first image processing unit in response to a change in the first face image data detected by the first image processing unit An image information processing apparatus comprising: a control unit that creates image information that associates the first face image data detected by the program with program information of the program and registers the image information in a registration unit.
第２の画像処理部により、番組データに含まれる第２の顔画像データを検出し、
前記第１の顔画像データの変化に応じて、制御部により、第２の画像処理部により検出された前記第２の顔画像データと第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を登録部に登録する画像情報処理方法。 The first image processing unit detects first face image data from the imaging signal,
The second image processing unit detects the second face image data included in the program data,
In response to a change in the first face image data, the control unit causes the second face image data detected by the second image processing unit and the first face detected by the first image processing unit. An image information processing method for registering image data associated with image data and program information of the program in a registration unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012208278A JP5552651B2 (en) | 2012-09-21 | 2012-09-21 | Image information processing apparatus and image information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012208278A JP5552651B2 (en) | 2012-09-21 | 2012-09-21 | Image information processing apparatus and image information processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011214841A Division JP5106669B1 (en) | 2011-09-29 | 2011-09-29 | Image information processing apparatus and image information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013078121A true JP2013078121A (en) | 2013-04-25 |
| JP5552651B2 JP5552651B2 (en) | 2014-07-16 |
Family
ID=48481235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012208278A Expired - Fee Related JP5552651B2 (en) | 2012-09-21 | 2012-09-21 | Image information processing apparatus and image information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5552651B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11153977A (en) * | 1997-11-20 | 1999-06-08 | Fujitsu General Ltd | Advertising effectiveness confirmation system |
| JP2007097047A (en) * | 2005-09-30 | 2007-04-12 | Seiko Epson Corp | Content editing apparatus, content editing method, and content editing program |
| JP2008048001A (en) * | 2006-08-11 | 2008-02-28 | Sony Corp | Information processing apparatus and method, and program |
| JP2009089065A (en) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | Electronic device and face image display device |
| JP2010233143A (en) * | 2009-03-30 | 2010-10-14 | Fujitsu Ltd | Recording / playback apparatus and content search program |
| JP2011072029A (en) * | 2010-12-09 | 2011-04-07 | Sony Corp | Device and method for display control, and program |
| JP2011129997A (en) * | 2009-12-15 | 2011-06-30 | Victor Co Of Japan Ltd | User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method |
-
2012
- 2012-09-21 JP JP2012208278A patent/JP5552651B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11153977A (en) * | 1997-11-20 | 1999-06-08 | Fujitsu General Ltd | Advertising effectiveness confirmation system |
| JP2007097047A (en) * | 2005-09-30 | 2007-04-12 | Seiko Epson Corp | Content editing apparatus, content editing method, and content editing program |
| JP2008048001A (en) * | 2006-08-11 | 2008-02-28 | Sony Corp | Information processing apparatus and method, and program |
| JP2009089065A (en) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | Electronic device and face image display device |
| JP2010233143A (en) * | 2009-03-30 | 2010-10-14 | Fujitsu Ltd | Recording / playback apparatus and content search program |
| JP2011129997A (en) * | 2009-12-15 | 2011-06-30 | Victor Co Of Japan Ltd | User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method |
| JP2011072029A (en) * | 2010-12-09 | 2011-04-07 | Sony Corp | Device and method for display control, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5552651B2 (en) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9578366B2 (en) | Companion device services based on the generation and display of visual codes on a display device | |
| KR101520659B1 (en) | Device and method for comparing video using personal video recoder | |
| JP5135024B2 (en) | Apparatus, method, and program for notifying content scene appearance | |
| US20250328585A1 (en) | Multimedia focalization | |
| US12132971B2 (en) | Automatically generating supercuts | |
| US20120278765A1 (en) | Image display apparatus and menu screen displaying method | |
| KR20080101075A (en) | Image and image information retrieval apparatus and method, and system therefor | |
| EP1347455A2 (en) | Contents recording/playback apparatus and contents edit method | |
| KR20160003336A (en) | Using gestures to capture multimedia clips | |
| JP2008124574A (en) | Preference extraction device, preference extraction method, and preference extraction program | |
| JP5106669B1 (en) | Image information processing apparatus and image information processing method | |
| JP2015052897A (en) | Electronic device, electronic device control method, and computer program | |
| JP2013098997A (en) | Video analysis information transmitter, video analysis information distribution system and distribution method, video viewing system, and video viewing method | |
| US11477541B2 (en) | Automatically generating supercuts | |
| JP5552651B2 (en) | Image information processing apparatus and image information processing method | |
| JP2010010736A (en) | Video content playback device | |
| JP2011160167A (en) | Recording and reproducing apparatus | |
| KR101481689B1 (en) | Method and apparatus for detecting multimedia contents using number information | |
| CN114731384B (en) | Display device and method for the same | |
| JP2007214708A (en) | Video apparatus and method for creating program information using it | |
| JP2008090526A (en) | Conference information storage device, system, conference information display device, and program | |
| JP2016015621A (en) | CONTENT REPRODUCTION DEVICE, CONTENT REPRODUCTION PROGRAM, CONTENT REPRODUCTION METHOD, AND CONTENT REPRODUCTION SYSTEM | |
| CN105992065B (en) | Video on demand social interaction method and system | |
| TR2022021978A2 (en) | A VIDEO RECOMMENDATION SYSTEM BASED ON MONITORING DIGITAL BROADCAST CONTENT | |
| US10397635B2 (en) | Use of parallel data programming for device integration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140425 |
|
| LAPS | Cancellation because of no payment of annual fees |