JP2010093865A - 電子機器および表示制御方法 - Google Patents

Abstract

【課題】動画像データの削除に関するユーザ操作を支援することができる電子機器を実現する。
【解決手段】コンテンツ管理部４０４は、ＨＤＤ１１１に格納されている映像コンテンツデータの一覧を示すコンテンツ一覧画面をＬＣＤ１７の表示画面上に表示する。コンテンツ一覧画面上で削除対象映像コンテンツデータがユーザによって選択された時、コンテンツ管理部４０４は、削除確認画面をＬＣＤ１７の表示画面上に表示する。削除確認画面は、削除対象映像コンテンツデータに対応する顔画像（顔サムネイル画像）の一覧と、削除確認ダイアログとを表示する。
【選択図】 図９

Description

本発明は動画像データから抽出された静止画像を用いて当該動画像データの削除に関するユーザ操作を支援する電子機器および画像表示方法に関する。

一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータ（動画像データ）を記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。

特許文献１には、顔サムネイル画像を表示する情報処理装置が開示されている。この情報処理装置は、画像コンテンツに対応する顔サムネイル画像それぞれをその画像コンテンツの全部または一部分をユーザが選択するためのインデックスとして表示する機能を有している。

特開２００８−１７０４１号公報

ところで、電子機器の記憶装置の記憶容量には制限があるので、ユーザは、記憶装置に格納された番組データのような動画像データの中から不要な動画像データを削除する操作を行うことが必要な場合がある。

通常、あるデータがユーザによって削除対象データとして選択された場合には、そのデータを削除しても良いかどうかをユーザに確認させための削除確認画面が表示される。しかし、この削除確認画面は単にデータを本当に削除しても良いかをユーザに再度問い合わせるためのインタフェースであり、ＹＥＳボタンおよびＮＯボタンしか表示されない。したがって、ユーザは、自身の判断で、削除対象データの削除または非削除を決定することが必要である。しかし、削除対象としてユーザによって指定された動画像データには、ユーザが興味を持っているシーンが含まれている場合もある。ユーザは、削除対象の動画像データにそのようなシーンが含まれていることを忘れていることがままある。

したがって、ユーザが動画像データの削除または非削除を決定することを支援するための新たな機能の実現が必要である。

本発明は上述の事情を考慮してなされたものであり、動画像データの削除に関するユーザ操作を支援することができる電子機器および支援方法を提供することを目的とする。

本発明の一つの観点によれば、１以上の動画像データと、前記動画像データ毎に当該動画像データから抽出された複数の静止画像から構成される静止画像群とを格納する記憶装置と、前記１以上の動画像データの一覧を表示する第１の表示処理手段と、前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する静止画像群が並べられた削除確認画面を表示する第２の表示処理手段とを具備し、前記第２の表示処理手段は、前記削除対象動画像データに対応する静止画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する静止画像群を前記削除確認画面上に表示することを特徴とする電子機器が提供される。

また、本発明の別の観点によれば、動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記動画像データ内に出現する時点を示すタイムスタンプ情報を出力するインデキシング処理手段と、前記タイムスタンプ情報に基づいて、前記抽出された顔画像の一覧を表示エリア上に表示する顔画像一覧表示手段であって、表示エリア上には顔画像それぞれが並べられている、顔画像一覧表示手段と、前記顔画像の一覧の中から選択された顔画像が出現する、前記動画像データ内の位置に対応する時点から、前記動画像データの再生を開始する再生手段と、前記動画像データの削除が指定された場合、前記動画像データの削除の可否を確認するための削除確認画面であって前記動画像データに対応する顔画像それぞれが並べられた削除確認画面を表示する削除確認画面表示手段とを具備することを特徴とする電子機器が提供される。

本発明によれば、動画像データの削除に関するユーザ操作を支援することができる。

本発明の一実施形態に係る電子機器の概観の例を示す斜視図。 同実施形態の電子機器のシステム構成の例を示すブロック図。 同実施形態の電子機器の顔画像一覧表示機能を説明するためのブロック図。 同実施形態の電子機器で用いられる区間属性情報（属性検出結果情報）の例を示す図。 同実施形態の電子機器で用いられる顔画像グループの例を示す図。 同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の例を示す図。 図７のインデキシングビュー画面内に含まれる顔サムネイル表示エリアの構成例を示す図。 同実施形態の電子機器の削除確認機能を説明するための図。 同実施形態の電子機器の削除確認機能で用いられる削除確認画面の例を示す図。 同実施形態の電子機器の削除確認機能で用いられる削除確認画面の他の例を示す図。 同実施形態の電子機器の削除確認機能で用いられる削除確認画面のさらに他の例を示す図。 同実施形態の電子機器に設けられたコンテンツ管理部の構成例を示すブロック図。 同実施形態の電子機器によって実行される顔画像一覧表示処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される再生処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される削除確認処理の手順の例を示すフローチャート。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。

このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（動画像データ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。

さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納された、ビデオデータ、放送番組データのような映像コンテンツデータ（動画像データ）中に出現する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、ナビゲーション対象としてユーザによって選択された映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、ナビゲーション対象の映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。

さらに、この顔画像一覧表示機能は、映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応するサムネイル画像の一覧を表示することもできる。

また、パーソナルコンピュータ１０は、映像コンテンツデータ（動画像データ）の削除に関するユーザ操作を支援するための削除決定支援機能を有している。この削除決定支援機能は、顔画像一覧表示機能によって各動画像データから抽出された複数の静止画像から構成される静止画像群（上述の顔画像群、または上述のサムネイル画像群）を用いて、削除対象動画像データの概要をユーザに提示する機能である。

削除決定支援機能は、パーソナルコンピュータ１０内に格納された映像コンテンツデータ（動画像データ）の一覧を表示する。この映像コンテンツデータの一覧から削除対象映像コンテンツデータがユーザによって選択された時、削除決定支援機能は、削除対象映像コンテンツデータの削除の有無をユーザに確認するための削除確認画面を表示する。この削除確認画面には、削除対象映像コンテンツデータから抽出された静止画像群（上述の顔画像群、または上述のサムネイル画像群）が、例えば、それら静止画像群が出現する順番に並んで表示される。

削除確認画面には削除対象映像コンテンツデータに対応する全ての静止画像を表示してもよいが、削除対象映像コンテンツデータの開始から終了までのシーケンスの中で過去に再生されたことがある区間（再生されたシーン）に出現する各静止画像のみを削除確認画面に表示してもよい。これにより、削除対象映像コンテンツデータの削除／非削除の決定のために有用な静止画像群をユーザに提示することができる。また、削除対象映像コンテンツデータに対応する全ての静止画像を削除確認画面上に表示し、且つ全ての静止画像の内、過去に再生されたことがある区間（再生されたシーン）に出現する各静止画像を強調表示しても良い。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（放送番組データ／ビデオデータの視聴、放送番組データ／ビデオデータの録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。

コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラのようなネットワークコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、デジタルオーディオ信号と、非圧縮のデジタル映像信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。

ビデオプロセッサ１１３は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、映像コンテンツデータに含まれる動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。

さらに、ビデオプロセッサ１１３は、例えば、映像コンテンツデータ内に含まれるコマーシャル（ＣＭ）区間を検出する処理、および音声インデキシング処理も実行する。通常、各ＣＭ区間の時間長は、予め決められた幾つかの時間長の内の１つに設定されている。また、ＣＭ区間の前後には一定時間長の無音期間が存在する。したがって、ＣＭ区間の検出処理においては、例えば、映像コンテンツデータ内に含まれるオーディオデータが分析され、一定時間長の無音区間が検出される。そして、検出された連続する２つの無音区間に挾まれ、且つ一定値以上の時間長を有する部分データを含む区間が、ＣＭ区間として検出される。

音声インデキシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を検出するインデキシング処理である。音声インデキシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じて、音楽区間、およびトーク区間が検出される。音楽区間に対応する周波数スペクトルの特徴と、トーク区間に対応する周波数スペクトルの特徴とは互いに異なるので、周波数スペクトルの特徴を分析することによって、音楽区間およびトーク区間のそれぞれを検出することができる。また、音楽区間に対応する周波数スペクトルの特徴とトーク区間に対応する周波数スペクトルの特徴とが混ざり合った周波数スペクトル特徴（音響特徴）を有する区間は、音楽区間とトーク区間とが重なった重畳区間として検出することができる。

さらに、音声インデキシング処理は、映像コンテンツデータ内の各部分データ（一定時間長のデータ）毎に歓声レベルを検出する歓声レベル検出処理、および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。

歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。なお、音量レベルそのものを盛り上がりレベルとして使用することも可能である。

メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。インデキシング処理（ＣＭ検出処理、映像インデキシング処理、および音声インデキシング処理）を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。なお、ＣＭ検出処理は上述したようにオーディオデータを解析することによって実行することができるので、以下では、ＣＭ検出処理を音声インデキシング処理内の１つの処理として扱うことにする。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次に、図３を参照して、ＴＶアプリケーションプログラム２０２によって実行される顔画像一覧表示機能について説明する。

放送番組データのような映像コンテンツデータに対するインデキシング処理（映像インデキシング処理、および音声インデキシング処理）は、上述したように、インデキシング処理部として機能するビデオプロセッサ１１３によって実行される。

ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。

映像インデキシング処理（顔画像インデキシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。

さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデキシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。

さらに、映像インデキシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像（縮小画像）である。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル、タイムスタンプ情報ＴＳ）も、データベース１１１Ａにサムネイルインデキシング情報として格納される。

さらに、映像インデキシング処理においては、抽出された複数の顔画像を人物別に複数の顔画像グループに分類する顔画像分類処理も実行される。ある顔画像グループに属する顔画像同士、つまり同一人物に対応する顔画像同士には、当該顔画像グループ、つまり当該人物を識別する識別子（ＩＤ）が関連付けられる。

また、音声インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツに含まれるオーディオデータの音響特徴を分析して、映像コンテンツデータ内に含まれる複数種の属性区間（ＣＭ区間、音楽区間、およびトーク区間）を検出し、検出された各属性区間の開始および終了の時点を規定する区間属性情報を出力する。この区間属性情報は、例えば、各属性区間毎にその属性区間の開始時点および終了時点をそれぞれ示す時間情報から構成することができる。また、区間属性情報を、属性区間の開始時点を示す情報とその属性区間の時間長を示す情報とによって構成してもよい。

この区間属性情報は、属性検出結果情報としてデータベース１１１Ａに格納される。さらに、音声インデキシング処理においては、ビデオプロセッサ１１３は、上述の歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理の結果および盛り上がりレベル検出処理の結果も、上述の属性検出結果情報の一部としてデータベース１１１Ａに格納される。

属性検出結果情報（区間属性情報）は、図４に示されているように、例えば、ＣＭ区間テーブル、音楽区間テーブル、トーク区間テーブル、および歓声／盛り上がりテーブルから構成されている。

ＣＭ区間テーブルは、検出されたＣＭ区間の開始時点および終了時点を示すＣＭ区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のＣＭ区間が存在する場合には、それら複数のＣＭ区間それぞれに対応するＣＭ区間属性情報がＣＭ区間テーブルに格納される。ＣＭ区間テーブルにおいては、検出された各ＣＭ区間毎に当該ＣＭ区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

音楽区間テーブルは、検出された音楽区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数の音楽区間が存在する場合には、それら複数の音楽区間それぞれに対応する音楽区間属性情報が音楽区間テーブルに格納される。音楽区間テーブルにおいては、検出された各音楽区間毎に当該音楽区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

トーク区間テーブルは、検出されたトーク区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応するトーク区間属性情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

歓声／盛り上がりテーブルは、映像コンテンツデータ内の一定時間長の部分データ（タイムセグメントＴ１，Ｔ２，Ｔ３，…）それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。

図３に示されているように、ＴＶアプリケーションプログラム２０２は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部３０１を含んでいる。この顔画像一覧表示処理部３０１は、例えば、インデキシングビューワプログラムとして実現されており、データベース１１１Ａに格納されたインデキシング情報（顔画像インデキシング情報、サムネイルインデキシング情報、区間属性情報、等）を用いて、映像コンテンツデータの概要を提示するためのインデキシングビュー画面を表示する。

具体的には、顔画像一覧表示処理部３０１は、データベース１１１Ａから顔画像インデキシング情報（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の２次元の表示エリア（以下、顔サムネイル表示エリアと称する）上に表示する。この場合、顔画像一覧表示処理部３０１は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部３０１は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。

すなわち、２次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。顔画像一覧表示処理部３０１は、顔画像それぞれに対応するタイムスタンプ情報ＴＳに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順（顔画像の検出時間長順）のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度（登場頻度）の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。

この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図７以降で後述する。

また、顔画像一覧表示処理部３０１は、データベース１１１Ａからサムネイルインデキシング情報（サムネイル、タイムスタンプ情報ＴＳ）を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア（以下、じゃばらサムネイル表示エリアと称する）上に、それらサムネイル画像の出現時間順に一列に並べて表示する。

映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。

さらに、顔画像一覧表示処理部３０１は、データベース１１１Ａから区間属性情報（ＣＭ区間属性情報、音楽区間属性情報、トーク区間属性情報）を読み出し、その区間属性情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における各属性区間（ＣＭ区間、音楽区間、トーク区間）の位置（開始時点から終了時点までの区間）を示すバー領域を含む区間バーを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に表示する。

インデキシングビュー画面上に区間バーを表示することにより、顔サムネイル表示エリア内の各顔画像がどのような属性区間（ＣＭ区間、音楽区間、トーク区間）に登場する人物の顔画像であるかを、ユーザに提示することができる。したがって、ユーザは、登場人物と、区間属性とを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。

さらに、顔画像一覧表示処理部３０１は、データベース１１１Ａから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化および盛り上がりレベルの変化をそれぞれ示すグラフを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に配置されたレベル表示エリア上に表示する。

このレベル表示エリアを見ることにより、ユーザは、映像コンテンツデータ内のどの辺りに大きな歓声が生じた区間が存在し、また映像コンテンツデータ内のどの辺りに盛り上がりの大きな区間が存在するかを知ることができる。ユーザは、登場人物と、区間属性と、歓声レベルと、盛り上がりレベルとを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。

図５は、顔画像分類処理によって複数の顔画像を分類することによって得られる幾つかの顔画像グループと各顔画像グループに対応するＩＤ（顔ＩＤ）との関係を示している。

ビデオプロセッサ１１３は、ある映像コンテンツデータの動画像データから抽出した顔画像間の特徴データの相関に基づいて、同一人物に対応する顔画像それぞれを同一カテゴリーに分類する顔画像分類処理を実行する。顔画像分類処理においては、類似する特徴を有する顔画像同士が同一カテゴリー（同一の顔画像グループ）に分類される。図５に示すように、同一人物に対応する顔画像それぞれには、同一のＩＤ（顔ＩＤ）が付与される。図５においては、カテゴリー１は、ある人物Ａの顔画像の集合を示しており、カテゴリー２は、ある人物Ｂの顔画像の集合を示しており、またカテゴリー３は、ある人物Ｃの顔画像の集合を示している。カテゴリー１に属する顔画像それぞれには、人物Ａを識別するためのＩＤ（顔ＩＤ＝Ａ）が関連付けられる。カテゴリー２に属する顔画像それぞれには、人物Ｂを識別するためのＩＤ（顔ＩＤ＝Ｂ）が関連付けられる。カテゴリー３に属する顔画像それぞれには、人物Ｃを識別するためのＩＤ（顔ＩＤ＝Ｃ）が関連付けられる。

次に、図６を参照して、ＴＶアプリケーションプログラム２０２の機能構成を説明する。

ＴＶアプリケーションプログラム２０２は、上述の顔画像一覧表示処理部３０１に加え、記録処理部４０１、インデキシング制御部４０２、再生処理部４０３、コンテンツ管理部４０４等を備えている。

記録処理部４０１は、ＴＶチューナ１１７によって受信された放送番組データ、または外部機器から入力されるビデオデータをＨＤＤ１１１に記録する記録処理を実行する。また、記録処理部４０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データをＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。

インデキシング制御部４０２は、ビデオプロセッサ（インデキシング処理部）１１３を制御して、インデキシング処理（映像インデキシング処理、音声インデキシング処理）をビデオプロセッサ１１３に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データをＨＤＤ１１１に記録する処理と並行してインデキシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１１１に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。

再生処理部４０３は、ＨＤＤ１１１に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部４０３は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生要求イベントが入力された時、選択されている顔画像が出現する、映像コンテンツデータ内の位置に対応する時点から、映像コンテンツデータの再生を開始することができる。

ユーザは、顔画像一覧を見ながら、映像コンテンツデータの再生を開始すべき位置を決定することができる。したがって、ユーザは、顔画像一覧の中の任意の顔画像を選択的に指定することにより、たとえば、ユーザにとって興味がある人物が登場する１以上のシーンのみを視聴することができる。

なお、インデキシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。

コンテンツ管理部４０４は、ＨＤＤ１１１に格納された各映像コンテンツデータを管理する。このコンテンツ管理部４０４は、ＨＤＤ１１１に格納された映像コンテンツデータの一覧を表示するためのコンテンツ一覧画面を表示する処理、および上述の削除決定支援機能を実行する。たとえば、コンテンツ一覧画面から削除対象映像コンテンツデータがユーザによって選択された時、コンテンツ管理部４０４は、ユーザに削除対象映像コンテンツデータの概要を提示するために、削除対象映像コンテンツデータから抽出された静止画像（顔画像、またはサムネイル画像）それぞれがそれら静止画像の出現時間順に並べられた削除確認画面を表示する。

次に、図７および図８を参照して、インデキシングビュー画面の具体的な構成について説明する。

図７には、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ（例えば放送番組データ）をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、上述のレベル表示エリアと、上述の区間バーと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。

ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図７においては、左端のサムネイル画像が選択されている場合を示している。

顔画像一覧表示処理部３０１は、ユーザ操作によって選択されたサムネイル画像を第１の横幅サイズで表示し、他の各サムネイル画像の横幅サイズを第１の横幅サイズよりも小さい横幅サイズで表示する。具体的には、選択されたサムネイル画像は第１の横幅サイズで表示され、その選択されたサムネイル画像の近傍の幾つかサムネイル画像はその横幅が縮小された状態で表示され、他の各サムネイル画像はさらに僅かな横幅で表示される。選択されているサムネイル画像には、さらに矩形の枠を付加してもよい。

レベル表示エリアにおいては、歓声レベルの変化を示すグラフ（図７中の濃い色で示されるグラフ）と、盛り上がりレベルの変化を示すグラフ（図７中の薄い色で示されるグラフ）が表示される。

区間バーは、トーク区間、音楽区間、ＣＭ区間それぞれの位置を示す。区間バーにおいては、各ＣＭ区間の位置にはある色のバー領域（図７の黒色の帯状領域）が表示される。また、各音楽区間の位置には他の色のバー領域（図７のクロスハッチングされた帯状領域）が表示される。また、各トーク区間の位置にはさらに別の色のバー領域（図７のハッチングされた帯状領域）が表示される。ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、区間バー内の一つのバー領域を選択することもできる。

顔サムネイル表示エリアにおいては、複数の顔画像の一覧が表示される。なお、顔画像が一定期間以上連続して検出されなかった場合には、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。また、シーンの変わり目毎に、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。

図８は、顔サムネイル表示エリアの構成例が示されている。

顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図８においては、顔サムネイル表示エリアは６行×１６列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、９６個である。

列１〜列１６のそれぞれには、互いに同一の時間長Ｔを有する複数の時間帯がそれぞれ割り当てられる。時間長Ｔは、映像コンテンツデータの総時間長を列数（＝１６）で等間隔で分割することによって得られる。

例えば、映像コンテンツデータの総時間長が２時間であるならば、その２時間が１６個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Ｔは、７．５分である。例えば、列１には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列２には、0:07:30から0:15:00までの時間帯が割り当てられ、列３には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Ｔは変化する。

もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。

顔画像一覧表示処理部３０１は、ビデオプロセッサ１１３によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の６個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順または出現順に並べて表示する。この場合、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分（６個）の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。

このように、顔サムネイル表示エリアにおいては、左端位置（1,1）を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。

顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、“中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。

（１）“大”の場合； ３行×８列
（２）“中”の場合； ６行×１６列
（３）“小”の場合： １０行×２４列
“大”の場合においては、各顔画像は、例えば、１８０×１８０ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、９０×９０ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、６０×６０ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。

顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の２つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ（１８０×１８０、９０×９０、または６０×６０）よりも大きく設定される。図８においては、座標(１，１２)の顔画像が“フォーカス”状態である場合を示している。

じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば２４０枚、１４４枚、９６枚、４８枚のいずれかに設定される。デフォルトは例えば２４０枚である。

サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の２つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。

次に、図９を参照して、コンテンツ管理部４０４によって実行される削除確認処理について説明する。

ユーザによって映像コンテンツデータの一覧表示が要求された時またはユーザによってコンテンツ削除が要求された時に、コンテンツ管理部４０４は、図９の上側に示されているようなコンテンツ一覧画面をＬＣＤ１７の表示画面上に表示する。ＨＤＤ１１１に映像コンテンツデータＡ、映像コンテンツデータＢ、映像コンテンツデータＣ、および映像コンテンツデータＤが格納されているならば、コンテンツ管理部４０４は、映像コンテンツデータＡ，Ｂ，Ｃ，Ｄそれぞれに対応するサムネイル画像、または映像コンテンツデータＡ，Ｂ，Ｃ，Ｄそれぞれに対応するフォルダアイコン等を、コンテンツ一覧画面上に表示する。さらに、サムネイル画像またはフォルダアイコンに対応付けて、各映像コンテンツデータのファイル名または番組名などを表示してもよい。

ユーザによるリモコンユニットまたはキーボード１３の操作によって映像コンテンツデータＡ，Ｂ，Ｃ，Ｄ内のある映像コンテンツデータが削除対象の映像コンテンツデータとして選択された時、コンテンツ管理部４０４は、図９の下側に示されているような削除確認画面をＬＣＤ１７の表示画面上に表示する。削除確認画面は、削除対象映像コンテンツデータに対応する顔画像（顔サムネイル画像）の一覧と、削除確認ダイアログとを表示する。この削除確認ダイアログには、削除対象の映像コンテンツデータを削除してもよいかどうかをユーザに確認するためのメッセージと、ＹＥＳボタン、ＮＯボタンとが表示される。

例えば、コンテンツ一覧画面から映像コンテンツデータＢが削除対象映像コンテンツデータとしてユーザによって選択された場合、コンテンツ管理部４０４は、データベース１１１から映像コンテンツデータＢに対応する顔画像群（顔サムネイル画像群）を取得し、それら顔画像群を削除確認画面上に表示すると共に、削除確認ダイアログを削除確認画面上に表示する。映像コンテンツデータＢに対応する顔画像群（顔サムネイル画像群）は、例えば、それら顔画像が出現する順番で並んで表示される。

削除確認画面には削除対象映像コンテンツデータに対応する全ての顔画像を表示してもよいが、削除対象映像コンテンツデータの開始から終了までのシーケンスの中で過去に再生されたことがある各区間（再生された各シーン）に出現する各顔画像のみを削除確認画面上に表示してもよい。このように、ユーザによる過去の再生履歴を考慮することにより、削除対象映像コンテンツデータの削除／非削除をユーザが決定するために有用な顔画像群を削除確認画面上に効率よく表示することができる。

また、削除対象映像コンテンツデータに対応する全ての顔画像を削除確認画面上に表示しておき、さらに、全ての顔画像の中で、過去に再生されたことがある区間（再生されたシーン）に出現する各顔画像のみを強調表示しても良い。

図１０は、図７で説明したインデックスビュー画面を利用した削除確認画面の例を示している。

図９の上側に示したコンテンツ一覧画面上でユーザがある映像コンテンツデータの削除を指定する操作を行った時、コンテンツ管理部４０４は、図１０の画面を、削除確認画面としてＬＣＤ１７の表示画面上に表示する。

図１０の削除確認画面は、図７のインデックスビュー画面と、このインデックスビュー画面上に表示される削除確認ダイアログとから構成されている。なお、必ずしもインデックスビュー画面全体を削除確認画面として使用する必要はなく、インデックスビュー画面内の顔サムネイル表示エリアのみを削除確認画面の表示に使用しても良い。この場合、削除確認画面は、顔サムネイル表示エリアと削除確認ダイアログとから構成される。

また、顔サムネイル表示エリアに表示される顔画像群の中の特定の顔画像群のみを表示するようにしてもよい。この場合、特定の顔画像群としては、削除対象映像コンテンツデータの開始から終了までのシーケンスの内で、過去に再生されたことのある区間（再生されたシーン）内に出現する顔画像群を使用することができる。コンテンツ管理部４０４は、映像コンテンツデータ毎にその再生された区間を示す情報、または再生された区間に出現する各顔画像を示す情報等を再生履歴情報として管理する。コンテンツ管理部４０４は、この再生履歴情報を用いて、削除対象映像コンテンツデータに対応する顔画像群から、再生されたことのある区間（シーン）内に属する顔画像群を選択する。そして、コンテンツ管理部４０４は、選択した顔画像群のみを削除確認画面上に表示する。

なお、顔サムネイル表示エリアに表示される顔サムネイル一覧を削除確認画面の表示に使用する場合した場合においては、顔サムネイル表示エリアに表示される顔画像群の中で、再生されたことのある区間（再生されたシーン）内に属する顔画像群を第１表示モード（強調表示モード）で表示し、他の各顔画像を標準表示モードのような第２表示モードで表示してもよい。第１表示モードは所定の顔画像を強調表示するための表示モードである。顔画像を強調表示する表土モードの例としては、例えば、（１）顔画像に枠を付ける、（２）顔画像のサイズを大きくする、等がある。

本実施形態では、ユーザによって選択されたインデキシングビュー画面上の任意の顔画像を再生処理の開始のトリガとして使用し、その顔画像が出現する時点から映像コンテンツデータを再生することが出来る。したがって、本実施形態では、これまでに再生処理を開始するトリガとして使用されたことのある顔画像、つまり再生を開始する時点の基準として選択されたことのある顔画像を、再生されたことのある区間（再生されたシーン）内に出現する顔画像として使用することができる。この場合、コンテンツ管理部４０４は、映像コンテンツデータ毎にその再生のトリガとして使用された顔画像を識別する識別子（または当該顔画像に対応する人物のＩＤ（顔ＩＤ）等）を再生履歴情報として記憶および管理する。そして、コンテンツ管理部４０４は、再生履歴情報に基づいて、削除対象映像コンテンツデータに対応する顔画像群から、再生を開始する時点の基準として使用されたことのある各顔画像を選択し、選択した顔画像それぞれを、再生されたシーン内に出現する顔画像として、削除確認画面上に表示する。

これにより、ユーザによって過去に再生のトリガとして選択された各顔画像をユーザに提示することができる。再生のトリガとして選択された顔画像はユーザが興味を持つ人物の顔画像である場合が多い。したがって、再生のトリガとして使用されたことのある各顔画像を削除確認画面上に表示することにより、削除対象映像コンテンツデータの削除／非削除の決定のために有用な顔画像を効率よくユーザに提示することができる。

また、再生のトリガとして実際に使用されたことのある顔画像のみならず、この顔画像と同一のグループに属する全ての顔画像を、再生されたシーン内に出現する人物の顔画像として、削除確認画面上に表示してもよい。この場合、コンテンツ管理部４０４は、再生のトリガとして使用された顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、削除対象動画像データに対応する顔画像群の内から選択し、選択した顔画像それぞれを削除確認画面上に表示する。

また、再生されたシーンに出現する顔画像群を削除確認画面上に表示するための他の例としては、総再生時間が長い顔画像を優先して削除確認画面上に表示する処理を使用し得る。この場合、コンテンツ管理部４０４は、顔画像毎に当該顔画像に対応するフレームが削除対象動画像データの再生によって再生された総再生時間を管理する。具体的には、コンテンツ管理部４０４は、例えば、再生されたシーン内に含まれる顔画像毎（または再生されたシーン内に含まれる顔画像グループ毎）に、当該顔画像に対応するフレームが再生された総時間長（総再生時間長）を規定するための再生履歴情報を管理する。再生回数が多いシーンに含まれている顔画像（または顔画像グループ）ほど、その顔画像（またはその顔画像グループ）の延べ再生時間は長くなる。コンテンツ管理部４０４は、削除対象映像コンテンツデータに対応する顔画像群の内から、総再生時間の長い上位所定個数の顔画像を選択し、この選択された顔画像それぞれを、再生されたシーン内に出現する顔画像として、削除確認画面上に表示する。

図１１は、インデックスビュー画面を利用した削除確認画面の別の例を示している。

図１１の削除確認画面は、顔サムネイル表示エリアに表示される顔画像一覧と、削除確認ダイアログとから構成されている。顔画像一覧の内、再生されたシーンに出現する各顔画像は強調表示される。図１１においては、再生されたシーンに出現する各顔画像に枠が付加されている例が示されている。また、ユーザによって過去に再生のトリガとして選択された顔画像（図１１における顔画像Ｂ１）は、例えば、大きなサイズで表示してもよい。

また、ユーザによって過去に再生のトリガとして選択された顔画像と同一の顔画像グループに属する顔画像それぞれを強調表示してもよい。この場合の表示例を図１２に示す。図１２においては、ユーザによって過去に再生のトリガとして選択された顔画像（顔画像Ｂ１）と、この顔画像Ｂ１と同一の顔画像グループに属する各顔画像とが、強調表示されている。なお、これまでの間に、ユーザによって再生処理のトリガとして２人の人物それぞれに対応する２つの顔画像が選択されたことがある場合には、それら２人の人物の一方の人物に対応する顔画像群と、他方の人物に対応する顔画像群とが、強調表示される。

次に、図１３を参照して、コンテンツ管理部４０４の構成例を説明する。

コンテンツ管理部４０４は、お気に入り登録部５０１、再生履歴管理部５０２、コンテンツ一覧表示処理部５０３、削除確認画面表示処理部５０４、および削除処理部５０５を備えている。

お気に入り登録部５０１は、映像コンテンツデータ毎にユーザによってお気に入り顔画像として選択された１以上の顔画像をお気に入りデータベース１１１Ｂに格納する。ユーザは、ある映像コンテンツデータに対応するインデックスビュー画面上に表示されている任意の顔画像をお気に入り顔画像として選択することができる。選択された顔画像はお気に入りデータベース１１１Ｂに格納される。

再生履歴管理部５０２は、映像コンテンツデータ毎に、再生されたシーン、再生されたシーンに出現する各顔画像、再生されたシーンの再生トリガとして使用された顔画像、再生されたシーンに出現する各顔画像（または各顔画像グループ）の総再生時間、等を再生履歴情報として管理することができる。この再生履歴情報は、再生履歴データベース１１１Ｃに保存される。総再生時間を示す情報としては、例えば、再生されたシーン内において各顔画像が登場する回数または登場する時間長を使用してもよい。また、各顔画像毎にそのフレームの再生回数を、総再生時間を示す情報として使用してもよい。

コンテンツ一覧表示処理部５０３は、ＨＤＤ１１１に格納されている映像コンテンツデータの一覧を表示する。削除確認画面表示処理部５０４は、映像コンテンツデータの一覧から削除対象映像コンテンツデータがユーザによって選択された時、削除対象映像コンテンツデータの削除の有無をユーザに確認するための削除確認画面を表示する。この場合、削除確認画面表示処理部５０４は、データベース１１Ａから削除対象映像コンテンツデータに対応する顔画像群を取得し、削除確認画面上にそれら顔画像群を並べて表示する。この場合、削除確認画面表示処理部５０４は、再生履歴データベース１１１Ｃ内の再生履歴情報を参照することにより、削除対象映像コンテンツデータに対するユーザの再生操作の履歴に基づいて、削除確認画面上に表示すべき顔画像群（または削除確認画面上に表示された顔画像群の中で強調表示する顔画像群）を選択することが出来る。また、削除確認画面表示処理部５０４は、お気に入りデータベース１１１Ｂから削除対象映像コンテンツデータに対応するお気に入り顔画像を取得し、そのお気に入り顔画像を削除確認画面上に表示することもできる。

削除処理部５０５は、削除確認画面上の削除確認ダイアログ内のＹＥＳボタンがユーザ操作によって選択された時、削除対象映像コンテンツデータをＨＤＤ１１１から削除する。

次に、図１４のフローチャートを参照して、顔画像一覧表示処理部３０１によって実行される表示処理の手順を説明する。

まず、顔画像一覧表示処理部３０１は、データベース１１１Ａに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順（出現時間順）にソートする（ステップＳ１０１）。次いで、顔画像一覧表示処理部３０１は、ユーザによって指定された表示すべき顔画像サイズに応じて行及び列の数を決定すると共に、例えばインデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列（大区間）に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する（ステップＳ１０２）。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部３０１は、例えば、出現頻度の高い顔画像を優先的に選択する処理を実行することもできる。

この場合、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部３０１は、データベース１１Ａに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。

クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。

次いで、顔画像一覧表示処理部３０１は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを例えば出現頻度順または出現時間順に並べて表示する（ステップＳ１０３）。出現頻度の高い顔画像ほど、または出現時間の早い顔画像ほど、上方の顔画像表示エリアに表示される。

ステップＳ１０２，Ｓ１０３の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される（ステップＳ１０４，Ｓ１０５）。この結果、顔画像表示エリアには、複数の顔画像が表示モードで表示される。

なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。

全ての列に対する処理が完了すると（ステップＳ１０４のＮＯ）、顔画像一覧表示処理部３０１は、データベース１１Ａに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する（ステップＳ１０６）。

次いで、顔画像一覧表示処理部３０１は、データベース１１１Ａから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、レベル表示エリア上に、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化を示すグラフと、シーケンス内における盛り上がりレベルの変化をそれぞれ示すグラフとを表示する（ステップＳ１０７）。

次に、顔画像一覧表示処理部３０１は、データベース１１１ＡからＣＭ区間属性情報、音楽区間属性情報、およびトーク区間属性情報を読み出し、それらＣＭ区間属性情報、音楽区間属性情報、およびトーク区間属性情報に基づいて、ＣＭ区間バー、音楽区間バー、トーク区間バーをそれぞれ表示する（ステップＳ１０８）。ＣＭ区間バーには、ＣＭ区間の位置を示すバー領域が表示される。同様に、音楽区間バーには音楽区間の位置を示すバー領域が表示され、トーク区間バーにはトーク区間の位置を示すトークバー領域が表示される。

次に、図１５のフローチャートを参照して、再生処理部４０３によって実行される再生処理の手順を説明する。

ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時（ステップＳ３０１のＹＥＳ）、再生処理部４０３は、顔画像一覧表示処理部３０１と連携して、顔サムネイル表示エリア上のある顔画像がユーザによって選択されているか否かを判定する（ステップＳ３０２）。選択されている顔画像が存在するならば（ステップＳ３０２のＹＥＳ）、再生処理部４０３は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する（ステップＳ３０３）。そして、再生処理部４０３は、検出された時点、または検出された時点よりも所定時間前の時点（たとえば２秒前の時点）から、映像コンテンツデータの再生を開始する（ステップＳ３０４）。

なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部４０３は、選択されているサムネイル画像が出現する時点、または選択されているサムネイル画像が出現する時点よりも所定時間前の時点（たとえば、２秒前の時点）から、映像コンテンツデータの再生を開始する。

このように、顔画像およびサムネイル画像のどちらも、映像コンテンツデータの再生のトリガとして使用することがとできる。

次に、図１６のフローチャートを参照して、コンテンツ管理部４０４によって実行される削除確認処理の手順を説明する。

ユーザ操作によって映像コンテンツデータの一覧表示が要求された時またはユーザ操作によってコンテンツ削除が要求された時、コンテンツ管理部４０４は、ＨＤＤ１１１に格納されている映像コンテンツデータの一覧を提示するコンテンツ一覧画面をＬＣＤ１７の表示画面上に表示する（ステップＳ４０１）。

ユーザ操作によってある映像コンテンツデータが削除対象の映像コンテンツデータが選択されたならば（ステップＳ４０２のＹＥＳ）、コンテンツ管理部４０４は、削除対象映像コンテンツデータに対応する顔画像群を、それら顔画像群それぞれが出現する時間順に対応する順番に従って、削除確認画面上に時系列に並べて表示すると共に、削除確認画面に削除確認ダイアログを表示する（ステップＳ４０３）。

削除確認ダイアログ内のＹＥＳボタンがユーザによってクリックされた場合、つまり削除対象映像コンテンツデータの削除をユーザが決定した場合（ステップＳ４０４のＹＥＳ）、コンテンツ管理部４０４は、削除対象映像コンテンツデータをＨＤＤ１１１から削除する（ステップＳ４０５）。

以上のように、本実施形態においては、ユーザによってある映像コンテンツデータの削除が指定された時に、削除対象映像コンテンツデータの削除／非削除をユーザに再確認するためのメッセージのみならず、削除対象映像コンテンツデータの概要を示す顔画像群が、削除確認画面上に自動的に表示される。よって、ユーザに対して、削除対象映像コンテンツデータの削除／非削除を決定するために有用な情報を提示することが出来るので、映像コンテンツデータの削除に関するユーザ操作を支援することができる。

なお、本実施形態では、削除対象映像コンテンツデータから抽出された顔画像群を削除確認画面上に表示する例を中心に説明したが、顔画像群の代わりに、削除対象映像コンテンツデータから抽出されたサムネイル画像群を削除確認画面上に表示するようにしてもよい。

また、本実施形態では、各映像コンテンツデータが動画像データとオーディオデータとから構成されている場合を想定したが、各映像コンテンツデータは動画像データのみから構成されていても良い。

また、動画像データとこの動画像データから抽出された複数の静止画像（顔画像等）とがパッケージ化された映像コンテンツデータを使用することも出来る。この場合、インデキシング処理を行わずとも、削除確認画面上に静止画像群を表示することができる。

本実施形態の顔画像一覧表示処理、再生処理、および削除確認処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態の電子機器はコンピュータ１０によって実現するのみならず、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、ＴＶアプリケーションプログラム２０２の機能は、ＤＳＰ、マイクロコンピュータのようなハードウェアによって実現することができる。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

１０…電子機器（コンピュータ）、１１１Ａ…データベース、１１３…ビデオプロセッサ、１１７…ＴＶチューナ、３０１…顔画像一覧表示処理部、４０２…インデキシング制御部、４０３…再生処理部、４０４…コンテンツ管理部。

Claims (12)

1. １以上の動画像データと、前記動画像データ毎に当該動画像データから抽出された複数の静止画像から構成される静止画像群とを格納する記憶装置と、
   前記１以上の動画像データの一覧を表示する第１の表示処理手段と、
   前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する静止画像群が並べられた削除確認画面を表示する第２の表示処理手段とを具備し、
   前記第２の表示処理手段は、前記削除対象動画像データに対応する静止画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する静止画像群を前記削除確認画面上に表示することを特徴とする電子機器。
2. 前記削除対象動画像データに対応する前記静止画像群は前記削除対象動画像データから抽出された複数の顔画像を含み、
   前記１以上の動画像データから選択された動画像データに対応する顔画像の一覧を前記表示画面上に表示する第３の表示処理手段と、
   前記顔画像の一覧の中から選択された顔画像が出現する、前記選択された動画像データ内の位置に対応する時点から、前記選択された動画像データの再生を開始する再生手段とをさらに具備し、
   前記第２の表示処理手段は、前記削除対象動画像データに対応する顔画像群の内で、前記再生を開始する時点の基準として選択されたことのある各顔画像を、前記再生された区間内に出現する静止画像として、前記削除確認画面上に表示することを特徴とする請求項１記載の電子機器。
3. 前記第２の表示処理手段は、前記再生を開始する時点の基準として選択されたことのある顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、前記削除対象動画像データに対応する顔画像群の内から選択し、選択した顔画像それぞれを前記削除確認画面上に表示することを特徴とする請求項２記載の電子機器。
4. 前記削除対象動画像データに対応する前記静止画像群は前記削除対象動画像データから抽出された複数の顔画像を含み、
   前記顔画像毎に当該顔画像に対応するフレームが前記削除対象動画像データの再生によって再生された総再生時間を管理する再生履歴管理手段をさらに具備し、
   前記第２の表示処理手段は、前記削除対象動画像データに対応する顔画像群の内から総再生時間の長い上位所定個数の顔画像を選択し、前記選択された各顔画像を、前記再生された区間内に属する静止画像として、前記削除確認画面上に表示することを特徴とする請求項１記載の電子機器。
5. 前記第２の表示処理手段は、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記静止画像群が並べられた領域とは異なる領域に表示することを特徴とする請求項１記載の電子機器。
6. 動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記動画像データ内に出現する時点を示すタイムスタンプ情報を出力するインデキシング処理手段と、
   前記タイムスタンプ情報に基づいて、前記抽出された顔画像の一覧を表示エリア上に表示する顔画像一覧表示手段であって、表示エリア上には顔画像それぞれが並べられている、顔画像一覧表示手段と、
   前記顔画像の一覧の中から選択された顔画像が出現する、前記動画像データ内の位置に対応する時点から、前記動画像データの再生を開始する再生手段と、
   前記動画像データの削除が指定された場合、前記動画像データの削除の可否を確認するための削除確認画面であって前記動画像データに対応する顔画像それぞれが並べられた削除確認画面を表示する削除確認画面表示手段とを具備することを特徴とする電子機器。
7. 前記削除確認画面表示手段は、前記動画像データに対応する顔画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する顔画像群を前記削除確認画面上に表示することを特徴とする請求項６記載の電子機器。
8. 前記削除確認画面表示手段は、前記削除対象動画像データに対応する顔画像群のうち、前記再生を開始する時点の基準として選択されたことのある顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、前記削除確認画面上に表示することを特徴とする請求項７記載の電子機器。
9. 前記顔画像毎に当該顔画像に対応するフレームが前記削除対象動画像データの過去の再生に伴って再生された総再生時間を管理する再生履歴管理手段をさらに具備し、
   前記削除確認画面表示手段は、前記削除対象動画像データに対応する顔画像群の内から総再生時間の長い上位所定個数の顔画像を選択し、前記選択された各顔画像を、前記再生された区間内に出現する顔画像群として、前記削除確認画面上に表示することを特徴とする請求項７記載の電子機器。
10. 前記削除確認画面表示手段は、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記動画像データに対応する顔画像それぞれが並べられた領域とは異なる領域に表示することを特徴とする請求項６記載の電子機器。
11. 電子機器の記憶装置に格納されている動画像データの削除に関する表示制御を行う表示制御方法であって、
    処理対象の各動画像データから複数の静止画像を抽出するステップと、
    前記記憶装置に格納されている１以上の動画像データの一覧を表示するステップと、
    前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する静止画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する静止画像群が並べられた削除確認画面を表示するステップとを具備することを特徴とする表示制御方法。
12. 前記削除確認画面を表示するステップは、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記静止画像群が並べられた領域とは異なる領域に表示することを特徴とする請求項１１記載の表示制御方法。

Images