JP2016541214A - ビデオのブラウジング方法、その装置、プログラム及び記録媒体 - Google Patents

Abstract

ビデオのブラウジング方法、その装置、プログラム及び記録媒体に関し、コンピュータ技術分野に属する。前記ビデオのブラウジング方法は、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップと、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するステップと、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、ビデオにおける最後の画像フレームが比較されるまで継続して実行するステップと、決定された少なくとも１つのキーフレームを再生させるステップとを含む。前記ビデオのブラウジング装置は、画像比較モジュールと、画像決定モジュールと、操作実行モジュールと、画像再生モジュールとを有する。本発明は、連続的なショットのビデオからキーフレームを抽出できずビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。【選択図】図1

Description

相互参照

本願は、出願番号がＣＮ２０１４１０４７５１６５．４であって、出願日が２０１４年９月１４日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

本願は、コンピュータ技術分野に関し、特にビデオのブラウジング方法及びその装置に関する。

インターネットの発展に伴い、インターネットのビデオがよく使用されている。ビデオを取得した場合、ビデオを素早くブラウジングしてビデオの内容を確認する必要があるため、如何にビデオを素早くブラウジングすることはよく注目された問題になる。

ビデオが連続の画像フレームからなるので、ビデオのキーフレームを抽出する過程において、端末は、ビデオを少なくとも２つのショットに分割して、各ショットの境界に基づいて、画像品質とビデオ内容の変更とに基づいて、各ショットについて一組のキーフレームを選出し、これらのキーフレームをスクリーンに適当なレートで再生させ、ビデオのブラウジングを実現することができる。

本願の発明者は、本発明を実現する過程において、従来技術が少なくとも以下の欠陥を有すると見出した。即ち、端末は、ショットの境界に基づいてキーフレームを抽出する必要があり、ビデオが１つの連続的なショットである場合、ビデオからキーフレームを抽出できなくなる。

本願の発明は、連続的なショットからなるビデオからキーフレームを抽出できないことによるビデオをブラウジングすることができない問題点を解決するために、ビデオのブラウジング方法及びその装置を提供する。

本発明の実施例の第１の形態によれば、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するステップと、

前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップと、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するステップと、

決定された少なくとも１つのキーフレームを再生させるステップと、を含むビデオのブラウジング方法を提供する。

好ましくは、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップは、

前記直前の画像フレームにおけるターゲットブロックと、前記現在の画像フレームにおけるターゲットブロックとを比較させるステップと、

前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを、新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、確定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するステップと、

前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するステップと、

前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するステップと、を含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、

前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るステップと、

移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するステップと、

前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出したと、前記現在の画像フレームを前記キーフレームとして決定するステップと、を含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、

前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのフラグ情報を読み取るステップと、

各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するステップと、

前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するステップと、を含む。

好ましくは、前記ビデオのブラウジング方法は、

前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するステップと、

前記センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップをトリガーするステップと、をさらに含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップが、

前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するステップと、

前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するステップと、を含む。

本発明の実施例の第２の形態によれば、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュールと、

前記画像比較モジュールが取得した前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュールと、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュールと、

前記画像決定モジュールが決定した少なくとも１つのキーフレームを再生させるように構成される画像再生モジュールと、を有するビデオのブラウジング装置を提供する。

好ましくは、前記画像比較モジュールは、

前記直前の画像フレームにおけるターゲットブロックを前記現在の画像フレームにおけるターゲットブロックと比較させるように構成されるターゲット比較サブモジュールと、

前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するように構成される第１決定サブモジュールと、

前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するように構成される第２決定サブモジュールと、

前記ターゲット比較サブモジュールによって前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するように構成される第３決定サブモジュールと、を有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るように構成される第１読取サブモジュールと、

移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するように構成される第１検出サブモジュールと、

前記第１検出サブモジュールによって前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第４決定サブモジュールと、を有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのそれぞれのフラグ情報を読み取るように構成される第２読取サブモジュールと、

各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するように構成される第２検出サブモジュールと、

前記第２検出サブモジュールによって前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第５決定サブモジュールと、を有する。

好ましくは、前記ビデオのブラウジング装置は、

前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するように構成される情報取得モジュールと、

前記情報取得モジュールが取得したセンサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作の実行をトリガーするように構成される画像スクリーニングモジュールと、をさらに有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するように構成される第３検出サブモジュールと、

前記第３検出サブモジュールによって前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するように構成される第６決定サブモジュールと、を有する。

本発明の実施例の第３の形態によれば、

プロセッサと、

プロセッサが実行できる命令を記憶するためのメモリとを有し、

前記プロセッサは、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較させて得られる情報であるターゲットブロック情報を取得し、

前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定し、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行し、

決定された少なくとも１つのキーフレームを再生させるように構成されるビデオのブラウジング装置を提供する。

本発明の実施例が提供する技術方案は、以下の有益な効果を有する。

ビデオにおける現在の画像フレームと直前の画像フレームとを比較することによって、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける現在の画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。

ここで、図面は明細書に組み込んで本明細書の一部とし、本発明に合致する実施例を示すとともに、明細書とともに本発明の原理を説明する。

例示的な実施例に係るビデオのブラウジング方法のプロチャートである。

例示的な他の１つの実施例に係るビデオのブラウジング方法のプロチャートである。

例示的な実施例に係るビデオのブラウジング装置のブロック図である。

例示的な実施例に係るビデオのブラウジング装置のブロック図である。

例示的な実施例に係るビデオのブラウジング用の装置のブロック図である。

以下、図面に示される例示された実施例に対して詳しく説明する。以下の説明は、図面に関するときに、特定な声明以外、各図面における同一の数字は、同一又は類似な要素を表す。以下に例示された実施例において説明された実施形態は、本発明と一致する全ての実施形態ではない。逆に、それらは、特許請求の範囲に記載の本発明のある局面と一致する装置及び方法の例だけである。

図１は例示的な実施例に係るビデオのブラウジング方法のプロチャートであり、当該ビデオのブラウジング方法は、端末に用いられる。図１に示すように、当該ビデオのブラウジング方法は以下のステップを含む。

ステップ１０１において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得する。

画像フレームはビデオの単位画面である。ターゲットブロックは、画像フレームにおける内容を分割してなるものであり、少なくとも１つの物体を含んでもよいし、１つの物体の一部を含んでもよい。本実施例において、ターゲットブロックの分割方式が限定されない。ターゲットブロック情報は、ビデオにおける現在の画像フレームのターゲットブロックと、直前の画像フレームのターゲットブロックとを比較して得る情報である。

ステップ１０２において、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームがキーフレームとして決定される。

キーフレームは、ビデオ全体に物体が存在する１つの画像フレーム、または物体の運動におけるキー動作が存在する１つの画像フレームであり、ビデオにおけるある時間帯のビデオ内容を示すことができる。

画像フレーム内の物体をターゲットブロックで示すことができ、且つターゲットブロック情報が、隣接する２つの画像フレームのターゲットブロックの変化を示すことができるので、端末は、ターゲットブロック情報に基づいて画像フレームがキーフレームであるか否かを検出でき、ビデオから少なくとも１つのキーフレームを抽出できる。

ステップ１０３において、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定され、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、ビデオにおける最後の画像フレームが比較されるまで継続して実行する。

ビデオにおける全てのキーフレームを抽出するために、端末は、全ての画像フレームを比較する必要があるので、現在の画像フレームを比較した後、直後の画像フレームを新たな現在の画像フレームとして決定し、当該現在の画像フレームを新たな直前の画像フレームとして決定し、ステップ１０１をビデオにおける最後の画像フレームが現在の画像フレームとして比較されるまで継続して実行し、検出のプロチャートを完了させる。

ステップ１０４において、決定された少なくとも１つのキーフレームを再生させる。

各キーフレームのそれぞれが１つの時間帯のビデオ内容を示すことができるので、端末において、決定された少なくとも１つのキーフレームを適切なフレーム速度で順番に再生させることによって、ビデオが表す有効的な情報を縮減せずに、ビデオの再生時間を圧縮できる。このため、ビデオ内容に対する快速ブラウジングを実現でき、ビデオの再生効率を向上できる。

以上により、本願発明のビデオのブラウジング方法は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較することによって、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける現在の画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得でき、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングすることができない問題点を解決でき、ビデオの再生効率を向上できる効果が得られる。

図２は例示的な他の１つの実施例に係るビデオのブラウジング方法のプロチャートであり、当該ビデオのブラウジング方法は、端末に用いられる。図２に示すように、当該ビデオのブラウジング方法は、以下のステップを含む。

ステップ２０１において、ビデオにおける各画像フレーム及び画像フレームを撮影するときのＧＰＳ（Ｇｌｏｂａｌ ＰｏｓＩｔＩｏｎＩｎｇ Ｓｙｓｔｅｍ）情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、ステップ２０２をリカードする。

本実施例において、ステップ２０１は選択可能なステップである。即ち、端末は、カメラによってビデオを撮影し、ビデオを取得した後ステップ２０２を実行可能である。或は、端末は、ビデオを取得した後、ビデオにおける画像フレームをスクリーニングし、捨て条件を満たした画像フレームを捨てることにより、捨て条件を満たす画像フレームに対する処理によるリソースの無駄を減少でき、ビデオの単位画面である画像フレームに対する処理効率を向上できる。

端末は、画像フレームに対してスクリーニング操作を実行させる必要があると、カメラでビデオを撮影するとき、センサで各画像フレームのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つであるセンサ情報を収集し、センサ情報に基づいて各画像フレームが捨て条件を満たすか否かを検出することができる。

また、端末は、センサ情報に応じて捨て条件を設定することができる。センサ情報がＧＰＳ情報である場合、撮影シーンは移動中にビデオを撮影することになることが可能である。端末は長時間同一の地理位置に止まると、このときに撮影された画像フレームが重複する可能性があるので、捨て条件は、移動中にビデオを撮影するとき、ＧＰＳ情報と直前の画像フレームのＧＰＳ情報との間の距離がＧＰＳ閾値より小さいと設定される。センサ情報が加速度情報である場合、撮影シーンは移動中にビデオを撮影することになることが可能である。端末の移動の加速度が早いと、撮影された画像フレームが不明瞭になるので、捨て条件は、加速度が加速度閾値より大きいと設定される。センサ情報がＩＳＯ情報である場合、ＩＳＯが高いと、撮影された画像フレームにノイズが多いので、捨て条件は、ＩＳＯがＩＳＯ閾値より大きいと設定される。センサ情報が、ＧＰＳ情報と、加速度情報と、ＩＳＯ情報との少なくとも２つを含む場合、端末は、各センサ情報に対応する捨て条件を合併することができ、センサ情報における少なくとも１つが捨て条件を満たした場合、当該画像フレームを捨てる。

ステップ２０２において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得する。

ターゲットブロックは、画像フレームにおける内容を分割してなるものであり、画像フレームに対する分割方式によって確定され、少なくとも１つの物体を含んでもよいし、１つの物体の一部を含んでもよい。また、端末は、画像フレームを均等に分割することができる。例えば、端末は、画像フレームを長さ方向においてＭ個に均等に分割し、幅方向においてＮ個に均等に分割することにより、Ｍ×Ｎ個のターゲットブロックが得られる。或は、端末は、画像フレームにおける注目された最小ターゲットに応じてターゲットブロックを分割することができ、即ち、各ターゲットブロックのそれぞれが、少なくとも１つの最小ターゲットを含む。或は、端末は、開発者の経験値によってターゲットブロックを分割することができる。本実施例において、ターゲットブロックの分割方式が限定されない。

現在の画像フレームのターゲットブロックを取得した後、端末は、当該現在の画像フレームのターゲットブロックと直前の画像フレームのターゲットブロックとを比較し、隣接する２つの画像フレームのターゲットブロックの変化を示すターゲットブロック情報を取得することができる。

本実施例において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較してターゲットブロック情報を取得するステップは、以下の通りである。

１）直前の画像フレームにおけるターゲットブロックと、現在の画像フレームにおけるターゲットブロックとを比較する。

２）現在の画像フレームには、直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックと決定し、新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得する。

３）現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、現在の画像フレームにおける既存ターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得する。

４）直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれない場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得する。

また、現在の画像フレームにおけるターゲットブロックと直前の画像フレームにおけるターゲットブロックとの特徴を比較することができる。当該特徴は、色ヒストグラムであってもよし、色ヒストグラムとテクスチャ特徴であってもよい。比較方式はユークリッド距離を使用することができる。ターゲットブロックの比較は、後述する３つの結果を有する。

第１結果
現在の画像フレームには、直前の画像フレームが備えない少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備えない少なくとも１つのターゲットブロックを新たに追加されたターゲットブロックとして決定し、マークのために、当該新たに追加されたターゲットブロックに対してフラグ情報を設定する。

その中に、端末は、新たに追加されたターゲットブロックのフラグ情報を既に決定されたキーフレームの個数に１を加算してなるものに設定できる。例えば、ｋ個目の画像フレームの前に、既にｓ個のキーフレームが決定された場合、ｋ個目の画像フレームにおける新たに追加されたターゲットブロックのフラグ情報を（ｓ＋１）に設定することができる。ｋ個目の画像フレームがキーフレームではない場合、（ｋ＋１）個目の画像フレームにおける新たに追加されたターゲットブロックのフラグも、（ｓ+１）に設定することができる。即ち、ｓ個目のキーフレームと、（ｓ＋１）個目のキーフレームとの間の画像フレームにおける新たに追加されたターゲットブロックのフラグ情報の全ては、（ｓ+１）である。

また、端末は、ターゲットブロックの位置と標識等の情報を取得し、標識と、フラグ情報と、位置等の情報を当該新たに追加されたターゲットブロックのターゲットブロック情報として決定することが好ましい。

第２結果
現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備える少なくとも１つのターゲットブロックを既存ターゲットブロックとして決定し、既存ターゲットブロックの移動情報を取得することができる。

その中に、移動情報は、当該現在の画像フレームにおけるターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動の変位と、当該現在の画像フレームにおけるターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動の回数と、当該現在の画像フレームにおけるターゲットブロックが到達した領域との少なくとも１つを使用することができる。

例えば、移動情報が移動の変位を含む場合、例え直前の画像フレームにおける当該ターゲットブロックの座標が（１０センチ、１３センチ）であり、現在の画像フレームにおける当該ターゲットブロックの座標が（１０センチ、１５センチ）である場合、当該ターゲットブロックの変位が２センチである。移動情報が移動の回数を含む場合、例え直前の画像フレームにおける当該ターゲットブロックの移動の回数が２であり、且つ現在の画像フレームにおける当該ターゲットブロックの位置と直前の画像フレームにおける位置が同一ではない場合、当該ターゲットブロックの移動の回数が３であると決定する。移動情報が到達した領域を含む場合、当該ターゲットブロックが現在の画像フレームの中央領域に位置する場合、当該ターゲットブロックの到達した領域が中央領域であると決定する。

端末は、当該ターゲットブロックの標識とフラグ情報を取得し、標識と、フラグ情報と、移動情報とを当該既存ターゲットブロックのターゲットブロック情報として決定することができることが好ましい。

第３結果
直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備えない少なくとも１つのターゲットブロックを消失ターゲットブロックとして決定し、当該ターゲットブロックの標識と、フラグ情報と、移動情報とを当該消失ターゲットブロックのターゲットブロック情報として決定することができる。

ステップ２０３において、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。

キーフレームは、ビデオ全体において物体が存在する１つの画像フレーム、または物体の運動におけるキー動作が存在する１つの画像フレームであり、ビデオにおける１つの時間帯のビデオ内容を表す。画像フレームにおける物体がターゲットブロックで表すことができ、且つターゲットブロック情報が、隣接する２つの画像フレームのターゲットブロックの変化を示すことができるので、端末は、ターゲットブロック情報に基づいて現在の画像フレームがキーフレームであるか否かを検出し、ビデオから少なくとも１つのキーフレームを抽出することができる。

その中に、端末は、ターゲットブロック情報に基づいてキーフレームを決定することができる。本実施例において、ターゲットブロック情報がそれぞれ移動情報とフラグ情報とを含むことを例としてキーフレームを決定するプロチャートを説明する。

第１に、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するステップは、以下のステップを含む。

１）現在の画像フレームのターゲットブロック情報から、既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックの移動情報を読み取るステップ。

２）移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するステップ。

３）移動条件を満たす移動情報の数量が予め設定された閾値より大きいと検出したと、現在の画像フレームをキーフレームとして決定するステップ。

上記のキーフレームを決定する方法は、前景ターゲットが移動し且つ背景がほとんど変化しないシーンに適応し、或は、背景がズームし且つ前景ターゲットを有しないシーンに適応する。

移動情報は、移動の回数と、移動の変位と、到達した領域との少なくとも１つであるので、移動情報が異なると、移動情報が対応する移動条件も異なる。例えば、移動情報が移動の回数を含む場合、移動条件を移動の回数が回数の閾値より大きいことに設定することができる。移動情報が移動の変位を含む場合、移動条件を移動の変位が変位の閾値より大きいことに設定することができる。移動情報が到達した領域を含む場合、移動条件を目的領域に設定することができる。移動情報が、移動の回数と、移動の変位と、到達した領域との少なくとも２つを含む場合、各移動情報に対応する移動条件を合併し、移動情報における各移動情報が全て各自の移動条件を満たした場合、当該移動情報が移動条件を満たす場合決定する。

例えば、移動条件は、移動の回数が４回を超え且つターゲット領域が中央領域であることになると、端末は、ある移動情報に記憶された移動の回数が５回であり且つ到達した領域が中央領域であることを検出したとき、当該移動情報が移動条件を満たす場合決定する。

移動情報が移動条件を満たした場合決定した後、端末は、さらに移動条件を満たした移動情報の数量を算出し、算出された回数が予め設定された閾値より大きいか否かを検出することができる。端末は、算出された回数が予め設定された閾値より大きいと検出したと、直前のキーフレームに対して、現在の画像フレームにおける多数のターゲットブロックのターゲット情報が変化したと決定し、現在の画像フレームをキーフレームとして決定することができる。端末は、算出された回数が予め設定された閾値より小さいと検出したと、直前のキーフレームに対して、現在の画像フレームにおける少数のターゲットブロックのターゲット情報が変化したと決定し、現在の画像フレームをキーフレームとして決定しないことができる。

第２に、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するステップは、以下のステップを含む。

１）現在の画像フレームのターゲットブロック情報から各ターゲットブロックのフラグ情報を読み取る。

２）各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出する。

３）消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、現在の画像フレームをキーフレームとして決定する。

上記のキーフレームを決定する方法は、背景が予め設定された速度で移動し且つ前景ターゲットを有しないシーンに適応し、或は、背景が予め設定された速度で移動し且つ前景ターゲットが変化しないシーンに適応する。

ターゲットブロック情報にフラグ情報をさらに含むので、現在の画像フレームにおけるあるフラグ情報が完全に消失した場合、当該画像フレームをキーフレームとして決定する。フラグ情報が完全に消失したか否かを検出する場合、端末は、現在の画像フレームにおける消失ターゲットブロックのフラグ情報を取得し、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出することができる。端末は、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、当該フラグ情報が完全に消失したと決定する。端末は、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有すると検出した場合、当該フラグ情報が完全に消失しなかったと決定する。

人物を含む画像フレームについて、時々、人物の微細的な姿勢の変化を取得することが必要である。このとき、端末は、人物をターゲットブロックに分割して検出する場合、ターゲットブロック情報の変化が大きくないので、重要な画像フレームが非キーフレームに誤決定され、重要な情報の紛失が発生する可能性がある。

このため、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定ステップは、以下のステップを含む。

１）現在の画像フレームに人物が含まれた場合、直前の画像フレームの人物姿勢情報に対して現在の画像フレームが変化するか否かを検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たすか否かを検出するステップ。

２）人物姿勢情報が変化したと検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たした場合、現在の画像フレームをキーフレームとして決定するステップ。

端末は、現在の画像フレームにおける人物と背景を分離し、人物姿勢を分析し、背景をターゲットブロックに分割し、ターゲットブロック情報に基づいて検出し、分析結果と検出結果に基づいて画像がキーフレームであるか否かを決定することができる。その中に、人物姿勢情報は、顔表情または人物姿勢を含む。

人物姿勢を分析するための端末の方法は、複数あり、例えば、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）アルゴリズム、またはＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）アルゴリズムを使用して顔の特徴点の位置を特定し、主な器官の特徴を抽出し、表情に従って特徴を分類する。端末は、現在の画像フレームにおける特徴表情の分類と、直前の画像フレームにおける特徴表情の分類とが異なると検出した場合、当該現在の画像フレームをキーフレームとして決定する。端末のターゲットブロック情報に対する検出処理は上記の検出処理と同じなので、ここに省略する。

補足説明として、端末は、センサ情報に基づいてキーフレームを決定してもよい。例えば、センサ情報がＧＰＳ情報である場合、ＧＰＳ情報と、直前の画像フレームのＧＰＳ情報とを比較し、ＧＰＳ情報と直前の画像フレームのＧＰＳ情報との距離がＧＰＳ閾値より大きい場合、当該ＧＰＳ情報が対応する現在の画像フレームをキーフレームとして決定することができる。

ステップ２０４において、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ステップ２０２を、ビデオにおける最後の画像フレームが比較されるまで継続して実行する。

ビデオにおける全てのキーフレームを抽出するために、端末は、全ての画像フレームを比較することが必要であるので、現在の画像フレームが比較された後、現在の画像フレームの直後の画像フレームを新たな現在の画像フレームとして決定すると共に、当該現在の画像フレームを新たな現在の画像フレームの直前の画像フレームとして決定し、ステップ２０２をビデオにおける最後の画像フレームを現在の画像フレームとして比較されるまで継続して実行し、検出処理を完了する。

ステップ２０５において、決定された少なくとも１つのキーフレームを再生させる。

各キーフレームのそれぞれが１つの時間帯のビデオ内容を表すことができるので、端末には、決定された少なくとも１つのキーフレームを適切なフレーム速度で順番に再生させることによって、ビデオが表す有効情報が減縮めずに、ビデオの再生時間を圧縮することができる。このため、ビデオ内容に対する快速ブラウジングを実現でき、ビデオの再生効率を向上できる。

端末は、少なくとも１つのキーフレームを記憶することにより、ビデオが短いビデオに変換されることが好ましい。

以上により、本発明のビデオのブラウジング方法は、ビデオにおける現在の画像フレームと直前の画像フレームとを比較することにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを確定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較してターゲットブロック情報が取得され、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

また、ビデオにおける各画像フレーム及び画像フレームを撮影するときのセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨てることにより、捨て条件を満たす画像フレームに対する処理による資源の無駄を減少することができ、画像フレームに対する処理効率を向上させることができる。

図３は、例示的な実施例に係るビデオのブラウジング装置のブロック図であり、当該ビデオのブラウジング装置は、端末に用いられる。図３に示すように、当該ビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュール３１０と、画像比較モジュール３１０が取得したターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュール３２０と、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュール３３０と、画像決定モジュール３２０が決定された少なくとも１つのキーフレームを再生させるように構成される画像再生モジュール３４０とを有する。

以上により、本発明のビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較することにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較することにより、ターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

図４は、例示的な実施例に係るビデオのブラウジング装置のブロック図であり、当該ビデオのブラウジング装置は、端末に用いられる。図４に示すように、当該ビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュール３１０と、画像比較モジュール３１０が取得したターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュール３２０と、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュール３３０と、画像決定モジュール３２０が決定された少なくとも１つのキーフレームを再生させるように構成される画像再生モジュール３４０とを有する。

画像比較モジュール３１０は、直前の画像フレームにおけるターゲットブロックを現在の画像フレームにおけるターゲットブロックと比較するように構成されるターゲット比較サブモジュール３１１と、ターゲット比較サブモジュール３１１によって現在の画像フレームに、直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックとして決定し、新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するように構成される第１決定サブモジュール３１２と、ターゲット比較サブモジュール３１１によって現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、現在の画像フレームにおける既存ターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するように構成される第２決定サブモジュール３１３と、ターゲット比較サブモジュール３１１によって直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するように構成される第３決定サブモジュール３１４と、を有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームのターゲットブロック情報から、既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックの移動情報を読み取るように構成される第１読取サブモジュール３２１と、移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するように構成される第１検出サブモジュール３２２と、第１検出サブモジュール３２２によって移動条件を満たす移動情報の数量が予め設定された閾値より大きいと検出した場合、現在の画像フレームをキーフレームとして決定するように構成される第４決定サブモジュール３２３とを有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのフラグ情報を読み取るように構成される第２読取サブモジュール３２４と、各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するように構成される第２検出サブモジュール３２５と、第２検出サブモジュール３２５によって消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、現在の画像フレームをキーフレームとして決定するように構成される第５決定サブモジュール３２６とを有することが好ましい。

ビデオのブラウジング装置は、ビデオにおける各画像フレーム及び画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するように構成される情報取得モジュール３５０と、情報取得モジュール３５０が取得したセンサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較してターゲットブロック情報を取得する操作をトリガーするように構成される画像スクリーニングモジュール３６０とをさらに有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームに人物が含まれた場合、直前の画像フレームにおける人物姿勢情報に対して現在の画像フレームが変化するか否かを検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たすか否かを検出するように構成される第３検出サブモジュール３２７と、第３検出サブモジュール３２７によって人物姿勢情報が変化したと検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たした場合、現在の画像フレームをキーフレームとして決定するように構成される第６決定サブモジュール３２８とを有することが好ましい。

以上により、本発明のビデオのブラウジング装置は、ビデオにおける現在の画像フレームと直前の画像フレームとを比較させることにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決でき、ビデオの再生効率を向上させる効果が得られる。

また、ビデオにおける各画像フレーム及び画像フレームを撮影するときのセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨てることによって、捨て条件を満たす画像フレームに対する処理による資源の無駄を減少でき、画像フレームに対する処理効率を向上させることができる。

上記の実施例における装置について、各个モジュールが実行する操作の具体的な方式は、関連する方法の実施例において詳しく説明されたので、ここに省略する。

図５は例示的な実施例に係るビデオのブラウジング装置５００のブロック図である。例えば、装置５００は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信機器、ゲームコントロール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってもよい。

図５に示すように、装置５００は、プロセスアセンブリ５０２、メモリ５０４と、電源アセンブリ５０６、マルチメディアアセンブリ５０８、オーディオアセンブリ５１０、入力/出力（Ｉ／Ｏ）インターフェース５１２、センサアセンブリ５１４、及び通信アセンブリ５１６のような１つ以上のアセンブリを含んでよい。

プロセスアセンブリ５０２は、一般的には装置５００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ５０２は、１つ以上のプロセッサ５１８を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ５０２は、１つ以上のモジュールを含み、これらによってプロセスアセンブリ５０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ５０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ５０８とプロセスアセンブリ５０２の間のインタラクションを容易にするようにしてもよい。

メモリ５０４は、各種類のデータを記憶することにより装置５００の操作を支援するように構成される。これらのデータの例は、装置５００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。

電源アセンブリ５０６は、装置５００の多様なアセンブリに電力を供給する。電源アセンブリ５０６は、電源管理システム、1つ以上の電源、及び装置５００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。

マルチメディアアセンブリ５０８は、前記装置５００とユーザの間に1つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは1つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ５０８は、1つのフロントカメラ、及び／又はリアカメラを含む。装置５００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、1つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。

オーディオアセンブリ５１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ５１０は、1つのマイク（ＭＩＣ）を含み、装置５００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ５０４に記憶されたり、通信アセンブリ５１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ５１０は、オーディオ信号を出力するための1つのスピーカーをさらに含む。

Ｉ／Ｏインターフェイス５１２は、プロセスアセンブリ５０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。

センサアセンブリ５１４は、装置５００に各方面の状態に対する評価を提供するための1つ以上のセンサを含む。例えば、センサアセンブリ５１４は、装置５００のＯＮ／ＯＦＦ状態、装置５００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ５１４は、装置５００、或は装置５００の1つのアセンブリの位置変更、ユーザと装置５００とが接触しているか否か、装置５００の方位、又は加速／減速、装置５００の温度の変化を検出できる。センサアセンブリ５１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ５１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ５１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。

通信アセンブリ５１６は、装置５００と他の機器の間に有線、又は無線形態の通信を提供する。装置５００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。1つの例示的な実施例において、通信アセンブリ５１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。1つの例示的な実施例において、前記通信アセンブリ５１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術、他の技術に基づいて実現できる。

例示的な実施例において、装置５００は、1つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。

例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ５０４を提供しており、装置５００のプロセッサ５１８により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、および光データ記憶デバイスなどであってもよい。

当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。

本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。

相互参照

本願は、出願番号がＣＮ２０１４１０４７５１６５．４であって、出願日が２０１４年９月１４日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

本願は、コンピュータ技術分野に関し、特にビデオのブラウジング方法、その装置、プログラム及び記録媒体に関する。

インターネットの発展に伴い、インターネットのビデオがよく使用されている。ビデオを取得した場合、ビデオを素早くブラウジングしてビデオの内容を確認する必要があるため、如何にビデオを素早くブラウジングすることはよく注目された問題になる。

ビデオが連続の画像フレームからなるので、ビデオのキーフレームを抽出する過程において、端末は、ビデオを少なくとも２つのショットに分割して、各ショットの境界に基づいて、画像品質とビデオ内容の変更とに基づいて、各ショットについて一組のキーフレームを選出し、これらのキーフレームをスクリーンに適当なレートで再生させ、ビデオのブラウジングを実現することができる。

本願の発明者は、本発明を実現する過程において、従来技術が少なくとも以下の欠陥を有すると見出した。即ち、端末は、ショットの境界に基づいてキーフレームを抽出する必要があり、ビデオが１つの連続的なショットである場合、ビデオからキーフレームを抽出できなくなる。

本願の発明は、連続的なショットからなるビデオからキーフレームを抽出できないことによるビデオをブラウジングすることができない問題点を解決するために、ビデオのブラウジング方法、その装置、プログラム及び記録媒体を提供する。

本発明の実施例の第１の形態によれば、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するステップと、

前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップと、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するステップと、

決定された少なくとも１つのキーフレームを再生させるステップと、を含むビデオのブラウジング方法を提供する。

好ましくは、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップは、

前記直前の画像フレームにおけるターゲットブロックと、前記現在の画像フレームにおけるターゲットブロックとを比較させるステップと、

前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを、新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、確定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するステップと、

前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するステップと、

前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するステップと、を含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、

前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るステップと、

移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するステップと、

前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出したと、前記現在の画像フレームを前記キーフレームとして決定するステップと、を含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、

前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのフラグ情報を読み取るステップと、

各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するステップと、

前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するステップと、を含む。

好ましくは、前記ビデオのブラウジング方法は、

前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するステップと、

前記センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップをトリガーするステップと、をさらに含む。

好ましくは、前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップが、

前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するステップと、

前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するステップと、を含む。

本発明の実施例の第２の形態によれば、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュールと、

前記画像比較モジュールが取得した前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュールと、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュールと、

前記画像決定モジュールが決定した少なくとも１つのキーフレームを再生させるように構成される画像再生モジュールと、を有するビデオのブラウジング装置を提供する。

好ましくは、前記画像比較モジュールは、

前記直前の画像フレームにおけるターゲットブロックを前記現在の画像フレームにおけるターゲットブロックと比較させるように構成されるターゲット比較サブモジュールと、

前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するように構成される第１決定サブモジュールと、

前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するように構成される第２決定サブモジュールと、

前記ターゲット比較サブモジュールによって前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するように構成される第３決定サブモジュールと、を有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るように構成される第１読取サブモジュールと、

移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するように構成される第１検出サブモジュールと、

前記第１検出サブモジュールによって前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第４決定サブモジュールと、を有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのそれぞれのフラグ情報を読み取るように構成される第２読取サブモジュールと、

各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するように構成される第２検出サブモジュールと、

前記第２検出サブモジュールによって前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第５決定サブモジュールと、を有する。

好ましくは、前記ビデオのブラウジング装置は、

前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するように構成される情報取得モジュールと、

前記情報取得モジュールが取得したセンサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作の実行をトリガーするように構成される画像スクリーニングモジュールと、をさらに有する。

好ましくは、前記画像決定モジュールは、

前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するように構成される第３検出サブモジュールと、

前記第３検出サブモジュールによって前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するように構成される第６決定サブモジュールと、を有する。

本発明の実施例の第３の形態によれば、

プロセッサと、

プロセッサが実行できる命令を記憶するためのメモリとを有し、

前記プロセッサは、

ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較させて得られる情報であるターゲットブロック情報を取得し、

前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定し、

前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行し、

決定された少なくとも１つのキーフレームを再生させるように構成されるビデオのブラウジング装置を提供する。

本発明の実施例の第４の形態によれば、プロセッサに実行されることにより、第ビデオのブラウジング方法を実現するプログラムを提供する。

本発明の実施例の第５の形態によれば、上記のプログラムが記録された記録媒体を提供する。

本発明の実施例が提供する技術方案は、以下の有益な効果を有する。

ビデオにおける現在の画像フレームと直前の画像フレームとを比較することによって、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける現在の画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。

ここで、図面は明細書に組み込んで本明細書の一部とし、本発明に合致する実施例を示すとともに、明細書とともに本発明の原理を説明する。

例示的な実施例に係るビデオのブラウジング方法のプロチャートである。

例示的な他の１つの実施例に係るビデオのブラウジング方法のプロチャートである。

例示的な実施例に係るビデオのブラウジング装置のブロック図である。

例示的な実施例に係るビデオのブラウジング装置のブロック図である。

例示的な実施例に係るビデオのブラウジング用の装置のブロック図である。

以下、図面に示される例示された実施例に対して詳しく説明する。以下の説明は、図面に関するときに、特定な声明以外、各図面における同一の数字は、同一又は類似な要素を表す。以下に例示された実施例において説明された実施形態は、本発明と一致する全ての実施形態ではない。逆に、それらは、特許請求の範囲に記載の本発明のある局面と一致する装置及び方法の例だけである。

図１は例示的な実施例に係るビデオのブラウジング方法のプロチャートであり、当該ビデオのブラウジング方法は、端末に用いられる。図１に示すように、当該ビデオのブラウジング方法は以下のステップを含む。

ステップ１０１において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得する。

画像フレームはビデオの単位画面である。ターゲットブロックは、画像フレームにおける内容を分割してなるものであり、少なくとも１つの物体を含んでもよいし、１つの物体の一部を含んでもよい。本実施例において、ターゲットブロックの分割方式が限定されない。ターゲットブロック情報は、ビデオにおける現在の画像フレームのターゲットブロックと、直前の画像フレームのターゲットブロックとを比較して得る情報である。

ステップ１０２において、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームがキーフレームとして決定される。

キーフレームは、ビデオ全体に物体が存在する１つの画像フレーム、または物体の運動におけるキー動作が存在する１つの画像フレームであり、ビデオにおけるある時間帯のビデオ内容を示すことができる。

画像フレーム内の物体をターゲットブロックで示すことができ、且つターゲットブロック情報が、隣接する２つの画像フレームのターゲットブロックの変化を示すことができるので、端末は、ターゲットブロック情報に基づいて画像フレームがキーフレームであるか否かを検出でき、ビデオから少なくとも１つのキーフレームを抽出できる。

ステップ１０３において、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定され、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、ビデオにおける最後の画像フレームが比較されるまで継続して実行する。

ビデオにおける全てのキーフレームを抽出するために、端末は、全ての画像フレームを比較する必要があるので、現在の画像フレームを比較した後、直後の画像フレームを新たな現在の画像フレームとして決定し、当該現在の画像フレームを新たな直前の画像フレームとして決定し、ステップ１０１をビデオにおける最後の画像フレームが現在の画像フレームとして比較されるまで継続して実行し、検出のプロチャートを完了させる。

ステップ１０４において、決定された少なくとも１つのキーフレームを再生させる。

各キーフレームのそれぞれが１つの時間帯のビデオ内容を示すことができるので、端末において、決定された少なくとも１つのキーフレームを適切なフレーム速度で順番に再生させることによって、ビデオが表す有効的な情報を縮減せずに、ビデオの再生時間を圧縮できる。このため、ビデオ内容に対する快速ブラウジングを実現でき、ビデオの再生効率を向上できる。

以上により、本願発明のビデオのブラウジング方法は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較することによって、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける現在の画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得でき、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングすることができない問題点を解決でき、ビデオの再生効率を向上できる効果が得られる。

図２は例示的な他の１つの実施例に係るビデオのブラウジング方法のプロチャートであり、当該ビデオのブラウジング方法は、端末に用いられる。図２に示すように、当該ビデオのブラウジング方法は、以下のステップを含む。

ステップ２０１において、ビデオにおける各画像フレーム及び画像フレームを撮影するときのＧＰＳ（Ｇｌｏｂａｌ ＰｏｓＩｔＩｏｎＩｎｇ Ｓｙｓｔｅｍ）情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、ステップ２０２をリカードする。

本実施例において、ステップ２０１は選択可能なステップである。即ち、端末は、カメラによってビデオを撮影し、ビデオを取得した後ステップ２０２を実行可能である。或は、端末は、ビデオを取得した後、ビデオにおける画像フレームをスクリーニングし、捨て条件を満たした画像フレームを捨てることにより、捨て条件を満たす画像フレームに対する処理によるリソースの無駄を減少でき、ビデオの単位画面である画像フレームに対する処理効率を向上できる。

端末は、画像フレームに対してスクリーニング操作を実行させる必要があると、カメラでビデオを撮影するとき、センサで各画像フレームのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つであるセンサ情報を収集し、センサ情報に基づいて各画像フレームが捨て条件を満たすか否かを検出することができる。

また、端末は、センサ情報に応じて捨て条件を設定することができる。センサ情報がＧＰＳ情報である場合、撮影シーンは移動中にビデオを撮影することになることが可能である。端末は長時間同一の地理位置に止まると、このときに撮影された画像フレームが重複する可能性があるので、捨て条件は、移動中にビデオを撮影するとき、ＧＰＳ情報と直前の画像フレームのＧＰＳ情報との間の距離がＧＰＳ閾値より小さいと設定される。センサ情報が加速度情報である場合、撮影シーンは移動中にビデオを撮影することになることが可能である。端末の移動の加速度が早いと、撮影された画像フレームが不明瞭になるので、捨て条件は、加速度が加速度閾値より大きいと設定される。センサ情報がＩＳＯ情報である場合、ＩＳＯが高いと、撮影された画像フレームにノイズが多いので、捨て条件は、ＩＳＯがＩＳＯ閾値より大きいと設定される。センサ情報が、ＧＰＳ情報と、加速度情報と、ＩＳＯ情報との少なくとも２つを含む場合、端末は、各センサ情報に対応する捨て条件を合併することができ、センサ情報における少なくとも１つが捨て条件を満たした場合、当該画像フレームを捨てる。

ステップ２０２において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得する。

ターゲットブロックは、画像フレームにおける内容を分割してなるものであり、画像フレームに対する分割方式によって確定され、少なくとも１つの物体を含んでもよいし、１つの物体の一部を含んでもよい。また、端末は、画像フレームを均等に分割することができる。例えば、端末は、画像フレームを長さ方向においてＭ個に均等に分割し、幅方向においてＮ個に均等に分割することにより、Ｍ×Ｎ個のターゲットブロックが得られる。或は、端末は、画像フレームにおける注目された最小ターゲットに応じてターゲットブロックを分割することができ、即ち、各ターゲットブロックのそれぞれが、少なくとも１つの最小ターゲットを含む。或は、端末は、開発者の経験値によってターゲットブロックを分割することができる。本実施例において、ターゲットブロックの分割方式が限定されない。

現在の画像フレームのターゲットブロックを取得した後、端末は、当該現在の画像フレームのターゲットブロックと直前の画像フレームのターゲットブロックとを比較し、隣接する２つの画像フレームのターゲットブロックの変化を示すターゲットブロック情報を取得することができる。

本実施例において、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較してターゲットブロック情報を取得するステップは、以下の通りである。

１）直前の画像フレームにおけるターゲットブロックと、現在の画像フレームにおけるターゲットブロックとを比較する。

２）現在の画像フレームには、直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックと決定し、新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得する。

３）現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、現在の画像フレームにおける既存ターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得する。

４）直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれない場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得する。

また、現在の画像フレームにおけるターゲットブロックと直前の画像フレームにおけるターゲットブロックとの特徴を比較することができる。当該特徴は、色ヒストグラムであってもよし、色ヒストグラムとテクスチャ特徴であってもよい。比較方式はユークリッド距離を使用することができる。ターゲットブロックの比較は、後述する３つの結果を有する。

第１結果
現在の画像フレームには、直前の画像フレームが備えない少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備えない少なくとも１つのターゲットブロックを新たに追加されたターゲットブロックとして決定し、マークのために、当該新たに追加されたターゲットブロックに対してフラグ情報を設定する。

その中に、端末は、新たに追加されたターゲットブロックのフラグ情報を既に決定されたキーフレームの個数に１を加算してなるものに設定できる。例えば、ｋ個目の画像フレームの前に、既にｓ個のキーフレームが決定された場合、ｋ個目の画像フレームにおける新たに追加されたターゲットブロックのフラグ情報を（ｓ＋１）に設定することができる。ｋ個目の画像フレームがキーフレームではない場合、（ｋ＋１）個目の画像フレームにおける新たに追加されたターゲットブロックのフラグも、（ｓ+１）に設定することができる。即ち、ｓ個目のキーフレームと、（ｓ＋１）個目のキーフレームとの間の画像フレームにおける新たに追加されたターゲットブロックのフラグ情報の全ては、（ｓ+１）である。

また、端末は、ターゲットブロックの位置と標識等の情報を取得し、標識と、フラグ情報と、位置等の情報を当該新たに追加されたターゲットブロックのターゲットブロック情報として決定することが好ましい。

第２結果
現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備える少なくとも１つのターゲットブロックを既存ターゲットブロックとして決定し、既存ターゲットブロックの移動情報を取得することができる。

その中に、移動情報は、当該現在の画像フレームにおけるターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動の変位と、当該現在の画像フレームにおけるターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動の回数と、当該現在の画像フレームにおけるターゲットブロックが到達した領域との少なくとも１つを使用することができる。

例えば、移動情報が移動の変位を含む場合、例え直前の画像フレームにおける当該ターゲットブロックの座標が（１０センチ、１３センチ）であり、現在の画像フレームにおける当該ターゲットブロックの座標が（１０センチ、１５センチ）である場合、当該ターゲットブロックの変位が２センチである。移動情報が移動の回数を含む場合、例え直前の画像フレームにおける当該ターゲットブロックの移動の回数が２であり、且つ現在の画像フレームにおける当該ターゲットブロックの位置と直前の画像フレームにおける位置が同一ではない場合、当該ターゲットブロックの移動の回数が３であると決定する。移動情報が到達した領域を含む場合、当該ターゲットブロックが現在の画像フレームの中央領域に位置する場合、当該ターゲットブロックの到達した領域が中央領域であると決定する。

端末は、当該ターゲットブロックの標識とフラグ情報を取得し、標識と、フラグ情報と、移動情報とを当該既存ターゲットブロックのターゲットブロック情報として決定することができることが好ましい。

第３結果
直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックを含み、このとき、端末は、当該備えない少なくとも１つのターゲットブロックを消失ターゲットブロックとして決定し、当該ターゲットブロックの標識と、フラグ情報と、移動情報とを当該消失ターゲットブロックのターゲットブロック情報として決定することができる。

ステップ２０３において、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。

キーフレームは、ビデオ全体において物体が存在する１つの画像フレーム、または物体の運動におけるキー動作が存在する１つの画像フレームであり、ビデオにおける１つの時間帯のビデオ内容を表す。画像フレームにおける物体がターゲットブロックで表すことができ、且つターゲットブロック情報が、隣接する２つの画像フレームのターゲットブロックの変化を示すことができるので、端末は、ターゲットブロック情報に基づいて現在の画像フレームがキーフレームであるか否かを検出し、ビデオから少なくとも１つのキーフレームを抽出することができる。

その中に、端末は、ターゲットブロック情報に基づいてキーフレームを決定することができる。本実施例において、ターゲットブロック情報がそれぞれ移動情報とフラグ情報とを含むことを例としてキーフレームを決定するプロチャートを説明する。

第１に、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するステップは、以下のステップを含む。

１）現在の画像フレームのターゲットブロック情報から、既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックの移動情報を読み取るステップ。

２）移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するステップ。

３）移動条件を満たす移動情報の数量が予め設定された閾値より大きいと検出したと、現在の画像フレームをキーフレームとして決定するステップ。

上記のキーフレームを決定する方法は、前景ターゲットが移動し且つ背景がほとんど変化しないシーンに適応し、或は、背景がズームし且つ前景ターゲットを有しないシーンに適応する。

移動情報は、移動の回数と、移動の変位と、到達した領域との少なくとも１つであるので、移動情報が異なると、移動情報が対応する移動条件も異なる。例えば、移動情報が移動の回数を含む場合、移動条件を移動の回数が回数の閾値より大きいことに設定することができる。移動情報が移動の変位を含む場合、移動条件を移動の変位が変位の閾値より大きいことに設定することができる。移動情報が到達した領域を含む場合、移動条件を目的領域に設定することができる。移動情報が、移動の回数と、移動の変位と、到達した領域との少なくとも２つを含む場合、各移動情報に対応する移動条件を合併し、移動情報における各移動情報が全て各自の移動条件を満たした場合、当該移動情報が移動条件を満たす場合決定する。

例えば、移動条件は、移動の回数が４回を超え且つターゲット領域が中央領域であることになると、端末は、ある移動情報に記憶された移動の回数が５回であり且つ到達した領域が中央領域であることを検出したとき、当該移動情報が移動条件を満たす場合決定する。

移動情報が移動条件を満たした場合決定した後、端末は、さらに移動条件を満たした移動情報の数量を算出し、算出された回数が予め設定された閾値より大きいか否かを検出することができる。端末は、算出された回数が予め設定された閾値より大きいと検出したと、直前のキーフレームに対して、現在の画像フレームにおける多数のターゲットブロックのターゲット情報が変化したと決定し、現在の画像フレームをキーフレームとして決定することができる。端末は、算出された回数が予め設定された閾値より小さいと検出したと、直前のキーフレームに対して、現在の画像フレームにおける少数のターゲットブロックのターゲット情報が変化したと決定し、現在の画像フレームをキーフレームとして決定しないことができる。

第２に、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するステップは、以下のステップを含む。

１）現在の画像フレームのターゲットブロック情報から各ターゲットブロックのフラグ情報を読み取る。

２）各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出する。

３）消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、現在の画像フレームをキーフレームとして決定する。

上記のキーフレームを決定する方法は、背景が予め設定された速度で移動し且つ前景ターゲットを有しないシーンに適応し、或は、背景が予め設定された速度で移動し且つ前景ターゲットが変化しないシーンに適応する。

ターゲットブロック情報にフラグ情報をさらに含むので、現在の画像フレームにおけるあるフラグ情報が完全に消失した場合、当該画像フレームをキーフレームとして決定する。フラグ情報が完全に消失したか否かを検出する場合、端末は、現在の画像フレームにおける消失ターゲットブロックのフラグ情報を取得し、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出することができる。端末は、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、当該フラグ情報が完全に消失したと決定する。端末は、現在の画像フレームが含む各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有すると検出した場合、当該フラグ情報が完全に消失しなかったと決定する。

人物を含む画像フレームについて、時々、人物の微細的な姿勢の変化を取得することが必要である。このとき、端末は、人物をターゲットブロックに分割して検出する場合、ターゲットブロック情報の変化が大きくないので、重要な画像フレームが非キーフレームに誤決定され、重要な情報の紛失が発生する可能性がある。

このため、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定ステップは、以下のステップを含む。

１）現在の画像フレームに人物が含まれた場合、直前の画像フレームの人物姿勢情報に対して現在の画像フレームが変化するか否かを検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たすか否かを検出するステップ。

２）人物姿勢情報が変化したと検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たした場合、現在の画像フレームをキーフレームとして決定するステップ。

端末は、現在の画像フレームにおける人物と背景を分離し、人物姿勢を分析し、背景をターゲットブロックに分割し、ターゲットブロック情報に基づいて検出し、分析結果と検出結果に基づいて画像がキーフレームであるか否かを決定することができる。その中に、人物姿勢情報は、顔表情または人物姿勢を含む。

人物姿勢を分析するための端末の方法は、複数あり、例えば、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）アルゴリズム、またはＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）アルゴリズムを使用して顔の特徴点の位置を特定し、主な器官の特徴を抽出し、表情に従って特徴を分類する。端末は、現在の画像フレームにおける特徴表情の分類と、直前の画像フレームにおける特徴表情の分類とが異なると検出した場合、当該現在の画像フレームをキーフレームとして決定する。端末のターゲットブロック情報に対する検出処理は上記の検出処理と同じなので、ここに省略する。

補足説明として、端末は、センサ情報に基づいてキーフレームを決定してもよい。例えば、センサ情報がＧＰＳ情報である場合、ＧＰＳ情報と、直前の画像フレームのＧＰＳ情報とを比較し、ＧＰＳ情報と直前の画像フレームのＧＰＳ情報との距離がＧＰＳ閾値より大きい場合、当該ＧＰＳ情報が対応する現在の画像フレームをキーフレームとして決定することができる。

ステップ２０４において、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ステップ２０２を、ビデオにおける最後の画像フレームが比較されるまで継続して実行する。

ビデオにおける全てのキーフレームを抽出するために、端末は、全ての画像フレームを比較することが必要であるので、現在の画像フレームが比較された後、現在の画像フレームの直後の画像フレームを新たな現在の画像フレームとして決定すると共に、当該現在の画像フレームを新たな現在の画像フレームの直前の画像フレームとして決定し、ステップ２０２をビデオにおける最後の画像フレームを現在の画像フレームとして比較されるまで継続して実行し、検出処理を完了する。

ステップ２０５において、決定された少なくとも１つのキーフレームを再生させる。

各キーフレームのそれぞれが１つの時間帯のビデオ内容を表すことができるので、端末には、決定された少なくとも１つのキーフレームを適切なフレーム速度で順番に再生させることによって、ビデオが表す有効情報が減縮めずに、ビデオの再生時間を圧縮することができる。このため、ビデオ内容に対する快速ブラウジングを実現でき、ビデオの再生効率を向上できる。

端末は、少なくとも１つのキーフレームを記憶することにより、ビデオが短いビデオに変換されることが好ましい。

以上により、本発明のビデオのブラウジング方法は、ビデオにおける現在の画像フレームと直前の画像フレームとを比較することにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを確定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較してターゲットブロック情報が取得され、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

また、ビデオにおける各画像フレーム及び画像フレームを撮影するときのセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨てることにより、捨て条件を満たす画像フレームに対する処理による資源の無駄を減少することができ、画像フレームに対する処理効率を向上させることができる。

図３は、例示的な実施例に係るビデオのブラウジング装置のブロック図であり、当該ビデオのブラウジング装置は、端末に用いられる。図３に示すように、当該ビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュール３１０と、画像比較モジュール３１０が取得したターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュール３２０と、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュール３３０と、画像決定モジュール３２０が決定された少なくとも１つのキーフレームを再生させるように構成される画像再生モジュール３４０とを有する。

以上により、本発明のビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較することにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定する。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較することにより、ターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決することができ、ビデオの再生効率を向上させる効果が得られる。

図４は、例示的な実施例に係るビデオのブラウジング装置のブロック図であり、当該ビデオのブラウジング装置は、端末に用いられる。図４に示すように、当該ビデオのブラウジング装置は、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較して、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュール３１０と、画像比較モジュール３１０が取得したターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュール３２０と、現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュール３３０と、画像決定モジュール３２０が決定された少なくとも１つのキーフレームを再生させるように構成される画像再生モジュール３４０とを有する。

画像比較モジュール３１０は、直前の画像フレームにおけるターゲットブロックを現在の画像フレームにおけるターゲットブロックと比較するように構成されるターゲット比較サブモジュール３１１と、ターゲット比較サブモジュール３１１によって現在の画像フレームに、直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックとして決定し、新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するように構成される第１決定サブモジュール３１２と、ターゲット比較サブモジュール３１１によって現在の画像フレームには、直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、現在の画像フレームにおける既存ターゲットブロックの直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するように構成される第２決定サブモジュール３１３と、ターゲット比較サブモジュール３１１によって直前の画像フレームには、現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれたと検出した場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するように構成される第３決定サブモジュール３１４と、を有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームのターゲットブロック情報から、既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックの移動情報を読み取るように構成される第１読取サブモジュール３２１と、移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するように構成される第１検出サブモジュール３２２と、第１検出サブモジュール３２２によって移動条件を満たす移動情報の数量が予め設定された閾値より大きいと検出した場合、現在の画像フレームをキーフレームとして決定するように構成される第４決定サブモジュール３２３とを有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのフラグ情報を読み取るように構成される第２読取サブモジュール３２４と、各フラグ情報に消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するように構成される第２検出サブモジュール３２５と、第２検出サブモジュール３２５によって消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、現在の画像フレームをキーフレームとして決定するように構成される第５決定サブモジュール３２６とを有することが好ましい。

ビデオのブラウジング装置は、ビデオにおける各画像フレーム及び画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するように構成される情報取得モジュール３５０と、情報取得モジュール３５０が取得したセンサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、ビデオにおける現在の画像フレームと、直前の画像フレームとを比較してターゲットブロック情報を取得する操作をトリガーするように構成される画像スクリーニングモジュール３６０とをさらに有することが好ましい。

画像決定モジュール３２０は、現在の画像フレームに人物が含まれた場合、直前の画像フレームにおける人物姿勢情報に対して現在の画像フレームが変化するか否かを検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たすか否かを検出するように構成される第３検出サブモジュール３２７と、第３検出サブモジュール３２７によって人物姿勢情報が変化したと検出し、且つ現在の画像フレームにおける人物以外のターゲットブロック情報が予め定められた条件を満たした場合、現在の画像フレームをキーフレームとして決定するように構成される第６決定サブモジュール３２８とを有することが好ましい。

以上により、本発明のビデオのブラウジング装置は、ビデオにおける現在の画像フレームと直前の画像フレームとを比較させることにより、現在の画像フレームに含まれるターゲットブロックと直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得し、ターゲットブロック情報が予め定められた条件を満たす場合、現在の画像フレームをキーフレームとして決定するように構成される。このため、ショットの境界に基づいてキーフレームを決定する必要がなく、ビデオにおける画像フレームのターゲットブロックを比較することによってターゲットブロック情報を取得することができ、ターゲットブロック情報に基づいてキーフレームをスクリーニングすることができるので、連続的なショットからキーフレームを抽出できないことによるビデオをブラウジングできない問題点を解決でき、ビデオの再生効率を向上させる効果が得られる。

また、ビデオにおける各画像フレーム及び画像フレームを撮影するときのセンサ情報を取得し、センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨てることによって、捨て条件を満たす画像フレームに対する処理による資源の無駄を減少でき、画像フレームに対する処理効率を向上させることができる。

上記の実施例における装置について、各个モジュールが実行する操作の具体的な方式は、関連する方法の実施例において詳しく説明されたので、ここに省略する。

図５は例示的な実施例に係るビデオのブラウジング装置５００のブロック図である。例えば、装置５００は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信機器、ゲームコントロール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってもよい。

図５に示すように、装置５００は、プロセスアセンブリ５０２、メモリ５０４と、電源アセンブリ５０６、マルチメディアアセンブリ５０８、オーディオアセンブリ５１０、入力/出力（Ｉ／Ｏ）インターフェース５１２、センサアセンブリ５１４、及び通信アセンブリ５１６のような１つ以上のアセンブリを含んでよい。

プロセスアセンブリ５０２は、一般的には装置５００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ５０２は、１つ以上のプロセッサ５１８を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ５０２は、１つ以上のモジュールを含み、これらによってプロセスアセンブリ５０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ５０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ５０８とプロセスアセンブリ５０２の間のインタラクションを容易にするようにしてもよい。

メモリ５０４は、各種類のデータを記憶することにより装置５００の操作を支援するように構成される。これらのデータの例は、装置５００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。

電源アセンブリ５０６は、装置５００の多様なアセンブリに電力を供給する。電源アセンブリ５０６は、電源管理システム、1つ以上の電源、及び装置５００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。

マルチメディアアセンブリ５０８は、前記装置５００とユーザの間に1つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは1つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ５０８は、1つのフロントカメラ、及び／又はリアカメラを含む。装置５００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、1つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。

オーディオアセンブリ５１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ５１０は、1つのマイク（ＭＩＣ）を含み、装置５００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ５０４に記憶されたり、通信アセンブリ５１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ５１０は、オーディオ信号を出力するための1つのスピーカーをさらに含む。

Ｉ／Ｏインターフェイス５１２は、プロセスアセンブリ５０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。

センサアセンブリ５１４は、装置５００に各方面の状態に対する評価を提供するための1つ以上のセンサを含む。例えば、センサアセンブリ５１４は、装置５００のＯＮ／ＯＦＦ状態、装置５００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ５１４は、装置５００、或は装置５００の1つのアセンブリの位置変更、ユーザと装置５００とが接触しているか否か、装置５００の方位、又は加速／減速、装置５００の温度の変化を検出できる。センサアセンブリ５１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ５１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ５１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。

通信アセンブリ５１６は、装置５００と他の機器の間に有線、又は無線形態の通信を提供する。装置５００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。1つの例示的な実施例において、通信アセンブリ５１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。1つの例示的な実施例において、前記通信アセンブリ５１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術、他の技術に基づいて実現できる。

例示的な実施例において、装置５００は、1つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。

例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ５０４を提供しており、装置５００のプロセッサ５１８により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、および光データ記憶デバイスなどであってもよい。

当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。

本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。

Claims (13)

1. ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するステップと、
   前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップと、
   前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するステップと、
   決定された少なくとも１つのキーフレームを再生させるステップと、
   を含むことを特徴とするビデオのブラウジング方法。
2. 前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップは、
   前記直前の画像フレームにおけるターゲットブロックと、前記現在の画像フレームにおけるターゲットブロックとを比較させるステップと、
   前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを、新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、確定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するステップと、
   前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するステップと、
   前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するステップと、
   を含むことを特徴とする請求項１に記載のビデオのブラウジング方法。
3. 前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、
   前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るステップと、
   移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するステップと、
   前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出したと、前記現在の画像フレームを前記キーフレームとして決定するステップと、
   を含むことを特徴とする請求項２に記載のビデオのブラウジング方法。
4. 前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップは、
   前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのフラグ情報を読み取るステップと、
   各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するステップと、
   前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するステップと、
   を含むことを特徴とする請求項２に記載のビデオのブラウジング方法。
5. 前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するステップと、
   前記センサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップをトリガーするステップと、
   をさらに含むことを特徴とする請求項１ないし４の何れか１つに記載のビデオのブラウジング方法。
6. 前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するステップが、
   前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するステップと、
   前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するステップと、
   を含むことを特徴とする請求項１に記載のビデオのブラウジング方法。
7. ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記現在の画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較して得る情報であるターゲットブロック情報を取得するように構成される画像比較モジュールと、
   前記画像比較モジュールが取得した前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定するように構成される画像決定モジュールと、
   前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作を、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行するように構成される操作実行モジュールと、
   前記画像決定モジュールが決定した少なくとも１つのキーフレームを再生させるように構成される画像再生モジュールと、
   を有することを特徴とするビデオのブラウジング装置。
8. 前記画像比較モジュールは、
   前記直前の画像フレームにおけるターゲットブロックを前記現在の画像フレームにおけるターゲットブロックと比較させるように構成されるターゲット比較サブモジュールと、
   前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを新たに追加されたターゲットブロックとして決定し、前記新たに追加されたターゲットブロックに対して、決定されたキーフレームの個数に１を加算してなるフラグ情報を設定し、各新たに追加されたターゲットブロックのターゲットブロック情報を取得するように構成される第１決定サブモジュールと、
   前記ターゲット比較サブモジュールによって前記現在の画像フレームには、前記直前の画像フレームが備える少なくとも１つのターゲットブロックが含まれた場合、当該備える各ターゲットブロックを既存ターゲットブロックとして決定し、前記現在の画像フレームにおける前記既存ターゲットブロックの前記直前の画像フレームにおける対応するターゲットブロックに対する移動情報を計算し、各既存ターゲットブロックのターゲットブロック情報を取得するように構成される第２決定サブモジュールと、
   前記ターゲット比較サブモジュールによって前記直前の画像フレームには、前記現在の画像フレームが備えない少なくとも１つのターゲットブロックが含まれた場合、当該備えない各ターゲットブロックを消失ターゲットブロックとして決定し、各消失ターゲットブロックのターゲットブロック情報を取得するように構成される第３決定サブモジュールと、
   を有することを特徴とする請求項７に記載のビデオのブラウジング装置。
9. 前記画像決定モジュールは、
   前記現在の画像フレームのターゲットブロック情報から、前記既存ターゲットブロックの移動の回数と、移動の変位と、到達した領域との少なくとも１つを含む各既存ターゲットブロックのそれぞれの移動情報を読み取るように構成される第１読取サブモジュールと、
   移動条件を満たす移動情報の数量が予め設定された閾値より大きいか否かを検出するように構成される第１検出サブモジュールと、
   前記第１検出サブモジュールによって前記移動条件を満たす移動情報の数量が前記予め設定された閾値より大きいと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第４決定サブモジュールと、
   を有することを特徴とする請求項８に記載のビデオのブラウジング装置。
10. 前記画像決定モジュールは、
    前記現在の画像フレームのターゲットブロック情報から、各ターゲットブロックのそれぞれのフラグ情報を読み取るように構成される第２読取サブモジュールと、
    各フラグ情報に前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有するか否かを検出するように構成される第２検出サブモジュールと、
    前記第２検出サブモジュールによって前記消失ターゲットブロックのフラグ情報と同一のフラグ情報を有しないと検出した場合、前記現在の画像フレームを前記キーフレームとして決定するように構成される第５決定サブモジュールと、
    を有することを特徴とする請求項８に記載のビデオのブラウジング装置。
11. 前記ビデオにおける各画像フレーム及び前記画像フレームを撮影するときのＧＰＳ情報と、加速度情報と、感度ＩＳＯ情報との少なくとも１つを含むセンサ情報を取得するように構成される情報取得モジュールと、
    前記情報取得モジュールが取得したセンサ情報に基づいてスクリーニング条件を満たさない画像フレームを捨て、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得する操作の実行をトリガーするように構成される画像スクリーニングモジュールと、
    をさらに有することを特徴とする請求項７ないし１０の何れか１つに記載のビデオのブラウジング装置。
12. 前記画像決定モジュールは、
    前記現在の画像フレームに人物が含まれた場合、前記直前の画像フレームの人物姿勢情報に対して前記現在の画像フレームが変化するか否かを検出し、且つ前記現在の画像フレームにおける前記人物以外のターゲットブロック情報が前記予め定められた条件を満たすか否かを検出するように構成される第３検出サブモジュールと、
    前記第３検出サブモジュールによって前記人物姿勢情報が変化したと検出し、且つ前記現在の画像フレームにおいる前記人物以外のターゲットブロック情報が前記予め定められた条件を満たした場合、前記現在の画像フレームをキーフレームとして決定するように構成される第６決定サブモジュールと、
    を有することを特徴とする請求項７に記載のビデオのブラウジング装置。
13. プロセッサと、
    プロセッサが実行できる命令を記憶するためのメモリとを有し、
    前記プロセッサは、
    ビデオにおける現在の画像フレームと直前の画像フレームとを比較して、前記画像フレームに含まれるターゲットブロックと前記直前の画像フレームに含まれるターゲットブロックとを比較させて得られる情報であるターゲットブロック情報を取得し、
    前記ターゲットブロック情報が予め定められた条件を満たす場合、前記現在の画像フレームをキーフレームとして決定し、
    前記現在の画像フレームの直後の画像フレームを現在の画像フレームとして決定し、前記ビデオにおける現在の画像フレームと直前の画像フレームとを比較してターゲットブロック情報を取得するステップを、前記ビデオにおける最後の画像フレームが比較されるまで継続して実行し、
    決定された少なくとも１つのキーフレームを再生させるように構成されることを特徴とするビデオのブラウジング装置。

Images