JP2018190394A - 監視ビデオにおけるデータの拡張方法及び装置 - Google Patents

Abstract

【課題】本発明は、監視ビデオにおけるデータの拡張方法及び装置を提供する。
【解決手段】該方法は、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、選択された１つ又は複数の処理機能を用いてデータを処理し、新たなデータを取得するステップと、所定数のデータを生成するまで上記のステップを繰り返し実行するステップとを含む。本発明の方法によれば、少ない入力サンプルのみで、小さいサイズ及び多様性を有する監視データを実現できると共に、拡張データのランダム性及び包括性を確保できる。
【選択図】図２

Description

本発明は、データ処理の分野に関し、具体的には、監視ビデオにおけるデータの拡張方法及び装置に関する。

機械学習に基づく監視ビデオの分析では、訓練データは高価であり、数が不十分であり、特にカスタマイズされたアプリケーションではより深刻である。

従って、監視ビデオにおける不十分な数のデータを拡張する方法が求められている。

以下は、本発明の態様を基本的に理解させるために、本発明の簡単な概要を説明する。なお、この簡単な概要は、本発明を網羅的な概要ではなく、本発明のポイント又は重要な部分を意図的に特定するものではなく、本発明の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。

本発明は、監視ビデオにおけるデータの拡張の方法及び装置を提供することを目的とする。

上記の目的を実現するために、本発明の１つの態様では、監視ビデオにおけるデータの拡張方法であって、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含む、方法を提供する。

本発明のもう１つの態様では、監視ビデオにおけるデータの拡張装置であって、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含む、装置を提供する。

本発明のもう１つの態様では、上記の方法を実現するためのコンピュータプログラムをさらに提供する。

本発明のもう１つの態様では、少なくともコンピュータが読み取り可能なコンピュータプログラムプロダクトであって、上記の方法を実現するためのコンピュータプログラムコードを記録しているコンピュータプログラムプロダクトをさらに提供する。

以下の図面を参照しながら本発明の好ましい実施例を詳細に説明することによって、本発明の上記の利点及び他の利点がより明確になる。

本発明の上記及び他の目的、特徴及び利点を理解させるために、以下は図面を参照しながら本発明の実施例を説明する。図面における構成は単なる本発明の原理を示すためのものである。図面において、同一又は類似の技術的特徴又は構成は、同一又は類似の符号で示されている。
本発明の監視ビデオにおけるデータの拡張方法を実現するためのシステムを示す図である。 本発明の１つの実施例の監視ビデオにおけるデータの拡張方法の一例を示すフローチャートである。 図３Ａ〜図３Ｅは画像空間伸長を示す図である。 図３Ａ〜図３Ｅは画像空間伸長を示す図である。 図３Ａ〜図３Ｅは画像空間伸長を示す図である。 図３Ａ〜図３Ｅは画像空間伸長を示す図である。 図３Ａ〜図３Ｅは画像空間伸長を示す図である。 図４Ａ〜図４Ｄは画像回転を示す図である。 図４Ａ〜図４Ｄは画像回転を示す図である。 図４Ａ〜図４Ｄは画像回転を示す図である。 図４Ａ〜図４Ｄは画像回転を示す図である。 画像トリミングを示す図である。 ビデオシーンに基づく画像の照明変更を示す図である。 イベントの削除を示すフローチャートである。 イベントの追加を示すフローチャートである。 本発明のもう１つの実施例の監視ビデオにおけるデータの拡張装置８００の構成の一例を示すブロック図である。 本発明の実施例の監視ビデオにおけるデータの拡張方法及び装置を実施するためのコンピュータ装置の構成の一例を示す図である。

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。

なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件又は処理のステップのみが示され、本発明と関係のない細部が省略されている。

本発明は、監視ビデオにおけるデータ量が不足している場合、機械学習のために訓練データを拡張する方法を提供する。本発明の方法によれば、少ない入力サンプルのみで、小さいサイズ及び多様性を有する監視データを実現できる。拡張データのランダム性及び包括性を確保するために、本発明の方法は、各機能及び機能のパラメータ選択のランダム性を提供する。

データの拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）は、画像及びビデオに対して処理を行って実際の監視環境、例えば異なるカメラの品質、異なる視野角、昼と夜、画像シーン及び異なる天候状況をシミュレートすることを含む。これは、監視アプリケーションにおける訓練及び分析に役に立つ。

本発明のデータ拡張方法は、入力画像又はビデオに対して、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更などの機能を実現してもよい。各機能は、機能を満たすための異なる方法を含み、異なる結果が得られる。

異なる結果が得られるように、データに適用するための１つ又は複数の機能をランダムに選択し、或いは組み合わせてもよい。図１は本発明の監視ビデオにおけるデータの拡張方法を実現するためのシステムを示す図である。図１において、全てのアルゴリズムは、データに対して実行する全ての機能及び機能の関連方法を意味する。ユーザ要求は、使用可能な機能と、選択された機能に適用可能な方法及びパラメータ設定又は範囲を指定する。論理フィルタリングは、アルゴリズムがどのように画像に用いられることを明確化するように、ユーザ要求及び全てのアルゴリズムに基づいて、アルゴリズムの実行順序を自動的に導出し、パラメータ範囲から値をランダムに選択する。実行順序は、論理フィルタリングにより生成されたアルゴリズムの実行順序である。アルゴリズムは、最終的に選択されたアルゴリズム及び対応するパラメータである。

図１に示すシステムは、ユーザ要求に基づいて、データに対して実行される全ての機能から画像に対して実行される機能及び実行順序を自動的に選択し、新たな画像を生成できる。

以下は、図面を参照しながら、本発明の実施例の監視ビデオにおけるデータの拡張方法及び装置を詳細に説明する。以下の説明は、以下の順序で行われる。

１．ビデオ監視におけるデータの拡張方法
２．ビデオ監視におけるデータの拡張装置
３．本発明の方法及び装置を実施するためのコンピュータ装置
＜１．ビデオ監視におけるデータの拡張方法＞
図２は本発明の１つの実施例の監視ビデオにおけるデータの拡張方法の一例を示すフローチャートである。

まず、ステップＳ２０２において、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択する。

そして、ステップＳ２０４において、選択された１つ又は複数の処理機能を用いてデータを処理し、新たなデータを取得する。

最後に、ステップＳ２０６において、所定数のデータを生成するまで、上記のステップを繰り返し実行する。

１つの態様では、複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含んでもよい。

以下は、各処理機能を詳細に説明する。
＜空間変換＞
空間変換は、像生成空間関係及び画像における対象位置を変換し、具体的には、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションを含んでもよい。

画像空間伸長は、所定のアスペクト比、画像の幅又は高さに基づいて、画像を伸長させる。例えば、画像のサイズを指定し、且つ元のアスペクト比を維持する場合、画像充填アルゴリズムが必要である場合はある。

図３Ａ〜図３Ｅは画像空間伸長を示す図である。図３Ａは元の画像を示し、図３Ｂは画像全体を所定のアスペクト比に伸長させることを示し、図３Ｃ及び図３Ｄは画像を拡大又は縮小することを示し、図３Ｅは画像を所定のサイズに伸長させて、幾何学的不変性を維持するように充填を行うことを示す。

画像回転は、従来の視角に違反しないように、画像を回転させることである。

図４Ａ〜図４Ｄは画像回転を示す図である。図４Ａは元の画像であり、図４Ｂは回転された画像であり、図４Ｃ及び図４Ｄは従来の視角に違反している誤った画像である。

画像を反転させることで、満足できる新たな画像を取得できる。また、［−ａ°，＋ａ°］内の回転角度で元／反転の画像をランダムに回転させてもよく、ここで、ａは任意の整数であり、通常５未満に設定される。

画像トリミングは、所定のサイズ及びサンプリング規則に従って画像を切り取ることである。例えば、画像のサイズは（ｗ，ｈ）であり、切り取られた画像のサイズは（αｗ，βｈ）であり、α、β∈（０，１］である（ｗは幅であり、ｈは高さであり、α及びβは縮小拡大の因子である）。切り取られた画像の数Ｎは以下の通りである。

Ｎ＝ｒｏｕｎｄ（１／α）＊ｒｏｕｎｄ（１／β）＝Ａ＊Ｂ
該等式では、ｒｏｕｎｄは切り上げ（ｒｏｕｎｄ−ｕｐ）を意味するため、ｒｏｕｎｄ（１／０．４）＝３となる。まず、幅をＡ個の部分に等分し、この場合は幅方向にＡ＋１個のトリミング点（即ち端点及び等分点）がある。Ａが偶数の場合は、Ａ／２個のサブ画像の左上の隅点がトリミング点と一致し、且つ残りのＡ／２個のサブ画像の右上の隅点がトリミング点と一致するように、（αｗ，βｈ）のサイズで左から右へＡ／２個のサブ画像、右から左へ残りのＡ／２個のサブ画像を順次にトリミングする。Ａが奇数の場合は、上記の方法に従って（Ａ−１）個のサブ画像をトリミングする。そして、残りの１個のサブ画像がトリミングされた（Ａ−１）個のサブ画像と高さで位置合わせ、その中心点のｘ座標が元画像の中心点ｘの座標と一致する（ｘは幅方向における位置を意味する）ようにする。同様な方法を用いて高さ方向におけるトリミング位置を決定し、各高さトリミング位置において幅トリミング処理を繰り返し、画像全体をカバーする全てのサブ画像を取得できる。

図５は画像トリミングを示す図であり、図５において、α＝０．４、β＝０．８となるようにする。

画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションである。

まず、撮像装置の既知のパラメータに基づいて画像歪みを補正する。

そして、補正された画像に新たなカメラ撮像パラメータを適用する。
＜照明変化＞
照明変化は、異なる撮像光条件をシミュレートするために用いられる。照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含む。

ランダムな照明変更は、色度を含む色空間、例えばＨＳＶ（色度、彩度、明度）又はＨＳＬ（色度、彩度、輝度）の色空間において、色度の成分を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することである。

ビデオシーンに基づく照明変更は、同一のシーンで取得されたビデオが一日の異なる時刻で異なる照明を有するため、照明が合理的になるように直後のフレーム又は直前のフレームに基づいて画像の色を変更することである。

具体的には、ビデオにおけるｎ番目のフレームについて、ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ−ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得する。ｎ及びｍは、任意の正整数である。ビデオにおける各フレームについて上記の処理を実行して、新たな画像を取得する。ヒストグラムは、全てのフレーム、自己適応なアルゴリズム若しくはユーザにより指定されたアルゴリズムにより選択されたフレームにおける領域に基づいて算出されてもよい。図６はビデオシーンに基づく画像の照明変更を示す図である。
＜ノイズフィルタリング＞
ノイズフィルタリングはランダム干渉の下での画像生成の差異を考慮する。ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含む。

前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することである。ノイズ追加は、乱数発生器、例えばガウス又は平均乱数発生器を用いて行われてもよい。１つ又は複数のノイズ追加方法を用いて新たな画像を取得してもよい。

焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことである。

また、推定された目標距離に基づいて焦点外れを再現してもよい。具体的には、まず目標距離を推定し、そして、カメラのパラメータ及び推定された目標距離に基づいて焦点外れのシミュレーションを行う。
＜シーン合成＞
シーン合成機能は、資料ライブラリ、動作生成器及びシーン制御器という３つの部分を含む仮想画像を提供する。

資料ライブラリは、監視ビデオにおいて発生する対象及びシーンの資料を提供する。

動作生成器は、イベント生成をサポートするように、各種の動作、例えば車の衝突、転倒、走り、制動などに対してシミュレーションを行う。

シーン制御器は、組み込まれた論理ブロックにより、資料ライブラリからの資料をまとめ、仮想監視画像を生成する。制御器は、各種のシーン、天候、一日の時間、目標、目標位置、イベント、撮影角度及び画像生成装置などを指定してもよい。例えば、画像における道路上キューブの形状を合成し、残留物をシミュレートしてもよい。また、歩行者を１つのシーンからもう１つのシーンに複製して、混雑した環境をシミュレートしてもよい。
＜イベント変更＞
イベント変更の機能は、元の画像を編集して画像におけるシーン又は態様を変更するツールを提供する。イベント変更は、イベントの削除及びイベントの追加を含んでもよい。

イベントの削除は、イベントを検出することと、関連対象を削除することと、シーンを修復し、新たな画像を生成することとを含む。図７Ａはイベントの削除を示すフローチャートである。

イベントの追加は、シーン情報を抽出することと、イベントの範囲（ＲＯＩ：感心領域）を指定することと、シーン合成からの機能を用いて具体的なイベントを追加することとを含む。図７Ｂはイベントの追加を示すフローチャートである。

以上のデータを処理するための複数の処理機能はランダムな順序で実行されてもよい。選択された処理機能に前記シーン合成が含まれている場合、データに対してシーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する。

本発明は、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータを自動的に選択することで、監視ビデオのデータを容易、且つ効果的に拡張できる統合された監視ビデオにおけるデータの拡張方法を提供する。本発明の方法によれば、少ない入力サンプルのみで、小さいサイズ及び多様性を有する監視データを実現できると共に、拡張データのランダム性及び包括性を確保できる。
＜２．ビデオ監視におけるデータの拡張装置＞
図８は本発明のもう１つの実施例の監視ビデオにおけるデータの拡張装置８００の構成の一例を示すブロック図である。

図８に示すように、監視ビデオにおけるデータの拡張装置８００は、機能選択部８０２、処理部８０４及び繰り返し制御部８０６を含む。

機能選択部８０２は、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ部をランダムに選択する。

処理部８０４は、選択された１つ又は複数の機能サブ部を用いてデータを処理し、新たなデータを取得する。

繰り返し制御部８０６は、所定数のデータを生成するまで、機能選択部及び処理部による処理を繰り返し実行する。

ここで、機能サブ部は、空間変換サブ部、照明変化サブ部、ノイズフィルタリングサブ部、シーン合成サブ部及びイベント変更サブ部を含む。

ここで、ランダムな順序で選択された複数の機能サブ手段を実行する。ここで、選択された機能サブ部にシーン合成が含まれている場合、シーン合成サブ部を用いてデータに対して処理を実行した後に、ランダムな順序で他の機能サブ部の処理を実行する。

空間変換サブ部は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を実行する。

ここで、画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、撮像装置の既知のパラメータに基づいて画像歪みを補正することと、補正された画像に新たな撮像パラメータを適用することと、を含む。

照明変化サブ部は、ランダムな照明変更、及びビデオシーンに基づく照明変更の１つ以上を実行する。

ここで、ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含む。

ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ−ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である。

ノイズフィルタリングサブ部は、ノイズ追加及び焦点外れシミュレーションの１つ以上を実行する。

ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含む。

焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む。

シーン合成サブ部は、資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供し、各種の動作に対してシミュレーションを行い、資料ライブラリからの資料をまとめ、仮想監視画像を生成する。

イベント変更サブ部は、イベントの削除及びイベントの追加の１つ以上を実行する。

ここで、イベントの削除は、イベントを検出することと、関連対象を削除することと、シーンを修復し、新たな画像を生成することと、を含む。

イベントの追加は、シーン情報を抽出することと、イベントの範囲を指定することと、前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む。

監視ビデオにおけるデータの拡張装置８００の各部の処理及び機能の詳細は、図１〜図７に説明された本発明の監視ビデオにおけるデータの拡張方法の実施例を参照してもよく、ここで詳細な説明が省略される。

なお、図８に示す監視ビデオにおけるデータの拡張装置８００の構成部の構成は単なる例示的なものであり、当業者は必要に応じて図８に示す構成を変更してもよい。
＜３．本発明の方法及び装置を実施するためのコンピュータ装置＞
以上は具体的な実施例を参照しながら本発明の基本的な原理を説明しているが、当業者は本発明の方法及び装置の全て又は一部のステップ又は構成部を理解でき、任意のコンピュータ装置（処理装置、記憶媒体などを含む）又はコンピュータ装置のネットワークにおいてハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより実現してもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。

このため、本発明は、任意のコンピュータ装置で１つ又は一連のプログラムを実行することで実現されてもよい。該コンピュータ装置は周知の汎用装置である。よって、本発明は、該方法又は装置を実現するためのプログラムコードを含むプログラムプロダクトにより実現されてもよい。即ち、このようなプログラムプロダクトも本発明に属し、このようなプログラムプロダクトを記憶している記録媒体も本発明に属する。なお、記憶媒体は、任意の周知の記憶媒体又は将来に開発される任意の記憶媒体であってもよい。

ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図９示されている汎用コンピュータ９００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。

図９において、中央処理部（ＣＰＵ）９０１は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ９０３には、必要に応じて、ＣＰＵ９０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力インターフェース４０５もバス９０４に接続されている。

入力部９０６（キーボード、マウスなどを含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部９０８（例えばハードディスクなどを含む）、通信部９０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部９１０は、入力／出力インターフェース９０５に接続されてもよい。取り外し可能な媒体９１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部９１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部９０８にインストールされている。

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体９１１を介してソフトウェアを構成するプログラムをインストールする。

これらの記憶媒体は、図９に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体９１１に限定されない。取り外し可能な媒体９１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ９０２、記憶部９０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

本発明は、機器に読み取り可能な命令コードを記憶するプログラムプロダクトをさらに提供する。該命令コードは機器により読み出されて、上述した本発明の実施例に係る方法を実行できる。

それに応じて、本発明は、機器読み取り可能な命令コードを記憶するプログラムのプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックを含むが、これらに限定されない。

ここで列挙されたものは単なる例示的なものであり、本発明はこれに限定されない。

本明細書では、「第１」、「第２」及び「第Ｎ」等の表現は、本発明を明確に説明するため、説明される特徴を文言上で区別するためのものである。よって、それらの表現は、限定的な意味をものではない。

１つの例では、上記方法の各ステップ及び上記装置の各構成モジュール及び／又はユニットはソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせにより実現されてもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。

１つの例では、ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図９示されている汎用コンピュータ９００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。

なお、本発明の具体的な実施例の上記の説明では、１つの態様について説明及び／又は例示された特徴は同一又は類似の方式で１つ又は複数の他の態様に用いられてもよいし、他の態様における特徴と組み合わせてもよいし、他の態様における特徴の代わりに用いられてもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。

以上は本発明の具体的な実施例の説明を通じて本発明を開示するが、上記の全ての実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
監視ビデオにおけるデータの拡張方法であって、
ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含む、方法。
（付記２）
前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含む、付記１に記載の方法。
（付記３）
ランダムな順序で選択された複数の処理機能を実行し、
選択された処理機能に前記シーン合成が含まれている場合、データに対して前記シーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する、付記２に記載の方法。
（付記４）
前記空間変換は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を含む、付記２に記載の方法。
（付記５）
前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、
撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
補正された画像に新たな撮像パラメータを適用することと、を含む、付記４に記載の方法。
（付記６）
前記照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含み、
前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ−ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、付記２に記載の方法。
（付記７）
前記ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含み、
前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、付記２に記載の方法。
（付記８）
前記シーン合成は、
資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供することと、
各種の動作に対してシミュレーションを行うことと、
前記資料ライブラリからの資料をまとめ、仮想監視画像を生成することと、を含む、付記２に記載の方法。
（付記９）
前記イベント変更は、イベントの削除及びイベントの追加を含み、
前記イベントの削除は、
イベントを検出することと、
関連対象を削除することと、
シーンを修復し、新たな画像を生成することと、を含み、
前記イベントの追加は、
シーン情報を抽出することと、
イベントの範囲を指定することと、
前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、付記２に記載の方法。
（付記１０）
監視ビデオにおけるデータの拡張装置であって、
ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含む、装置。
（付記１１）
前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含む、付記１０に記載の装置。
（付記１２）
ランダムな順序で選択された複数の機能サブ手段を実行し、
選択された機能サブ手段に前記シーン合成サブ手段が含まれている場合、前記シーン合成サブ手段を用いてデータに対して処理を実行した後に、ランダムな順序で他の機能サブ手段の処理を実行する、付記１１に記載の装置。
（付記１３）
前記空間変換サブ手段は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を実行する、付記１１に記載の装置。
（付記１４）
前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、
撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
補正された画像に新たな撮像パラメータを適用することと、を含む、付記１３に記載の装置。
（付記１５）
前記照明変化サブ手段は、ランダムな照明変更、及びビデオシーンに基づく照明変更の１つ以上を実行し、
前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ−ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、付記１１に記載の装置。
（付記１６）
前記ノイズフィルタリングサブ手段は、ノイズ追加及び焦点外れシミュレーションの１つ以上を実行し、
前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、付記１１に記載の装置。
（付記１７）
前記シーン合成サブ手段は、
資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供し、
各種の動作に対してシミュレーションを行い、
前記資料ライブラリからの資料をまとめ、仮想監視画像を生成する、付記１１に記載の装置。
（付記１８）
前記イベント変更サブ手段は、イベントの削除及びイベントの追加の１つ以上を実行し、
前記イベントの削除は、
イベントを検出することと、
関連対象を削除することと、
シーンを修復し、新たな画像を生成することと、を含み、
前記イベントの追加は、
シーン情報を抽出することと、
イベントの範囲を指定することと、
前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、付記１１に記載の装置。

Claims (10)

1. 監視ビデオにおけるデータの拡張方法であって、
   ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
   選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
   所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含む、方法。
2. 前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含む、請求項１に記載の方法。
3. ランダムな順序で選択された複数の処理機能を実行し、
   選択された処理機能に前記シーン合成が含まれている場合、データに対して前記シーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する、請求項２に記載の方法。
4. 前記空間変換は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を含む、請求項２に記載の方法。
5. 前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、
   撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
   補正された画像に新たな撮像パラメータを適用することと、を含む、請求項４に記載の方法。
6. 前記照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含み、
   前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
   前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ−ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、請求項２に記載の方法。
7. 前記ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含み、
   前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
   前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、請求項２に記載の方法。
8. 前記シーン合成は、
   資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供することと、
   各種の動作に対してシミュレーションを行うことと、
   前記資料ライブラリからの資料をまとめ、仮想監視画像を生成することと、を含む、請求項２に記載の方法。
9. 前記イベント変更は、イベントの削除及びイベントの追加を含み、
   前記イベントの削除は、
   イベントを検出することと、
   関連対象を削除することと、
   シーンを修復し、新たな画像を生成することと、を含み、
   前記イベントの追加は、
   シーン情報を抽出することと、
   イベントの範囲を指定することと、
   前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、請求項２に記載の方法。
10. 監視ビデオにおけるデータの拡張装置であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
    選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
    所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含む、装置。