JP2008131617A - 映像処理装置 - Google Patents

Abstract

【課題】
フレーム間の動きベクトルから、被写体を捉えているシーンの判定を行い、動画像を自動編集すること、および、映像の自動編集装置の使い勝手を向上させること。
【解決手段】
フレーム間の動きベクトルを解析し、その結果、同じ向き、同じ大きさの動きベクトルが集まっている領域を追尾中の被写体であると判定することで、被写体を捉えているシーンを自動で抽出、編集することが可能になる。また、編集映像は、複数のシーンから構成されるが、各シーンを編集順に並べるだけでなく、重要度に基づいて並び替えたり、同じようなシーンをつなぎ合わせて纏めたりすることで、視聴者の使い勝手を向上させることが可能になる。
【選択図】 図１

Description

本発明は、動画像の自動編集機能を有する映像処理装置に関する。

該技術分野の背景技術として、種々のものが提案されている。

例えば、特開２００２−１７６６１３号公報（特許文献１）がある。該公報には、課題として「動画像を自動編集する装置を提供する。」と記載されている。また、解決手段として「固定ディスク１０４に複数の動画像ファイル１４２を記憶した動画像処理装置において、判定部２１、抽出部２２および合成部２３を設ける。判定部２１は画像信号または音声信号が所定の基準を満たす動画像中の部分を特定する。例えば、特定の人物の顔が映し出されている部分、撮影の際にズームアップが行われた部分、音量が所定の値を超える部分等が特定される。抽出部２２は特定された部分を含む部分動画像を動画像ファイル１４２から抽出する。合成部２３は、部分動画像を結合して編集済ファイル１４３を生成する。これにより、動画像の自動編集が実現される。」と開示されている。

また、特開２００５−３１８１８０号公報（特許文献２）がある。該公報には、課題として「ダビングにあたって何も操作しなくても、ユーザの所望した位置でチャプターを自動的に設定できるようにする。」と記載されている。また、解決手段として「デジタルビデオカメラで撮影を行う場合、チャプターを設定したい箇所で静止画を撮影し挿入しておく。撮影した映像をカメラからハードディスクレコーダにダビングする際に、レコーダでは、映像データをＭＰＥＧエンコーダにより可変ビットレートで圧縮処理してハードディスクに記録する。このビットレートの値を閾値と比較し、閾値に満たない状態が一定区間以上連続すれば、映像が静止画であると判断して、その静止画の部分でチャプターを設定する。」と開示されている。

特開２００２−１７６６１３号公報 特開２００５−３１８１８０号公報

近年、記録媒体の大容量化に伴い、ビデオカメラ等による動画像の長時間記録が可能になっている。また、パーソナルコンピュータ等により、これらの動画像を取り込み、編集することで新たな動画像を生成、記録を行うソフトも存在する。しかし、編集作業においては、残したいシーンを決定するために、映像および音声を視聴しながら作業することが不可欠であるため、長時間の動画像を編集する作業では、多大な労力および時間が必要となる。

そこで、動画像の自動編集を可能にする技術が提案されている。

例えば、映像の記録時に、カメラの傾き、露光データ、ズーム倍率データ、被写体距離データなどの撮影環境情報を記録しておき、これらの情報に基づいて自動編集するという技術がある。また、記録された映像に対しては、特定の人間の顔が映っているシーン、音量が所定の基準を超えるシーンなどを抽出する技術や、高速でパン、チルト、ズームしているシーンは視聴者に不快感を与えるとして、自動的に削除する技術などがある。一方、ビデオカメラの場合、編集を容易にするための方法として、チャプターを設定したい位置で静止画を撮影しておき、編集時に映像のビットレートをもとにチャプターを自動設定する技術がある。

これらの自動編集技術を用いることにより、必要なシーンだけを残すことができる。しかし、編集前の映像データが膨大な量である場合、編集映像の量も自ずと多くなってしまう。そこで例えば、視聴者に対しては、編集映像を単に編集順に並べるのではなく、映像の重要度を考慮した順に並び替えて提供することにより使い勝手が向上する。

本発明は、映像の自動編集装置の使い勝手を向上させることを目的とする。

本発明の代表的なある一面の概要は、上記目的を達成するため、フレーム間の動きベクトルから、被写体を捉えているシーンの判定を行い、動画像を自動編集する構成となっている。詳細には、上記目的は特許請求項の範囲に記載の発明により達成できる。

本発明によれば、映像の自動編集装置の使い勝手が向上する。

なお、上記した以外の課題、手段、効果は、以下に説明する実施形態の中で明らかにされる。

以下、図面を用いて本発明の一実施の形態を説明する。

図１は、本発明による動画像の自動編集方法の第１実施例に係る映像処理システムを示すブロック図である。ここでは、本映像処理システムをビデオカメラに適用した場合の一例について示す。図１において、１は撮像部、２は記録媒体、３は記録媒体２に記録されている撮影映像、４は撮影映像３を自動編集することで生成される編集映像、５は映像解析部、６は映像抽出部、７は映像編集部、８は表示部を示している。なお、撮影映像３における撮影映像Ａ〜Ｃは、個々の撮影映像ファイルを意味する。これらの映像ファイルは、ファイル単位でアクセスすることが可能である。同様に、編集映像４における編集映像Ａ−１、Ａ−２、…、Ｃ−２は、個々の編集映像ファイルを意味する。これらの編集映像ファイルについても、ファイル単位でアクセスすることが可能である。ここでアクセスとは記録媒体への記録および／または再生である。また、記録媒体へのアクセスは、不図示の記録再生部にて行なわれるが、以下の説明では省略する。

ビデオカメラで撮影された映像は、撮影映像３として記録媒体２に格納される。撮影された映像を自動編集する場合、まず、撮影映像３の各撮影映像ファイルに対し、映像解析部５による映像解析を行う。次に、映像抽出部６では、この解析結果をもとに、撮影映像３の各撮影映像ファイルから、実際に編集して残すシーンの抽出を行う。抽出されたシーンは、映像編集部７により、編集映像４として再び記録媒体２に格納される。格納された編集映像４は、表示部８において再生する。なお、編集映像４における編集映像Ａ−１、Ａ−２というのは、撮影映像３における撮影映像Ａから抽出された、シーン１およびシーン２であることを意味している。

ここで、映像解析部５における処理について示す。映像解析部５では、撮影映像３に対し、フレーム間の動き情報の解析を行うことにより、動きベクトルを求める。以下、具体例を挙げて、より詳細に説明する。

図２は、走行中の車を撮影した映像を、映像解析部５において処理した結果を簡易的に示したものである。図２において、９は被写体の車両、１０は動きベクトルを示している。図２（ａ）は、被写体９を離れた位置から撮影した場合、図２（ｂ）は、被写体９をズームアップし、カメラを動かしながら追尾するように撮影した場合である。図２（ａ）の場合、撮影映像の中で動いているのは被写体９であるため、その周囲に動きベクトルが現れることになる。被写体９が剛体であるとすれば、その周囲には、同じ向き、同じ大きさの動きベクトルが現れることになる。これに対し、図２（ｂ）の場合は、被写体９を追尾しながら撮影しているため、被写体９ではなく、その背景領域に動きベクトルが現れることになる。この場合、被写体９の周囲には、ほとんど動きベクトルが現れない。これは、動きベクトルの大きさがほぼ「０」であるというだけであり、図２（ａ）の場合と同様に、被写体９の周囲に同じ向き、同じ大きさの動きベクトルが出ていることになる。従って、撮影された映像の動きベクトルを解析し、その結果、同じ向き、同じ大きさの動きベクトルが集まっている領域が存在する映像部分を抽出シーンとすることにより、被写体９を撮影しているシーンの抽出が可能になる。

なお、抽出シーンは、被写体９が所定の大きさ以上で映っているシーンとする。これは、編集映像４が、被写体の良く映っているシーンで構成されることが好ましく、被写体が小さく映っているシーンなどの抽出を防ぐためである。この判定基準は、撮影映像３における、撮影映像ファイルごとに設ける。判定基準の決定方法としては、例えば、被写体９が最も大きく映っているフレームを検出し、そのフレームにおける被写体サイズを計測し、その大きさの半分以上のサイズで被写体９が映っているシーンのみを抽出対象とするという方法などが挙げられる。

本実施例では、撮影した映像を記録媒体に格納した後に映像解析を行う構成を示したが、撮影と同時に映像解析を行い、この解析結果を撮影映像と共に記録し、この情報を映像抽出の際に用いる構成にしても良い。また、本実施例では、編集映像を記録媒体に格納した後に表示部へ出力する構成を示したが、編集映像を直接表示部へ出力する構成にしても良い。なお、映像抽出部６は、映像解析部５の解析結果をもとに抽出シーンの決定を行うが、その際、抽出シーンの前後に一定のマージンを付けた抽出を行ってもよい。マージンを付けずに抽出した場合、編集映像４は、被写体９がカメラの画角に収まっているシーンだけとなってしまう。しかし、マージンを付けて抽出を行った場合、編集映像４は、被写体９がフレームインしてフレームアウトするまでのシーンとなる。

図３は、本発明による動画像の自動編集方法の第２実施例に係る映像処理システムを示すブロック図である。図３は、本発明の第１実施例のブロック図である図１と比較して、編集映像４における編集映像ファイルの格納順を変えたものである。

撮影映像３が膨大な量である場合、必要なシーンだけを抽出して編集された編集映像４の量も自ずと増えてしまう。このような状況になった場合、編集映像４を観る視聴者に対し、負担を強いることになる。そこで、映像編集部７において、編集映像４を単に編集順に格納していくのではなく、映像の重要度によって格納順の入れ替えを行い、視聴者にとって見やすい構成にする。

例えば、図２（ａ）および（ｂ）は、共に車両を撮影した映像の解析結果であるが、図２（ａ）は遠方から撮影したもの、図２（ｂ）はズームアップして撮影したものである。ズームアップして撮影された映像というのは、撮影者がその被写体に注目して撮影したシーンである。従って、映像の重要度という意味では、ズームアップの度合いが大きいほど重要なシーンであると考えられる。そこで、映像解析部５において、解析処理に加え、ズーム率を考慮した重み付けを行う。そして、この重み付けの情報をもとに、映像編集部７で格納順を決定し、記録媒体２へと格納する。格納された編集映像４を再生する場合、表示部８では、編集映像ファイル一覧をサムネイル表示しても良い。その一例を以下に説明する。

図４（ａ）および（ｂ）は、編集映像ファイル一覧をサムネイル表示した場合の一例を示したものである。図４（ａ）は、重み付けの情報で決定された格納順にサムネイル表示を行った場合である。また、図４（ｂ）は、図４（ａ）と同様に格納順にサムネイル表示したものであるが、重要度の高いものについては、その他のサムネイルに比べて大きく映像表示した場合である。ここでは簡単のため、映像ファイル名によるサムネイル表示を示しているが、実際には各編集映像の先頭フレーム画像を用いたサムネイル表示を行う。

ここで、ズーム率の取得方法について示す。映像解析部５で解析された動きベクトル情報から、同じ向き、同じ大きさの動きベクトルが集まっている領域が被写体の領域であると判断できる。従って、画面全体に対し、この領域の占める割合が大きければ大きいほど、ズームアップした映像であると考えられる。また、撮影中にズーム率の情報を取得しておき、これを用いても良い。

本実施例では、編集映像４の格納順を入れ替えることにより、視聴者の使い勝手を向上させる方法を示した。しかし、必ずしも格納順を入れ替える必要はない。例えば、編集映像を格納する際に、映像の重要度を付加情報として併せて格納する。これにより、実際に記録映像を再生する際に付加情報を参照し、その重要度にあわせて再生順を決定すればよい。また、映像の重要度の重み付けにズーム率を用いる例を示したが、特定の人物、動物、車両など、被写体の種類による重み付け、あるいは、被写体を捉えている時間の長さなどによる重み付けを行っても良い。

図５および図６は、本発明による動画像の自動編集方法の第３実施例に係る映像処理システムを示すブロック図である。図５および図６は、本発明の第１実施例のブロック図である図１と比較して、編集映像４における編集映像ファイルの構成を変えたものである。

実施例２で示したように、撮影映像３が膨大な量である場合、必要なシーンだけを抽出して編集された編集映像４の量も自ずと増えてしまう。このような状況になると、視聴者に負担を強いることになる。そこで、映像編集部７において、複数のシーンをつなぎ合わせて１つの映像にすることで編集映像４の整理を行い、視聴者にとって見やすい構成を実現する。

例えば、撮影された映像のズーム率を利用した整理方法が挙げられる。ズームアップして撮影された映像というのは、撮影者がその被写体に注目して撮影したシーンである。これに対し、被写体を捉えているがズームアップしていない映像が存在する。これは、被写体の背景となる風景を同時に撮影した場合などである。従って、このズーム率の情報を用いることにより、被写体に特化したシーン集、あるいは、被写体の周囲を収めた風景シーン集といったように、映像内容によるグループ化を行うことが可能になる。また、撮影時刻の情報から、月単位、週単位、日単位など、時刻別にグループ化を行うことも可能である。図５および図６は、このような編集を行った一例を示したものである。

まず、図５は、映像抽出部６において抽出されたシーン全てを、映像編集部７において１つの映像としてつなぎ合わせて格納した場合を示している。なお、つなぎ合わせる順番は編集順でなくても良い。また、図６は、撮影映像ファイルＡ〜Ｄから抽出された映像が同じような種類のシーンであると判断し、１つの映像としてつなぎ合わされた場合を示している。なお、撮影映像ファイルＥから抽出されたＥ−１およびＥ−２の２シーンは、異なる種類のシーンであるとして、いずれも他の映像とつなぎ合わされることなく格納されている。このように、つなぎ合わされた映像と、そうでない映像が混在する状態で格納しても良い。

図７および図８は、本発明による動画像の自動編集方法の第４実施例に係る映像処理システムを示すブロック図である。図７および図８は、本発明の第１実施例のブロック図である図１と比較して、映像編集部７で編集された編集映像を外部記録媒体１２に格納する構成にしたものである。図７は、映像編集部７において編集された編集映像を、一度、記録媒体２に格納し、それから外部記録媒体１２にコピーあるいは移動させる場合の構成を示している。また、図８は、映像編集部７において編集された編集映像を、直接、外部記録媒体１２に格納する場合の構成を示している。例えば、ビデオカメラの場合、このような構成にすることにより、内蔵のＨＤＤやＤＶＤドライブなどで記録した映像データを自動編集し、内蔵のＨＤＤやＤＶＤドライブ、あるいは外付けのレコーダやパーソナルコンピュータなどの外部記録媒体へ、コピーあるいは移動させることが可能になる。

なお、上述した各実施例において、映像解析部５、映像抽出部６、映像編集部７は、それぞれが別個に上述したように動作するＬＳＩで構成されても、あるいは、一部または全部を共通とするＬＳＩで構成されても良い。もしくは、ＣＰＵ等のハードウェアと上述した動作を実現するソフトウェアとが協働することにより構成されても良い。なお、このソフトウェアはメモリに格納されている。

また、上述した各実施例では、映像解析部５がフレーム間の動き情報の解析を行うことにより動きベクトルを求めるように説明したが、本発明はこれに限られない。例えば、撮影映像３は、例えばＭＰＥＧ方式で圧縮符号化されており、この圧縮符号化の際に求められた、各フレームに付随して記憶されている動きベクトルを用いても良い。ここで、撮像映像の圧縮符号化は、撮像部１と記録媒体２との間に圧縮符号化部を設け、撮像部１で撮像された撮像映像をこの不図示の圧縮符号化部で圧縮符号化し、圧縮符号化された撮像映像を、不図示の記録再生部により記録媒体２に記録する。なお、ＭＰＥＧ方式でなくとも、フレーム相関を利用し、動きベクトルを用いる圧縮符号化方式であれば構わない。

本発明は、例えば、ビデオカメラ、レコーダ、監視システムなど、膨大な量の映像データを取扱うシステムへの利用が可能である。

本発明の第１実施例に係る映像処理システムを示すブロック図である。 本発明の第１実施例に係る映像処理システムを適用し、映像解析を行った場合の処理結果の一例を示す図である。 本発明の第２実施例に係る映像処理システムを示すブロック図である。 本発明の第２実施例に係る映像処理システムを適用し、編集映像の一覧をサムネイル表示した場合の一例を示す図である。 本発明の第３実施例に係る映像処理システムを示すブロック図である。 本発明の第３実施例に係る映像処理システムを示すブロック図である。 本発明の第４実施例に係る映像処理システムを示すブロック図である。 本発明の第４実施例に係る映像処理システムを示すブロック図である。

符号の説明

１ 撮像部
２ 記録媒体
３ 撮影映像
４ 編集映像
５ 映像解析部
６ 映像抽出部
７ 映像編集部
８ 表示部
９ 被写体
１０ 動きベクトル
１１ サムネイル表示画面
１２ 外部記録媒体

Claims (11)

1. １つ以上の動画像を記録媒体に記録する記録手段と、
   該動画像を解析する映像解析手段と、
   該映像解析手段の解析結果に基づき、特定のシーンを抽出する映像抽出手段と、
   該映像抽出手段で抽出されたシーンを編集する映像編集手段と、
   該映像編集手段で編集された編集映像を表示する表示部と、
   を備え、
   該映像抽出手段は、被写体を所定の大きさ以上で捉えているシーンを抽出すること、
   を特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置であって、
   該映像解析手段は、動きベクトルを用いて被写体を所定の大きさ以上で捉えているシーンを抽出すること、
   を特徴とする映像処理装置。
3. 請求項１に記載の映像処理装置であって、
   該映像抽出手段は、抽出するシーンの前後に一定のマージンを付ける手段を有すること、
   を特徴とする映像処理装置。
4. 請求項１に記載の映像処理装置であって、
   該映像編集手段は、該映像抽出手段で抽出した１つ以上のシーンに対し、それぞれ異なる編集映像としてアクセスできるように編集する手段を有すること、
   を特徴とする映像処理装置。
5. 請求項１に記載の映像処理装置であって、
   該映像編集手段は、該映像抽出手段で抽出した２つ以上のシーンに対し、複数のシーンをつなぎ合わせ、１つの編集映像としてアクセスできるように編集する手段を有すること、
   を特徴とする映像処理装置。
6. 請求項４または５に記載の映像処理装置であって、
   該映像編集手段は、該映像抽出手段で抽出されたシーンに対し、ズームアップの度合いによる重み付けを行い、重みの大きいものを優先的にアクセスできるように編集する手段を有すること、
   を特徴とする映像処理装置。
7. 請求項４または５に記載の映像処理装置であって、
   該表示部は、該映像編集手段で編集された編集映像の重要度により、メニューの表示方法を変える手段を有すること、
   を特徴とする映像処理装置。
8. 請求項４または５に記載の映像処理装置であって、
   該映像編集手段は、該映像抽出手段により抽出されたシーンに対し、シーン内容による振り分けを行い、振り分けられたグループごとにアクセスできるように編集する手段を有すること、
   を特徴とする映像処理装置。
9. 請求項４または５に記載の映像処理装置であって、
   該映像編集手段は、該映像抽出手段により抽出されたシーンに対し、シーン記録時刻による振り分けを行い、振り分けられたグループごとにアクセスできるように編集する手段を有すること、
   を特徴とする映像処理装置。
10. 請求項４または５に記載の映像処理装置であって、
    該映像編集手段により編集された編集映像を、該記録媒体もしくは外部記録媒体に記録すること、
    を特徴とする映像処理装置。
11. 被写体を撮像し、撮像映像を出力する撮像部と、
    該撮像映像を、フレーム相関を利用して求めた動きベクトルを用いる圧縮符号化方式で圧縮符号化する圧縮符号化部と、
    該圧縮符号化部で圧縮符号化された撮像映像を記録媒体に記録再生する記録再生部と、
    ＣＰＵと、
    該記録媒体に記録された撮像映像を再生するように該記録再生部を制御し、該撮像映像の動きベクトルを解析し、互いの差異が所定範囲以内の動きベクトルを画面内に所定数以上有する部分を抽出し、該抽出した部分を編集映像として該記録媒体に記録するように該記録再生部を制御するように、該ＣＰＵを動作させるプログラムを格納したメモリと、
    を備えることを特徴とする撮像装置。

Images