JP2010263611A - 映像撮影装置 - Google Patents

Abstract

【課題】撮影した映像から自動的にシーン抽出を行う場合に、光学ズームと電子ズームの特性を認識してシーン抽出を行えていなかった。
【解決手段】映像を撮影する映像撮影装置であって、前記映像撮影時の属性情報を生成する属性情報生成部と、前記属性情報に含まれる前記映像の映像倍率変更方法に関する情報と、映像倍率に関する情報と、前記映像の実質的な解像度に関する情報と、映像倍率の時間変化率に関する情報と、の少なくとも一つに基づいて前記映像をシーン毎に評価するシーン解析部と、前記評価に基づいて、前記映像の再生情報を生成する再生情報生成部と、を備える映像撮影装置。
【選択図】図３

Description

本発明は映像を撮影する映像撮影装置、または映像を編集する映像編集装置に関するものであり、特に映像の拡大率（ズーム）変更に基づいて重要なシーンを自動的に抽出する技術に関する。

従来より、映画やテレビドラマ等の撮影は、絵コンテなどを元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットより構成されている。

監督はシナリオに従って演出を行ない、俳優、女優、およびエキストラなどの出演者はシナリオの記述に従って演技する。このように、プロによる映画やドラマなどの撮影においては、撮影順序はともあれ、シナリオに示された各シーンの本番内容が撮影される。しかしながら、プロではない世間一般の人々が日常の生活風景を撮影する場合、普通、シナリオなどはなく、ハプニング的な体験を映像記録として残し、後で見る楽しみが現在のビデオカメラ（ＶＣ）やデジタルスティルカメラ（ＤＳＣ）の市場を形成している。

現在、市販されているビデオカメラは、動画の撮影をより容易にする機能が登載されてきている。しかし、撮影された動画を、メタデータ（属性情報）などを用いて容易に編集、視聴する機能は、検討されてはいるが普及するまでに至っていない。

たとえば、ビデオカメラにおいて、従来、メタデータの入力方法と編集システムに関して、特許文献１に記載されたものが知られている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。

また、シナリオ情報を解析する装置として、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出して、出力部に出力する。その結果、撮影スジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了することができるので、撮影費用を低減できる。

特許文献３には、メタデータ（属性情報）に基づいてシーンを評価し、その評価結果に基づいて、撮影した映像のシーンやクリップの数を絞り込んだダイジェスト（要約映像）を簡単に生成する映像撮影装置が開示されている。

特開２００４−１５３７６４号公報 特開２００４−３６２６１０号公報 特開２００８−２２７８６０号公報

上述の特許文献１、特許文献２、および、特許文献３で開示されている装置および方法においては、ビデオカメラ（ムービー）撮影において撮影の開始から終了までの間に、パンやズームなどのカメラワークパターン、収録音、ユーザ操作等に基づいて、特徴のある場面でメタデータ（属性情報）が生成されてリスト化される。そして、記録終了後にリスト中のメタデータを用いて関連したシーンで構成されるダイジェストを作成することができる。

しかし、ズームアップ撮影においては、具体的な属性情報の扱い方について説明されていない。ズーム方式としては、（１）ズームレンズを調整することで受像部上における被写体の大きさを変更する光学ズーム方式と、（２）受像した映像の一部を表示面積を広げる（拡大する）ことで映像を拡張する電子ズーム方式、の２つの方式がよく知られている。なお、電子ズーム方式に関しては、ズーム倍率に応じて映像の解像度が下がるという課題が知られている。そのため、ズームアップのシーンを評価する際には、上記のズームアップ方式の特性を考慮してシーンの評価を行う必要がある。

上述の問題に鑑みて、本出願は、光学ズーム方式と電子ズーム方式の両方を用いて撮影される映像に、好適なシーン評価を行い、それらの評価に基づいてシーン抽出を自動的に行うことを目的とする。

本発明は、映像を撮影する映像撮影装置であって、前記映像撮影時の属性情報を生成する属性情報生成部と、前記属性情報に含まれる前記映像の映像倍率変更方法に関する情報と、映像倍率に関する情報と、前記映像の実質的な解像度に関する情報と、映像倍率の時間変化率に関する情報と、の少なくとも一つに基づいて前記映像をシーン毎に評価するシーン解析部と、前記評価に基づいて、前記映像の再生情報を生成する再生情報生成部と、を備えることを特徴とするものである。

これにより、映像撮影装置は撮影した映像から好ましいシーンを自動的に抽出することが可能となる。

本発明の映像撮影装置は、さらに、被写体からの入射した光を電気信号に変換する撮像部と、前記撮像部へ入射する光を調整するレンズ部と、を備え、前記映像倍率変更方法に関する情報とは、前記レンズ部での光学調整による倍率変更方法と、前記撮像部が出力する電気信号に基づいた信号処理による倍率変更方法と、の少なくとも一つを示す情報であってもよい。

これにより、映像撮影装置は、光学ズームと電子ズームとを区別し、ズーム方式によりシーンを評価することが可能となる。

さらに、前記シーン解析部は、前記映像倍率に関する情報に基づくシーンの評価を、前記映像コンテンツの映像倍率と所定の倍率とを比較して評価するものであってもよい。

これにより、映像倍率を用いたシーンの評価をすることが可能となる。

また、前記シーン解析部は、前記映像コンテンツの実質的な解像度に関する情報に基づくシーンの評価を、前記映像コンテンツの実質的な解像度と所定の解像度とを比較して評価するものであってもよい。

これにより、映像の解像度でシーンを評価することも可能となる。

また、前記シーン解析部は、前記映像倍率の時間変化率に関する情報に基づくシーンの評価を、前記映像コンテンツの時間変化率と所定の時間変化率とを比較して評価するものであってもよい。

これにより、映像撮影時の拡大変更（ズームアップ／ダウン）速度に応じてシーンを評価することが可能となる。

さらにシーン解析部は、該映像撮影装置の撮影状況に応じて、前記評価方法を変えるものであってもよい。

これにより、映像撮影装置の撮影状態に応じてシーンを評価することが可能となる。

さらにシーン解析部は、解像度補完処理の情報に基づいて、前記映像をシーン毎に評価するものであってもよい。

これにより、電子ズーム等で拡大された映像が解像度補完処理によって、擬似的に高解像度表現された場合は、この点も考慮してシーンを評価することが可能となる。

本発明により、光学ズーム方式と電子ズーム方式の両方を用いて撮影される映像に好適なシーン評価を行い、それらの評価に基づいてシーン抽出することが可能となる。

ビデオカメラ外観図 ビデオカメラ内部のハードウェア構成図 ビデオカメラ内部の機能構成図 撮影した映像のクリップ、シーン、フレームの関係図 シーンを識別する情報を示す図 属性情報と評価の関係を示す図 シーンに評価を割り当てた結果を示す図 再生情報の情報内容を示す図 光学ズームと電子ズームの関係を示す図 映像の拡大倍率とシーンの評価の関係例（第１の例）を示すグラフ 映像の拡大倍率とシーンの評価の関係例（第２の例）を示すグラフ 映像の拡大倍率とシーンの評価の関係例（第３の例）を示すグラフ 評価されたシーンと再生情報との関係を示す図 電子ズームの拡大率の算出方法を示す図 映像の実質的な解像度と拡大倍率との関係例を示すグラフ 拡大変更速度とシーンの評価との関係例を示すグラフ 三脚使用時の有無及び拡大倍率とシーンの評価との関係例を示すグラフ

（実施の形態１）
＜１．映像撮影装置の構成＞
図１は、映像を撮影するムービーやビデオカメラ（映像撮影装置）１００の外観図である。本実施の形態では、このビデオカメラを用いて説明を行う。

図１のビデオカメラ内部のハードウェア構成の概略を図２に示す。ビデオカメラ１００は、レンズ群２００、撮像素子２０１、映像ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０２、映像信号変換ＩＣ２０３、ＣＰＵ２０４、クロック２０５、レンズ制御モジュール２０６、姿勢検出センサ２０７、入力ボタン２０８、ディスプレイ２０９、スピーカー２１０、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１、圧縮伸張ＩＣ２１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１５、音声ＡＤＣ（Ａｎａｌｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２１６、マイクロフォン２１７、三脚センサ２１８、を構成要素に持つ。

レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整するものである。具体的には、焦点距離やズーム（映像の拡大倍率）を様々な特定を持つ複数のレンズ間の距離を変化させることで、調整するものである。これらの調整は、ビデオカメラの撮影者が手動で調整するものでも、後述するレンズ制御モジュール２０６を通じてＣＰＵ２０４等からの制御により自動的に調整するものであってもよい。

撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換するものである。撮像素子にはＣＣＤやＣ−ＭＯＳ等を利用することが可能である。

映像ＡＤＣ２０２は、撮像素子２０１が出力する電気信号をアナログからデジタルへの変換するものである。

映像信号変換ＩＣ２０３は、映像ＡＤＣ２０２が出力するデジタル信号をＮＴＳＣやＰＡＬと言った所定の映像信号に変換するものである。

ＣＰＵ２０４は、ビデオカメラ１００全体を制御するものである。制御の種類としては、例えば、前述のレンズ群２００の焦点距離やズームの制御を、レンズ制御モジュール２０６を通じて撮像素子２０１への入射光を制御するレンズ制御、入力ボタン２０８や姿勢検出センサ２０７等からの外部入力に対する入力制御の制御、圧縮伸張ＩＣ２１２の動作制御等、これらの制御アルゴリズムをソフトウェア等で実行するものである。

クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に処理動作の基準となるクロック信号を出力するものである。なお、クロック２０５は利用する集積回路やまた扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。

レンズ制御モジュール２０６はレンズ群２００の状態を検出し、ＣＰＵ２０４からの制御に基づいてレンズを動作させるものである。レンズ制御モジュール２０６は、レンズ制御用モータとレンズ位置センサを備える。レンズ位置センサはレンズ群２００を構成する複数のレンズ間の距離または位置関係等を検出するものである。レンズ位置センサが検出した複数のレンズ間の位置情報等はＣＰＵ２０４に送信される。ＣＰＵ２０４はレンズ位置センサからの情報、撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための信号をレンズ制御用モータに送信する。レンズ制御用モータは、ＣＰＵ２０４から送信された制御信号に基づいてレンズを動作させるモータを駆動する。この結果、レンズ群２００の複数のレンズ間の距離が変更され、レンズの焦点距離、およびズームを調整することで、レンズ群２００を通過した入射光は撮像素子２０１上で、目的とする被写体像を結ぶものとなる。

なおＣＰＵ２０４は上記以外にも、ビデオカメラ１００で映像撮影時の手振れを、レンズ位置センサや後述する姿勢検出センサ等で検出し、レンズ制御用モータを駆動する制御を行うことで、手振れ防止の動作をレンズ制御モジュール２０６で実行させることも可能である。

姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出するものである。姿勢検出センサ２０７は、加速度センサ、角速度センサ、仰角・俯角センサ等を備える。これらの各種センサにより、ビデオカメラ１００がどのような状態で撮影を行っているかをＣＰＵ２０４は検出する。なお、これらのセンサは好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向、水平方向等）についてそれぞれ検出できることが望ましい。

入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの一つである。これにより、撮影者が撮影の開始や終了、ビデオ撮影中の映像にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。

ディスプレイ２０９は、ビデオカメラ１００が撮影した映像を見るためや、撮影ファインダー等として利用するために設けられている。これにより、撮影者は撮影した映像をその場で確認することが可能となる。また、それ以外にもビデオカメラ１００の各種情報を表示することで、撮影情報等、機器情報等のより詳細な情報を撮影者に伝えることが可能となる。

スピーカー２１０は、撮影した映像を再生する際の音声出力に使用される。それ以外にも、ビデオカメラ１００が出力する警告を音で撮影者へ伝えることも可能である。

出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した映像を外部機器へ出力するために用いられる。具体的には、外部機器とケーブルで接続する場合のケーブルインタフェースや、撮影した映像をメモリカードに記録する場合のメモリカードインタフェース等などがある。これにより、撮影した映像をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。

圧縮伸張ＩＣ２１２は、撮影した映像または音声を所定のデジタルデータ形式（符号化処理）にするものである。具体的には、撮影した映像・音声データをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｏｅｒｔｓ Ｇｒｏｕｐ）やＨ２６４等の符号化処理を行い、所定のデータ方式に変換（圧縮）するものである。また、撮影したデータの再生時には、圧縮伸張ＩＣがこれら、所定のデータ形式の映像データを伸張してディスプレイ２０９等に表示するデータ処理をおこなうものである。

ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラムやプログラムを動作させるための各種データを記録するものである。

ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用される。また、圧縮伸張ＩＣ２１２と共用でこのＲＡＭ２１４を使用してもよい。

ＨＤＤ２１５は、圧縮伸張ＩＣ２１２が符号化した映像データやその他撮影した静止画像データを蓄積等する目的で利用される。なお、記録されるデータはこれ以外にも、後述する再生情報のデータ等を記録することも可能である。

音声ＡＤＣ２１６は、マイクロフォン２１７が出力する音声の電気データをアナログからデジタルへ変換処理するものである。

マイクロフォン２１７は、ビデオカメラ１００外部の音声を電気信号に変換して出力するものである。

三脚センサ２１８は、ビデオカメラ１００が三脚に設置されているか否かを検出するものである。具体的には、三脚が固定される部分にスイッチを設けておくことにより、ビデオカメラ１００が三脚を使用した撮影か否かを判定できる。

上記のとおりビデオカメラ１００のハードウェア構成を示したが、本発明では上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２や映像信号変換ＩＣ２０３等を単一の集積回路として実現することも可能であるし、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いてハードウェアとして実現することも可能である。

図３にビデオカメラ１００の機能構成図を示す。ビデオカメラ１００は、機能構成として、レンズ部３００、撮像部３０１、映像ＡＤ変換部３０２、信号処理部３０３、映像信号圧縮部３０４、撮像制御部３０５、映像解析部３０６、レンズ制御部３０７、姿勢検出部３０８、属性情報生成部３０９、シーン解析部３１０、再生情報生成部３１１、音声解析部３１２、音声信号圧縮部３１３、多重化部３１４、記憶部３１５、ダイジェスト再生部３１６、映像信号伸張部３１７、映像表示部３１８、音声信号伸張部３１９、音声出力部３２０、音声ＡＤ変換部３２１、マイク部３２２、外部入力部３２３、を備える。

レンズ部３００は、被写体から入射した光の焦点距離、ズーム倍率（映像の拡大倍率）を調整するものである。これらはレンズ制御部３０７からの制御により行われる。レンズ部３００は、図２のレンズ群２００に該当する。

撮像部３０１は、レンズ部３００を透過した光を電気信号に変換するものである。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを出力する。また映像データ以外にも、３原色点の色度空間情報、白色の座標、および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報等の情報も出力することが可能である。この場合、これらの情報は、属性情報生成部３０９へ出力する。撮像部３０１は、図２の撮像素子２０１に該当する。

映像ＡＤ変換部３０２は、撮像部３０１からの電気信号を所定の処理内容にしたがってアナログ・デジタル変換を行う。映像ＡＤ変換部３０２は、図２の映像ＡＤＣ２０２に該当する。

信号処理部３０３は、映像ＡＤ変換部３０２が出力したデジタル信号を所定の映像信号フォーマットに変換するものである。例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）で規定された水平線の数、走査線の数、フレームレートに準拠した映像信号とするものなどである。信号処理部３０３は、図２の映像信号変換ＩＣ２０３に該当する。

映像信号圧縮部３０４は、デジタル映像信号を所定の符号化変換を行い、データ量の圧縮等を実現する。具体例としては、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４の符号化方式がある。映像信号圧縮部３０４は、図２の圧縮伸張ＩＣ２１２の圧縮機能に相当する。

撮像制御部３０５は、撮像部３０１の動作を制御するものである。撮像部３０１に対して、撮影時の露出量や撮影速度、感度等を制御するものである。また、これらの制御情報は属性情報生成部３０９へも併せて出力する。撮像制御部３０５は、図２のＣＰＵ２０４で処理される制御アルゴリズムの一つである。

映像解析部３０６は、撮影された映像信号から映像の特徴を抽出するものである。本実施の形態では、色情報（例えば、映像に含まれる色の分布を検出する）や、ホワイトバランス、映像に人物の顔が含まれている場合には、顔検出を行う等、映像信号を解析することで、映像の特徴を抽出するものである。なお、色分布の検出は映像信号を形成するデータに含まれる色情報を確認することで実現可能である。また、顔検出については、パターンマッチング等を用いることにより実現可能である。映像解析部３０６は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。

レンズ制御部３０７は、レンズ部３００の動作を制御するものである。レンズ制御には、ズーム制御、フォーカス制御、また手振れ補正制御等がある。レンズ制御部３０７はレンズ部３００を制御するとともに、これらの制御情報を属性情報生成部３０９へ出力する。レンズ制御部３０７は、図２のレンズ制御モジュール２０６に相当する。

姿勢検出部３０８は、ビデオカメラ１００の加速度、角速度、仰角・俯角等を検出する。こられの情報はビデオカメラ１００の姿勢やその変化状況を検出する目的等に用いられる。加速度や角速度については、垂直・水平（２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図２の姿勢検出センサ２０７に相当する。

マイク部３２２は、周囲の音を電気信号に変化して音声信号として出力するものである。マイク部３２２は、図２のマイクロフォン２１７に相当する。

音声ＡＤ変換部３２１は、マイク部３２２が出力したアナログの音声信号をデジタル形式の音声データに変換する。音声ＡＤ変換部３２１は、図２の音声ＡＤＣ２１６に相当する。

音声解析部３１２は、音声データから特徴のある音を抽出するものである。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、銃声等がある。これらの音の識別は、これらの音（音声）が持つ特有の周波数を予め登録しておき、それとの比較結果で判別するなどの方法等を用いることで、抽出が可能である。またこれ以外にも、マイクが捕捉した音の入力レベル等の特徴も検出する。音声解析部３１２は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。

音声信号圧縮部３１３は、音声ＡＤ変換部３２１が出力した音声データを所定の符号化アルゴリズムで変換するものである。符号化にはＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１３は、図２の圧縮伸張ＩＣ２１２での圧縮機能の一つである。

外部入力部３２３は、映像撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、外部から通信経由で受信した撮影インデックス情報等を出力するものである。なお、撮影インデックス情報とは、例えば、映画撮影時における、撮影場面を識別する番号や、撮影回数を示す番号等のそれぞれの撮影を識別するために用いられる識別番号などである。外部入力部３２３は、図２の入力ボタン２０８や三脚センサ２１８等に該当する。

属性情報生成部３０９は、映像撮影時の撮影情報、外部入力情報及びその他の情報を属性情報（メタデータ）とする。属性情報の一例として以下のような情報が考えられる。
・焦点距離
・ズーム倍率
・露出
・撮影速度
・感度
・３原色点の色空間情報
・ホワイトバランス
・３原色のうち少なくとも２つのゲイン情報
・色温度情報
・Δｕｖ（デルタｕｖ）
・３原色または輝度信号のガンマ情報
・色分布
・顔認識情報
・カメラ姿勢（加速度、角速度、仰角・俯角等）
・撮影時刻（撮影開始時刻、終了時刻）
・撮影インデックス情報
・ユーザ入力
・フレームレート
・サンプリング周波数

属性情報には、上記の撮影時の各種情報から算出される映像シーンを特徴づける新たな情報（撮影時の各種情報等を組み合わせ、それらを分析等することで算出される情報等）も含まれる。例えば、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報からビデオカメラ１００が撮影時にパン、ティルト等のカメラワークを算出することが可能となる。また、焦点距離や、ズーム倍率の情報はそのままでも、属性情報として用いることが可能とである。属性情報生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、算出等して属性情報を生成する。

シーン解析部３１０は、属性情報生成部３０９が生成した属性情報に基づいて、それぞれのシーンを評価し、その結果に基づいて再生すべきシーンを選択するものである。シーンの評価や選択方法等について後に詳細に説明する。

再生情報生成部３１１は、シーン解析部３１０が選択した再生すべきシーンを再生情報として生成するものである。この点についても後述する。

属性情報生成部３０９、シーン解析部３１０、再生情報生成部３１１は、図２のＣＰＵ２０４においてソフトウェアとして処理される。

多重化部３１４は、映像信号圧縮部３０４からの符号化映像データ、音声信号圧縮部３１３からの符号化音声データ、再生情報生成部３１１からの再生情報を多重化して出力するものである。多重化部３１４は、図２のＣＰＵ２０４で実行されるソフトウェアであってもよいし、圧縮伸張ＩＣ２１２で、処理されるものであってもよい。

記憶部３１５は、多重化部３１４から出力された符号化映像データ、符号化音声データ、再生情報が多重化されたデータを一時保持又は長期保持するものである。記憶部３１５は、図２のＨＤＤ２１５やＲＡＭ２１４等に該当する。

ダイジェスト再生部３１６は、記憶部３１５に記録された多重化されたデータを読み出し、そこから再生情報を抽出し、再生情報に従って映像データ、音声データを映像信号伸張部３１７、音声信号伸張部３１９でそれぞれ復号させ、映像表示部３１８、音声出力部３２０から出力する。ダイジェスト再生部３１６は、図２のＣＰＵ２０４で実行されるソフトウェア処理のアルゴリズムである。

上記の構成により、ビデオカメラ１００で撮影された映像は、属性情報に基づいて抽出された好ましいシーンの選択を自動的に行い、その部分のみを再生等することが可能となる。

なお、図２及び図３のハードウェア構成図、機能図は本発明の実施するための一態様であり、これに限定されるものではない。例えば、図３において、シーン解析部３１０、再生情報生成部３１１は、記憶部３１５にデータを記録する前に処理されているが、記憶部３１５に圧縮された映像信号、圧縮された音声信号と、撮影時の属性情報を多重化して一度記録し、当該データを記憶部３１５から読み出した後にシーン解析、再生情報の生成等を行うものであっても良い。

また、図２のハードウェア構成と図３の機能構成の対応関係は、上記記載に限定するものではない。上記の説明は、本発明を実施するための一形態として示すものであって、機能構成とハードウェア構成が異なる関係であってもよい。

＜２．撮影したシーンの解析、再生情報の生成＞
図４は、ビデオカメラ１００が撮影する映像の構成を示す図である。撮影者が撮影開始を指示し、撮影の終了又は撮影の一時停止を指示するまでに撮影された映像の単位を「クリップ」とする。撮影者が撮影の開始、撮影の終了又は一時停止を何度も繰り返すと、クリップが複数生成される。

一つのクリップは一つ又は複数の「シーン」から構成される。「シーン」は論理的につながりのある一続きの映像である。シーンは、任意に設定することが可能である。例えば、クリップを一つのシーンとして「１クリップ」＝「１シーン」と設定してもよい。また、画面が大きく変わることを境として「シーン」を設定してもよい。この場合には、映像解析部３０６がフレーム間の動きベクトルを算出し、「動き」の大きさ（変化）が所定の値より大きい場合を、「シーン」の切り替え部分としてもよい。その他の撮影情報等に基づいて「シーン」を区切っても良い。例えば、撮影者からのボタン入力により「シーン」を区切っても良い。この場合に、撮影者の明確な意図で「クリップ」内の「シーン」を構成することが可能となる。

「シーン」は、一つ又は複数の「フレーム」から構成される。「フレーム」は映像を構成する個々の画像である。

図５は、シーン解析部３１０が、クリップ内を複数のシーンに分割した場合の例を示すものである。シーン解析部３１０は、上述の通り属性情報等に基づいてクリップを分割する。図５では、それぞれのシーンを「開始時間」と「終了時間」で定めているが、フレーム番号等でシーンの開始と終了を定めても良い。

図６は、シーン解析部３１０が、それぞれのシーンを評価する際に用いる属性情報と評価の関係例を示した図である。例えば、クリップイン（撮影の開始部分）やクリップアウト（撮影の終了前部分）部分については、映像の導入部分や重要部分と考えている場合は、撮影された映像が持つ論理的な意味が高いと推論される。この例では、クリップイン（Ａ）及びクリップアウト（Ｆ）は、評価が１００となっている。その他にも、撮影時のカメラワークとしてズームアップ(Ｄ)やズームダウン（Ｇ）についても、特定の被写体への注目度を高めるとの観点から評価が３０として定められている。このように、シーン解析部３１０は予め属性情報それぞれに対する数値化された評価を持っている。図６の例では、評価点が高いほど高い評価（好ましい）として表現している。シーン解析部３１０は、このような図６の属性情報と評価との関係に基づいて各シーンを評価する。なお、一つのシーンに複数の属性情報が与えられている場合は、それぞれの属性情報に割り当てられている評価（評価点）を加算してもよい。また、一つのシーンに複数の属性情報が与えられている場合、その属性情報のなかから最も評価の高い属性が持つ評価（評価点）を当該シーンの評価点としてもよい。さらに、シーン内に含まれる種々の属性を考慮するのであれば、複数の属性の評価点の平均値等を評価としてもよい。さらに、より詳細に評価を行う場合には、シーンに含まれるフレーム毎に評価をしてもよい。なお、評価は好ましいシーンだけに行う必要はない。例えば、撮影時の手振れは、映像の視聴者に見づらい映像となる可能性があるので、こういった属性を持つシーンには減点（マイナス点）の評価をおこなうものであってもよい。

なお、図６の属性情報と評価の関係は、一つに限定するものではない。例えば、複数の属性情報・評価の組み合わせデータをビデオカメラ１００の撮影者が撮影するモード（例えば、風景の撮影、人物（ポートレート）撮影、静物撮影等）によって切り換えるものであってもよい。また、予め複数の組み合わせデータを備えておき、撮影モードによって、複数のデータを合成（それぞれの評価の値を一定の比率で加算等）したものであってもよい。この場合には、合成の比率を変えることで、動的に属性情報・評価の組み合わせデータを変更することが可能となる。

図７はシーン解析部３１０が、各シーンに評価（優先度）を割り当てた結果を示した図である。図７は横軸に時間（シーン）を、縦軸に各シーンの評価（優先度）を示したものである。

図７の時間０付近のＡは、撮影を開始した直後であるため「クリップイン」の属性を持つ。図６に従えば、「クリップイン」の属性は評価（優先度）１００を持つ。

Ｂの符号が付けられているシーンは、「特定音声の抽出」の属性を持つ。特定音声の抽出は、上述の音声解析部３１２等により得られるものである。図６に従えば、「特定音声の抽出」の属性は評価（優先度）７０を持つ。

Ｃの符号が付けられているシーンは、撮影者がカメラをパン、ティルト等のビデオカメラ１００本体を動かして撮影した後に、静止して撮影することを意味する属性を示す。このようなシーンは、静止して撮影する際の被写体に映像としての価値が高いと判断できることが考えられる。図６に従えば、このような属性は評価（優先度）４０を持つ。

Ｄの符号が付けられているシーンは、ビデオカメラをズームアップ又はズームダウン等して撮影しているシーンである。図６では、ズームアップ／ズームダウンでは評価（優先度）３０を持つ。ただし、ズームアップとズームダウンで評価の値をかえることも可能である。例えばズームアップをズームダウンよりも評価を高く設定することで、ズームアップで撮影されるシーン、つまり映像の拡大倍率が大きくなるシーン（拡大されて撮影される被写体があるシーン）、について高い評価（優先度）を割り当てても良い。逆に、映像の拡大倍率が小さくなるシーンについては比較的低い評価（優先度）を割り当てることも可能である。

Ｅの符号が付けられているシーンは、ビデオカメラがパン、ティルト等の動きをともなった撮影（カメラワーク）を行ったシーンである。この場合は評価（優先度）２５が割り当てられる。

以上よりシーン解析部３１０は、各シーンについて評価（優先度）を割り当てる。なお、図７の例では、シーンを単位として評価を割り当てたが、シーン解析部３１０はクリップ単位、又は、フレーム単位で上記の評価割り当てをおこなってもよい。

シーン解析部３１０は、さらに、各シーンに割り当てた評価に基づいて、好ましいシーンのみを抽出する。具体的には評価の高いシーンのみを抽出する。図７の例では、＃１〜＃３の部分のシーンのみを抽出することとなる。なお、抽出方法については、抽出されたシーンの合計再生時間が所定の時間以内であること、又は、シーンの評価が一定以上であること等、様々な観点で抽出をすることが可能である。

再生情報生成部３１１は、シーン解析部３１０が抽出したシーンに従って、映像再生の手順・方法を記した再生情報を生成するものである。この再生情報とは、例えば、図８に示すような、再生対象となるシーンの開始時刻と終了時刻で示されるものであってもよい。この場合、各シーンの中における代表的な映像画面（シーン中における最も評価の高い映像画面等）を別途記録しておくと、参照用画面の検索にも有効である。

なお、再生情報の管理は上記の内容に限られず、他の方法であってもよい。例えば、フレーム番号での指定などでも可能である。また、再生情報生成部３１１が生成した再生情報を、ＭＰＥＧ等のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として多重化部３１４で多重化する場合等には、多重化時に用いられる時刻情報（例えばＰＴＳやＤＴＳの時刻情報）等を用いて再生情報を記録することも可能である。Ｈ２６４の場合にも同様に所定の多重化時の時刻情報を用いてもよい。

さらに、一部のビデオカメラのデータ記録方式として用いられているＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）等の規格を用いて映像データを記録する場合には、ＰｌａｙＬｉｓｔファイル等に再生情報を記録する方法を用いても良い。

以上により、撮影した映像からダイジェスト映像（要約された映像）を自動的に生成することが可能となる。

＜３．属性情報におけるズームアップの扱いについて＞
シーン解析部３１０は、ズームアップについて属性情報として一定の評価（優先度）（図６の例では３０）を割り当てている。しかし、ズームアップの機能は、一般的にレンズ部３００のレンズを制御することで映像の拡大倍率を変更する「光学ズーム」と、撮像部３０１（撮像部３０１〜信号処理部３０３の場合もある）で受像した映像信号の一部を信号処理として画像を拡大する「電子ズーム」の２種類がある。

図９は、光学ズームと電子ズームとの使用例を示すものである。低倍率（０から１０倍）の範囲では、光学ズームのみを用い、１０倍以上の領域では、光学ズームと電子ズームを併用することで対応する。電子ズームは、光学ズームと比較して撮像部３０１で受像した映像の一部分を信号処理により拡大したものであるため、映像コンテンツの実質的な解像度（電子ズームで拡大される映像コンテンツの一部分を、撮像部３０１で受像する際の解像度）は、映像コンテンツの拡大倍率が大きくなるほど低下する。

シーン解析部３１０は、光学ズームと電子ズームの特性を考慮してズームアップに対する属性情報及びその評価を設定する。光学ズームと電子ズームが図９に示すように、予め拡大倍率に応じて用いられるズーム方法が決められている場合について説明する。

属性情報生成部３０９は、撮影時に各種センサや制御情報を収集する。拡大倍率の情報は、レンズ制御部３０７からの制御情報、及び、撮像制御部３０６または信号処理部３０３の情報等に基づいて、光学ズーム、電子ズームの動作内容から属性情報生成部３０９がシーン毎に算出する。

シーン解析部３１０は、属性情報生成部３０９が生成した拡大倍率の情報に基づいて、シーンの評価（優先度）を決定する。図１０は、拡大倍率と評価の関係を示したグラフである。この場合、光学ズームの範囲では、拡大率が大きくなるにしたがって評価も増加する。しかし、電子ズームが作用し始める１０倍以上の拡大倍率の領域に入ると、評価は減少し、２０倍で評価が０となる。これは、電子ズームでは、撮影される映像の実質的な解像度が低下するため、電子ズームが作用し始める倍率になると、拡大倍率に応じて評価を下げるものである。これにより、ズームアップによる撮影者の注目度と画質の低下との関係を考慮した属性情報の評価が可能となる。図１０の例では、所定の拡大倍率（閾値）と比較し、閾値よりも大きい場合（電子ズームが適用される場合）は、評価を減少、あるいは行わない。閾値よりも小さい場合（工学ズームのみの場合）は、属性情報の評価を行うものである。

また、別の評価方法として、図１１に示す例がある。図１１の例では、シーン解析部３１０は、光学ズームと電子ズームが併用される拡大倍率３０倍までは拡大倍率に応じて評価を増加させる。それ以降については、評価を０とするものである。これは、電子ズームによる映像の拡大は、拡大倍率に応じて画質が劣化するが、電子ズームの拡大倍率が小さい領域では画質レベルが著しく低下するわけではないので、所定の拡大倍率（閾値）まではシーンの評価を行うものである。所定の拡大倍率を超えた場合は、画質レベルが著しく低下するためシーンの評価を行わない。図１１の場合は３０倍を所定の拡大倍率の境とした場合の例である。

なお、拡大倍率１０倍から３０倍までの間は、電子ズームによる拡大が行われるが、この際、電子ズームで取得される映像の解像度を規定の解像度（例えば、表示画面の解像度、映像の記録の際に定められた解像度）に変換する技術を用いても良い。これにより、電子ズームを用いて撮影された映像を解像度補完により、より高い解像度で記録、表示等をすることが可能となり、電子ズームの欠点である実質的な解像度が低下する課題を解決することが可能となる。

解像度補完には、映像を形成する個々のフレーム、それぞれで処理を行うフレーム内処理と、複数のフレームを用いて処理を行うフレーム間処理がある。上記の解像度補完には、いずれの方法を用いても良い。

さらに別の評価方法として、図１２に示す例がある。図１２の例では、光学ズームのみの拡大領域の範囲と電子ズームが用いられる拡大領域の範囲とで、拡大倍率に応じて評価の増加率を変えるものである。この場合には、光学ズームによる拡大と電子ズームによる拡大の効果の大きさに関連させて、評価の方法を変えるものである。

以上より、光学ズームと電子ズームによる映像の拡大倍率によってズームアップ時のシーンの評価をかえることで、より、撮影された映像内容に従ったシーンの抽出が可能となる。

また属性情報生成部３０９が、レンズ制御部３０７や撮像制御部３０５から直接、光学ズーム、電子ズームの動作に関わる情報を取得できる場合は、シーン解析部は、これら映像倍率変更方法に基づいてシーンを評価することも可能である。例えば、光学ズームの場合は高評価とするが、電子ズームが動作している場合は、評価しない（評価０）としてもよい。

この場合も上記と同様に撮影された映像内容に従ったシーンの抽出が可能となる。

＜４．新評価に基づく再生情報の生成について＞
再生情報生成部３１１は、シーン解析部３１０がシーン毎に行った評価に基づいて再生すべきシーンを特定する。上記の映像の拡大倍率に応じたシーンの評価の例を図１３に示す。図１３は、シーンと拡大倍率（ズームレベル）と、再生される映像の関係を示した図である。図１３（Ａ）は、シーンとそのシーンの拡大倍率との関係を示した図である。シーン解析部はこの拡大倍率に応じてシーンを評価する。この例では、映像の拡大倍率（ズームレベル）が３０倍を超えるシーンについては、評価しない（評価０とする）。図１３（Ａ）では、シーン１、２、４はいずれの拡大倍率が３０倍以下であるが、シーン３が５０倍であるため、シーン解析部３１０は、シーン３については評価していない。図１３（Ｂ）
は、図１３（Ａ）のシーン１〜４に対応するシーンの位置を表す図である。図１３（Ｂ）は、シーン解析部３１０の評価に基づいて、拡大倍率（ズームレベル）の属性情報を持つシーンに該当する部分、及びそのうち、評価されているシーンを示す図である。図１３（Ｃ）は、シーン解析部３１０の評価に従って、再生情報生成部３１１が生成する再生情報により再生される映像を表す図である。

なお、再生情報生成部３１１が生成する再生情報は評価されたシーンのみを再生するものでなくてもよい。例えば、評価されたシーンについては、通常の速度で再生を行い、評価されなかったシーンについては高速再生を行うものであってもよい。つまり、評価されたシーン（評価の高いシーン）と評価されなかったシーン（評価の低いシーン）とで、再生方法をかえるものであってもよい。

以上、本実施の形態に示した構成により、ビデオカメラ１００は撮影した映像から、好適なシーン抽出を行うことが可能となる。

（実施の形態２）
本実施の形態と実施の形態１との異なる点は、光学ズームと電子ズームの属性情報の評価についてである。その他の点については、実施の形態１と共通であるため、説明を省略する。

本実施の形態では、拡大倍率とズームアップ時に伴う映像の実質的な解像度に基づいてシーンの評価を行う方法を示す。

属性情報生成部３０９は、撮像制御部３０５又は映像解析部３０６からの情報に基づいて、映像の実質的な解像度を算出する。例えば、撮像部３０１で受像した映像信号を後段の映像ＡＤ変換部３０２、信号処理部３０３等で全く電子ズームの信号処理を行っていない場合、映像の実質的な解像度は撮像部３０１の解像度と等しくなる。電子ズームを使用している場合は、撮像部３０１で受像した画像の一部を信号処理により拡大しているため、映像の実質的な解像度を算出する必要がある。具体例を図１４に示す。撮像部３０１の光を受像する撮像面１４０１は、撮像面全体でレンズ部３００を透過した光を受像する。電子ズームの場合、撮像面１４０１が受像した光の内、一部の領域である部分領域１４０２で受像した光の信号のみを、信号処理により撮像面１４０１の大きさに拡大するものである。そのため、この場合の映像の実質的な解像度とは、この部分領域の解像度といえる。図１４の例では、撮像面１４０１の解像度に（ａ／Ａ）×（ｂ／Ｂ）を乗じたものが実質的な解像度となる。

この場合の拡大倍率と実質的な解像度との関係を図１５に示す。光学ズームのみにより映像を拡大している場合（１０倍まで）、映像は撮像面１４０１全体の解像度を持つが、電子ズームによる拡大処理が行われると、拡大率に従って映像の実質的な解像度が低下する。

シーン解析部３１０は、属性情報として上記の映像の実質的な解像度を利用してシーンの評価を行う。図１５は、映像の拡大倍率と実質的な解像度の関係の一例を示すグラフである。図１５において、解像度が６０以上ではシーンとして評価し、６０未満では評価しない（評価０）とする。この場合、シーン解析部は、映像の拡大倍率が３０倍以下であれば、シーンとして評価され、３０倍を超えると評価されないこととなる。

以上より、本実施の形態では、映像の実質的な解像度に基づいてシーンを評価することにより、映像内容に従ったシーン抽出を自動的に行うことが可能となる。

なお、映像の実質的な解像度の算出には幾つかの方法がる。映像信号そのものを解析して拡大率を算出する場合は、映像信号を構成する一つの画素において、該画素とその隣接する画素又は該画素と一定の距離内にある他の画素との表示内容を比較し、表示内容の近似度を算出する。これを映像信号の画面全体でおこなうことで画面全体の近似度の傾向を計る。この結果により、映像の実質的な解像度を推定等することが可能となる。

また、他の方法として、撮像部３０１〜信号処理部３０３までの制御内容から映像信号の拡大処理が施されていることを検出し、撮像制御部３０７等から、属性情報取得部３０９が拡大率を取得することで映像の実施的な解像度を正確に取得することも可能である。

本実施の形態では、属性情報の内容に基づいて評価を行い、評価の高いシーンから抽出する方法について説明したが、これに限定するものではない。例えば、評価の低いシーンのみを抽出し、映像再生時にそれら評価の低いシーンのみを除外して再生するものであってもよい。このようにすることで、視聴者は撮影した映像を大きく変更することなく、視聴することが可能となる。

（実施の形態３）
本実施の形態と実施の形態１との異なる点は、属性情報の評価についてである。その他の点については、実施の形態１と共通であるため、説明を省略する。

本実施の形態では、ズームアップ時、ズームダウン時の映像拡大率の時間単位での変化量に基づいてシーンの評価を行う方法を示す。これは、ズームアップやズームダウンの動作が著しく速く行われて撮影された映像は、見にくい映像（評価として低い）という考えに基づくものである。

図１６に拡大変更速度（ズーム速度）とシーン評価（優先度）の関係の一例を示す。図１６の例では、２倍／秒で拡大倍率を変更する際に最も高い評価（優先度）を設定している。これ以上の速度で映像の拡大倍率を変更する場合は、倍率を変更する速度が高くなるにしたがって評価（優先度）をさげている。これは、視聴者が映像を視聴する際に、視聴者にとって適正な映像の拡大変更速度（ズーム速度）を想定し、その想定に近い場合ほど高評価を得るとする考え方である。これにより、撮影した映像からより視聴者に好ましいシーンの抽出を自動的に行うことが可能となる。

なお、この拡大変更速度は、シーン解析部３１０が、レンズ制御部３０７によるレンズ部３００を光学ズーム制御する際の制御内容や、撮像部３００等による電子ズームの制御内容に基づいて単位時間毎、又は、単位フレーム毎の拡大変更速度を算出することが可能である。

また、別の方法として撮影された映像信号から拡大速度を算出することも可能である。この場合は、映像解析部３０６が連続するフレーム間での動きベクトルを算出する。この場合、ズームアップ及びズームダウンによる撮影が行われていると、撮影画像の中心を起点または終点として連続するフレーム間で放射状の動きベクトルを算出する。また、この際の動きベクトルの大きさでズームアップ、ズームダウンの拡大変更速度を推定することも可能である。以上より、映像解析部３０６による映像信号の解析により、画像変更速度（ズーム速度）の算出も可能である。

以上により、シーン解析部３１０は、画像変更速度に応じてシーンの評価（優先度）をすることが可能となる。この評価に基づいて実施の形態１と同様に再生情報生成部３１１は、再生情報を生成することが可能となる。

（実施の形態４）
本実施の形態と実施の形態１との異なる点は、光学ズームと電子ズームの属性情報の評価についてである。その他の点については、実施の形態１と共通であるため、説明を省略する。

本実施の形態では、シーン解析部３１０が図２に示す三脚センサ２１８からの入力情報に基づいてシーン解析を行う例を説明する。

一般に撮影時の拡大倍率（ズームアップ）が大きくなると、撮影時の手振れが大きくなるという課題がある。シーン解析部３１０は、レンズ制御部３０７や姿勢検出部３０８からの各種制御情報により、撮影時の手振れを検出することが可能である。また、レンズ部３００が手振れ補正機能を備えている場合には、そこからの制御情報を直接取得することでも、手振れを検出することができる。

これらの手振れは、レンズ制御部３０７等を通じてレンズ部３００を制御することにより、補正をすることが可能である。しかし、これらの補正は限られたものが一般であるため、特に撮影の拡大倍率が大きくなると、完全には補正できない場合がある。撮影時の手振れ補正等を防ぐには、一般には三脚等を用いて安定した状態での固定撮影が望ましい。

そこで、シーン解析部３１０は、映像の拡大率と三脚センサ２１８との属性情報に基づいてシーン毎に評価を行う。具体的には、属性情報の一つである三脚センサが「無」を意味している場合は、図１７（Ａ）に示すシーンの評価を行う。属性情報の三脚使用が「有」を意味している場合は、図１７（Ｂ）のように、シーン毎の評価を行う。

シーン解析部３１０は図１７（Ａ）と図１７（Ｂ）の評価方法を三脚の有無で切り換える。この評価方法は、拡大倍率が大きい場合の撮影では、撮影者が三脚無しで手に持って撮影すると手振れによる撮影映像の乱れ、拡大倍率が大きくても、ビデオカメラを三脚に固定して撮影する場合は、映像の乱れが比較的小さくなる、という観点で評価を行っている。そこで、本実施の形態では、映像の拡大倍率と三脚使用状況に基づいて、シーン毎の評価を切り換えて行うものである。

これにより、撮影条件を考慮した撮影シーンの評価を行うことができ、視聴者によってより好ましいシーンの抽出を自動的に行うことが可能となる。

なお、本実施の形態では、三脚を例にあげて説明したが、これに限定するものではない。三脚以外の一脚であってもよい。つまり撮影時にビデオカメラが手振れ等の影響がない固定された状況（安定した状況）での撮影か、手振れ等の恐れのある状況（不安定な状況）での撮影かを識別できるものであればよい。これは、映像撮影装置がこれを識別する方法として、外部からの入力（三脚センサ２１８）を利用し、これによりシーン解析部３１０はシーン評価の評価方法を変えるというものである。

（実施の形態５）
本実施の形態と実施の形態４との異なる点は、電子ズームの評価についてである。その他の点については、実施の形態４と共通であるため説明を省略する。

本実施の形態では、信号処理部３０３が、電子ズームを行う際に、解像度補完処理を行う場合と行わない場合とで、シーン解析部３１０がシーン評価を異なるものとする場合について説明する。

信号処理部３０３が、電子ズームを用いて撮影された映像を、解像度補完技術を用いて、映像の解像度を高めると、電子ズームの拡大率が相対的に小さい場合、電子ズームによる解像度の低下を解像度補完技術によって擬似的に補うことが可能となる。そのため、この場合には、シーン解析部３１０は、図１７（Ｂ）に示すように、所定の解像度までは、シーンの評価を拡大倍率の増加に伴って、高める。

反対に、解像度補完技術を用いない場合、電子ズームによる拡大倍率の増加にともなって、映像の実質的な解像度も低下するため、図１７（Ａ）のように評価する。この場合、たとえば、映像の実質的な解像度の変化は、図１５に記した解像度補完処理を行わない場合（実線）と解像度補完処理を行う場合（点線）のようになる。

これにより、解像度補完技術を伴った電子ズームの撮影であるか否かによって、シーンの評価を行うことが可能となり、より好ましいシーンの抽出をシーン解析部３１０は自動的に行うことができる。

なお、上記すべての実施の形態で説明した評価の方法（特に評価の嗜好）は、すべて一例であり上記の評価方法に限定されるものではない。例えば、視聴者の好む映像の種類に応じて評価の方法をかえてもよい。

また、上記の実施の形態で示した複数の評価方法を組み合わせて評価することも当然可能である。

さらに、シーン解析部３１０が算出した属性情報に基づいて、別の属性情報（２次属性情報）を生成し、それらに基づいてシーンを評価するものであってもよい。属性情報生成部が収集する複数の属性情報から新たな属性情報を生成ることで、より高度なシーンの判別をすることも可能となる。

また、上記の実施の形態では、映像撮影装置を用いて説明したが、本発明はこれに限定されるものではない。例えば、映像撮影装置で撮影した映像を編集する映像編集装置でも同様に実施できる。この場合、映像編集装置は、映像撮影装置から撮影した映像、音声だけを受け取り、それぞれの映像、音声のみを解析することでシーン毎の属性情報を抽出する方法を採用することで実現できる。さらに、映像編集装置が、映像、音声だけでなく、属性情報等も取得できる場合は、上記の実施の形態と同様に取得した属性情報に基づいてシーンの評価を行うことができる。

本発明は、映像を撮影する映像撮影装置や、映像を編集する映像編集装置で実現することができる。特に、映像撮影時の拡大率変更（ズーム）動作に関する属性情報を利用することで、より映像としての価値が高いシーンを自動的に抽出することが可能となる。

１００ ビデオカメラ
２００ レンズ群
２０１ 撮像素子
２０２ 映像ＡＤＣ
２０３ 映像信号変換ＩＣ
２０４ ＣＰＵ
２０５ クロック
２０６ レンズ制御モジュール
２０７ 姿勢検出センサ
２０８ 入力ボタン
２０９ ディスプレイ
２１０ スピーカー
２１１ 出力Ｉ／Ｆ
２１２ 圧縮伸張ＩＣ
２１３ ＲＯＭ
２１４ ＲＡＭ
２１５ ＨＤＤ
２１６ 音声ＡＤＣ
２１７ マイクロフォン
２１８ 三脚センサ
３００ レンズ部
３０１ 撮像部
３０２ 映像ＡＤ変換部
３０３ 信号処理部
３０４ 映像信号圧縮部
３０５ 撮像制御部
３０６ 映像解析部
３０７ レンズ制御部
３０８ 姿勢検出部
３０９ 属性情報生成部
３１０ シーン解析部
３１１ 再生情報生成部
３１２ 音声解析部
３１３ 音声信号圧縮部
３１４ 多重化部
３１５ 記憶部
３１６ ダイジェスト再生部
３１７ 映像信号伸張部
３１８ 映像表示部
３１９ 音声信号伸張部
３２０ 音声出力部
３２１ 音声ＡＤ変換部
３２２ マイク部
３２３ 外部入力部

Claims (7)

1. 映像を撮影する映像撮影装置であって、
   前記映像撮影時の属性情報を生成する属性情報生成部と、
   前記属性情報に含まれる前記映像の映像倍率変更方法に関する情報と、映像倍率に関する情報と、前記映像の実質的な解像度に関する情報と、映像倍率の時間変化率に関する情報と、の少なくとも一つに基づいて前記映像をシーン毎に評価するシーン解析部と、
   前記評価に基づいて、前記映像の再生情報を生成する再生情報生成部と、
   を備える映像撮影装置。
2. 被写体からの入射した光を電気信号に変換する撮像部と、
   前記撮像部へ入射する光を調整するレンズ部と、
   をさらに備え、
   前記映像倍率変更方法に関する情報とは、前記レンズ部での光学調整による倍率変更方法と、前記撮像部が出力する電気信号に基づいた信号処理による倍率変更方法と、の少なくとも一つを示す情報である、
   請求項１に記載の映像撮影装置。
3. 前記シーン解析部は、前記映像倍率に関する情報に基づくシーンの評価を、前記映像コンテンツの映像倍率と所定の倍率とを比較して評価する、
   請求項１に記載の映像撮影装置。
4. 前記シーン解析部は、前記映像コンテンツの実質的な解像度に関する情報に基づくシーンの評価を、前記映像コンテンツの実質的な解像度と所定の解像度とを比較して評価する、
   請求項１に記載の映像撮影装置。
5. 前記シーン解析部は、前記映像倍率の時間変化率に関する情報に基づくシーンの評価を、前記映像コンテンツの時間変化率と所定の時間変化率とを比較して評価する、
   請求項１に記載の映像撮影装置。
6. 前記シーン解析部は、該映像撮影装置の撮影状況に応じて、前記評価方法を変える、
   請求項１に記載の映像撮影装置。
7. 前記シーン解析部は、解像度補完処理の情報に基づいて、前記映像をシーン毎に評価する、
   請求項１に記載の映像撮影装置。