JP2008141354A - 画像符号化装置および撮像装置 - Google Patents

Abstract

【課題】高品質な特殊再生が可能な符号化画像ストリームのデータ量は、肥大化しがちである。
【解決手段】撮像された動画像を符号化する符号化装置１００は、記録用ピクチャとは別に撮像された付加ピクチャを参照して、記録用ピクチャのフレームレートを適応的に制御する。その際、記録用ピクチャ間に、それらの記録用ピクチャのフレーム周期より短いフレーム周期で少なくとも二枚挿入された付加ピクチャ間における特徴量の変化を参照し、その変化が設定された変化量を超えた場合、上記記録用ピクチャのフレームレートより高速なフレームレートに変更する。
【選択図】図１

Description

本発明は、撮像した動画像を符号化するための画像符号化装置および撮像装置に関する。

デジタルビデオカメラなどが普及してきており、一般ユーザも簡単に動画を撮像することができるようになってきている。一方、符号化された動画像を復号して再生する装置も普及してきており、撮像した動画像を容易に再生したり編集したりすることができるようになってきている。

そのような再生装置は、スロー再生や早送り再生などの特殊再生機能を搭載するものが一般的である。高品質のスロー再生を行うには、動画像を撮像する際、高速度で撮像された、すなわちフレームレートを高くして撮像された符号化画像データが必要である。

特許文献１は、高速に再生した再生データをディスクドライブに一旦記録し、これを再生して特殊効果処理を施して再びディスクドライブに記録した後に高速に再生し、これを高速に記録する編集システムを開示する。
特開２００３−３１７４４８号公報

高速撮像された符号化画像ストリームのデータ量は、通常速度での再生に対応したフレームレートで撮像された符号化画像ストリームのデータ量より大きくなってしまう。特に、携帯型で小型のデジタルビデオカメラではデータ量の削減に対する要求が強くなる。

本発明はこうした状況に鑑みなされたものであり、その目的は、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる画像符号化装置および撮像装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化装置は、撮像された動画像を符号化する画像符号化装置であって、記録用ピクチャとは別に撮像された付加ピクチャを参照して、記録用ピクチャのフレームレートを適応的に制御する。「ピクチャ」は符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。「付加ピクチャ」の特徴量を参照して、フレームレートを適応的に変更してもよい。「特徴量」には、動きベクトル量が含まれてもよい。「付加ピクチャ」のフレーム周期は、「記録用ピクチャ」のフレーム周期より短くてもよい。複数の「付加ピクチャ」から補間ピクチャを生成して、記録してもよい。

この態様によると、フレームレートを適応的に制御することにより、ある区間ではフレームレートを高くし、他のある区間ではフレームレートを低くしたりすることができる。よって、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができるバランスのとれた符号化画像ストリームを生成することも可能である。また、付加ピクチャの特徴量などを参照することにより、記録用ピクチャのフレームレートに依存せずに、フレームレートを探索することができる。

記録用ピクチャ間に、それらの記録用ピクチャのフレーム周期より短いフレーム周期で少なくとも二枚撮像された付加ピクチャ間における特徴量の変化を参照し、その変化が設定された変化量を超えた場合、記録用ピクチャのフレームレートより高速なフレームレートに変更してもよい。「付加ピクチャ」は、システムに設定された最高速のフレームレートに遷移させるべき被写体の高速な動きを検出するための最短フレーム周期に設定されてもよい。これによれば、記録用フレームから検出することが難しい、被写体の高速な動きを検出することができる。

記録用ピクチャのフレーム周期に同期して撮像される付加ピクチャの撮像間隔を変化させてもよい。「記録用ピクチャのフレーム周期に同期して撮像される付加ピクチャ」の数は、一枚でも二枚以上でもよい。これによれば、周期的な動きをする被写体の動きを検出しそこねる事態を回避することができる。

それぞれ撮像間隔が異なる付加ピクチャの組を複数参照して、遷移すべきフレームレートを決定するとき、付加ピクチャの組ごとに、付加ピクチャ間における特徴量の変化量を求め、設定された変化量に最も近い組を特定し、その組の撮像間隔に対応したフレームレートに決定してもよい。これによれば、遷移可能な動作ポイントを段階的に遷移していく場合より、最適なフレームレートへの遷移時間を短縮することができる。

本発明の別の態様は、撮像装置である。この装置は、動画像を撮像する撮像部と、撮像部で撮像されたピクチャの特徴量を参照して、フレームレートを適応的に制御する制御部と、を備える。制御部は、記録用ピクチャと別に、フレームレートの決定に利用する付加ピクチャを撮像部に撮像させる。

この態様によると、フレームレートを適応的に制御することにより、ある区間ではフレームレートを高くし、他のある区間ではフレームレートを低くしたりすることができる。よって、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができるバランスのとれた符号化画像ストリームを生成することも可能である。また、付加ピクチャの特徴量を利用することにより、記録用ピクチャのフレームレートに依存せずに、フレームレートを探索することができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる。

図１は、実施形態１に係る符号化装置１００を搭載した撮像装置５００の構成図である。これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置５００は、撮像部４００および符号化装置１００を備える。撮像部４００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子、それを駆動するドライバを備え、撮像した画像を電気信号に変換し、符号化装置１００に出力する。符号化装置１００は、フレーム単位で動画像の入力を受け取り、動画像を符号化し、符号化ストリームを出力する。

本実施形態の符号化装置１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。

一方、Ｈ．２６４／ＡＶＣでは、参照画像として利用できるフレームは、時間の先後を問わず、過去の２枚のフレームを参照画像としてもよく、未来の２枚のフレームを参照画像としてもよい。また、参照画像として利用できるフレームの枚数も問わず、３枚以上のフレームを参照画像として用いることもできる。したがって、ＭＰＥＧ−１／２／４では、Ｂフレームは双方向予測（Bi-directional prediction）フレームのことを指していたが、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、参照画像の時間の先後は問わないため、双予測（Bi-predictive prediction）フレームのことを指すことに留意する。

なお、本願明細書では、フレームとピクチャを同じ意味で用いており、Ｉフレーム、Ｐフレーム、Ｂフレームは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャとも呼ばれている。
また、本願明細書では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

ブロック生成部１０は、撮像部４００から入力された画像フレームをマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１０は生成したマクロブロックを差分器１２、動き補償部６０およびフレームレート制御部７０に供給する。

差分器１２は、ブロック生成部１０から供給される画像フレームがＩフレームであれば、そのままＤＣＴ部２０に出力するが、ＰフレームまたはＢフレームであれば、動き補償部６０から供給される予測画像との差分を計算してＤＣＴ部２０に供給する。

動き補償部６０は、フレームメモリ８０に格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部１０から入力されたＰフレームまたはＢフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。動き補償部６０は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部６０は、生成した動きベクトルをフレームレート制御部７０と可変長符号化部９０に供給し、予測画像を差分器１２と加算器１４に供給する。

動き補償部６０では、双方向予測と片方向予測のいずれも適用可能である。動き補償部６０は、片方向予測では、前方参照フレームに対する動きを示す順方向動きベクトルを生成する。双方向予測では、順方向動きベクトルに加えて、後方参照フレームに対する動きを示す逆方向動きベクトルの２つの動きベクトルを生成する。

差分器１２は、ブロック生成部１０から出力される現在の画像、すなわち符号化対象の画像と、動き補償部６０から出力される予測画像との差分を求め、ＤＣＴ部２０に出力する。ＤＣＴ部２０は、差分器１２から与えられた差分画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部３０に与える。

量子化部３０は、ＤＣＴ係数を量子化し、可変長符号化部９０に与える。可変長符号化部９０は、動き補償部６０から与えられた動きベクトルとともに差分画像の量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームＣＳを生成する。

量子化部３０は、画像フレームの量子化されたＤＣＴ係数を逆量子化部４０に供給する。逆量子化部４０は、与えられた量子化データを逆量子化し、逆ＤＣＴ部５０に与え、逆ＤＣＴ部５０は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームは加算器１４に入力される。

加算器１４は、逆ＤＣＴ部５０から供給される画像フレームがＩフレームであれば、そのままフレームメモリ８０に格納する。加算器１４は、逆ＤＣＴ部５０から供給される画像フレームがＰフレームまたはＢフレームであれば、それは差分画像であるため、逆ＤＣＴ部５０から供給された差分画像と動き補償部６０から供給される予測画像とを加算することにより、元の画像フレームを再構成し、フレームメモリ８０に格納する。

ＰフレームもしくはＢフレームの符号化処理の場合は、上述のように動き補償部６０が動作するが、Ｉフレームの符号化処理の場合は、動き補償部６０は動作せず、ここでは図示しないが、Ｉフレームはフレーム内予測が行われた後、ＤＣＴ部２０に供給される。

フレームレート制御部７０は、動き補償部６０から与えられる動きベクトル、ブロック生成部１０から与えられる色情報や輝度情報を参照して、撮像部４００が動画像を撮像する際のフレームレートを適応的に制御する。

図２は、本実施形態に係るフレームレート制御部７０の構成を説明する図である。フレームレート制御部７０は、特徴量取得部７２、特徴量解析部７４、条件設定部７６およびフレームレート設定部７８を備える。

特徴量取得部７２は、画像の特徴を示すパラメータをブロック生成部１０や動き補償部６０から取得する。例えば、ブロック生成部１０から与えられたマクロブロックから色情報（Ｒ、Ｇ、Ｂ）や輝度情報（Ｙ）を取得する。また、動き補償部６０から動きベクトルを取得する。

特徴量解析部７４は、特徴量取得部７２により取得された上記パラメータを、条件設定部７６により設定された条件にしたがい、解析する。例えば、取得した動きベクトルから、各マクロブロックのｘ方向およびｙ方向への移動量を絶対値で表し、フレームごとにすべてのマクロブロックの上記移動量を足し合わせた値（以下、本明細書ではベクトル量と呼ぶ。）の変化を観測する。また、動きベクトルの方向の変化を観察することもできる。

特徴量解析部７４は、各種パラメータの変化を履歴として管理し、統計的な解析を施すことができる。例えば、観測すべきパラメータの増減傾向の大きさや、状態継続期間や、パラメータが閾値を超えた回数、頻度などを求める際、最大値、最小値を排除したり、移動平均処理を行うことにより、異常値を排除することができる。特徴量解析部７４は、これらの解析に基づき、観察しているパラメータが所定の範囲に収まるようフレームレート設定部７８にフレームレートの変更を指示する。

また、特徴量解析部７４は、取得した色情報の変化や輝度情報の変化を観察することもできる。また、動きベクトルを解析することにより、人間や動物などの被写体の移動速度や移動距離を観察することもできる。なお、動きベクトルや被写体の動きの速度は、オートフォーカス制御系から取得することも可能である。

条件設定部７６は、特徴量取得部７２が取得すべきパラメータの種類、特徴量解析部７４が画像を解析するために必要な解析条件およびフレームレート設定部７８がフレームレートを設定するために必要な条件やパラメータを設定する。条件設定部７６は、画像の解析条件として、各種パラメータへの重み付けを設定することができる。例えば、動きベクトル、色、輝度の変化や被写体の変化に対して、画像の中央領域での変化を周辺領域での変化より重視するよう、中央付近のマクロブロックにおける各種パラメータの変化に対して１を超える係数を掛け、周辺領域のマクロブロックにおける各種パラメータの変化に対して１未満の係数を掛けするよう設定してもよい。

条件設定部７６は、各種パラメータの変化を観測すべき範囲自体を制限することもできる。例えば、周辺領域のマクロブロックにおける各種パラメータの変化を無視することができる。また、観察すべき被写体を限定することもできる。例えば、パターンマッチングにより人間の顔と判定された被写体の変化のみを観察してもよい。

条件設定部７６は、各種のパラメータのいずれを使用するかを定めるモード設定を行うことができる。動きベクトル量を中心に観察するが、補助的に色の変化を観察するといった複合的な設定も可能である。また、フレームレートを変更するための最終的な判断として、どのパラメータにどの程度の寄与度を持たせるかを設定することもできる。

条件設定部７６は、基本フレームレート、遷移可能なフレームレート、遷移可能範囲、変更周期およびフレームレートを変更すべき上記パラメータの変化量を示す閾値を設定する。以下、具体例を説明する。条件設定部７６は、通常速度で再生される際のフレームレートを、基本フレームレートに設定する。なお、ユーザの撮影意図により、スロー再生または早送り再生される際のフレームレートを基本フレームレートに設定してもよい。フレームレートの遷移可能範囲として、基本フレームレートの整数倍でのフレームレート変更を制約条件とし、この条件下であらかじめ遷移可能なフレームレートを選定する。
基本フレーム周期：Ｔ０
フレーム周期：ｔ＝Ｔ０／Ｎ（Ｎは自然数）
フレームレート：ｆ＝１／ｔ［ｆｐｓ］

基本フレーム周期Ｔ０は基本フレームレートの逆数である。フレームレートの変更周期は、基本フレーム周期の整数倍の時間間隔に設定する。特徴量解析部７４は、この時間間隔内の映像単位で次に変更するフレームレートを判定する。すなわち、基本フレーム周期に同期した時間間隔でフレームレート変更点を持つことになる。フレームレート変更点のフレームレートの最大値は、そのフレームレートで再生される各フレームの最低視聴時間が保証される値に設定する。

基本フレームレートを最小単位とし、その整数倍にフレームレート変更点を設定すると、限定されたフレームレートでしか再生できない低スペックな再生装置でも、どのフレームレートで撮像された動画像データであるかを容易に判断することができ、視聴や編集の混乱を抑制することができる。なお、基本フレーム周期内にフレームレート変更点を設けることを許容した場合、フレームレートを動的に変更するための設定条件やタイミング制御が複雑化したり、編集が難しくなるが、高速撮像の割合を減らすことができる。したがって、基本フレーム周期内にフレームレート変更点を設けることを排除するものではない。

条件設定部７６は、フレームレートの適応的な変更処理を発動させるトリガー条件を設定することもできる。特定色を検出したなど各種パラメータが所定の条件を満たした場合、被写体の移動速度や移動距離が所定の設定値を超えた場合、ユーザから外部入力があった場合などに発動するよう設定することができる。

フレームレート設定部７８は、条件設定部７６に設定された条件にしたがい、特徴量解析部７４からの指示に応じて、フレームレートを適応的に変更する。具体的には、撮像部４００に設けられる撮像素子の露光時間を制御する。当該撮像素子を駆動するドライバに指示することにより露光時間を調整することができる。

図３は、３種類のフレーム周期ｔを示す図である。図３中、上のフレームは、フレーム周期ｔが基本フレーム周期Ｔ０と同じフレームを示す。真ん中のフレームは、フレームレートｔが基本フレーム周期の１／４（Ｔ０／４）のフレームを示す。下のフレームは、フレーム周期ｔが基本フレーム周期の１／２（Ｔ０／２）のフレームを示す。よって、通常速度で撮像されている上のフレームに対して、真ん中のフレームは４倍速で、下のフレームは２倍速で撮像されていることが分かる。

図４は、動きベクトル量の変化とフレームレートの変化の関係を示す図である。図４中、上段の凹凸のあるブロックは、動きベクトル量の変化を示したものである。撮影者が一定の地点を撮影している場合で、連続するフレーム間で被写体の動きが小さい場合、動きベクトル量も小さくなる。その逆の場合、動きベクトル量は大きくなる。画像の変化が大きい区間をスロー再生する場合、通常のフレームレートで撮像されたフレーム群を再生していくと、コマ落ちして画像が滑らかにつながらない場合がある。この点、その区間のフレームレートを高くし、フレーム数が多ければ、滑らかな画像を再生することができる。

図４は、この知見を具体化した例を示している。通常速度のフレームレートで撮像を開始するが、フレームレート変更タイミング間の周期に対応する基本フレーム周期Ｔ０での動きベクトル量が大きいため、次のフレームレート変更タイミングで４倍速のフレームレートに変更している。基本フレーム周期Ｔ０が２回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで２倍速のフレームレートに変更している。その後、基本フレーム周期Ｔ０が３回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで通常速度のフレームレートに変更している。

図５（ａ）は、撮像するときの時間軸上でのフレームデータの並びを示す。図５（ｂ）は、再生するときの時間軸上でのフレームデータの並びを示す。図５は、通常速度のフレームレートで撮像したフレームデータと４倍速のフレームレートで撮像したフレームデータとが混在している。上述したように本実施形態では動画像を撮像中にフレームレートが適応的に変化するため、図５（ａ）に示すように、撮像された動画像ストリームは、フレーム間の時間間隔が異なる区間が混在することになる。一方、通常再生する場合、図５（ｂ）に示すように、一定の時間間隔でフレームデータが再生される。高速撮像したフレームデータは高品質なスローモーション映像となる。

図６は、実施形態１に係るフレームレート変更処理の一例を示すフローチャートである。まず、条件設定部７６は、遷移可能なフレームレートすなわちフレームレートの変更点をフレームレート設定部７８に複数設定する（Ｓ１０）。また、初期のフレームレートを設定する（Ｓ１２）。条件設定部７６は、基本フレーム周期Ｔ０に対応する動きベクトル量の単位分析期間を設定する（Ｓ１４）。また、動きベクトル量の上限閾値および下限閾値を設定する（Ｓ１６）。これらの閾値は、設計者が実験やシミュレーションで求めた値に設定されることができる。また、設計者が求めた複数の閾値候補からユーザが選択してもよい。

ステップＳ１０〜Ｓ１４までの設定処理は、撮像装置５００に設けられた図示しない操作部または撮像装置５００に接続されたＰＣなどからユーザが条件設定部７６に指示することにより行われてもよいし、システムが自動で行ってもよい。なお、一度設定した設定値は、ユーザからの変更指示がない限り、引き継がれてもよい。

動き補償部６０は、各マクロブロックの動きベクトルを抽出して特徴量取得部７２に与え、特徴量解析部７４は、特徴量取得部７２から与えられる動きベクトルから動きベクトル量を算出する（Ｓ１８）。

特徴量解析部７４は、動きベクトル量の単位分析期間が終了すると（Ｓ２０のＹ）、その期間内に動きベクトル量が何回、上限閾値または下限閾値を超えたかを検出する（Ｓ２２）。上限閾値または下限閾値を超えた回数が、あらかじめ設定された所定の回数に満たない場合（Ｓ２２のＮ）、フレームレートを変更せずに、ステップＳ１８に遷移し処理を続行する。この設定された所定の回数も、設計者が実験やシミュレーションで求めた値に設定されることができる。

ステップＳ２２にて、あらかじめ設定された所定の回数を超えた場合（Ｓ２２のＹ）、特徴量解析部７４は、閾値を所定の回数超えたのが下限閾値の場合（Ｓ２４のＹ）、現在のフレームレートを低方向に変更する（Ｓ２６）。閾値を所定の回数超えたのが上限閾値の場合（Ｓ２８のＹ）、現在のフレームレートを高方向に変更する（Ｓ３０）。変更後も、フレームレート変更処理が継続している間（Ｓ３２のＮ）、ステップＳ１８に遷移し上述した処理を続行する。

なお、低方向または高方向に変更すべきフレームレートの変更点が、もはや低方向または高方向に存在しない場合、所定の回数を超えている場合でもフレームレートを変更しない。フレームレートの変更は、基本的には隣り合う変更点に段階的に遷移させるものであるが、例えば、所定の回数を２倍以上超えるなど、動きベクトル量が閾値を超える頻度が非常に高い場合、フレームレートを現在の動作点から２段階以上離れた変更点に遷移させてもよい。なお、各フレームレートの変更点ごとに上限閾値および下限閾値をあらかじめ設定しておいてもよい。

以上説明したように本実施形態によれば、動画像を撮像中にフレームレートを適応的に変更することにより、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる。よって、高品質な特殊再生を可能としつつ、長時間撮影も可能である。

また、高品質な特殊再生に必要な高速度撮像に切り替えるタイミングをマニュアル操作で適切に指定することは難しい。被写体の動きの変化などを人間の認識では捕らえにくいためである。必要のない高速度撮像は、データ量を肥大化させ撮影可能時間を短縮させてしまう。この点、本実施形態では、システムが適応的にフレームレートを変更するため、このような事態が発生しにくい。

次に、実施形態２について説明する。実施形態２は、最適なフレームレートを探索するための探索用フレームを追加するものである。実施形態２に係る符号化装置の構成は、図１および図２に示した実施形態１に係る符号化装置１００と同様のため、説明を省略する。探索用フレームは、撮像のフレームレートに対して様々な態様で挿入される。例えば、挿入間隔、フレーム周期または１回に挿入される数が変化されながら、挿入されてもよい。また、探索用フレームは、フレームレートの探索を目的としており、記録用の撮像画像として処理する必要がないため、露出調整は不要または最低限でよい。すなわち、現在撮像中のフレームレートに対して合わせられた露出を基本的に維持すればよい。

図７は、探索用フレームの挿入パターンの一例を示す。図７において、探索用フレームの間の期間を記録用フレームとしている。ここで、記録用フレームとは、探索用フレーム期間の間の期間またはその期間の映像を示す概念であり、撮像中のフレームレートより短期間である場合や、長期間である場合も含む。また、複数の撮像フレームを跨ぐ区間であってもよい。便宜上、探索用フレームの間の期間または映像を記録用フレームと表現しているが、記録用フレームは、少なくともフレームレートの探索には使用されないという趣旨を示しているに過ぎず、記録対象のフレームが当該記録用フレームに限定される趣旨ではなく、さらに、必ずしもすべての記録用フレームを記録しなければならないという趣旨でもない。図７は、挿入間隔が変化されながら、最短周期ｔ０の探索用フレームが二枚一組で挿入される例を示す。最短周期ｔ０の探索用フレームが二枚連続して挿入されるのは、被写体の高速な動きを検出するためである。最短周期ｔ０は、撮像部４００が撮像可能な最短時間に設定されてもよいし、設計者が任意に設定してもよい。

図７（ａ）では、第１記録用フレームＢ１の前に二枚の第１、第２探索用フレームＡ１、Ａ２が連続して挿入され、第１記録用フレームＢ１と第２記録用フレームＢ２との間に二枚の第３、第４探索用フレームＡ３、Ａ４が連続して挿入され、第２記録用フレームＢ２の後に二枚の第５、第６探索用フレームＡ５、Ａ６が連続して挿入される。また、第１記録用フレームＢ１の前後に第２、第３探索用フレームＡ２、Ａ３が付加され、第２記録用フレームＢ２の前後に第４、第５探索用フレームＡ４、Ａ５が付加されると捉えてもよい。なお、探索用フレームは、記録用フレーム期間から任意の短期間を抜き出したものであってもよい。また、連続した探索用フレームの場合も、一つの探索用フレーム期間から個々の探索用フレームの短期間を連続的に抜き出したものであってもよい。前後に探索用フレームが付加された記録用フレームを並べていくと、二枚の探索用フレームが連続することになる。

前後に第２、第３探索用フレームＡ２、Ａ３が付加された第１記録用フレームＢ１の第１フレーム周期ｔ１および前後に第４、第５探索用フレームＡ４、Ａ５が付加された第２記録用フレームＢ２の第２フレーム周期ｔ２は、設計者によって任意に設定される。図７（ａ）では、第１フレーム周期ｔ１と第２フレーム周期ｔ２を合わせたフレーム周期が通常速度のフレーム周期Ｔ０になるよう設定している。

図７（ｂ）では、第３記録用フレームＢ３の前に二枚の第７、第８探索用フレームＡ７、Ａ８が連続して挿入され、第３記録用フレームＢ３の後に二枚の第９、第１０探索用フレームＡ９、Ａ１０が連続して挿入される。前後に第８、第９探索用フレームＡ８、Ａ９が付加された第３記録用フレームＢ３の第３フレーム周期ｔ３は、通常速度のフレーム周期Ｔ０と等しくなるよう設定している。

図７（ｃ）では、第４記録用フレームＢ４の前に二枚の第１１、第１２探索用フレームＡ１１、Ａ１２が連続して挿入され、第４記録用フレームＢ４と第５記録用フレームＢ５との間に二枚の第１３、第１４探索用フレームＡ１３、Ａ１４が連続して挿入され、第５記録用フレームＢ５の後に第１５探索用フレームＡ１５が挿入される。第４フレーム周期ｔ４と第５フレーム周期ｔ５を合わせたフレーム周期が通常速度のフレーム周期Ｔ０になるよう設定している。図７（ｃ）では、第５記録用フレームＢ５の次の記録用フレームに探索用フレームが付加されない場合を想定している。

図８は、探索用フレームを挿入したデータストリームの一例を示す。図８に示すデータストリームは、通常速度のフレームレートから３倍速のフレームレートに遷移している。このデータストリームには、フレームレートを決定するための探索用フレームが挿入されている。通常速度のフレームには、図７（ａ）〜（ｃ）に示した挿入パターンを図７（ａ）から順番に並べた挿入パターンで探索用フレームが挿入される。図７における第６探索用フレームＡ６、第７探索用フレームＡ７、第１０探索用フレームＡ１０および第１１探索用フレームＡ１１は、それぞれ第８探索用フレームＡ８、第５探索用フレームＡ５、第１２探索用フレームＡ１２および第１１探索用フレームＡ１１に置き換えられるものとする。なお、３倍速のフレームにも探索用フレームが挿入されてもよい。また、探索用フレームが挿入されないフレームがあってもよい。

図９は、実施形態２に係るフレームレート変更処理の一例を示すフローチャートである。図９では、図８に示したデータストリーム例に則して説明する。まず、動き補償部６０は、探索用フレームの各マクロブロックの動きベクトルを抽出して特徴量取得部７２に与え、特徴量解析部７４は、特徴量取得部７２から与えられる動きベクトルから動きベクトル量を算出する（Ｓ４０）。ここで、動き補償部６０は、記録用フレームの前後に挿入された探索用フレームの動きベクトル量を算出するものとする。

特徴量解析部７４は、連続する探索用フレームの動きベクトル量を比較し、その変化量を求める（Ｓ４２）。なお、初期において連続する探索用フレームが出現していない場合、ステップＳ４６までスキップする。特徴量解析部７４は、その変化量が所定の閾値を超えたか否かを判定する（Ｓ４４）。所定の閾値は、設計者が実験やシミュレーションで求めた値に設定されることができる。所定の閾値を超えた場合（Ｓ４４のＹ）、現在のフレームレートから最速のフレームレートに変更する（Ｓ５４）。

所定の閾値を超えない場合（Ｓ４４のＮ）、特徴量解析部７４は、記録用フレームの前後に挿入される探索用フレームの動きベクトル量を比較し、その変化量を求める（Ｓ４６）。単位評価期間が終了しない間（Ｓ４８のＮ）、ステップＳ４０に遷移し、上述した処理を実行する。ここで、単位評価期間とは、最適なフレームレートを探索するために、フレーム周期のそれぞれ異なる記録用フレームをまたぐ探索用フレーム間の動きベクトル量の変化量を収集している期間を指す。

特徴量解析部７４は、単位評価期間が終了すると（Ｓ４８のＹ）、その期間に収集した各動きベクトル量の変化量のうち、あらかじめ設定された動きベクトルの適正変化量に最も近い変化量のフレーム周期を選択する（Ｓ５０）。この適正変化量も、設計者が実験やシミュレーションで求めた値に設定されることができる。データ量の削減の要請と、スロー再生した場合の品質の観点を基に設定される。例えば、データ量の削減を重視する場合、適正変化量を比較的高めに設定し、品質を重視する場合、適正変化量を比較的低めに設定する。

特徴量解析部７４は、選択したフレーム周期のフレームレートに最も近い、あらかじめ設定された遷移可能なフレームレートに現在のフレームレートを変更する（Ｓ５２）。なお、単位評価期間内に設定される記録用ピクチャのフレーム周期を、システムが遷移可能なフレームレートに対応するフレーム周期に合わせている場合、単に、選択した記録用ピクチャのフレーム周期のフレームレートに変更すればよい。また、被写体が静止している場合、各動きベクトル量の変化量が零または非常に小さくなる。このような場合、現在のフレームレートを基本フレームレート、すなわち通常速度のフレームレートに変更する処理を加えてもよい。

図８に則して説明すると、条件設定部７６は、フレーム周期ｔ１からフレーム周期ｔ５までを合わせた期間を単位評価期間に設定する。特徴量解析部７４は、第２探索用フレームＡ２と第３探索用フレームＡ３との間の第１動きベクトル量の変化量、第４探索用フレームＡ４と第５探索用フレームＡ５との間の第２動きベクトル量の変化量、第８探索用フレームＡ８と第９探索用フレームＡ９との間の第３動きベクトル量の変化量、第１２探索用フレームＡ１２と第１３探索用フレームＡ１３との間の第４動きベクトル量の変化量、および第１４探索用フレームＡ１４と第１５探索用フレームＡ１５との間の第５動きベクトル量の変化量を求める。仮に、第１動きベクトル量の変化量が上記適正変化量に最も近い場合、第１フレーム周期ｔ１で撮像された動画像が最適なフレームレートで撮像された動画像に最も近いことになる。したがって、特徴量解析部７４は、第１フレーム周期ｔ１のフレームレートに最も近い、あらかじめ設定された遷移可能なフレームレートに現在のフレームレートを変更する。すなわち、第１フレーム周期ｔ１の期間映像、もしくはその前後の探索用フレームの映像の評価から最適なフレームレートを推定できる。これは、最適フレームレートへの探索範囲を絞り込むことになり、さらに変更可能なフレームレートが固定的である場合、その中から選択するため、より直接的で評価が容易になる。よって、レート変更の処理を簡易かつ適切に推定できる。図８では、第１フレーム周期ｔ１のフレームレートに最も近い３倍速のフレームレートに変更している。

図１０は、探索用フレームを挿入したデータストリームの別の例を示す。図１０におけるフレーム周期ｔ１〜ｔ５は、図８におけるフレーム周期ｔ１〜ｔ５に対応している。前後に探索用フレームが付加された記録用フレームのストリームにて、同じフレーム周期の記録用フレームを複数枚、例えば二枚ずつ連続させる。これにより、各フレーム周期の評価をより正確に行うことができる。例えば、同じフレーム周期の複数の記録用フレームにおける動きベクトル量の変化量が近似する場合、その検出した変化量を有効なデータとして扱い、大きく異なる場合、その変化量を無効なデータとして扱うといった処理を行ってもよい。この処理により、被写体の動きの継続性を担保することができる。

図１１は、探索用フレームから補間フレームを生成する過程を示すイメージ図である。図１１は、図７（ｃ）の挿入パターンで探索用フレームが挿入されたデータストリームから補間フレームを生成する過程を示す。このデータストリームに含まれる第９探索用フレームＡ９、第１０探索用フレームＡ１０、第４記録用フレームＢ４、第１１探索用フレームＡ１１、第１２探索用フレームＡ１２および第５記録用フレームＢ５のそれぞれのフレーム周期を合わせると、通常速のフレーム周期と同じになる。よって、各フレームの対応する座標の画素値を合算することにより、通常速のフレームＣ１を生成することができる。

具体的には、第９探索用フレームＡ９の画素ｐｘ９、第１０探索用フレームＡ１０の画素ｐｘ１０、第４記録用フレームＢ４の画素ｐｘ４、第１１探索用フレームＡ１１の画素ｐｘ１１、第１２探索用フレームＡ１２の画素ｐｘ１２および第５記録用フレームＢ５の画素ｐｘ５の画素値を合算する。その合算値が補間フレームＣ１の画素ｐｘ１の画素値となる。なお、単純に合算するのではなく、各画素値に所定の重み付けを行った後に合算するなど、他の補間フレーム生成手法を用いてもよい。このような補間フレームを生成すると、データストリームの同一区間内に、フレームレートの異なる複数の画像を保持することになり、再生側で様々な態様で利用することができる。例えば、再生側で通常速度で再生される場合、高速度撮像された期間において、上述した手法で生成した補間フレームを用いることができる。これにより、高速度撮像されたフレームを使用する場合より、画質を向上させることができる。

以上説明したように実施形態２に係る符号化装置は、実施形態１の効果に加えて、以下の効果を奏する。記録用フレーム間に最短の探索用フレームを連続で挿入したことにより、非常に高速な被写体の動きを検出することができる。この点、通常速度のフレームレートでは被写体の高速な動きを検出できない場合があり、フレームレートの自動調整が発動しないことがある。

また、探索用フレームの挿入間隔を変化させることにより、被写体の周期的な動きにより、被写体の動きを検出できない事態を回避することができる。すなわち、被写体が現在のフレームレートに同期した周期的な動きをしている場合、システムは被写体を静止しているか、ほとんど動きがないと判定してしまう。また、探索用フレームの挿入間隔が一定であり、被写体がその間隔に同期した周期的な動きをしている場合も同様である。この点、探索用フレームの挿入間隔を変化させることにより、このような事態を回避することができる。

また、フレーム周期の異なる記録用フレームをまたぐ探索用フレーム間の動きベクトル量の変化量を参照して、最適なフレームレートを推測することにより、フレームレートの自動調整をより最適化することができる。すなわち、現在のフレームレートの近傍から大きく離れたフレームレートへの変更も可能になり、広範囲のフレームレートを有効に活用することができる。また、高速なフレームレートで撮像する時間を最適化することができ、無駄なデータを削減することができる。

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、実施形態１、２にて、上述した適応的なフレームレートの変更処理により高速撮像されている期間、撮像装置５００の図示しないファインダなどの表示部に、何倍速で撮像されているかを示すメッセージなどを表示させてもよい。これにより、フレームレートの適応的な変更をユーザにリアルタイムに通知することができる。

また、実施形態２にて説明した探索用フレームを付加されたフレームから構成される区間と、探索用フレームが付加されないフレームから構成される区間が混在したデータストリームが生成されてもよい。探索用フレームが付加されないフレームから構成される区間では、実施形態１にて説明したフレームレートの変更処理が行われてもよい。また、隣り合う記録用フレーム間の動きベクトル量の変化量を参照して、フレームレートを適応的に制御してもよい。その際、実施形態２にて説明した手法を応用することができる。また、探索用フレームが付加されないフレームから構成される区間では、フレームレート変更処理を停止し、次の探索用フレームを付加されたフレームから構成される区間でフレームレート変更処理を行えばよい。

実施形態１に係る符号化装置を搭載した撮像装置の構成図である。 実施形態１に係るフレームレート制御部の構成を説明する図である。 実施形態１に係る３種類のフレームレート周期ｔを示す図である。 実施形態１に係る動きベクトル量の変化とフレームレートの変化の関係を示す図である。 図５（ａ）−（ｂ）は撮像および再生するときの時間軸上におけるフレームデータの並びを示す図である。 実施形態１に係るフレームレート変更処理の一例を示すフローチャートである。 図７（ａ）−（ｃ）は実施形態２に係る探索用フレームの挿入パターンの一例を示す図である。 探索用フレームを挿入したデータストリームの一例を示す図である。 実施形態２に係るフレームレート変更処理の一例を示すフローチャートである。 実施形態２に係る探索用フレームを挿入したデータストリームの別の例を示す図である。 実施形態２に係る探索用フレームから補間フレームを生成する過程を示すイメージ図である。

符号の説明

１０ ブロック生成部、 １２ 差分器、 １４ 加算器、 ２０ ＤＣＴ部、 ３０ 量子化部、 ４０ 逆量子化部、 ５０ 逆ＤＣＴ部、 ６０ 動き補償部、 ７０ フレームレート制御部、 ７２ 特徴量取得部、 ７４ 特徴量解析部、 ７６ 条件設定部、 ７８ フレームレート設定部、 ８０ フレームメモリ、 ９０ 可変長符号化部、 １００ 符号化装置、 ４００ 撮像部、 ５００撮像装置。

Claims (5)

1. 撮像された動画像を符号化する画像符号化装置であって、
   記録用ピクチャとは別に撮像された付加ピクチャを参照して、前記記録用ピクチャのフレームレートを適応的に制御することを特徴とする画像符号化装置。
2. 前記記録用ピクチャ間に、それらの記録用ピクチャのフレーム周期より短いフレーム周期で少なくとも二枚撮像された付加ピクチャ間における特徴量の変化を参照し、その変化が設定された変化量を超えた場合、前記記録用ピクチャのフレームレートより高速なフレームレートに変更することを特徴とする請求項１に記載の画像符号化装置。
3. 前記記録用ピクチャのフレーム周期に同期して撮像される前記付加ピクチャの撮像間隔を変化させることを特徴とする請求項１または２に記載の画像符号化装置。
4. それぞれ撮像間隔が異なる前記付加ピクチャの組を複数参照して、遷移すべきフレームレートを決定するとき、
   前記付加ピクチャの組ごとに、付加ピクチャ間における特徴量の変化量を求め、設定された変化量に最も近い組を特定し、その組の撮像間隔に対応したフレームレートに決定することを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
5. 動画像を撮像する撮像部と、
   前記撮像部で撮像されたピクチャの特徴量を参照して、フレームレートを適応的に制御する制御部と、を備え、
   前記制御部は、記録用ピクチャと別に、フレームレートの決定に利用する付加ピクチャを前記撮像部に撮像させることを特徴とする撮像装置。

Images