JP2008035281A - 画像符号化方法 - Google Patents

Abstract

【課題】高品質な特殊再生が可能な符号化画像ストリームのデータ量は、肥大化しがちである。
【解決手段】フレームレート制御部７０は、撮像部４００で撮像したピクチャの特徴、例えば撮像した複数のピクチャにわたる動きベクトルの変化を参照して、フレームレートを適応的に制御する。フレームレート制御部７０は、動きベクトルの変化を参照して、フレームレートを適応制御する場合、動きベクトルが上限閾値を上回る場合、フレームレートを高くし、下限閾値を下回る場合、フレームレートを低くする。
【選択図】図１

Description

本発明は、撮像した動画像を符号化するための画像符号化方法に関する。

デジタルビデオカメラなどが普及してきており、一般ユーザも簡単に動画を撮像することができるようになってきている。一方、符号化された動画像を復号して再生する装置も普及してきており、撮像した動画像を容易に再生したり編集したりすることができるようになってきている。

そのような再生装置は、スロー再生や早送り再生などの特殊再生機能を搭載するものが一般的である。高品質のスロー再生を行うには、動画像を撮像する際、高速度で撮像された、すなわちフレームレートを高くして撮像された符号化画像データが必要である。

特許文献１は、高速に再生した再生データをディスクドライブに一旦記録し、これを再生して特殊効果処理を施して再びディスクドライブに記録した後に高速に再生し、これを高速に記録する編集システムを開示する。
特開２００３−３１７４４８号公報

高速撮像された符号化画像ストリームのデータ量は、通常速度での再生に対応したフレームレートで撮像された符号化画像ストリームのデータ量より大きくなってしまう。特に、携帯型で小型のデジタルビデオカメラではデータ量の削減に対する要求が強くなる。

本発明はこうした状況に鑑みなされたものであり、その目的は、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる画像符号化方法を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化方法は、動画像を撮像中に、撮像したピクチャの特徴を参照して、フレームレートを適応的に制御する。「ピクチャ」は符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。「ピクチャの特徴」は、時間方向に関する特徴が含まれてもよい。例えば、注目特徴量の時間変化や被写体の動きが含まれてもよい。被写体の動きには、速度や変位が含まれてもよい。

この態様によると、画像の特徴に応じてフレームレートを変更することができ、ある区間ではフレームレートを高くし、他のある区間ではフレームレートを低くしたりすることができる。よって、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができるバランスのとれた符号化画像ストリームを生成することも可能である。

撮像した複数のピクチャにわたる動きベクトルの変化を参照し、所定の上限閾値を上回る場合、フレームレートを高くし、所定の下限閾値を下回る場合、フレームレートを低くしてもよい。これによると、被写体などの動きが大きい区間を高いフレームレートで撮像し、動きが小さい区間を低いフレームレート撮像することができ、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができるバランスのとれた符号化画像ストリームを生成することも可能である。

基本フレームレートより高いフレームレートで撮像された期間にて、基本フレームレートでの撮像間隔に対応する単位期間ごとに、基本フレームレートより高いフレームレートで撮像された複数のピクチャから基本フレームレートに対応したピクチャを生成してもよい。「基本フレームレートに対応したピクチャ」は、基本フレームレートより高いフレームレートで撮像された複数のピクチャが合成されて生成されてもよい。

本発明の別の態様もまた、画像符号化方法である。この方法は、基本フレームレートと異なるフレームレートで撮像されたピクチャを含む動画像を符号化する方法であって、基本フレームレートより高いフレームレートで撮像された期間にて、基本フレームレートでの撮像間隔に対応する単位期間ごとに、基本フレームレートより高いフレームレートで撮像された複数のピクチャから基本フレームレートに対応したピクチャを生成する。

この態様によると、符号化する際に、複数のピクチャから基本フレームレートに対応したピクチャを生成することにより、再生側で特別な処理を行わずに高品質な特殊再生や編集を容易に行うことができる。

基本フレームレートより高いフレームレートで撮像された複数のピクチャと、基本フレームレートに対応したピクチャを混在させた符号化画像ストリームを生成してもよい。これによると、少ないデータ量で、高品質な特殊再生や編集を容易に行うことができる符号化画像ストリームを生成することができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる。

図１は、実施形態１に係る符号化装置１００を搭載した撮像装置５００の構成図である。これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置５００は、撮像部４００および符号化装置１００を備える。撮像部４００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子、それを駆動するドライバを備え、撮像した画像を電気信号に変換し、符号化装置１００に出力する。符号化装置１００は、フレーム単位で動画像の入力を受け取り、動画像を符号化し、符号化ストリームを出力する。

本実施形態の符号化装置１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。

一方、Ｈ．２６４／ＡＶＣでは、参照画像として利用できるフレームは、時間の先後を問わず、過去の２枚のフレームを参照画像としてもよく、未来の２枚のフレームを参照画像としてもよい。また、参照画像として利用できるフレームの枚数も問わず、３枚以上のフレームを参照画像として用いることもできる。したがって、ＭＰＥＧ−１／２／４では、Ｂフレームは双方向予測（Bi-directional prediction）フレームのことを指していたが、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、参照画像の時間の先後は問わないため、双予測（Bi-predictive prediction）フレームのことを指すことに留意する。

なお、本願明細書では、フレームとピクチャを同じ意味で用いており、Ｉフレーム、Ｐフレーム、Ｂフレームは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャとも呼ばれている。
また、本願明細書では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

ブロック生成部１０は、撮像部４００から入力された画像フレームをマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１０は生成したマクロブロックを差分器１２、動き補償部６０およびフレームレート制御部７０に供給する。

差分器１２は、ブロック生成部１０から供給される画像フレームがＩフレームであれば、そのままＤＣＴ部２０に出力するが、ＰフレームまたはＢフレームであれば、動き補償部６０から供給される予測画像との差分を計算してＤＣＴ部２０に供給する。

動き補償部６０は、フレームメモリ８０に格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部１０から入力されたＰフレームまたはＢフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。動き補償部６０は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部６０は、生成した動きベクトルをフレームレート制御部７０と可変長符号化部９０に供給し、予測画像を差分器１２と加算器１４に供給する。

動き補償部６０では、双方向予測と片方向予測のいずれも適用可能である。動き補償部６０は、片方向予測では、前方参照フレームに対する動きを示す順方向動きベクトルを生成する。双方向予測では、順方向動きベクトルに加えて、後方参照フレームに対する動きを示す逆方向動きベクトルの２つの動きベクトルを生成する。

差分器１２は、ブロック生成部１０から出力される現在の画像、すなわち符号化対象の画像と、動き補償部６０から出力される予測画像との差分を求め、ＤＣＴ部２０に出力する。ＤＣＴ部２０は、差分器１２から与えられた差分画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部３０に与える。

量子化部３０は、ＤＣＴ係数を量子化し、可変長符号化部９０に与える。可変長符号化部９０は、動き補償部６０から与えられた動きベクトルとともに差分画像の量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームＣＳを生成する。

量子化部３０は、画像フレームの量子化されたＤＣＴ係数を逆量子化部４０に供給する。逆量子化部４０は、与えられた量子化データを逆量子化し、逆ＤＣＴ部５０に与え、逆ＤＣＴ部５０は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームは加算器１４に入力される。

加算器１４は、逆ＤＣＴ部５０から供給される画像フレームがＩフレームであれば、そのままフレームメモリ８０に格納する。加算器１４は、逆ＤＣＴ部５０から供給される画像フレームがＰフレームまたはＢフレームであれば、それは差分画像であるため、逆ＤＣＴ部５０から供給された差分画像と動き補償部６０から供給される予測画像とを加算することにより、元の画像フレームを再構成し、フレームメモリ８０に格納する。

ＰフレームもしくはＢフレームの符号化処理の場合は、上述のように動き補償部６０が動作するが、Ｉフレームの符号化処理の場合は、動き補償部６０は動作せず、ここでは図示しないが、Ｉフレームはフレーム内予測が行われた後、ＤＣＴ部２０に供給される。

フレームレート制御部７０は、動き補償部６０から与えられる動きベクトル、ブロック生成部１０から与えられる色情報や輝度情報を参照して、撮像部４００が動画像を撮像する際のフレームレートを適応的に制御する。

図２は、本実施形態に係るフレームレート制御部７０の構成を説明する図である。フレームレート制御部７０は、特徴量取得部７２、特徴量解析部７４、条件設定部７６およびフレームレート設定部７８を備える。

特徴量取得部７２は、画像の特徴を示すパラメータをブロック生成部１０や動き補償部６０から取得する。例えば、ブロック生成部１０から与えられたマクロブロックから色情報（Ｒ、Ｇ、Ｂ）や輝度情報（Ｙ）を取得する。また、動き補償部６０から動きベクトルを取得する。

特徴量解析部７４は、特徴量取得部７２により取得された上記パラメータを、条件設定部７６により設定された条件にしたがい、解析する。例えば、取得した動きベクトルから、各マクロブロックのｘ方向およびｙ方向への移動量を絶対値で表し、フレームごとにすべてのマクロブロックの上記移動量を足し合わせた値（以下、本明細書ではベクトル量と呼ぶ。）の変化を観測する。また、動きベクトルの方向の変化を観察することもできる。

特徴量解析部７４は、各種パラメータの変化を履歴として管理し、統計的な解析を施すことができる。例えば、観測すべきパラメータの増減傾向の大きさや、状態継続期間や、パラメータが閾値を超えた回数、頻度などを求める際、最大値、最小値を排除したり、移動平均処理を行うことにより、異常値を排除することができる。特徴量解析部７４は、これらの解析に基づき、観察しているパラメータが所定の範囲に収まるようフレームレート設定部７８にフレームレートの変更を指示する。

また、特徴量解析部７４は、取得した色情報の変化や輝度情報の変化を観察することもできる。また、動きベクトルを解析することにより、人間や動物などの被写体の移動速度や移動距離を観察することもできる。なお、動きベクトルや被写体の動きの速度は、オートフォーカス制御系から取得することも可能である。

条件設定部７６は、特徴量取得部７２が取得すべきパラメータの種類、特徴量解析部７４が画像を解析するために必要な解析条件およびフレームレート設定部７８がフレームレートを設定するために必要な条件やパラメータを設定する。条件設定部７６は、画像の解析条件として、各種パラメータへの重み付けを設定することができる。例えば、動きベクトル、色、輝度の変化や被写体の変化に対して、画像の中央領域での変化を周辺領域での変化より重視するよう、中央付近のマクロブロックにおける各種パラメータの変化に対して１を超える係数を掛け、周辺領域のマクロブロックにおける各種パラメータの変化に対して１未満の係数を掛けするよう設定してもよい。

条件設定部７６は、各種パラメータの変化を観測すべき範囲自体を制限することもできる。例えば、周辺領域のマクロブロックにおける各種パラメータの変化を無視することができる。また、観察すべき被写体を限定することもできる。例えば、パターンマッチングにより人間の顔と判定された被写体の変化のみを観察してもよい。

条件設定部７６は、各種のパラメータのいずれを使用するかを定めるモード設定を行うことができる。動きベクトル量を中心に観察するが、補助的に色の変化を観察するといった複合的な設定も可能である。また、フレームレートを変更するための最終的な判断として、どのパラメータにどの程度の寄与度を持たせるかを設定することもできる。

条件設定部７６は、基本フレームレート、遷移可能なフレームレート、遷移可能範囲、変更周期およびフレームレートを変更すべき上記パラメータの変化量を示す閾値を設定する。以下、具体例を説明する。条件設定部７６は、通常速度で再生される際のフレームレートを、基本フレームレートに設定する。なお、ユーザの撮影意図により、スロー再生または早送り再生される際のフレームレートを基本フレームレートに設定してもよい。フレームレートの遷移可能範囲として、基本フレームレートの整数倍でのフレームレート変更を制約条件とし、この条件下であらかじめ遷移可能なフレームレートを選定する。
基本フレームレート周期 ：Ｔ０
フレームレート周期：Ｔｆ＝Ｔ０／Ｎ（Ｎは自然数）
フレームレート周期の遷移範囲：Ｔｆ〜Ｔ０

基本フレームレート周期Ｔ０はフレームレートの逆数である。フレームレートの変更周期は、基本フレームレート周期の整数倍の時間間隔に設定する。特徴量解析部７４は、この時間間隔内の映像単位で次に変更するフレームレートを判定する。すなわち、基本フレームレート周期に同期した時間間隔でフレームレート変更点を持つことになる。フレームレート変更点のフレームレートの最大値は、そのフレームレートで再生される各フレームの最低視聴時間が保証される値に設定する。

基本フレームレートを最小単位とし、その整数倍にフレームレート変更点を設定すると、限定されたフレームレートでしか再生できない低スペックな再生装置でも、どのフレームレートで撮像された動画像データであるかを容易に判断することができ、視聴や編集の混乱を抑制することができる。なお、基本フレームレート周期内にフレームレート変更点を設けることを許容した場合、フレームレートを動的に変更するための設定条件やタイミング制御が複雑化したり、編集が難しくなるが、高速撮像の割合を減らすことができる。したがって、基本フレームレート周期内にフレームレート変更点を設けることを排除するものではない。

条件設定部７６は、フレームレートの適応的な変更処理を発動させるトリガー条件を設定することもできる。特定色を検出したなど各種パラメータが所定の条件を満たした場合、被写体の移動速度や移動距離が所定の設定値を超えた場合、ユーザから外部入力があった場合などに発動するよう設定することができる。

フレームレート設定部７８は、条件設定部７６に設定された条件にしたがい、特徴量解析部７４からの指示に応じて、フレームレートを適応的に変更する。具体的には、撮像部４００に設けられる撮像素子の露光時間を制御する。当該撮像素子を駆動するドライバに指示することにより露光時間を調整することができる。

図３は、３種類のフレームレート周期ｔを示す図である。図３中、上のフレームは、フレームレート周期ｔが基本フレームレート周期Ｔ０と同じフレームを示す。真ん中のフレームは、フレームレート周期ｔが基本フレームレート周期の１／４（Ｔ０／４）のフレームを示す。下のフレームは、フレームレート周期ｔが基本フレームレート周期の１／２（Ｔ０／２）のフレームを示す。よって、通常速度で撮像されている上のフレームに対して、真ん中のフレームは４倍速で、下のフレームは２倍速で撮像されていることが分かる。

図４は、動きベクトル量の変化とフレームレートの変化の関係を示す図である。図４中、上段の凹凸のあるブロックは、動きベクトル量の変化を示したものである。撮影者が一定の地点を撮影している場合で、連続するフレーム間で被写体の動きが小さい場合、動きベクトル量も小さくなる。その逆の場合、動きベクトル量は大きくなる。画像の変化が大きい区間をスロー再生する場合、通常のフレームレートで撮像されたフレーム群を再生していくと、コマ落ちして画像が滑らかにつながらない場合がある。この点、その区間のフレームレートを高くし、フレーム数が多ければ、滑らかな画像を再生することができる。

図４は、この知見を具体化した例を示している。通常速度のフレームレートで撮像を開始するが、フレームレート変更タイミング間の周期に対応する基本フレームレート周期Ｔ０での動きベクトル量が大きいため、次のフレームレート変更タイミングで４倍速のフレームレートに変更している。基本フレームレート周期Ｔ０が２回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで２倍速のフレームレートに変更している。その後、基本フレームレート周期Ｔ０が３回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで通常速度のフレームレートに変更している。

図５（ａ）は、撮像するときの時間軸上でのフレームデータの並びを示す。図５（ｂ）は、再生するときの時間軸上でのフレームデータの並びを示す。図５は、通常速度のフレームレートで撮像したフレームデータと４倍速のフレームレートで撮像したフレームデータとが混在している。上述したように本実施形態では動画像を撮像中にフレームレートが適応的に変化するため、図５（ａ）に示すように、撮像された動画像ストリームは、フレーム間の時間間隔が異なる区間が混在することになる。一方、通常再生する場合、図５（ｂ）に示すように、一定の時間間隔でフレームデータが再生される。高速撮像したフレームデータは高品質なスローモーション映像となる。

図６は、実施形態１に係るフレームレート変更処理の一例を示すフローチャートである。まず、条件設定部７６は、遷移可能なフレームレートすなわちフレームレートの変更点をフレームレート設定部７８に複数設定する（Ｓ１０）。また、初期のフレームレートを設定する（Ｓ１２）。条件設定部７６は、基本フレームレート周期Ｔ０に対応する動きベクトル量の単位分析期間を設定する（Ｓ１４）。また、動きベクトル量の上限閾値および下限閾値を設定する（Ｓ１６）。これらの閾値は、設計者が実験やシミュレーションで求めた値に設定されることができる。また、設計者が求めた複数の閾値候補からユーザが選択してもよい。

ステップＳ１０〜Ｓ１４までの設定処理は、撮像装置５００に設けられた図示しない操作部または撮像装置５００に接続されたＰＣなどからユーザが条件設定部７６に指示することにより行われてもよいし、システムが自動で行ってもよい。なお、一度設定した設定値は、ユーザからの変更指示がない限り、引き継がれてもよい。

動き補償部６０は、各マクロブロックの動きベクトルを抽出して特徴量取得部７２に与え、特徴量解析部７４は、特徴量取得部７２から与えられる動きベクトルから動きベクトル量を算出する（Ｓ１８）。

特徴量解析部７４は、動きベクトル量の単位分析期間が終了すると（Ｓ２０のＹ）、その期間内に動きベクトル量が何回、上限閾値または下限閾値を超えたかを検出する（Ｓ２２）。上限閾値または下限閾値を超えた回数が、あらかじめ設定された所定の回数に満たない場合（Ｓ２２のＮ）、フレームレートを変更せずに、ステップＳ１８に遷移し処理を続行する。この設定された所定の回数も、設計者が実験やシミュレーションで求めた値に設定されることができる。

ステップＳ２２にて、あらかじめ設定された所定の回数を超えた場合（Ｓ２２のＹ）、特徴量解析部７４は、閾値を所定の回数超えたのが下限閾値の場合（Ｓ２４のＹ）、現在のフレームレートを低方向に変更する（Ｓ２６）。閾値を所定の回数超えたのが上限閾値の場合（Ｓ２８のＹ）、現在のフレームレートを高方向に変更する（Ｓ３０）。変更後も、フレームレート変更処理が継続している間（Ｓ３２のＮ）、ステップＳ１８に遷移し上述した処理を続行する。

なお、低方向または高方向に変更すべきフレームレートの変更点が、もはや低方向または高方向に存在しない場合、所定の回数を超えている場合でもフレームレートを変更しない。フレームレートの変更は、基本的には隣り合う変更点に段階的に遷移させるものであるが、例えば、所定の回数を２倍以上超えるなど、動きベクトル量が閾値を超える頻度が非常に高い場合、フレームレートを現在の動作点から２段階以上離れた変更点に遷移させてもよい。なお、各フレームレートの変更点ごとに上限閾値および下限閾値をあらかじめ設定しておいてもよい。

以上説明したように本実施形態によれば、動画像を撮像中にフレームレートを適応的に変更することにより、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる。よって、高品質な特殊再生を可能としつつ、長時間撮影も可能である。

また、高品質な特殊再生に必要な高速度撮像に切り替えるタイミングをマニュアル操作で適切に指定することは難しい。被写体の動きの変化などを人間の認識では捕らえにくいためである。必要のない高速度撮像は、データ量を肥大化させ撮影可能時間を短縮させてしまう。この点、本実施形態では、システムが適応的にフレームレートを変更するため、このような事態が発生しにくい。

図７は、実施形態２に係る符号化装置１００を搭載した撮像装置５００の構成図である。実施形態２に係る撮像装置５００は、実施形態１に係る符号化装置１００内に基本レート画像生成部８が付加された構成である。したがって、基本レート画像生成部８に関連する構成要素以外は、実施形態１と同様のためその説明は省略する。

基本レート画像生成部８は、撮像部４００から入力された画像フレームを基に、フレームレート制御部７０の指示にしたがい、基本フレームレートで撮像された画像フレームに相当する画像フレーム（以下、基本レート画像フレームと呼ぶ。）を生成する。フレームレート制御部７０が撮像部４００に通常速度のフレームレートを設定している場合、基本レート画像生成部８は、撮像部４００から供給される画像フレームをそのままブロック生成部１０に出力し、基本レート画像フレームを生成しない。一方、フレームレート制御部７０が２倍速や４倍速などフレームレートを基本フレームレートより高く設定している場合、撮像部４００から供給される画像フレームから基本レート画像フレームを生成する。この場合、単位フレームレート期間Ｔ０内における複数の画像フレームを合成して、基本レート画像フレームを生成する。この生成手法の詳細は後述する。

図８は、３倍速撮像により生成された画像フレームから基本レート画像フレームを生成する様子を説明する図である。３倍速撮像モードでは、単位フレームレート期間Ｔ０内に３枚のフレームが生成される。図８では、最初のフレームＦ１２、中間のフレームＦ１４および最後のフレームＦ１６が生成される。通常速度での撮像では、単位フレームレート期間Ｔ０内に１枚のフレームしか生成されない。

３倍速で撮像された期間のフレームは、通常速度で撮像された期間のフレームより露光時間が短いため、３倍速で撮像された各フレームは、単位フレームレート期間Ｔ０内の一部の情報のみを表現することになる。再生側でこれらのフレームが混在する動画像ストリームを通常速度で再生する場合、３倍速で撮像された期間についていずれか１枚のフレームを選択して再生すると、コマ落ちして動画像が滑らかにつながらず視聴者が違和感を感じる場合がある。そこで、基本レート画像生成部８は、３倍速などの高速で撮像された期間について、複数枚のフレームから基本レート画像フレームを生成する。

具体的には図８に示すように、同一座標軸上における最初のフレームＦ１２の画素Ｐｘ１２、中間のフレームＦ１４の対応する画素Ｐｘ１４および最後のフレームＦ１６の対応する画素Ｐｘ１６を合算し、フレーム数ここでは３で割って、基本レート画像フレームＦｎ１０の対応する画素Ｐｘｎ１０を算出する。これを画素ごとにすべて算出すると、基本レート画像フレームＦｎ１０全体を生成することができる。なお、複数枚のフレームを合算する場合、通常速度で撮像されたフレームの撮像時間が、合算する各フレームの撮像時間に適宜配分されるよう各フレームの画素値を重み付けしてもよい。

図９は、通常再生およびスロー再生において再生されるフレームを示す図である。図８で説明した３倍速撮像モードでは、単位フレームレート期間Ｔ０内に、撮像された３枚のフレームとそれらのフレームから生成された基本レート画像フレームとが生成される。これらのフレームが混在した動画像ストリームは、再生側で以下のように再生される。すなわち、通常速度で再生される場合、図９の上の流れに示すように基本レート画像フレームＦｎ１０、Ｆｎ２０のみが再生される。一方、スロー再生される場合、図９の下の流れに示すように、撮像されたフレームＦ１２〜フレームＦ２６のみが再生される。

図１０は、フレームレートが適応的に変更されながら撮像される画像フレームから基本レート画像フレームを生成する具体例を説明する図である。図１０中、一番上の流れを示すａ行は、撮像フレームレートを示す。図１０では、通常速撮像モードから８倍速撮像モードに遷移し、さらに４倍速撮像モードに遷移する例を示す。ｂ行は、撮像されたフレームデータを示す。通常速撮像モードでは１枚、８倍速撮像モードでは８枚、４倍速撮像モードでは４枚のフレームデータが生成される。

ｃ行およびｄ行は、基本レート画像フレームの生成過程を示す。ｃ行は基本レート画像フレームの生成する第１段階を示す。８倍速撮像モードでは、１枚目と２枚目、５枚目と６枚目といったように隣り合うフレームを順番に合成し、４枚の中間フレームを生成する。４倍速撮像モードでは、１枚目と２枚目、３枚目と４枚目のフレームを合成し、２枚の中間フレームを生成する。

ｄ行は、基本レート画像フレームの生成する第２段階を示す。８倍速撮像モードにて、第１段階で生成した４枚のフレームの内、隣り合うフレームを順番に合成し、２枚の中間フレームを生成する。これら基本レート画像フレームの生成する各段階で行われるフレーム合成処理は、図８で説明したように、合成するフレーム間の対応する画素を合算して、フレーム数ここでは２で割って、生成するフレームの画素を順次求めていく。

ｅ行は通常速撮像モードで撮像されたフレームおよび基本レート画像フレームを示す。８倍速撮像モードでは、第２段階で生成された２枚のフレームを合成して、基本レート画像フレームを生成する。４倍速撮像モードでは、第１段階で生成された２枚のフレームを合成して、基本レート画像フレームの生成する。

ｆ行は高速撮像モードで撮像されたフレームを示す。これらのフレームは、副画像フレームとして動画像ストリーム中に付加される。再生側でスロー再生する際に利用される。基本的に、ｅ行とｆ行のフレームで動画像ストリームが形成される。ただ、基本レート画像フレームを生成する過程で生成された中間フレームも副画像フレームとして動画像ストリームに付加してもよい。再生側でスロー再生の速度が複数選択できる場合、選択された速度によっては、補間フレームとして利用することができる場合がある。すなわち、８倍速撮像モードにて、第２段階で生成された２枚のフレームを使用すれば、１／２倍のスロー再生が容易に実現でき、第１段階で生成された４枚のフレームを使用すれば、１／４倍のスロー再生が容易に実現できる。

次に、通常速撮像モードで撮像されたフレームと、３倍速撮像モードで撮像されたフレームとが混在する動画像フレームの生成方法について、具体的な記録フォーマットを示しながら説明する。

図１１は、通常速撮像モードで撮像されたフレームと３倍速撮像モードで撮像されたフレームの撮像時間軸上での並びを示す図である。第１フレームＦｎ０、第２フレームＦｎ１、第３フレームＦｎ２、第４フレームＦｎ４、第５フレームＦｎ５は、通常速撮像モードで撮像されたフレームである。第６フレームＦ０、第７フレームＦ１、第８フレームＦ２、第９フレームＦ３、第１０フレームＦ４および第１１フレームＦ５は、３倍速撮像モードで撮像されたフレームである。第１２フレームＦｎ３は、３倍速撮像モードで撮像されたフレームから生成された基本レート画像フレームである。

図１２（ａ）は、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャを用いた記録例を示す図である。図１２（ｂ）は、ＲＰ ＳＥＩ（Recovery Point Supplemental Enhancement Information）を用いた記録例を示す図である。図１２（ｃ）は、ＳＩ／ＳＰ（スイッチングＩピクチャ／スイッチングＰピクチャ）を用いた記録例を示す図である。

図１２（ａ）に示すＩＤＲピクチャを用いた記録例は、Ｈ．２６４規格で定義されているランダムアクセス機能を利用する。ＩＤＲピクチャは、Ｉピクチャの一種であり、後続のＰフレームに自己より前にある全フレームを参照禁止にする。上述したようにＨ．２６４／ＡＶＣでは、直前より前のフレームを基にＰフレーム、Ｂフレームを生成することもできる。この点、ＩＤＲピクチャがあれば、後続するＰフレームがＩＤＲピクチャより先行する参照フレームを使用することがないため、復号側は、ＩＤＲピクチャにランダムにアクセスして、そのＩＤＲピクチャから復号を開始することができる。

図１２（ａ）に示す記録例は、フレームレートが切り替わるフレームおよび高フレームレートで撮像されたフレームから生成された基本レート画像フレームをＩＤＲピクチャとすることにより、復号側でランダムアクセスすることを可能としている。

図１２（ａ）にて、各フレームが記述される前にＳＰＳ（Sequence Parameter Ser）およびＰＰＳ（Picture Parameter Ser）が挿入される。ＳＰＳおよびＰＰＳは、後続するシーケンスおよびフレームの各種パラメータを記述する領域であり、各フレームのフレームレート情報などを記録する。次に、図１１で説明した第１フレームＦｎ０、第２フレームＦｎ１および第３フレームＦｎ２が非ＩＤＲピクチャとして記述される。非ＩＤＲピクチャとは、一般的なＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかを示す。

次に、ＳＰＳおよびＰＰＳが挿入され、第６フレームＦ０がＩＤＲピクチャとして記述される。次に、第７フレームＦ１、第８フレームＦ２、第９フレームＦ３、第１０フレームＦ４および第１１フレームＦ５は、非ＩＤＲピクチャとして順次記述される。次に、ＳＰＳおよびＰＰＳが挿入され、第１２フレームＦｎ３がＩＤＲピクチャとして記述され、続いて、第４フレームＦｎ４および第５フレームＦｎ５が非ＩＤＲピクチャとして記述される。このように、フレームレートの切り替わりフレームである第６フレームＦ０および基本レート画像フレームである第１２フレームＦｎ３がＩＤＲピクチャとして記述される。これにより、復号側は第６フレームＦ０および第１２フレームＦｎ３にランダムアクセスでき、どちらのフレームを復号するか選択することができる。

図１２（ｂ）に示す記録例は、フレームレートが切り替わるフレームおよび高フレームレートで撮像されたフレームから生成された基本レート画像フレームをリカバリーポイントに設定するためのＲＰ ＳＥＩをストリーム中に挿入することにより、復号側でランダムアクセスすることを可能としている。

図１２（ｂ）にて、まず、ＳＰＳおよびＰＰＳが挿入され、第１フレームＦｎ０、第２フレームＦｎ１および第３フレームＦｎ２が非ＩＤＲピクチャとして記述される。次に、ＳＰＳおよびＰＰＳが挿入され、第６フレームＦ０の前にＲＰ ＳＥＩが挿入される。続いて、第６フレームＦ０がＩピクチャとして記述され、第７フレームＦ１、第８フレームＦ２、第９フレームＦ３、第１０フレームＦ４および第１１フレームＦ５が非ＩＤＲピクチャとして順次記述される。

次に、ＳＰＳおよびＰＰＳが挿入され、第１２フレームＦｎ３の前にＲＰ ＳＥＩが挿入される。続いて、第１２フレームＦｎ３がＩピクチャとして記述され、第４フレームＦｎ４および第５フレームＦｎ５が非ＩＤＲピクチャとして順次記述される。このように、フレームレートの切り替わりフレームである第６フレームＦ０および基本レート画像フレームである第１２フレームＦｎ３の前にリカバリーポイントを設定した。これにより、復号側は第６フレームＦ０および第１２フレームＦｎ３にランダムアクセスでき、どちらのフレームを復号するか選択することができる。

図１２（ｃ）に示す記録例は、高フレームレートで撮像されたフレームから生成された基本レート画像フレームと、その前のフレームをＨ．２６４規格で定義されているスイッチングＩピクチャ／Ｐピクチャとして記述することにより、復号側でスキップ処理を可能としている。

図１２（ｃ）にて、まず、ＳＰＳおよびＰＰＳが挿入され、第１フレームＦｎ０、第２フレームＦｎ１および第３フレームＦｎ２が非ＩＤＲピクチャとして記述される。次に、ＳＰＳおよびＰＰＳが挿入され、第６フレームＦ０、第７フレームＦ１、第８フレームＦ２、第９フレームＦ３および第１０フレームＦ４が非ＩＤＲピクチャとして順次記述される。次に、第１１フレームＦ５がＳＰピクチャとして記述される。

次に、ＳＰＳおよびＰＰＳが挿入され、第１２フレームＦｎ３がＳＰピクチャとして記述され、第４フレームＦｎ４および第５フレームＦｎ５が非ＩＤＲピクチャとして順次記述される。このように、単位フレームレート期間Ｔ０に高速撮像モードで複数撮像されたフレームの最後のフレームである第１１フレームＦ５および基本レート画像フレームである第１２フレームＦｎ３をＳＰピクチャとして記述した。これにより、復号側は少なくとも第１１フレームＦ５および第１２フレームＦｎ３のいずれか一方のフレームを使用することでスキップ動作を選択することができる。

以上説明したように本実施形態によれば、動画像を撮像する際、フレームレートが適応的に制御されながら、フレームデータを記録することができるため、高速度撮像を含む撮影作業が容易になり、長時間撮影にも適している。また、記録されたデータ構造は、特殊再生や編集が容易なものであり、撮影意図を反映した自動編集などにも適している。この点、スロー再生用の画像データと通常再生用のデータを別に撮像し、後に編集してそれらを混在させた動画像ストリームを生成することは煩雑であり、一般にユーザにとって難しい作業となる。また、後述するように、視聴する際のインタラクティブ操作にも容易に対応することができる。

図１３は、実施形態３に係る復号装置３００を搭載した画像再生装置７００の構成図である。これらの機能ブロックもハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現することができる。

画像再生装置７００は、復号装置３００、表示制御部６１０、表示部６１２、通信部６２０、画像バッファ６３０、画像記録部６４０、特殊再生制御部６５０、編集部６６０および操作部６７０を備える。復号装置３００は、通信部６２０、画像バッファ６３０および画像記録部６４０のいずれかから符号化ストリームの入力を受け取り、符号化ストリームを復号して出力画像を生成する。

フレーム選択部３０５は、特殊再生制御部６５０から制御を受けて、符号化ストリームに含まれる後段に出力すべきフレーム、および復号せずに廃棄すべきフレームを選択する。上述したように高速撮像モードで撮像された区間のデータには、副画像フレームと基本レート画像フレームが含まれる。フレーム選択部３０５は、特殊再生制御部６５０からスロー再生するよう指示された場合、基本レート画像フレームをスキップして、副画像フレームを後段に出力する。一方、特殊再生制御部６５０から通常再生するよう指示された場合、副画像フレームをスキップして、基本レート画像フレームを後段に出力する。例えば、図１２（ａ）で説明した記録例で記述された符号化ストリームの場合、ＩＤＲピクチャを目印にスキップまたは後段に出力すべきフレームを特定することができる。

可変長復号部３１０は、フレーム選択部３０５から入力された符号化ストリームを可変長復号し、復号された画像データを逆量子化部３２０に供給し、動きベクトル情報を動き補償部３６０に供給する。

逆量子化部３２０は、可変長復号部３１０により復号された画像データを逆量子化し、逆ＤＣＴ部３３０に供給する。逆量子化部３２０により逆量子化された画像データはＤＣＴ係数である。逆ＤＣＴ部３３０は、逆量子化部３２０により逆量子化されたＤＣＴ係数を逆離散コサイン変換（ＩＤＣＴ）することにより、元の画像データを復元する。逆ＤＣＴ部３３０により復元された画像データは、加算器３１２に供給される。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データがＩフレームである場合、そのＩフレームの画像データをそのまま出力するとともに、ＰフレームやＢフレームの予測画像を生成するための参照画像として、フレームメモリ３８０に格納する。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データがＰフレームである場合、その画像データは差分画像であるから、逆ＤＣＴ部３３０から供給された差分画像と動き補償部３６０から供給される予測画像を加算することにより、元の画像データを復元し出力する。

動き補償部３６０は、可変長復号部３１０から供給される動きベクトル情報と、フレームメモリ３８０に格納された参照画像を用いて、ＰフレームまたはＢフレームの予測画像を生成し、加算器３１２に供給する。

通信部６２０は、符号側から各種のネットワークを介して符号化ストリームを受信する。ストリーム再生する場合、受信した符号化ストリームを復号装置３００に入力する。その場合、溢れてしまうデータは、画像バッファ６３０に一時記憶する。ストリーム再生しない場合、画像記録部６４０に記録する。

特殊再生制御部６５０は、操作部６７０から入力されるユーザの指示にしたがい、特殊再生の制御を行う。具体的には、スロー再生が指示された場合、副画像フレームが存在する区間は副画像フレームを選択するようフレーム選択部３０５に指示する。通常再生の場合、副画像フレームが存在する区間は基本レート画像フレームを選択するよう指示する。また、早送り再生が指示された場合、例えば、Ｉフレームだけを選択するよう指示する。

編集部６６０は、操作部６７０から入力されるユーザの指示にしたがい、特殊再生画像を組み込んだ動画像ストリームを生成する。具体例については後述する。操作部６７０は、ユーザの指示を受け付け、特殊再生制御部６５０、編集部６６０および表示制御部６１０などに伝達する。

表示制御部６１０は、復号装置３００で復元された画像データを表示部６１２に表示させる場合の表示制御を行う。例えば、子画面を表示させたり、サムネイル画像を表示させたりする。

図１４は、実施形態３に係る表示部６１２の表示例を示す図である。図１４（ａ）は、アイコン８２を含む表示画面を示す図である。例えば、そのアイコン内に「SLOW VIEW」などと表示されていてもよい。当該アイコン８２は、スロー再生などの特殊再生が可能になった状態をユーザに通知するためのものである。表示制御部６１０は、副画像フレームが存在しない区間では表示しないか、無効になるよう制御する。ユーザが操作部６７０からそのアイコン８２を選択すると、スロー再生画像が表示される子画面が現れる。

図１４（ｂ）は、子画面８４を含む表示画面を示す図である。親画面には通常再生映像が表示される。子画面８４にはスロー再生映像が表示され、副画像フレームが存在する区間は副画像フレームの画像が表示される。また、操作部６７０からのユーザに指示にしたがい、表示制御部６１０は、親画面にスロー再生映像を表示し、子画面８４に通常再生映像を表示するよう切り替えてもよい。ここで、親画面とは、表示部６１２の表示領域中で最も大きな表示画面を指す。なお、図１４（ｂ）に示すように親画面内に子画面８４を表示させるのではなく、上下または左右に２画面分割して通常再生映像とスロー再生映像を表示させてもよい。

図１４（ｃ）は、コマ送りウインドウ８６を含む表示画面を示す図である。コマ送りウインドウ８６は、複数の子画面を含む。コマ送りウインドウ８６は、副画像フレームが存在する区間は副画像フレーム、存在しない区間は通常のフレームを一番左の子画面に表示し、所定の時間Δｔが経過したら右隣りの子画面に順次移動させて表示する。一番右の子画面に表示されているフレームは所定の時間Δｔが経過したら表示の更新が一旦中断され、同時に、まだ表示されていない次のフレームが一番左の子画面に表示される。このように、所定の時間Δｔごとに子画面の画像が順次更新されていく。ユーザは、コマ送りウインドウ８６に表示されている複数の子画面のいずれかを操作部６７０から選択して、その子画面に表示されている画像を親画面に表示させることもできる。

図１４（ｄ）は、サムネイル画像８８を含む表示画面を示す図である。図１４（ｄ）では、サムネイル画像８８が複数表示される。各サムネイル画像８８は、過去に表示した副画像フレームを持つ各区間の最初の副画像フレームを表示した画像である。ユーザは、いずれかのサムネイル画像８８を操作部６７０から選択することにより、その区間のスロー再生映像を親画面、複数の子画面、もしくは複数のコマ送りウインドウの子画面として表示させることができる。なお、上述したコマ送りウインドウ８６などの複数の子画面に１コマ１コマ静止画を表示させる代わりに、滑らかなスローモーションと静止画を交互に繰り返し表示させてもよい。

図１５は、実施形態３に係る表示部６１２の編集画面例１を示す図である。図１５（ａ）は、動画像ストリームを通常速再生で編集している様子を示す図である。表示画面内に編集前画像表示画面９２ａ、編集後画像表示画面９４ａ、データ区間表示バー９６ａおよび第１コマ送りウインドウ９８が表示される。編集前画像表示画面９２ａは、編集対象の動画像ストリームを表示する画面である。編集前画像表示画面９２ａに隣接する位置に、編集対象の動画像ストリームの再生位置を視覚的に示すためのバー９２ｂが設けられ、そのバー９２ｂ内に現在の再生位置を示すインディケーター９２ｃが設けられる。ユーザは、このインディケーター９２ｃを操作部６７０から動かすことにより、再生位置を所望の位置に移動させることができる。

編集後画像表示画面９４ａは、編集後の動画像ストリームを表示する画面である。編集後画像表示画面９４ａに隣接する位置に、編集後の動画像ストリームの再生位置を視覚的に示すためのバー９４ｂが設けられ、そのバー９４ｂ内に現在の再生位置を示すインディケーター９４ｃが設けられる。ユーザは、このインディケーター９４ｃを操作部６７０から動かすことにより、再生位置を所望の位置に移動させることができる。

第１コマ送りウインドウ９８は、複数の子画面を含み、編集前の動画像ストリームまたは編集後の動画像ストリームの各フレームをコマ送り表示する。データ区間表示バー９６ａは、第１コマ送りウインドウ９８に表示されている動画像ストリームの全データ区間をバーで示し、その再生位置をユーザに視覚的に認識させるためのものである。データ区間表示バー９６ａには、再生位置を示すインディケーター９６ｂが設けられ、動画像ストリーム中の現在の再生位置を示す。その再生位置は、第１コマ送りウインドウ９８に表示されている画面に対応し、図１５（ａ）では左から２番目の子画面が現在の再生位置を示す。

データ区間表示バー９６ａは、副画像フレームが存在する区間９６ｃを黒塗りで示し、高品質なスロー再生が可能な区間であることをユーザに示す。図１５（ａ）では、通常速再生での編集作業を示すものであるため、副画像フレームが存在する区間でも基本レート画像フレームが第１コマ送りウインドウ９８に表示される。

ユーザは、操作部６７０から指示することにより、編集前の動画像ストリームを第１コマ送りウインドウ９８に表示させ、切り出すべき区間を一つ以上選択し、それらの区間の動画像データが組み合わされた編集後の動画像ストリームを生成することができる。図１５（ａ）では、編集後の動画像ストリームは、副画像フレームを含まない通常速再生に対応したものである。

図１５（ｂ）は、図１５（ａ）の表示画面に副画像フレームの表示領域を付加した例を示す図である。図１５（ｂ）では図１５（ａ）の表示画面に第２コマ送りウインドウ９９が付加される。第２コマ送りウインドウ９９は、複数の子画面を含み、副画像フレームをコマ送り表示する。

図１６は、実施形態３に係る表示部６１２の編集画面例２を示す図である。図１６（ａ）は、動画像ストリームを通常速再生およびスロー再生で編集している様子を示す図である。図１６（ａ）では、第１コマ送りウインドウ９８は、編集後の動画像ストリームを表示している。データ区間表示バー９６ａには、副画像フレームで構成される区間９６ｄが含まれる。ユーザは、第２コマ送りウインドウ９９に表示されている副画像フレームからも、切り出すべき区間を選択し、通常速で再生される区間とスロー再生される区間とが混在した動画像ストリームを生成することができる。

図１６（ｂ）は、通常速再生およびスロー再生が混在した動画像ストリームを編集した様子を示す図である。図１６（ｂ）に示す編集後の動画像ストリームは、最初、通常速再生されるが、途中から自動的にスロー再生に切り換わる。なお、編集後の動画像ストリーム中のスロー再生される区間に、基本レート画像フレームが含まれる必要はない。

以上説明したように本実施形態によれば、副画像フレームと、それに対応する基本レート画像フレームとが混在した区間を含む動画像ストリームを使用して、ヒューマンインタフェースに優れた画像表示や編集を可能とすることができる。例えば、通常速再生とスロー再生を同一画面上に表示させることも容易に可能である。また、副画像フレームが存在する区間を示すアイコンなどを画面上に表示すれば、ユーザは高品質なスロー再生が可能である区間を容易に認識することができる。

また、動画像ストリーム中で被写体の動きが大きく高速度撮像された区間を、ユーザが容易に認識することができるため、スローモーション化すべき画像区間の候補を容易に認識することができる。この点、記憶に頼って被写体の動きが大きく注目すべきシーンを検索することは難しい。また、撮像中の画像がリアルタイムに配信されてくる場合も、復号側で編集処理を加えなくても、高品質なスロー再生をリアルタイムに再生することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、実施形態１にて、上述した適応的なフレームレートの変更処理により高速撮像されている期間、撮像装置５００の図示しないファインダなどの表示部に、何倍速で撮像されているかを示すメッセージなどを表示させてもよい。これにより、フレームレートの適応的な変更をユーザにリアルタイムに通知することができる。

また、実施形態２にて、上述した記録フォーマットによる記録以外に、Ｈ．２６４／ＡＶＣ規格のＳＶＣ（Scalable Video Codec）機能を利用して記録手法も可能である。すなわち、ＳＶＣのＭＣＴＦ（Motion Compensated Temporal Filtering、動き補償時間方向フィルタ）技術を用い、高速撮像されたフレームをスローモーション映像として全域フレームとして記録し、通常速度映像としてのフレームおよび上記スローモーション映像と通常速度映像の中間となる時間速さでのスローモーション映像としてのフレームを低周波フレームとして記録する。これにより、スケーラブルな高品質のスローモーションなどの特殊映像を備えて、圧縮率をさらに向上させることができる。

実施形態１に係る符号化装置を搭載した撮像装置の構成図である。 実施形態１に係るフレームレート制御部の構成を説明する図である。 実施形態１に係る３種類のフレームレート周期ｔを示す図である。 実施形態１に係る動きベクトル量の変化とフレームレートの変化の関係を示す図である。 図５（ａ）−（ｂ）は撮像および再生するときの時間軸上におけるフレームデータの並びを示す図である。 実施形態１に係るフレームレート変更処理の一例を示すフローチャートである。 実施形態２に係る符号化装置を搭載した撮像装置の構成図である。 ３倍速撮像により生成された画像フレームから基本レート画像フレームを生成する過程を説明する図である。 通常再生およびスロー再生において再生されるフレームを示す図である。 実施形態２に係るフレームレートが適応的に変更されながら撮像される画像フレームから基本レート画像フレームを生成する具体例を説明する図である。 実施形態２に係る通常速撮像モードで撮像されたフレームと３倍速撮像モードで撮像されたフレームの撮像時間軸上での並びを示す図である。 図１２（ａ）−（ｃ）は実施形態２に係る動画像ストリームの記録例を示す図である。 実施形態３に係る復号装置を搭載した画像再生装置の構成図である。 図１４（ａ）−（ｄ）は実施形態３に係る表示部の表示例を示す図である。 図１５（ａ）−（ｂ）は実施形態３に係る表示部の編集画面例１を示す図である。 図１６（ａ）−（ｂ）は実施形態３に係る表示部の編集画面例２を示す図である。

符号の説明

８ 基本レート画像生成部、 １０ ブロック生成部、 １２ 差分器、 １４ 加算器、 ２０ ＤＣＴ部、 ３０ 量子化部、 ４０ 逆量子化部、 ５０ 逆ＤＣＴ部、 ６０ 動き補償部、 ７０ フレームレート制御部、 ７２ 特徴量取得部、 ７４ 特徴量解析部、 ７６ 条件設定部、 ７８ フレームレート設定部、 ８０ フレームメモリ、 ９０ 可変長符号化部、 １００ 符号化装置、 ４００ 撮像部、 ５００撮像装置。

Claims (5)

1. 動画像を撮像中に、撮像したピクチャの特徴を参照して、フレームレートを適応的に制御することを特徴とする画像符号化方法。
2. 撮像した複数のピクチャにわたる動きベクトルの変化を参照し、所定の上限閾値を上回る場合、前記フレームレートを高くし、所定の下限閾値を下回る場合、前記フレームレートを低くすることを特徴とする請求項１に記載の画像符号化方法。
3. 基本フレームレートより高いフレームレートで撮像された期間にて、前記基本フレームレートでの撮像間隔に対応する単位期間ごとに、前記基本フレームレートより高いフレームレートで撮像された複数のピクチャから前記基本フレームレートに対応したピクチャを生成することを特徴とする請求項１または２に記載の画像符号化方法。
4. 基本フレームレートと異なるフレームレートで撮像されたピクチャを含む動画像を符号化する方法であって、
   前記基本フレームレートより高いフレームレートで撮像された期間にて、前記基本フレームレートでの撮像間隔に対応する単位期間ごとに、前記基本フレームレートより高いフレームレートで撮像された複数のピクチャから前記基本フレームレートに対応したピクチャを生成することを特徴とする画像符号化方法。
5. 前記基本フレームレートより高いフレームレートで撮像された複数のピクチャと、前記基本フレームレートに対応したピクチャとを混在させた符号化画像ストリームを生成することを特徴とする請求項３または４に記載の画像符号化方法。

Images