JPH1188874A - 符号化装置における編集可能点挿入方法および符号化装置 - Google Patents
符号化装置における編集可能点挿入方法および符号化装置Info
- Publication number
- JPH1188874A JPH1188874A JP23703397A JP23703397A JPH1188874A JP H1188874 A JPH1188874 A JP H1188874A JP 23703397 A JP23703397 A JP 23703397A JP 23703397 A JP23703397 A JP 23703397A JP H1188874 A JPH1188874 A JP H1188874A
- Authority
- JP
- Japan
- Prior art keywords
- encoded
- data
- encoding
- editable point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
可能点の挿入を行うことにより、符号化効率の低下を防
ぎ、かつ編集作業の効率化を可能とする。 【解決手段】動画像信号の符号化フレーム単位に符号化
モードとVBVバッファ占有量および符号化フレームに
対応する表示フィールド位相の情報を抽出し、これらに
基づいて符号化データの一部または全てを他の符号化デ
ータと接続編集する場合に符号化モードとバッファ占有
量および表示フィールド位相のいずれについても途切れ
のない接続を可能とする正規編集可能点の条件判断を行
い、挿入指示がなされた編集可能点が正規記編集可能点
の条件を満たさないと判断された場合、挿入指示がなさ
れた編集可能点を該条件を満たすと判断される時点まで
遅延して編集可能点の挿入を行う。
Description
さらに音声信号の圧縮符号化を行い、ハードディスクや
光ディスク等の蓄積媒体に記録する符号化装置におい
て、符号化データの一部または全てを他の符号化データ
と接続編集する場合の編集可能点の挿入方法およびこれ
を用いた符号化装置に関する。
信号は、業務用/民生用、またアナログ記録/ディジタ
ル記録を問わず、多くの場合はフレーム単位での独立し
た信号となっている。このため、フレームを単位とする
画像信号のいわゆる切り貼り編集は、比較的容易に行わ
れる。
ディスクやディジタル放送等で広く採用されている動画
像音声符号化方式の国際標準であるMPEG2では、圧
縮効率向上のために固定レート符号化/可変レート符号
化のいずれにおいても、フレーム毎の発生符号量が適応
的に割り当てられて一定とならず、しかもフレーム間予
測を用いていることから、符号化データの状態で任意の
フレームを単位とする切り貼り編集を行うことは一般に
容易ではない。
化では、正しい編集を行うために複数のフレーム群であ
るGOP(Group Of Pictures) を単位として、GOP境
界でのフレーム間予測を禁止したクローズドGOPの採
用により、ランダムアクセスを可能とする方法がある。
この方法により異なるGOP間で継ぎ目なく連続再生を
行うためには、さらに符号化データの送受信バッファの
アンダーフローやオーバーフローをなくすために、VB
V(Video Buffering Verifier)の条件を満足する接続を
行う必要がある。しかし、編集の自由度を高めるために
ランダムアクセス点を多くすべくGOP長を短くし、か
つVBVの条件を満足させようとすると、符号化効率の
低下を招く結果となる。
のMPEG2規格による動画像符号化では、フレーム単
位の切り貼り編集などの編集の自由度を上げようとする
と、符号化効率が低下するという問題があった。
するためになされたもので、動画像さらには音声の圧縮
符号化に際して、効率的な編集可能点の挿入を行うこと
で、符号化効率の低下を防ぎ、かつ編集作業の効率化が
可能な符号化装置における編集点挿入方法および符号化
装置を提供することを目的とする。
め、本発明は入力される動画像信号を所定の符号化フレ
ーム単位にフレーム内符号化および動き補償フレーム間
予測符号化を含む複数の符号化モードのいずれかにより
符号化して符号化データを出力する符号化装置、あるい
は動画像符号化データを出力するとともに、動画像信号
に対応する音声信号を符号化して音声符号化データを出
力する符号化装置において、符号化フレーム単位に符号
化モードと仮想受信バッファモデルのバッファ占有量お
よび符号化フレームに対応する表示フィールド位相の情
報を抽出し、これらの抽出された情報に基づいて、動画
像符号化データおよび音声符号化データの一部または全
てを他の動画像符号化データおよび音声符号化データと
接続編集する場合に、符号化モードとバッファ占有量お
よび表示フィールド位相のいずれについても途切れのな
い接続を可能とする正規編集可能点の条件判断を行い、
挿入指示がなされた編集可能点が正規記編集可能点の条
件を満たさないと判断された場合に、該挿入指示がなさ
れた編集可能点を該条件を満たすと判断される時点まで
遅延して編集可能点の挿入を行うことを特徴とする。
可能点が正規記編集可能点の条件を満たさないと判断さ
れた場合、(a) 符号化モードの変更、(b) 次の符号化フ
レームへの符号量割り当ての削減、(c) 符号化フレーム
のフィールド位相の反転、の少なくとも一つを含む制御
を行うことにより、挿入指示がなされた編集可能点を先
の条件判断により正規記編集可能点の条件を満たすと判
断される時点まで遅延するようにする。
入のための厳密な符号化制御の条件を最小限にして、符
号化効率の低下を防ぎ、かつ所望の編集可能点の近傍へ
編集可能点を挿入することが可能となる。
時間毎の時刻、(b) 予め指定された時刻、(c) 入力動画
像信号のシーン変化、動き量、輝度値および色差信号値
の少なくとも一つを含むパラメータの変化から検出され
る画像内容の変化点、(d) 手動で指示された位置、の少
なくとも一つである。
を指示すると、上述した正規記編集可能点の条件を満た
さない場合でも、指示された編集可能点を数フレーム分
程度時間的に遅らせることで、編集可能点の挿入を容易
にすることが可能である。また、(c) のように編集可能
点の位置を自動的に指示することにより、編集作業を容
易にすることが可能である。さらに、連続撮影中の符号
化では撮影者の意志で符号化データに編集可能点として
のマーキングを施して、(d) のように手動で編集可能点
を指示することで、撮影後の符号化データの編集作業を
容易にすることが可能である。
ータまたは動画像符号化データおよび音声符号化データ
中の編集可能点の位置情報を該符号化データとは独立に
構成されたデータとして記録することで行ってもよい
し、(2) 動画像符号化データまたは動画像符号化データ
および音声符号化データ中の編集可能点の位置情報を該
符号化データ中に多重することで行ってもよいし、さら
には(3) 動画像符号化データと音声符号化データとを多
重化した多重化データ中での編集可能点の位置情報を多
重化データに含まれる動画像符号化データおよび音声符
号化データのそれぞれについて独立に記録あるいは多重
することで行ってもよい。
と、編集可能点の位置情報を編集作業時に容易に用いる
ことが可能である。また、動画像信号とそれに対応する
音声信号を同時に符号化する場合は、動画像符号化デー
タおよび音声符号化データのそれぞれに対応する編集可
能点情報を付加することで、動画像および音声の同時編
集作業を容易に行うことが可能となる。
タまたは動画像符号化データおよび音声符号化データの
一部または全てを他の動画像符号化データまたは動画像
符号化データおよび音声符号化データと接続編集する場
合に、上記のようにして動画像符号化データの符号化モ
ードと仮想受信バッファモデルのバッファ占有量および
符号化フレームに対する表示フィールド位相のいずれに
ついても途切れのない接続を可能とする編集可能点の位
置情報が動画像符号化データまたは動画像符号化データ
および音声符号化データとともに記録された記録媒体が
提供される。
施の形態を説明する。 (第1の実施形態)図1に、本発明の第1の実施形態に
係る符号化装置の構成を示す。この符号化装置は、編集
可能点挿入機能を有する動画像符号化装置であり、動画
像符号化部10、符号化制御部11、レート制御部12
および蓄積媒体13からなる。動画像符号化部10は、
入力される動画像信号14を例えばMPEG2に基づい
て符号化し、動画像符号化データ20を出力する。符号
化データ20は、ハードディスクや光ディスクのような
蓄積媒体13に記録される。なお、符号化データ20を
直接伝送路へ出力する形態としてもよい。
れ自身の発生符号量、入力される動画像信号14の画像
の動き量、アクティビティの少なくとも1つを含む統計
量情報19を抽出し、これをレート制御部12へ転送す
る。
からの統計量情報19と、符号化制御部11から与えら
れるピクチャタイプの情報、すなわちIピクチャ(フレ
ーム内符号化画像)、Pピクチャ(前方予測画像)、B
ピクチャ(両方向予測画像)の種別の情報を含む符号化
モードパラメータ情報18とから、フィードバック制御
による符号量割り当てを行うことにより、発生符号量の
制御(レート制御)を行う。符号量割り当ては、GOP
(Group Of Pictures) 、ピクチャ、マクロブロック単位
にそれぞれ行い、割り当て結果から動画像符号化部10
での量子化スケール値を決定し、量子化スケール値情報
17を符号化制御部11へ供給する。
値およびピクチャタイプを含む符号化制御パラメータ1
6が動画像符号化部10へ出力され、これにより動画像
符号化部10が制御される。
編集可能点挿入情報15に従って、GOP構成(特にG
OP長)の決定および編集可能点挿入位置の決定を行う
構成となっている。実際の編集可能点の挿入は、符号化
制御部11とレート制御部12とで協調して行われる。
部10にMPEG2規格による動画像符号化方式を用い
た場合を例にとり編集可能点の条件(符号化データの接
続点の条件)について説明する。MPEG2規格による
動画像符号化方式では、符号化対象画像は前述のように
フレーム内符号化画像のIピクチャ、前方予測画像のP
ピクチャ、両方向予測画像のBピクチャから構成され、
例えば図2に示すようなフレーム間予測構造を構成す
る。図2で、矢印の根元が参照画像、矢印の先端が符号
化画像をそれぞれ表している。通常は、符号化順でIピ
クチャから始まるGOP単位にフレーム間予測のリフレ
ッシュが行われる。
GOP2内の表示順に見て先頭側のBピクチャ31,3
2が前GOP(GOP1)の最後のPピクチャ30から
予測される場合と、図2(b)に示すようにGOP2内
の表示順に見て先頭側のBピクチャ41,42が前GO
Pのどのピクチャをも参照画像としない場合とに分類す
ることができ、後者はクローズドGOPと呼ばれてい
る。
ランダムアクセスが容易であるという利点を有する反
面、先頭のBピクチャで前方からの予測が行われないた
め、一般に符号化効率の低下を招く。一方、クローズド
GOPでない場合は、クローズドGOPに比較して符号
化効率は向上するが、ランダムアクセスや切り貼り編集
が困難となる。
OP3を接続して連続再生しようとする場合、GOP3
の先頭二つのBピクチャ35,36は本来の参照画像3
4であるGOP2の最後のPピクチャではなく、GOP
1の最後のPピクチャ30を誤った参照画像として用い
るため、画像を正しく再生することが困難となる。これ
に対し、図2(b)において同様にGOP1とGOP3
を接続して連続再生する場合には、GOP3の先頭二つ
のBピクチャ45,46はGOP3の最初のIピクチャ
47からのみ予測を行うので、再生画像が乱れることは
ない。
うためには、クローズドGOPにすることが一般に必要
となる。この例からも、符号化効率とランダムアクセス
や符号化データの切り貼りといったハンドリングの自由
度とは、一般に相反する関係にあることが分かる。
レート符号化におけるVBV(VideoBuffering Verifie
r)モデルのバッファ占有量推移の例を示したものであ
る。VBVとは、仮想デコーダにおける受信バッファモ
デル(以下、VBVバッファという)であり、VBVバ
ッファがオーバーフローやアンダーフローして破綻しな
いことが、正しい符号化ストリームの条件となる。通
常、符号化装置ではレート制御部によりVBVバッファ
の条件(VBVバッファがオーバーフローもアンダーフ
ローも起こさないこと)を満たすように符号化制御が行
われる。
のVBVバッファ占有量を示しており、縦軸はバッファ
占有量、横軸は時間である。図3(a)の符号化データ
から区間51の部分を切り出し、別に符号化された符号
化データと接続する編集を行う場合、例えば図3(b)
の区間52のようなVBVバッファ占有量の推移を持つ
別の符号化データに区間51の符号化データを接続する
と、VBVバッファのオーバーフローが起こる。また、
図3(c)の区間53のようなVBVバッファ占有量の
推移を持つ符号化データと区間51の符号化データを接
続すると、VBVバッファのアンダーフローが起こるこ
とになる。このように、符号化データレベルでの接続を
任意に行おうとすると、VBVバッファの条件を満足で
きなくなる場合がある。
うに、VBVバッファの挙動が図3(a)で示される編
集前の状態に比べてオーバーフロー側に振られる場合
は、符号化データの接続点においてスタッフィングデー
タ54を挿入することで、編集後においても図3(a)
の区間51の状態と完全に一致したVBVバッファ占有
量の推移56とすることが可能となる。すなわち、MP
EG2規格で規定される固定レート符号化では、編集可
能点の先頭のVBVバッファ占有量が前符号化データの
最後のVBVバッファ占有量を下回って入れば、スタッ
フィング処理により符号化データの接続が可能となる。
一方、図3(c)のように編集によりVBVバッファの
挙動がアンダーフロー側に振られる場合は、アンダーフ
ローを回避することは、一般に容易ではない。
伝送モデルの1つであり、一般にリークモデルと呼ばれ
ている可変レート符号化におけるVBVバッファモデル
のバッファ占有量推移の例を示したものである。このリ
ークモデルでは、例えば図4(a)の区間61を図4
(b)の区間62あるいは図4(c)の区間64の後に
続けて接続する場合、図3で説明した固定レートモデル
と同様に、図4(c)のようにアンダーフロー側に振ら
れる場合は、VBVのアンダーフローを回避することが
一般に困難となる。一方、図4(b)のようにオーバー
フロー側に振られる場合は、特別な処理なしにVBVの
破綻は発生しなくなる。
ールド位相の条件を説明するための図である。MPEG
2規格では、例えばフレームレート24Hzの符号化画
像をフィールドレート60Hzのディスプレイで表示す
るために、周期的に第1フィールドを繰り返して表示
し、符号化ピクチャレートと表示フレームレートを変換
する(3:2プルダウンという)機構が備わっている。
このフレームレート変換によって、各符号化ピクチャの
先頭フィールドは必ずしも表示系の第1フィールドと一
致しなくなり、また各符号化ピクチャの最後のフィール
ドは表示系の第2フィールドとは必ずしも一致しなくな
る。
示が終了する符号化データ70と、トップフィールド7
2で表示が開始される符号化データ73とを接続した例
であり、この場合は継ぎ目なく接続することが可能とな
る。一方、図5(b)(c)では、前符号化データ7
4,78の最終表示フィールド75,79と、それに接
続しようとする符号化データ77,81の先頭フィール
ド76,80とがいずれの場合も同一位相のフィールド
となり、連続して符号化データを接続することが困難と
なる。
チャの予測構造や、VBVバッファ占有量、符号化デー
タ接続点での表示フィールド位相の条件を考慮せずに、
符号化データを切り貼り編集することは困難である。本
実施形態においては、このような条件を考慮に入れて編
集可能点の挿入を行うことにより、符号化データレベル
での切り貼り編集を可能としている。
入手順について説明する。図6に、編集可能点挿入手順
を示す。まず、ユーザの意志あるいは自動設定により1
ピクチャ符号化(符号化フレーム)毎に編集可能点挿入
指示をチェックし(ステップS1)、編集可能点挿入指
示があると、正規編集可能点条件を満足するかどうかの
条件判断を行う(ステップS2)。ここで、正規編集可
能点とは以下の3条件を全て満たすものとする。 (1) 次符号化ピクチャがクローズドGOPの先頭符号化
ピクチャである。 (2) VBVバッファ占有量が規定値以上の値である。 (3) 前表示フレームはボトムフィールドで終了する。
能点単位での切り貼り編集を任意に行うことが可能とな
る。これらの正規編集可能点の条件を満足している場
合、編集可能点として確定する(ステップS3)。一
方、これらの条件を満足していない場合はステップS4
で条件を満足させるための処理を行うことにより、編集
可能点を次ピクチャ以降に遅延させる。
ない場合には、符号化モードの制御によりGOP構成
(特にGOP長)の動的な変更を行い、また条件(2) を
満たしていない場合には、次ピクチャ(次の符号化フレ
ーム)以降の符号量割り当てを削減することにより編集
可能点のVBV条件を満たす方向にレート制御(発生符
号量制御)を行う。また、条件(3) を満たしていない場
合には、3フィールド期間表示ピクチャ(MPEG2に
おけるrepeat first field)を用いることで、フィー
ルド位相の調整を行う。これらの操作により編集可能点
の条件を満たした段階で、編集可能点の挿入を行う。そ
して、次ピクチャの符号化を行う(ステップS5)。
における編集可能点の挿入方法の具体例を説明する。本
実施形態において、図6のステップS1における編集可
能点の指示は、図7に示すように一定時間毎の時刻に周
期的に行われるか、または図8に示すように予め定めら
れた時刻に随時行われる。図7および図8では、指示さ
れる編集可能点の位置を「初期編集可能点挿入位置」と
し、最終的に挿入される編集可能点を「符号化編集可能
点」としている。
GOP構成(初期GOP構成)に対して、GOP91の
長さの整数倍の位置に初期編集可能点挿入位置92〜9
5が設定されている。符号化の際、これらの初期編集可
能点挿入位置92〜95毎に図6のステップS2の正規
編集可能点の条件判断を行う。この条件判断は、図7で
はバッファ接続条件90の判定、つまり前述した条件
(2) のVBVバッファ占有量が規定値以上の値か否かの
判定により行われる。
件を満たしていれば、直ちに初期編集可能点挿入位置
に、編集可能点(符号化編集可能点)を挿入する。図7
の例では、初期編集可能点挿入位置92〜95のうち9
2,93,95はバッファ接続条件90が「OK」であ
り、正規編集可能点の条件を満たしているため、図6の
ステップS3で編集可能点が確定され、これらの位置9
2,93,95に符号化編集可能点96,97,99が
挿入される。
バッファ接続条件90が「NG」であり、正規編集可能
点の条件を満たしていないため、図6のステップS4で
符号量割り当ての削減によりレート制御を行い、バッフ
ァ接続条件90が満たされるまで初期編集可能点挿入位
置94を遅延させた位置に符号化編集可能点98を挿入
する。その間、初期編集可能点挿入位置94の直前のG
OP4の長さを拡張して、初期編集可能点が次のGOP
5の先頭に位置するように自動調整する。
GOPはクローズドGOPとし、それ以外のGOPは通
常のGOPとすることで、符号化効率の低下を抑えつつ
符号化編集可能点の挿入を行うことが可能となる。図7
の例では、符号化編集可能点96,97,98,99を
挿入する直前のGOPである奇数番目のGOPをクロー
ズドGOP、偶数番目のGOPを通常のGOPとしてい
る。
信号に対して、予めユーザの意志で編集可能点挿入位置
102〜104が設定され、これらの編集可能点挿入位
置102〜104に合わせて、初期GOP構成のGOP
101の長さを可変としておく。符号化の際、これらの
初期編集可能点挿入位置102〜104毎に図6のステ
ップS2の正規編集可能点の条件判断を行う。この条件
判断は、図7の場合と同様、バッファ接続条件100の
判定、つまり前述した条件(2) のVBVバッファ占有量
が規定値以上の値か否かの判定により行われる。
件を満たしていれば、直ちに初期編集可能点挿入位置
に、編集可能点(符号化編集可能点)を挿入する。図8
の例では、初期編集可能点挿入位置102〜104のう
ち102,103はバッファ接続条件100が「OK」
であり、正規編集可能点の条件を満たしているため、図
6のステップS3で編集可能点が確定され、これらの位
置102,103に符号化編集可能点105,106が
挿入される。
は、バッファ接続条件100が「NG」であり、正規編
集可能点の条件を満たしていないため、図6のステップ
S4でGOP長の変更および符号量割り当ての削減によ
るレート制御を行い、バッファ接続条件100が満たさ
れるまで初期編集可能点挿入位置104を遅延させた位
置に符号化編集可能点107を挿入する。この場合、初
期GOP構成を予め編集可能点挿入位置と合わせておく
ことで、符号化編集可能点を精度よく挿入することが可
能となる。
ついて、事前に編集可能点挿入位置が分かっていること
を利用し、編集可能点の直前から正規編集可能点の条件
を満たすためのVBV管理の処理を事前に行い、より的
確に希望する位置へ符号化編集可能点を挿入することも
容易である。
の実施形態に係る符号化装置の構成を示す図である。図
9において、図1と同一名称の構成要素は同一機能を有
するので、詳細な説明は省略する。本実施形態は図1の
構成に加えて、入力動画像信号からシーンの変化点(シ
ーンチェンジ位置)を検出するシーンチェンジ検出部1
10が付加された構成となっている。編集作業において
は、シーンチェンジ位置を考慮することは重要なポイン
トの一つとなる。本実施形態では、シーンチェンジ位置
を実時間で自動抽出し、そこを編集可能点とすることを
特徴としている。
ンチェンジ位置に基づく編集可能点の自動挿入方法につ
いて説明する。編集点挿入前の初期GOP構成に対し
て、シーンチェンジ検出部110により検出されたシー
ンチェンジ位置122〜124を初期編集可能点挿入位
置とし、符号化の際、これらのシーンチェンジ位置12
2〜124毎に先と同様に正規編集可能点の条件判断を
行う。
件を満たしていれば、直ちに初期編集可能点挿入位置で
あるシーンチェンジ位置、符号化編集可能点を挿入す
る。図10の例では、シーンチェンジ位置122〜12
4のうち122,123はバッファ接続条件120が
「OK」であり、正規編集可能点の条件を満たしている
ため、図6のステップS3で編集可能点が確定され、こ
れらの位置122,123に符号化編集可能点125,
126が挿入される。
4では、バッファ接続条件120が「NG」であり、正
規編集可能点の条件を満たしていないため、図6のステ
ップS4でGOP長の変更および符号量割り当ての削減
によるレート制御を行い、バッファ接続条件120が満
たされるまでシーンチェンジ位置124を遅延させた位
置に符号化編集可能点127を挿入する。
による撮像で得られた動画像信号を即符号化する場合も
含めて、撮影後の編集作業において有効となる編集可能
点を実時間で自動挿入することが可能となり、しかも無
駄な編集可能点挿入による符号化効率の低下も防ぐこと
ができる。
画像信号の動き量、輝度値および色差信号値などの他の
パラメータの変化から画像内容の変化点を検出して、こ
れらを初期編集可能点挿入位置としてもよい。
3の実施形態に係る符号化装置の構成を示す図である。
図11において、図1と同一名称の構成要素は同一機能
を有するので、詳細な説明は省略する。
能点挿入指示部130が付加された構成となっており、
入力される動画像信号135の符号化中に、編集可能点
挿入指示部130によりユーザが編集可能点挿入の指示
を行い、その指示によって編集可能点が挿入される。
プのビデオカメラにおいて、連続撮影中に意図的に、編
集可能点挿入指示部130により編集可能点としてのマ
ーキングを行い、撮影後の検索や編集作業を非常に効率
的に行うことが可能となる。また、ビデオカメラよる撮
影で得られた動画像信号をVTRなどで再生して符号化
する場合でも、VTRの再生映像を見ながら編集可能点
のマーキングを行うことが可能となる。
挿入方法の具体例であり、編集可能点挿入指示後の編集
可能点挿入手順は第2の実施形態と同様である。すなわ
ち、入力される動画像信号に対して編集可能点挿入指示
部130により編集可能点指示がなされ、符号化の際に
はこの編集可能点指示で指示された位置毎に先と同様に
正規編集可能点の条件判断を行う。この条件判断の結
果、正規編集可能点の条件を満たしていれば、直ちに指
示された位置に編集可能点(符号化編集可能点)を挿入
する。
合は、GOP長の変更および符号量割り当ての削減によ
るレート制御を行い、正規編集可能点の条件が満たされ
るまで、指示された編集可能点の位置を遅延させた位置
に符号化編集可能点を挿入する。
1〜第3の実施形態で説明した符号化データに挿入され
る編集可能点の情報は、これらに限定されるものではな
いが、例えば図13あるいは図14に示した方法で記録
される。
編集可能点テーブル141に編集可能点情報を記録する
例を示している。編集可能点情報としては、編集可能点
毎に符号化データ中での編集可能点のアドレス、編集可
能点の時刻その他の情報の記録を行う。その他の情報に
は、編集可能点の符号化データ接続条件や、撮影された
映像のチャプタ番号、チャプタ名の記録を行うことも可
能である。
を符号化データ中のヘッダ領域に多重して記録する例で
ある。 (第4の実施形態)図15に、本発明に係る第4の実施
形態の符号化装置の構成を示す。図15において、図1
と同一名称の構成要素は同一機能を有するので、詳細な
説明は省略する。
号157を入力して符号化する音声符号化部153と、
符号化された動画像データ159および符号化された音
声データ160を多重化する多重化部154が加えられ
た構成となっている。また、本実施形態では、画像信号
に挿入される編集可能点に対応した時刻の音声データの
位置を合わせて記録する構成となっている。
ように独立したテーブルに記録する構成としてもよい
し、図16に示すように多重化された動画像データおよ
び音声データのヘッダ部分にそれぞれ記録してもよい。
多重する場合、一般に図17に示すように同一時刻に表
示される動画像データと音声データは必ずしも隣接した
位置に多重されない。このため、動画像と音声が多重化
された符号化データについて切り貼り編集を行う場合、
同一時刻の編集可能点のデータは動画像データおよび音
声データで多重化データ中の異なる位置に存在する。従
って、動画像データおよび音声データのそれぞれのパケ
ットのヘッダ部分に編集可能点情報を多重しておくこと
で、多重化後のデータの切り貼り編集が容易になる。
像データおよび音声データのそれぞれに付加すること
で、映像と音声と編集可能点の対応づけが容易になり、
編集作業を効率化することが可能となる。
画像信号さらには動画像符号化信号とこれに対応する音
声信号の符号化の際に、編集可能点の効率的な挿入が可
能となの、符号化データレベルでの切り貼り編集などの
編集作業を容易に行うことができる。
可能点の情報、あるいはシーンチェンジ位置の自動検出
結果、またはユーザの意志による実時間での編集可能点
挿入指示により、適応的に編集可能点を挿入すること
で、符号化効率の低下を抑えつつ、的確な位置に編集可
能点を挿入することが可能となる。
立したテーブルデータとして記録するか、符号化データ
のヘッダ領域に独立した識別IDとして多重することに
よって、編集作業を効率化することが可能となる。
化する場合、識別IDによる編集作業により、符号化デ
ータ中の動画像データと音声データとの対応付けを容易
にすることが可能となる。
タまたは動画像符号化データおよび音声符号化データの
一部または全てを他の動画像符号化データまたは動画像
符号化データおよび音声符号化データと接続編集する場
合に動画像符号化データの符号化モードと仮想受信バッ
ファモデルのバッファ占有量および符号化フレームに対
する表示フィールド位相のいずれについても途切れのな
い接続を可能とする編集可能点の位置情報を動画像符号
化データまたは動画像符号化データおよび音声符号化デ
ータとともに、DVDなどの光ディスクやVTRの磁気
テープなどの記録媒体上に記録することにより、これら
の記録媒体から動画像信号や音声信号を再生しつつ、切
り貼り編集などの編集を効率的に行うことができる。
成を示す図
ためのGOP構成とフレーム間予測構造の例を示す図
ための固定レート符号化におけるVBVバッファモデル
のバッファ占有量推移の例を示す図
ための可変レート符号化におけるVBVバッファモデル
のバッファ占有量推移の例を示す図
ための符号化データ接続点におけるフィールド位相の種
々の例を示す図
するためのフローチャート
法の具体例を示す図
挿入方法の具体例を示す図
成を示す図
法の具体例を示す図
構成を示す図
法の具体例を示す図
可能点記録方法の例を示す図
可能点記録方法の例を示す図
構成を示す図
を示す図
を示す図
編集可能点 110…シーンチェンジ検出部 115…入力動画像信号 116,117…シーン変化情報 122〜124…シーンチェンジ検出位置 130…編集可能点挿入指示入力部 136…編集可能点挿入指示 150…符号化制御部 151…レート制御部 152…動画像符号化部 153…音声符号化部 154…多重化部 155…蓄積媒体 156…入力動画像信号 157…入力音声信号 158…編集可能点挿入情報 159…動画像符号化データ 160…音声符号化データ 161…動画像音声多重化データ
Claims (10)
- 【請求項1】入力される動画像信号を所定の符号化フレ
ーム単位にフレーム内符号化および動き補償フレーム間
予測符号化を含む複数の符号化モードのいずれかにより
符号化して符号化データを出力する符号化装置におい
て、 前記符号化フレーム単位に前記符号化モードと仮想受信
バッファモデルのバッファ占有量および前記符号化フレ
ームに対応する表示フィールド位相の情報を抽出し、 該抽出された情報に基づいて、前記符号化データの一部
または全てを他の符号化データと接続編集する場合に前
記符号化モードと前記バッファ占有量および前記表示フ
ィールド位相のいずれについても途切れのない接続を可
能とする正規編集可能点の条件判断を行い、 挿入指示がなされた編集可能点が前記正規記編集可能点
の条件を満たさないと判断された場合に、該挿入指示が
なされた編集可能点を該条件を満たすと判断される時点
まで遅延して編集可能点の挿入を行うことを特徴とする
符号化装置における編集可能点挿入方法。 - 【請求項2】入力される動画像信号を所定の符号化フレ
ーム単位にフレーム内符号化および動き補償フレーム間
予測符号化を含む複数の符号化モードのいずれかにより
符号化して動画像符号化データを出力するとともに、前
記動画像信号に対応する音声信号を符号化して音声符号
化データを出力する符号化装置において、 前記符号化フレーム単位に前記符号化モードと仮想受信
バッファモデルのバッファ占有量および前記符号化フレ
ームに対応する表示フィールド位相の情報を抽出し、 該抽出された情報に基づいて、前記動画像符号化データ
および音声符号化データの一部または全てを他の動画像
符号化データおよび音声符号化データと接続編集する場
合に前記符号化モードと前記バッファ占有量および前記
表示フィールド位相のいずれについても途切れのない接
続を可能とする正規編集可能点の条件判断を行い、 挿入指示がなされた編集可能点が前記正規記編集可能点
の条件を満たさないと判断された場合に、該挿入指示が
なされた編集可能点を該条件を満たすと判断される時点
まで遅延して編集可能点の挿入を行うことを特徴とする
符号化装置における編集可能点挿入方法。 - 【請求項3】入力される動画像信号を所定の符号化フレ
ーム単位にフレーム内符号化および動き補償フレーム間
予測符号化を含む複数の符号化モードのいずれかにより
符号化して符号化データを出力する符号化手段と、 前記符号化モードを切り替え制御する符号化モード制御
手段と、 前記符号化手段からの符号化データの発生符号量を仮想
受信バッファモデルに従って制御する発生符号量制御手
段と、 前記符号化フレーム単位に前記符号化モードと前記仮想
受信バッファモデルのバッファ占有量および前記符号化
フレームに対応する表示フィールド位相の情報を抽出す
る抽出手段と、 前記抽出手段により抽出された情報に基づいて、前記符
号化データの一部または全てを他の符号化データと接続
編集する場合に前記符号化モードと前記バッファ占有量
および前記表示フィールド位相のいずれについても途切
れのない接続を可能とする正規編集可能点の条件判断を
行う条件判断手段と、 挿入指示がなされた編集可能点が前記条件判断手段によ
り前記正規記編集可能点の条件を満たさないと判断され
た場合に、該挿入指示がなされた編集可能点を該条件を
満たすと判断される時点まで遅延して該編集可能点の挿
入を行う編集可能点挿入手段とを備えたことを特徴とす
る符号化装置。 - 【請求項4】入力される動画像信号を所定の符号化フレ
ーム単位にフレーム内符号化および動き補償フレーム間
予測符号化を含む複数の符号化モードのいずれかにより
符号化して動画像符号化データを出力する動画像符号化
手段と、 前記動画像信号に対応する音声信号を符号化して音声符
号化データを出力する音声符号化手段と、 前記動画像符号化データと音声符号化データを多重化し
て多重化データを出力する多重化手段と、 前記符号化モードを切り替え制御する符号化モード制御
手段と、 前記符号化手段からの符号化データの発生符号量を仮想
受信バッファモデルに従って制御する発生符号量制御手
段と、 前記符号化フレーム単位に前記符号化モードと前記仮想
受信バッファモデルのバッファ占有量および前記符号化
フレームに対応する表示フィールド位相の情報を抽出す
る抽出手段と、 前記抽出手段により抽出された情報に基づいて、前記動
画像符号化データおよび音声符号化データの一部または
全てを他の動画像符号化データおよび音声符号化データ
と接続編集する場合に前記符号化モードと前記バッファ
占有量および前記表示フィールド位相のいずれについて
も途切れのない接続を可能とする正規編集可能点の条件
判断を行う条件判断手段と、 挿入指示がなされた編集可能点が前記条件判断手段によ
り前記正規記編集可能点の条件を満たさないと判断され
た場合に、該挿入指示がなされた編集可能点を該条件を
満たすと判断される時点まで遅延して該編集可能点の挿
入を行う編集可能点挿入手段とを備えたことを特徴とす
る符号化装置。 - 【請求項5】前記編集可能点挿入手段は、前記挿入指示
がなされた編集可能点が前記条件判断手段により前記正
規記編集可能点の条件を満たさないと判断された場合、
(a)符号化モードの変更、(b) 次の符号化フレームへの
符号量割り当ての削減、(c)符号化フレームのフィール
ド位相の反転、の少なくとも一つを含む制御を行うこと
により、前記挿入指示がなされた編集可能点を前記条件
判断手段により前記正規記編集可能点の条件を満たすと
判断される時点まで遅延することを特徴とする請求項3
または4に記載の符号化装置。 - 【請求項6】前記指示される編集可能点の位置は、(a)
一定時間毎の時刻、(b) 予め指定された時刻、(c) 前記
入力動画像信号のシーン変化、動き量、輝度値および色
差信号値の少なくとも一つを含むパラメータの変化から
検出される画像内容の変化点の時刻、(d) 手動で指示さ
れた位置、の少なくとも一つであることを特徴とする請
求項3または4に記載の符号化装置。 - 【請求項7】前記編集可能点挿入手段は、前記動画像符
号化データまたは前記動画像符号化データおよび音声符
号化データ中の編集可能点の位置情報を該符号化データ
とは独立に構成されたデータとして記録することを特徴
とする請求項3または4に記載の符号化装置。 - 【請求項8】前記編集可能点挿入手段は、前記動画像符
号化データまたは前記動画像符号化データおよび音声符
号化データ中の編集可能点の位置情報を該符号化データ
中に多重することを特徴とする請求項3または4に記載
の符号化装置。 - 【請求項9】前記編集可能点挿入手段は、前記多重化デ
ータ中での前記編集可能点の位置情報を前記多重化デー
タに含まれる動画像符号化データおよび音声符号化デー
タのそれぞれについて独立に記録あるいは多重すること
を特徴とする請求項4に記載の符号化装置。 - 【請求項10】動画像符号化データまたは動画像符号化
データおよび音声符号化データの一部または全てを他の
動画像符号化データまたは動画像符号化データおよび音
声符号化データと接続編集する場合に、前記動画像符号
化データの符号化モードと仮想受信バッファモデルのバ
ッファ占有量および符号化フレームに対する表示フィー
ルド位相のいずれについても途切れのない接続を可能と
する編集可能点の位置情報が動画像符号化データまたは
動画像符号化データおよび音声符号化データとともに記
録されていることを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23703397A JP3529599B2 (ja) | 1997-09-02 | 1997-09-02 | 符号化装置における編集可能点挿入方法および符号化装置 |
| US09/144,985 US6314139B1 (en) | 1997-09-02 | 1998-09-01 | Method of inserting editable point and encoder apparatus applying the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23703397A JP3529599B2 (ja) | 1997-09-02 | 1997-09-02 | 符号化装置における編集可能点挿入方法および符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1188874A true JPH1188874A (ja) | 1999-03-30 |
| JP3529599B2 JP3529599B2 (ja) | 2004-05-24 |
Family
ID=17009409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23703397A Expired - Fee Related JP3529599B2 (ja) | 1997-09-02 | 1997-09-02 | 符号化装置における編集可能点挿入方法および符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6314139B1 (ja) |
| JP (1) | JP3529599B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003515178A (ja) * | 1999-10-28 | 2003-04-22 | クゥアルコム・インコーポレイテッド | フレームエラーに対する感度を低減する符号化体系パターンを使用する予測音声コーダ |
| JP2006279972A (ja) * | 2002-01-23 | 2006-10-12 | Nokia Corp | ビデオ符号化における画像フレームのグループ化 |
| JP2007048378A (ja) * | 2005-08-10 | 2007-02-22 | Sony Corp | 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体 |
| US7623756B2 (en) | 2004-08-13 | 2009-11-24 | Sony Corporation | Apparatus, method, and computer program for processing information |
| JP2012070427A (ja) * | 2002-01-23 | 2012-04-05 | Nokia Corp | ビデオ符号化における画像フレームのグループ化 |
| JP2014011745A (ja) * | 2012-07-02 | 2014-01-20 | Fujitsu Ltd | 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム |
| US9392276B2 (en) | 2012-07-02 | 2016-07-12 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4005691B2 (ja) * | 1998-03-19 | 2007-11-07 | 株式会社東芝 | 動画像符号化方法および動画像符号化装置 |
| US7194032B1 (en) | 1999-09-03 | 2007-03-20 | Equator Technologies, Inc. | Circuit and method for modifying a region of an encoded image |
| US6498816B1 (en) * | 1999-09-03 | 2002-12-24 | Equator Technologies, Inc. | Circuit and method for formatting each of a series of encoded video images into respective regions |
| US20030123546A1 (en) * | 2001-12-28 | 2003-07-03 | Emblaze Systems | Scalable multi-level video coding |
| US9715898B2 (en) * | 2003-12-16 | 2017-07-25 | Core Wireless Licensing S.A.R.L. | Method and device for compressed-domain video editing |
| US7599565B2 (en) * | 2004-03-10 | 2009-10-06 | Nokia Corporation | Method and device for transform-domain video editing |
| JP4902358B2 (ja) * | 2004-12-02 | 2012-03-21 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| US20060239563A1 (en) * | 2005-04-25 | 2006-10-26 | Nokia Corporation | Method and device for compressed domain video editing |
| JP2008109637A (ja) * | 2006-09-25 | 2008-05-08 | Toshiba Corp | 動画像符号化装置及びその方法 |
| US8411168B2 (en) * | 2008-09-16 | 2013-04-02 | Panasonic Corporation | Imaging apparatus and video data creating method |
| JP6410483B2 (ja) | 2013-08-09 | 2018-10-24 | キヤノン株式会社 | 画像処理装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Industrial Co., Ltd. | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| JP2858631B2 (ja) * | 1994-06-29 | 1999-02-17 | 日本ビクター株式会社 | 画像データ編集装置及び画像データ復号装置 |
| US5559562A (en) * | 1994-11-01 | 1996-09-24 | Ferster; William | MPEG editor method and apparatus |
| JP3513554B2 (ja) | 1995-07-06 | 2004-03-31 | 株式会社日立製作所 | 撮像装置及び方法 |
| JPH09154099A (ja) | 1995-11-28 | 1997-06-10 | Sony Corp | 映像編集装置 |
| US5686964A (en) * | 1995-12-04 | 1997-11-11 | Tabatabai; Ali | Bit rate control mechanism for digital image and video data compression |
| JP3711603B2 (ja) | 1995-12-12 | 2005-11-02 | ソニー株式会社 | 符号化装置及びその方法、並びに記録装置及びその方法 |
-
1997
- 1997-09-02 JP JP23703397A patent/JP3529599B2/ja not_active Expired - Fee Related
-
1998
- 1998-09-01 US US09/144,985 patent/US6314139B1/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003515178A (ja) * | 1999-10-28 | 2003-04-22 | クゥアルコム・インコーポレイテッド | フレームエラーに対する感度を低減する符号化体系パターンを使用する予測音声コーダ |
| JP2006279972A (ja) * | 2002-01-23 | 2006-10-12 | Nokia Corp | ビデオ符号化における画像フレームのグループ化 |
| JP2012070427A (ja) * | 2002-01-23 | 2012-04-05 | Nokia Corp | ビデオ符号化における画像フレームのグループ化 |
| US7623756B2 (en) | 2004-08-13 | 2009-11-24 | Sony Corporation | Apparatus, method, and computer program for processing information |
| JP2007048378A (ja) * | 2005-08-10 | 2007-02-22 | Sony Corp | 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体 |
| US7835618B2 (en) | 2005-08-10 | 2010-11-16 | Sony Corporation | Recording apparatus, recording method, program of recording method, and recording medium having program of recording method recorded thereon |
| JP2014011745A (ja) * | 2012-07-02 | 2014-01-20 | Fujitsu Ltd | 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム |
| US9392276B2 (en) | 2012-07-02 | 2016-07-12 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
| US9438924B2 (en) | 2012-07-02 | 2016-09-06 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
| US9712838B2 (en) | 2012-07-02 | 2017-07-18 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
| US9716896B2 (en) | 2012-07-02 | 2017-07-25 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
| US10070144B2 (en) | 2012-07-02 | 2018-09-04 | Fujitsu Limited | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3529599B2 (ja) | 2004-05-24 |
| US6314139B1 (en) | 2001-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7394851B2 (en) | Encoding apparatus and method, and multiplexing apparatus and method | |
| JP4837868B2 (ja) | ディジタルビデオ記録物を編集するための方法及び装置並びに、そのような方法で作成された記録物 | |
| JP3361009B2 (ja) | ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム | |
| US8249419B2 (en) | Method for generating additional information for guaranteeing seamless playback between data streams, recording medium storing the information, and recording, editing and/or playback apparatus using the same | |
| JPH1188874A (ja) | 符号化装置における編集可能点挿入方法および符号化装置 | |
| JP2003046949A (ja) | データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム | |
| US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
| EP0869679A2 (en) | Encoding, decoding and editing | |
| US20090080509A1 (en) | Data processor | |
| KR100975170B1 (ko) | 화상 데이터 재생 장치 및 방법 | |
| KR100834322B1 (ko) | 이미지 인코딩 장치, 화상 인코딩 방법 및 이미지 편집장치 | |
| JP3253530B2 (ja) | 動画像記録装置 | |
| JP2004336488A (ja) | 情報処理装置、情報処理方法、プログラム、及び記録媒体 | |
| JP5046907B2 (ja) | 記録装置、その制御方法、プログラム | |
| US6785464B1 (en) | Multiplexing method for continuous reproduction of encoded pictures during skipping | |
| KR20040010173A (ko) | 화상 데이터 재생 장치 및 방법 | |
| JP3897783B2 (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP2000333105A (ja) | 画像圧縮データ記録装置及び画像圧縮データ記録・再生装置 | |
| EP1067793A2 (en) | Digital video decoding method | |
| JP2001268513A (ja) | 動画像再生装置および動画像記録再生システム | |
| JP4441572B2 (ja) | 記録装置 | |
| JP2004048104A (ja) | 画像データ処理装置及び方法 | |
| JP2006121415A (ja) | 動画符号化装置 | |
| JP2005276246A (ja) | 情報再生方法および情報再生装置 | |
| JP2004289872A (ja) | Mpegデータ再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |