JPH07114500B2

JPH07114500B2 - 動き補正サブサンプル内挿方式

Info

Publication number: JPH07114500B2
Application number: JP62055909A
Authority: JP
Inventors: 典之山口; 政治八尾
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1987-03-10
Filing date: 1987-03-10
Publication date: 1995-12-06
Anticipated expiration: 2010-12-06
Also published as: JPS63221782A

Description

【発明の詳細な説明】［産業上の利用分野］この発明はMUSE方式の高品位テレビ受像機における画像
処理に適用されるもので、伝送されてくる動き情報から
各フイールド間の動き補正量を演算して欠落点をフイー
ルド間補間する動き補間サブサンプル内挿方式に関する
ものである。

［従来の技術］従来から提案されているこの種の動き補正サブサンプル
内挿方式に、NHK放送技術研究所が昭和59年６月の創立
記念講演会で発表した「高品位テレビの新しい伝送方式
（MUSE）」なる予稿資料の中で述べられているものがあ
る。第８図にその動き補正サブサンプル内挿方式の構成
を示している。

第８図において、（１）は16.2MHzのサンプルレートで
伝送される映像信号を入力する映像入力端子、（２）は
スイツチで、上記入力端子（１）に入力される映像信号
と後述する動き補正フイールドメモリ（５）の出力信号
を32.4MHzのサブサンプルのタイミングで切替える。（1
0）は非動き補正フイールドメモリで、上記スイツチ
（２）を通過する32.4MHzのサンプルレートの１フレー
ム分の信号を蓄える。（５）は動き補正フイールドメモ
リで、上記非動き補正フイールドメモリ（10）から出力
された32.4MHzのサンプルレートの１フレーム分の信号
を蓄え、動きベクトルによつて動き補正を行なう。

（６）はフイールド間補間フイルタで、上記非動き補正
フイールドメモリ（10）の出力信号とスイツチ（２）を
通過した信号をもとに欠落サンプル点を補間する。
（７）はフイールド内補間フイルタで、上記スイツチ
（２）を通過した信号のみをもとに欠落サンプル点を補
間する。（８）はスイツチで、動き補正を行なわない時
には上側接点（8x）に接続されて、フイールド間補間フ
イルタ（６）の出力信号を通過させ、動き補正を行なう
時または動き検出がなされた時には下側接点（8y）に接
続されて、フイールド内補間フイルタ（７）の出力信号
を通過させる。（９）は欠落サンプル点が補間されて6
4.8MHzのサンプルレートとなつて、上記スイツチ（８）
を通過する信号を出力する映像出力端子である。

つぎに、上記構成の動作について説明する。

高品位テレビの伝送方式は４フイールドで一巡するサブ
ナイキストサンプリングであり、その所要帯域幅は8.1M
Hzである。

映像入力端子（１）に第１フイールドの信号が入力され
た場合、非動き補正フイールドメモリ（10）には１巡前
の第２フイールドと第４フイールドの信号が記憶され、
一方動き補正フイールドメモリ（５）には１巡前の第１
フイールドと第３フイールドの信号が記憶されている。
カメラのパニングにより動きベクトルが存在した時、動
き補正フイールドメモリ（５）の内容はそのベクトル量
にしたがつて２次元的に移動する。このとき、伝送され
てくる動きベクトルが１フレーム隔てたフイールド間の
動き補正量であると、上記動き補正フイールドメモリ
（５）の動き補正内容は映像入力端子（１）に入力され
る第１フイールドの信号を基準に行なわれる。

スイツチ（２）は32.4MHzのサブサンプルのタイミング
で切替わり、フイールドごとに位相が反転し、また動き
ベクトルによつても反転する。したがつて、上述の場
合、映像入力端子（１）から入力された第１フイールド
の信号と動き補正が行なわれた１巡前の第３フイールド
の信号とがスイツチ（２）を通過する。

スイツチ（２）を通過した信号と非動き補正フイールド
メモリ（10）の出力信号とはフイールド間補間フイルタ
（６）に入力されて、フイールド間補間が行なわれる。

動き補正を行なわない時、すなわちスイツチ（８）が上
側接点（8x）に接続している時には、映像出力端子
（９）からフイールド間補間された64.8MHzのサンプル
レートの映像信号を出力する。

また、スイツチ（２）を通過したフイールドの信号は、
フイールド内補間フイルタ（７）に入力されて、フイー
ルド内補間を行ない、スイツチ（８）が下側接点（8y）
に接続されている時、映像出力端子（９）からフイール
ド内補間された64.8MHzのサンプルレートの映像信号を
出力する。

動き補正が行なわれずに映像入力端子（１）にa₂フイー
ルドが入力された時、第８図中の9a〜9eの信号の状態は
第９図に示すとおりである。

ただし、信号をフイールドで表わすと、a₁,b₁,c₁,d₁,
a₂,b₂,c₂,d₂……の順に流れている。第９図中のＡはフ
イールド間処理である補間関数fAによりb₁,c₁,d₁,a₂か
ら補間される補間値を示す。

また動き補正が行なわれ、映像入力端子（１）にa₂フイ
ールドが入力された時、第８図の10a〜10eの信号の状態
は第10図に示すとおりであり、第10図中、信号の上の横
線は動き補正が行なわれたことを示し、Ｂはフイールド
内処理である補間関数fBにより₁,a₂から補間される補
間値を示す。

［発明が解決しようとする問題点］以上のような従来の動き補正サブサンプル内挿方式によ
るときは、動き補正実施時に相隣り合うフイールド間の
関係を全く考慮に入れていないので、欠落サンプル点の
補間をフイールド内補間フイルタによつてフイールド内
で行なわなければならない。そのため、動き補正実施時
の解像度が低下するという問題点があった。

この発明は上記のような問題点を解消するためになされ
たもので、伝送されてくる動きベクトルから各フィール
ド間の動きベクトルを求めて動き補正を行わない場合と
同様に補正を行う場合にもフィールド間補間フィルタを
用いることにより、解像度の低下をおえることができる
動き補正サブサンプル内挿方式を提供することを目的と
する。

［問題点を解決するための手段］この発明にかかる動き補正サブサンプル内挿方式は、所
定のサンプル位置を保って４フィールドで一巡するよう
に間欠的にサブサンプルして伝送されてくるサンプル値
に基づいて、受信側で４フィールド期間に受信した上記
サンプル値からその欠落点を補間して映像信号を再生す
るサブサンプル内挿方式であって、送信側で検出された
映像信号の１フレーム隔てたフィールド間動きベクトル
に基づき、受信側で１フレーム前の上記サンプル値の位
置を補正した後、その欠落点を補間して映像信号を再生
する動き補正サブサンプル内挿方式において、上記１フ
レーム隔てたフィールド間動きベクトルから、受信側に
おいて１フィールド隔てたフィールド間動きベクトル
を、上記１フレーム隔てたフィールド間動きベクトルの
1/2に近似予測することにより生成し、この受信側で生
成された上記１フィールド隔てたフィールド間動きベク
トルのみを使用して、注目するフィールドを基準に、過
去３フィールドのサンプル値の相対位置を補正し、静止
画における補間と同様に、動画においても４フィールド
期間に受信したサンプル値からその欠落点を補間するよ
うにしたものである。

［作用］この発明によれば、伝送されてくる動き情報に急激な変
化がないことを利用して、受信側において、１フィール
ド隔てたフィールド間の動きベクトルを、送信側の１フ
レーム隔てたフィールド間動きベクトルの1/2に近似予
測することで生成し、この生成された上記の１フレーム
隔てたフィールド間動きベクトルを使用して、常にフィ
ールド間補間フィルタを用いて動画の場合でも、静止画
と同様にフィールド間補間を行なうことによって、動画
の場合における解像度の向上を図ることができる。

［実施例］以下、この発明の一実施例を図面にもとづいて説明す
る。

第１図はこの発明の一実施例による動き補正サブサンプ
ル内挿方式を示すブロツク図であり、同図において、
（１）は16.2MHzのサンプルレートで伝送される映像信
号を入力する映像入力端子、（２）はスイツチで、上記
映像入力端子（１）に入力される映像信号と後述する第
２の動き補正フイールドメモリ（５）の出力信号を32.4
MHzのサブサンプルのタイミングで切替える（３）は割算器で、伝送されてくる動きベクトルを1/2
に除算する。（４）は第１の動き補正フイールドメモリ
で、上記スイツチ（２）を通過する32.4MHzのサンプル
レートの１フレーム分の信号を蓄え、上記割算器（３）
から出力されるフイールド間の予測動きベクトルによつ
て動き補正を行う。

（５）は第２の動き補正フイールドメモリで、上記第１
の動き補正フイールドメモリ（４）から出力された32.4
MHZのサンプルレートの１フレーム分の信号を蓄え、割
算器（３）の出力であるフイールド間の予測動きベクト
ルによつて動き補正を行う。

（６）はフイールド間補間フイルタで、上記スイツチ
（２）を通過する信号と上記第１動き補正フイールドメ
モリ（４）の出力信号をもとに欠落サンプル点を補間す
る。（７）はフイールド内補間フイルタで、上記スイツ
チ（２）を通過する信号のみをもとに欠落サンプル点を
補間する。（８）はスイツチで、通常上側接点（8x）に
接続されて上記フイールド間補間フイルタ（６）の出力
信号を通過させ、動き検出がなされた時に画素単位で下
側接点（8y）に接続されて上記フイールド内補間フイル
タ（７）の出力信号を通過させる。（９）は欠落サンプ
ル点が補間されて64.8MHZのサンプルレートとなつて、
上記スイツチ（８）を通過する信号を出力する映像出力
端子である。

つぎに、上記構成の動作について説明する。

第２図は第１図の動作を具体的に説明するために、パン
ニングがおこつている際の動きベクトルを示し、同図中
ｘは画面水平軸、ｙは画素垂直軸を表わしている。

映像信号の各フイールドはa₁〜d₂で表わし、信号をフイ
ールドで表わすと……a₀,b₀,c₀,d₀,a₁,c₁,d₁,a₂,b₂,c₂,
d₂……の順に流れている。それぞれの１フレーム隔てた
フイールド間動きベクトルを……A₁,B₁,C₁,D₁,A₂,B₂,…
…で表わしている。また作図上得られる１フイールド隔
てたフイールド間動きベクトルを……b₁₀,c₁₀,d₁₀,a₂₀
……で表わしている。１フレーム隔てたフイールド間動
きベクトルと１フイールド隔てたフイールド間動きベク
トルとの間には次の関係式が成り立つ。

a₁₀＋b₁₀＝A₁ b₁₀＋c₁₀＝B₁ c₁₀＋d₁₀＝C₁ ここで、たとえばa₁〜c₁の３フイールドの関係について
のみ考える。ただし、１フレーム隔てたフイールド間動
きベクトルは、水平方向成分５ビツト、垂直方向成分３
ビツトのデイジタル信号で１フイールドに１つ伝送され
てくる。すなわち、１フレーム隔てたフイールド間動き
ベクトルの大きさを画素長で述べると、水平方向成分が
−15から＋16まで、垂直方向成分が−３から＋４までの
範囲内であり、水平方向成分、垂直方向成分とも整数で
ある離散的な成分をもつ。これを図示すると第３図のよ
うに、１フレーム隔てたフイールド間動きベクトルは破
線で囲まれる範囲内にある。ただし、第３図における原
点はa₁フイールドの任意の画素である。

パニングによる映像の平行移動が滑らかである場合、a₁
フイールドとb₁フイールドとの１フイールド隔てたフイ
ールド間動きベクトルは第３図の鎖線で囲まれる範囲内
にある。ここで、a₁〜c₁の３フイールドの相対的な関係
を３通り変化させて第４図〜第６図に示す。

まず、第４図は、伝送される１フレーム隔てたフイール
ド間動きベクトルA₁の大きさが最大の場合である。この
とき、１フイールド隔てたフイールド間動きベクトルa
₁₀もまた最大でなければならない。また、１フイールド
隔てたフイールド間動きベクトルb₁₀も二点鎖線の範囲
内にあるが、これも最大値でなければならない。したが
つて、ベクトルb₁₀はA₁/2に一致している。

つぎに第５図は、１フレーム隔てたフイールド間動きベ
クトルA₁の成分が（x,y）＝（10,2）の場合を示してい
る。第４図と同様に１フイールド隔てたフイールド間動
きベクトルa₁₀は鎖線で囲まれる範囲内に存在し、b₁フ
イールドが図示されている点にある場合、１フイールド
隔てたフイールド間動きベクトルb₁₀は二点鎖線で囲ま
れる範囲内に存在する。事実、c₁フイールドは図示され
ているように二点鎖線で囲まれる範囲内にあるので、パ
ニングによるこのような動きは可能である。

以上のことから、伝送される１フレーム隔てたフイール
ド間動きベクトルA₁によつてa₁フイールドとc₁フイール
ドの相対的な位置が定められている時、それらのフイー
ルドに対するb₁フイールドの位置は斜線の範囲内にあ
る。しかも、パニングによる画像の平行移動が滑らかで
あると、b₁フイールド位置は斜線の範囲内の中でも、第
５図の黒丸で示したa₁フイールドとc₁フイールドの位置
の中点を中心とした３×３の正方格子上に存在する可能
性が高い。したがつて、ベクトルb₁₀をA₁/2で代用する
ことは妥当であり、その誤差は１画素程度である。

つぎに第６図は、１フレーム隔てたフイールド間動きベ
クトルＡの成分が（x,y）＝（3,1）の場合を示してい
る。第４図と同様に１フイールド隔てたフイールド間動
きベクトルa₁₀は鎖線で囲まれる範囲内に存在し、b₁フ
イールドが図示されている点にある場合、１フイールド
隔てたフイールド間動きベクトルb₁₀は二点鎖線で囲ま
れる範囲内に存在する。事実、c₁フイールドは図示され
ているように二点鎖線内にあるので、パニングによるこ
のような動きは可能である。隣り合う１フイールド隔て
たフイールド間動きベクトルの方向変化が直角を越える
ようなパニングはないから、伝送される１フレーム隔て
たフイールド間動きベクトルA₁によつてa₁フイールドと
c₁フイールドの相対的な位置が定められている時、それ
らのフイールドに対するb₁フイールドの位置は斜線の範
囲内にある。さらに、パニングによる画像の平行移動が
滑らかであると、b₁フイールドの位置は斜線の範囲内の
中でも、第６図の黒丸で示したa₁フイールドとc₁フイー
ルドの位置の中点を中心とした２×２の正方格子上に存
在する可能性が高い。したがつて、ベクトルb₁₀をA₁/2
で代用することができるが、この場合のA₁/2の成分は整
数値とならないので、第６図の黒丸のいずれかとc₁フイ
ールドの位置を結ぶベクトルをベクトルb₁₀の代用とす
る。この場合にもその誤差は１画素程度である。

以上のように、１フイールド隔てたフイールド間動きベ
クトルb₁₀は１フレーム隔てたフイールド間動きベクト
ルA₁を用いて、A₁/2の整数部分で近似により予測がで
き、その誤差は１画素程度またはそれ以下である。同様
に、 a₁₀≒［D₀/2］ b₁₀≒［A₁/2］ c₁₀≒［B₁/2］のように予測ができる。ただし［］は整数部分を表わ
す。

しかも、この１フイールド隔てたフイールド間動きベク
トルの予測はその誤差が後の予測に影響しないので、一
時的に大きなベクトル変化があつて誤差が大きくなつた
としても、その後のベクトル変化が緩やかになれば再び
誤差の小さい予測ができる。

上記のような予測により行なう動き補正を第１図をもと
に説明する。

まず、第１図の映像入力端子（１）にd₁フイールドの信
号が入つた時、第１の動き補正フイールドメモリ（４）
にa₁フイールド、c₁フイールドの信号が、また第２の動
き補正フイールドメモリ（５）にd₀フイールド、b₁フイ
ールドの信号が記憶されている。この時、動きベクトル
B₁が入力されると、割算器（３）により動きベクトルB₁
はB₁/2に除算され、その出力の整数部分が１フイールド
隔てたフイールド間動きベクトルc₁₀の予測値となる。
第１の動き補正フイールドメモリ（４）の内容は、１フ
イールド隔てたフイールド間動きベクトルc₁₀の予測ベ
クトル［B₁/2］により２次元的に移動して、映像入力端
子（１）に入力されるd₁フイールドを基準に動き補正を
行なう。

一方、第２のフイールドメモリ（５）に記憶されている
d₀フイールド、b₁フイールドの信号は、それの１フイー
ルド前には第１の動き補正フイールドメモリ（４）記憶
されており、この時に映像入力端子（１）に入つたc₁フ
イールドの信号を基準に１フイールド隔てたフイールド
間動きベクトルb₁₀の予測ベクトル［A₁/2］により動き
補正がなされているから、d₁フイールドを基準に第１の
動き補正フイールドメモリ（４）と同じく予測ベクトル
［B₁/2］で動き補正を行なえばよい。

このようにd₁フイールドを基準に動き補正が行なわれた
a₁フイールド、b₁フイールド、c₁フイールド、d₁フイー
ルド自身の４フイールド分の信号がフイールド間補間フ
イルタ（６）に入り、フイールド間補間を可能とする。
通常スイツチ（８）は上側接点（8x）に接続され、フイ
ールド間補間された信号が通過するが、動画の信号につ
いてはフイールド間内挿によつて欠落サンプル点の補間
が行なえないので、動き検出された時には、スイツチ
（８）が画素単位で下側接点（8y）に接続され、フイー
ルド内補間フイルタ（７）によつてスイツチ（２）を通
過した信号のみからフイールド内補間を行なう。

上記フイールド間補間フイルタ（６）またはフイールド
内補間フイルタ（７）で欠落サンプル点を補間された信
号のサンプルレートは64.8MHzとなつており、映像出力
端子（９）から出力される。

このような予測により１フイールド隔てたフイールド間
動きベクトルを求める動き補正サブサンプル内挿方式で
は、パニング開始時にも終了時にも安定であるだけでな
く、伝送されてくる動きベクトルに一時的な誤りがあつ
ても後に悪影響を残さない。

また、パニング中に場面が変わり、またパニング中の映
像となるような特殊な場合にも安定である。さらにパニ
ングによる動きベクトルの変化が緩やかであるからこの
方式は非常に良好である。

映像入力端子（１）にd₁フイールドの信号が入力された
時の第１図の7a〜7fまでの信号の状態を第７図に示す。
第７図中、記号の上の横線は動き補正されたことを示
し、Ａは補間関数fAにより₁,₁,₁,d₁から補間され
る補間値を、またＢは補間関数fBにより₁,d₁から補間
される補間値を示す。

［発明の効果］以上のように、この発明に動き補正サブサンプル内挿方
式によれば、所定のサンプル位置を保って４フィールド
で一巡するように間欠的にサブサンプルして伝送されて
くるサンプル値に基づいて、受信側で４フィールド期間
に受信した上記サンプル値からその欠落点を補間して映
像信号を再生するサブサンプル内挿方式であって、送信
側で検出された映像信号の１フレーム隔てたフィールド
間動きベクトルに基づき、受信側で１フレーム前の上記
サンプル値の位置を補正した後、その欠落点を補間して
映像信号を再生する動き補正サブサンプル内挿方式にお
いて、上記１フレーム隔てたフィールド間動きベクトル
から、受信側において１フィールド隔てたフィールド間
動きベクトルを、上記１フレーム隔てたフィールド間動
きベクトルの1/2に近似予測することにより生成し、こ
の受信側で生成された上記１フィールド隔てたフィール
ド間動きベクトルのみを使用して、注目するフィールド
を基準に、過去３フィールドのサンプル値の相対位置を
補正し、静止画における補間と同様に、動画においても
４フィールド期間に受信したサンプル値からその欠落点
を補間するようにしたので、動画においても、静止画と
同様に、４フィールド期間に受信したサンプル値からそ
の欠落点を補間することができ、その結果、パニングが
起こった動画の場合であっも、優れた解像度の画像を得
ることができるという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による動き補正サブサンプ
ル内挿方式の概略構成の例を示すブロツク図、第２図は
第１図の作用を説明するためのパニング時の動きベクト
ルの例を示すベクトル図、第３図は１フレーム隔てたフ
イールド間動きベクトルと１フイールド隔てたフイール
ド間動きベクトルの存在範囲を示す図、第４図、第５
図、第６図はそれぞれ１フレーム隔てたフイールド間動
きベクトルと１フイールド隔てたフイールド間動きベク
トルとの関係を示すベクトル図、第７図はこの発明によ
る動き補正サブサンプル内挿方式の信号の流れを示すタ
イミングチヤート、第８図は従来の動き補正サブサンプ
ル内挿方式の概略構成の例を示すブロツク図、第９図は
従来の動き補正サブサンプル内挿方式の動き補正を行な
わない場合の信号の流れを示すタイミングチヤート、第
10図は従来の動き補正サブサンプル内挿方式の動き補正
を行なう場合の信号の流れを示すタイミングチヤートで
ある。（１）……映像入力端子、（２）……スイツチ、（３）
……割算器、（４）……第１の動き補正フイールドメモ
リ、（５）……第２の動き補正フイールドメモリ、
（６）……フイールド間補間フイルタ、（７）……フイ
ールド内補間フイルタ、（８）……スイツチ、（９）…
…映像出力端子、（10）……非動き補正フイールドメモ
リ。なお、図中、同一符号は同一または相当部分を示す。

Claims

【特許請求の範囲】

【請求項１】所定のサンプル位置を保って４フィールド
で一巡するように間欠的にサブサンプルして伝送されて
くるサンプル値に基づいて、受信側で４フィールド期間
に受信した上記サンプル値からその欠落点を補間して映
像信号を再生するサブサンプル内挿方式であって、送信
側で検出された映像信号の１フレーム隔てたフィールド
間動きベクトルに基づき、受信側で１フレーム前の上記
サンプル値の位置を補正した後、その欠落点を補間して
映像信号を再生する動き補正サブサンプル内挿方式にお
いて、上記１フレーム隔てたフィールド間動きベクトルから、
受信側において１フィールド隔てたフィールド間動きベ
クトルを、上記１フレーム隔てたフィールド間動きベク
トルの1/2に近似予測することにより生成し、この受信
側で生成された上記１フィールド隔てたフィールド間動
きベクトルのみを使用して、注目するフィールドを基準
に、過去３フィールドのサンプル値の相対位置を補正
し、静止画における補間と同様に、動画においても４フ
ィールド期間に受信したサンプル値からその欠落点を補
間することを特徴とする動き補正サブサンプル内挿方
式。