JPH08161524A - Inter-frame interpolating device and animation preparing device - Google Patents
Inter-frame interpolating device and animation preparing deviceInfo
- Publication number
- JPH08161524A JPH08161524A JP30616294A JP30616294A JPH08161524A JP H08161524 A JPH08161524 A JP H08161524A JP 30616294 A JP30616294 A JP 30616294A JP 30616294 A JP30616294 A JP 30616294A JP H08161524 A JPH08161524 A JP H08161524A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- affine transformation
- transformation matrix
- data
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 230000009466 transformation Effects 0.000 claims abstract description 97
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 92
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000005309 stochastic process Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005653 Brownian motion process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005537 brownian motion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、動画像のフレーム間補
間装置及びフレーム間補間装置を用いたアニメーション
作成装置、特に時系列事象を扱う画像データのフレーム
間補間に用いて好適な装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interframe interpolating apparatus for moving images and an animation creating apparatus using the interframe interpolating apparatus, and more particularly to an apparatus suitable for interframe interpolating image data handling time series events. Is.
【0002】[0002]
【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。 文献;特開平03−109677号公報 ある動画像データが与えられた時、その任意の時刻のフ
レームfn とフレームfn+1 のデータ間でフレーム間補
間を行う方法を構築することは動画像を扱う上での必須
の技術である。図2は、前記文献に記載された従来の動
画像のフレーム間補間装置の機能ブロック図である。前
記文献では、フレームfn とfn+1 間で画像中の物体の
位置や形状が大きく変化していても問題なく補間可能な
ものとして、図2に示すようなフレーム間補間装置を提
案している。すなわち、入力部1より入力された動画像
フレームは画像メモリ3に記憶される。モーメント算出
部4により、補間対象画像フレームfn ,fn+1 の1次
及び2次のモーメントを求めて、この1次及び2次のモ
ーメントをモーメントメモリ5に記憶する。アフィン変
換係数算出部6により、モーメントメモリ5に記憶され
た1次及び2次のモーメントのアフィン係数を計算す
る。係数補正部7により、補正パラメータ入力部2より
パラメータを入力して、このアフィン係数を比例計算に
よりパラメータの定数倍して適当な補正をかけた後、ア
フィン変換実行部8により原画像に対してアフィン変換
を行う。画像合成部9によりアフィン変換を行ったもの
を合成して線形補間画像を出力する。2. Description of the Related Art Conventionally, techniques in such a field include:
For example, some documents were described in the following documents. Reference: Japanese Patent Application Laid-Open No. 03-109677 When given moving image data, it is necessary to construct a method of performing interframe interpolation between data of a frame f n and a frame f n + 1 at an arbitrary time. Is an essential technique for dealing with. FIG. 2 is a functional block diagram of the conventional inter-frame interpolation device for moving images described in the above-mentioned document. The above-mentioned document proposes an interframe interpolating device as shown in FIG. 2, assuming that interpolating can be performed without a problem even if the position or shape of an object in an image changes significantly between frames f n and f n + 1 . ing. That is, the moving image frame input from the input unit 1 is stored in the image memory 3. The moment calculation unit 4 obtains the primary and secondary moments of the interpolation target image frames f n and f n + 1 and stores the primary and secondary moments in the moment memory 5. The affine transformation coefficient calculation unit 6 calculates the affine coefficients of the first and second moments stored in the moment memory 5. The coefficient correction unit 7 inputs a parameter from the correction parameter input unit 2 and multiplies the affine coefficient by a constant of the parameter by proportional calculation to perform an appropriate correction, and then the affine transformation execution unit 8 applies the correction to the original image. Perform affine transformation. The image synthesis unit 9 synthesizes the affine-transformed images and outputs a linearly interpolated image.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、従来の
フレーム間補間装置においては、次のような課題があっ
た。従来のフレーム間補間装置では、元画像の各フレー
ム間に動作上の因果関係がないか、もしくは極めて少な
いような時系列データの場合(例えば、粒子のブラウン
運動のような確率的事象/マルコフ過程を描いた画像な
ど)では、データに含まれる雑音成分が過大になってく
ると単に線形補間を行っただけでは、解の推定はうまく
行われず、雑音の増幅によって真値とはかけ離れたもの
となって動作上(物理的に)意味のあるデータを求める
ことができないという問題点がある。しかも、この実デ
ータからの乖離幅は補間フレーム数が増加するにつれて
大きくなる。However, the conventional inter-frame interpolation device has the following problems. In the conventional inter-frame interpolator, in the case of time-series data in which there is no causal relation in motion between the frames of the original image or there is very little (for example, a stochastic event such as Brownian motion of particle / Markov process). For example, when the noise component included in the data becomes too large, the solution cannot be estimated simply by performing the linear interpolation, and it is considered that the solution is far from the true value due to the noise amplification. Therefore, there is a problem in that it is not possible to obtain data that is operationally (physically) meaningful. Moreover, the width of deviation from the actual data increases as the number of interpolation frames increases.
【0004】[0004]
【課題を解決するための手段】第1の発明は、前記課題
を解決するために、時間的に連続した第1と第2の動画
像のフレームの時間変化を規定するデータに基づいて、
前記第1と第2の動画像のフレーム間の補間フレームの
時間変化を規定するデータに変換するアフィン変換行列
を前記動画像が非確率事象であるとみなすことにより算
出するアフィン変換行列算出手段と、補間しようとする
時間よりも前後の複数の動画像のフレームのデータを入
力観測値、前記複数の動画像のフレームデータについて
時間的に前後するそれぞれ二つのフレームのデータに基
づいて前記アフィン変換行列算出手段により算出された
アフィン変換行列に基づく行列を入力信号値として、フ
ィルタリングして補間行列を作成する時系列フィルタ
と、前記時系列フィルタ処理により作成された補間行列
と前記動画像のフレームのデータとに基づいて、補間デ
ータを作成する補間データ作成手段とを備えている。第
2の発明では、第1の発明の時系列フィルタは、カルマ
ンフィルタ又はウィーナ・ヘルストローム・フィルタで
構成している。第3の発明では、第1の発明の時系列フ
ィルタは、動画像が確率的事象であることによる雑音成
分を平均値0のガウス白色観測雑音として扱う構成であ
る。第4の発明では、第1の発明のアフィン変換行列算
出手段は、前記第1と第2の動画像のフレーム間の補間
フレーム数により比例配分して線形補間する構成にして
いる。In order to solve the above-mentioned problems, a first invention is based on data that defines temporal changes in frames of first and second moving images that are temporally continuous.
An affine transformation matrix calculating means for calculating an affine transformation matrix that transforms into data defining a temporal change of an interpolated frame between frames of the first and second moving images by regarding the moving image as a non-stochastic event; , Input observing values of data of a plurality of moving image frames before and after the time to be interpolated, and the affine transformation matrix based on data of each two frames preceding and succeeding in time with respect to the frame data of the plurality of moving images A matrix based on the affine transformation matrix calculated by the calculating means is used as an input signal value, a time series filter for creating an interpolation matrix by filtering, an interpolation matrix created by the time series filtering process, and frame data of the moving image. And interpolation data creating means for creating interpolation data based on In the second invention, the time-series filter of the first invention is composed of a Kalman filter or a Wiener Healthstrom filter. In the third invention, the time-series filter of the first invention is configured to handle a noise component due to a moving image being a stochastic event as Gaussian white observation noise having an average value of 0. In a fourth aspect of the invention, the affine transformation matrix calculating means of the first aspect of the invention is configured to linearly interpolate by proportional distribution according to the number of interpolation frames between the frames of the first and second moving images.
【0005】第5の発明では、前記第1と第2のフレー
ムの時間的変化を規定するデータはアフィン変換行列で
ある。第6の発明は、時間的に前後する第1と第2の動
画像のフレームの時間変化を規定するベクトルデータに
基づいて、前記第1と第2の動画像のフレーム間の補間
フレームの時間変化を規定するデータに変換するアフィ
ン変換行列を前記動画像が非確率事象であるとみなして
線形補間することにより算出するアフィン変換行列算出
手段と、前記アフィン変換行列算出手段により算出され
たアフィン変換行列を補正するアフィン変換行列係数補
正手段とを備えている。そして、動画像が確率的事象の
場合に、補間しようとする時間よりも前後の複数の動画
像のフレームのデータを入力観測値、前記複数の動画像
のフレームデータについて時間的に前後するそれぞれ二
つのフレームのデータに基づいて前記アフィン変換行列
係数補正手段により算出されたアフィン変換行列に基づ
く行列を入力信号値として、フィルタリングして補間行
列を作成する時系列フィルタを設けている。さらに、動
画像が非確率的事象の場合に、前記アフィン変換行列補
正手段により補正されたアフィン変換行列によって補間
ベクトルを算出し、動画像が確率的事象の場合に、前記
時系列フィルタより求められた補間行列によって補間ベ
クトルを算出するアフィン変換実行手段を設けている。In the fifth invention, the data defining the temporal change of the first and second frames is an affine transformation matrix. A sixth aspect of the present invention is based on vector data that defines temporal changes in frames of the first and second moving images that are temporally before and after each other, and based on vector data, a time of an interpolation frame between the frames of the first and second moving images. An affine transformation matrix calculating means for calculating an affine transformation matrix for transforming into data defining the change by linearly interpolating the moving image as a non-stochastic event, and an affine transformation calculated by the affine transformation matrix calculating means. And an affine transformation matrix coefficient correcting means for correcting the matrix. Then, when the moving image is a probabilistic event, the data of the frames of a plurality of moving images before and after the time to be interpolated are input observation values, and the data of the frame data of the plurality of moving images are two before and after in time. A time-series filter that creates an interpolation matrix by filtering using a matrix based on the affine transformation matrix calculated by the affine transformation matrix coefficient correcting means based on the data of one frame as an input signal value is provided. Further, when the moving image is a non-stochastic event, an interpolation vector is calculated by the affine transformation matrix corrected by the affine transformation matrix correcting means, and when the moving image is a stochastic event, it is obtained by the time series filter. Affine transformation executing means for calculating an interpolation vector by the interpolation matrix is provided.
【0006】第7の発明は、動く物体の形状を記憶する
形状記憶手段と、前記動く物体の各時刻での位置を記憶
する動作記憶手段と、前記動作記憶手段に記憶された各
時刻の位置をベクトルデータとして、前後する時刻間で
の動く物体の位置を補間する第6の発明のフレーム間補
間装置と、前記フレーム間補間装置により補間した形状
の位置を前記動作記憶手段に書き込む再書き込み処理手
段と、前記動作記憶手段に記憶された形状の位置と前記
形状記憶手段により記憶された物体の形状とに基づい
て、各時刻及び補間された時刻での物体の形状を求める
合成処理手段とを、備えている。According to a seventh aspect of the present invention, shape storage means for storing the shape of a moving object, operation storage means for storing the position of the moving object at each time, and position for each time stored in the operation storage means. Is used as vector data, and an interframe interpolating device of the sixth invention for interpolating the position of a moving object between preceding and following times, and a rewriting process for writing the position of the shape interpolated by the interframe interpolating device into the motion storage means. Means and a synthesis processing means for obtaining the shape of the object at each time and the interpolated time based on the position of the shape stored in the motion storage means and the shape of the object stored by the shape storage means. Is prepared.
【0007】[0007]
【作用】第1の発明によれば、以上のようにフレーム間
補間装置を構成したので、アフィン変換行列算出手段に
より、時間的に前後する第1と第2の動画像のフレーム
の時間変化を規定するデータに基づいて、前記第1と第
2の動画像のフレーム間の補間フレームの時間変化を規
定するデータに変換するアフィン変換行列を動画像が非
確率事象として算出する。動画像が確率的事象の場合
に、雑音成分によりアフィン変換行列算出手段により算
出されたアフィン変換行列により変換されるデータは実
際に観測されるデータからずれる。そこで、アフィン変
換行列算出手段により算出されたアフィン変換行列に基
づく行列(アフィン変換行列そのものであっても何らか
の補正手段により係数補正したものでもよい)を入力信
号値、動画像のフレームの時間変化を規定するデータを
入力観測値として、時系列フィルタによって補間行列を
算出する。補間データ作成手段により、時系列フィルタ
によって算出された補間行列と動画像のフレームのデー
タとに基づいて補間データを作成する。従って、前記課
題を解決できるのである。According to the first aspect of the invention, since the interframe interpolating device is configured as described above, the affine transformation matrix calculating means can be used to calculate the temporal change of the frames of the first and second moving images that are temporally preceding and following each other. Based on the specified data, the moving image calculates an affine transformation matrix that converts the temporal change of the interpolated frames between the frames of the first and second moving images into data that defines the non-stochastic event. When the moving image is a probabilistic event, the data converted by the affine transformation matrix calculated by the affine transformation matrix calculation means due to the noise component deviates from the actually observed data. Therefore, a matrix based on the affine transformation matrix calculated by the affine transformation matrix calculation means (the affine transformation matrix itself or the coefficient corrected by some correction means) may be used as the input signal value and the temporal change of the frame of the moving image. An interpolation matrix is calculated by a time series filter using the specified data as the input observation value. The interpolation data creating means creates the interpolation data based on the interpolation matrix calculated by the time series filter and the frame data of the moving image. Therefore, the above problem can be solved.
【0008】[0008]
【実施例】図1は、本発明の実施例のフレーム間補間装
置の機能ブロック図である。本実施例のフレーム間補間
装置が従来のフレーム間補間装置と異なる点は、時系列
フィルタ部17を設けて、動画像が確率的事象の場合
に、アフィン変換行列算出部14により線形補間により
算出されたアフィン変換行列にアフィン変換行列係数補
正部15により補正されたアフィン変換行列を入力信号
値、動画像のフレームの時間変化を規定する元ベクトル
を入力観測値として、補間行列を求めるようにしたこと
である。このフレーム間補間装置では、動画像のフレー
ムの時間変化を規定するベクトルデータを入力するベク
トルデータ入力部11とアフィン変換係数を補正する補
正パラメータ入力部12とを有している。ベクトルデー
タ入力部11の出力側には、ベクトルデータを保存する
ベクトルデータメモリ部13が接続されている。ベクト
ルデータメモリ部13の出力側には、ベクトルデータに
基づいて線形補間によりアフィン変換行列を算出するア
フィン変換行列算出部14、時系列フィルタ部17、及
び補間ベクトルを算出するアフィン変換実行部18が接
続されている。1 is a functional block diagram of an interframe interpolation device according to an embodiment of the present invention. The difference between the interframe interpolating apparatus of the present embodiment and the conventional interframe interpolating apparatus is that the time series filter unit 17 is provided, and when the moving image is a stochastic event, the affine transformation matrix calculating unit 14 calculates it by linear interpolation. The affine transformation matrix corrected by the affine transformation matrix coefficient correcting unit 15 is used as the input signal value, and the original vector that defines the temporal change of the frame of the moving image is used as the input observation value to obtain the interpolation matrix. That is. This inter-frame interpolating device has a vector data input unit 11 for inputting vector data defining a temporal change of a frame of a moving image and a correction parameter input unit 12 for correcting an affine transformation coefficient. A vector data memory unit 13 for storing vector data is connected to the output side of the vector data input unit 11. On the output side of the vector data memory unit 13, an affine transformation matrix calculation unit 14 that calculates an affine transformation matrix by linear interpolation based on vector data, a time series filter unit 17, and an affine transformation execution unit 18 that calculates an interpolation vector. It is connected.
【0009】アフィン変換係数を補正するパラメータを
入力する補正パラメータ入力部12、及びアフィン変換
行列算出部14の出力側には、アフィン変換行列係数補
正部15が接続されている。アフィン変換行列係数補正
部15の出力側には、補正されたアフィン変換行列を記
憶する変換行列メモリ部16、及びアフィン変換実行部
18が接続されている。変換行列メモリ部16の出力側
には、時系列フィルタ部17が接続されている。時系列
フィルタ部17の出力側には、アフィン変換実行部18
が接続されている。アフィン変換実行部18の出力側に
は、出力部19が接続されている。An affine transformation matrix coefficient correction unit 15 is connected to the correction parameter input unit 12 for inputting parameters for correcting the affine transformation coefficient and the output side of the affine transformation matrix calculation unit 14. The output side of the affine transformation matrix coefficient correction unit 15 is connected to the transformation matrix memory unit 16 that stores the corrected affine transformation matrix and the affine transformation execution unit 18. The time series filter unit 17 is connected to the output side of the conversion matrix memory unit 16. An affine transformation execution unit 18 is provided on the output side of the time series filter unit 17.
Is connected. An output unit 19 is connected to the output side of the affine transformation executing unit 18.
【0010】時系列フィルタ部17は、動画像が確率的
事象の場合に、変換行列メモリ部16に記憶された補正
されたアフィン変換行列を入力信号値、ベクトルデータ
メモリ部13に記憶されたフレームのベクトルデータを
入力観測値として、フィルタリングして補間行列を求め
る手段である。以下、図1のフレーム間補間装置の動作
の説明をする。図3は、2次元同次座標系でのアフィン
変換の具体例を示す図である。The time-series filter unit 17 uses the corrected affine transformation matrix stored in the transformation matrix memory unit 16 as an input signal value and the frame stored in the vector data memory unit 13 when the moving image is a stochastic event. This is a means for obtaining an interpolation matrix by filtering using vector data of as an input observation value. The operation of the interframe interpolation device of FIG. 1 will be described below. FIG. 3 is a diagram showing a specific example of affine transformation in a two-dimensional homogeneous coordinate system.
【0011】図3に示すように、点AのベクトルVAに
注目し、これをn倍スケーリングしたのが点Bのベクト
ルVBであり、さらに原点(Z軸)を中心にθ度回転し
て点CのベクトルVCを得ている。この処理を行列で表
すと以下のようになる。As shown in FIG. 3, paying attention to the vector VA at the point A, the vector VB at the point B is scaled n times, and the vector VA is further rotated by θ degrees around the origin (Z axis). The vector VC of C is obtained. This process is expressed as a matrix as follows.
【数1】 図4は、中間補間を示す2次元同次座標系でのアフィン
変換の具体例を示す図である。[Equation 1] FIG. 4 is a diagram showing a specific example of affine transformation in a two-dimensional homogeneous coordinate system showing intermediate interpolation.
【0012】このときのスケーリングと回転処理とに同
一フレーム数を要したとすると、(VA,VB)、(V
B,VC)に対する中間補間はそれぞれ以下のようにな
る。If the same number of frames is required for the scaling and the rotation processing at this time, (VA, VB), (V
The intermediate interpolation for B, VC) is as follows.
【0013】[0013]
【数2】 ここで、VB' 、VC' が補間ベクトルである。[Equation 2] Here, VB 'and VC' are interpolation vectors.
【0014】また、In addition,
【数3】 がそれぞれベクトルVA、VBをベースとする変換行列
である。(Equation 3) Are conversion matrices based on the vectors VA and VB, respectively.
【0015】図5は、非確率的事象線形補間処理を示す
フローチャートである。以下、図5を参照しつつ非確率
的事象の場合の図1のフレーム間補間装置の動作の説明
をする。ステップS1において、ベクトルデータ入力部
11には、補間に必要なフレームのフレームナンバーf
n とfn+1 、及びベクトルデータVA、VBが入力され
る(以下、簡便のためにこのデータセットを(VA,f
n )のように表示する)。ステップS2において、ベク
トルデータVA、VBをそのままベクトルデータメモリ
部13に記憶する。ステップS3において、アフィン変
換行列算出部14により、ベクトルデータメモリ部13
から(VA,fn )、(VB,fn+1 )を読み出し、ベ
クトルVAをベースとしてベクトルVBへの変換行列T
VAB を求める。変換行列TVABは、ベクトルVAとVB
のベクトルの大きさ、及びそのなす角度によってスケー
リングと回転との合成となる。図5では、一例としてス
ケーリングの場合を示す。FIG. 5 is a flowchart showing the non-stochastic event linear interpolation processing. Hereinafter, the operation of the interframe interpolation device of FIG. 1 in the case of a non-stochastic event will be described with reference to FIG. In step S1, the vector data input unit 11 stores the frame number f of the frame required for interpolation.
n and f n + 1 and the vector data VA and VB are input (hereinafter, this data set is represented by (VA, f
n )). In step S2, the vector data VA and VB are stored in the vector data memory unit 13 as they are. In step S3, the affine transformation matrix calculation unit 14 causes the vector data memory unit 13
From (VA, f n ) and (VB, f n + 1 ) are read out, and the conversion matrix T to the vector VB based on the vector VA
Find VAB . The transformation matrix T VAB is the vector VA and VB
Depending on the magnitude of the vector and the angle formed by the vector, scaling and rotation are combined. FIG. 5 shows a case of scaling as an example.
【0016】ステップS4において、補間フレーム数に
応じた比例配分によって各補間フレームの補間行列T
VAB'を算出する。図5では、一例として補間フレーム数
が1の中間補間の場合を示している。アフィン変換行列
係数補正部15により、補正パラメータ入力部12から
入力される補正パラメータ値に応じて補間行列TVAB'の
各係数の定数倍の補正を施す。ステップS5において、
アフィン変換実行部18により、ベクルトデータメモリ
部13よりベースベクトルVAを読み出し、ベクトルV
Aと補正された補間行列との掛け算を行い補間ベクトル
を求めて、元ベクトルVAと補間ベクトルとを出力部1
9に出力する。一方、確率的事象を扱う場合、フレーム
間補間装置全体を [計測系+観測系+フィルタ] というシステムと等価であると見なすことができる。In step S4, the interpolation matrix T of each interpolation frame is proportionally distributed according to the number of interpolation frames.
Calculate VAB ' . FIG. 5 shows, as an example, the case of intermediate interpolation in which the number of interpolation frames is 1. The affine transformation matrix coefficient correcting unit 15 corrects each coefficient of the interpolation matrix T VAB ′ by a constant multiple according to the correction parameter value input from the correction parameter input unit 12. In step S5,
The affine transformation execution unit 18 reads the base vector VA from the vector data memory unit 13 to obtain the vector V
A is multiplied by the corrected interpolation matrix to obtain an interpolation vector, and the original vector VA and the interpolation vector are output to the output unit 1.
Output to 9. On the other hand, when dealing with probabilistic events, the entire interframe interpolator can be regarded as equivalent to the system [measurement system + observation system + filter].
【0017】図6は、本発明の実施例と等価な線形離散
時間確率システムを示す図である。図6に示すように、
線形離散時間確率システムでは、信号Vxは計測系31
に雑音ともに入力されて、これらの信号Vx及び雑音
(計測系で新たに生じる雑音は無視する)が観測系によ
って観測値Vyとして観測される。これをフィルタ32
によって、観測値Vyを入力観測値、信号Vxを入力信
号値として、推定値Vx* を求める。計測系はマクロ
的には非線形であるかも知れないが、その場合は局所的
線形化法を用いることにすれば、システム自体が線形で
あるとして扱うことができる。また、形状データのベク
トル値が因果性を持たない点については、システム及び
観測雑音の白色性として理解される。本発明の実施例で
は、入力信号値Vxとして、元ベクトルのアフィン変換
行列を非確率過程とみなして比例配分法により線形補間
したものを用いる。このように信号及び雑音を確率過程
とみなせば、推定解とは真値との差分の統計的期待値を
最小にするような手法で求められる。すなわち、本実施
例では、観測値ベクトルVyを元ベクトル、推定値Vx
* を補間行列に対応させることによりフィルタリングに
より補間行列を求める。FIG. 6 is a diagram showing a linear discrete-time stochastic system equivalent to the embodiment of the present invention. As shown in FIG.
In the linear discrete time stochastic system, the signal Vx is measured by the measurement system 31.
Is input together with noise, and these signals Vx and noise (noise newly generated in the measurement system is ignored) are observed as an observation value Vy by the observation system. This is filter 32
By using the observed value Vy as the input observed value and the signal Vx as the input signal value, the estimated value Vx * is obtained. The measurement system may be macroscopically non-linear, but in that case, if the local linearization method is used, the system itself can be treated as being linear. Further, the fact that the vector value of the shape data has no causality is understood as the whiteness of the system and observation noise. In the embodiment of the present invention, as the input signal value Vx, an affine transformation matrix of the original vector is regarded as a non-stochastic process and linearly interpolated by the proportional distribution method. If the signal and noise are regarded as stochastic processes in this way, the estimated solution is obtained by a method that minimizes the statistical expected value of the difference from the true value. That is, in this embodiment, the observed value vector Vy is the original vector and the estimated value Vx is
The interpolation matrix is obtained by filtering by associating * with the interpolation matrix.
【0018】図7は、確率的事象の場合の補間処理のフ
ローチャートである。以下、図7を参照しつつ確率的事
象の場合の補間処理の説明をする。まず、ステップS1
1において、補間行列を求める際に使用する元ベクトル
の数(以下、フレーム数Nと呼ぶ)を指定する。ここで
指定されるフレーム数Nは、元ベクトル間の変動の大き
さ、フレームメモリサイズ等に応じて、例えばユーザー
によって指定される。ベクトルデータメモリ部13に
は、ステップS12において、ベクトルデータ入力部1
1より補間しようとするフレームの例えば一つ前のフレ
ーム(以下、カレントと呼ぶ)のベクトルデータ
(Vl ,fl )がまず入力される。ステップS13にお
いて、続いてカレントなフレームの前後の(N−1)個
のフレームのベクトルデータ(Vl+m ,fl+m )(m=
±1,…,±(N−1)/2)が入力される。FIG. 7 is a flowchart of the interpolation process in the case of a stochastic event. Hereinafter, the interpolation process in the case of a stochastic event will be described with reference to FIG. 7. First, step S1
1, the number of original vectors (hereinafter referred to as the number of frames N) used when obtaining the interpolation matrix is designated. The number of frames N designated here is designated by, for example, the user according to the magnitude of variation between the original vectors, the frame memory size, and the like. The vector data memory unit 13 stores the vector data input unit 1 in step S12.
First, vector data (V l , f l ) of, for example, the frame immediately before the frame to be interpolated from 1 (hereinafter referred to as current) is input. In step S13, subsequently, vector data (V 1 + m , f 1 + m ) (m =) of (N−1) frames before and after the current frame.
± 1, ..., ± (N-1) / 2) are input.
【0019】図8は、補間に際してのフレームの読み込
み方法を示す図である。最初にNフレーム分読み込んだ
後は、図8に示すようにカレントのフレーム番号nに対
して読み込んだフレームのベクトルデータが n−N/2〜n+N/2 であった時、次のフレームの補間ではカレントなフレー
ム番号(n+1)として、 (n+1)−N/2〜(n+1)+N/2 のように1フレームずつスライドさせるものとする。ま
た、カレントなフレームにおける補間処理と次のフレー
ムにおける補間処理では読み込むフレームはオーバラッ
プするが、カレントなフレームにおける補間処理はフレ
ーム番号nと(n+1)との間のフレームのみを補間す
る。FIG. 8 is a diagram showing a frame reading method for interpolation. After the first N frames have been read, when the vector data of the read frame for the current frame number n is n−N / 2 to n + N / 2, as shown in FIG. Then, it is assumed that the current frame number (n + 1) is slid one frame at a time such as (n + 1) -N / 2 to (n + 1) + N / 2. Further, the read frame overlaps with the interpolation process in the current frame and the interpolation process in the next frame, but the interpolation process in the current frame only interpolates the frame between the frame numbers n and (n + 1).
【0020】ステップS14において、図1中のアフィ
ン変換行列算出部14により上記N個のフレーム数につ
いて、それぞれ前後するフレーム間でアフィン変換行列
を算出する。ここで算出されるアフィン変換行列はフレ
ーム間の数(N−1)だけ算出される。そして、各フレ
ーム間で、線形補間によりs個のアフィン変換行列を算
出する。図7中では、中間補間(s=1)した場合が記
されており、簡単のためにN−1個の中間補間行列を
(Vxl+m ,fl+m )(m=1,…,N−1)として記し
ている。ステップS15において、図1中の補正パラメ
ータ入力部12より入力される補正パラメータ値に応じ
て、アフィン変換行列係数補正部15によりアフィン変
換行列(Vxl+m ,fl+m )の各係数の定数倍の補正を施
して、アフィン変換行列を(Vx' l+m ,fl+m )を求め
る。ステップS16において、補正されたアフィン変換
行列(Vx' l+m ,fl+m )は、変換行列メモリ部16に
一時的に格納される。In step S14, the affine transformation matrix calculating unit 14 in FIG. 1 calculates an affine transformation matrix between the preceding and succeeding frames for the N frames. The affine transformation matrix calculated here is calculated by the number (N-1) between frames. Then, s affine transformation matrices are calculated by linear interpolation between each frame. In FIG. 7, the case where the intermediate interpolation (s = 1) is described, and for simplicity, N−1 intermediate interpolation matrices (Vx l + m , f l + m ) (m = 1, ... , N-1). In step S15, according to the correction parameter value input from the correction parameter input unit 12 in FIG. 1, the affine transformation matrix coefficient correction unit 15 calculates each coefficient of the affine transformation matrix (Vx l + m , f l + m ). A correction of a constant multiple is performed to obtain an affine transformation matrix (Vx ′ l + m , f l + m ). In step S16, the corrected affine transformation matrix (Vx ′ l + m , f l + m ) is temporarily stored in the transformation matrix memory unit 16.
【0021】以下、時系列フィルタ部17の処理を説明
する。アフィン変換行列から補間行列を算出する方法で
あるが、この時、問題は、固定区間スムージングとし
て、 Vyt =Ht *V' xt +vt t=0,1,…,N
−1 ・・・(1)と定式化される。 式(1)中、tは時間を示し、t=0は実際に読み込ん
だフレーム番号のうち最小のもの(fl )を0とする。
vt は雑音成分であり、この雑音成分は系を非確率過程
とみなして線形補間より得られたベクトルV' xt と観
測ベクトルVyt との差分を表し、平均値0のガウス白
色観測雑音として扱う。Ht は観測行列である。式
(1)の各次元は、V' xt はp×p次元行列、Vyt
は1×p次元観測ベクトル、Ht は1×p次元観測行列
となる。The processing of the time series filter unit 17 will be described below. This is a method of calculating an interpolation matrix from an affine transformation matrix. At this time, the problem is that Vy t = H t * V 'x t + v t t = 0,1, ..., N as fixed interval smoothing.
-1 is formulated as (1). In the equation (1), t indicates time, and t = 0 is 0, which is the smallest frame number ( fl ) actually read.
v t is a noise component, and this noise component represents the difference between the vector V ′ x t obtained by linear interpolation and the observation vector Vy t , regarding the system as a non-stochastic process, and is a Gaussian white observation noise with an average value of 0. Treat as. H t is an observation matrix. In each dimension of the equation (1), V ′ x t is a p × p dimensional matrix, Vy t
Is a 1 × p-dimensional observation vector, and H t is a 1 × p-dimensional observation matrix.
【0022】図9は、時系列データの観測例を示す図で
ある。図9では、ブラウン運動の確率過程の観測結果を
示しており、時刻0での出発点の座標を0としている。
横軸が時間t、縦軸が観測結果yt を示している。この
図に見られるのはガウス白色雑音である。式(1)は、
ある時間区間[0,N]の入力観測値y0 …,yN が与
えられたとき、時間区間[0,N]の任意の時点の状態
xi の最適推定値x' t/N を求める問題であるが、ここ
ではカルマンフィルタを応用するものとする。その手法
に関しては公知であるので詳述しない。FIG. 9 is a diagram showing an example of observation of time series data. FIG. 9 shows the observation result of the stochastic process of Brownian motion, and the coordinate of the starting point at time 0 is 0.
The horizontal axis represents time t, and the vertical axis represents the observation result y t . Gaussian white noise is seen in this figure. Equation (1) is
When the input observation values y 0 ..., y N of a certain time section [0, N] are given, the optimum estimated value x ′ t / N of the state x i at any time point of the time section [0, N] is obtained. Although it is a problem, here, the Kalman filter is applied. The method is well known and will not be described in detail.
【0023】図10は、確率的事象の場合の補間処理の
原理を示す図である。図中、丸印が観測値(ベクトルデ
ータに対応)、破線が観測値の非確率過程線形補間値の
信号値(Ht *V' xt に対応)、実線が最終的に得ら
れる補間値である。t軸がフレームに対応しており、非
確率過程線形補間値を示す破線に関して観測雑音の平均
が0となるように、真値との差分の統計的期待値を最小
にする手法により補間値が求めらる。図7中のステップ
S17において、時系列フィルタ部17により変換行列
メモリで16に格納された線形補間アフィン変換行列V
x' l+m (m=±1,…,±(N−1)/2)を入力信
号値、N個のベクトルデータVl+m (m=0,±1,
…,±(N−1)/2)を入力観測値としてカルマンフ
ィルタを用いて、カレントなフレームと次のフレームと
の間のフレームの補間行列を算出する。アフィン変換実
行部18により、算出した補間行列とカレントなベクト
ルデータとを掛け合わして、補間ベクトルを求める。そ
して、カレントなフレームの元ベクトルデータと補間ベ
クトルとを出力部19より出力する。ステップS18に
おいて、フレームが最終フレームかどうかをチェックし
て、最終フレームでなければステップS11に戻り、補
間処理を繰り返す。最終フレームであれば、補間処理を
終了する。以上説明したように、本実施例によれば、時
系列フィルタ部17を設けて動画像が確率的事象の場合
において雑音成分を考慮してフレーム間補間するように
したので、より正確にフレーム間補間をすることができ
るという利点がある。FIG. 10 is a diagram showing the principle of interpolation processing in the case of a stochastic event. In the figure, circles observations (corresponding to vector data), and the broken line the signal value of the non-stochastic process linear interpolation value of the observed value (corresponding to H t * V 'x t) , the interpolation value solid is finally obtained Is. The t-axis corresponds to the frame, and the interpolation value is calculated by the method that minimizes the statistical expected value of the difference from the true value so that the average of the observation noise is 0 with respect to the broken line indicating the non-stochastic process linear interpolation value. Ask. In step S17 in FIG. 7, the linear interpolation affine transformation matrix V stored in the transformation matrix memory 16 by the time series filter unit 17 is used.
x'l + m (m = ± 1, ..., ± (N−1) / 2) is an input signal value, and N vector data V l + m (m = 0, ± 1,
, ± (N-1) / 2) is used as an input observation value and a Kalman filter is used to calculate an interpolation matrix of a frame between the current frame and the next frame. The affine transformation execution unit 18 multiplies the calculated interpolation matrix and the current vector data to obtain an interpolation vector. Then, the original vector data of the current frame and the interpolation vector are output from the output unit 19. In step S18, it is checked whether the frame is the final frame, and if it is not the final frame, the process returns to step S11 to repeat the interpolation process. If it is the last frame, the interpolation process is terminated. As described above, according to the present embodiment, the time-series filter unit 17 is provided to interpolate between frames in consideration of the noise component when the moving image is a stochastic event, so that more accurate interframe There is an advantage that interpolation can be performed.
【0024】図11は、アニメーション作成装置の機能
ブロック図である。このアニメーション作成装置では、
入力部41を有している。入力部41の出力側には、形
状管理部42、動作記憶部43、及び制御部44を有し
ている。形状管理部42の出力側には、形状記憶部45
が接続されている。形状記憶部45、動作記憶部43、
及び制御部44の出力側には、合成処理部46が接続さ
れ、合成処理部46の出力側には、描画部47が接続さ
れている。以下、図11のアニメーション装置の動作の
説明をする。入力部41では、表示する形状の種類、同
形状の時間変化、アニメーション環境データ、動作指示
等の入力を受け付ける。形状管理部42では、入力部4
1より入力された形状を複数個の構成要素に分解して形
状記憶部45に登録する。入力部41より入力された形
状の時間変化を示すデータが動作記憶部43に保存され
る。合成処理部46では、制御部44からの指示に基づ
いて形状記憶部45からは形状の各構成要素、動作記憶
部43からは各時刻での形状の位置を取り出し、構成要
素の相対位置を変化させることで形状全体を変形させ
る。描画部47では、合成処理部46により出力された
データを描画する。制御部44は、以上のすべての処理
の制御を司る。FIG. 11 is a functional block diagram of the animation creating apparatus. With this animation creation device,
It has an input unit 41. The output side of the input unit 41 includes a shape management unit 42, a motion storage unit 43, and a control unit 44. The shape storage unit 45 is provided on the output side of the shape management unit 42.
Is connected. The shape storage unit 45, the motion storage unit 43,
The synthesis processing unit 46 is connected to the output side of the control unit 44, and the drawing unit 47 is connected to the output side of the synthesis processing unit 46. The operation of the animation device shown in FIG. 11 will be described below. The input unit 41 receives inputs such as the type of shape to be displayed, time change of the same shape, animation environment data, and operation instruction. In the shape management unit 42, the input unit 4
The shape input from 1 is decomposed into a plurality of constituent elements and registered in the shape storage unit 45. Data indicating the time change of the shape input from the input unit 41 is stored in the operation storage unit 43. In the synthesis processing unit 46, based on an instruction from the control unit 44, each component of the shape is extracted from the shape storage unit 45, and the position of the shape at each time is extracted from the operation storage unit 43 to change the relative position of the component. By doing so, the entire shape is deformed. The drawing unit 47 draws the data output by the composition processing unit 46. The control unit 44 controls all the above processes.
【0025】図12は、図1のフレーム間補間装置を利
用したアニメーション作成装置の構成例を示す機能ブロ
ック図であり、図3の要素と共通の要素には共通の符号
を付してある。このアニメーション作成装置では、図1
の補間装置52を動作記憶部43の出力側に設けてい
る。補間装置52は補間処理制御部51の出力側に接続
されている。補間処理制御部51、及び補間装置52の
出力側には、再書き込み処理部53が接続され、再書き
込み処理部53の出力側には、動作記憶部43が接続さ
れている。以下、図12のアニメーション作成装置の動
作を説明する。補間処理制御部51では、必要に応じて
補間装置52に補間指示を行う。補間装置52では、補
間処理制御部52からの補間の指示に応じて動作記憶部
43より形状の時間変化を示すデータを読み込み、前述
した補間処理を行う。補間処理制御部51では、再書き
込み処理部53に対して補間データの再書き込みの指示
を行う。再書き込み処理部53では、補間装置52より
補間したデータを動作記憶部43に再書き込みをする。
合成処理部46では、形状記憶部45からは形状の各構
成要素、動作記憶部43から各時刻での形状の位置を取
りだし、構成要素の相対位置を変化させることで形状全
体を変形させる。FIG. 12 is a functional block diagram showing a configuration example of an animation creating apparatus using the interframe interpolating apparatus of FIG. 1, and elements common to those of FIG. 3 are designated by common reference numerals. In this animation creation device,
The interpolation device 52 is provided on the output side of the operation storage unit 43. The interpolation device 52 is connected to the output side of the interpolation processing control unit 51. A rewrite processing section 53 is connected to the output sides of the interpolation processing control section 51 and the interpolation device 52, and an operation storage section 43 is connected to the output side of the rewrite processing section 53. The operation of the animation creating apparatus shown in FIG. 12 will be described below. The interpolation processing control unit 51 gives an interpolation instruction to the interpolation device 52 as necessary. The interpolation device 52 reads the data indicating the change in shape over time from the operation storage unit 43 in accordance with the interpolation instruction from the interpolation processing control unit 52, and performs the above-described interpolation processing. The interpolation processing control unit 51 instructs the rewriting processing unit 53 to rewrite the interpolation data. The rewriting processing unit 53 rewrites the data interpolated by the interpolation device 52 into the operation storage unit 43.
The synthesizing processing unit 46 takes out the respective constituent elements of the shape from the shape storage unit 45 and the position of the shape at each time from the operation storage unit 43, and changes the relative positions of the constituent elements to deform the entire shape.
【0026】以上説明したように、本実施例によれば、
確率的事象のアニメーションにおいて、より正確にフレ
ーム間補間をすることができるという利点がある。な
お、本発明は、上記実施例に限定されず種々の変形が可
能である。その変形例としては、例えば次のようなもの
がある。As described above, according to this embodiment,
In the animation of stochastic events, there is an advantage that interpolation between frames can be performed more accurately. The present invention is not limited to the above embodiment, and various modifications can be made. The following are examples of such modifications.
【0027】(1) 本実施例では、非確率過程補間値
を元ベクルトデータのアフィン変換行列を比例配分法に
より線形補間して求めているが、最小二乗法によって求
めることができる。 (2) 本実施例では、時系列フィルタとしてはカルマ
ンフィルタを用いたがウイーナ・ヘルストローム・フィ
ルタを用いてもよい。ここで、ウィーナ・ヘルストロー
ム・フィルタとは、フーリエ面で式(1)の観測行列H
t に対応する周波数フィルタをH(ω)、雑音の周波
数スペクトルをN(ω)としたときにH(ω)/(|H
(ω)|2 +|N(ω)|2 )で表されるフィルタであ
る。 (3) 図12中の画像が[画像構成基本要素+その時
間変化を規定するアフィン変換行列]のような形で与え
られた場合に、フレーム間補間装置ではアフィン変換行
列だけを補間対象としてもよい。(1) In the present embodiment, the non-stochastic process interpolated value is obtained by linearly interpolating the affine transformation matrix of the original Beccurt data by the proportional distribution method, but it can be obtained by the least square method. (2) In this embodiment, the Kalman filter is used as the time series filter, but a Wiener Helstromstrom filter may be used. Here, the Wiener Helstromstrom filter is the observation matrix H of the equation (1) on the Fourier plane.
When the frequency filter corresponding to t is H (ω) and the noise frequency spectrum is N (ω), H (ω) / (| H
It is a filter represented by (ω) | 2 + | N (ω) | 2 . (3) When the image in FIG. 12 is given in the form of [image constituent basic elements + affine transformation matrix that defines its temporal change], the interframe interpolation apparatus may use only the affine transformation matrix as an interpolation target. Good.
【0028】[0028]
【発明の効果】以上詳細に説明したように、第1〜第7
の発明によれば、動画像が確率的事象の場合に、時間的
変化を規定するデータを入力観測値、非確率的事象とし
て算出したアフィン変換行列を入力信号値として時系列
フィルタによって補間行列を求めるので、確率的事象の
場合においてより正確にフレーム間の補間をすることが
できる。As described in detail above, the first to seventh aspects
According to the invention, when the moving image is a stochastic event, the data defining the temporal change are input observation values, the affine transformation matrix calculated as a non-stochastic event is used as the input signal value, and the interpolation matrix is calculated by the time series filter. Since it is determined, inter-frame interpolation can be performed more accurately in the case of a stochastic event.
【図1】本発明の実施例を示すフレーム間補間装置の機
能ブロック図である。FIG. 1 is a functional block diagram of an interframe interpolation device showing an embodiment of the present invention.
【図2】従来のフレーム間補間装置の機能ブロック図で
ある。FIG. 2 is a functional block diagram of a conventional interframe interpolation device.
【図3】2次元同次座標系でのアフィン変換の具体例を
示す図である。FIG. 3 is a diagram showing a specific example of affine transformation in a two-dimensional homogeneous coordinate system.
【図4】2次元同次座標系でのアフィン変換の具体例を
示す図である。FIG. 4 is a diagram showing a specific example of affine transformation in a two-dimensional homogeneous coordinate system.
【図5】非確率的線形補間処理を示すフローチャートで
ある。FIG. 5 is a flowchart showing non-stochastic linear interpolation processing.
【図6】本発明の実施例と等価な線形離散時間確率シス
テムを示す図である。FIG. 6 is a diagram showing a linear discrete-time stochastic system equivalent to the embodiment of the present invention.
【図7】確率的事象の補間処理を示すフローチャートで
ある。FIG. 7 is a flowchart showing interpolation processing of a probabilistic event.
【図8】補間に際してのフレームの読み込み方法を示す
図である。FIG. 8 is a diagram showing a method of reading a frame at the time of interpolation.
【図9】時系列データの観測例を示す図である。FIG. 9 is a diagram illustrating an observation example of time series data.
【図10】確率的事象の補間処理の原理を示す図であ
る。FIG. 10 is a diagram showing a principle of interpolation processing of a probabilistic event.
【図11】アニメーション作成装置の機能ブロック図で
ある。FIG. 11 is a functional block diagram of the animation creating device.
【図12】図1のフレーム間補間装置を利用したアニメ
ーション作成装置の機能ブロック図である。12 is a functional block diagram of an animation creating device using the interframe interpolation device of FIG. 1. FIG.
11 ベクトルデータ入力部 12 補正パラメータ入力部 13 ベクトルデータメモリ部 14 アフィン変換行列算出部 15 アフィン変換行列係数補正部 16 変換行列メモリ部 17 時系列フィルタ部 18 アフィン変換実行部 41 入力部 42 形状管理部 43 動作記憶部 44 制御部 45 形状記憶部 51 補間処理制御部 52 補間装置 53 再書き込み処理部 11 vector data input unit 12 correction parameter input unit 13 vector data memory unit 14 affine transformation matrix calculation unit 15 affine transformation matrix coefficient correction unit 16 transformation matrix memory unit 17 time series filter unit 18 affine transformation execution unit 41 input unit 42 shape management unit 43 operation storage unit 44 control unit 45 shape storage unit 51 interpolation processing control unit 52 interpolation device 53 rewriting processing unit
Claims (7)
フレームの時間変化を規定するデータに基づいて、前記
第1と第2の動画像のフレーム間の補間フレームの時間
変化を規定するデータに変換するアフィン変換行列を前
記動画像が非確率事象であるとみなすことにより算出す
るアフィン変換行列算出手段と、 補間しようとする時間よりも前後の複数の動画像のフレ
ームのデータを入力観測値、前記複数の動画像のフレー
ムデータについて時間的に前後するそれぞれ二つのフレ
ームのデータに基づいて前記アフィン変換行列算出手段
により算出されたアフィン変換行列に基づく行列を入力
信号値として、フィルタリングして補間行列を作成する
時系列フィルタと、 前記時系列フィルタ処理により作成された補間行列と前
記動画像のフレームのデータとに基づいて、補間データ
を作成する補間データ作成手段とを、 備えたことを特徴とするフレーム間補間装置。1. A time change of an interpolated frame between frames of the first and second moving images is calculated based on data defining a time change of frames of the first and second moving images which are temporally continuous. Affine transformation matrix calculating means for calculating the affine transformation matrix to convert into the specified data by considering that the moving image is a non-probability event, and data of a plurality of moving image frames before and after the time to be interpolated. The input observation value, the matrix based on the affine transformation matrix calculated by the affine transformation matrix calculation means based on the data of each of the two frames preceding and succeeding temporally with respect to the frame data of the plurality of moving images is filtered as an input signal value. A time series filter for creating an interpolation matrix, and the interpolation matrix created by the time series filtering process and the frame of the moving image. Based on the data, the interpolation data producing means for producing interpolation data, inter-frame interpolation device characterized by comprising.
ルタで構成したことを特徴とする請求項1記載のフレー
ム間補間装置。2. The interframe interpolation apparatus according to claim 1, wherein the time series filter is a Kalman filter or a Wiener Helstromstrom filter.
0のガウス白色観測雑音として扱う構成にしたことを特
徴とする請求項1記載のフレーム間補間装置。3. The interframe interpolation according to claim 1, wherein the time series filter is configured to handle a noise component due to a stochastic event in a moving image as Gaussian white observation noise having an average value of 0. apparatus.
により比例配分して線形補間する構成にしたことを特徴
とする請求項1記載のフレーム間補間装置。4. The affine transformation matrix calculating means is configured to linearly interpolate by proportional distribution according to the number of interpolation frames between frames of the first and second moving images. Interframe interpolator.
を規定するデータは、 アフィン変換行列であることを特徴とする請求項1記載
のフレーム間補間装置。5. The interframe interpolation device according to claim 1, wherein the data defining the temporal change of the first and second frames is an affine transformation matrix.
フレームの時間変化を規定するベクトルデータに基づい
て、前記第1と第2の動画像のフレーム間の補間フレー
ムの時間変化を規定するデータに変換するアフィン変換
行列を前記動画像が非確率事象であるとみなして線形補
間することにより算出するアフィン変換行列算出手段
と、 前記アフィン変換行列算出手段により算出されたアフィ
ン変換行列を補正するアフィン変換行列係数補正手段
と、 動画像が確率的事象の場合に、補間しようとする時間よ
りも前後の複数の動画像のフレームのデータを入力観測
値、前記複数の動画像のフレームデータについて時間的
に前後するそれぞれ二つのフレームのデータに基づいて
前記アフィン変換行列係数補正手段により算出されたア
フィン変換行列に基づく行列を入力信号値として、フィ
ルタリングして補間行列を作成する時系列フィルタと、 動画像が非確率的事象の場合に、前記アフィン変換行列
補正手段により補正されたアフィン変換行列によって補
間ベクトルを算出し、動画像が確率的事象の場合に、前
記時系列フィルタより求められた補間行列によって補間
ベクトルを算出するアフィン変換実行手段とを、 備えたことを特徴とするフレーム間補間装置。6. A temporal change of an interpolated frame between frames of the first and second moving images based on vector data defining temporal changes of frames of the first and second moving images which are temporally continuous. And an affine transformation matrix calculated by the affine transformation matrix calculation means for calculating the affine transformation matrix for converting the affine transformation matrix into linear data by regarding the moving image as a non-stochastic event. An affine transformation matrix coefficient correcting means for correcting the input image data of a plurality of moving image frames before and after the time to be interpolated when the moving image is a probabilistic event, the plurality of moving image frames Affine transformation row calculated by the affine transformation matrix coefficient correcting means on the basis of the data of each two frames that are temporally before and after the data. When the moving image is a non-stochastic event, an interpolation vector is corrected by the affine transformation matrix corrected by the affine transformation matrix correction means when the moving image is a non-stochastic event. An interframe interpolating device, comprising: affine transformation executing means for calculating and calculating an interpolation vector by an interpolation matrix obtained by the time series filter when the moving image is a stochastic event.
と、 前記動く物体の各時刻での位置を記憶する動作記憶手段
と、 前記動作記憶手段に記憶された各時刻の位置をベクトル
データとして、前後する時刻間での動く物体の位置を補
間する請求項6記載のフレーム間補間装置と、 前記フレーム間補間装置により補間した形状の位置を前
記動作記憶手段に書き込む再書き込み処理手段と、 前記動作記憶手段に記憶された形状の位置と前記形状記
憶手段により記憶された物体の形状とに基づいて、各時
刻及び補間された時刻での物体の形状を求める合成処理
手段とを、 備えたことを特徴とするアニメーション作成装置。7. A shape storage unit that stores the shape of a moving object, an operation storage unit that stores the position of the moving object at each time, and a position at each time stored in the operation storage unit as vector data. 7. The interframe interpolating device according to claim 6, which interpolates the position of a moving object between preceding and following times, and a rewriting processing device that writes the position of the shape interpolated by the interframe interpolating device into the motion storage device, Synthesis processing means for obtaining the shape of the object at each time and at the interpolated time based on the position of the shape stored in the motion storage means and the shape of the object stored by the shape storage means. Animation creation device characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30616294A JPH08161524A (en) | 1994-12-09 | 1994-12-09 | Inter-frame interpolating device and animation preparing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30616294A JPH08161524A (en) | 1994-12-09 | 1994-12-09 | Inter-frame interpolating device and animation preparing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08161524A true JPH08161524A (en) | 1996-06-21 |
Family
ID=17953798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30616294A Pending JPH08161524A (en) | 1994-12-09 | 1994-12-09 | Inter-frame interpolating device and animation preparing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08161524A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002017227A3 (en) * | 2000-08-24 | 2002-05-30 | Sony Computer Entertainment Inc | Transformation matrix used in image processing |
| JP2009141820A (en) * | 2007-12-07 | 2009-06-25 | Sony Corp | Image processing apparatus, moving image reproduction apparatus, processing method and program therefor |
-
1994
- 1994-12-09 JP JP30616294A patent/JPH08161524A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002017227A3 (en) * | 2000-08-24 | 2002-05-30 | Sony Computer Entertainment Inc | Transformation matrix used in image processing |
| JP2009141820A (en) * | 2007-12-07 | 2009-06-25 | Sony Corp | Image processing apparatus, moving image reproduction apparatus, processing method and program therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102243756B (en) | Image processing equipment and image processing method | |
| JP2009134509A (en) | Mosaic image generating apparatus and mosaic image generating method | |
| CN114461977A (en) | Method and device for reconstructing electron orbit space distribution and electron beam function | |
| JPS61143879A (en) | Method and apparatus for calculating pixel value | |
| US8712175B2 (en) | Image processing system, image processing method and program for image processing | |
| US7548664B2 (en) | Producing smooth motion compensated frames by combining multiple interpolation results | |
| JP2016015037A (en) | Information processing apparatus, control method therefor, and video camera | |
| JPH08161524A (en) | Inter-frame interpolating device and animation preparing device | |
| JP4250237B2 (en) | Image processing apparatus, method, and computer-readable storage medium | |
| JP2003116103A (en) | Digital video processing apparatus and method | |
| JP2000354244A (en) | Image processing apparatus, method, and computer-readable storage medium | |
| CN107516293A (en) | Image interpolation method and image interpolation system | |
| JP5008596B2 (en) | Sampling rate converter and conversion method thereof | |
| JP6632434B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH03204268A (en) | How to enlarge high-quality images | |
| JP3513633B2 (en) | Method and apparatus for identifying unknown continuous-time system, and control system using the same | |
| JP5435242B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP2004536385A (en) | Method and apparatus for performing affine or non-affine transformations | |
| JP2760083B2 (en) | Interframe interpolation method | |
| JP2020038730A (en) | Image processing apparatus, image processing method, and program | |
| JPH1021386A (en) | Image processor | |
| JP2014027405A (en) | Frame interpolation apparatus and program | |
| JP2010016548A (en) | Moving image processing apparatus | |
| JP4369951B2 (en) | Image generation method, image generation apparatus, and image generation program | |
| JP3655814B2 (en) | Enlarged image generation apparatus and method |