DE69223790T2

DE69223790T2 - METHOD AND DEVICE FOR INTERPOLATING IMAGES OF MOVING IMAGES

Info

Publication number: DE69223790T2
Application number: DE69223790T
Authority: DE
Inventors: Yoshinori - - Hatori; Masahide Kaneko; Atsushi Koike; Mark Shackleton; William Welsh
Original assignee: British Telecommunications PLC; Kokusai Denshin Denwa KK
Current assignee: British Telecommunications PLC; KDDI Corp
Priority date: 1991-07-23
Filing date: 1992-07-22
Publication date: 1998-04-23
Anticipated expiration: 2012-07-23
Also published as: GB9115883D0; DE69223790D1; ATE161673T1

Description

Diese Erfindung betrifft eine Rahmeninterpolation eines bewegten Bilds, insbesondere ein Verfahren und die Vorrichtung zur Interpolation von Rahmen aus zwischenzeitlich übertragenen Rahmen. Die Erfindung zeigt insbesondere, aber nicht ausschließlich, eine Anwendung der Übertragung von bewegten Bildern (z.B. in audiovisuellen (videophone) Anlagen).This invention relates to frame interpolation of a moving image, in particular to a method and device for interpolating frames from frames transmitted in the meantime. The invention shows in particular, but not exclusively, an application for the transmission of moving images (e.g. in audiovisual (videophone) systems).

In der Kommunikation von Bewegtbildern bzw. bewegten Bildern bei niedrigen Bitraten, wie bei audiovisuellen Diensten, hat die Notwendigkeit angemessener Begrenzungen in der Menge der zu übertragenden Informationen häufig dazu geführt, Techniken anzuwenden, die die übertragene Rahmenrate reduziert. Aber auch wenn die Rahmenrate gering ist, müssen Zwischenbilder generiert werden um ein kontinuierliches Bild beim Empfänger zu erhalten. Die Zwischenrahmen können durch Wiederholung von Rahmen erhalten werden oder bevorzugt durch den Versuch Zwischenrahmen durch Interpolation der empfangenen Rahmen zu erhalten. Dies ist dargestellt in Fig. 8. Eine Senderseite überträgt Bildrahmen Ta und Tb, die zwei zeitlich getrennte Bilder eines bewegten Eingabebildes sind. Die Rahmen Ta und Tb werden von einer Empfängerseite empfangen. Ein Zwischenrahmen Ti wird durch Interpolation zwischen den Rahmen Ta und Tb erzeugt, um ein bewegtes Ausgabebild, das drei Rahmen Ta, Ti und Tb umfaßt, zu erzeugen, anstelle nur einfach die beiden Rahmen Ta und Tb.In the communication of moving pictures at low bit rates, such as in audiovisual services, the need for reasonable limitations on the amount of information to be transmitted has often led to the use of techniques that reduce the frame rate transmitted. But even if the frame rate is low, intermediate frames must be generated in order to obtain a continuous picture at the receiver. The intermediate frames can be obtained by repeating frames or, preferably, by attempting to obtain intermediate frames by interpolation of the received frames. This is shown in Fig. 8. A transmitter side transmits picture frames Ta and Tb, which are two temporally separated pictures of a moving input picture. The frames Ta and Tb are received by a receiver side. An intermediate frame Ti is generated by interpolation between the frames Ta and Tb to produce a moving output picture comprising three frames Ta, Ti and Tb, instead of simply the two frames Ta and Tb.

Wenn es nötig ist viele Rahmen zwischen den empfangenen Rahmen zu interpolieren, kann es schwierig sein gleichförmige Bewegungen auf der Empfängerseite zu reproduzieren. Eine bekannte Verbesserung um dieses Problem zu lösen ist, Bewegungsvektoren abgeleitet von den Rahmen Ta und Tb zu benutzen, in dem Beispiel gemäß Fig. 8, um die fehlenden Rahmen empfängerseitig zu interpolieren.If it is necessary to interpolate many frames between the received frames, it may be difficult to reproduce uniform motions on the receiver side. A known improvement to solve this problem is to use motion vectors derived from the frames Ta and Tb, in the example of Fig. 8, to interpolate the missing frames on the receiver side.

Um eine solches Verfahren der Rahmeninterpolation eines bewegten Bildes auszuführen, ohne Verschwommenheit oder Zittern zu verursachen, ist es nötig Bewegungsvektoren zu erfassen, die visuell korrekt sind. Verfahren die vorgeschlagen wurden um Bewegungsvektoren abzutasten beinhalten:To perform such a method of frame interpolation of a moving image without causing blurring or jitter, it is necessary to capture motion vectors that are visually correct. Methods that have been proposed to sample motion vectors include:

(i) das Verfahren, das den Bewegungsvektor als Ersatz nimmt, der den kleinsten vorhergesagten Fehlerwert zwischen Rahmen ergibt; und(i) the method that takes as a substitute the motion vector that gives the smallest predicted error value between frames; and

(ii) die Gradientenmethode, die die zeitlichen und räumlichen Gradienten der Pixelwerte ( Bildpunktwerte ) verwendet.(ii) the gradient method, which uses the temporal and spatial gradients of the pixel values.

Bei diesen Verfahren ist der Erfassungsbereich auf eine 2- dimensionale Ebene beschränkt. Ferner ist die Abtasteinheit häufig vergleichsweise klein zum Beispiel ein rechteckiger Block von 8 Bildpunkten x 8 Zeilen. Es wird nun eine Erklärung von solch einem Rahmeninterpolationsystem basierend auf Blockeinheiten gegeben werden, wie es in audiovisuellen Anlagen angewendet wird.In these methods, the detection area is limited to a 2-dimensional plane. Furthermore, the scanning unit is often comparatively small, for example a rectangular block of 8 pixels x 8 lines. An explanation will now be given of such a frame interpolation system based on block units as it is used in audio-visual systems.

Unter Bezugnahme auf die Figuren 9 und 10 ist eine Rahmeninterpolationsmethode dargestellt, die auf Bewegungsvektorabtastung in rechteckigen Blockeinheiten basiert. In Fig. 9 werden verschlüsselte Daten an einer Dekodiereinheit 2 empfangen, der entschlüsselte Rahmen wird zum ersten Rahmenspeicher 3 geschickt nachdem der vorige entschlüsselte Rahmen, der in diesem ersten Rahmenspeicher 3 gespeichert ist in einen zweiten Rahmenspeicher 4 bewegt worden ist. Die Bewegungsvektoren werden auch am Empfänger empfangen, welche, mit den Rahmen in den Rahmenspeichern 2 und 3, zum Interpolieren eines Zwischenrahmens Ti verwendet werden, was nun mit Bezug auf Fig. 10 gezeigt wird.Referring to Figures 9 and 10, a frame interpolation method based on motion vector sampling in rectangular block units is shown. In Fig. 9, encrypted data is received at a decoding unit 2, the decrypted frame is sent to the first frame memory 3 after the previous decrypted frame, stored in this first frame memory 3 has been moved to a second frame memory 4. The motion vectors are also received at the receiver which, with the frames in the frame memories 2 and 3, are used to interpolate an intermediate frame Ti, which will now be shown with reference to Fig. 10.

In Fig. 10, ist Ta der Rahmen, der von der Senderseite zu dem unmittelbar vorausgehenden Zeitpunkt übertragen wurde, Tb ist der Rahmen zum gegenwärtigen Zeitpunkt und Ti ist der Rahmen, der zwischen den übertragenen Rahmen Ta und Tb interpoliert werden muß. Es ist zu berücksichtigen, daß der Rahmen, der interpoliert werden soll, temporär zwischen den Rahmen Ta und Tb vorgesehen ist, in dem Verhältnis a: (1-a) wie dargestellt in Fig. 10.In Fig. 10, Ta is the frame transmitted from the transmitter side at the immediately preceding time, Tb is the frame at the current time, and Ti is the frame to be interpolated between the transmitted frames Ta and Tb. It should be noted that the frame to be interpolated is temporarily provided between the frames Ta and Tb in the ratio a: (1-a) as shown in Fig. 10.

Die Rahmen Ta und Tb werden als zusammengesetzt aus den Blöcken B(Ta) und B(Tb) betrachtet, mit einem Satz von Bewegungsvektoren Vab, die den Versatz von Blöcken B(Ta) zwischen den Rahmen Ta und Tb bezeichnen. Dies ist in Fig. 10 dargestellt.The frames Ta and Tb are considered to be composed of the blocks B(Ta) and B(Tb), with a set of motion vectors Vab denoting the displacement of blocks B(Ta) between the frames Ta and Tb. This is shown in Fig. 10.

Ein Block B(I) des interpolierten Rahmens Ti wird durch die Interpolationseinheit 5 von Fig. 8 mit Hilfe der folgenden Gleichung erhalten:A block B(I) of the interpolated frame Ti is obtained by the interpolation unit 5 of Fig. 8 using the following equation:

B(I) = a x B'(Ta) + (1 - a) * B" (Tb)B(I) = a x B'(Ta) + (1 - a) * B" (Tb)

in der die Blöcke B'(Ta) und B"(Tb) verbunden sind durch den Bewegungsvektor V der dem Block B'(Ta) beigefügt ist.in which the blocks B'(Ta) and B"(Tb) are connected by the motion vector V which is attached to the block B'(Ta).

Eine detaillierte Beschreibung von einem speziellen Verfahren kann in einem Artikel von Wada gefunden werden: Masahiro WADA, "System for motion-compensated frame interpolation of colour moving image signal" ("System zur bewegungskompensierten Rahmeninterpolation von farbigen Bewegtbildsignalen"), Denshi Joho Tsushin Gakkai Ronbunshi, (B-I), Vol. J72 B I, No. 5, ff 446-455.A detailed description of a specific procedure can be found in an article by WADA: Masahiro WADA, "System for motion-compensated frame interpolation of colour moving image signal"("System zur Bewegung-kompensierte Frame interpolation of color moving picture signals"), Denshi Joho Tsushin Gakkai Ronbunshi, (BI), Vol. J72 BI, No. 5, ff 446-455.

Ein US Patent US-A-4 672 442 veröffentlicht am 9. Juni 1987 beschreibt ein Bewegtbild-Rahmenraten-Umwandlungssystem, welches das erste Bildsignal mit der ersten Rahmenrate in ein zweites Bildsignal mit einer zweiten Rahmenrate umwandelt, die sich von der ersten Rahmenrate durch Generierung eines interpolierten Rahmens zwischen zwei aufeinanderfolgenden Rahmen des ersten Bildsignales unterscheidet. In diesem Verfahren wird der Interpolationsrahmen durch Verwendung eines ersten Bildblockes auf dem ersten Rahmen und einem zweiten Bildblock auf einem zweiten Rahmen des ersten Bildsignals erzeugt und der zweite Bildblock ist in eine Position relativ zu dem ersten Bildblock bewegt.A US patent US-A-4 672 442 published on June 9, 1987 describes a moving picture frame rate conversion system which converts the first picture signal at the first frame rate into a second picture signal at a second frame rate different from the first frame rate by generating an interpolated frame between two consecutive frames of the first picture signal. In this method, the interpolation frame is generated by using a first picture block on the first frame and a second picture block on a second frame of the first picture signal and the second picture block is moved to a position relative to the first picture block.

Der dargelegte Stand der Technik zeigt ein Rahmeninterpolationsverfahren für ein Bewegtbild, das auf der Abtastung in Blockeinheiten von Bewegungsvektoren in einer 2-dimensionalen Ebene basiert. Dennoch sind die folgenden Probleme mit einem solchen Verfahren verbunden. In konventionellen Rahmeninterpolationsverfahren ist die Einheit der Bewegungsvektorerfassung eher ein Block als ein Subjekt. Demgemgemäß treten Blockumrandete Verzerrungen in interpolierten Rahmen auf, wenn die Bewegungsvektorerfassung in Hinsicht auf ein und den selben Körper ungleiche Ergebnisse ergibt. Ferner, weil die Bewegungsvektorerfassung auf eine 2-dimensionale Ebene beschränkt ist, ist es schwierig eine genaue Erfassung von den Bewegungsvektoren eines Körpers, der hauptsächlich eine Bewegung im 3-dimensionalen Raum einschließt, zu erreichen. Aus diesem Grund ist es gemäß dem Stand der Technik unmöglich fließende Bewegungsbilder zu reproduzieren, die den Eingabebildern entsprechen.The prior art presented shows a frame interpolation method for a moving image based on sampling in block units of motion vectors in a 2-dimensional plane. However, the following problems are associated with such a method. In conventional frame interpolation methods, the unit of motion vector detection is a block rather than a subject. Accordingly, block-bounded distortions occur in interpolated frames when motion vector detection with respect to one and the same body gives unequal results. Furthermore, because motion vector detection is limited to a 2-dimensional plane, it is difficult to achieve accurate detection of the motion vectors of a body that mainly involves motion in 3-dimensional space. For this reason, according to the prior art, it is impossible to reproduce smooth motion images corresponding to the input images.

Ein Artikel von Forchheimer und Kronander mit dem Titel "Image Coding - From wave Forms to Animation" ("Bildverschlüsselung - Von Wellenformen zur Animation") IEEE Acoustics, Speech and Signal Processing Magazine (IEEE Akustik, Sprach und Signalverarbeitungs Magazin), vol. 37, no. 12, 30. Dezember 1989, Seite 2003-2023 beschreibt ein Verfahren der Kodierung von Gesichtsbildern in dem ein Drahtrahmenmodell eines Gesichtes übertragen wird und bei dem das synthetisierte Oberflächen Gesichtsbild eine matte Oberfläche und einen hellen Hintergrund annimmt. Es werden Parameter identifiziert die angeben, wie das Drahtrahmenmodell bewegt werden muß, und die am Empfänger bestimmen, wie das Drahtrahmenmodell von dem Gesicht des Empfängers bewegt werden muß um ein bewegtes synthetisiertes Gesichtsbild zu erzeugen.An article by Forchheimer and Kronander entitled "Image Coding - From wave Forms to Animation" IEEE Acoustics, Speech and Signal Processing Magazine, vol. 37, no. 12, December 30, 1989, pages 2003-2023 describes a method of coding facial images in which a wire-frame model of a face is transmitted and in which the synthesized surface facial image assumes a matte surface and a light background. Parameters are identified that specify how the wire-frame model must be moved and that determine at the receiver how the wire-frame model of the receiver's face must be moved to produce a moving synthesized facial image.

Diese Erfindung beabsichtigt die vorherigen Probleme des Standes der Technik zu lösen.This invention intends to solve the foregoing problems of the prior art.

Ziel ist es ein Verfahren und eine Vorrichtung zur Rahmeninterpolation eines Bewegtbildes zu schaffen, die die blockförmigen Störungen in interpolierten Rahmen beheben und die glatte bzw. weiche Bewegungen reproduzieren können, sogar wenn das Eingabebild Bewegungen im 3-dimensionalen Raum einschließt.The aim is to create a method and an apparatus for frame interpolation of a moving image that can eliminate the block-shaped disturbances in interpolated frames and that can reproduce smooth or soft movements, even if the input image includes movements in 3-dimensional space.

Gemäß eines ersten Aspektes der vorliegenden Erfindung wird ein Verfahren zum Bilden eines interpolierten Bildes, entsprechend eines gegebenen zeitlichen Abstandsverhältnises zwischen einem ersten und einem zweiten Bild, dadurch gekennzeichnet, daß:According to a first aspect of the present invention, there is provided a method for forming an interpolated image corresponding to a given temporal spacing ratio between a first and a second image, characterized in that:

das erste und zweite Bild ein erstes und zweites 3-D Formmodell eines Objektes mit jeweiligen Schattenwerten umfaßt, und daß es einen 3-D Bewegungsvektor gibt (Vab), der die Transformation zwischen dem ersten und dem zweiten 3-D Formmodell definiert und daß das Verfahren umfaßt:the first and second images comprise a first and second 3-D shape model of an object with respective shadow values, and that there is a 3-D motion vector (Vab) which Transformation between the first and the second 3-D shape model and that the method comprises:

a) Anpassen des 3-D Bewegungsvektors (Vab) um einen 3-D Bewegungsinterpolationsvektor (Vi) zu erhalten;a) Adjusting the 3-D motion vector (Vab) to obtain a 3-D motion interpolation vector (Vi);

b) Bilden eines 3-D Forminterpolationsmodells (Mi) aus dem 3-D Bewegungsinterpolationsvektor (Vi) und entweder dem ersten oder dem zweite 3-D Formmodell ( Ma,Mb ); undb) forming a 3-D shape interpolation model (Mi) from the 3-D motion interpolation vector (Vi) and either the first or the second 3-D shape model (Ma,Mb); and

c) Bilden eines Interpolationsbildes aus dem 3-D Forminterpolationsmodell und den Bildschattenwerten aus dem ersten und zweiten 3-D Formmodell.c) Forming an interpolation image from the 3-D shape interpolation model and the image shadow values from the first and second 3-D shape models.

Gemäß eines zweiten Aspektes der vorliegenden Erfindung ist die Vorrichtung zur Bildung eines interpolierten Bildes entsprechend eines gegebenen zeitlichen Abstandsverhältnisses zwischen einem ersten und einem zweiten Bild dadurch gekennzeichnet, daß:According to a second aspect of the present invention, the apparatus for forming an interpolated image corresponding to a given temporal distance ratio between a first and a second image is characterized in that:

das erste und zweite Bild ein erstes und zweites 3-D Formmodell eines Objektes mit jeweiligen Schattenwerten umfaßt, und daß es einen 3-D Bewegungsvektor gibt, der die Transformation zwischen den ersten und zweiten 3-D Formmodellen definiert und daß die Vorrichtung umfaßt:the first and second images comprise first and second 3-D shape models of an object with respective shadow values, and there is a 3-D motion vector defining the transformation between the first and second 3-D shape models, and the apparatus comprises:

a) eine 3-D Bewegungsvektoranpassungsvorrichtung (6) zur Anpassung des 3-D Bewegungsvektor (Vab) um einen 3-D Bewegungsinterpolationsvektor zu erhalten (Vi);a) a 3-D motion vector adjustment device (6) for adjusting the 3-D motion vector (Vab) to obtain a 3-D motion interpolation vector (Vi);

b) eine erste Formmodelltransformationsvorrichtung (10) zum Bilden eines 3-D Forminterpolationsmodell (Mi) aus dem 3-D Bewegungsinterpolationsvektor (Vi) und entweder dem ersten oder dem zweiten 3-D Formmodell (Ma,Mb); undb) a first shape model transformation device (10) for forming a 3-D shape interpolation model (Mi) from the 3-D motion interpolation vector (Vi) and either the first or the second 3-D shape model (Ma, Mb); and

c) eine Rahmeninterpolationsvorrichtung zum Bilden eines Interpolationsbildes aus dem 3-D Forminterpolationsmodell und den Bildschschattenwerten aus dem ersten und zweiten 3-D Formmodell.c) a frame interpolation device for forming an interpolation image from the 3-D shape interpolation model and the image shadow values from the first and second 3-D shape models.

Das zweite 3-D Formmodell kann durch Anwendung des 3-D Bewegungsvektors auf das erste 3-D Formmodell erhalten werden oder umgekehrt, der 3-D Bewegungsvektor kann von einem Empfänger, von empfangenen ersten und zweiten 3-D Formmodellen durch die verwendete Vorrichtung hergeleitet werden.The second 3-D shape model may be obtained by applying the 3-D motion vector to the first 3-D shape model or vice versa, the 3-D motion vector may be derived from a receiver from received first and second 3-D shape models by the device used.

Solch eine Vorrichtung kann des weiteren eine zweite 3-D Formmodelltransformationsvorrichtung zur Bildung des zweiten 3-D Forminterpolationsmodels aus dem 3-D Bewegungsinterpolationsvektor und dem ersten 3-D Formmodell einschließen .Such an apparatus may further include a second 3-D shape model transformation device for forming the second 3-D shape interpolation model from the 3-D motion interpolation vector and the first 3-D shape model.

Eine derartige Vorrichtung enthält eine 3-D Formmodellspeichereinrichtung, die einem jeweiligen der 3-D Formmodelle entspricht und zum Abspeichern desselben dient.Such a device includes a 3-D shape model storage device corresponding to a respective one of the 3-D shape models and serving to store the same.

Bevorzugt enthält eine derartige Vorrichtung:Preferably, such a device contains:

eine Formänderungsinformationsanpassungsvorrichtung die empfänglich ist für die Informationen über Subjektelementformänderungen die von der Senderseite her übertragen wurden und für das zeitliche Distanzverhältnis zwischen den vorigen und aktuellen Rahmen und dem interpolierten Rahmen um die Änderungen in den Subjektelementformen zwischen dem vorigen und dem interpolierten Rahmen zu erzeugen;a shape change information adjusting device that is responsive to the information on subject element shape changes transmitted from the transmitter side and to the temporal distance relationship between the previous and current frames and the interpolated frame to generate the changes in the subject element shapes between the previous and interpolated frames;

eine erste Elementformänderungsanpassungsvorrichtung die ein 3-dimensionales Formmodell erzeugt, das der Position und der Orientierung und auch den Elementformen des Subjektes des aktuellen Rahmen entspricht; unda first element shape change adjusting device that generates a 3-dimensional shape model that corresponds to the position and orientation and also the element shapes of the subject of the current frame; and

eine zweite Elementformänderungsanpassungsvorrichtung welche ein 3-dimensionales Formmodell erzeugt, das der Position und der Orientierung und auch den Elementformen des Subjektes des interpolierten Rahmens entspricht.a second element shape change adjusting device which generates a 3-dimensional shape model corresponding to the position and orientation and also the element shapes of the subject of the interpolated frame.

Vorrichtungen wie gerade beschrieben können Formänderungsanpassungsvorrichtungen haben die wie folgt funktionieren:Devices as just described can have shape-adjusting devices that function as follows:

(i) Veranlassen, daß der 3-dimensionale Bewegungsvektor zwischen dem vorigen Rahmen und dem aktuellen Rahmen auf das 3-dimensionale Formmodell des vorigen Rahmens einwirkt; und(i) causing the 3-dimensional motion vector between the previous frame and the current frame to act on the 3-dimensional shape model of the previous frame; and

(ii) Veranlassen, daß die Information über Elementformänderungen zwischen dem dem vorigen Rahmen und dem aktuellen Rahmen, wobei die Information von der Senderseite übertragen worden ist, auf die letzte Stufe des vorher genannten 3-dimensionalen Formmodelltransformationsprozesses einwirkt, welcher das 3-dimensionale Formmodell des vorigen Rahmens transformiert.(ii) causing the information on element shape changes between the previous frame and the current frame, which information has been transmitted from the transmitter side, to act on the last stage of the aforementioned 3-dimensional shape model transformation process which transforms the 3-dimensional shape model of the previous frame.

Solch eine Vorrichtung kann eine zweite Elementformänderungsanpasssungsvorrichtung aufweisen, die wie folgt funktioniert:Such a device may comprise a second element shape change adjustment device which functions as follows:

(i) Veranlassen, daß der 3-dimensionale Bewegungsvektor zwischen dem vorigenrahmen und dem interpolierten Rahmen, dessen Bewegungsvektor in dem 3-dimensionalen Bewegungsvektoranpassungsprozeß erhalten wurde, auf das 3-dimensionale Formmodell des vorigen Rahmens einwirkt; und(i) causing the 3-dimensional motion vector between the previous frame and the interpolated frame, whose motion vector was obtained in the 3-dimensional motion vector matching process, to act on the 3-dimensional shape model of the previous frame; and

(ii) Veranlassen, daß die Information über Elementformänderungen zwischen dem vorigen Rahmen und dem interpolierten Rahmen, die in dem vorher genannten Formänderungsinformationsanpassungsprozeß erhalten wurde, auf die letzte Stufe des vorher genannten 3-dimensionalen Formmodelltransformationsprozesses einwirkt, welcher das 3-dimensionale Formmodell des vorigen Rahmens transformiert.(ii) causing the information on element shape changes between the previous frame and the interpolated frame obtained in the aforementioned shape change information adaptation process to act on the last stage of the aforementioned 3-dimensional shape model transformation process which transforms the 3-dimensional shape model of the previous frame.

Eine Ausführungsform der Erfindung und ihre Wirkungsweise wird nun detaillierter auf dem Wege von Beispielen unter Bezug auf die begleitenden Zeichnungen beschrieben. Es zeigen:An embodiment of the invention and its mode of operation will now be described in more detail by way of example with reference to the accompanying drawings, in which:

Fig. 1 ein Blockdiagramm der Vorrichtung zur Rahmeninterpolation eines bewegten Bildes unter Verwendung eines 3-dimensionalen Formmodelles, gemäß einer erstenAusführungsform der Erfindung;Fig. 1 is a block diagram of the apparatus for frame interpolation of a moving image using a 3-dimensional shape model according to a first embodiment of the invention;

Fig. 2 ein schematisches Diagramm, das die Funktionsweise der Rahmeninterpolationseinheit in Fig. 1 erklärt;Fig. 2 is a schematic diagram explaining the operation of the frame interpolation unit in Fig. 1;

Fig. 3 ein Blockdiagramm der Vorrichtung zur Rahmeninterpolation eines bewegten Bildes unter dem Einsatz eines 3-dimensionalen Formmodells, gemäß einer ersten Ausführungsform der Erfindung;Fig. 3 is a block diagram of the apparatus for frame interpolation of a moving image using a 3-dimensional shape model according to a first embodiment of the invention;

Fig. 4 ein schematisches Diagramm, das sich auf die 3-dimensionale Formmodelländerungsinformationsanpassungseinheit in Fig. 3 bezieht;Fig. 4 is a schematic diagram relating to the 3-dimensional shape model change information adjustment unit in Fig. 3;

Fig. 5 ein schematisches Diagramm, das sich auf die 3-dimensionalen Formmodelltransformations- und Anpassungseinheiten in Fig. 3 bezieht;Fig. 5 is a schematic diagram relating to the 3-dimensional shape model transformation and fitting units in Fig. 3;

Fig. 6 ist ein schematisches Diagramm, das die Rahmeninterpolation eines bewegten Bildes unter Verwendung eines 3-dimensionalen Formmodells erklärt;Fig. 6 is a schematic diagram explaining frame interpolation of a moving image using a 3-dimensional shape model;

Fig. 7 ist eine Zeichnung eines Beispieles eines 3-dimensionalen Formmodells eines Kopfes;Fig. 7 is a drawing of an example of a 3-dimensional shape model of a head;

Fig. 8 ist ein schematisches Diagramm, das die Rahmeninterpolation eines bewegten Bildes erklärt;Fig. 8 is a schematic diagram explaining the frame interpolation of a moving picture;

Fig. 9 ist ein schematisches Blockdiagramm, das sich auf die konventionelle Rahmeninterpolation eines bewegten Bildes bezieht; undFig. 9 is a schematic block diagram relating to the conventional frame interpolation of a moving picture; and

Fig. 10 ist ein schematisches Diagramm, das die Rahmeninterpolation basierend auf konventionellen Blockeinheiten erklärt.Fig. 10 is a schematic diagram explaining the frame interpolation based on conventional block units.

Fig. 1, 5 stellt eine Rahmeninterpolationseinrichtung, die eine 3-dimensionales Formmodell benützt dar, 6 ist eine 3- dimensionale Bewegungsvektoranpassungseinheit, 7 und 10 sind 3-dimensionale Formmodelltransformationseinheiten und 8, 9 und 11 sind 3-dimensionale Formmodellspeichereinheiten. Der Rest von dieser Abbildung ist das Gleiche was schon mit Bezug auf Fig. 9 beschrieben wurde. Das Einwirkungsverfahren von dieser Verkörperung wird nun anhand eines Beispieles mit einem Bildfernsprecher (videophone) erklärt, d.h., in welchem das bewegte Bild ein Gesicht ist und zusätzlich wird Bezug zu Figuren 6 und 7 hergestellt.Fig. 1, 5 represents a frame interpolation device using a 3-dimensional shape model, 6 is a 3-dimensional motion vector adjustment unit, 7 and 10 are 3-dimensional shape model transformation units, and 8, 9 and 11 are 3-dimensional shape model storage units. The rest of this figure is the same as that already described with reference to Fig. 9. The operation method of this embodiment will now be explained using an example of a videophone, i.e., in which the moving image is a face, and additionally reference will be made to Figs. 6 and 7.

Fig. 7 ist ein Beispiel eines 3-dimensionalen Formmodells, das eine Kopfform repräsentiert.Fig. 7 is an example of a 3-dimensional shape model representing a head shape.

Wie es in dieser Abbildung gezeigt ist, umfaßt das 3-dimensionale Formmodell M ein Drahtrahmenmodell 700 mit dem die Oberflächenform unter Verwendung einer Vielheit von Dreiekken dargestellt ist von denen nur eines, 702, bezeichnet ist.As shown in this figure, the 3-dimensional shape model M comprises a wire frame model 700 with which the surface shape is represented using a plurality of triangles, only one of which, 702, is labeled.

Nochmals, laß den interpolierten Rahmen Ti sein und den vorhergehenden und die gegenwärtigen übertragenen Rahmen dementsprechend Ta und Tb. Es wird vorausgesetzt, daß das Bild im übertragenen Rahmen Ta und ein 3-dimensionales Formmodell Ma von einer Form im Rahmen Ta bereits im ersten Rahmenspeicher 4 gespeichert wurden und dementsprechend im 3-dimensionalen Formmodellspeicher Teil 9.Again, let the interpolated frame be Ti and the previous and current transferred frames Ta and Tb respectively. It is assumed that the image in the transferred frame Ta and a 3-dimensional shape model Ma of a shape in the frame Ta already exist in the first Frame memory 4 and accordingly in the 3-dimensional shape model memory part 9.

Verschlüsselte Daten, die von der Senderseite auf dem Wege des Eingabeterminals 1 übertragen wurden, werden an der Dekodiereinheit 2 entschlüsselt, dadurch wird ein Bild (umfassend Helligkeit und Farbinformationen, im folgenden der Einfachheit halber als "Schatteninformation" bezeichnet) zum gegenwärtigen Zeitpunkt hervorgebracht (d.h., entsprechend dem übertragenen Rahmen Tb). Diese Schatteninformation wird im ersten Rahmenspeicher 3 gespeichert und anschließend zu der Rahmeninterpolationseinheit 5 zusammen mit der Schatteninformation, die zu dem unmittelbar vorausgegangenen Rahmen (d.h., übertragener Rahmen Ta) gehört, der aus dem zweiten Rahmenspeicher 4 ausgelesen wurde, geschickt. Parallel hierzu wird in der 3-dimensionalen Formmodellübertragungseinheit 7 das 3-dimensionale Formmodell Ma im übertragenen Rahmen Ta, welches aus der 3-dimensionalen Formmodellspeichereinheit 9 ausgelesen wurde unter der Verwendung eines 3-dimensionalen Bewegungsvektor Vab zwischen dem übertragenen Rahmen Ta und dem übertragenen Rahmen Tb, transformiert, wobei die Vektoren von der Senderseite übertragen wurden. Auf diese Art und Weise wird ein 3-dimensionales Formmodell Mb, welches dem übertragenen Rahmen Tb entspricht, erhalten. In der 3-dimensionalen Bewegungsvektoranpassungseinheit 6 wird ein 3-dimensionaler Bewegungsvektor Vai zwischen dem übertragenen Rahmen Ta und dem interpolierten Rahmen Ti bestimmt, unter Verwendung der relativen zeitlichen Distanz "a" zwischen den übertragenen Rahmen Ta und Tb und dem interpolierten Rahmen Ti. Im allgemeinen, wenn vorausgesetzt wird, daß der 3-dimensionale Bewegungsvektor V der Form zwischen übertragenen Rahmen Ta und Tb linear mit der Zeit variiert, dann kann der 3-dimensionale Bewegungsvektor Vai zwischen dem übertragenen Rahmen Ta und dem interpolierten Rahmen Ti durch Vervielfältigung von Vab mit dem relativen zeitlichen Distanzverhältnis, erhalten werden.Encrypted data transmitted from the transmitter side via the input terminal 1 is decrypted at the decoding unit 2, thereby producing an image (comprising brightness and color information, hereinafter referred to as "shadow information" for convenience) at the current time (i.e., corresponding to the transmitted frame Tb). This shadow information is stored in the first frame memory 3 and then sent to the frame interpolation unit 5 together with the shadow information corresponding to the immediately preceding frame (i.e., transmitted frame Ta) read out from the second frame memory 4. In parallel, in the 3-dimensional shape model transmission unit 7, the 3-dimensional shape model Ma in the transmitted frame Ta read out from the 3-dimensional shape model storage unit 9 is transformed using a 3-dimensional motion vector Vab between the transmitted frame Ta and the transmitted frame Tb, the vectors being transmitted from the transmitter side. In this way, a 3-dimensional shape model Mb corresponding to the transmitted frame Tb is obtained. In the 3-dimensional motion vector matching unit 6, a 3-dimensional motion vector Vai between the transmitted frame Ta and the interpolated frame Ti is determined using the relative temporal distance "a" between the transmitted frames Ta and Tb and the interpolated frame Ti. In general, if it is assumed that the 3-dimensional motion vector V of the shape between transmitted frames Ta and Tb varies linearly with time, then the 3-dimensional motion vector Vai between the transmitted frame Ta and the interpolated frame Ti can be obtained by multiplying of Vab with the relative temporal distance ratio.

Ein 3-dimensionales Formmodell Mi entsprechend dem interpolierten Rahmen Ti wird dann durch Verwendung des Vai Bewegungsvektors erhalten um das 3-dimensionale Formmodell Ma aus dem übertragenen Rahmen Ta zu übertragen. Das 3-dimensionale Formmodell Mi kann auch durch Verwendung eines Vbi Bewegungsvektors zur Transformierung des 3-dimensionalen Formmodells Mb aus dem übertragenen Rahmen Tb in einer analogen Art erhalten werden.A 3-dimensional shape model Mi corresponding to the interpolated frame Ti is then obtained by using the Vai motion vector to transform the 3-dimensional shape model Ma from the transferred frame Ta. The 3-dimensional shape model Mi can also be obtained by using a Vbi motion vector to transform the 3-dimensional shape model Mb from the transferred frame Tb in an analogous manner.

Die Schatteninformation im interpolierten Rahmen Ti wird dann in der Rahmeninterpolationseinheit 5 interpoliert, unter der Verwendung:The shadow information in the interpolated frame Ti is then interpolated in the frame interpolation unit 5, using:

(i) der Schatteninformation in den übertragenen Rahmen Ta und Tb;(i) the shadow information in the transmitted frames Ta and Tb;

(ii) der 3-dimensionalen Formmodelle Ma und Mb; und(ii) the 3-dimensional shape models Ma and Mb; and

(iii) des 3-dimensionale Formmodels Mi im interpolierten Rahmen Ti;(iii) the 3-dimensional shape model Mi in the interpolated frame Ti;

diese drei Punkte wurden durch das vorher erwähnte Vorgehen erhalten.these three points were obtained by the previously mentioned procedure.

Im folgenden wir nun eine Erklärung der Rahmeninterpolationseinheit 5 unter Bezug auf die Fig. 2 gegeben. Wie in dieser Abbildung dargestellt ist, ist die Basis der Rahmeninterpolation, die mit Übereinstimmung der vorliegenden Erfindung ein 3-dimensionales Formmodell verwendet, die Texturumsetzung, die auf der entsprechenden Relation der Dreiecke, die die 3-dimensionalen Formmodelle im interpolierten Rahmen Ti und in den vorher und nachher übertragenen Rahmen Ta und Tb umfassen, basiert.Now, an explanation will be given of the frame interpolation unit 5 with reference to Fig. 2. As shown in this figure, the basis of the frame interpolation using a 3-dimensional shape model in accordance with the present invention is the texture mapping based on the corresponding relation of the triangles comprising the 3-dimensional shape models in the interpolated frame Ti and in the previously and subsequently transferred frames Ta and Tb.

Die Dreiecke Sa und Sb entsprechen dem gleichen Teil des 3- dimensionalen Formmodells, das den Gegenstand der Rahmen Ta und Tb repräsentiert und die Pixels Pa und Pb entsprechen Pixels, die entsprechende Teile der Dreiecke Sa und Sb repräsentieren.The triangles Sa and Sb correspond to the same part of the 3-dimensional shape model that represents the object of the frames Ta and Tb, and the pixels Pa and Pb correspond to pixels that represent corresponding parts of the triangles Sa and Sb.

Das Dreieck Si des interpolierten Rahmens Ti, das äquivalent zu den Dreiecken Sa und Sb ist, hat folgende Texturumsetzung.The triangle Si of the interpolated frame Ti, which is equivalent to the triangles Sa and Sb, has the following texture implementation.

Das Dreieck Si ist auf eine 2-dimensionale Ebene projiziert und Pixel Pi des interpolierten Rahmens wird wie folgt erhalten. Die Pixels Pa und Pb korrespandierend zu Pixel Pi des interpolierten Rahmens Ti, werden dann von den entsprechenden Relationen unter gleichartigen Dreiecken, die die 3-dimensionalen Formmodelle in den übertragenen Rahmen Ta und Tb und im interpolierten Rahmen Ti umfassen, erhalten.The triangle Si is projected onto a 2-dimensional plane and pixel Pi of the interpolated frame is obtained as follows. The pixels Pa and Pb corresponding to pixel Pi of the interpolated frame Ti are then obtained from the corresponding relations among similar triangles comprising the 3-dimensional shape models in the projected frames Ta and Tb and in the interpolated frame Ti.

Die Schattenwerte dieser Pixels Pi und Pb werden dann gebraucht um die Pixelwerte ( Schattenwerte ) von Pixel Pi des interpolierten Rahmens Ti gemäß der folgenden Gleichung zu erhalten:The shadow values of these pixels Pi and Pb are then used to obtain the pixel values (shadow values) of pixel Pi of the interpolated frame Ti according to the following equation:

Pi = a * Pa + (1 - a) * PbPi = a * Pa + (1 - a) * Pb

Ein Bild für das 3-dimensionale Formmodell im interpolierten Rahmen Ti kann dann durch die Ausführung dieser Prozedur auf alle in dem Dreieck Si enthaltenen Pixels und auf alle Dreiecke, die das 3-dimensionale Formmodell Mi des interpalierten Rahmens Ti umfassen, interpoliert werden. Zusätzlich, obwohl ein interpolierter Rahmen in den vorhergehenden Erklärungen für 1 verwendet wurde, kann auch eine Vielzahl von Rahmen durch Ausführung identischer Prozesse nach Änderung des zeitlichen Distanzverhältnisses interpoliert werden.An image for the 3-dimensional shape model in the interpolated frame Ti can then be interpolated to all pixels contained in the triangle Si and to all triangles comprising the 3-dimensional shape model Mi of the interpolated frame Ti by executing this procedure. In addition, although one interpolated frame was used in the previous explanations for 1, a plurality of frames can also be interpolated by executing identical processes. be interpolated after changing the temporal distance ratio.

In dem vorangehenden Beispiel und Erklärung, wurde der 3- dimensionale Bewegungsvektor an der Senderseite erhalten. Jedoch ist es ebenso möglich, den 3-dimensionalen Bewegungsvektor des Subjektes bzw. Gegenstands durch die Verwendung von Bildsignalen, die an der Empfängerseite dekodiert wurden, zu erhalten.In the above example and explanation, the 3-dimensional motion vector was obtained at the transmitter side. However, it is also possible to obtain the 3-dimensional motion vector of the subject by using image signals decoded at the receiver side.

Die Figur 3 ist ein Blockdiagramm einer Vorrichtung für die Rahmeninterpolation eines bewegten Bildes unter Verwendung eines 3-dimensionalen Formmodells und beabsichtigt eine zweite Ausführungsform dieser Erfindung zu erklären. Diese zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, daß sie entworfen wurde um imstande zu sein auf die Änderungen in der Form der Elemente des Subjektes zu reagieren, ebenso wie auf die Änderungen in dem 3-dimensionalen Bewegungsvektor des Subjektes.Figure 3 is a block diagram of an apparatus for frame interpolation of a moving picture using a 3-dimensional shape model and is intended to explain a second embodiment of this invention. This second embodiment differs from the first embodiment in that it is designed to be able to respond to the changes in the shape of the elements of the subject as well as to the changes in the 3-dimensional motion vector of the subject.

In der Figur 3, 12 ist eine 3-dimensionale Formmodelländerungsinformationsanpassungseinheit und 13 und 14 sind 3-dimensionale Formmodelltransformations- und Anpassungseinheiten gezeigt. Der Rest dieser Figur ist identisch zu Fig. 1.In Figure 3, 12 is shown a 3-dimensional shape model change information adaptation unit and 13 and 14 are 3-dimensional shape model transformation and adaptation units. The rest of this figure is identical to Fig. 1.

Wie es in Figur 4 gezeigt ist, umfaßt eine 3-dimensionale Formmodelländerungsinformationsanpassungseinheit 12 einen 3-dimensionalen Bewegungsvektoranpassungsteil 6 und einen neu hinzugefügten Formänderungsinformationsanpassungsteil 16.As shown in Figure 4, a 3-dimensional shape model change information adjusting unit 12 includes a 3-dimensional motion vector adjusting part 6 and a newly added shape change information adjusting part 16.

Zusätzlich, wie es in Figur 5 gezeigt ist, umfassen 3-dimensionale Formmodelltransformations- und Anpassungseinheiten 13 und 14 dementsprechend 3-dimensionale Formmodelltransformationseinheiten 7 und 10, plus die neu zu der letzten Stufe der besagten Einheiten 7 und 10 hinzugefügte Elementformänderungsanpassungseinheit 17.In addition, as shown in Figure 5, 3-dimensional shape model transformation and adjustment units 13 and 14 comprise 3-dimensional shape model transformation units 7 and 10 respectively, plus the new to the Element shape change adjustment unit 17 added at the last stage of said units 7 and 10.

In der Formänderungsinformationsanpassungseinheit 16 wird die Information über Elementformänderungen zwischen zwei übertragenen Rahmen, wobei die Information von der Senderseite übertragen wurde, auf der Basis des zeitlichen Distanzverhältnisses "a" zwischen dem interpolierten Rahmen und den vorangehend und nachfolgend übertragenen Rahmen angepaßt, wodurch Information über Elementformänderungen zwischen übertragenen Rahmen Ta und interpoliertem Rahmen Ti erzeugt wird. Formänderungen zwischen zwei übertragenen Rahmen werden im allgemeinen unter der Annahme erhalten, daß diese linear sind. In der Elementformänderungsanpassungseinheit 17 , wird ein 3-dimensionales Formmodell, das der Form eines Subjektes des interpolierten Rahmens entspricht, durch Anpassung der Elementformen des 3-dimensionalen Formmodells erhalten, das in der 3-dimensionalen Formmodelltransformationseinheit erhalten wurde. dies wird basierend auf Informationen über Formänderungen zwischen übertragenem Rahmen Ta und dem interpolierten Rahmen Ti durchgeführt, wobei die Information durch das Formänderungsinformationsanpassungsteil 16 erhalten wurde. In anderen Warten wird ein 3-dimensionales Formmodell, das der Position und Orientierung des Subjektes des interpolierten Rahmens entspricht, mit Hilfe eines 3-dimensionalen Bewegungsvektors erhalten und zusätzlich wird die Information über Elementformänderungen zur Anpassung der Form der Elemente des 3-dimensionalen Formmodells verwendet, so daß es auch jeglichen Änderungen in den Formen der Elemente entspricht.In the shape change information adjusting unit 16, the information on element shape changes between two transmitted frames, the information being transmitted from the transmitter side, is adjusted based on the time distance ratio "a" between the interpolated frame and the preceding and subsequent transmitted frames, thereby generating information on element shape changes between transmitted frame Ta and interpolated frame Ti. Shape changes between two transmitted frames are generally obtained on the assumption that they are linear. In the element shape change adjusting unit 17, a 3-dimensional shape model corresponding to the shape of a subject of the interpolated frame is obtained by adjusting the element shapes of the 3-dimensional shape model obtained in the 3-dimensional shape model transformation unit. this is performed based on information on shape changes between the transmitted frame Ta and the interpolated frame Ti, the information obtained by the shape change information adjusting part 16. In other respects, a 3-dimensional shape model corresponding to the position and orientation of the subject of the interpolated frame is obtained using a 3-dimensional motion vector, and in addition, the information on element shape changes is used to adjust the shape of the elements of the 3-dimensional shape model so that it also corresponds to any changes in the shapes of the elements.

Durch Ausführung einer Rahmeninterpolation eines bewegten Bildes unter Verwendung eines 3-dimensionalen Formmodells kann diese Erfindung blackförmige Verzerrungen bzw. Störungen die in konventionellen Verfahren erzeugt werden, verhindern.By performing frame interpolation of a moving image using a 3-dimensional shape model, this invention can eliminate black-shaped distortions which are produced by conventional processes.

Ferner kann, weil die Rahmeninterpolation nach der Verwendung eines 3-dimensionalen Formmodells ausgeführt wird um eine 3-dimensionale Bewegung zu erhalten, eine Bewegung, die zu dem Eingabebild korrespondiert, im interpolierten Bild reproduziert werden, sogar wenn es im Eingabebild eine Bewegung im 3-dimensionalen Raum gibt. Darüberhinaus kann, sogar wenn es Änderungen in den Formen der Elemente, die in dem Subjekt enthalten sind, gibt, ein interpoliertes Bild mit natürlicher Bewegung durch Transformierung des 3-dimensionalen Formmodells entsprechend dieser Formänderungen, erhalten werden. Als ein Ergebnis dieser vielfältigen Möglichkeiten ist dieses Verfahren in der Lage interpolierte Bilder zu reproduzieren, welche Bewegung reproduzieren, die dem Eingabebild näher ist, als dies mit den interpolierten Bildern erreicht wurde, die in Verfahren gemäß dem Stand der Technik erhalten wurden.Furthermore, because frame interpolation is performed after using a 3-dimensional shape model to obtain 3-dimensional motion, motion corresponding to the input image can be reproduced in the interpolated image even if there is motion in 3-dimensional space in the input image. Moreover, even if there are changes in the shapes of the elements included in the subject, an interpolated image with natural motion can be obtained by transforming the 3-dimensional shape model according to these shape changes. As a result of these diverse capabilities, this method is capable of reproducing interpolated images that reproduce motion closer to the input image than was achieved with the interpolated images obtained in prior art methods.

Bezüglich Bildtelephonen (videophones) und anderen Anlagen, bei denen die Anzahl von Rahmen eines bewegten Bildes in dem Senderteil reduziert worden sind, um die Menge der zu übertragenden Information zu reduzieren, kann diese Erfindung auf die Rahmeninterpolation des bewegten Bildes angewendet werden, wodurch die Rahmen, die herausgeschnitten wurden, im Empfängerabschnitt regeneriert werden. die Erfindung kann ebenso auf Anlagen zur Konvertierung von TV Signalen mit unterschiedlichen Rahmenraten angewendet werden, wie zum Beispiel für die Umwandlung von PAL zu NTSC.With regard to videophones and other devices in which the number of frames of a moving picture has been reduced in the transmitter section in order to reduce the amount of information to be transmitted, this invention can be applied to the frame interpolation of the moving picture, whereby the frames that have been cut out are regenerated in the receiver section. The invention can also be applied to devices for converting TV signals with different frame rates, such as for converting PAL to NTSC.

Claims

1. A method for forming an interpolated image that corresponds to a given temporal distance ratio between a first and a second image,

characterized in that:

the first and second images comprise first and second 3-D shape models of an object with respective shadow values, and there is a 3-D motion vector (Vab) defining the transformation between the first and second 3-D shape models, and the method comprises:

a) adjusting the 3D motion vector (Vab) to obtain a 3D motion interpolation vector (Vi);

b) forming a 3-D shape interpolation model (Mi) from the 3-D motion interpolation vector (Vi) and either the first or the second 3-D shape model (Ma, Mb); and

c) forming an interpolation image from the 3-D shape interpolation model and the image shadow values from the first and second 3-D shape models.

2. The method of claim 1, wherein the second 3-D shape model is generated by applying the 3-D motion vector to the first 3-D shape model.

3. Apparatus for forming an interpolated image in dependence on a given temporary distance ratio between a first and a second image, characterized in that:

the first and second images comprise first and second 3D shape models (Ma, Mb) of an object with respective shadow values, and there is a 3D motion vector (Vab) defining the transformation between the first and second 3D shape models (Ma, Mb), and the device comprises:

a) a 3-D motion vector adjusting device (6) for adjusting the 3-D motion vector (Vab) to obtain a 3-D motion interpolation vector (Vi);

b) a first shape model transformation device (10) for forming a 3-D shape interpolation model (Mi) from the 3-D motion interpolation vector (Vi) and either the first or the second 3-D shape model (Ma, Mb); and

c) a frame interpolation device (5) for forming an interpolation image from the 3-D shape interpolation model (Mi) and the image shadow values from the first or second 3-D shape model (Ma, Mb).

4. Apparatus according to claim 3, further comprising a second 3-D shape model transformation device (7) for forming the second 3-D shape interpolation model (Mb) from the 3-D motion interpolation vector (Vi) and the first 3-D shape model (Ma).

5. Device according to one of claims 3 or 4, in which a 3-D shape model storage device (8, 11) is included, which corresponds to a respective one of the 3-D shape models (Mb, Ma) and serves to store it.

6. Device according to one of claims 3 to 5, which further comprises:

a shape change information adjusting device (16) depending on the information on subject element shape changes transmitted from the transmitter side and on the time interval ratio between the previous and current frames and the interpolated frame for generating changes in the subject element shapes between the previous frame and the interpolated frame;

a first element shape change adjusting device (13, 14) that generates a three-dimensional shape model corresponding to the position and orientation and also the element shapes of the subject of the current frame ; and

a second element shape change adjusting device (17) which generates a three-dimensional shape model corresponding to the position and orientation and also the element shapes of the subject of the interpolated frame.

7. Device according to claim 6, wherein the second element shape change adjusting device (17) causes:

(i) causing the three-dimensional motion vector between the previous frame and the current frame to act on the three-dimensional frame model of the previous frame; and

(ii) causing the information on element shape changes between the previous frame and the current frame, which information has been transmitted from the sender side, to act on the last stage of the aforementioned three-dimensional shape model transformation process, which transforms the three-dimensional shape model of the previous frame.

8. Device according to one of claims 6 and 7, in which the second element shape change adjusting device (17) causes:

(i) causing the three-dimensional motion vector between the previous frame and the interpolated frame, which motion vector was obtained in the three-dimensional motion vector adjustment process, to act on the three-dimensional shape model of the previous frame; and

(ii) causing the information on element shape changes between the previous frame and the interpolated frame, which information was obtained in the aforementioned shape change information adaptation process, to act on the last stage of the aforementioned three-dimensional shape model transformation process, which transforms the three-dimensional shape model of the previous frame.