DE69818401T2

DE69818401T2 - Synchrones Audio-/Videowiedergabegerät, welches genaue Synchronisation zwischen Audio- und Videodaten ermöglicht und Verfahren zur synchronen Audio/Videowiedergabe

Info

Publication number: DE69818401T2
Application number: DE1998618401
Authority: DE
Inventors: Takuya Minato-ku Morishita
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-11-26
Filing date: 1998-11-26
Publication date: 2004-07-01
Anticipated expiration: 2018-11-27
Also published as: JPH11164256A; JP3063841B2; DE69818401D1; US6510279B1; EP0920219A3; EP0920219A2; EP0920219B1

Description

Hintergrund der Erfindung
Die vorliegende Erfindung betrifft ein Audio-Nideo-Synchronwiedergabegerät und ein Verfahren der Audio-Nideo-Synchronwiedergabe, die Audiowiedergabe und Videoanzeige basierend auf Audiodaten und Videodaten synchron ausführen. Methoden dieser Art sind zum Beispiel in JP-A-06-343065 und JP-A-09-149411 beschrieben.
In einem solchen Audio-Nideo-Synchronwiedergabegerät werden Audiodaten und Videodaten, die digital in einem Speichermedium wie z. B. einem DVD-ROM, einem CD-ROM und einer Festplatte gespeichert sind, aus diesen ausgelesen, um basierend auf diesen Daten über einen Lautsprecher bzw. einen CRT-Monitor Audiowiedergabe und Videowiedergabe auszuführen. Das Audio-Nideo-Synchronwiedergabegerät wurde in der japanischen Patentanmeldung Nr. 09-001922 vorgeschlagen, die nach dem Prioritätsdatum als JP-A-10-200862 der vorliegenden Patentanmeldung offengelegt wurde. Dieses Audio-Nideo-Synchronwiedergabegerät wird mit Bezug auf 8 detaillierter als Stand der Technik beschrieben.
Mit Bezug auf 8 umfaßt das Audio-Nideo-Synchronwiedergabegerät einen Datenspeicher 101, der komprimierte und gebündelte digitale Audio- und Videodaten speichert, einen AV-Trennabschnitt 102 zum Auslesen der Daten aus dem Datenspeicher 101 und Trennen derselben in Audiodaten und Videodaten, einen Videoverarbeitungsabschnitt 103 zum Dekomprimieren oder Erweitern der am AV-Trennabschnitt 102 getrennten Videodaten, einen Audioverarbeitungsabschnitt 104 zum Erweitern der am AV-Trennabschnitt 102 getrennten Audiodaten, einen AV-Synchronsteuerabschnitt 105 zum Durchführen einer Audio-/Videosynchronsteuerung, einen CRT-Monitor 106 zum Ausführen einer Videoanzeige basierend auf den erweiterten Videodaten und einen Lautsprecher 107 zum Durchführen einer Audiowiedergabe basierend auf den erweiterten Audiodaten.
Das in 8 gezeigte Audio-/Videosynchronwiedergabegerät berücksichtigt jedoch nicht den Fall, daß Audiodaten und Videodaten ihre eigenen Referenzzeiten aufweisen, die unabhängig und verschieden voneinander sind.
Weiterhin kann das erwartete Wiedergabeergebnis nicht erreicht werden, wenn eine Fehlübereinstimmung zwischen in Videodaten enthaltenen Zeitstempeln und der Anzahl der Videoframes existiert. Der Grund dafür ist, daß in Audiodaten oder Videodaten enthaltene Zeitstempel nicht verwendet werden.
Weiterhin entsteht ein Fall, daß die Genauigkeit einer Referenzzeit, die für Audio-/Videosynchronisation verwendet werden soll, nicht ausreichend ist. Der Grund dafür ist, daß eine verarbeitete Audiodatenmenge so, wie sie ist, als Referenzzeit verwendet wird. Wenn die Referenzzeitgenauigkeit nicht ausreichend ist, entsteht ein Fall, daß die Genauigkeit der verarbeiteten Audiodatenmenge verringert wird. Als Ergebnis wird auch die Genauigkeit der Audio-/Videosynchronisation verringert.
EP-A-0 719 054 beschreibt ein Verfahren, um Präsentationszeitstempel für Audio- und Videodaten zu schätzen, wenn in den hereinkommenden Paketen kein Präsentationszeitstempel gefunden werden kann. Die Schätzung basiert auf dem vorangegangenen Zeitstempel und der Systemuhr. Daher zählt das bekannte Verfahren einfach die Zeit seit dem Auftreten des letzten Zeitstempels.
Zusammenfassung der Erfindung
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Audio-Nideosynchronwiedergabegerät bereitzustellen, das einen oder mehrere der der vorangegangenen herkömmlichen Technik innewohnenden Nachteile eliminieren kann.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren der Audio-/Videosynchronwiedergabe bereitzustellen, das einen oder mehrere der der vorangegangenen herkömmlichen Technik innewohnenden Nachteile eliminieren kann.
Andere Ziele der vorliegenden Erfindung werden mit voranschreitender Beschreibung deutlich werden.
Gemäß einem Aspekt der vorliegenden Erfindung ist ein wie in Anspruch 1 dargelegtes Audio-/Videosynchronwiedergabegerät bereitgestellt.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein wie in Anspruch 8 dargelegtes Verfahren der Audio-/Videosynchronwiedergabe bereitgestellt.
Kurzbeschreibung der Zeichnung
1 ist ein Blockdiagramm eines Audio-/Videosynchronwiedergabegeräts gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung;
2 ist ein Flußdiagramm zum Erläutern einer Betriebsweise des in 1 gezeigten Audio-/Videosynchronwiedergabegeräts;
3 ist ein Flußdiagramm zum Erläutern einer Betriebsweise eines Audioverarbeitungsabschnitts, der im in 1 gezeigten Audio-/Videosynchronwiedergabegerät enthalten ist;
4 ist ein Flußdiagramm zum Erläutern einer Betriebsweise eines AV-Synchronsteuerabschnitts, der im in 1 gezeigten Audio-/Videosynchronwiedergabegerät enthalten ist;
5 ist ein Blockdiagramm eines Audio-/Videosynchronwiedergabegeräts gemäß einer zweiten bevorzugten Ausführungsform der vorliegenden Erfindung;
6 ist ein Flußdiagramm zum Erläutern einer Betriebsweise eines Audioverarbeitungsabschnitts, der im in 5 gezeigten Audio-/Videosynchronwiedergabegerät enthalten ist;
7 ist ein Flußdiagramm zum Erläutern einer Betriebsweise eines AV-Synchronsteuerabschnitts, der im in 5 gezeigten Audio-/Videosynchronwiedergabegerät enthalten ist; und
8 ist ein Blockdiagramm eines herkömmlichen Audio-/Videosynchronwiedergabegeräts.
Beschreibung der bevorzugten Ausführungsformen
Mit Bezug auf 1 wird nun ein Audio-/Videosynchronwiedergabegerät gemäß der ersten bevorzugten Ausführungsform der vorliegenden Erfindung beschrieben.
Das Audio-/Videosynchronwiedergabegerät umfaßt eine Dateieinrichtung 1 wie z. B. ein CD-ROM-Laufwerk, ein DVD-ROM-Laufwerk oder ein Magnetplattenlaufwerk, einen AV-Trennabschnitt 2 zum Auslesen von Daten aus der Dateieinrichtung 1 und zum Trennen derselben in Videodaten, Audiodaten und andere Daten, einen Videoverarbeitungsabschnitt 3 zum Verarbeiten der am AV-Trennabschnitt 2 getrennten Videodaten und eine Videoanzeigeeinrichtung 4 wie z. B. eine CRT-Anzeige zum Anzeigen der am Videoverarbeitungsabschnitt 3 verarbeiteten Videodaten. Das Wiedergabegerät umfaßt weiterhin einen AV-Synchronsteuerabschnitt 5 zum Ausführen einer Synchronwiedergabesteuerung der Videodaten und der Audiodaten, einen Audioverarbeitungsabschnitt 6 zum Verarbeiten der am AV-Trennabschnitt 2 getrennten Audiodaten und eine Audiowiedergabeeinrichtung 7 zum Ausführen einer Audiowiedergabe basierend auf den am Audioverarbeitungsabschnitt 6 verarbeiteten Audiodaten. In dieser Ausführungsform umfaßt die Dateieinrichtung 1 eine Mehrzahl Dateieinrichtungen A, B, C, aber es gibt keine besondere Beschränkung für die Anzahl der Dateieinrichtungen, die auch eins sein kann.
Der AV-Trennabschnitt 2 umfaßt einen Dateieinrichtungsauswählabschnitt 21 zum Auswählen einer oder mehrerer der Dateieinrichtungen A bis C, um davon Daten auszulesen, einen Videotrennabschnitt 22, um nur Videodaten von den ausgelesenen Daten zu trennen, und einen Audiotrennabschnitt 23, um nur Audiodaten von den ausgelesenen Daten zu trennen.
Der Videoverarbeitungsabschnitt 3 umfaßt einen komprimierten Videospeicher 31, ein Videodekodiergerät 32, einen Videoframespeicher 33 und einen Videoanzeigesteuerabschnitt 34. Der komprimierte Videospeicher 31 speichert die am Videotrennabschnitt 22 getrennten Videodaten. Das Videodekodiergerät 32 führt einen Dekomprimier- oder Erweiterungsprozeß aus, wenn die im komprimierten Videospeicher 31 gespeicherten Videodaten komprimiert werden, und speichert erweiterte Videodaten pro Frame in den Videoframespeicher 33. Der Videoanzeigesteuerabschnitt 34 überführt die erweiterten Videodaten pro Frame unter Verwendung eines Videozeitstempels, der den erweiterten Videodaten als Referenzzeit gegeben ist, an die Videoanzeigeeinrichtung 4.
Der AV-Synchronsteuerabschnitt 5 umfaßt einen Videozeitstempel-Detektierabschnitt 51, einen Audiozeitstempel-Ableitabschnitt 52, einen Zeitstempelvergleichsabschnitt 53, einen Videosprungsteuerabschnitt 54 und einen Videowiederholsteuerabschnitt 55. Der Videozeitstempel-Detektierabschnitt 51 erhält vom Videodekodiergerät 32 einen Videozeitstempel von Videodaten, die verarbeitet werden. Der Audiozeitstempel- Ableitabschnitt 52 erhält von einem Audiowiedergabesteuerabschnitt 64 eine Audiodatenmenge, die bis dahin zur Audiowiedergabe verarbeitet worden ist, und wandelt sie in einen Audiozeitstempel-Äquivalentwert um. Der Zeitstempelvergleichsabschnitt 53 vergleicht den Videozeitstempel vom Videozeitstempel-Detektierabschnitt 51 und den Audiozeitstempel-Äquivalentwert vom Audiozeitstempel-Ableitabschnitt 52 und erzeugt ein Vergleichsergebnissignal. Abhängig vom Vergleichsergebnissignal steuert der Videosprungsteuerabschnitt 54 oder der Videowiederholsteuerabschnitt 55 eine Videoframeanzeige. Der Videosprungsteuerabschnitt 54 und der Videowiederholsteuerabschnitt 55 bilden gemeinsam ein Videoanzeigesteuermittel.
Der Audioverarbeitungsabschnitt 6 umfaßt einen komprimierten Audiospeicher 61, ein Audiodekodiergerät 62, einen Audiospeicher 63 und einen Audiowiedergabesteuerabschnitt 64. Der komprimierte Audiospeicher 61 speichert die am Audiotrennabschnitt 23 getrennten Audiodaten. Das Audiodekodiergerät 62 führt einen Erweiterungsprozeß aus, wenn die im komprimierten Audiospeicher 61 gespeicherten Audiodaten komprimiert werden, und speichert erweiterte Audiodaten im Audiospeicher 63. Der Audiowiedergabesteuerabschnitt 64 überführt die erweiterten Audiodaten zur Audiowiedergabeeinrichtung 7.
Mit Bezug auf 2 wird nun die Arbeitsweise des in 1 gezeigten Audio-/Videosynchronwiedergabegeräts im Detail beschrieben.
Der Videoverarbeitungsabschnitt 3, der AV-Synchronsteuerabschnitt und der Audioverarbeitungsabschnitt 6 arbeiten unabhängig voneinander und können durch spezifische Schaltungen oder eine Softwaresteuerung basierend auf einer Zeitmultiplex-Multitaskverarbeitung oder dergleichen realisiert werden.
Der Dateieinrichtungauswahlabschnitt 21 wählt eine oder mehrere der Dateieinrichtungen A bis C aus der Dateieinrichtung 1 aus, die von einer Bedienperson oder dergleichen für Videodaten bzw. Audiodaten bestimmt wird, um komprimierte Daten daraus auszulesen und die ausgelesenen komprimierten Daten an den Videotrennabschnitt 22 und den Audiotrennabschnitt 23 zu senden. Der Videotrennabschnitt 22 trennt komprimierte Videodaten von den ausgelesenen komprimierten Daten und speichert die komprimierten Videodaten im komprimierten Videospeicher 31 (Schritt A1). Wenn dies sofort nach dem Beginn der Wiedergabe passiert, ruft der Videotrennabschnitt 22 zu dieser Zeit einen ersten Videozeitstempel ab und sendet ihn an den Zeitstempelvergleichsabschnitt 53.
Der Videoanzeigesteuerabschnitt 34 prüft, ob ein Befehl der Videowiederholung, d. h. ein Videowiederholbefehlssignal, vom Videowiederholsteuerabschnitt 55 empfangen wird (Schritt A2). Wenn das Videowiederholbefehlssignalempfangen wird, steuert der Videoanzeigesteuerabschnitt 34 die Videoanzeigeeinrichtung 4, um weiterhin einen Videoframe anzuzeigen, der für eine bestimmte Zeit angezeigt wird (Schritt A4).
Dann prüft die Videoanzeigesteuerabschnitt 34, ob ein Befehl des Videospringens, d. h. ein Videosprungbefehlssignal, vom Videosprungsteuerabschnitt 54 empfangen wird (Schritt A3). Wenn das Videosprungbefehlssignalempfangen wird, befiehlt der Videoanzeigesteuerabschnitt 34 dem Videodekodiergerät 32, einen Videoerweiterungsprozeß zu überspringen, der einer bestimmten Zeitdauer entspricht (Schritt A5).
Das Videodekodiergerät 32 erweitert die im komprimierten Videospeicher 31 gespeicherten komprimierten Videodaten und speichert erweiterte Videodaten im Videoframespeicher 33 (Schritt A6). Zu dieser Zeit extrahiert das Videodekodiergerät 32 einen Videozeitstempel aus den Videodaten und benachrichtigt den Videozeitstempel-Detektierabschnitt 51 hiervon (Schritt A7). Als Reaktion auf die Videostempelbenachrichtigung beginnt der AV-Synchronsteuerabschnitt 5 einen AV-Synchronprozeß. Der Videoanzeigesteuerabschnitt 34 zeigt die erweiterten Videodaten auf der Videoanzeigeeinrichtung 4 an (Schritt A8). Die Ausführung der Schritte A1 bis A8 wird wiederholt, bis alle Videodaten verarbeitet worden sind (Schritt A9).
Mit Bezug auch auf 3 wird nun die Arbeitsweise des Audioverarbeitungsabschnitts 6 beschrieben.
Der Audiotrennabschnitt 23 trennt komprimierte Audiodaten von den vorangegangenen komprimierten Daten, die aus der Dateieinrichtung 1 ausgelesen werden, und speichert die komprimierten Audiodaten im komprimierten Audiospeicher 61 (Schritt B1). Wenn dies sofort nach dem Beginn der Wiedergabe erfolgt, ruft der Audiotrennabschnitt 23 zu dieser Zeit einen ersten Audiozeitstempel ab und gibt ihn dem Zeitstempelvergleichsabschnitt 53 ein.
Das Audiodekodiergerät 62 erweitert die komprimierten Audiodaten, die im komprimierten Audiospeicher 61 gespeichert sind, und speichert erweiterte Audiodaten in den Audiospeicher 63 (Schritt B2). Der Audiowiedergabesteuerabschnitt 64 steuert die Audiowiedergabeeinrichtung 7, um basierend auf den im Audiospeicher 63 gespeicherten Audiodaten eine Audiowiedergabe auszuführen (Schritt B3). Die Ausführung der Schritte B1 bis B3 wird wiederholt, bis alle Audiodaten verarbeitet worden sind (Schritt B4).
Mit Bezug auch auf 4 wird nun die Arbeitsweise des AV-Synchronsteuerabschnitts 5 beschrieben.
Der Videozeitstempel-Detektierabschnitt 51 erhält einen Videozeitstempel von Videodaten, die vom Videodekodiergerät 32 verarbeitet werden (Schritt C1). Der Audiozeitstempel-Ableitabschnitt 52 erhält vom Audiowiedergabesteuerabschnitt 64 eine Audiodatenmenge, die bis dahin zur Audiowiedergabe verarbeitet worden sind (Schritt C2) und wandelt sie in einen Audiozeitstempel-Äquivalentwert um (Schritt C3).
Der Audiozeitstempel-Äquivalentwert kann durch die folgende Umwandlungsgleichung abgeleitet werden: ATSEV = PADA ÷ (SF × QB × C) (1)wobei ATSEV einen Audiozeitstempel-Äquivalentwert darstellt, PADA eine Audiodatenmenge, die vom Beginn der Wiedergabe bis dahin zur Wiedergabe verarbeitet worden ist, SF die Abtastfrequenz, QB die Anzahl der Quantifizierungsbits und C die Anzahl der Kanäle.
Die Abtastfrequenz, die Anzahl der Quantifizierungsbits und die Anzahl der Kanäle werden aus einem Audioformat erhalten, das an der Audiowiedergabeeinrichtung 7 wiedergegeben wird.
Zum Beispiel wird unter der Annahme, daß bezogen auf die Audiodaten die Abtastfrequenz 48 KHz, die Anzahl der Quantifizierungsbits 16, die Anzahl der Kanäle 2, die Einheit der Datenmenge Byte und die Einheit eines Zeitstempels 90 KHz ist (im Fall, daß eine Videokomprimiermethode MPEG ist), die Umwandlungsgleichung durch ATSEV = PADA × 8 × 90000 ÷ (48000 × 16 × 2) (2)gegeben.
Dann prüft der Zeitstempelvergleichsabschnitt 53, ob dies die erste Synchronsteuerung vom Beginn der Wiedergabe ist (Schritt C4). Wenn dies positiv ist, leitet der Audiozeitstempel-Ableitabschnitt 52 einen Korrekturwert A ab (Schritt C6). Der Korrekturwert A wird durch A = FVTS – ATSEV (3)gegeben, wobei FVTS einen ersten Zeitstempel in Videodaten wiedergibt.
Der Korrekturwert A ist notwendig, wenn Audiodaten nicht von Beginn an zur Wiedergabe verarbeitet werden oder wenn sich Referenzzeiten von Videodaten und Audiodaten voneinander unterschieden.
Wenn andererseits bei Schritt C4 negativ auftritt, d. h. wenn es nicht die erste Synchronsteuerung ab Beginn der Wiedergabe ist, vergleicht der Zeitstempelvergleichsabschnitt 53 einen letzten Videozeitstempel und einen derzeitigen Videozeitstempel (Schritt C5). Wenn der letzte Videozeitstempel größer als der derzeitige Videozeitstempel ist, leitet der Audiozeitstempel-Ableitabschnitt 52 einen Korrekturwert B ab (Schritt C7). Der Korrekturwert B wird durch B = CVTS – ATSEV (4)gegeben, wobei CVTS einen derzeitigen Videozeitstempel wiedergibt.
Der Korrekturwert B ist notwendig, um AV-Synchronisation zu erreichen, wenn Daten verarbeitet werden, deren Zeitstempel nicht einfach zunimmt.
Der Zeitstempelvergleichsabschnitt 53 speichert den derzeitigen Videozeitstempel (Schritt C8). Dieser gespeicherte Wert wird bei der nächsten Ausführung des Schrittes C5 als ein letzer Videozeitstempel verwendet.
Der Zeitstempelvergleichsabschnitt 53 korrigiert den Audiozeitstempel-Äquivalentwert unter Verwendung der Korrekturwerte A und B (Schritt C9), um einen korrigierten Audiozeitstempel-Äquivalentwert abzuleiten. Der korrigierte Audiozeitstempel-Äquivalentwert wird durch CATSEV = ATSEV + A – B (5)gegeben, wobei CATSEV einen korrigierten Audiozeitstempel-Äquivalentwert wiedergibt.
Dann vergleicht der Zeitstempelvergleichsabschnitt 53 den korrigierten Audiozeitstempel-Äquivalentwert und den Videozeitstempel miteinander (Schritt C10). Wenn der Videozeitstempel und der korrigierte Audiozeitstempel-Äquivalentwert gleich sind, passiert nichts, weil die Synchronisation zwischen den Video- und Audiodaten realisiert ist. Um zu verhindern, daß der Synchronisationsprozeß häufig durchgeführt wird, ist vorgesehen, daß der Vergleichsprozeß bei Schritt C10 mit einem bestimmten Zeitintervall ausgeführt wird, zum Beispiel mit einem Zeitintervall, das einer Wiedergabezeit von mehreren Videoframes entspricht. Wenn der Videozeitstempel kleiner als der korrigierte Audiozeitstempel-Äquivalentwert ist, bedeutet das, daß der Prozeß der Videodaten verzögert ist, so daß der Videosprungsteuerabschnitt 54 dem Videodekodiergerät 32 und dem Videoanzeigesteuerabschnitt 34 befiehlt, den Erweiterungsprozeß und den Anzeigeaktualisierungsprozeß der Videodaten zu überspringen, die einer Zeitverzögerung im Prozeß der Videodaten entsprechen (Schritt C11). Wenn der Videozeitstempel größer als der korrigierte Audiozeitstempel-Äquivalentwert ist, bedeutet dies andererseits, daß der Prozeß der Videodaten fortgeschritten ist, so daß der Videowiederholsteuerabschnitt 55 dem Videodekodiergerät 32 und dem Videoanzeigesteuerabschnitt 34 befiehlt, den Erweitungsprozeß und den Anzeigeaktualisierungsprozeß der Videodaten, die einer fortgeschrittenen Zeit entsprechen, zeitweilig anzuhalten (Schritt C12).
Gemäß dem in 1 gezeigten Audio-/Videosynchronwiedergabegerät können das Audioverarbeitungssystem und das Videoverarbeitungssystem die exakte AV-Synchronisation der vollständig unabhängigen Daten realisieren. Dies wird durch Vorsehen des Audiozeitstempel-Ableitabschnitts 52 erreicht, der eine verarbeitete Audiodatenmenge in einen Wert umwandelt, der einem Zeitstempel im Videoverarbeitungssystem äquivalent ist.
Weiterhin kann die Wiedergabe kontinuierlich ohne Unterbrechung ausgeführt werden, selbst wenn Intervalle zwischen den Zeitstempeln nicht konstant sind oder der Zeitstempel nicht einfach zunimmt. Dies wird durch Vorsehen des Zeitstempelvergleichsabschnitts 53 erreicht.
Mit Bezug auf 5 wird nun ein Audio-/Videosynchronwiedergabegerät gemäß der zweiten bevorzugten Ausführungsform der vorliegenden Erfindung beschrieben. In 5 sind den Komponenten, die den Komponenten in 1 entsprechen, die gleichen Bezugszeichen zugeordnet, so daß deren Erklärung ausgelassen wird. Im in 5 gezeigten Audio-Nideosynchronwiedergabegerät umfaßt der Audioverarbeitungsabschnitt 6 im Vergleich zu dem in 1 gezeigten Audio-/Videosynchronwiedergabegerät weiterhin einen Audiowiedergabebeendigung-Benachrichtigungsabschnitt 65.
Mit Bezug auch auf 6 wird die Arbeitsweise des Audioverarbeitungsabschnitts 6 beschrieben.
Als erstes leitet der Audiowiedergabesteuerabschnitt 64 eine Audiodatenwiedergabegröße ab, die in einem Wiedergabevorgang (äquivalent einer Datenmenge, die einer Wiedergabezeit eines Videoframes entspricht) basierend auf einem Audiowiedergabeformat und einer Videoframerate unter Verwendung der folgenden Gleichung verarbeitet werden soll (Schritt D1): ADRS = SF × QB × C ÷ FR (6)wobei ADRS eine Audiodatenwiedergabegröße, SF eine Abtastfrequenz, QB die Anzahl der Quantifizierungsbits, C die Anzahl der Kanäle und FR eine Videoframerate wiedergibt.
Zum Beispiel wird die Audiodatenwiedergabegröße unter der Annahme, daß die Abtastfrequenz mit Bezug auf die Audiodaten 48 KHz, die Anzahl der Quantifizierungsbits 16, die Anzahl der Kanäle 2, die Einheit der Datenmenge Byte und die Videoframerate 30 Frames/Sekunde ist, durch ADRS = 48000 × 16 ÷ 8 × 2 ÷ 30 = 6400 (Byte) (7)gegeben.
Der Audiowiedergabesteuerabschnitt 64 sichert eine Mehrzahl Audiopuffer auf dem Audiospeicher 63, wobei jeder die solchermaßen abgeleitete Größe aufweist und als ein Block gesetzt wird (Schritt D2).
Das Audiodekodiergerät 62 erweitert die komprimierten Audiodaten, die einer Datenmenge entsprechen, um alle gesicherten Audiopuffer zu besetzen, und speichert sie dadurch im Audiospeicher 63 (Schritt D3). Der Audiowiedergabesteuerabschnitt 64 sendet die erweiterten Audiodaten pro Block zur Audiowiedergabeeinrichtung 7, um die Audiowiedergabe zu beginnen (Schritt D4).
Der Audiowiedergabesteuerabschnitt 64 wartet auf die Beendigung der Audiowiedergabe eines Blocks (Schritt D5). Der Audiowiedergabebeendigung-Benachrichtungsabschnitt 65 benachrichtigt den Audiozeitstempel-Ableitabschnitt 52 über die Beendigung der Audiowiedergabe eines Blocks, d. h. entsprechend einem Videoframe (Schritt D6). Der Audiowiedergabesteuerabschnitt 64 beurteilt weiterhin, ob alle Audiodaten verarbeitet worden sind (Schritt D7).
Wenn bei Schritt D7 negativ auftritt, trennt der Audiotrennabschnitt 23 komprimierte Audiodaten von komprimierten Daten, die von der Dateieinrichtung 1 ausgelesen werden, und speichert die komprimierten Audiodaten im komprimierten Audiospeicher 61 (Schritt D8).
Das Audiodekodiergerät 62 erweitert die im komprimierten Audiospeicher 61 gespeicherten komprimierten Audiodaten, die einem Block entsprechen, und speichert erweiterte Audiodaten im Audiospeicher 63 (Schritt D9). Der Audiowiedergabesteuerabschnitt 64 steuert die Audiowiedergabeeinrichtung 7, um eine Audiowiedergabe basierend auf den im Audiospeicher 63 gespeicherten Audiodaten auszuführen (Schritt D10). Die Ausführung der Schritte D5 bis D10 wird wiederholt, bis alle Audiodaten verarbeitet worden sind (Schritt D7).
Mit Bezug auf 7 wird die Arbeitsweise des AV-Synchronsteuerabschnitts 5 beschrieben.
Der AV-Synchronsteuerabschnitt 5 beginnt das Verarbeiten als Reaktion auf die Benachrichtigung über die Beendigung der Audiowiedergabe eines Blocks, die vom Audio wiedergabebeendigung-Benachrichtigungsabschnitt 65 erhalten wird. Der Audiozeitstempel-Ableitabschnitt 52 erhält vom Audiowiedergabesteuerabschnitt 64 eine Audiodatenmenge, die bis dahin zur Wiedergabe verarbeitet worden ist (Schritt E1) und wandelt sie in einen Audiozeitstempel-Äquivalentwert um (Schritt E2). Der Audiozeitstempel-Äquivalentwert wird durch die vorstehenden Gleichungen (1) und (2) gegeben. Der solchermaßen abgeleitete Audiozeitstempel-Äquivalentwert wird immer ein Ganzzahliges mal einer Erzeugungszeit eines Videoframes. Daher ist es möglich, den genauen AV-Synchronprozeß basierend auf der Audiowiedergabezeit auszuführen.
Der Videozeitstempel-Detektierabschnitt 51 erhält vom Videodekodiergerät 32 einen Videozeitstempel von Videodaten, die verarbeitet werden (Schritt E3).
Die Vorgänge bei den folgenden Schritten C4 bis C12 sind die gleichen wie die in der vorstehenden ersten bevorzugten Ausführungsform, so daß ihre Erläuterung weggelassen wird.
Da die Arbeitsweise des Videoverarbeitungsabschnitts 3 die gleiche wie die in der vorstehenden ersten bevorzugten Ausführungsform ist, wird ihre Erläuterung ebenso weggelassen.
Im Audio-/Videosynchronwiedergabegerät gemäß der zweiten bevorzugten Ausführungsform kann, verglichen mit dem in der vorstehenden ersten bevorzugten Ausführungsform, die genaue AV-Synchronisation selbst dann erreicht werden, wenn die Audiodatenmenge, die zur Wiedergabe bis zu einer gegebenen Zeit verarbeitet wird, nicht erhalten werden kann oder zwar erhalten werden kann, aber mit schlechter Genauigkeit. Dies wird durch das Vorsehen des Audiowiedergabebeendigung-Benachrichtigungsabschnitts realisiert, der es ermöglicht, eine genaue Referenzzeit zu erhalten, die ein Ganzzahliges mal einer Erzeugungszeit eines Videoframes ist.
Gemäß den vorstehenden ersten und zweiten bevorzugten Ausführungsformen kann die AV-Synchronisation selbst mit Daten erreicht werden, die verschiedene Referenzzeiten für Audio- und Videodaten aufweisen, weil die verarbeitete Audiodatenmenge in einen Wert umgewandelt wird, der einem Zeitstempel im Videoverarbeitungssystem äquivalent ist.

Claims

Ein Audio/Video-Synchronwiedergabegerät zum synchronen Ausführen von Audiowiedergabe und Videoanzeige als Reaktion auf Audiodaten und Videodaten, umfassend: Videoverarbeitungsmittel (3) zum Verarbeiten der Videodaten, um ein Videoanzeigesteuersignal und einen Videozeitstempel zu erzeugen; Videoanzeigemittel (4), die zum Durchführen der Videoanzeige in Übereinstimmung mit dem Videoanzeigesteuersignal mit den Videoverarbeitungsmitteln verbunden sind; Audioverarbeitungsmittel (6) zum Verarbeiten der Audiodaten, um ein Audiowiedergabesteuersignal und eine verarbeitete Audiodatenmenge zu erzeugen; Audiowiedergabemittel (7), die zum Durchführen der Audiowiedergabe in Übereinstimmung mit dem Audiowiedergabesteuersignal mit den Audioverarbeitungsmitteln verbunden sind; Videozeitstempeldetektionsmittel (51), die zum Detektieren des Videozeitstempels mit den Videoverarbeitungsmitteln verbunden sind, dadurch gekennzeichnet, daß das Wiedergabegerät weiterhin umfaßt: Audiozeitstempelableitungsmittel (52), die zum Ableiten eines mit dem Audiozeitstempel äquivalenten Wertes, der auf der verarbeiteten Audiodatenmenge basiert, mit den Audioverarbeitungsmitteln (6) verbunden sind, indem die bis dahin verarbeitete Audiodatenmenge zur Audiowiedergabe in den zum Zeitstempel äquivalenten Wert konvertiert wird; Zeitstempelvergleichsmittel (53), die mit den Videozeitstempeldetektionsmitteln (51) und den Audiozeitstempelableitungsmitteln verbunden sind, um den Videozeitstempel mit dem dem Audiozeitstempel äquivalenten Wert zu vergleichen, um ein Vergleichsergebnissignal zu erzeugen, das ein Indikator für eine verzögerte/fortgeschrittene Beziehung zwischen den Videodaten und den Audiodaten ist; und Videosteuerungsmittel (54, 55), die zum Steuern eines Vorgangs der Videoverarbeitungsmittel (3) als Reaktion auf das Vergleichsergebnissignal mit den Videoverarbeitungsmitteln (3) und den Zeitstempelvergleichsmitteln (53) verbunden sind.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 1 beansprucht, weiterhin umfassend: Videotrennmittel (22), die zum Trennen der Videodaten von aus einer Dateieinrichtung ausgelesenen Daten und zum Zuführen derselben zu den Videoverarbeitungsmitteln mit den Videoverarbeitungsmitteln verbunden sind; und Audiotrennmittel (23), die zum Trennen der Audiodaten von den aus der Dateieinrichtung ausgelesenen Daten und zum Zuführen derselben zu den Audioverarbeitungsmitteln mit den Audioverarbeitungsmitteln verbunden sind.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 1 beansprucht, wobei das Videosteuermittel umfaßt: Videosprungsteuermittel (54) zum Erzeugen eines Videosprungbefehlsignals, wenn das Vergleichsergebnissignal ergibt, daß die Videodaten verzögert sind; und Videowiederholungssteuermittel (55) zum Erzeugen eines Videowiederholungsbefehlsignals, wenn das Vergleichsergebnissignal ergibt, daß die Audiodaten verzögert sind, wobei die Videoverarbeitungsmittel eine Verarbeitung der Videodaten gemäß dem Videosprungbefehlsignal überspringen und die Verarbeitung der Videodaten gemäß dem Videowiederholungsbefehlsignal stoppen.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 1 beansprucht, wobei das Audiozeitstempelableitungsmittel den mit dem Audiozeitstempel äquivalenten Wert ableitet, indem eine Gleichung verwendet wird, die durch ATSEV = PADA ÷ (SF × QB × C)wiedergegeben ist, wobei ATSEV den dem Audiozeitstempel äquivalenten Wert darstellt, PADA die verarbeitete Audiodatenmenge darstellt, SF eine Abtastfrequenz darstellt, QB die Anzahl Quantisierungsbits darstellt und C die Anzahl der Kanäle darstellt.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 4 beansprucht, wobei das Audiozeitstempelableitungsmittel Mittel zum Korrigieren des dem Audiozeitstempel äquivalenten Wertes umfaßt, wenn der Videozeitstempel unmittelbar nach dem Start der Wiedergabe diskontinuierlich ist.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 4 beansprucht, wobei die verarbeitete Audiodatenmenge äquivalent zu einem Wert ist, der ein Ganzzahliges mal einer Wiedergabezeit eines Videobildes ist.
Ein Audio/Video-Synchronwiedergabegerät wie in Anspruch 1 beansprucht, wobei das Audioverarbeitungsmittel (6) weiterhin einen Audiowiedergabebeendigung-Benachrichtigungsabschnitt (65) einschließt.
Ein Verfahren der Audio/Video-Synchronwiedergabe unter Verwendung eines Wiedergabegeräts, das einen Audioverarbeitungsabschnitt (6) zum Ausführen von Audiowiedergabe und einen Videoverarbeitungsabschnitt (3) zum Ausführen der Videoanzeige aufweist, umfassend die Schritte: Detektieren eines Videozeitstempels, der Videodaten durch Videozeitstempeldetektionsmitteln (51) zugeordnet ist, die mit den Videoverarbeitungsmitteln (3) verbunden sind; Ableiten eines dem Audiozeitstempel äquivalenten Wertes, der auf einer verarbeiteten Menge von Audiodaten durch Konvertieren der Audiodatenmenge basiert, die bis dahin zur Audiowiedergabe in den dem Audiozeitstempel äquivalenten Wert verarbeitet wurden; Durchführen eines Vergleichs zwischen dem dem Videozeitstempel und dem Audiozeitstempel äquivalenten Wert durch Zeitstempelvergleichsmittel (53), die mit den Videozeitstempeldetektionsmitteln (51) und Audiozeitstempelableitungsmitteln (52) verbunden sind, um ein Vergleichsergebnissignal zu erzeugen; und Steuern der Videoanzeige in Übereinstimmung mit einem Ergebnis des Vergleichs, um mit der Audiowiedergabe synchron zu sein.