DE69423714T2

DE69423714T2 - Verfahren und Vorrichtung zur Steuerung der Echtzeitdarstellung von Audio-/Videodaten in einem Rechner

Info

Publication number: DE69423714T2
Application number: DE69423714T
Authority: DE
Inventors: David Goldberg; Steve R. Harrison; Scott L. Minneman; David A. Nichols
Original assignee: Xerox Corp
Current assignee: LG Electronics Inc
Priority date: 1993-12-20
Filing date: 1994-12-19
Publication date: 2000-07-27
Anticipated expiration: 2014-12-20
Also published as: EP0660221B1; DE69423714D1; US5692213A; JPH07219970A; EP0660221A1

Description

Die vorliegende Erfindung betrifft im allgemeinen Möglichkeiten zur Darstellung von Audio-Videoinformationen und betrifft insbesondere das beschleunigte Abspielen einer Multimedia-Echtzeit-Präsentation.
Multimedia ist eine Verbindung von Text, Graphik und Klang in einer Weise, die vom Anwender beeinflußbar ist. Aufgrund der großen Informationsfülle, die in eine Multimedia-Präsentation einzubinden ist, benötigen Multimedia-Computer im allgemeinen einen schnellen Mikroprozessor, viel Speicherplatz und einen hoch auflösenden Monitor. Da die Computerpreise bei steigender Leistung ständig sinken, wird Multimedia zunehmend sowohl im Heimbereich als auch am Arbeitsplatz verfügbar. Somit werden Audiodaten und Videodaten rasch zu standardmäßigen Datentypen in einer Arbeitsplatzrechnerumgebung.
Multimedia-Präsentationen können auf einem festen Medium, wie etwa nur-lesbare Kompaktdisketten (CD-ROM), gespeichert werden, oder diese können in Echtzeit (d. h., als Direktübertragung einer Telekonferenz) dargestellt werden. Die Speicherung auf einem festen Medium erlaubt dem Anwender ein bequemes Steuern, um Teile der Präsentation für den Fall, daß etwas verpaßt wurde, anzuhalten und erneut wiederzugeben. Echtzeit-Präsentationen machen es allerdings schwierig, verpaßte Informationen zu sichten, da der Anwender den verpaßten Teil nicht einsehen kann, wenn nicht die Präsentation aufgezeichnet und später nach deren Ablauf eingesehen wird. Es ist ebenfalls wünschenswert, einem Anwender das Sichten und das sich Einschalten in eine sich in Gange befindlichen Echtzeit-Präsentation zu erlauben.

ÜBERBLICK ÜBER DIE ERFINDUNG

Die vorliegende Erfindung löst zwei Probleme, die bei direkt übertragenen Multimedia- Präsentationen auftreten können. Das erste Problem ergibt sich, wenn eine Person das Treffen von Beginn an verfolgt und zurückspulen will, um etwas zu überprüfen, ohne dabei etwas zu verpassen, während das Treffen in Gange ist. Ein zweites Problem er gibt sich, wenn eine Person sich einem sich in Gange befindlichen Treffen anschließen will und auf den aktuellen Stand bezüglich des bisherigen Geschehens gebracht werden muß.
Um diese Probleme zu lösen, sorgt die vorliegende Erfindung dafür, daß ein Teil einer direkt übertragenden Multimedia-Präsentation aufgezeichnet und mit erhöhter Geschwindigkeit abgespielt wird, bis der Anwender Anschluß an die Echtzeit-Präsentation gefunden hat. Die Möglichkeit, eine Präsentation aufzuzeichnen und abzuspielen, während die Präsentation noch im Gange ist, erlaubt es einem Anwender auch, ein bereits begonnenes Treffen zu sichten und sich diesem "anzuschließen". Wenn ein Teil einer Multimedia-Präsentation verpaßt wird, gestattet es die vorliegende Erfindung dem Anwender, zum Anfangspunkt der verpaßten Information zurückzukehren und diese mit erhöhter Geschwindigkeit zu sichten bis der Anwender den Anschluß an die Echtzeit- Präsentation gefunden hat. Obwohl die Audio- und die Videopräsentation beschleunigt sind, bleiben diese dennoch für den Anwender erkennbar. Die Audiodarstellung wird mittels Techniken, die Sprachkompressionsalgorithmen mit einschließen, die die Tonhöhe der Audiodarstellung im beschleunigten Format beibehalten, beschleunigt. Die Videodarstellung wird dann durch Entfernen einiger Bilder komprimiert, so daß diese mit der beschleunigten Audiodarstellung synchron ist. Während der Anwender die aufgezeichnete Information betrachtet, verpaßt er offensichtlich weitere Informationen in der Multimedia-Präsentation. Daher wird erfindungsgemäß während der beschleunigten Wiedergabe gleichzeitig aufgenommen, so daß der Anwender keine weitere Information verpaßt.
Eine bevorzugte Ausführungsform schließt eine Softwareausführung auf einem Computersystem mit ein. Das Computersystem umfaßt einen Prozessor, einen Speicherbereich, ein Ausgabegerät und ein Anwendereingabegerät. Das Verfahren umschließt die Schritte: Aufzeichnen eines Teils einer Echtzeit-Multimedia-Präsentation, Abspielen des aufgezeichneten Teils mit einer synchronisierten beschleunigten Geschwindigkeit, während gleichzeitig die Echtzeit-Präsentation aufgezeichnet wird, und Fortfahren mit dem Abspielen der Präsentation mit normaler Geschwindigkeit, wenn die beschleunigte Wiedergabe die Echtzeit-Präsentation einholt. Vorzugsweise umfaßt die vorliegende Erfin dung einen graphischen Zeitstrahl, um es dem Anwender zu ermöglichen, in einfacherer Weise den Punkt zum Fortfahren der Wiedergabe auszuwählen.
Ein besseres Verständnis der Natur und der Vorteile der Erfindung kann mit Bezug zu den folgenden Teilen der Beschreibung und der Zeichnungen gewonnen werden. Die detaillierten Merkmale der vorliegenden Erfindung sind in den unabhängigen Ansprüchen definiert.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 zeigt ein Beispiel eines Computersystems, das zum Ausführen der Instruktionen der vorliegenden Erfindung verwendet wird;
Fig. 2 zeigt ein Systemblockdiagramm eines typischen, zur Ausführung der Instruktionen der vorliegenden Erfindung verwendeten Computersystems;
Fig. 3 zeigt einen Anzeigebildschirm, der die Anwenderschnittstelle der vorliegenden Erfindung darstellt;
Fig. 4 zeigt einen Teilbildschirm einer Ausführungsform der vorliegenden Erfindung;
Fig. 5 zeigt ein grundsätzliches Flußdiagramm des erfindungsgemäßen Wiedergabealgorithmus für die beschleunigte Multimedia-Präsentation; und
Fig. 6 zeigt eine bevorzugte Ausführungsform der Erfindung, in der mehrere Computer zu einem Computernetzwerk verbunden sind.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM

Die vorliegende Erfindung arbeitet auf jedem beliebigen Computer, der geeignet ist, Multimedia-Präsentation abzuspielen und aufzuzeichnen; es wird keine zusätzliche Hardware benötigt. Wie aus der folgenden Erläuterung ersichtlich wird, muß der Computer allerdings in der Lage sein, gespeicherte Multimedia-Informationen in einem be schleunigten Format abzuspielen, während gleichzeitig die direkt übertragene bzw. die Live-Multimedia-Information aufgezeichnet wird. In der bevorzugten Ausführungsform wird eine Sun SPARC Workstation, auf der ein UNIX Ethernet-Netzwerk läuft, eine Sun DIME-Konsole und das Sun MAK++ Softwarepaket verwendet, um die Erfindung zu implementieren. Diese Erfindung nützt vorteilhafterweise die Eigenschaft von UNIX- Dateien aus, die es erlaubt, auf den Inhalt von Dateien zuzugreifen, während diese beschrieben werden.
Fig. 1 zeigt ein Beispiel eines Computersystems, das zum Ausführen des erfindungsgemäßen Instrukionsblocks verwendet wird. Fig. 1 zeigt ein Computersystem 1, das eine Anzeigeeinheit 3, einen Bildschirm 5, ein Gehäuse 7, eine Tastatur 9 und eine Maus 11 umfaßt. Die Maus 11 kann einen oder mehrere Schalter, wie Mausschalter 13 aufweisen. Das Gehäuse 7 beherbergt bekannte Computerkomponenten (nicht gezeigt), wie etwa einen Prozessor, einen Speicher, Diskettenlaufwerke etc. Das Computersystem 1 muß eine Echtzeit-Multimedia-Präsentation empfangen, so daß dieses mit externen Hardware-Komponenten verbunden sein muß. Diese externen Hardwarekomponenten sind ebenfalls innerhalb des Gehäuses 7 mit dem Computersystem 1 verbunden.
Fig. 2 ist ein Systemblockdiagramm eines Computersystems 1, das zum Ausführen des erfindungsgemäßen Funktionsablaufs verwendet wird. Das Computersystem 1 umfaßt Untersysteme wie etwa Prozessor 102, Speicher 104, I/O-Kontroller 106, Anzeigeadapter 108, Monitor 110, seriellen Port 112, Tastatur 114, Festplatte 116, Netzwerkschnittstelle 118 und Lautsprecher 120. Andere für die Verwendung der vorliegenden Erfindung geeignete Computersysteme können zusätzliche oder weniger Untersysteme umfassen. Beispielsweise könnte ein weiteres Computersystem mehr als einen Prozessor 102 (d. h., ein Multiprozessorsystem) einschließen. Oder ein System kann einen schnellen Pufferspeicher umfassen.
Pfeile wie die Pfeile 122 repräsentieren die Struktur des Systembusses des Computersystems 1. Diese Pfeile dienen allerdings zur Illustration jedes beliebigen Anschlußschemas, das zum Verbinden der Untersysteme dient. Beispielsweise könnte der Lautsprecher 120 mit den anderen Untersystemen über einen Port verbunden sein oder eine direkte interne Verbindung zum Hauptprozessor 102 haben. In der bevorzugten Ausführungsform empfängt das Computersystem 1 die Echtzeit-Multimedia- Präsentation und speichert die Präsentationsdaten durch die Netzwerkschnittstelle 118.
Das in Fig. 2 gezeigte Computersystem 1 ist lediglich ein Beispiel eines zur Verwendung mit der vorliegenden Erfindung geeigneten Computersystems. Für den Fachmann ist es offensichtlich, daß andere Konfigurationen von Untersystemen für die Verwendung mit der vorliegenden Erfindung geeignet sind.
Fig. 3 zeigt einen Bildschirm 5, der eine Bildschirmdarstellung 220 der Anwenderschnittstelle der vorliegenden Erfindung darstellt. Generell ist es nicht beabsichtigt, durch die Gestaltung und die Funktionalität der hierin beschriebenen Bildschirmdarstellungen die Erfindung auf diese spezielle Implementierung zu beschränken. Multimedia- Präsentationen können aus Audio- und Videodarstellungen einschließlich von Klang, Bildern, Graphiken und Text zusammengesetzt sein. Die Bildschirmdarstellung 220 ist der Bereich, in dem die Videoausgabe angezeigt wird.
Ein Einfügefenster 222 umfaßt die Kontrollen der Anwenderschnittstelle der vorliegenden Erfindung. Wie bei allen Fenstern in einem Fensterbetriebssystem, kann das Einfügefenster 222 in der Größe verändert werden. Während des normalen Betriebs ist das Einfügefenster 222 auf etwa die bei 247 gezeigte Größe "geschrumpft", so daß es, während die Videobilder in der Bildschirmdarstellung 220 angezeigt werden, unauffällig ist. Das Videobild seinerseits wird in einem Fenster gezeigt, daß so in der Größe verändert wird, daß mehrere Videofenster und Kontrolltafeln in Einfügefenstern (nicht gezeigt) gleichzeitig auf der Bildschirmdarstellung 220 erscheinen können. Obwohl die vorliegende Erfindung in einer Fensterumgebung gezeigt ist, würde diese auch in anderen Umgebungen funktionieren.
Das Fenster 222 beinhaltet eine Kontrolltafel 240, die eine Reihe von Kontrollen, die den an einem Fenstervideokassettenrekorder (VCR) zu findenden Kontrollen ähneln, bereitstellt. Diese umfassen einen Vorlauf 242, eine Pause 246, ein Abspielen 248 und einen Schnellvorlauf 250. Diese Kontrollen funktionieren im wesentlichen in der gleichen Weise wie in einem VCR und der Anwender betätigt diese durch "Anklicken" mit einer Maus oder durch ein beliebiges anderes Computeranwender-Eingabegerät. Wenn während einer Echtzeit-Präsentation der Anwender auf die Pause 246 klickt, wird in einen Pausemodus gewechselt, in welchem das Bildschirmbild angehalten oder "eingefroren" wird und die Audiodarstellung unterdrückt wird, während die Präsentation aufgezeichnet wird.
Fig. 6 zeigt eine bevorzugte Ausführungsform der Erfindung, in der mehrere Computer zu einem Computernetzwerk verbunden sind. Das Netzwerk wird von einem zentralen Verwalter 602, der eine für die entfernten Computer 604 im Netzwerk eine mit diesen verbundene, gemeinsam genutzte Einheit ist, unterhalten. Das Netzwerk kann durch ein beliebiges auf diesem Gebiet bekanntes Mittel implementiert sein. Eine Kamera 606 wird verwendet, um eine Multimedia-Präsentation 608 zu erfassen. Eine Multimedia- Präsentation kann aus Videobildern, Computergraphiken, Sprache, Musik, etc. bestehen. Die Präsentation wird in elektronische Signale 610 umgewandelt, zum Netzwerkverwalter 602 übertragen und im Speicherbereich 612 gespeichert. Sobald die Präsentation gespeichert ist, kann jeder Computer 604 unabhängig und gleichzeitig auf die gespeicherte Präsentation zugreifen, wie dies hierin beschrieben wird. Ein bevorzugtes Format zum Speichern und Auslesen der Präsentation ist das UNIX Dateiformat. Dieses Format erlaubt mehrere verschiedene Lesepunkte in einer gespeicherten Datei und erlaubt aus der Sicht eines Betriebssystems das gleichzeitige Lesen/Schreiben einer gemeinsamen Datei. Vergleiche dazu "The Design of the UNIX Operating Systems" von Maurice J. Bach, Prentice Hall 1986.
Fig. 6 zeigt eine Netzwerkimplementierung der vorliegenden Erfindung. Die Erfindung kann ebenso als ein einzelnes System implementiert sein, in welchem Speicherbereiche, wie etwa Speicherbereich 612, direkt mit jedem der Computer 604 verbunden sind. In der Einzelbetrieb-Implementierung (nicht gezeigt) würde ein Kontrollbereich 240 aus Fig. 3 einen "Aufnahme"-Knopf beinhalten, der dem Anwender gestattet, wahlweise das Aufzeichnen einer gewünschten Multimedia-Präsentation zu starten. Der "Aufnahme"- Knopf ist für die Netzwerkimplementierung der Erfindung nicht notwendig, da jede Multimedia-Präsentation automatisch aufgezeichnet wird. Der Grund dafür, daß ein Anwender in der Einzelbetriebsanordnung die Präsentation nicht aufzuzeichnen wünscht, liegt an dem großen Bedarf an lokalem Speicherplatz, der zum Speichern der Präsentation erforderlich ist. Dies ist typischerweise für einen Speicherbereich, der mit einem Netzwerkverwalter verbunden ist, kein Problem, da der Speicherbereich gemeinsam genutzt wird und gewöhnlicherweise groß ist. Andere Mittel zum Ermöglichen einer selektiven Speicherung einer Multimedia-Präsentation sind möglich.
In Fig. 3 umfaßt das Fenster 222 eine Reihe von Kennzeichenbilder, die dem Anwender helfen, auf verschiedene Bereiche der aufgezeichneten Präsentation zuzugreifen. Auf den aufgezeichneten Bereich kann zugegriffen werden, während das Aufzeichnen noch in Gange ist. Kennzeichenbilder 224, 226, 228, 230, 232 und 234 bilden eine Ablaufanzeigefläche, die die Videobilder repräsentiert, die zu verschiedenen Zeitpunkten während der Aufzeichnung abgespielt wurden. Das Kennzeichenbild 224 repräsentiert das Bild oder den Bildschirminhalt, der gezeigt wurde, als die Aufzeichnung begann. Das Kennzeichenbild 226 zeigt das Bild bis 20% "in" den Aufzeichnungspuffer "hinein". Ebenso zeigen die Kennzeichenbilder 228, 230 und 233 jeweils die Bilder bei 40%, 60% und 80% im Speicherbereich oder Aufzeichnungspuffer. Das Kennzeichenbild 234 zeigt den aktuellen Bildschirminhalt der Echtzeit-Präsentation, d. h. eine Echtzeit-Ausgabe dessen, was gerade in der Präsentation geschieht. Während in Fig. 3 jedes Kennzeichenbild mit beispielsweise "unbewegt", "20%,", "40%", bezeichnet dargestellt ist, wird in der Praxis jedes Kennzeichenbild ein Bild der aufgezeichneten Videodarstellung anzeigen. Wenn die Präsentation beispielsweise eine Vorlesung ist, zeigt jedes Kennzeichenbild einen oder mehrere Sprecher, eine Nahaufnahme eines in der Vorlesung verwendeten sichtbaren Hilfsmittels, etc.
Das Kennzeichenbild 224 zeigt immer den Beginn der Aufzeichnung und ändert sich nicht. Sofern der Puffer weitere Bildschirminhalte speichert, ändern sich allerdings die Kennzeichenbilder 226, 228, 230, 232 und 234. Die Geschwindigkeit, mit der sich jedes Kennzeichenbild ändert, ist proportional zu seinem Wert. Folglich beträgt die Anzeigegeschwindigkeit des Kennzeichenbildes 226 20% der Geschwindigkeit des Kennzeichenbildes 234, das sich mit Echtzeitgeschwindigkeit ändert.
Das Fenster 222 enthält ebenfalls einen Zeitstrahl 236 mit einem Indikator 238. Der Zeitstrahl 236 ist ein Zeitstrahl des im Puffer aufgezeichneten Teils der Präsentation und entspricht den darüberliegenden Kennzeichenbildern. Der Indikator 238 ist ein Symbol, das in der aufgezeichneten Präsentation den Punkt spezifiziert, an dem die Wiedergabe beginnt, wenn der Anwender die Wiedergabefunktion 248 anklickt. In der bevorzugten Ausführungsform zeigt der Bereich des Bildschirms 220 außerhalb des Fensters 222 den durch den Indikator 238 spezifizierten Bildschirminhalt. Auf diese Weise ist es dem Anwender möglich, in der Aufzeichnung den genauen Startpunkt der Wiedergabe festzulegen. Unter Verwendung eines Anwendereingabegerätes kann der Anwender den Indikator 238 entlang des Zeitstrahls 236 bewegen. Dies kann durch eine Reihe von Möglichkeiten verwirklicht sein, einschließlich der Verwendung jeweils der Vorlauf- und Schnellvorlauf-Knöpfe 242 und 250 aus Fig. 3 oder Verwendung einer Maus, um den Indikator 238 entlang des Zeitstrahl 236 zu "ziehen".
Die vorliegende Erfindung spielt eine aufgezeichnete Multimedia-Präsentation mit einer bis zu zwei (2) Mal so großen Geschwindigkeit wie normal ab, während die Synchronität der Videodarstellung und der Audiodarstellung gewahrt bleibt, so daß der Anwender zur direkt übertragenen Echtzeit-Präsentation, die gerade im Gange ist, aufschließen kann. Wie im folgenden erläutert wird, sind größere Wiedergabegeschwindigkeiten ohne Synchronität möglich. Die Wiedergabegeschwindigkeit kann durch den Anwender durch eine Reihe von Möglichkeiten einschließlich des Eingebens einer Zahl an der Tastatur, der Verwendung der Maus zum Manipulieren eines Knopfes oder eines Schiebereglers (nicht gezeigt), etc. spezifiziert werden.
Für das Maß, inwieweit eine Präsentation beschleunigt werden kann und dennoch für den Anwender nachvollziehbar bleibt, gibt es gewisse Grenzen. Die Wiedergabegeschwindigkeit ist im wesentlichen durch die Nachvollziehbarkeit der Beschleunigung der Audiodarstellung begrenzt und nicht durch die Beschleunigung der Videodarstellung. Die vorliegende Erfindung kann die Videodarstellung oder die Wiedergabe von Bilddaten deutlich über eine zweimalige Geschwindigkeitssteigerung durch einfaches Entfernen von mehr Bildern beschleunigen. Diese Geschwindigkeiten sind für den Betrachter immer noch sinnvoll, da der menschliche Verstand visuelle Informationen mit einer hohen Geschwindigkeit aufnehmen kann. Um einige hörbare Hinweise mit der höheren Videodarstellungsgeschwindigkeit zur Verfügung zu stellen, wird ein Verfahren verwendet, in dem versucht wird, weniger als die gesamte hörbare Information zum Anwender zu übertragen.
Die Audiodarstellung wird in Segmente, die durch die Pausen zwischen der Sprache bestimmt sind, aufgeschlüsselt. Jedes Audiosegment wird mit der maximalen nachvollziehbaren Geschwindigkeit (beispielsweise zweimal so schnell als normal) abgespielt bis die gerade gezeigte Videodarstellung dem nächsten Audiosegment entspricht. Zum Beispiel wird ein Audiosegment mit der zweifachen normalen Audiogeschwindigkeit abgespielt, während die Videodarstellung mit einer größeren als der zweifachen Geschwindigkeit wiedergegeben wird. Das Audiosegment wird angehalten, wenn die Videowiedergabe das Ende des Segments (beispielsweise das Ende eines Satzes), das durch die Pausen in der Sprache bestimmt ist, erreicht, worauf das nächste Audiosegment begonnen wird. Auf diese Weise werden lediglich die Anfangsbereiche der beschleunigten Audiodarstellung wiedergegeben. Daher sind die Audio- und Videodarstellungen lediglich bezüglich dem Beginn jedes Audiosegments synchronisiert. Auf diese Weise kann der Anwender genug von der Audiodarstellung hören, um den grundlegenden Gedanken des Geschehens zu erfassen, während die Videodarstellung mit einer Geschwindigkeit wiedergegeben wird, die nicht durch die sprachliche Nachvollziehbarkeit mit einer Geschwindigkeitsgrenze von ungefähr einem Faktor von 2 beschränkt ist.
Der Zeitstrahl 236 aus Fig. 3 kann verwendet werden, um die Anfangs- und Endzeit der Wiedergabe zu wählen. Zusätzlich kann der Zeitstrahl durch Markierungen, wie etwa Markierung 235, erweitert werden, die weitere Geschehnisse anzeigen, über welche das Computersystem informiert wird. Diese Ereignisse umfassen beispielsweise die Ankunft eines Teilnehmers über aktive Elektronikkomponenten enthaltende Erkennungszeichen, die von einer externen Hardware erfaßt werden. Ein Ereignis kann von einem Teilnehmer über einen tragbaren Computer gekennzeichnet werden. Ebenso kann ein Ereignis die Auswahl einer neuen Seite für eine visuelle Präsentation in einem Computerzeichensystem, der Beginn einer Rede einer Person, die von einer Sprachverarbeitungshardware und/oder Software erfaßt wird, die aktuelle Zeit, etc. sein. Weiterhin kann ein Anwender nach Wunsch eigene Markierungen als ein Mittel zum späteren Auffinden eines Bereichs der Präsentation einfügen. Die Markierungen können lokal oder global sein. Globale Markierungen werden automatisch allen Anwendern, die auf die gespeicherte Präsentation zugreifen, durch den Verwalter zur Verfügung gestellt. Lokale Markierungen können entweder automatisch oder manuelle jeweils durch den Computer je des Anwenders oder durch jeden Anwender erzeugt werden, wobei diese Markierungen aber nicht automatisch an andere Anwender des Netzwerks verteilt werden.
In Fig. 3 ist die Markierung 235 global und kennzeichnet lediglich das Ende der bis dahin in Puffer gespeicherten Präsentation. Andere in Fig. 3 dargestellte Markierungen zeigen den Punkt, an dem das Kennzeichenbild über der Markierung im Zeitstrahl auftritt.
Es sind andere Kontrolltafeln möglich, als die, die in Fig. 3 gezeigt sind. Durch Weglassen von Knöpfen oder Kennzeichenbildern werden die Kontrolltafeln verkleinert, so daß eine größere Zahl von diesen Tafeln gleichzeitig auf den Bildschirm 5 paßt. Die Darstellung von Mehrfach-Kontrolltafeln wie etwa Kontrolltafel 222 ist möglich. Dies entspricht mehreren Präsentationen, die gleichzeitig stattfinden, wobei jede in der zuvor beschriebenen Weise vom Anwender wahrgenommen werden kann.
Eine weitere Ausführungsform erlaubt es, den Zeitstrahl zu dehnen oder zu "vergrößern". Dies ist in Fig. 4 gezeigt, wo ein neuer Satz von Kennzeichenbildern 302, ein Zeitstrahl und ein Indikator offensichtlich helfen, die Suche einzugrenzen. Der neue Satz 302 ist eine Ausdehnung des durch ein Zeitbildgebiet 304 spezifizierten Satz 300.
Fig. 5 zeigt ein Flußdiagramm 400, das den grundsätzlichen Ablauf des erfindungsgemäßen Wiedergabealgorithmus für beschleunigtes Multimedia-Darstellen illustriert. Das Flußdiagramm 400 repräsentiert ein oder mehrere Instruktionsroutinen, die in einem Computersystem wie etwa dem in Fig. 1 gezeigten Computersystem 1 ausgeführt werden. Das Flußdiagramm 400 kann durch beliebige, auf diesem Gebiet bekannte Mittel implementiert werden. Beispielsweise kann eine beliebige Zahl von Computerprogrammiersprachen, wie etwa "C", Pascal, FORTRAN, Assembler, etc. verwendet werden. Ferner können diverse Programmieransätze wie etwa prozedurales oder "objektorientiertes" Programmieren, oder Verfahren zur künstlichen Intelligenz verwendet werden. Die Schritte im Flußdiagramm 400 können durch einen oder mehrere Instruktionsroutinen, Prozesse, Unterroutinen, Module, etc. implementiert werden. Es ist offensichtlich, daß das Flußdiagramm 400 lediglich den groben logischen Fluß des erfindungsgemäßen Verfahrens illustriert und das dem Flußdiagramm 400 Schritte hinzugefügt oder von diesem weggenommen werden können. Zur einfacheren Erläuterung werden wir auf die Implementierung des Flußdiagramms 400 als eine einzelne "Routine" Bezug nehmen.
Die Routine des Flußdiagramms 400 beginnt am Schritt 402. Es wird angenommen, daß das Computersystem eine Echtzeit-Multimedia-Präsentation empfängt, wenn die Routine des Flußdiagramms 400 gestartet wird. In einer Netzwerkanwendung speichert in einem Schritt 404 der Verwalter die Multimedia-Präsentation in einem Speicherbereich und der Anwender kann die sich in Gange befindliche Präsentation an seinen Computer betrachten. Während die Erfindung aufzeichnet, kann der Anwender sich anderen Aufgaben, wie etwa dem Studium von Dokumenten oder dem Telefonieren, widmen. Der Anwender kann sogar den Computer verwenden, um weitere Aufgaben zu erledigen, während die Echtzeit- oder beschleunigte Wiedergabe stattfindet. In der bevorzugten Ausführungsform wird die Multimedia-Information auf einer Festplatte in einem komprimierten Format gespeichert, um Plattenspeicherplatz zu sparen.
Im Schritt 406 akzeptiert die Routine Anwenderbefehle, um einen Startpunkt für das Wiedergeben zu bestimmen. Der Anwender verwendet Kontrollen in der Art wie zuvor mit Bezug zu Fig. 3 erläuterten Einfügefenster 222. In ähnlicher Weise akzeptiert die Routine bei Schritt 408 Anwenderbefehle, um die Wiedergabegeschwindigkeit zu kennzeichnen.
Im Schritt 410 wird die gespeicherte Multimedia-Information in beschleunigter Form wiedergegeben, so daß der Anwender zur Echtzeit-Präsentation, die gerade andauert "aufschließen" kann. Während der Wiedergabe wird die Echtzeit-Präsentation gleichzeitig aufgezeichnet bis der Anwender Anschluß gefunden hat. Anders ausgedrückt, der Schritt 404 des Flußdiagramms 400 wird ständig ausgeführt.
Im Schritt 412 wird überprüft, ob die Wiedergabe zu der sich in Gange befindlichen Echtzeit-Präsentation aufgeschlossen hat. Wenn nicht kehrt die Programmabfolge zum Schritt 408 zurück, indem die Routine testet, ob der Anwender wünscht, die Wiedergabegeschwindigkeit zu ändern. Die gespeicherten Audio- und Bilddaten werden kontinuierlich mit der aktuell ausgewählten erhöhten Geschwindigkeit wiedergegeben. Wenn die beschleunigte Wiedergabe Anschluß an die Echtzeit-Präsentation gefunden hat, schreitet der Ablauf zum Schritt 414 weiter.
Wenn die beschleunigte Wiedergabe zur Echtzeit-Präsentation aufgeschlossen hat, wird der Schritt 414 ausgeführt und die Erfindung stoppt das Aufzeichnen der Präsentation und beginnt damit, die Echtzeit-Präsentation mit normaler Geschwindigkeit anzuzeigen. Die Reihenfolge vieler Schritte des Flußdiagramms 400 ist willkürlich und kann vertauscht werden oder gleichzeitig ausgeführt werden. Beispielsweise können die Schritte 408 und 410 ausgetauscht werden und tatsächlich für den Anwender als gleichzeitig erscheinen. Das Flußdiagramm 400 wird in Schritt 416 verlassen.
Während der beschleunigten Wiedergabe der Audiodarstellung, der Videodarstellung, des Textes und Graphiken, sofern vorhanden, bleiben diese in der Multimedia- Präsentation synchronisiert. Die Video-, Text- und Graphikbereiche der Multimedia- Präsentation werden durch Verringerung der Anzahl der angezeigten Bilder beschleunigt. Eine weitere Möglichkeit, die Wiedergabe dieser visuellen Bilder zu erhöhen, besteht darin, die Geschwindigkeit, mit der diese Bilder angezeigt werden, zu steigern, wodurch es möglich ist, alle Bilder anzuzeigen. Obwohl sich in der zuerst genannten Methode das kontinuierliche Verhalten der Anzeige verschlechtert, bleibt diese dennoch für den Anwender nachvollziehbar.
Eine Möglichkeit die Audiowiedergabe zu beschleunigen besteht darin, die Wiedergabegeschwindigkeit zu erhöhen; jedoch würde sich dabei die Tonhöhe der Stimme ändern und diese würde im allgemeinen sogar nur bei leicht erhöhten Geschwindigkeiten unverständlich sein. Eine Ausführungsform der vorliegenden Erfindung verwendet ein Stimmenkomprimierverfahren, das in Roucos et al., "High Quality Time-Scale Modification for Speech" IEEE 1985 und Wayman et al., "Some Improvements on the Synchronized-Overlap-Add Method of Time Scale Modification for Use in Real-Time Speech Compression an d Noise Filtering" IEEE 1988 beschrieben ist und somit als Referenz Bestandteil dieser Anmeldung ist. Durch Verwendung dieser Stimmenkomprimierverfahren wird die Audiodarstellung in einer Weise beschleunigt, daß die Tonhöhe des Sprechers unverändert bleibt und der Anwender verstehen kann, was gesagt wird.
Eine damit verwandte Funktion ist die Fähigkeit der vorliegenden Erfindung, die Audiodarstellung weiter zu beschleunigen, indem Wörter ohne Bedeutung entfernt werden. Somit können Wörter wie "mh" und "äh" erkannt und entfernt werden.
Die vorliegende Erfindung verringert die beschleunigte Wiedergabegeschwindigkeit automatisch, wenn der Anschluß an die Echtzeit-Präsentation kurz bevor steht. Dies ergibt einen sehr glatten Übergang von der beschleunigten zur Echtzeit-Wiedergabe. In einer Ausführungsform kann der Anwender die Geschwindigkeit auswählen, mit der die aufgezeichnete Information wiedergegeben wird.
In einer weiteren Ausführungsform wird die Echtzeit-Multimedia-Präsentation kontinuierlich in einem Ringspeicher, der einen gewissen Informationsgehalt (beispielsweise die letzten fünf Minuten der Präsentation) beinhaltet, gespeichert. Der Anwender kann dann zurückgehen und bis zu fünf Minuten, die vor dem tatsächlichen Zeitpunkt liegen, abspielen. Dies gibt dem Anwender die Flexibilität, die Echtzeit-Präsentation anzusehen und einen gewissen Teil wiederzugeben, ohne dabei Informationen zu verpassen.
Obwohl die obigen Ausführungen eine komplette Beschreibung der bevorzugten Ausführungsform der Erfindung sind, können diverse Alternativen, Modifizierungen und äquivalente Änderungen verwendet werden. Daher sollte die obige Beschreibung nicht als beschränkend für den Schutzbereich der Erfindung, wie diese in den angefügten Ansprüchen definiert ist, betrachtet werden.

Claims

1. Verfahren zum Wiedergeben einer Multimedia-Echtzeit-Präsentation von Audiodaten und Bilddaten in einer beschleunigten Form auf einem ersten Computersystem (1), wobei das erste Computersystem einen Prozessor (102), eine Lautsprechereinrichtung (120), ein Anzeigegerät (110) und ein Anwendereingabegerät (9, 11) umfaßt und das erste Computersystem (1) an einen Speicherbereich zum Speichern von Daten gekoppelt ist, und die Bilddaten mehrere Bilder umfassen, wobei das Verfahren die Schritte umfaßt:

Empfangen der Audio- und Bilddaten der Echtzeit-Präsentation;

Aufzeichnen eines Teils der Audio- und Bilddaten der Echtzeit-Präsentation in einem Aufnahmespeicher im Speicherbereich, wenn diese Daten empfangen werden;

Empfangen eines Anwenderbefehls über das Anwendereingabegerät (9, 11), wobei eine Wiedergabe der Echtzeit-Präsentation gefordert wird;

Verwenden des Prozessors (102), um die Wiedergabe der aufgezeichneten Audiodaten der Präsentation zu beschleunigen, wobei die Audiowiedergabe so beschleunigt wird, daß im wesentlichen die gleiche Tonhöhe erhalten bleibt;

Verwenden des Prozessors (102), um die Wiedergabe der aufgezeichneten Bilddaten zu beschleunigen, indem Bilder entfernt werden, um die beschleunigte Bilddatenwiedergabe mit der beschleunigten Audiowiedergabe in Synchronität zu halten;

Wiedergeben der Präsentation in einer beschleunigten Form, indem die beschleunigten Audiodaten durch die Lautsprechereinrichtung abgespielt und gleichzeitig die beschleunigten Bilddaten auf dem Anzeigegerät dargestellt werden; und

Aufzeichnen der Echtzeit-Präsentation gleichzeitig mit dem beschleunigten Wiedergeben der aufgezeichneten Präsentation.

2. Das Verfahren nach Anspruch 1 weiterhin mit einem Schritt:

Abspielen der Multimedia-Präsentation mit normaler Geschwindigkeit, wenn die beschleunigte Wiedergabe zur Echtzeit-Multimedia-Präsentation aufgeschlossen hat.

3. Das Verfahren nach Anspruch 1, wobei der Speicherbereich in einem an ein Computernetzwerk gekoppelten Verwaltersystem ist, wobei das erste Computersystem und ein oder mehrere Computersysteme an das Netzwerk gekoppelt sind, und das Verfahren weiterhin einen Schritt umfaßt:

Abspielen der Präsentation in einer beschleunigten Form gemäß der Schritte des Anspruchs 1 in einem oder mehreren der anderen Computersysteme gleichzeitig mit der beschleunigten Wiedergabe der Präsentation auf dem ersten Computersystem.

4. Das Verfahren nach Anspruch 1, wobei der Prozessor die Wiedergabe der Audiodarstellung des aufgezeichneten Bereichs der Präsentation durch Entfernen von Wörtern oder Klängen beschleunigt.

5. Das Verfahren nach Anspruch 1, wobei die Rate, mit der die Präsentation beschleunigt ist, durch die Anwendereingabeeinrichtung vom Anwender auswählbar ist.

6. Das Verfahren nach Anspruch 1, wobei mehrere Kennzeichenbilder, die die Videobilder, die zu verschiedenen Zeitpunkten aufgezeichnet wurden, darstellen, auf dem Anzeigegerät angezeigt werden.

7. Das Verfahren nach Anspruch 6, wobei ein erstes Kennzeichenbild ein Bild der Videodarstellung entsprechend einem Prozentsatz P im Aufzeichnungsspeicher ist und die Rate, mit der sich das erste Kennzeichenbild ändert, im wesentlichen dem Prozentsatz P der Echtzeit-Rate entspricht.

8. Das Verfahren nach Anspruch 1, wobei im Anzeigegerät ein Zeitstrahl des Aufzeichnungsspeichers angezeigt wird, wobei der Zeitstrahl durch Markierungen erweitert sein kann, die Ereignisse kennzeichnen, die während der Aufzeichnung eintreten.

9. Das Verfahren nach Anspruch 1, wobei der Aufzeichnungsspeicher ein Ringspeicher ist, so daß lediglich der aktuellste Bereich der Präsentation gespeichert ist.

10. Das Verfahren nach Anspruch 1, wobei die gespeicherte Menge der Präsentation auf eine vorbestimmte Menge beschränkt ist.

11. Das Verfahren nach Anspruch 1, wobei der aufgezeichnete Bereich der Präsentation auf die Eingabe des Anwenders über das Anwendereingabegerät weiterhin beschleunigt werden kann durch die Schritte:

Verwenden des Prozessors, um die Videobilder durch Entfernen weiterer Bilder zu komprimieren;

Verwenden des Prozessors, um die Audiodarstellung in Segmente aufzuteilen, worin jedes Segment durch eine Pause dargestellt ist, und um jedes Audiosegment so zu komprimieren, daß im wesentlichen die gleiche Tonhöhe erhalten bleibt; und

Wiedergeben der Präsentation in einer weiter beschleunigten Form durch Anzeigen der komprimierten Videodarstellung auf dem Anzeigegerät und Übertragen lediglich eines Anfangsbereichs jedes komprimierten Audiosegments über den Lautsprecher.

12. Das Verfahren nach Anspruch 1, wobei die aufgezeichnete Audiodarstellung und Videodarstellung graduell weniger komprimiert werden, wenn sich die beschleunigte Wiedergabe der Echtzeit-Präsentation annähert, um für einen glatten Übergang zur Echtzeit-Präsentation zu sorgen.

13. Verfahren zum Wiedergeben einer Audiopräsentation auf einem ersten Computersystem (1) in einer beschleunigten Form, wobei das erste Computersystem (1) einen Prozessor (102), eine Lautsprechereinrichtung (120) und ein Anwendereingabegerät (9, 11) umfaßt und das erste Computersystem (1) an einen Speicherbereich zum Speichern von Daten gekoppelt ist, und wobei das Verfahren die Schritte umfaßt:

Empfangen der Audiodaten der Echtzeit-Präsentation;

Aufzeichnen eines Teils der Audiodaten der Echtzeit-Präsentation in einem Aufzeichnungsspeicher im Speicherbereich, wenn die Daten empfangen werden;

Empfangen eines Anwenderbefehls über das Anwendereingabegerät (9, 11) zum Anfordern einer Wiedergabe der Echtzeit-Präsentation;

Wiedergeben der Präsentation in einer beschleunigten Form durch Abspielen der beschleunigten Audiodaten über die Lautsprechereinrichtung (120); und

Aufzeichnen der Echtzeit-Präsentation gleichzeitig zur beschleunigten Wiedergabe der aufgezeichneten Präsentation.

14. Vorrichtung zur Wiedergabe eines Bereichs einer Multimedia-Echtzeit-Präsentation von Audiodaten und Videodaten in einer beschleunigten Form mit:

einer Datenaufzeichnungseinrichtung;

einer Einrichtung zum Empfangen der Präsentation;

einer Einrichtung zum Empfangen einer Anwendereingabe (9, 11);

einer Einrichtung zum Aufzeichnen eines Teils der Audio- und Bilddaten der Echtzeit-Präsentation in der Datenaufzeichnungseinrichtung, wenn die Daten empfangen werden;

einer Prozessoreinrichtung (102) zum Komprimieren der Audiodaten des aufgezeichneten Bereichs der Präsentation und zum Komprimieren der Videodaten durch Entfernen von Bildern, um die Videodaten in Synchronität mit den komprimierten Audiodaten zu halten; wobei die Audiodaten so komprimiert werden, daß im wesentlichen die gleiche Tonhöhe erhalten bleibt; und die Prozessoreinrichtung (102) an die Empfängereinrichtung, an die Anwendereingabeeinrichtung (9, 11) und an die Aufzeichnungseinrichtung gekoppelt ist; und

einer Anzeigeeinrichtung (110) und einer Lautsprechereinrichtung (120), die jeweils an die Prozessoreinrichtung (102) gekoppelt sind, zum gleichzeitigen Übertragen der komprimierten Audiodaten und Videodaten;

wobei die Aufzeichnungseinrichtung die Echtzeit-Präsentation gleichzeitig zur Übertragung der komprimierten Audiodaten und Videodaten aufzeichnet bis die komprimierten Audiodaten und Videodaten zur Echtzeit-Präsentation aufschließen.