DE102004029872B4

DE102004029872B4 - Verfahren und Anordnung zur Verbesserung der Qualität bei der Übertragung codierter Audio-/Video-Signale

Info

Publication number: DE102004029872B4
Application number: DE102004029872A
Authority: DE
Inventors: Bernhard Dr. Feiten; Andreas Dr. Graffunder; Ingo Dipl.-Ing. Wolf
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2004-06-16
Filing date: 2004-06-16
Publication date: 2011-05-05
Anticipated expiration: 2024-06-17
Also published as: DE102004029872A1

Abstract

Verfahren zur Verbesserung der Qualität bei der Übertragung von codierten Audio-/Video-Signalen, die in verschiedenen Übertragungsformaten mit unterschiedlichen Bitraten verfügbar sein müssen, um den Bedingungen für die Übertragung in heterogenen Netzwerken und zur Wiedergabe mit verschiedenen Endgeräten zu entsprechen, wobei den als Stream zu übertragenden Audio- und Videosignalen für jedes Codierformat und jede Bitrate eine Qualitätsbeschreibung hinzugefügt wird, welche der subjektiv empfundenen Qualität für die in einem skalierbaren Stream codierten Audio- und Videosignale entspricht und durch korrespondierende Messwerte abgebildet wird und wobei der skalierbare Stream mit den codierten Audio- und Videosignalen zu Beginn eines Streamingprozesses zur Übertragung an ein Terminal (7) eines den entsprechenden Content anfordernden Nutzers durch einen Signalkonditionierer (5) eines den Stream aussenden Servers (6) unter Berücksichtigung der Qualitätsbeschreibung als einer Randbedingungen adaptiert wird, dadurch gekennzeichnet, dass die subjektive Qualitätsbeschreibung in den Metadaten der Audio- und Videosignale mit zum Terminal (7) des Nutzers übertragen wird und dass terminalseitig, bei...

Description

Für die Übertragung von Audio- und Videosignalen werden digitale Codierverfahren mit Datenkompression angewendet, so dass die selben Audio-/Video-Programme in verschiedenen Codierformaten mit unterschiedlichen Bitraten zur Verfügung gestellt werden können. Damit wird den Erfordernissen entsprochen, die für die Übertragung in heterogenen Netzwerken, wie z. B. das Internet und das Rundfunknetz, sowie für eine Wiedergabe mit verschiedenen Endgeräten, wie Fernseh-Set-Top-Boxen, Computer, Handheld-Geräten u. a., für die Nutzer von Bedeutung sind.
Neben den Standard-Übertragunsverfahren sind als weitere Verfahren Simultanverfahren und skalierbare Verfahren bekannt. Bei Simultanverfahren werden die Audio-/Video-Signale verschiedener Codierformate mit unterschiedlichen Bitraten in einem File gespeichert. Bei einem Zugriff kann je nach Bedarf zwischen den Codierformaten und Bitraten umgeschaltet werden, bei einigen Formaten auch während der Übertragung. Bekannte Übertragungsverfahren dieser Art sind Real-Media, Windows-Media und Quick-Time.
Bei skalierbaren Codierverfahren für Audio-/Video-Signale können aus einem einzigen Format verschiedene Übertragungsbitraten ohne großen Aufwand generiert werden. Codierformate für diese Anwendung sind in MPEG-4 (Motion Pictures Experts Group) definiert.
Mit jedem Codierformat und jeder Bitrate ist eine entsprechende Qualität der Audio- bzw. Video-Darbietung verbunden. Die bei der Codierung erzielte Qualität ist zusätzlich von dem Signal selbst abhängig. Da für die Codierung psychophysikalische Phänomene ausgenutzt werden, ist die Messung der Qualität nicht mit einfachen technischen Mitteln möglich. Die Qualitätsbeurteilung wird daher letztendlich auf subjektive Tests gegründet [ITU-R Rec. BS. 1116 Methods for the Subjective Assessment of small Impairments in Audio Systems including Multichannel Sound Systems] [ITU-R BS. 1534 Method for the subjective assessment of intermediate quality level of coding systems] [ITU-R Rec. BT. 500-7, Method for the Subjective Assessment of the Quality of Television Pictures].
Für die instrumentelle Beurteilung der Qualität wurden Verfahren entwickelt, die die in subjektiven Tests ermittelte Qualitätsbewertung nachbilden DE 19 821 273 A1 [ CA 2271445 A1 ] [ EP 0 957 471 A3 ][ DE 19 647 399 C1 ][ITU-R Rec. 1387 Method for Objective Measurements of Perceived Audio Quality (PEAQ)].
Die Notwendigkeit viele Übertragungsformate und Bitraten unterstützen zu müssen, macht es sowohl den Service-Anbietern als auch den Konsumenten schwer. Einerseits ist die Aufbereitung und Verwaltung des Contents aufwändig, andererseits muss der Konsument im Internet das Codierformat, das er empfangen will, auswählen. Bei der Auswahl hat der Konsument sowohl die Leistungsfähigkeit seines Endgerätes als auch die Übertragungskapazität der Verbindung in Betracht ziehen. Schließlich sind die mit der Übertragung verbundenen Kosten ein weiterer Faktor.
Erschwerend kommt hinzu, dass bei Anwesenheit von mehreren Einflussgrößen oder Medien die Bitrate zur Kontrolle der erzielbaren Qualität nicht ausreichend ist. Zum Beispiel kann für einen Film die Bitrate des Audiostromes und die Bitrate des Videostromes getrennt geregelt werden. Die jeweils erzielte Qualität ist dabei ungewiss. Eine automatisierte Auswahl eines geeigneten Formates ist nur unzulänglich realisierbar.
Eines der wesentlichen Entscheidungskriterien ist die subjektiv empfundene Qualität. Daher ist es bekannt geworden, zur Übertragung vorgesehene Audio- und Videosignale mit unterschiedlichen Bitraten oder Codierformaten zu codieren oder, insbesondere hinsichtlich der Bitrate, skalierbare Streams zu erzeugen und zu den entsprechend codierten Signalen eine korrespondierende Qualitätsbeschreibung abzulegen, welche im Zusammenhang mit der Übertragung der Audio- und Videosignale zur Adaption des entsprechenden Streams, also zur Auswahl der günstigsten Codierung oder zur Anpassung eines skalierbaren Streams, oder zur Adaption des Decodiervorgangs, an die grundsätzlichen Übertragungsbedingungen und/oder an die technischen Eigenschaften eines die Signale anfordernden Terminals genutzt werden. Auch eine Adaption des Streams im Hinblick auf Kundenpräferenzen oder auf das gegebenenfalls in direkter Korrelation zu den Kosten stehende Datenvolumen ist auf diese Weise möglich. Eine solche Lösung wird durch die WO 02/32147 A1 beschrieben.
Die zuvor beschriebene Vorgehensweise bietet die Möglichkeit, die subjektiv empfundene Übertragungsqualität im Hinblick auf unterschiedliche Gegebenheiten gewissermaßen zu optimieren. Allerdings bezieht sich diese Optimierung, wie sie auch durch die in der WO 02/32147 A1 beschriebene Lösung verwirklicht wird, nur auf die subjektiv empfundene Übertragungsqualität. Tatsächliche, also sich auf der Übertragungsstrecke zu einem die Audio- und Videosignale empfangenden Terminal einstellende Qualitätsverluste finden hierbei keine Berücksichtigung. Die im Zusammenhang mit der Aussendung eines Streams erfolgende Adaption basiert, auch, wenn sie im Ergebnis im Allgemeinen zu einer Verbesserung der Übertragungsqualität führt, insoweit auf einem eher theoretischen Ansatz.
Aufgabe der Erfindung ist es, eine Lösung anzugeben, durch welche eine weitere Verbesserung der Qualität bei der Übertragung von codierten Audio-/Videosignalen erreicht werden kann. Dabei sollen insbesondere die jeweils tatsächlich gegebenen Übertragungsverhältnisse besser berücksichtigt werden. Hierfür sind ein Verfahren und eine Anordnung anzugeben.
Die Aufgabe wird durch ein Verfahren nach dem Patentanspruch 1 gelöst. Vorteilhafte Aus- beziehungsweise Weiterbildungen des Verfahrens sind durch die Unteransprüche gegeben. Eine die Aufgabe lösende, zur Durchführung des Verfahrens geeignete Anordnung ist durch den Sachanspruch charakterisiert.
Nach dem zur Lösung der Aufgabe vorgeschlagenen Verfahren wird den codierten Audio- und Videosignalen für jedes Codierformat und für jede Bitrate eine Beschreibung hinzugefügt, die der jeweiligen subjektiv empfundenen Qualität entspricht. Diese Beschreibung kann mit verschiedenem Detaillierungsgrad angelegt werden.
Die resultierende, subjektiv empfundene Qualität der Übertragung ist von dem Codierformat, der Bitrate, den Signaleigenschaften und auftretenden Kanalfehlern abhängig.
Als Basis für eine zuverlässige Beurteilung der Qualität sind statistische, belastbare subjektive Tests erforderlich. Für ein in der Praxis nutzbares Verfahren zur Kontrolle und Steuerung der Qualität bei der Übertragung sind subjektive Tests allerdings zu aufwändig.
Zur Berücksichtigung der subjektiv empfundenen Qualität bei der Übertragung von Audio- und Videosignalen werden deshalb instrumentelle Verfahren angewendet, die die subjektive Bewertung nachbilden.
Als Beispiel für derartige instrumentelle Verfahren werden hier das standardisierten Verfahren PEAQ (PErceived Audio Quality) für Audiosignale und der in der Videocodec-Standardisierung verwendete PSNR (Peak Signal to Noise Ratio). genannt. Mit diesen Verfahren kann eine zeitabhängige Messgröße abgeleitet werden, die mit der subjektiven Qualitätsempfindung korrespondiert.
Die Messgrößen für die Qualität sowie für die verfügbaren Codierformate und Bitraten werden so in das Auslieferungssystem integriert, dass eine automatische Kontrolle und Steuerung der Qualität möglich ist. Die Qualitätssteuerung kann sowohl für Simultanverfahren als auch bei skalierbaren Verfahren angewendet werden.
Weiterhin soll die subjektive Qualitätsbeschreibung dazu genutzt werden, um die Übertragung bei fehlerbehafteten Übertragungskanälen zu optimieren. Dazu werden dem Signal zusätzliche, redundante Signalanteile hinzugefügt. Die dafür verwendete Bitrate reduziert aber die für die Codierung effektiv zur Verfügung stehende Bitrate.
Eine allgemeine Beschreibung kann die Qualität der Audio-/Videosignale für verschiedene spezifizierte Codierverfahren mit unterschiedlichen Bitraten abbilden. Diese Beschreibung kann in einer separaten Datenbank gespeichert und in den Metadaten des Audio- oder Videosignals referenziert werden. Die Beschreibung berücksichtigt nicht die Eigenschaften des Signals, sondern gibt eine über viele Beispielsignale gemittelte Qualität wieder.
Eine bessere Adaptation kann erfolgen, wenn die Beschreibung der subjektiven Qualität auf das jeweilige Signal abgestimmt ist. Dann muss bei der Encodierung für jedes Codierformat und für jede Bitrate die korrespondierende subjektive Qualität gemessen werden. Das Ergebnis der Messung kann dann dem Audio- und dem Videosignal als Metadatenbeschreibung hinzugefügt werden. Hierfür gibt es zwei Möglichkeiten.
Entweder wird dem Signal eine über die gesamte Dauer des Signals gemittelte Messung der korrespondierenden subjektiven Qualität hinzugefügt oder es wird die zeitveränderliche subjektive Qualität erfasst und gemeinsam mit dem Audio- und Videosignal gespeichert. Die Speicherung der zeitveränderlichen Qualitätsbewertung erlaubt die beste Steuerung, verursacht aber den meisten Aufwand.
Wird das Verfahren auf skalierbare Codierverfahren angewendet, deren Bitrate in sehr feinen Schritten eingestellt werden kann, reicht es aus, die Qualität in weniger feinen Schritten zu messen. In der Anwendung kann dann die korrespondierende subjektive Qualität für eine bestimmte Bitrate durch Interpolation zwischen vorhandenen Stützwerten ermittelt werden.
Die Stützwerte sind Teil einer Qualitätsskala, mit der die korrespondierende subjektive Qualität in der Qualitätsbeschreibung abgebildet werden kann. Für Audiosignale ist eine 5-stufige Qualitätsskala aus den standardisierten Verfahren BS. 1116 und PEAQ bekannt. Auch die Qualitätsskala des standardisierten Verfahrens MUSHRA kann hier verwendet werden. Für Audiosignale könnte die Qualitätsskala auch auf Parameter, wie beispielsweise die Stereobasis, basieren. Für Videosignale kann eine Qualitätsskala auf der Basis von PSNR-Werten verwendet werden.
Der Vorteil eines Übertragungssystems, bei dem den Audio- und Videosignalen eine subjektive Qualitätsbeschreibung hinzugefügt wird, liegt darin, dass die Übertragung an die Nebenbedingungen, die sich aus den Netzwerkbedingungen, den Endgeräteeigenschaften, den User-Präferenzen und den Eigenschaften der Quelle ergeben, optimal angepasst werden kann.
Erfindungsgemäß wird bei dem zur Lösung der Aufgabe vorgeschlagenen Verfahren gemeinsam mit dem eigentlichen Content, nämlich den codierten Audio- und Videosignalen, auch die für die Adaption des Streams verwendete Qualitätsbeschreibung an das den Content anfordernde Terminal übertragen. Anhand der mitübertragenen Qualitätsbeschreibung werden die durch die Übertragung verursachte Qualitätsverschlechterung analysiert und hieraus Qualitäts-Feedbackdaten abgeleitet. Letztere werden als Korrekturdaten an den, den Stream aussendenden Server mit dem zugehörigen Signalkonditionierer zurückgesendet, wo sie zur Anpassung der Qualitätsbeschreibung verwendet werden und somit bei der weiterhin erfolgenden Adaption des Streams an diese und andere Randbedingungen Berücksichtigung finden.
Vorzugsweise läuft die zuletzt beschriebene Anpassung der Qualitätsbeschreibung unter Verwendung der vom Terminal des Nutzers zurückgesendeten Korrekturdaten während der gesamten Übertragung eines Streams mit Audio- und Videosignalen als Schleife ab.
Im folgenden werden für ein Übertragungsverfahren mit der erfindungsgemäßen Verbesserung die einzelnen Verfahrensschritte dargestellt. Die Bezeichnungen beziehen sich dabei auf 1.

1. Der Encoder (1) erzeugt aus Rohdaten (8) einen skalierbaren Stream (9), der in einer Datenbank (4) gespeichert wird. Der skalierbare Stream kann mit einem skalierbaren Codec erzeugt werden oder auf der simultanen Speicherung mehrerer Bitraten beruhen.
2. Der Qualitätsbeschreibungen-Generator (2) generiert mit Hilfe von (8) und (9) eine Qualitätsbeschreibung für diesen Stream (10), die in einer DB (3) gespeichert wird.
3. Das Terminal des Nutzers (7) fordert über das IP-Netzwerk einen bestimmten A/V-Content an.
4. Der angeforderte Content wird aus der „Skallierbare Streams Datenbank” (4) selektiert und der selektierte skalierbare Stream (11) an den Signalkonditionierer (5) weitergegeben.
5. Der Signalkonditionierer (5) adaptiert den selektierten skalierbaren Stream (11) zu Beginn des Streaming-Prozesses gemäß der Qualitätsbeschreibung (12) und anderer Randbedingungen, z. B. Präferenzen des Nutzers, Terminaleigenschaften oder verwendetes Netzwerk.
6. Der Server (6) sendet den adaptierten Stream (13) über das Übertragungsmedium zum Terminal (7).
7. Das Terminal (7) decodiert den empfangenen Stream, generiert Qualitäts-Feedbackdaten (15) und sendet diese zurück an den Signalkonditionierer (5). Die Feedbackdaten können z. B. Bitfehler oder Paketverluste anzeigen.
8. Der Signalkonditionierer (5) wertet die Qualitäts-Feedbackdaten (15) aus.
Zusammen mit der Qualitätsbeschreibung des skalierbaren Streams (12) und den Feedbackdaten (15) wird die Übertragung in Bezug auf die subjektive Qualität optimiert. Dies kann, wenn zeitlich veränderliche Qualitätsbeschreibungen zur Verfügung stehen, besonders akkurat erfolgen.
9. Zusätzlich kann der Server (6) zusammen mit dem adaptierten Stream (13) eine adaptierte Qualitätsbeschreibung (14) über das Übertragungsmedium zum Terminal (7) übertragen.
10. Das Terminal (7) decodiert den empfangenen Stream, und analysiert anhand der mitübertragenen Qualitätsbeschreibung die durch die Übertragung verursachte subjektive Qualitätsverschlechterung. Die Qualitätsbeschreibung wird entsprechend angepasst. Die subjektiven Qualitäts-Feedbackdaten (15) enthalten nun die Informationen über das Netzverhalten und die Verschlechterung der subjektiven Qualität. Diese werden an den Signalkonditionierer (5) zurückgesandt.
11. Der Signalkonditionierer (5) führt eine weitere Optimierung der Qualität anhand der Qualitätsbeschreibungen (12) und der adaptierten Qualitätsbeschreibung in den Qualitäts-Feedbackdaten (15) durch. Die Schritte 8–10 können während der gesamten Übertragung in einer Schleife durchlaufen werden.

Claims

Verfahren zur Verbesserung der Qualität bei der Übertragung von codierten Audio-/Video-Signalen, die in verschiedenen Übertragungsformaten mit unterschiedlichen Bitraten verfügbar sein müssen, um den Bedingungen für die Übertragung in heterogenen Netzwerken und zur Wiedergabe mit verschiedenen Endgeräten zu entsprechen, wobei den als Stream zu übertragenden Audio- und Videosignalen für jedes Codierformat und jede Bitrate eine Qualitätsbeschreibung hinzugefügt wird, welche der subjektiv empfundenen Qualität für die in einem skalierbaren Stream codierten Audio- und Videosignale entspricht und durch korrespondierende Messwerte abgebildet wird und wobei der skalierbare Stream mit den codierten Audio- und Videosignalen zu Beginn eines Streamingprozesses zur Übertragung an ein Terminal (7) eines den entsprechenden Content anfordernden Nutzers durch einen Signalkonditionierer (5) eines den Stream aussenden Servers (6) unter Berücksichtigung der Qualitätsbeschreibung als einer Randbedingungen adaptiert wird, dadurch gekennzeichnet, dass die subjektive Qualitätsbeschreibung in den Metadaten der Audio- und Videosignale mit zum Terminal (7) des Nutzers übertragen wird und dass terminalseitig, bei Verschlechterung der Qualität während der Übertragung, Korrekturdaten generiert und zu dem Server (6) mit Signalkonditionierer (5) zurückgesendet werden, wo die Qualitätsbeschreibung hinsichtlich der Korrekturdaten anpasst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anpassung der Qualitätsbeschreibung unter Verwendung der vom Terminal (7) des Nutzers zurückgesendeten Korrekturdaten während der gesamten Übertragung eines Streams mit Audio- und Videosignalen als Schleife abläuft.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine altgemeine Beschreibung für die subjektiv empfundene Qualität, bezogen auf die verschiedenen Codierformate und spezifischen Bitraten, durch Mittelung gebildet wird und dass diese allgemeine Beschreibung in einer separaten Datenbank (3) gespeichert sowie den Audio- und Videosignalen als Metadatenbeschreibung hinzugefügt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die subjektive Qualitätsbeschreibung für das jeweilige Audio- bzw. Videosignal in einem bestimmten Codierformat mit spezifischer Bitrate über die gesamte Dauer des jeweiligen Signals gemittelt wird und den Metadaten für das jeweilige Signal hinzugefügt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die subjektive Qualitätsbeschreibung für die codierten Audio- und Videosignale den zeitabhängigen Verlauf der Signalqualität mit einer hinreichenden zeitlichen Auflösung wiedergibt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die subjektiv empfundene Qualität für die codierten Audio- und Videosignale in der Qualitätsbeschreibung durch eine korrespondierende Qualitätsskala beschrieben wird, dass die Qualitätsskala für die verschiedenen Bitraten geeignete Stützwerte repräsentiert, und dass aus den Stützwerten zeitliche Zwischenwerte ermittelt werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für Audiosignale die Qualitätsskala der standardisierten Verfahren BS 1116, PEAQ und MUSHRA verwendet werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für Videosignale die PSNR-Werte für die Qualitätsskala verwendet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Qualitätsbeschreibung unter Berücksichtigung sowohl des uncodierten, als auch des codierten Audio- und Videosignals generiert wird.
Anordnung zur Durchführung des Verfahrens nach Anspruch 1 mit einem Encoder zur Codierung zu versendender Audio- und Videosignale in Form skalierbarer Streams, einem Generator zur Generierung von Qualitätsbeschreibungen für zu versendende Audio- und Videosignale unter jeweiliger Berücksichtigung sowohl des uncodierten, als auch des codierten Audio- und Videosignals, Datenbanken zur Aufnahme skalierbarer Streams und Qualitätsbeschreibungen zu skalierbaren Streams, einem angeforderte, skalierbare Streams mit Audio- und Videosignalen versendenden Server mit zugehörigem Signalkonditionierer zur Adaption eines jeweils angeforderten skalierbaren Streams unter Berücksichtigung der Qualitätsbeschreibung als einer Randbedingungen und mit einem Terminal eines Nutzers zum Empfang und zur Decodierung eines mittels des Terminals angeforderten Streams, dadurch gekennzeichnet, dass das Terminal zur Analyse einer durch die Übertragung verursachter Qualitätsverschlechterung der Audio- und Videosignale des empfangenen Stream anhand einer mit dem Stream übertragenen Qualitätsbeschreibung und zur Generierung von Qualitäts-Feedbackdaten ausgebildet ist, welche über eine von dem Terminal ausgehende Sendeverbindung als Korrekturdaten zur Anpassung der Qualitätsbeschreibung des betreffenden Streams an den Server mit Signalkonditionierer zurückgesandt werden.