[go: up one dir, main page]

DE60029746T2 - Automatische signaturbasierte erkennung, erlernung und extrahierung von werbung und anderen videoinhalten - Google Patents

Automatische signaturbasierte erkennung, erlernung und extrahierung von werbung und anderen videoinhalten Download PDF

Info

Publication number
DE60029746T2
DE60029746T2 DE60029746T DE60029746T DE60029746T2 DE 60029746 T2 DE60029746 T2 DE 60029746T2 DE 60029746 T DE60029746 T DE 60029746T DE 60029746 T DE60029746 T DE 60029746T DE 60029746 T2 DE60029746 T2 DE 60029746T2
Authority
DE
Germany
Prior art keywords
signature
list
video
extracted
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60029746T
Other languages
English (en)
Other versions
DE60029746D1 (de
Inventor
Nevenka Dimitrova
Thomas Mcgee
Lalitha Agnihotri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE60029746D1 publication Critical patent/DE60029746D1/de
Application granted granted Critical
Publication of DE60029746T2 publication Critical patent/DE60029746T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Receiver Circuits (AREA)
  • Television Systems (AREA)

Description

  • ERFINDUNGSGEBIET
  • Die vorliegende Erfindung betrifft allgemein die Videosignalbearbeitung und insbesondere Verfahren für das Bearbeiten von Videosignalen, um Werbesendungen oder andere Arten von Videoinhalt, der spezielle Kenngrößen aufweist, zu identifizieren und zu extrahieren.
  • HINTERGRUND DER ERFINDUNG
  • Es wurden viele unterschiedliche Systeme für das Nachweisen und Extrahieren von Werbesendungen aus gesendeten oder aufgezeichneten Videosignalen entwickelt. Zum Beispiel wird in der US-Patentschrift Nr. 4,782,401 mit dem Titel „Editing Method and Apparatus for Commercials During Video Recording" eine hardwareorientierte Lösung für das Herausschneiden von Werbesendungen im Analogbereich beschrieben, die auf dem Vorliegen von Schwarz- oder Leer-Frames beruht, welche für das Abgrenzen des Werbesendungen verwendet werden.
  • Ein ähnliches System wird in der PCT-Anmeldung Nr. WO 83/00971 mit dem Titel „Reciprocating Recording Method and Apparatus for Editing Commercial Messages from Television Signals" beschrieben. Dieses System schneidet Werbesendungen basierend auf dem Einblenden und Ausblenden zu Beginn bzw. am Ende einer Werbepause heraus.
  • Bei einem anderen Ansatz, der in der US-Patentschrift Nr. 4,750,052 mit dem Titel „ Apparatus and Method for Deleting Selected Program Intervals from Recorded Television Broadcasts" beschrieben ist, wird ein Schwunddetektor verwendet, um Werbesendungen in einem aufgezeichneten Sendeprogramm zu bearbeiten.
  • In der PCT-Anmeldung Nr. WO 94/27404 mit dem Titel „Method and Apparatus for Classifying Patterns of Television Programs and Commercials" werden die Merkmalsextraktion und ein neuronales Netz zur Klassifizierung von Videosignalen verwendet. Das System weist Veränderungen in den Merkmalen, wie z.B. Leistungsampli tude über dem Frequenzspektrum, Farbe und Helligkeit, Vertikalintervall-Zeitcode, Untertitelsignal und Farbträger-Bildsprungsignal, nach.
  • In einem System, das in der PCT-Anmeldung Nr. WO 95/06985 mit dem Titel „Process and Device for Detecting Undesirable Video Scenes" beschrieben ist, wird ein Bild aus einem gesendeten Programm, das einer Werbepause vorausgeht, gespeichert, so dass das Ende der Werbepause mit Hilfe des gespeicherten Bildes aufgefunden werden kann. Bei diesem Ansatz wird von der Tatsache Gebrauch gemacht, dass Sender oft einen kleinen Teil des Programms nach dem Ende der Werbepause wiederholen.
  • In der Europäischen Patentanmeldung Nr. EP 735754 mit dem Titel „Method and Apparatus for the Classification of Television Signals" wird ein Satz von Merkmalen und zugeordneten Regeln verwendet, um festzustellen, ob die aktuellen Werbesendungen mit einem bestimmtem Maß an „Unschärfe" dieselben Kriterien erfüllen. Der Satz von Merkmalen, die zur Kennzeichnung von Werbesendungen verwendet werden, enthält z.B. Stereo gegen Mono, Zweikanalton, Schallpegel, Bildhelligkeit und -farbe sowie Logos. Es ist ein umfangreicher Satz von Regeln erforderlich, um die Grenzwerte und Parameterveränderungen für diese Merkmale unterzubringen.
  • In der US-Patentschrift Nr. 5,708,477 mit dem Titel „Video Signal Identifier for Controlling a VCR and Television Based on the Occurrence of Commercials" wird ein Videosignalidentifikator verwendet, um zuvor identifiziertes Werbematerial wiederzuerkennen und es auszusondern, indem entweder das Fernsehtonsignal stumm geschaltet und/oder der Videorekorder angehalten wird, wenn er im Aufzeichnungsbetriebszustand ist. Ein erhebliches Problem bei diesem Ansatz besteht darin, dass er für einen automatischen Nachweis nicht geeignet ist, das heißt, er erfordert gewissermaßen eine Identifizierung des Materials vor seinem Nachweis.
  • In einem System, das in der US-Patentschrift Nr. 5,668,917 mit dem Titel „Apparatus and Method for Detection of Unwanted Broadcast Information" beschrieben ist, werden die ständigen Wiederholungen der Werbesendungen genutzt, um das Werbematerial zu identifizieren. Diese System speichert Video-Frames in einem komprimierten Format und vergleicht Frames im ursprünglichen „Roh"-Format Pixel für Pixel. Passen die Pixel innerhalb eines bestimmten Grenzwertes zueinander, dann werden die Frames als gleich angesehen. Ein ernsthafter Nachteil dieses Ansatzes ist, dass übermäßig viel Speicher und Rechnerressourcen benötigt werden. Insbesondere wird beim Speichern eines Videos selbst in einem komprimierten Format eine nicht vertretbar große Speicherkapazität, z.B. ungefähr 200 GByte pro Tag für einen Kanal mit hochauflösendem (HDTV) Fernsehinhalt, benötigt. Außerdem ist der Vergleich des Rohvideos sehr zeitaufwändig. Selbst unter der Annahme, dass das Komprimieren und Dekomprimieren von Video ohne zusätzlichen Rechenaufwand ausgeführt werden kann, ist das Vergleichen der Frames ein sehr langsamer Vorgang. Ein gegebenes eintreffendes Frame muss mit der oben erwähnten großen Menge an gespeichertem Videomaterial verglichen und der Vergleich abgeschlossen werden, bevor das nächste Frame eintrifft.
  • Der Konferenzbeitrag „On the detection and recognition of television commercials" von R. Lienhart u.a. (Proceedings IEEE International Conference on Multimedia Computing and Systems '97, Ottawa, Ontario, Kanada, 3.– 6. Juni 1997, S. 509–516, ISBN 0-8186-7819-4) offenbart ein System zum Erkennen von Werbesendungen, das einen auf Merkmalen basierenden Ansatz mit einem Ansatz kombiniert, der Signaturen verwendet, um bekannte Werbesendungen zu erkennen. In einer Ausführungsform des Systems wird dann, wenn ein neuer Spot entdeckt wird, dieser neue Spot in einer ersten Liste gespeichert. Der Clip wird nur vorläufig in die Liste eingetragen. Er wird permanent gespeichert, wenn er auch in anderen Werbeblöcken aufgefunden wird. Dieser Ansatz entscheidet noch nicht genau genug zwischen Werbesendungen und anderen aufgefundenen Spots.
  • Aus den obigen Darlegungen wird ersichtlich, dass es einen Bedarf an verbesserten Verfahren zum Erkennen und Extrahieren von Werbesendungen und anderen Typen von Videoinhalt gibt, welche die Probleme umgehen, die mit den oben beschriebenen herkömmlichen Systemen verbunden sind.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Die Erfindung verschafft verbesserte Verfahren für das Auffinden, Erkennen und Extrahieren von Werbesendungen oder anderen speziellen Typen von Videoinhalt in einem Videosignal. Erfindungsgemäß wird ein Videosignal bearbeitet, um Segmente zu erkennen, die wahrscheinlich mit einer Werbesendung oder einem anderen speziellen Typ von Videoinhalt zu verbinden sind. Aus jedem der so identifizierten Segmente wird eine Signatur extrahiert und die extrahierten Signaturen werden – möglicherweise zusammen mit zusätzlichen zeitlichen und kontextualen Informationen – verwendet, um zu bestimmen, welches der identifizierten Segmente tatsächlich mit dem speziellen Typ von Videoinhalt verbunden ist. Die zeitlichen Informationen können z.B. eine Angabe über die Zeitspanne einschließen, die zwischen einer gegebenen Signatur und einer dazu passenden Signatur aus einem früheren Segment des Videosignals verstrichen ist. Die kontextualen Informationen können z.B. Programminformationen, wie z.B. Programmnamen, Kanal, Sendeplatz und Einstufung, einschließen, wie sie von einem elektronischen Programmführer oder einer anderen Informationsquelle erhalten werden.
  • Eine oder mehrere der extrahierten Signaturen kann z.B. eine visuelle Frame-Signatur sein, die mindestens teilweise auf einer visuellen Kenngröße eines Frames oder eines Videosegments beruht, wie sie unter Verwendung von Informationen bestimmt wird, die auf DC- und Bewegungskoeffizienten des Frames oder auf DC- und AC-Koeffizienten des Frames basieren. Andere Verfahren zum Extrahieren einer visuellen Frame-Signatur können zumindest teilweise auf Farbhistogrammen basieren. Als ein weiteres Beispiel kann eine gegebene extrahierte Signatur eine Audiosignatur sein, die zumindest teilweise auf einer Kenngröße eines Audiosignals basiert, das mindestem einem Teil des Videosegments zugeordnet ist. Andere erfindungsgemäße Signaturen enthalten z.B. einen Untertiteltext, der ein in der Werbung auftretendes Produkt oder eine Dienstleistung bezeichnet, eine Frame-Nummer plus Informationen aus einem Unterbild von identifiziertem, dem Frame zugeordneten Text, wie z.B. eine 800-er Nummer, ein Name eines Unternehmens, ein Name eines Produkts oder einer Dienstleistung, eine Internetadresse (URL) usw., oder eine Frame-Nummer sowie eine Position und Größe eines Gesichts oder anderen Objekts im Bild, wie es durch eine geeignete Bounding-Box identifiziert wird, wie auch verschiedene Kombinationen von diesen und anderen Signaturtypen.
  • Nach einer anderen Ausbildung der Erfindung hält ein Videobearbeitungssystem verschiedene Sätze von Signaturlisten bereit, wobei die Sätze von Listen eine oder mehrere aus einem Satz wahrscheinlicher Listen, einem Satz von Kandidatenlisten und einem Satz von Fundlisten einschließt, wobei jeder Eintrag in eine gegebene Liste einer Signatur entspricht, die mit einem speziellen Videosegment verbunden ist. Die Sätze von Listen werden aktualisiert, wenn die verschiedenen extrahierten Signaturen bearbeitet werden. Zum Beispiel wird eine gegebene Signatur, von der erkannt wurde, dass sie wahrscheinlich mit dem speziellen Videoinhalt verbunden ist, zunächst auf eine der wahrscheinlichen Listen gesetzt, wenn sie nicht bereits zu einer beliebigen Signatur in einer der wahrscheinlichen Listen passt. Wenn die gegebene Signatur zu einer Signatur passt, die bereits auf einer der wahrscheinlichen Listen ist, dann wird die gegebene Signatur auf eine der Kandidatenlisten gesetzt. Eine gegebene Signatur auf einer Kandidatenliste wird auf eine Fundliste umgesetzt, wenn sie zu einer Signatur passt, die bereits auf einer der Kandidatenlisten ist. Eine gegebene Signatur kann auch in dem Falle, dass die Signatur in einem vorgesehenen Zeitraum nicht wiederholt wird, aus einer oder aus mehreren Listen entfernt werden.
  • Nach einer anderen Ausbildung der Erfindung kann das System eingerichtet sein, einen Benutzer in den Prozess des Auffindens, Erkennens und Extrahierens von Werbesendungen einzubeziehen. Zum Beispiel kann eine Benutzer-Fernbedienung zum Einsatz beim Fernsehen, an einer Set-Top-Box oder an einem anderen Videobearbeitungssystem so eingerichtet sein, dass sie eine „Nie-wieder„-Schaltfläche derart enthält, dass beim Drücken der Schaltfläche durch den Benutzer die Werbesendungssignatur automatisch extrahiert und direkt in einer speziellen Fundliste gespeichert wird, ohne dass erst die oben erwähnten wahrscheinlichen und Kandidatenlisten durchlaufen werden.
  • Nach noch einer weiteren Ausbildung der Erfindung können spezielle Aktivitäten des Benutzers festgestellt und genutzt werden, um das automatische Extrahieren einer Signatur aus einem gegebenen Segment eines Videosignals zu veranlassen. Zum Beispiel kann das System eingerichtet sein, automatisch eine Signatur aus einem Teilbereich eines Videosignals zu extrahieren, den ein Benutzer im Schnellvorlauf durchläuft, wenn er eine Wiedergabe einer zuvor aufgenommenen Sendung anschaut.
  • Vorteilhaft ist, dass es durch die Erfindung möglich wird, Werbesendungen und andere Typen von Videoinhalt mit einem bedeutend geringeren Aufwand im Vergleich zu den oben erwähnten herkömmlichen Systemen zu identifizieren, durch das System zu erkennen und zu extrahieren. Insbesondere verringert die Erfindung durch die Verwendung von extrahierten Signaturen den Umfang des Speichers und der Rechnerressourcen, die für das Ausführen einer Identifizierung und Extraktion von Videoinhalt erforderlich sind. Diese und andere Merkmale und Vorzüge der vorliegenden Erfindung werden aus den beigefügten Zeichnungen und der folgenden ausführlichen Beschreibung klarer ersichtlich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockdiagramm eines Videobearbeitungssystems, in dem die Erfindung ausgeführt werden kann.
  • Die 2 und 3 sind Flussdiagramme der Erkennungs- bzw. Abstimmungsprozesse gemäß einer veranschaulichenden Ausführungsform der Erfindung, die in dem Videobearbeitungssystem von 1 ausgeführt werden kann.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • 1 zeigt ein Videobearbeitungssystem 10, in dem Verfahren für das Auffinden, Erkennen und Extrahieren von Video gemäß der vorliegenden Erfindung ausgeführt werden können. Das System 10 kann ein Fernsehgerät, eine Set-Top-Box, ein Desktop, ein Laptop- oder Palmtop-Rechner, ein Personaldigitalassistent (PDA), ein Videospeichergerät, wie z.B. ein Kassettenvideorekorder (VCR), ein Digitalvideorekorder (DVR), ein TiVO-Gerät usw., sowie auch Teile oder Kombinationen dieser und anderer Geräte sein. Das System 10 enthält eine oder mehrere Videoquellen 12, ein oder mehrere Eingabe/Ausgabegeräte 14, einen Prozessor 15 und einen Speicher 16. Die Videoquelle(n) 12 kann (können) z.B. ein Fernsehempfänger, ein Videorekorder oder ein anderes Videospeichergerät sein, oder es kann ein beliebiger andere Typ einer Videoquelle sein. Alternativ kann (können) die Quelle(n) 12 eine oder mehrere Netzverbindungen für den Videoempfang aus einem Server oder aus Servern z.B. eines globalen Rechnerkommunikationsnetzes, wie z.B. des Internets, eines Fernnetzes, eines innerstädtischen Netzes, eines lokalen Netzes, eines terrestrischen Rundfunksystems, eines Kabelnetzes, eines Satellitennetzes, eines Funknetzes oder eines Telefonnetzes, sowie auch Teile oder Kombinationen von diesen oder anderen Typen von Netzen sein.
  • Die Eingabe/Ausgabegeräte 14, der Prozessor 15 und der Speicher 16 kommunizieren über ein Kommunikationsmedium 17. Das Kommunikationsmedium 17 kann z.B. ein Bus, ein Kommunikationsnetz, eine oder mehrere innere Verbindungen einer Schaltung, eine Chipkarte oder ein anderes Gerät sowie auch Teile und Kombinationen dieser und anderer Kommunikationsmedien sein. Das Eingangsvideo aus der (den) Quelle(n) 12 wird entsprechend einem oder mehreren Softwareprogrammen bearbeitet, die im Speicher 16 gespeichert sind, und durch den Prozessor 15 ausgeführt, um ein Ausgangsvideo zu erzeugen, das einem Anzeigegerät 18 zugeführt wird, welches z.B. ein Fernsehbildschirm, ein Rechnermonitor usw. sein kann.
  • Es sollte verständlich sein, dass die spezielle Konfiguration des Systems 10, wie sie in 1 dargestellt ist, lediglich als ein Beispiel dient. Fachleute werden einsehen, dass die Erfindung mit einer großen Vielfalt alternativer Systemkonfigurationen ausgeführt werden kann.
  • Die vorliegende Erfindung schafft verbesserte Verfahren für das Auffinden, Erkennen und Extrahieren von Werbesendungen oder anderen Typen von Videosegmenten.
  • Es ist von Vorteil, dass die erfindungsgemäßen Verfahren ohne übermäßig hohe Anforderungen an Speicher und Rechner ausgeführt werden können.
  • Es folgt ein Beispiel eines erfindungsgemäßen Prozesses zum Auffinden, Erkennen und Extrahieren von Werbesendungen aus einem Rundfunk-Videosignal. Für dieses Beispiel wird angenommen, dass das Eingangsvideo ein Rundfunk-Videosignal einschließlich mindestens eines Programms und mehrerer Werbesendungen enthält.
  • Schritt 0. Bei Vorliegen eines Eingangsvideos Ausführen der nachfolgenden Schritte 1 bis 5:
  • Schritt 1. Auffinden von ungewöhnlich ablaufenden Segmenten in dem Rundfunk-Videosignal. Das kann z.B. das Auffinden eines Bereichs im Rundfunk-Videosignal mit einer hohen Schnittrate oder das Auffinden eines Bereiches mit einer hohen Textaktivität einschließen. Andere Beispiele schließen den Nachweis einer schnellen Veränderung im visuellen Bereich durch das Ausbilden von Farbhistogrammen, den Nachweis eines Anstieges im Tonpegel oder den Nachweis schneller Änderungen im Tonbereich von Musik auf Sprache, von einem Rhythmus auf einen anderen usw. ein.
  • Schritt 2. Die Segmente, bei denen im Schritt 2 erkannt wurde, dass sie eine ungewöhnlichen Aktivität enthalten, werden weiter bearbeitet, um festzustellen, ob sie wahrscheinlich mit einer Werbesendung verbunden sind. Die so bestimmten Segmente werden dann markiert. Beispiele für Merkmale, die verwendet werden, um diese Feststellung zu treffen, schließen ein:
    • (a) angezeigten Text, der zu Eintragungen in eine gespeicherte Textdatei mit Namen bekannter Unternehmen, Namen von Produkten oder Dienstleistungen, 800-er Nummern oder anderen Telefonnummern, Internetadressen (URL) usw. gehört, die mit Werbesendungen verbunden sind;
    • (b) Sprache. In diesem Falle kann die Sprache extrahiert, in Text umgewandelt und der sich ergebende Text mit Bezugnahme auf die oben erwähnte gespeicherte Textdatei analysiert werden, um Namen bekannter Unternehmen, Namen von Produkten oder Dienstleistungen, 800-er Nummern und andere Telefonnummern, Internetadressen usw. aufzufinden;
    • (c) Fehlen von Untertitelinformationen verbunden mit einer hohen Schnittrate;
    • (d) Untertitelinformationen, die mehrere Leerzeilen enthalten;
    • (e) Abschluss eines Abspanns für einen Film, eine Show oder ein anderes Programm;
    • (f) mittlerer Keyframe-Abstand oder Trend des mittleren Schnitt-Frame-Abstandes, z.B. ein zunehmender oder ein abnehmender Trend;
    • (g) Fehlen von Logos, z.B. eingeblendeten Videologos, welche den Fernsehsender kennzeichnen;
    • (h) Unterschiedliche Schrifttypen, Größen und Farben für eingeblendeten Text;
    • (i) schnelle Veränderungen in der Farbpalette oder in anderen Farbkenngrößen.
  • Die Signaturen werden dann aus den Keyframes in den markierten Segmenten extrahiert und in einer speziellen „wahrscheinlichen" Signaturliste angeordnet. Der Begriff „Keyframe", wie er hier verwendet wird, bezeichnet allgemein ein oder mehrere Frames, die mit einer gegebenen Kameraeinstellung oder einem anderen Teil eines Videosignals, einem ersten Frame in einer speziellen Kameraeinstellung, verbunden sind. Beispiele für wahrscheinliche Signaturlisten schließen die Listen L1, Li, Ln usw. ein, auf die im Flussdiagramm von 2 verwiesen wird. Bei einem ersten Durchlauf durch den Schritt 2 wird eine gegebene Liste von den wahrscheinlichen Listen im Allgemeinen Signaturen für mehrere Werbesendungen sowie auch für Teile des Programms enthalten.
  • Eine gegebene Signatur kann z.B. auf einer visuellen Frame-Signatur oder einer Audiosignatur oder anderen geeigneten identifizierenden Kenngrößen beruhen. Eine visuelle Frame-Signatur kann z.B. unter Verwendung eines Extraktionsverfahrens, das auf DC- und AC-Koeffizienten (DC+AC) basiert, eines Extraktionsverfahren, das auf DC- und Bewegungskoeffizienten (DC+M) basiert oder anderer geeigneter Extraktionsverfahren, z.B. von Verfahren, die auf Wavelets und anderen Transformationen beruhen, extrahiert werden.
  • Das oben erwähnte DC+AC-Verfahren wird ausführlicher z.B. von N. Dimitrova, T. McGee und H. Elenbaas in „Video Keyframe Extraction and Filtering: A Keyframe is not a Keyframe to Everyone", Proceedings of ACM Conference on Information and Knowledge Management, Nov. 1997, beschrieben, und es kann zum Erzeugen einer visuellen Frame-Signatur verwendet werden, die z.B. einen DC-Koeffizienten und fünf AC-Koeffizienten umfasst.
  • Als ein weiteres Beispiel kann das oben erwähnte DC+M-Verfahren verwendet werden, um Signaturen der Form (Keyframe1, Signatur1, Keyframe2, Signatur2 usw.) zu erzeugen. Dieses DC+M-Extraktionsverfahren wird z.B. ausführlicher beschrieben in der US-Patentschrift Nr. 5,870,754 mit dem Titel „Video Retrieval of MPEG Compressed Sequences Using DC and Motion Signature", die am 9. Februar 1999 im Namen der Erfinder N. Dimitrova und M. Abdel-Mottaleb ausgefertigt wurde, und in „Content-Based Video Retrieval By Example Video Clip", Proceeding of Storage and Retrieval for Image and Video Databases V, SPIE Bd. 3022, S. 59–70, San Jose, Ca, 1997 von N. Dimitrova und M. Abdel-Mottaleb.
  • Andere visuelle Frame-Signatur-Extraktionsverfahren können zumindest teilweise auf Farbhistogrammen aufgebaut werden, wie es z.B. in „Color Super-histograms for Video Representation", IEEE International Conference on Image Processing, Kobe, Japan, 1999, von N. Dimitrova, J. Martino, L. Agnihotri und H. Elenbaas beschrieben ist.
  • Eine Audiosignatur Ai kann solche Informationen, wie z.B. die Tonhöhe (z.B. Maximum, Minimum, Median, Mittelwert, Anzahl der Spitzenwerte usw.), mittlere Amplitude, mittlere Energie, Bandbreite und Spitzenwerte der Mel-Frequenz-Cepstrumkoeffizienten (MFCC), enthalten. Ein solche Signatur kann in der Form z.B. eines einzelnen Objekts A1 vorliegen, das in den ersten 5 Sekunden aus einer Werbesendung extrahiert wird. Als ein weiteres Beispiel könnte die Audiosignatur ein Satz von Audiosignaturen {A1, A2, ... An} sein, die z.B. in einer gekennzeichneten Zeitspanne, die auf jeden identifizierten Schnitt folgt, extrahiert werden.
  • Die Erfindung kann auch zahlreiche andere Typen von Signaturen verwenden. Zum Beispiel kann ein weiterer Signaturtyp in der Form eines Untertiteltextes vorliegen, der ein Produkt oder eine Dienstleistung, für die geworben wird, beschreibt. Als ein weiteres Beispiel könnte die Signatur in der Form einer Frame-Nummer plus Informationen aus einem Unterbild von identifiziertem, dem Frame zugeordneten Text vorliegen, wie z.B. eine 800-er Nummer, ein Name eines Unternehmens, ein Name eines Produkts oder einer Dienstleistung, eine Internetadresse usw. Als noch ein weiteres Beispiel könnte die Signatur eine Frame-Nummer und eine Lage sowie Größe eines Gesichts oder anderen Objekts in dem Bild sein, wie es durch eine geeignete Bounding-Box identifiziert wird. Es könnten auch verschiedene Kombinationen von diesen und anderen Signaturtypen verwendet werden.
  • Schritt 3. Beim Auffinden eines neuen möglichen Werbesendungssegmentes wird jedes Mal die Signatur dieses Segments mit den anderen Signaturen in den wahrscheinlichen Listen verglichen, wie es ausführlicher in Zusammenhang mit dem Flussdiagramm von 2 beschrieben ist. Passt die neue Signatur nicht zu irgendeiner Signatur, die bereits auf einer der wahrscheinlichen Listen ist, dann wird die neue Signatur zu einer wahrscheinlichen Liste hinzugefügt. Passt die neue Signatur zu einer oder mehreren Signaturen auf einer der wahrscheinlichen Listen, dann werden die eine oder die mehreren Signaturen in einer speziellen „Kandidaten"-Liste von Signaturen angeordnet. Beispiele für Kandidatenlisten von Signaturen schließen die Listen C1, Cj, Cm usw. ein, auf die im Flussdiagramm von 2 Bezug genommen wird.
  • Es sollte angemerkt werden, dass dann, wenn eine neue Signatur nicht ähnlich zu einer beliebigen Signatur für ein Segment ist, welches mehr als etwa 30 Sekunden oder weniger als etwa 10 Minuten in der Zeit zurückliegt, aber ähnlich zu einer Signatur für ein Segment ist, das etwa 10–13 Minuten in der Zeit zurückliegt, eine erhöhte Wahrscheinlichkeit dafür vorliegt, dass es Teil einer Werbesendung sein kann. Mit anderen Worten, diese Zeitrelation zwischen ähnlichen Signaturen spiegelt die Tatsache wieder, dass eine gegebene wahrscheinliche Liste Werbesendungssegmente enthalten kann, die eine vorgesehene ungefähre Zeitspanne, z.B. 10 Minuten, auseinander liegen. Diese Zeitabstandsrelation kann experimentell für verschiedene Typen von Programmen, Rundfunksendezeiten, Ländern usw. bestimmt werden.
  • Im Vergleichsprozess können andere Typen von zeitlichen und kontextualen Informationen berücksichtigt werden. Tritt zum Beispiel eine spezielle Signatur an einem Tag in etwa dem gleichen Zeitabschnitt auf wie am vorhergehenden Tag, dann kann es wahrscheinlicher sein, dass sie mit einer Werbesendung verbunden ist. Die Listen könnten auch in verschiedene Gruppen für unterschiedliche Tage, Zeiten oder Kanalplätze unterteilt werden, um so den Vergleichsprozess zu erleichtern. Zum Beispiel sollten Shows für Kinder im Allgemeinen auf Sendeplätzen am frühen Morgen laufen, und sie würden mit einer größeren Wahrscheinlichkeit andere Werbesendungen aufweisen als ein Abendprogramm, wie z.B. Fußball am Montagabend. Zur Bereitstellung dieser und anderer Informationen könnte ein im System 10 vorgesehener elektronischer Programmführer (EPG) verwendet werden. Zum Beispiel könnte eine Signatur mit einem speziellen Shownamen und einer Einstufung verknüpft werden, was eine Anordnung wie z.B. (Showname, Einstufung, Kanal, Keyframe1, Signatur, Keyframe5, Signatur usw.) ergibt. Es könnten auch Programmkategorieinformationen aus dem EPG verwendet werden, um zur Identifizierung von Werbesendungen in den Listen beizutragen.
  • Schritt 4. Wenn ein neues mögliches Werbesendungssegment erkannt wird, dann wird jedes Mal die Signatur dieses Segments auch mit den Signaturen in den oben erwähnten Kandidatenlisten verglichen. Passt die neue Signatur zu einer Signatur in einer der Kandidatenlisten, dann wird die neue Signatur in eine spezielle Liste der „aufgefundenen Werbesendungen" übertragen, die hier auch als eine permanente Liste bezeichnet wird. Beispiele für Listen aufgefundener Werbesendungen sind die Listen P1 und Pk, auf die im Flussdiagramm von 2 Bezug genommen wird.
  • Schritt 5. Gibt es in einer gegebenen Liste aufgefundener Werbesendungen mindestens eine Signatur, dann wird die Signatur eines beliebigen neuen möglichen Werbesendungssegments zuerst mit der(den) Signaturen) in dieser Liste verglichen. Wird eine Übereinstimmung gefunden, dann wird ein Werbesendungsfrequenzzähler, welcher der entsprechenden Signatur zugeordnet ist, um eins heraufgesetzt. Gibt es keine Übereinstimmung mit einer Signatur in einer Liste aufgefundener Werbesendungen, dann wird die neue Signatur mit den Signaturen in einer oder mehreren Kandidatenlisten verglichen. Wird für die neue Signatur eine Übereinstimmung in einer gegebenen Kandidatenliste gefunden, dann wird die neue Signatur wie beim Schritt 4 in die Liste der aufgefundenen Werbesendungen eingesetzt. Gibt es keine Übereinstimmung mit irgendeiner Signatur in der Kandidatenliste, dann wird die neue Signatur in eine der wahrscheinlichen Listen gesetzt. Eine ausführlichere Beschreibung dieses Prozesses wird im Flussdiagramm von 2 gegeben.
  • Der oben erwähnte Zähler für die Signaturen in einer Liste aufgefundener Werbesendungen kann überwacht werden, um festzustellen, wie oft er heraufgesetzt wird, und die Ergebnisse können verwendet werden, um weitere Informationen zur Identifizierung von Werbesendungen zu erhalten. Wird der Zähler zum Beispiel in einer verhältnismäßig kurzen Zeitspanne, in der Größenordnung von etwa 1–5 Minuten, heraufgesetzt, dann ist es wahrscheinlich keine Werbesendung. Wird als ein anderes Beispiel der Zähler über einen sehr langen Zeitraum hinweg, z.B. in der Größenordnung von einer Woche oder mehr, nicht heraufgesetzt, dann kann der Zähler heruntergesetzt werden, so dass die Werbesendung schließlich vom System "vergessen" wird. Dieser Typ von Zeitrelationspolitik kann auch für die Signaturen in den oben erwähnten wahrscheinlichen Listen durchgeführt werden.
  • Der Signaturzähler kann auch in anderen Anwendungen eingesetzt werden; zum Beispiel kann er durch die Werbefirmen verwendet werden, um festzustellen, wie oft eine gegebene Werbesendung ausgestrahlt wurde.
  • 2 und 3 zeigen detailliertere Beispiele der Erkennungs- bzw. Anpassungsvorgänge, die in dem oben beschriebenen Prozess zum Auffinden, Erkennen und Extrahieren von Werbesendungen verwendet werden. Es sollte angemerkt werden, dass diese veranschaulichende Ausführungsform zwar auf der Verwendung visueller Signaturen aufbaut, die beschriebenen Verfahren aber auch auf andere Typen von Signaturen, einschließlich der Audio-Signaturen, anwendbar sind. Mit Bezugnahme auf 2 initialisiert ein Initialisierungsschritt 100 eine erste wahrscheinliche Liste L1, eine erste Kandidatenliste C1 und eine erste permanente Liste P1 zu Leermengen und die Variablen i, j und k auf null. Der Initialisierungsschritt 100 setzt auch die Variablen „vorhergehende Signatur" und „aktuelle Signatur" auf null.
  • Im Schritt 102 wird das Eingangsvideo bearbeitet, um ein Keyframe zu erkennen, eine Schnittrate zu berechnen und ein Schwarz-Frame in Verbindung mit einer Tonpause zu erkennen. Im Schritt 103 wird die vorhergehende Signatur gleich der aktuellen Signatur gesetzt. Im Schritt 104 wird bestimmt, ob nach einem Schwarz-Frame mit Tonpause eine hohe Schnittrate vorliegt. Ist das so, dann wird eine visuelle Frame-Signatur extrahiert, die aktuelle Signatur wird gleich der extrahierten Signatur gesetzt, und der Index i wird um eins heraufgesetzt, wie in Schritt 106 dargestellt ist. Die aktuelle Signatur wird dann im Schritt 108 in der wahrscheinlichen Liste Li gespeichert. Liegt nach einem Schwarz-Frame mit Tonpause keine hohe Schnittrate vor, dann wird der Schritt 102 so lange wiederholt, bis eine solche Bedingung nachgewiesen wird. Die Bearbeitungsvorgänge von Schritt 102 werden so lange fortgesetzt, wie Eingangsvideo vorliegt.
  • Wie zuvor erwähnt wurde, könnten im Schritt 102 zusammen mit oder anstelle des Nachweises von Schnittrate und Schwarz-Frames plus Tonpause viele andere Verfahren verwendet werden, um Bereiche des Eingangsvideos zu identifizieren, welche wahrscheinlich Werbesendungen zuzuordnen sind.
  • Ist der Index i größer als eins, dann wird im Schritt 110 versucht, die aktuelle Signatur mit den Signaturen, die in den wahrscheinlichen Listen L1, ... Li-1 gespeichert sind, abzugleichen. Wird keine Übereinstimmung gefunden, dann werden im Schritt 112 aus den wahrscheinlichen Listen L1 bis Li die alten Eintragungen gelöscht, und der Prozess kehrt zum Schritt 102 zurück. Die alten Eintragungen können als solche Eintragungen identifiziert werden, welche in den wahrscheinlichen Listen länger als eine bestimmte vorgegebene Zeitspanne vorgelegen haben. Wird im Schritt 110 eine Übereinstimmung zwischen der aktuellen Signatur, die in Li gespeichert ist, und einer weiteren Signatur, z.B. einer in Ln gespeicherten Signatur, gefunden, dann wird im Schritt 114 bestimmt, ob der Index j größer als null ist. Ist j nicht größer als null, dann wird im Schritt 116 der Index j heraufgesetzt, und dann wird die aktuelle Signatur in der Kandidatenliste Cj gespeichert, wie im Schritt 118 angezeigt ist. Aus den Kandidatenlisten C1 bis Cj werden dann im Schritt 120 die alten Eintragungen gelöscht, und der Prozess kehrt zum Schritt 102 zurück, um zu versuchen, eine weitere hohe Schnittrate nach einem Schwarz-Frame mit Tonpause nachzuweisen.
  • Wenn im Schritt 114 festgestellt wird, dass der Index j größer als null ist, dann wird im Schritt 122 versucht, die aktuelle Signatur mit den Kandidatenlisten C1, ... Cj abzugleichen. Wird im Schritt 122 keine Übereinstimmung gefunden, dann wird im Schritt 124 versucht, die vorhergehende Signatur mit der letzten Signatur in Cj abzugleichen. Ergibt der Schritt 124 keine Übereinstimmung, dann werden die Schritte 116, 118 und 120 ausgeführt, und der Prozess kehrt zum Schritt 102 zurück. Ergibt der Schritt 124 eine Übereinstimmung, dann werden die Schritte 118 und 120 ausgeführt, und der Prozess kehrt dann zum Schritt 102 zurück.
  • Wird im Schritt 122 eine Übereinstimmung zwischen der in Li gespeicherten visuellen Signatur und einer Signatur in einer Kandidatenliste, z.B. einer in Cm gespeicherten Signatur, gefunden, dann wird im Schritt 126 die Kandidateneinstufung für die in der Kandidatenliste Cm gespeicherte Signatur Si erhöht. Im Schritt 128 wird dann bestimmt, ob die Einstufung für irgendeine Signatur in Cm über einem festgelegten Grenzwert liegt. Wenn nicht, dann kehrt der Prozess zum Schritt 102 zurück. Liegt eine Einstufung für eine oder mehrere Signaturen in Cm über dem Grenzwert, dann wird der Index k im Schritt 130 heraufgesetzt, die Signaturen) in Cm wird(werden) aus dieser Kandidatenliste entfernt und in der permanenten Liste Pk gespeichert, und die Kandidatenlisten werden dann bis hin zu Cj umgeordnet, wie in Schritt 132 dargestellt ist, wonach der Prozess zum Schritt 102 zurückkehrt.
  • 3 zeigt ausführlicher einen veranschaulichenden Prozess zum Abgleich einer aktuellen Signatur mit Signaturen in den Kandidatenlisten C1, ... Cm, der weitgehend dem Prozessschritt 122 von 2 entspricht. Der Abgleichvorgang von 3 ist dazu bestimmt, eine Übereinstimmung zwischen der aktuellen Signatur und z.B. einer mittleren Signatur in einem Signaturensatz in einer gegebenen Kandidatenliste zu orten. Im Schritt 150 wird eine Übereinstimmung zwischen der aktuellen Signatur und einer zuvor gespeicherten Signatur Smp in der Liste Cm = {Sm1, Sm2, ..., Smp, ... Smt} gefunden. Im Schritt 152 wird dann bestimmt, ob die Variablen "begin" und "end" alle gleich null sind. Diese Variablen werden verwendet, um den Beginn bzw. das Ende einer einzelnen Werbesendung zu markieren, wenn mehrere Werbesendungen in einer gegebenen Kandidatenliste vorgefunden werden, und sie werden in dem oben erwähnten Initialisierungsschritt 100 zu null initialisiert. Wenn entweder begin oder end ungleich Null sind, dann werden beide auf einen Wert p gesetzt, wie in den Schritten 154 und 156 angegeben ist, wobei p der Indexwert ist, welcher der Signatur Smp zugeordnet ist. Wenn sowohl begin als auch end gleich null sind, dann behält begin seinen Wert null bei, und der Wert von end wird im Schritt 156 auf p gesetzt.
  • Im Schritt 158 wird dann die Differenz zwischen begin und end mit einem vorgegebenen Grenzwert verglichen. Ist die Differenz end-begin größer als der Grenzwert und wird im Schritt 160 festgelegt, dass begin gleich eins und end gleich einer vorgesehenen Zeit t ist, dann wird der Index j im Schritt 162 heraufgesetzt. Im Schritt 164 werden dann die Signaturen Smbegin, ... Smend in die Kandidatenliste Cj kopiert und diese Signaturen aus der Kandidatenliste Cj-1 entfernt. Im Schritt 166 werden dann sowohl end als auch begin auf null zurückgesetzt, und der Prozess von 3 endet und kehrt zu dem entsprechenden Punkt, d.h. dem Schritt 122, in dem Prozess von 2 zurück. Wenn im Schritt 158 festgestellt wird, dass end-begin kleiner als der Grenzwert ist, oder wenn im Schritt 160 begin nicht gleich eins oder end nicht gleich t ist, dann endet der Prozess in 3 und kehrt zum Schritt 122 von 2 zurück.
  • Sobald die Werbesendungen oder andere Typen von Videoinhalt unter Verwendung der oben beschriebenen Verfahren identifiziert und durch das System erkannt wurden, können herkömmliche Ansätze für das Bearbeiten oder anderenfalls für das Extrahieren der Werbesendungen, z.B. durch Stummschalten eines Fernsehgeräts, Schnellvorlauf durch eine aufgezeichnete Sendung usw., direkt verwendet werden.
  • Andere Ausführungsformen können den Benutzer in den Prozess des Auffindens, Erkennens und Extrahierens von Werbesendungen einzubeziehen. Zum Beispiel kann eine Benutzer-Fernbedienung für den Einsatz in dem oben beschriebenen System so eingerichtet sein, dass sie eine „Nie-wieder„-Schaltfläche enthält, die bei Betätigung durch den Benutzer die Werbesendungssignatur automatisch extrahiert und direkt in einer bestimmten P-Liste speichert, ohne dass erst die L- und die C-Listen durchlaufen werden. In anderen Ausführungsformen können spezielle Aktivitäten des Benutzers nachgewiesen und genutzt werden, um das automatische Extrahieren einer Signatur aus einem gegebenen Segment eines Videosignals zu veranlassen. Zum Beispiel kann das System eingerichtet sein, automatisch eine Signatur aus einem Teilbereich des Videosignals zu extrahieren, den ein Benutzer im Schnellvorlauf durchläuft, wenn er eine Wiedergabe einer zuvor aufgenommenen Sendung, einer TiVO-Ausgabe usw., anschaut.
  • In einem erfindungsgemäßen Verfahren zum Auffinden, Erkennen und Extrahieren von Werbesendungen können auch Informationen von einem Diensteanbieter, wie z.B. eine Liste von Werbesendungen, verwendet werden. Zum Beispiel kann ein Diensteanbieter Informationen, wie z.B. vorab extrahierte Signaturen, einem Benutzergerät zur Verfügung stellen, um das Identifizieren und Extrahieren des entsprechenden Videoinhalts zu erleichtern.
  • Wie oben erwähnt wurde, reduziert die Erfindung beträchtlich den Speicher und die Rechnerressourcen, die für das Identifizieren und Extrahieren von Werbesendungen oder anderen Typen von Videoinhalt benötigt werden. Zum Beispiel können die oben beschriebenen Signaturen so konfiguriert sein, dass sie pro Frame nicht mehr als einige wenige hundert Bytes des Speichers benötigen, und die Rechnerressourcen werden im Vergleich zu herkömmlichen Verfahren bis zu mehreren Größenordnungen reduziert.
  • Die oben beschriebenen Ausführungsformen der Erfindung sind nur zur Veranschaulichung gedacht. Die Erfindung kann zum Beispiel verwendet werden, um das Auffinden, Erkennen und Extrahieren von anderen Typen von Bildsignalen in einem beliebigen gewünschten Typ eines Videobearbeitungssystems oder -gerätes und in vielen anderen Anwendungen als den hier beschriebenen zu realisieren. Die Erfindung kann auch zumindest teilweise in der Form eines oder mehrerer Softwareprogramme realisiert werden, die auf einem ansonsten herkömmlichen elektronischen, magnetischen oder optischen Speichermedium oder einem anderen Speichertyp gespeichert und durch ein Verarbeitungsgerät, z.B. durch den Prozessor 15 des Systems 10 in 1, ausgeführt werden. Diese und zahlreiche andere Ausführungsformen im Gültigkeitsbereich der nachfolgenden Ansprüche sind für Fachleute offensichtlich.

Claims (11)

  1. Verfahren für das Bearbeiten eines Videosignals, wobei das Verfahren die Schritte umfasst: – Identifizieren (102, 104) einer Anzahl von Segmenten des Videosignals, die wahrscheinlich einem speziellen Typ von Videoinhalt zuzuordnen sind, – Extrahieren (106) einer Signatur aus jeder von mindestens einer Untermenge des einen oder der mehreren identifizierten Segmente, wobei die extrahierten Signaturen verwendet werden, um zu bestimmen, welches der identifizierten Segmente mit dem speziellen Typ von Videoinhalt verbunden ist, – Speichern der extrahierten Signatur in einer ersten Liste von Signaturen des speziellen Videotyps (108), gekennzeichnet durch – Vergleichen der extrahierten Signatur mit gespeicherten Signaturen in einer ersten Liste und in einer zweiten Liste (110, 122), – so dass im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der ersten Liste (110) die passende Signatur in der zweiten Liste (118) als Kandidatensignatur gespeichert wird, und – im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der zweiten Liste (122) eine Kandidatenbewertung für die Kandidatensignatur in der zweiten Liste (126) erhöht wird.
  2. Verfahren nach Anspruch 1, wobei der Identifizierungsschritt die Bestimmungsschritte umfasst, ob ein gegebenes der Segmente mindestens ein Schwarz-Frame verbunden mit einer Tonpause in seinem zugeordneten Audiosignal enthält, eine Schnittrate einen spezifizierten Wert überschreitet, eine spezifizierte Veränderung in einer Farbkenngröße vorliegt, eine spezifizierte Veränderung in einer Kenngröße des zugeordneten Audio vorliegt, ein spezifizierter Texttyp vorliegt, ein spezifizierter Sprachtyp vorliegt, Untertitelinformationen nicht oder in einem speziellen Typ vorliegen und ein eingeblendetes Videologo fehlt.
  3. Verfahren nach Anspruch 1, wobei die Signatur, die aus einem gegebenen der Videosegmente extrahiert ist, eine visuelle Frame-Signatur umfasst, die zumindest teilweise auf einer visuellen Kenngröße eines Frame des Videosegments basiert.
  4. Verfahren nach Anspruch 3, wobei die visuelle Frame-Signatur unter Verwendung von Informationen basierend auf DC- und Bewegungskoeffizienten des Frame extrahiert ist.
  5. Verfahren nach Anspruch 3, wobei die visuelle Frame-Signatur unter Verwendung von Informationen basierend auf DC- und AC-Koeffizienten des Frame extrahiert ist.
  6. Verfahren nach Anspruch 1, wobei die Signatur, die aus einem gegebenen der Videosegmente extrahiert ist, mindestens eines von den folgenden enthält: ein Histogramm, Untertiteltext, einen Name eines Unternehmens, einen Namen eines Produkts oder einer Dienstleistung, eine Telefonnummer, eine Internetadresse, eine Frame-Nummer in Verbindung mit der Platzierung eines Textfeldes, Farb- oder Schriftzeichencodeinformationen und eine Frame-Nummer in Verbindung mit Platzierungsinformationen eines Gesichts oder anderen Objekts.
  7. Verfahren nach Anspruch 1, das ferner den Schritt zum Verwenden von Programmidentifizierungsinformationen aus einem elektronischen Programmführer in Verbindung mit den extrahierten Signaturen enthält, um zu bestimmen, welches der identifizierten Elemente mit dem speziellen Typ von Videoinhalt verbunden ist.
  8. Verfahren nach Anspruch 1, das ferner den Schritt zum Bereithalten von Sätzen von Signaturlisten enthält, wobei die Sätze von Listen eine oder mehrere von mindestens einer wahrscheinlichen Liste, mindestens einer Kandidatenliste und mindestens einer Fundliste enthalten, wobei jede Eintragung in eine gegebene Liste einer Signatur entspricht, die mit einem speziellen Videosegment verbunden ist.
  9. Verfahren nach Anspruch 1, das ferner den Schritt zum automatischen Extrahieren einer Signatur aus einem speziellen Segment eines Videosignals als Reaktion auf den Nachweis einer Aktion des Benutzers einschließt, die sich auf das spezielle Segment bezieht.
  10. Gerät zum Bearbeiten eines Videosignals, wobei das Gerät umfasst: – einen Prozessor (15), der funktionsfähig ist, mindestens ein Segment des Videosignals zu ermitteln, das mit einem speziellen Typ von Videoinhalt verbunden ist, und eine Signatur aus dem ermittelten Element zu extrahieren, wobei die extrahierte Signatur verwendet wird, um zusätzliche Segmente des Videosignals zu ermitteln, die auch mit dem speziellen Typ von Videoinhalt verbunden sind, und – einen Speicher (16), der an den Prozessor gekoppelt ist, um mindestens einen Teil der extrahierten Signatur zu speichern, dadurch gekennzeichnet, dass – der Prozessor ferner funktionsfähig ist – die extrahierte Signatur mit gespeicherten Signaturen in einer ersten Liste und in einer zweiten Liste (110, 122) zu vergleichen, – so dass im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der ersten Liste (110) die passende Signatur in der zweiten Liste (118) als Kandidatensignatur gespeichert wird, und – im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der zweiten Liste (122) eine Kandidatenbewertung für die Kandidatensignatur in der zweiten Liste (126) erhöht wird.
  11. Fertigungserzeugnis mit einem maschinenlesbaren Medium, das ein oder mehrere Softwareprogramme enthält, die beim Ausführen die Schritte realisieren: – Identifizieren (102, 104) einer Anzahl von Segmenten des Videosignals, die wahrscheinlich einem speziellen Typ von Videoinhalt zuzuordnen sind, – Extrahieren (106) einer Signatur aus jeder der mindestens einen Untermenge des einen oder der mehreren identifizierten Segmente, wobei die extrahierten Signaturen verwendet werden, um zu bestimmen, welches der identifizierten Segmente mit dem speziellen Typ von Videoinhalt verbunden ist, – Speichern der extrahierten Signatur in einer ersten Liste von Signaturen des speziellen Videotyps (108), gekennzeichnet durch – Vergleichen der extrahierten Signatur mit gespeicherten Signaturen in einer ersten Liste und in einer zweiten Liste (110, 122), – so dass im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der ersten Liste (110) die passende Signatur in der zweiten Liste (118) als Kandidatensignatur gespeichert wird, und – im Falle einer Übereinstimmung mit einer gespeicherten Signatur in der zweiten Liste (122) eine Kandidatenbewertung für die Kandidatensignatur in der zweiten Liste (126) erhöht wird.
DE60029746T 1999-10-13 2000-10-02 Automatische signaturbasierte erkennung, erlernung und extrahierung von werbung und anderen videoinhalten Expired - Fee Related DE60029746T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US417288 1999-10-13
US09/417,288 US6469749B1 (en) 1999-10-13 1999-10-13 Automatic signature-based spotting, learning and extracting of commercials and other video content
PCT/EP2000/009652 WO2001028240A1 (en) 1999-10-13 2000-10-02 Automatic signature-based spotting, learning and extracting of commercials and other video content

Publications (2)

Publication Number Publication Date
DE60029746D1 DE60029746D1 (de) 2006-09-14
DE60029746T2 true DE60029746T2 (de) 2007-10-18

Family

ID=23653348

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60029746T Expired - Fee Related DE60029746T2 (de) 1999-10-13 2000-10-02 Automatische signaturbasierte erkennung, erlernung und extrahierung von werbung und anderen videoinhalten

Country Status (5)

Country Link
US (1) US6469749B1 (de)
EP (1) EP1138151B1 (de)
JP (1) JP2003511934A (de)
DE (1) DE60029746T2 (de)
WO (1) WO2001028240A1 (de)

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771316B1 (en) * 1996-11-01 2004-08-03 Jerry Iggulden Method and apparatus for selectively altering a televised video signal in real-time
US6002443A (en) * 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6173271B1 (en) * 1997-11-26 2001-01-09 California Institute Of Technology Television advertising automated billing system
US6819863B2 (en) 1998-01-13 2004-11-16 Koninklijke Philips Electronics N.V. System and method for locating program boundaries and commercial boundaries using audio categories
JP4178629B2 (ja) * 1998-11-30 2008-11-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US7028325B1 (en) * 1999-09-13 2006-04-11 Microsoft Corporation Annotating programs for automatic summary generation
AUPQ530500A0 (en) * 2000-01-28 2000-02-17 Right Hemisphere Pty Limited Commercial attenuator
US6532477B1 (en) * 2000-02-23 2003-03-11 Sun Microsystems, Inc. Method and apparatus for generating an audio signature for a data item
US8121843B2 (en) 2000-05-02 2012-02-21 Digimarc Corporation Fingerprint methods and systems for media signals
US7415718B1 (en) * 2000-05-31 2008-08-19 Aol Llc Receiving and processing vertical blanking interval data
WO2002011448A1 (en) * 2000-07-27 2002-02-07 Kabushiki Kaisha Infocity Information accessing device and method and information providing device and method
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US6829778B1 (en) * 2000-11-09 2004-12-07 Koninklijke Philips Electronics N.V. Method and system for limiting repetitive presentations based on content filtering
US20020047926A1 (en) * 2000-12-20 2002-04-25 Samsung Electronics Co., Ltd. Banner activated digital TV receiver and a method for operating the receiver
US6751398B2 (en) * 2000-12-22 2004-06-15 Koninklijke Philips Electronics N.V. System and method for determining whether a video program has been previously recorded
GB2380599B (en) * 2000-12-22 2003-10-29 Kent Ridge Digital Labs System and method for media production
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
US7170566B2 (en) * 2001-12-21 2007-01-30 Koninklijke Philips Electronics N.V. Family histogram based techniques for detection of commercials and other video content
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
WO2003081878A1 (en) * 2002-03-27 2003-10-02 Mitsubishi Denki Kabushiki Kaisha Communication apparatus and communication method
US7260308B2 (en) * 2002-05-09 2007-08-21 Thomson Licensing Content identification in a digital video recorder
US7206494B2 (en) * 2002-05-09 2007-04-17 Thomson Licensing Detection rules for a digital video recorder
US6766523B2 (en) 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US7373336B2 (en) * 2002-06-10 2008-05-13 Koninklijke Philips Electronics N.V. Content augmentation based on personal profiles
CN100426861C (zh) * 2002-07-01 2008-10-15 微软公司 对嵌于媒介流中的重复对象提供用户控制的系统和方法
US7009655B2 (en) * 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
US20040045020A1 (en) * 2002-08-29 2004-03-04 Witt Jeffrey Michael Commercial identification system
EP1403783A3 (de) * 2002-09-24 2005-01-19 Matsushita Electric Industrial Co., Ltd. Merkmalsextraktion von einem Audiosignal
US20040062520A1 (en) * 2002-09-27 2004-04-01 Koninklijke Philips Electronics N.V. Enhanced commercial detection through fusion of video and audio signatures
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
EP1611745A1 (de) * 2003-03-28 2006-01-04 Koninklijke Philips Electronics N.V. Detektion von datenblöcken anhand von fingerabdrücken
US8351761B2 (en) * 2003-06-06 2013-01-08 Harris Technology, Llc Commercial skipping standalone device
AU2003249319A1 (en) 2003-06-20 2005-01-28 Nielsen Media Research, Inc Signature-based program identification apparatus and methods for use with digital broadcast systems
US7327885B2 (en) * 2003-06-30 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Method for detecting short term unusual events in videos
AU2003272483A1 (en) 2003-09-12 2005-04-27 Nielsen Media Research, Inc. Digital video signature apparatus and methods for use with video program identification systems
US7788696B2 (en) * 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
WO2005041109A2 (en) * 2003-10-17 2005-05-06 Nielsen Media Research, Inc. Methods and apparatus for identifiying audio/video content using temporal signal characteristics
US20070083887A1 (en) * 2003-11-10 2007-04-12 Koninklijke Philips Electronics N.V. Commercial augmentation
EP1687978A1 (de) * 2003-11-17 2006-08-09 Koninklijke Philips Electronics N.V. Werbungseinfügung in videoströme auf der basis des umgebenden programminhalts
US7853968B2 (en) * 2003-12-02 2010-12-14 Lsi Corporation Commercial detection suppressor with inactive video modification
CA2563107C (en) 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
US20060013557A1 (en) * 2004-07-01 2006-01-19 Thomas Poslinski Suppression of trick modes in commercial playback
US20060013554A1 (en) * 2004-07-01 2006-01-19 Thomas Poslinski Commercial storage and retrieval
US20060013555A1 (en) * 2004-07-01 2006-01-19 Thomas Poslinski Commercial progress bar
US20060013556A1 (en) * 2004-07-01 2006-01-19 Thomas Poslinski Commercial information and guide
WO2006023770A2 (en) * 2004-08-18 2006-03-02 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
JP4293105B2 (ja) * 2004-10-06 2009-07-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7400784B2 (en) * 2004-10-19 2008-07-15 Institut National De L'audiovisuel-Ina Search of similar features representing objects in a large reference database
US8712831B2 (en) * 2004-11-19 2014-04-29 Repucom America, Llc Method and system for quantifying viewer awareness of advertising images in a video source
US8036932B2 (en) * 2004-11-19 2011-10-11 Repucom America, Llc Method and system for valuing advertising content
EP1829368B1 (de) * 2004-11-22 2019-09-11 Nielsen Media Research, Inc. Verfahren und vorrichtungen für medienquellen-identifikation und zeitlich verschobene medienverbrauchsmessungen
US8041190B2 (en) * 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
GB2423882A (en) * 2005-03-01 2006-09-06 Half Minute Media Ltd Acting on known video entities detected utilizing fingerprinting
US20060242667A1 (en) * 2005-04-22 2006-10-26 Petersen Erin L Ad monitoring and indication
US7400364B2 (en) * 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
KR100707189B1 (ko) * 2005-04-29 2007-04-13 삼성전자주식회사 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US7690011B2 (en) 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US20060271947A1 (en) * 2005-05-23 2006-11-30 Lienhart Rainer W Creating fingerprints
US20070030584A1 (en) * 2005-08-02 2007-02-08 Lsi Logic Corporation Compressed domain commercial detect/skip
US20120114167A1 (en) * 2005-11-07 2012-05-10 Nanyang Technological University Repeat clip identification in video data
JP2007174195A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 電子機器、自動シーンスキップ方法およびプログラム
US7627878B2 (en) * 2005-12-23 2009-12-01 Eloda Inc. Method and System for automated auditing of advertising
US8185921B2 (en) * 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
US7966552B2 (en) 2006-10-16 2011-06-21 Sony Corporation Trial selection of STB remote control codes
US7814524B2 (en) 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8077263B2 (en) 2006-10-23 2011-12-13 Sony Corporation Decoding multiple remote control code sets
US7991271B2 (en) 2007-02-14 2011-08-02 Sony Corporation Transfer of metadata using video frames
US20080120646A1 (en) * 2006-11-20 2008-05-22 Stern Benjamin J Automatically associating relevant advertising with video content
GB2444094A (en) * 2006-11-22 2008-05-28 Half Minute Media Ltd Identifying repeating video sections by comparing video fingerprints from detected candidate video sequences
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
CN101669308B (zh) * 2007-02-20 2013-03-20 尼尔森（美国）有限公司 表征媒体的方法和装置
US8438589B2 (en) 2007-03-28 2013-05-07 Sony Corporation Obtaining metadata program information during channel changes
GB2447876B (en) * 2007-03-29 2009-07-08 Sony Uk Ltd Recording apparatus
JP2008277967A (ja) * 2007-04-26 2008-11-13 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに記録媒体
US8458737B2 (en) 2007-05-02 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
US8407744B2 (en) * 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
CA2705549C (en) 2007-11-12 2015-12-01 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US20090132339A1 (en) * 2007-11-21 2009-05-21 Microsoft Corporation Signature-Based Advertisement Scheduling
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
US8457951B2 (en) 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
GB2457694B (en) * 2008-02-21 2012-09-26 Snell Ltd Method of Deriving an Audio-Visual Signature
GB2487499B (en) * 2008-02-21 2013-02-27 Snell Ltd Method of comparing audio data
ES2512640T3 (es) 2008-03-05 2014-10-24 The Nielsen Company (Us), Llc Métodos y aparato para generar firmas
US20090320060A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Advertisement signature tracking
US8631351B2 (en) * 2008-06-29 2014-01-14 Microsoft Corporation Providing multiple degrees of context for content consumed on computers and media players
GB2462470B (en) 2008-08-08 2012-11-14 Sony Uk Ltd Management of television recordings
US8320674B2 (en) 2008-09-03 2012-11-27 Sony Corporation Text localization for image and video OCR
US20100061709A1 (en) * 2008-09-05 2010-03-11 Davender Agnihotri Ad Menu for skipped advertisements
WO2010060739A1 (en) * 2008-11-03 2010-06-03 Telefonica, S.A. Method and system of classification of audiovisual information
US8035656B2 (en) 2008-11-17 2011-10-11 Sony Corporation TV screen text capture
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US8930980B2 (en) * 2010-05-27 2015-01-06 Cognitive Networks, Inc. Systems and methods for real-time television ad detection using an automated content recognition database
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US20110067066A1 (en) 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US8682145B2 (en) * 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
CA2943957C (en) * 2010-05-04 2017-10-03 Avery Li-Chun Wang Methods and systems for synchronizing media
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9602870B2 (en) 2011-03-31 2017-03-21 Tvtak Ltd. Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US8768003B2 (en) 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
US20140013352A1 (en) * 2012-07-09 2014-01-09 Tvtak Ltd. Methods and systems for providing broadcast ad identification
IN2014DN11195A (de) * 2012-04-01 2015-10-02 Tvtak Ltd
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
CN103020153B (zh) * 2012-11-23 2018-03-20 黄伟 一种基于视频的广告识别方法
US9106953B2 (en) 2012-11-28 2015-08-11 The Nielsen Company (Us), Llc Media monitoring based on predictive signature caching
US9053711B1 (en) 2013-09-10 2015-06-09 Ampersand, Inc. Method of matching a digitized stream of audio signals to a known audio recording
US10014006B1 (en) 2013-09-10 2018-07-03 Ampersand, Inc. Method of determining whether a phone call is answered by a human or by an automated device
IN2013MU03298A (de) * 2013-10-21 2015-07-17 Tektronix Inc
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
GB2523311B (en) 2014-02-17 2021-07-14 Grass Valley Ltd Method and apparatus for managing audio visual, audio or visual content
MX373930B (es) 2015-01-30 2020-07-10 Inscape Data Inc Metodos para la identificacion de segmentos de video y opcion de visualizacion para ver desde una fuente alternativa y/o en un dispositivo alternativo.
US10015541B2 (en) 2015-03-25 2018-07-03 Cisco Technology, Inc. Storing and retrieval heuristics
US9578394B2 (en) 2015-03-25 2017-02-21 Cisco Technology, Inc. Video signature creation and matching
WO2016168556A1 (en) 2015-04-17 2016-10-20 Vizio Inscape Technologies, Llc Systems and methods for reducing data density in large datasets
CN106294331B (zh) 2015-05-11 2020-01-21 阿里巴巴集团控股有限公司 音频信息检索方法及装置
US20160337691A1 (en) * 2015-05-12 2016-11-17 Adsparx USA Inc System and method for detecting streaming of advertisements that occur while streaming a media program
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
EP3323244B1 (de) 2015-07-16 2021-12-29 Inscape Data, Inc. System und verfahren für verbesserte arbeitslastverwaltung in einem acr-fernsehüberwachungssystem
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
AU2016291690B2 (en) 2015-07-16 2020-08-27 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
MX388673B (es) 2015-07-16 2025-03-20 Inscape Data Inc Sistemas y metodos para dividir indices de busqueda para una mayor eficiencia en la identificacion de segmentos de medios.
CA2992319C (en) 2015-07-16 2023-11-21 Inscape Data, Inc. Detection of common media segments
US9894412B2 (en) 2016-03-09 2018-02-13 Silveredge Technologies Pvt. Ltd. Method and system for detection of television advertisements using broadcasting channel characteristics
EP3607723B1 (de) 2017-04-06 2022-03-09 Inscape Data, Inc. Systeme und verfahren zur verbesserung der genauigkeit von vorrichtungskarten unter verwendung von medienbetrachtungsdaten
US11516522B1 (en) * 2021-07-02 2022-11-29 Alphonso Inc. System and method for identifying potential commercial breaks in a video data stream by detecting absence of identified persons associated with program type content in the video data stream
CN114697762B (zh) 2022-04-07 2023-11-28 脸萌有限公司 一种处理方法、装置、终端设备及介质
US20250095362A1 (en) * 2023-09-14 2025-03-20 International Business Machines Corporation Machine learning to detect fake videos

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4697209A (en) * 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
US4750213A (en) * 1986-06-09 1988-06-07 Novak Albert P Method and system for editing unwanted program material from broadcast signals
AU2884189A (en) * 1988-01-26 1989-07-27 Integrated Circuit Technologies Ltd. Method and apparatus for identifying and eliminating specific material from video signals
US4945412A (en) * 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US5019899A (en) * 1988-11-01 1991-05-28 Control Data Corporation Electronic data encoding and recognition system
US4857999A (en) * 1988-12-20 1989-08-15 Peac Media Research, Inc. Video monitoring system
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5870754A (en) 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6002443A (en) * 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6125229A (en) * 1997-06-02 2000-09-26 Philips Electronics North America Corporation Visual indexing system
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network

Also Published As

Publication number Publication date
JP2003511934A (ja) 2003-03-25
US6469749B1 (en) 2002-10-22
DE60029746D1 (de) 2006-09-14
EP1138151B1 (de) 2006-08-02
WO2001028240A1 (en) 2001-04-19
EP1138151A1 (de) 2001-10-04

Similar Documents

Publication Publication Date Title
DE60029746T2 (de) Automatische signaturbasierte erkennung, erlernung und extrahierung von werbung und anderen videoinhalten
DE69427261T2 (de) Vorrichtung und Verfahren zum selektiven Betrachten von Fernsehinformation
DE69619078T2 (de) Verfahren und Vorrichtung zur bildschirmmässigen Präsentation audiovisuellen Materials für Abonnenten
DE60006708T2 (de) System und verfahren zur aufnahme von push daten
DE69834029T2 (de) Bedeutsame szenenfeststellung und rahmenfilterung für ein visuelles indexierungssystem
DE69523321T2 (de) Vorrichtung zur dekodierung von digitalen videosignalen
DE69935504T2 (de) System und verfahren zur videoinhaltsanalyse unter verwendung ermittelter texte in videorahmen
DE3750437T2 (de) Verfahren, Apparat und System zur Wiedererkennung von Rundfunkausschnitten.
DE60217091T2 (de) Synchrones aktualisieren dynamischer interaktiver anwendungen
DE112016003694B4 (de) System und Verfahren zum Erkennen von Werbung in Multimedia-Assets
DE69738463T2 (de) Rundfunkvorrichtung für Programminformationsrundfunksystem und Empfängerendgerät
EP1040656B1 (de) Vorrichtung und verfahren zur lokalisierung von werbung in einem videodatenstrom
DE68928346T2 (de) System und verfahren zur programmierung eines vcr
DE69909758T2 (de) System zur erzeugung, partitionierung und verarbeitung von elekronischen fernsehprogrammzeitschriften
DE69628513T2 (de) Vorrichtung und Verfahren zur Bereitstellung eines interaktiven Programmführers für Veranstaltungen in einem Informationsnetzwerk
DE69738024T2 (de) Fernsehprogrammierungssystem und betriebsverfahren dazu
DE102008056603A1 (de) Verfahren und Vorrichtungen zur Messung von Markenexposition in Medienstreams und zur Festlegung von Interessenbereichen in zugeordneten Videoframes
DE60003455T2 (de) Abspielen von interaktiven programmen
EP1190566B1 (de) Verfahren und vorrichtung zur unterdrückung unerwünschter programmteile für geräte der unterhaltungselektronik
US20030117530A1 (en) Family histogram based techniques for detection of commercials and other video content
DE69804521T2 (de) Aufnahme- und/oder Wiedergabe von Signalen und Aufnahmemedium
DE112013003718T5 (de) Verfahren und Vorrichtung zum Verarbeiten digitaler Dienstsignale
DE112008004201T5 (de) Programmdatenverarbeitungsvorrichtung. -Verfahren und - Programm
DE69520171T2 (de) Verfahren und Vorrichtung, um eine Bildsequenz bestehend aus mindestens zwei Medienkomponenten zu komprimieren
DE112005000541T5 (de) Gerät und Verfahren zum Programmieren der Aufzeichnung von Rundsendeprogrammen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee