DE19523518A1 - Steuerung von audiovisuellen Ereignissen mittels optischem Fluß - Google Patents

Description

Die Erfindung bezieht sich auf eine Steuerung von audiovisuellen Ereignissen. Die Steuerung erfolgt dabei derart, daß zunächst Bilder einer oder mehrerer Personen (1) von einer CCD- Kamera (2) aufgenommen werden. Diese Bilder werden dann zur Bildauswertung (3) d. h. zur Analyse des sogenannten optischen Flusses verwendet. (Berechnung des optischen Flusses bedeutet Bildbereiche in zeitlich aufeinanderfolgenden Bildern einander zuordnen. Dabei gehören solche Bildbereiche zusammen, die Projektionen derselben Struktur in der Außenwelt darstellen.) In der Fachliteratur wurden bereits zahlreiche Algorithmen zur Berech­ nung des optischen Flusses angegeben. (Ein typisches Beispiel hierfür ist: Bülthoff HH, Little JJ, Poggio T. A parallel algorithm for real-time computation of optical flow. Na­ ture, pages 337-549, 1989) Die Berechnung des Flusses kann mittels eines Rechners (18) erfolgen, der über Bildaquisitionshardware (19) verfügt, wie sie z. B. von den Firmen Eltec und Stemmer (geschützte Firmennamen) vertrieben werden. Der optische Fluß, wie ihn z. B. eine einzelne Person erzeugt, gibt Auskunft darüber, in welche Richtung und wie stark sich einzelne Körperteile der Person bewegen. Diese Meßdaten können nun genutzt werden, visuelle oder akustische Ereignisse zu steuern. Dies kann entweder direkt mit dem Rech­ ner (18) geschehen, oder die Flußparameter werden über Datenleitungen weiteren Anlagen zugeführt, wie sie z. B. spezielle Graphikrechner (4) oder Midigeräte zur Musikerzeugung (5) darstellen. Graphikrechner, wie sie z. B. von der Firma Silicon Graphics (geschützter Fir­ menname) angeboten werden, sind für diesen Zweck geeignet. Midigeräte sind Sequencer, z. B. Cubase (geschützter Produktname) von der Firma Steinberg (geschützter Firmenname) und Synthesizer, z. B. der D800 von der Firma Roland (geschützter Firmenname). Schließlich benötigt man noch Ausgabegeräte wie Verstärker, Lautsprecher (6) oder Bildschirme (7).

Um die Abbildung von Flußfeldparametern auf Parameter, die die audiovisuellen Er­ eignisse steuern bestimmen, lernfähig zu machen, kann ein neuronales Netz (21) Verwendung finden. Z.B. sind sogenannte Backpropagation Netze (Rummelhart und McClelland) denkbar oder auch Reinforcement Schemas (Barto und Sutton). Neuronale Netzwerke sind in der Lage, unter Nutzung eines Trainingssignals (21), die Abbildung von Flußfeldparametern auf Parameter, die die audiovisuelle Ereignisse festlegen, zu verbessern. Das Trainingssignal gibt an, wie gut diese Abbildung bereits ist.

Konkrete Umsetzungen der Erfindung sind folgende:

• 1) Ein "Cyberwecker" funktioniert so, daß die Kamera auf ein Bett gerichtet ist. Der Wecker weckt die Person im Bett zu einer bestimmter Zeit, indem er Musik spielt. Bewegt sich die Person nun nicht, was durch die Flußfeldanalyse festgestellt wird, wird die Musik lauter gespielt, oder eine aggressivere Musik wird gespielt. Bewegt sich die Person nun stärker, wird die Musik wieder sanfter. Das ganze dauert eine vorher festgelegte Zeit. Ist die Person aufgestanden, kann sie per Tastendruck ein Trainingssignal erzeugen. Dieses gibt an, wie sehr die Person mit dem Weckprozeß zufrieden war, z. B. gibt sie eine Zahl zwischen 1 (sehr gut) und 6 (sehr schlecht) ein. Entsprechend wird das neuronale Netz die Zuordnung von Bewegungen zu musikalischen Ereignissen ändern.
• 2) Reklameansagen in einem Supermarkt können mittels der Erfindung an Besucher­ ströme angepaßt werden. Dazu müssen in dem Supermarkt Kameras so angebracht sein, daß die Stärke des optischen Flusses, den die Besucherströme erzeugen, gut gemessen wer­ den kann. Sind in einer Abteilung viele Besucher, sind dort die Bildbereiche ausgedehnt, in denen der optische Fluß groß ist. Dieses Signal kann dazu genutzt werden, Reklameansagen für Produkte in leereren Abteilungen zu machen. Welche Abteilungen leer sind, läßt sich ebenfalls mit Messungen des optischen Flusses herausfinden.
• 3) Werden mit der vorgeschlagenen Erfindung in einer Discotheque die Bewegungen des Publikums analysiert, kann dies dazu genutzt werden, Videoinstallationen, Licht oder Musik zu steuern.

Claims (3)

1. Steuerungsvorrichtung von audiovisuellen Ereignissen mittels optischem Fluß, bei welcher durch Bildauswertung (3) optischer Fluß bestimmt wird und die Flußfeldparameter visuelle und/oder akustische Ereignisse steuern.

2. Steuervorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß eine CCD-Kamera, die Bewegung einer oder mehrerer Personen beobachtet.

3. Steuervorrichtung nach Anspruch 1, die zusätzlich über ein lernfähiges neuronales Netz verfügt (21), um die Steuerung von akustischen und/oder visuellen Ereignissen mittels Fluß­ feldparametern zu verbessern.