DE102019127826B4

DE102019127826B4 - Sicherer optoelektronischer Sensor und Verfahren zum Absichern eines Überwachungsbereichs

Info

Publication number: DE102019127826B4
Application number: DE102019127826.0A
Authority: DE
Inventors: Christoph Hofmann; Romain MÜLLER
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2021-06-02
Anticipated expiration: 2039-10-16
Also published as: DE102019127826A1

Abstract

Sicherer optoelektronischer Sensor (10) zum Absichern eines Überwachungsbereichs (12) mit mindestens einer Maschine (24), insbesondere einem Roboter, wobei der Sensor (10) einen Bildsensor (14) mit einer Vielzahl von Pixelelementen zum Erzeugen von Bilddaten von Objekten (24, 26) in dem Überwachungsbereich (12) und eine Steuer- und Auswertungseinheit (18) aufweist, die dafür ausgebildet ist, anhand der Bilddaten Objekte (24, 26) zu erfassen und zumindest deren Position zu bestimmen und zu bewerten, um im Falle einer Gefahr auf die Maschine (24) einzuwirken, dadurch gekennzeichnet, dass der Bildsensor (14) ein ereignisbasierter Bildsensor ist, der durch zweikanalige oder selbstprüfende Architektur und/oder durch Plausibilisierungen der Bilddaten mittels der Steuer- und Auswertungseinheit (18) als sicherer ereignisbasierter Bildsensor (14) ausgebildet ist, und dass die Steuer- und Auswertungseinheit dafür ausgebildet ist, von den Pixelelementen erfasste Ereignisse als bewegte Objekte zu behandeln.

Description

Die Erfindung betrifft einen sicheren optoelektronischen Sensor, insbesondere eine sichere Kamera, und ein Verfahren zum Absichern eines Überwachungsbereichs nach dem Oberbegriff von Anspruch 1 beziehungsweise 14.
Das primäre Ziel der Sicherheitstechnik ist, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen. Das gängige Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeideingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus.
In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile.
Durch den zunehmenden Einsatz von Robotern oder sogenannten Cobots (collaborative robot) im Industriebereich werden Sicherheitsaspekte und Mensch-Roboter-Kollaboration (MRK) immer wichtiger. Relevante Normen in diesem Zusammenhang sind beispielsweise die ISO 10218 für Industrieroboter oder die ISO/TS 15066 für kollaborierende Roboter. MRK erfordert per Definition ein Arbeiten sehr nah am Roboter. Schutzfelder und Sicherheitsabstände sollten folglich möglichst klein bleiben, natürlich unter der Vorgabe, dass die Sicherheit gewährleistet bleibt. Die Normen ISO13854, ISO 13855, ISO 13857 befassen sich mit der Festlegung von Sicherheitsabständen. Da sich die Gefährdung, der der Mensch ausgesetzt ist, nahezu kontinuierlich ändert, sind zugleich hochdynamische, situationsangepasste Sicherheitskonzepte gefragt. Die Kollaboration erfordert dabei ein sehr häufiges Anfordern der Sicherheitsfunktion.
Eine Bewertung von Objekten und Maschinen bezüglich Geschwindigkeit und gegenseitiger Entfernung wird in den genannten Roboternormen als „Speed and Separation Monitoring“ bezeichnet. Die meisten herkömmlichen sicheren überwachenden Sensoren, wie Laserscanner oder 3D-Kameras, unterstützen das aber nicht. Sie arbeiten weiterhin mit den üblichen Schutzfeldern, und sie liefern nur ein binäres Abschaltsignal, ob ein Schutzfeld verletzt ist oder nicht. Zwar ist die Sicherheit auf diese Weise gewährleistet, aber nicht besonders flexibel und auch häufig mit unnötigen Sicherheitszuschlägen und damit Einschränkungen der Verfügbarkeit, da die Schutzfelder für worst-case-Szenarien und nicht die tatsächliche aktuelle Situation konfiguriert sind.
Es gibt im Stand der Technik auch einige Ansätze, um Abstände zwischen Maschine und möglicherweise zu nahe kommendem Objekt zu überwachen. Beispielsweise sind Stereokameras oder Lichtlaufzeitkameras bekannt, die entsprechende Abstandsinformationen erzeugen und ausgeben. Auch mit üblichen Bildkameras, die zweidimensionale Bilder liefern, lässt sich durch entsprechend aufwändige Bildauswertung für ein sicheres Umfeld sorgen. Speziell thermische Kameras können Lebewesen und Objekte unterscheiden.
Ein Nachteil von Bildkameras ist, dass Veränderungen durch Vergleichen zweier oder mehrerer Bilder erfasst werden. Dies bedarf aufwändiger Bildauswertung und daher hoher Rechenleistung. Als weiterer Nachteil kommt hinzu, dass die Informationen aufgrund der Framerate diskret sind. Was zwischen den Frames passiert, wird nicht gemessen. Durch Hochgeschwindigkeitskameras könnte ein höherer Informationsfluss erreicht werden, aber das funktioniert auch nur in Grenzen, und zu den hohen Hardwarekosten kommt die noch aufwändigere Verarbeitung der immensen Datenmengen hinzu. Weiterhin existieren Algorithmen, die beispielsweise den optischen Fluss bestimmen und damit vorhersagen, was zwischen den Frames beziehungsweise in künftigen Frames geschieht. Das bedeutet wiederum hohen Rechenaufwand und erzeugt weitere Fehler, da die echte Messinformation dieselbe bleibt.
In jüngster Zeit ist eine neuartige Kameratechnik entstanden, die sogenannte ereignis- oder eventbasierte Kamera. Sie wird in Anlehnung an den visuellen Cortex auch als neuromorphologische Kamera bezeichnet. Dies wurde aber bisher in keinen Zusammenhang mit der Sicherheitstechnik oder gar der Mensch-Roboter-Kooperation gebracht. Eine herkömmliche Kamera belichtet mit einer regelmäßigen Frame- oder Bildwiederholrate alle ihre Pixel und liest sie dann gleichzeitig aus, um so eine der Bildwiederholrate entsprechende Anzahl stationärer zweidimensionaler Bilder pro betrachtetem Zeitraum zu gewinnen.
In einer ereignisbasierten Kamera gibt es ebenfalls eine Matrix von Pixeln, aber weder eine feste Bildwiederholrate noch ein gemeinsames Auslesen von Pixeln. Stattdessen prüft jedes Pixel einzeln, ob es eine Änderung in der Intensität feststellt. Nur in diesem Fall wird eine Bildinformation ausgegeben beziehungsweise ausgelesen, und zwar nur von diesem Pixel. Jedes Pixel ist somit eine Art unabhängiger Bewegungsdetektor. Eine erfasste Bewegung wird individuell als Ereignis gemeldet. Dadurch reagiert die ereignisbasierte Kamera äußerst schnell auf die Dynamik in der Szene. Die Bilddaten sind für das menschliche Auge nicht so intuitiv zu erfassen, weil die statischen Bildanteile fehlen.
Eine ereignisbasierte Kamera wird beispielsweise in einem Whitepaper der Firma Prophesee beschrieben, das auf deren Internetseite abgerufen werden kann.
Aus der WO 2015/036592 A1 , WO 2017/174579 A1 und WO 2018/073379 A1 sind jeweils Pixelschaltkreise für eine ereignisbasierte Kamera bekannt.
Die Arbeit von Gallego, Guillermo, Henri Rebecq, und Davide Scaramuzza, „A unifying contrast maximization framework for event cameras, with applications to motion, depth, and optical flow estimation", IEEE Int. Conf. Comput. Vis. Pattern Recog.(CVPR), Vol. 1. 2018 stellt Verfahren vor, wie sich aus den Daten einer ereignisbasierten Kamera Bewegung, Entfernungen und optischer Fluss bestimmen lassen.
Die US 2013 / 0 335 595 A1 offenbart eine Vorrichtung und ein Verfahren zur ereignisbasierten Bildverarbeitung, konkret zur Bestimmung des optischen Flusses, der aber wie schon erwähnt ein recht komplexes und aufwändiges Werkzeug ist.
Die DE 10 2013 106 514 B3 offenbart ein Absichern einer automatisiert arbeitenden Maschine, die von einem Kamerasystem überwacht wird. Bei Erkennung eines Fremdobjekts in einem konfigurierten Schutzbereich wird eine sicherheitsrelevante Funktion ausgelöst, außer es wird durch Analyse der Kamerabilder festgestellt, dass es sich bei dem Fremdobjekt um einen Schweißfunken handelt.
In der DE 10 2017 207 852 A1 wird eine Branddetektionsvorrichtung beschrieben, die einen flächigen Dynamic-Vision-Sensor verwendet.
Vor diesem Hintergrund ist daher Aufgabe der Erfindung, die sichere optische Überwachung einer Maschine zu verbessern.
Diese Aufgabe wird durch einen sicheren optoelektronischen Sensor, insbesondere eine sichere Kamera, und ein Verfahren zum Absichern eines Überwachungsbereichs nach Anspruch 1 beziehungsweise 14 gelöst. Der Sensor ist sicher, also für eine sicherheitstechnische Anwendung ausgelegt, und erfüllt dafür die notwendigen der einleitend genannten oder entsprechenden Normen beziehungsweise Anforderungen, um eine gefahrbringende Maschine abzusichern. Es handelt sich insbesondere um eine Kamera. Als Maschine wird in dieser Beschreibung das Beispiel eines Roboters verwendet, wobei aber andere Maschinen mit gemeint sind, die eine Unfallgefahr vor allem für das Bedienpersonal darstellen. Speziell wird eine Mensch-Roboter-Kollaboration abgesichert.
Der Sensor weist mindestens einen Bildsensor mit einer Vielzahl von Pixelelementen auf, um Bilddaten von Objekten in einer Umgebung der Maschine zu erfassen. Diese Bilddaten werden in einer Steuer- und Auswertungseinheit verarbeitet, um die Objekte zu erfassen und zumindest deren Position zu bestimmen. Weiter unten werden auch andere Parameter genannt, die zusätzlich bestimmt werden können, wie der Abstand des Objekts zu der Maschine oder dessen Geschwindigkeit und weitere. Anhand der Position und gegebenenfalls weiterer Parameter wird die Gefahrenlage bewertet und erforderlichenfalls eine Gegenmaßnahme eingeleitet, um eine erkannte Gefahr auszuräumen. Je nach Situation kann diese Gegenmaßnahme in einer Verlangsamung der Bewegung, einem Ausweichen oder einem Anhalten bestehen. Die Steuer- und Auswertungseinheit kann zumindest teilweise extern außerhalb des eigentlichen Sensors implementiert sein, beispielsweise in einer an den Sensor angeschlossenen Sicherheitssteuerung und/oder in einer Robotersteuerung, und wird hier funktional dennoch dem Sensor zugerechnet.
Die Erfindung geht von dem Grundgedanken einer ereignisbasierten Absicherung aus. Der Bildsensor ist dafür ein ereignisbasierter oder neuromorphologischer Bildsensor anstelle eines herkömmlichen Bildsensors. Die Unterschiede wurden einleitend kurz diskutiert: Die Pixel erkennen jeweils Veränderungen in der Intensität, statt einfach die jeweilige Intensität zu messen. Eine solcher Veränderung, die vorzugsweise rasch genug sein und ein Rauschmaß übersteigen sollte, ist eines der namensgebenden Ereignisse. Zudem werden Signale nur bei einer solchen Veränderung in der Intensität bereitgestellt beziehungsweise ausgelesen werden, und zwar nur von dem betroffenen Pixel oder den betroffenen Pixeln.
Die Erfindung hat den Vorteil, dass eine ereignisbasierte Absicherung möglich wird, insbesondere ein ereignisbasiertes Speed-and-Separation Monitoring. Eine eigentliche Framerate gibt es nicht mehr. Die effektive Wiederholrate der Erfassung durch die auf Ereignisse reagierenden Pixel ist extrem hoch. Diese geringen Latenzen ermöglichen eine Erfassung und Reaktion praktisch in Echtzeit. Es werden nur solche Bereiche ausgelesen und damit beachtet, in denen es eine Intensitätsveränderung gibt. Redundante Daten wie ein statischer Hintergrund werden erst gar nicht aufgenommen. Eine Hintergrundsegmentierung und Erkennung von Objekten, nämlich den für eine Absicherung gefährlichen bewegten Objekten, leistet bereits der ereignisbasierte Bildsensor durch sein Arbeitsprinzip. Die Bildauswertung wesentlich vereinfacht und zugleich robuster und damit der Sensor technologisch einfacher zu realisieren und verbessert trotzdem die Überwachung besonders im Falle hochdynamischer, enger Kollaborationsszenarien. Dabei wird der Prozessablauf effizienter, der Bedarf an Rechenleistung und auch Energieaufnahme verringert sich.
Ein ereignisbasierter Bildsensor ermöglicht zusätzlich zu der sehr schnellen Pixelauslöserate auch einen hohen Dynamikbereich. Der ereignisbasierte Bildsensor ist gegenüber dem Gleichlichtanteil des Hintergrundes nahezu unempfindlich, da dies keine Intensitätsänderung verursacht und deshalb kein Ereignis auslöst. Die meisten Fremdlichtszenarien werden dadurch abgedeckt, denn Szenenänderungen sind entweder sehr träge, weil das Licht permanent an ist, oder ganz kurzfristig, wenn beispielsweise Licht eingeschaltet wird. Ein solches kurzes Ereignis verschwindet schnell in den Bilddaten. Eine modulierte Lichtquelle, wie beispielsweise eine mit 50 Hz modulierte Halogenlampe, kann von der Steuer- und Auswertungseinheit unterdrückt werden. Alle diese Fälle zeigen eine deutlich andere Signatur als die Bewegung von Menschen oder Robotern.
Als zusätzlicher Vorteil kann angesehen werden, dass sich typischerweise aus den Bilddaten eines ereignisbasierten Bildsensors eine Person zwar als Person erkennen, nicht aber identifizieren lässt. Für die Absicherung, die jede Person schützen soll, ist das völlig ausreichend. Im Gegensatz zu herkömmlichen Bildern ist es nicht mehr erforderlich, erkannte Personen aus Datenschutzgründen zu anonymisieren, weil auch das bereits automatisiert durch das Prinzip des ereignisbasierten Bildsensors geschieht.
Ein jeweiliges Pixelelement stellt bevorzugt fest, wenn sich die von dem Pixelelement erfasste Intensität ändert, und liefert genau dann ereignisbasiert eine Bildinformation. Das besondere Verhalten der Pixelelemente einer ereignisbasierten Kamera wurde bereits mehrfach angesprochen. Das Pixelelement prüft, ob sich die erfasste Intensität verändert. Nur das ist ein Ereignis, und nur bei einem Ereignis wird eine Bildinformation ausgegeben oder ausgelesen. Es ist eine Art Hysterese denkbar, bei der das Pixelelement eine definierte, zu geringfügige Änderung der Intensität noch ignoriert und nicht als Ereignis auffasst.
Das Pixelelement liefert vorzugsweise als Bildinformation eine differentielle Information, ob sich die Intensität verringert oder erhöht hat. Die aus dem Pixelelement gelesene Information ist also beispielsweise ein Vorzeichen +1 oder -1 je nach Änderungsrichtung der Intensität. Dabei kann eine Schwelle für Intensitätsänderungen gesetzt sein, bis zu denen das Pixelelement noch kein Ereignis auslöst. In einer nachgelagerten internen Repräsentation zur weiteren Auswertung kann für Zeiten, zu denen kein Ereignis erfasst wurde, der Wert 0 ergänzt werden.
Das Pixelelement liefert bevorzugt als Bildinformation eine integrierte Intensität in einem durch eine Änderung der Intensität bestimmten Zeitfenster. Hier beschränkt sich die Information nicht auf eine Richtung der Intensitätsänderung, sondern es wird in einem durch das Ereignis festgelegten Zeitfenster das einfallende Licht integriert und dadurch ein Grauwert bestimmt. Der Messwert entspricht damit demjenigen einer herkömmlichen Kamera, aber der Zeitpunkt der Erfassung bleibt ereignisbasiert und an eine Intensitätsänderung gekoppelt.
Das jeweilige Pixelelement gibt Bildinformationen bevorzugt mit einer Aktualisierungsfrequenz von mindestens einem KHz oder sogar mindestens zehn KHz, hundert KHz oder 1 MHz ausgibt. Das entspricht Latenzzeiten von nur 1 ms bis sogar nur 1 µs. Die Aktualisierungsfrequenz einer herkömmlichen Kamera ist die Bildwiederholfrequenz oder Framerate. Eine solche gemeinsame Bildwiederholfrequenz kennt die ereignisbasierte Kamera nicht, da die Pixelelemente ihre Bildinformationen einzeln und ereignisbasiert ausgeben oder auffrischen. Dabei gibt es aber extrem kurze Ansprechzeiten, die mit einer herkömmlichen Kamera nur zu immensen Kosten mit tausend oder mehr Bildern pro Sekunde erreichbar wären, bei einer ereignisbasierten immer noch möglichen Aktualisierungsfrequenz wäre das mit herkömmlichen Kameras technisch nicht mehr darstellbar. Diese hohe zeitliche Auflösung hat auch den Vorteil, dass es praktisch keine Bewegungsartefakte (motion blurr) gibt. Innerhalb einer der extrem kurzen Aktualisierungsperioden, die einer herkömmlichen Belichtungszeit entspricht, bewegt sich ein Objekt nicht mehrere Pixel weiter, und deshalb wird auch kein verschmiertes Bild aufgenommen.
Der Bildsensor erzeugt bevorzugt als Bildinformation einen Datenstrom aus Ereignissen, die jeweils Koordinateninformationen des zugehörigen Pixelelements, eine Zeitinformation und eine Intensitätsinformation aufweisen. Ein herkömmlicher Datenstrom besteht aus den Intensitäts- oder Grauwerten der Pixel, und der Ortsbezug in der Bildsensorebene entsteht dadurch, dass sämtliche Pixel in geordneter Abfolge ausgelesen werden. Bei dem ereignisbasierten Bildsensor werden stattdessen vorzugsweise Datentupel je Ereignis ausgegeben, die das Ereignis zuordenbar machen. Dabei wird der Ort des zugehörigen Pixelelements, die Richtung ±1 der Intensitätsänderung und/oder die zum Ereignis gemessene Intensität sowie ein Zeitstempel festgehalten.
Vorzugsweise wird der Datenstrom durch Auffüllen mit Nullen in eine Matrix gewandelt, deren Basis durch die Anordnung der Pixelelemente auf dem Bildsensor und die Zeit gebildet ist. Für die weitere Verarbeitung ist häufig eine gewohnte Matrixdarstellung geeigneter, die aus einer Sequenz zeitlich aufeinander folgender Einzelbilder besteht, d.h. aus in der Zeit aneinandergereihten Schichten der jeweils zu einem festen Zeitpunkt aufgenommenen Intensitätsverteilung über die Pixelelemente des Bildsensors. Die Granulierung der Zeitrichtung würde herkömmlich durch die Framerate vorgegeben, bei einer ereignisbasierten Kamera kann sie viel feiner festgelegt werden. Durch die Ereignisse wird letztlich eine dünn besetzte Matrix (sparse matrix) erzeugt, der Datenstrom von dem ereignisbasierten Bildsensor entspricht einer speicher- und bandbreitensparenden Repräsentation davon.
Der ereignisbasierte Bildsensor ist bevorzugt durch zweikanalige oder selbstprüfende Architektur und/oder durch Plausibilisierungen der Bilddaten mittels der Steuer- und Auswertungseinheit als sicherer ereignisbasierter Bildsensor ausgebildet. Damit erfüllt der nicht für die Sicherheitstechnik entwickelte ereignisbasierte Bildsensor die Anforderungen entsprechend den einleitend genannten Normen. Es ist denkbar, die Sicherheit direkt im Bildsensor zu verankern, aber das erfordert eine extrem teure Chipentwicklung. Stattdessen können zwei allein nicht sichere Bildsensoren verwendet werden, die einander gegenseitig prüfen, oder es werden mit nur einem zunächst nicht sicheren Bildsensor Tests und Plausibilisierungen in dem gewünschten Sicherheitsniveau entsprechenden Zeitabständen durchgeführt. Solche Tests können vom Bildsensor selbst oder der Steuer- und Auswertungseinheit gesteuert werden.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, von den Pixelelementen erfasste Ereignisse als bewegte Objekte auszuwerten, insbesondere Signale von Pixelelementen innerhalb sicherheitsrelevanter interessierender Bereiche. Wenn in einem Pixel oder Pixelbereich des ereignisbasierten Bildsensors ein Ereignis registriert wird, so wird dies in der Auswertung direkt als bewegtes Objekt behandelt. Die mit herkömmlichen Bildsensoren notwendige Objektsegmentierung samt Vergleich mit früheren Bildern, um eine Bewegung festzustellen, kann entfallen, da bereits die Rohdaten entsprechend gefiltert sind. Zusätzliche Verarbeitung oder Filter kann es aber geben. Beispielsweise wird dabei ein bewegtes Objekt ignoriert, das nur ganz kurzzeitig auftaucht und wieder verschwindet und/oder das für ein Körperteil zu klein ist. Außerdem ist es denkbar, im Überwachungsbereich sicherheitsrelevante interessierende Bereiche (ROI, region of interest) zu definieren und Objekte außerhalb ebenfalls zu ignorieren. Solche sicherheitsrelevanten interessierenden Bereiche dürfen keinesfalls mit Schutzfeldern verwechselt werden. Ein Eingriff in ein Schutzfeld würde sofort eine Absicherung der Maschine auslösen. Dagegen sind in dem sicherheitsrelevanten interessierenden Bereich Objekte durchaus zugelassen und sogar erwartet, es wird dadurch lediglich der Bereich abgesteckt, in dem Objekte überhaupt auf gefährliche Nähe, Geschwindigkeit und dergleichen geprüft werden. Außerhalb der sicherheitsrelevanten interessierenden Bereichen droht aufgrund organisatorischer Maßnahmen, mechanischer Absperrungen oder unter allen denkbaren Bedingungen ausreichend großer Abstände niemals eine Gefahr.
Die Steuer- und Auswertungseinheit ist vorzugsweise für eine Objektverfolgung ausgebildet. Dafür sind Algorithmen beispielsweise basierend auf Kalman-Filtern an sich bekannt. Allerdings ist die Objektverfolgung erheblich vereinfacht, weil bereits der ereignisbasierte Bildsensor eine sehr verlässliche und einfache Objektsegmentierung für bewegte Objekte liefert. Das Ergebnis einer Objektverfolgung sind beispielsweise Listen mit vorhandenen Objekten, frühere Bewegungsbahnen der Objekte oder eine Prognose für die künftige Bewegungsbahn samt kinematischer Parameter wie Geschwindigkeit und Beschleunigung.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, die Position, an der ein zuvor verfolgtes Objekt zuletzt erfasst wurde, als Position eines ruhenden Objekts zu speichern und in der Bewertung einer Gefahr zu berücksichtigen. Eine Konsequenz der besonderen Arbeitsweise eines ereignisbasierten Bildsensors ist, dass ruhende Objekte nicht erfasst werden. Das betrifft auch eine Person, die im Überwachungsbereich stehenbleibt. Sie geht der Objektverfolgung zumindest vorübergehend verloren. Solche Positionen merkt sich die Steuer- und Auswertungseinheit gemäß dieser Ausführungsform, und dadurch ist bekannt, wo Personen stehen, so dass dies im Absicherungskonzept berücksichtigt werden kann. Sofern die Person außerhalb der Reichweite des Roboters steht, kann dieser mit normaler Geschwindigkeit weiterarbeiten, denn sobald die Person sich wieder bewegt und doch eine reduzierte Arbeitsgeschwindigkeit erforderlich ist, wird das durch den ereignisbasierten Bildsensor mit kürzesten Latenzen erkannt. Aber auch innerhalb der Reichweite ist ein Weiterarbeiten möglich, solange der Roboter die bekannte Position meidet, an der eine Person steht. In diesem Fall sollte aber vorzugsweise die Arbeitsgeschwindigkeit verlangsamt sein. Für den Roboter gilt natürlich genauso, dass er nur in Bewegung erfasst wird, aber das ist gänzlich unkritisch, weil ein stehender Roboter keine Gefahrenquelle ist.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, neu in die Objektverfolgung aufzunehmende Objekte in bestimmten Teilbereichen des Überwachungsbereichs zu suchen, insbesondere am Rand. Der bestimmte Teilbereich ist vorzugsweise ein Zugang, wie einer Tür oder eine Öffnung in einer Absperrung um eine Roboterzelle. In jedem Fall können neue Personen und Objekte nur vom Rand her erscheinen. Vorzugsweise ist beim Hochfahren der Anlage durch Organisationsmaßnahmen darauf zu achten, dass sich niemand in der Nähe des Roboters befindet, denn der Sensor würde eine dort stehende Person erst wahrnehmen, wenn sie sich bewegt. Im laufenden Betrieb ist das durch Objektverfolgung lösbar, die auch die Positionen stehender Objekte kennt, aber anfangs fehlen diese Informationen. Eine beispielhafte Lösung ist, dass das Hochfahren der Anlage autorisierten Personen vorbehalten ist, in deren Verantwortung es dann liegt, für eine freie Umgebung des Roboters zu sorgen.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, einen Gefahrenbereich innerhalb des Überwachungsbereichs zu definieren, der möglichen Positionen der Maschine entspricht, insbesondere durch Auswerten von Bilddaten, die während des Betriebs der Maschine aufgenommen werden. Der Gefahrenbereich ist ein spezieller interessierender Bereich innerhalb des Überwachungsbereichs. Wenn sich hier etwas bewegt, insbesondere ein Objekt, das die Objektverfolgung nicht vom Rand her zum Roboter verfolgt hat, wird das dem Roboter zugeordnet. Der Gefahrenbereich lässt sich beispielsweise dadurch einlernen, dass der Roboter von dem ereignisbasierten Bildsensor einige Zeit im Betrieb ohne Störung durch andere Objekte beobachtet wird. Es haben dann genau die Pixel Ereignisse geliefert, die Orten entsprechen, an die sich in der Beobachtungszeit zumindest einmal ein Teil des Roboters bewegt hat. Der Gefahrenbereich lässt sich alternativ aus der Robotersteuerung beziehungsweise dessen Bewegungsplanung oder von Hand definieren. Auch ein dynamischer Abgleich mit der Robotersteuerung ist vorstellbar, in diesem Fall ist auch ein dynamischer Gefahrenbereich mit variablen, der gegenwärtigen Roboterpose entsprechenden Grenzen vorstellbar.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, in den Bilddaten zu prüfen, ob zugleich ein Ereignis an einer ersten Position innerhalb des Gefahrenbereichs und an einer zweiten Position außerhalb des Gefahrenbereichs eingetreten ist, und in diesem Fall einen Abstand zwischen der ersten Position und der zweiten Position zu berechnen und bei der Bewertung einer Gefahr zu berücksichtigen. Bewegungen innerhalb des Gefahrenbereichs werden dem Roboter zugeschrieben, andere Bewegungen liegen nicht in dessen Reichweite und sind daher einem fremden Objekt zuzuordnen. Die genannte doppelte Bedingung bedeutet also, dass sich der Roboter und zugleich ein Objekt in dessen Umgebung bewegen. Die Umgebung kann dabei auf sicherheitsrelevante interessierende Bereiche beschränkt bleiben. Es wird der Abstand zwischen Roboter und Objekt berechnet, möglicherweise auch weitere kinematische Parameter wie die Geschwindigkeit insbesondere aus der Objektverfolgung, und dies wird bewertet, um abzuleiten, ob der Roboter sicherheitsgerichtet reagieren muss. Liegt die doppelte Bedingung nicht vor, so gibt es dafür zwei mögliche Gründe. Entweder bewegt sich im Gefahrenbereich nichts, dann steht der Roboter, und für den Moment ist nichts abzusichern. Andernfalls gibt es kein bewegtes Objekt im Umfeld, womit ebenfalls keine unmittelbare Gefahr droht. Zu beachten ist noch, dass es durchaus ein stehendes Objekt auch nahe dem Roboter geben kann. Die Behandlung dieses Falls durch die Objektverfolgung und Speichern von Positionen von Objekten, die der Objektverfolgung vorübergehend verloren gehen, wurde bereits diskutiert.
Der Sensor weist bevorzugt einen sicheren Ausgang auf, um Objektpositionen, Abstände von Objekten zu der Maschine und/oder daraus abgeleitete Zusatzinformationen auszugeben, insbesondere die Geschwindigkeit und/oder Bewegungsrichtung. In diesem Fall findet die weitere Bewertung der Gefahr außerhalb des Sensors statt, der dafür die notwendigen und teilweise auch schon aufbereiteten Detektionsergebnisse liefert. Für diese weitere Bewertung kann eine angeschlossene Sicherheitssteuerung und/oder die Robotersteuerung selbst zuständig sein. Trotz dieser Verteilung der Funktionalität kann dies noch als Steuer- und Auswertungseinheit des Sensors verstanden werden, die dann eine doppelte Bedeutung als Baustein innerhalb des Sensors und im genannten weiteren Sinne bekommt. Die Objektposition wird vorzugsweise in die Bewertung eingehen, in aller Regel auch der Abstand. Ein weiterer wichtiger Parameter, etwa für ein Speed-and-Separation-Monitoring, ist die Geschwindigkeit, da ein nahes, langsames Objekt weniger gefährdet ist als ein etwas ferneres, schnelles Objekt, und ähnliche Überlegungen gelten für die Bewegungsrichtung. Weitere kinematische Parameter wie die Beschleunigung können je nach Ausführungsform auch eine Rolle spielen. Objektpositionen sind vorzugsweise repräsentativ, etwa ein Objektschwerpunkt oder derjenige Objektpunkt, zu dem der Abstand berechnet wurde, und nicht sämtliche bekannten Objektpositionen zu einem Objekt oder dessen Objektpunktewolke. Es ist aber auch denkbar, Hüllkörper zu Objekten oder doch die 3D-Punktwolke des Objekts auszugeben.
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, eine die Gefahr ausräumende Arbeitsgeschwindigkeit und/oder einen die Gefahr ausräumenden Arbeitsablauf für die Maschine zu bestimmen. Wenn eine Gefahr erkannt ist, also beispielsweise ein Objekt mit zu großer Geschwindigkeit zu nahe kommt, so ist eine angemessene Sicherheitsreaktion zu bestimmen. Die Arbeitsgeschwindigkeit sollte für eine hohe Produktivität so hoch wie noch sicher möglich sein. Je nach Ausführungsform und Situation bleibt der Roboter bei seiner üblichen Bewegungsbahn und verlangsamt. Alternativ wird eine neue Bewegungsbahn mit mehr Abstand zu dem Objekt geplant, die erforderlichenfalls auch langsamer ausgeführt wird. Eine angepasste Arbeitsgeschwindigkeit schließt die Möglichkeit einer Arbeitsgeschwindigkeit Null ein, d.h. einen Halt oder Nothalt. Alle diese Anpassungen sind dank der hohen effektiven Wiederholrate des ereignisbasierten Bildsensors extrem schnell und flexibel möglich. Es wurde bereits ausgeführt, dass die Steuer- und Auswertungseinheit im engeren Sinne ein Baustein des Sensors sein, aber auch im weiteren Sinne die Sicherheitssteuerung und/oder die Robotersteuerung sowie beliebig darüber verteilte Funktionalität umfassen kann.
Der Sensor ist vorzugsweise auf der Maschine und mit deren Arbeitsbewegungen mitbewegt angeordnet. Das gilt insbesondere für die Werkzeugspitze eines Roboterarms (EOAS, End-of-arm Safeguarding). Andere Beispiele sind personengeführte oder autonome beziehungsweise automatisch geführte Fahrzeuge (AGV, automated guided vehicle).
Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, Objekte anhand eines modulierten Beleuchtungsmusters zu identifizieren, das von einer am Objekt angeordneten Trackereinrichtung erzeugt ist. Das Beleuchtungsmuster ist beispielsweise ein Pulsieren mit einer individuellen, eindeutig zuordenbaren Frequenz. Das verursacht spezifische Intensitätsänderungen, die der ereignisbasierte Bildsensor wahrnimmt und die in der nachgelagerten Bildauswertung sehr einfach erkannt werden. Die Trackereinrichtung kann beispielsweise an dem Roboter angebracht werden, so dass dessen Bewegungen auch ohne einen definierten Gefahrenbereich dem Roboter zugeordnet werden können. Auch sonstige nichtbelebte Objekte in der Umgebung des Roboters können eine Trackereinrichtung tragen. Zu schützende Personen werden dann sehr leicht daran erkannt, dass sie nicht über die Trackereinrichtung identifiziert werden. Denkbar ist aber auch, dass autorisiertes Bedienpersonal ebenfalls eine Trackereinrichtung trägt, wobei dann eventuell aufgrund von deren besonderer Erfahrung sogar etwas höhere Arbeitsgeschwindigkeiten zugelassen werden.
Der Sensor weist bevorzugt mindestens zwei ereignisbasierte Bildsensoren in einer Stereoanordnung auf, wobei die Steuer- und Auswertungseinheit dafür ausgebildet ist, in den Bilddaten der beiden Bildsensoren erfasste Ereignisse einander zuzuordnen anhand dessen mit einem Stereoverfahren einen Tiefenwert zu berechnen. Auf diese Weise entsteht eine ereignisbasierte Stereokamera. Das eröffnet eine dritte Erfassungsdimension, die genauere Sicherheitskonzepte erlaubt. Bei zweidimensionaler Erfassung werden implizit oder explizit Sicherheitszuschläge vorgenommen. Es kommt dann zu unnötigen Absicherungsmaßnahmen, obwohl objektiv der dreidimensionale Abstand noch gar nicht gefährlich wäre. Während eine herkömmliche Stereokamera meist durch Korrelation über alle Pixel zumindest parallel zum Basisabstand nach Korrespondenzen sucht, kann sich bei ereignisbasiertem Stereo die Korrespondenzsuche auf die wenigen jeweils ansprechenden Pixel beschränken. Wenn es eine Objektverfolgung gibt, dann ist mit deren Hilfe in den meisten Fällen schon ohne jegliche pixelbasierte Korrelation klar, welche Erfassungen der beiden Bildsensoren zueinander gehören müssen. Jedenfalls sind nur wenige, kleine Pixelbereiche zu korrelieren, da meist die überwiegende Anzahl der Pixel in der dünn besetzten Matrix ohnehin nur Null zeigt. Die weiteren Schritte entsprechen dann dem üblichen Stereoverfahren, d.h. der Pixelabstand zueinander korrespondierende Pixel der beiden ereignisbasierten Bildsensoren wird mit Parametern wie dem Pixelabstand (pitch) und dem Basisabstand zwischen den Bildsensoren in einen Tiefenwert umgerechnet.
Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische dreidimensionale Darstellung einer Kamera und ihres Ü berwachu ngsbereichs;
2 eine beispielhafte Intensitätsverteilung eines Pixels zur Erläuterung von ereignisbasierter Erfassung von Bildinformation;
3 eine beispielhafte Überwachungssituation aus der Draufsicht einer Kamera gemäß 1 mit einem Roboter und mehreren Personen;
4 eine beispielhafte Darstellung der erfassten Bewegungsbahnen eines langsamen und eines schnellen Objekts;
5 eine beispielhafte Darstellung der erfassten Bewegungsbahn eines Objekts und einer Prognose für die künftige Bewegungsbahn; und
6 eine beispielhafte Darstellung der erfassten Bewegungsbahnen des Roboters und eines Objekts sowie der jeweiligen Abstände dazwischen.

1 zeigt in einer schematischen dreidimensionalen Darstellung eine Kamera 10 als Beispiel eines optoelektronischen Sensors in einer Anordnung in Vogelperspektive zur Erfassung eines Überwachungsbereichs 12. Der gesamte erfassbare Überwachungsbereich 12 oder auch Arbeitsbereich kann über eine Konfiguration auf sicherheitsrelevante Teilbereiche eingeschränkt werden. Die Kamera 10 ist vorzugsweise fehlersicher im Sinne von Sicherheitsnormen wie den einleitend genannten ausgelegt. Sie weist einen Bildsensor 14 mit einer Vielzahl von insbesondere zu einer Matrix angeordneten Pixelelementen auf, der erfindungsgemäß ein ereignisbasierter Bildsensor 14 ist, worauf später noch im Detail eingegangen wird. Dem Bildsensor 14 ist ein Objektiv 16 vorgeordnet, das in der Praxis als jedes bekannte Abbildungsobjektiv realisiert sein kann.
Mit dem Bildsensor 14 ist eine Steuer- und Auswertungseinheit 18 verbunden. Die Steuer- und Auswertungseinheit 18kann in verschiedenster Hardware implementiert sein, beispielsweise digitalen Bausteinen wie Mikroprozessoren, ASICs (Application Specific Integrated Circuit), FPGAs (Field Programmable Gate Array), GPUs (Graphics Processing Unit) oder Mischformen davon. Zumindest Teile der Funktionalität der Steuer- und Auswertungseinheit 18 können extern implementiert sein, beispielsweise in einer über einen sicheren Ausgang 20 angeschlossenen Sicherheitssteuerung 22 oder einer Robotersteuerung eines über die Sicherheitssteuerung 22 oder alternativ abweichend von 1 direkt angeschlossenen Roboters 24. Der Roboter 24 steht stellvertretend für eine Maschine, von der eine Gefahr für Personen 26 in deren Umgebung ausgeht.
Die Steuer- und Auswertungseinheit 18 ist mit dem Bildsensor 14 verbunden und wertet dessen Bilddaten aus. Ziel dieser Auswertung ist die Überwachung des Roboters 24, um Unfälle mit Personen 26 und auch anderen Objekten in dessen Umgebung zu verhindern. Dazu werden Positionen des Roboters 24 beziehungsweise seiner bewegten Teile, Positionen von Personen 26 in dessen Umgebung und je nach Sicherheitskonzept Zusatzgrößen wie Abstände, Geschwindigkeiten und weitere kinematische oder sonstige Größen bestimmt. Im Gefährdungsfall wird über den sicheren Ausgang 20 eine sicherheitsgerichtete Reaktion eingeleitet. Das ist nur im äußersten Fall ein Nothalt. Dank des ereignisbasierten Bildsensors 14 ist eine extrem schnelle Reaktion mit feiner Anpassung von Arbeitsgeschwindigkeit und eventuell auch Bewegungsbahn des Roboters 24 möglich, so dass dessen Produktivität so wenig wie möglich eingeschränkt wird.
2 zeigt zur Erläuterung des Funktionsprinzips des ereignisbasierten Bildsensors 14 im oberen Teil einen rein beispielhaften zeitlichen Intensitätsverlauf in einem Pixelelement des Bildsensors 14. Ein herkömmlicher Bildsensor würde diesen Intensitätsverlauf über ein vorgegebenes Belichtungszeitfenster integrieren, die integrierten Werte aller Pixelelemente würden im Takt einer vorgegebenen Framerate ausgegeben und dann für das nächste Bild zurückgesetzt.
Das Pixelelement des ereignisbasierten Bildsensors 14 reagiert stattdessen individuell und unabhängig von einer Framerate auf eine Intensitätsänderung. Mit senkrechten Strichen sind jeweils Zeitpunkte markiert, zu denen eine Intensitätsänderung festgestellt wurde. Im unteren Teil der 2 sind zu diesen Zeitpunkten Ereignisse mit Plus und Minus je nach Richtung der Intensitätsänderung dargestellt. Es ist denkbar, dass das Pixelelement nicht auf jegliche Intensitätsänderung reagiert, sondern erst, wenn eine gewisse Schwelle überschritten wird. Das Pixelelement wird ereignisbasiert zu den Zeitpunkten ausgelesen, zu denen eine Intensitätsänderung erkannt wird, und gibt dann das Vorzeichen aus. Die Bildinformationen können anschließend noch um den Wert Null zu den Zeiten ergänzt werden, in denen es kein Ereignis gab, damit ein Bild über alle Pixelelemente des Bildsensors 14 entsteht. Diese Bild zeigt anders als von herkömmlichen Bildern gewohnt nur die bewegten Kanten an, seien es Objektkonturen, Schatten oder Aufdrucke.
Neben solchen differenziellen ereignisbasierten Kameras gibt es auch integrierende ereignisbasierte Kameras. Sie reagiert ganz analog auf Intensitätsänderungen. Anstelle einer Ausgabe der Richtung der Intensitätsänderung wird aber in einem durch das Ereignis vorgegebenen Zeitfenster das einfallende Licht integriert. Dadurch entsteht ein Grauwert. Differenzielle und integrierende ereignisbasierte Kameras haben einen unterschiedlichen Hardwareaufbau, und die differenzielle ereignisbasierte Kamera ist schneller, da sie kein Integrationszeitfenster benötigt. Zur Technologie einer ereignisbasierten Kamera wird ergänzend auf die einleitend genannte Patentliteratur und wissenschaftliche Literatur verwiesen.
Durch die ereignisbasierte Erfassung von Bildinformationen entsteht ein dünn besetzter (sparse) dreidimensionaler Datensatz, da für eine feste Zeit anders als bei einer herkömmlichen Kamera nicht jedes Pixelelement eine Bildinformation liefert, sondern nur diejenigen, die ein Ereignis in Form einer Intensitätsänderung registrieren. Ein Ereignis wird beispielsweise als Tupel mit dem Vorzeichen der Intensitätsänderung bei differentieller ereignisbasierter Kamera beziehungsweise einem Grauwert bei integrierende ereignisbasierter Kamera, der Pixelposition auf dem Bildsensor 14 in X- und Y-Richtung und einem Zeitstempel ausgegeben. Solche Ereignisse können nachgelagert durch Auffüllen mit Nullen wieder zu einer üblichen Matrix ergänzt werden. Zwei Dimensionen entsprechen dann der Pixelanordnung auf dem Bildsensor 14. Wird auch die Zeit berücksichtigt, so entsteht eine dreidimensionale Matrix, deren Schichten jeweils zweidimensionale Bewegungsbilder sind und deren dritte Dimension die Zeit vorzugsweise mit extrem hoher Zeitauflösung im Bereich höchstens weniger Mikrosekunden oder noch darunter ist. Das entspricht einem Film mit durch die Schichten gebildeten Frames, jedoch mit ungewöhnlich hoher Framerate.
3 zeigt eine beispielhafte Überwachungssituation in dem Überwachungsbereich 12. Die Absicherungsaufgabe auf Basis der Kamera 10 besteht darin, die Anwesenheit von Personen 26 zu erkennen und abhängig von deren Position und gegebenenfalls weiterer Größen sowie Position und gegebenenfalls weiterer Größen des Roboters 24 sicherheitsgerichtet eine definierte Reaktion einzuleiten, so dass jederzeit die Sicherheit gewährleistet ist. Es wird nochmals darauf hingewiesen, dass Roboter 24 und Personen 26 stellvertretend für beliebige Maschinen beziehungsweise Objekte in deren Umgebung mit Unfallgefahr stehen. Der ereignisbasierte Bildsensor 14 erkennt nur Intensitätsänderungen, so dass das Kamerabild in Wirklichkeit anders aussieht als in 3. Ruhende Objekte wie der Sockel des Roboters 24 werden nicht erfasst, und auch die Personen 26 werden nicht unbedingt mit allen Strukturmerkmalen erkannt, sondern lediglich deren bewegte Kanten.
Aufgrund seines Funktionsprinzips nimmt der ereignisbasierte Bildsensor 14 überhaupt nur bewegte Objekte wahr. Wenn ein Pixel anspricht, dann befindet sich am entsprechenden Ort im Überwachungsbereich 12 ein Objekt, das im Sicherheitskonzept berücksichtigt werden muss. Das schließt aber zeitliche oder räumliche Filter nicht aus, die beispielsweise ein nur ganz kurz auftauchendes oder kleines Objekt als Störung ausblenden. Es bedarf jedoch keiner aufwändigen Segmentierung, um einen Hintergrund abzutrennen und bewegte Objekte aufzufinden, das geschieht implizit von Anfang an. Mit einer herkömmlichen Kamera würde dieses Zwischenergebnis erst nach einer Vielzahl von Schritten erhalten.
Um nicht nur die aktuelle Situation zu bewerten, sondern weitere Größen wie die Geschwindigkeit, die Bewegungsrichtung oder auch eine Extrapolation der Bewegung zu erhalten, werden die Personen 26 vorzugsweise von einer Objektverfolgung getrackt. Die damit bisher erfassten Bewegungsbahnen 28 sind in 3 eingezeichnet. Vorzugsweise sind nicht gezeigte Bereiche definiert, wie eine Tür oder ein sonstiger Zugang, wo die Objektverfolgung jeweils einsetzt. Jedenfalls werden Personen 26 von einem der Bildränder her die Szene betreten. Voraussetzung für diese Annahme ist, dass sich beim Hochfahren der Anlage niemand im Überwachungsbereich 12 aufhält, denn eine stehende Person 26 würde nicht erfasst und könnte später irgendwo auftauchen.
Auch wenn eine bisher von der Objektverfolgung überwachte Person 26 zum Stehen kommt, geht sie der Erfassung vorübergehend verloren. Diese Position sollte sich die Steuer- und Auswertungseinheit 18 merken und im Sicherheitskonzept berücksichtigen. Der Roboter 24 kann weiterarbeiten, die stehende Person 26 ist keiner Gefahr ausgesetzt. Dabei kann situativ eine maximale Arbeitsgeschwindigkeit in Abhängigkeit vom Abstand der stehenden Person 26 vorgegeben werden. Beginnt die Person 26 sich wieder zu bewegen, so wird das mit der extrem geringen Latenz des ereignisbasierten Bildsensors 14 erkannt, und der Roboter 24 kann praktisch sofort seine Arbeitsgeschwindigkeit anpassen. Die mögliche Arbeitsgeschwindigkeit ist deshalb regelmäßig höher als bei herkömmlichem Speed-and-Separation-Monitoring, und das führt zu einer Effizienzsteigerung des Prozesses.
Der Gegenpart im Sicherheitskonzept zu den Personen 26 ist der Roboter 24 selbst. Auch dessen Bewegungen werden von dem ereignisbasierten Bildsensor 14 erfasst. Um sie dem Roboter 24 zuzuordnen, kann ein Gefahrenbereich 30 um den Roboter definiert werden. Hier wahrgenommene Bewegungen werden dann dem Roboter 24 zugeordnet. Dabei wird auch genau das relevante bewegte Teil des Roboters 24 mit dessen präziser Position erfasst. Es wird keinesfalls pauschal der gesamte Gefahrenbereich 30 geschützt, was häufig zu deutlich überschätzten Abständen und damit unnötigen Produktivitätseinbußen führen würde. Aufwändige Robotermodelle oder dergleichen, überhaupt eine Kenntnis über Robotertyp oder dessen Geometrie oder eine Kommunikation mit der Robotersteuerung sind dafür nicht erforderlich. Um den Gefahrenbereich 30 besonders genau festzulegen, kann der Roboter 24 von dem Bildsensor 14 ohne Personen 26 in dessen Umgebung eine gewisse Zeit beobachtet werden. Genau die Pixel, die möglicherweise unter Berücksichtigung einer Rauschschwelle in dieser Zeit Ereignisse geliefert haben, gehören zum Gefahrenbereich 30.
Immer wenn zugleich eine bewegte Person 26 und ein bewegter Roboter 24 erfasst werden, so wird situativ der gegenseitige Abstand berechnet und abhängig davon der Roboter 24 in Echtzeit verlangsamt oder beschleunigt beziehungsweise eine Ausweichbewegung eingeleitet. Weitere Parameter wie die Geschwindigkeit, insbesondere deren Komponente in Richtung aufeinander zu, können berücksichtigt werden. Diese Abstandsberechnung erfolgt deutlich schneller als bei herkömmlichen Kameras, da es keine begrenzende Framerate gibt beziehungsweise die Ansprechzeit der Pixel des ereignisbasierten Bildsensors 14 ungleich höher ist. Interessanterweise entspricht typischerweise die Größenordnung der Update-Rate eines ereignisbasierten Bildsensors 14 der Update-Rate von Bahnplanungsbefehlen für einen Roboter 24. Bewegt sich der Roboter 24 nicht, so geht von ihm keine Gefahr aus, und die Person 26 darf sich beliebig nähern. Auch eine außerhalb der Reichweite des Roboters 24 stehende Person 26 ist keiner Gefahr ausgesetzt, wobei hier die Arbeitsgeschwindigkeit des Roboters 24 noch abstandsabhängig begrenzt bleibt. Die Behandlung ruhender Personen 26 im Rahmen der Objektverfolgung wurde bereits diskutiert.
Der Roboter 24 kann in einer bevorzugten Ausführungsform mit einer pulsierenden Beleuchtung ausgestattet werden. Das gleiche gilt für bekannte bewegte Objekte, die sich prinzipiell in der Umgebung des Roboters 24 aufhalten dürfen, wie mobile Roboter oder Fahrzeuge (AMR, autonomous moblie robots, AGV, automated guided vehicle, AGC, automated guided container). Die Pulsfrequenz ist jeweils individuell eingestellt, so dass damit eine Identifizierung des Roboters 24 oder des bekannten Objekts möglich ist. Statt einer einfachen Modulationsfrequenz sind auch komplexere optische Codes denkbar. Aliaseffekte gibt es hier keine, weil der ereignisbasierte Bildsensor 14 keine feste Framefrequenz hat. Bewegte Objekte ohne identifizierte Pulsfrequenz werden als Person 26 behandelt. Alternativ können autorisierte Personen 26 ebenfalls eine pulsierende Beleuchtung tragen. Mit derartigen Trackern wird die Auswertung noch einfacher.
4 zeigt eine beispielhafte Darstellung der erfassten Bewegungsbahn 28a eines langsamen Objekts und der Bewegungsbahn 28b eines schnellen Objekts. Solche Bewegungsbahnen 28a-b werden beispielsweise von der Objektverfolgung gewonnen. Die Darstellung ist nun anders als in 3. Dort wurden die zu verschiedenen Zeitpunkten erfassten Positionen einfach im Raum beziehungsweise auf der Grundfläche aneinandergereiht. Dadurch wird gut sichtbar, wo die Person 26 gelaufen ist, aber der Zeitbezug geht verloren. In 4 dagegen ist die X-Y-Position als Funktion der Zeit zu sehen. Dabei ist die Granulierung wegen der extrem schnellen Erfassung in dem ereignisbasierten Bildsensor 14 sehr fein, so dass sich eine quasi-kontinuierliche Zeitachse ergibt. Unterscheiden sich zwei Bewegungen nur durch die Geschwindigkeit, so ergibt sich wie in 4 eine entsprechend gestauchte beziehungsweise gestreckte Bewegungsbahn 28a-b.
Aus solchen zeitaufgelösten Bewegungsbahnen 28a-b lässt sich die volle vektorielle Geschwindigkeit samt Bewegungsrichtung zu $v = (\begin{matrix} d x \\ d y \end{matrix}) / d t$
bestimmen, wobei dx und dy die Änderung der Pixelkoordinate x beziehungsweise y innerhalb einer Zeit dt ist. Die originären Einheiten sind Pixel beziehungsweise Pixel/Sekunde, aber dies kann bei gemessenem oder unterstelltem Abstand, zum Beispiel indem jedes Objekt vorsichtshalber als auf dem Boden befindlich angesehen wird, in eine übliche Einheit umgerechnet werden.
5 zeigt eine beispielhafte Darstellung der erfassten Bewegungsbahn 28 eines Objekts und einer Prognose oder Prädiktion für die künftige Bewegungsbahn 32. Dazu werden die letzten i ermittelten Geschwindigkeiten betrachtet, um einen Wahrscheinlichkeitskorridor für die Bewegung aufzustellen. Die abnehmende Grausättigung soll die abnehmenden Wahrscheinlichkeiten für eine bestimmte Position andeuten. Die künftige Bewegungsbahn 32 ist als Dreieck gezeigt, denn die Prädiktion wird umso ungenauer, je weiter man versucht, in die Zukunft zu schauen.
6 zeigt eine beispielhafte Darstellung der erfassten Bewegungsbahn 28 eines Objekts und der erfassten Bewegungsbahn 34 des Roboters 24 sowie der jeweiligen Abstände 36 dazwischen. Die durch gestrichelte Linien angedeuteten Abstände 36 sind auf einen jeweiligen festen Zeitpunkt t_i bezogen, so dass die jeweiligen Positionen zu diesem festen Zeitpunkt euklidisch miteinander verglichen werden können: $d = \sqrt{{(x_{r} - x_{o})}^{2} + {(y_{r} - y_{o})}^{2}} .$
Dabei stehen die Indizes r und o für den Roboter 24 beziehungsweise das Objekt.
Die jeweilige Arbeitsgeschwindigkeit des Roboters 24 zur Zeit t_i kann dann an die Objektgeschwindigkeit v_o und die Distanz d angepasst werden: v_r(t_i) = f(v_o(t_i), d(t_i)). Wenn wie zu 5 beschrieben die Geschwindigkeit vorhergesagt wird, so lässt sich auch für den künftigen Abstand zwischen Roboter 24 und Objekt eine Prädiktion bestimmen. Die Berechnung der Arbeitsgeschwindigkeit des Roboters 24 kann dann auch von den Prädiktionen abhängig gemacht werden. Wegen der geringen Latenzen des ereignisbasierten Bildsensors 14 sind die Anpassungen der Arbeitsgeschwindigkeit praktisch in Echtzeit möglich.
Bisher wurde die Absicherung eines zwar in sich beweglichen, aber insgesamt an einem Ort verharrenden Roboters 24 durch eine statisch montierte Kamera 10 betrachtet. Die Kamera 10 eignet sich alternativ auch für mobile Anwendungen, wie AMR, AGV/AGC, wo dann entsprechende Sicherheitsfunktionen definiert werden.
Die zweidimensionale Überwachung kann zu einer dreidimensionalen Überwachung erweitert werden, indem zwei ereignisbasierte Bildsensoren 14 in einer Stereokonfiguration betrieben werden. Dabei erfolgt die Stereokorrelation nicht wie sonst üblich pixelweise über die gesamte Matrix, sondern nur für die wenigen gleichzeitig in beiden Bildsensoren 14 erfassten Ereignisse, so dass sich der Aufwand ganz erheblich reduziert. Eine herkömmliche Segmentierung zum Abtrennen eines Hintergrundes, zum Erfassen von Objekten an sich und speziell nur bewegter Objekte ist unabhängig vom Korrelationsverfahren nicht erforderlich, da dies die ereignisbasierten Bildsensoren 14 schon selbst leisten. Die Überwachung in drei Dimensionen hat den Vorteil, dass keine Sicherheitszuschläge bei den berechneten Abständen oder konservativen Annahmen über die Distanz der erfassten Objekte gemacht werden müssen, wie dass diese sich in maximaler Distanz befinden. Dadurch wird die Absicherung noch besser an die Situation angepasst, und der Roboter 24 kann noch schneller arbeiten.

Claims

Sicherer optoelektronischer Sensor (10) zum Absichern eines Überwachungsbereichs (12) mit mindestens einer Maschine (24), insbesondere einem Roboter, wobei der Sensor (10) einen Bildsensor (14) mit einer Vielzahl von Pixelelementen zum Erzeugen von Bilddaten von Objekten (24, 26) in dem Überwachungsbereich (12) und eine Steuer- und Auswertungseinheit (18) aufweist, die dafür ausgebildet ist, anhand der Bilddaten Objekte (24, 26) zu erfassen und zumindest deren Position zu bestimmen und zu bewerten, um im Falle einer Gefahr auf die Maschine (24) einzuwirken, dadurch gekennzeichnet, dass der Bildsensor (14) ein ereignisbasierter Bildsensor ist, der durch zweikanalige oder selbstprüfende Architektur und/oder durch Plausibilisierungen der Bilddaten mittels der Steuer- und Auswertungseinheit (18) als sicherer ereignisbasierter Bildsensor (14) ausgebildet ist, und dass die Steuer- und Auswertungseinheit dafür ausgebildet ist, von den Pixelelementen erfasste Ereignisse als bewegte Objekte zu behandeln.
Sensor (10) nach Anspruch 1, wobei ein jeweiliges Pixelelement feststellt, wenn sich die von dem Pixelelement erfasste Intensität ändert, und genau dann ereignisbasiert eine Bildinformation liefert, wobei insbesondere das Pixelelement als Bildinformation eine differentielle Information liefert, ob sich die Intensität verringert oder erhöht hat, oder eine integrierte Intensität in einem durch eine Änderung der Intensität bestimmten Zeitfenster liefert und/oder wobei das jeweilige Pixelelement Bildinformationen mit einer Aktualisierungsfrequenz von mindestens einem KHz oder sogar mindestens zehn KHz, hundert KHz oder 1 MHz ausgibt.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, Signale von Pixelelementen innerhalb sicherheitsrelevanter interessierender Bereiche als bewegte Objekte (24, 26) auszuwerten.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei die Steuer- und Auswertungseinheit (18) für eine Objektverfolgung ausgebildet ist.
Sensor (10) nach Anspruch 4, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, die Position, an der ein zuvor verfolgtes Objekt (26) zuletzt erfasst wurde, als Position eines ruhenden Objekts (26) zu speichern und in der Bewertung einer Gefahr zu berücksichtigen.
Sensor (10) nach Anspruch 4 oder 5, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, neu in die Objektverfolgung aufzunehmende Objekte (26) in bestimmten Teilbereichen des Überwachungsbereichs (12) zu suchen, insbesondere am Rand.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, einen Gefahrenbereich (30) innerhalb des Überwachungsbereichs (12) zu definieren, der möglichen Positionen der Maschine (24) entspricht, insbesondere durch Auswerten von Bilddaten, die während des Betriebs der Maschine (24) aufgenommen werden.
Sensor (10) nach Anspruch 7, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, in den Bilddaten zu prüfen, ob zugleich ein Ereignis an einer ersten Position innerhalb des Gefahrenbereichs (30) und an einer zweiten Position außerhalb des Gefahrenbereichs (30) eingetreten ist, und in diesem Fall einen Abstand zwischen der ersten Position und der zweiten Position zu berechnen und bei der Bewertung einer Gefahr zu berücksichtigen.
Sensor (10) nach einem der vorhergehenden Ansprüche, der einen sicheren Ausgang (20) aufweist, um Objektpositionen, Abstände von Objekten (26) zu der Maschine (24) und/oder daraus abgeleitete Zusatzinformationen auszugeben, insbesondere die Geschwindigkeit und/oder Bewegungsrichtung.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, eine die Gefahr ausräumende Arbeitsgeschwindigkeit und/oder einen die Gefahr ausräumenden Arbeitsablauf für die Maschine (24) zu bestimmen.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei der Sensor (10) auf der Maschine (24) und mit deren Arbeitsbewegungen mitbewegt angeordnet ist.
Sensor (10) nach einem der vorhergehenden Ansprüche, wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, Objekte (24, 26) anhand eines modulierten Beleuchtungsmusters zu identifizieren, das von einer am Objekt (24, 26) angeordneten Trackereinrichtung erzeugt ist.
Sensor (10) nach einem der vorhergehenden Ansprüche, der mindestens zwei ereignisbasierte Bildsensoren (14) in einer Stereoanordnung aufweist, und wobei die Steuer- und Auswertungseinheit (18) dafür ausgebildet ist, in den Bilddaten der beiden Bildsensoren (14) erfasste Ereignisse einander zuzuordnen anhand dessen mit einem Stereoverfahren einen Tiefenwert zu berechnen.
Verfahren zum Absichern eines Überwachungsbereichs (12) mit mindestens einer Maschine (24), insbesondere einem Roboter, wobei ein Bildsensor (14) mit einer Vielzahl von Pixelelementen Bilddaten von Objekten (24, 26) in dem Überwachungsbereich (12) erzeugt und die Bilddaten ausgewertet werden, um Objekte (24, 26) zu erfassen, zumindest deren Position zu bestimmen und zu bewerten, um eine Gefahr zu erkennen und in diesem Falle auf die Maschine (24) einzuwirken, dadurch gekennzeichnet, dass der Bildsensor (14) ein ereignisbasierter Bildsensor ist, der durch zweikanalige oder selbstprüfende Architektur und/oder durch Plausibilisierungen der Bilddaten mittels der Steuer- und Auswertungseinheit (18) als sicherer ereignisbasierter Bildsensor (14) ausgebildet ist, und dass die von den Pixelelementen erfassten Ereignisse als bewegte Objekte behandelt werden.