[go: up one dir, main page]

DE10354035A1 - Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung - Google Patents

Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung Download PDF

Info

Publication number
DE10354035A1
DE10354035A1 DE2003154035 DE10354035A DE10354035A1 DE 10354035 A1 DE10354035 A1 DE 10354035A1 DE 2003154035 DE2003154035 DE 2003154035 DE 10354035 A DE10354035 A DE 10354035A DE 10354035 A1 DE10354035 A1 DE 10354035A1
Authority
DE
Germany
Prior art keywords
mass
motor vehicle
evaluation unit
car
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE2003154035
Other languages
English (en)
Inventor
Günter Dipl.-Ing. Fendt (FH)
Helmut Dipl.-Ing. Steurer
Armin Dipl.-Ing. Vogl
Serguei Dipl.-Ing. Azarkevitch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE2003154035 priority Critical patent/DE10354035A1/de
Publication of DE10354035A1 publication Critical patent/DE10354035A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung zur Objekterkennung für ein Kraftfahrzeug-Insassenschutzsystem mit DOLLAR A mindestens einem optischen Erfassungssystem (10, 12) zum Erfassen mindestens eines Umgebungsbereichs (14, 16) eines Kraftfahrzeugs (18) und DOLLAR A einer Auswerteeinheit (20), die zum Analysieren mindestens eines Objekts (22, 24, 25) im mindestens einen erfassten Umgebungsbereich (14, 16) anhand von Signalen (26, 28) des mindestens einen optischen Erfassungssystems (10, 12) und zum Ermitteln einer dem mindestens einen Objekt (22, 24, 25) zugeordneten Masse und zum Erzeugen mindestens eines von der ermittelten Masse abhängigen Steuersignals (30) für das Kraftfahrzeug-Insassenschutzsystem (32) ausgebildet ist.

Description

  • Die Erfindung betrifft eine Vorrichtung zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung nach Anspruch 1 und ein entsprechendes Verfahren nach Anspruch 10.
  • Um die Sicherheit im Straßenverkehr zu verbessern, werden verstärkt Hindernswarnsysteme in Fahrzeuge eingebaut. Derartige Systeme sollen einen Kraftfahrzeugführer vor allem darin unterstützen, die unmittelbare Umgebung vor seinem Fahrzeug zu erfassen, und um ihn auf Gefahrenquellen aufmerksam zu machen, wie beispielsweise auf stehende oder sich bewegende Hindernisse auf der Fahrbahn. Einige Systeme können im Gefahrenfall das Fahrzeug automatisch abbremsen oder Auslöseschwellen von im Fahrzeug eingebauten Insassenschutzeinrichtungen beeinflussen.
  • Zur Überwachung der Umgebung vor einem Fahrzeug sind Hinderniswarnsysteme auf Laser- oder Radar-Basis in Erprobung und teilweise bereits im Einsatz. Mit diesen Systemen wird über die Laufzeit von ausgesendeten und reflektierten elektromagnetischen Wellen die Entfernung zu Hindernissen gemessen. Systeme auf Laser- und Radar-Basis weisen jedoch den Nachteil auf, dass außer der Entfernung und – bei Berücksichtigung der Eigengeschwindigkeit – der Relativgeschwindigkeit eines Hindernisses keine weiteren Informationen zur Identifizierung des Hindernisses erzeugt werden können.
  • Aus der DE 101 32 681 C1 ist ein Verfahren zur Klassifizierung eines Hindernisses anhand von Precrash-Sensorsignalen bekannt, bei dem aus der Hindernisgeschwindigkeit eine Beschleunigung und eine Beschleunigungsänderung bestimmt wird und anhand dieser Parameter das Hindernis klassifiziert wird. In Abhängigkeit von der Klassifizierung werden Kriterien zum Auslösen einer Insassenschutzeinrichtung verschärft oder es werden Rückhaltemittel frühzeitig ausgelöst und gegebenenfalls ein automatischer Brems- und/oder Lenkeingriff vorgenommen. Dieses bekannte Verfahren beruht auf der Erkenntnis, dass in den meisten Fällen die Geschwindigkeit eines Hindernisses die Unfallschwere eines Aufpralls bestimmt. Beispielsweise klassifiziert dieses Verfahren ein langsames Hindernis mit einer geringen Beschleunigung als Fußgänger und leitet entsprechende Maßnahmen wie ein Lenkmanöver zum Ausweichen ein oder zündet bei nur noch geringer Entfernung zum Hindernis Fußgänger-Airbags. Problematisch wird allerdings die Klassifizierung insbesondere bei einem sehr langsamen oder stehenden Hindernis. Eine sichere Klassifikation kann dann nicht mehr gewährleistet werden, da es sich um ein anderes Fahrzeug, einen Fußgänger, eine Mauer oder auch einen Baum handeln kann. Derartig unterschiedliche Hindernisse erfordern jedoch vollkommen unterschiedliche Maßnahmen zum Insassen- oder Personenschutz. Eine genauere Klassifizierung wäre demnach in manchen Fällen wünschenswert.
  • Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung vorzuschlagen, welche zumindest eine weitere Information zusätzlich zur Relativgeschwindigkeit erzeugen, die eine genauere Klassifizierung als eingangs erläutert ermöglicht.
  • Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung mit den Merkmalen nach Anspruch 1 bzw. 10 gelöst. Weitergehende Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
  • Ein wesentlicher Gedanke der Erfindung basiert darauf, dass eine Analyse und/oder Vorherbestimmung der Masse eines potentiellen Hindernisses im Straßenverkehr eine genauere Klassifikation des Hindernisses ermöglicht. Insbesondere kann mittels der analysierten "Masseninformation" des Hindernisses bzw. Unfallgegners eine Steuerung und/oder Unterstützung einer Insassenschutzeinrichtung erfolgen, wodurch diese im Bedarfsfall möglichst effizient zum Einsatz gebracht werden kann. Erfindungsgemäß wird nun die Masse eines Hindernisses im Straßenverkehr dadurch bestimmt, dass eine Objektidentifikation des Hindernisses vorgenommen und daraus die Masse abgeleitet wird.
  • Die Erfindung betrifft nun eine Vorrichtung zur Objekterkennung für ein Kraftfahrzeug-Insassenschutzsystem mit mindestens einem optischen Erfassungssystem zum Erfassen mindestens eines Umgebungsbereichs eines Kraftfahrzeugs, und einer Auswerteeinheit, die zum Analysieren mindestens eines Objekts im mindestens einen erfassten Umgebungsbereich anhand von Signalen des mindestens einen optischen Erfassungssystems und zum Ermitteln einer dem mindestens einen Objekt zugeordneten Masse und zum Erzeugen mindestens eines von der ermittelten Masse abhängigen Steuersignals für das Kraftfahrzeug-Insassenschutzsystem ausgebildet ist.
  • Insbesondere ist die Auswerteeinheit ausgebildet, um Konturen des mindestens einen Objekts im mindestens einen erfassten Umgebungsbereich zu analysieren und anhand der analysierten Konturen Abmessungen des Objekts wie Breite und Höhe zu ermitteln.
  • Die Auswerteeinheit kann hierzu ausgebildet sein, um anhand der ermittelten Abmessungen die Masse des mindestens einen Objekts zu schätzen.
  • Insbesondere kann die Auswerteeinheit ausgebildet sein, um die Masse anhand einer Entscheidungstabelle zu schätzen. Dadurch kann eine schnelle Abschätzung der Masse erfolgen, wenn z.B. nur noch wenig Zeit für Entscheidungen wie dem Auslösen einer Insassenschutzeinrichtung zur Verfügung steht.
  • In einer bevorzugten Ausführungsform ist die Auswerteeinheit derart ausgebildet, dass sie aufgrund der ermittelten Abmessungen einen passenden Datensatz aus einer Datenbank mit Kraftfahrzeugtypen lädt, der eine den ermittelten Abmessungen zugeordnete Masse aufweist. Hierdurch kann eine sehr genaue Feststellung der Masse des potentiellen Unfallgegners erfolgen.
  • Alternativ oder auch zusätzlich kann die Auswerteeinheit ausgebildet sein, um Identifikationsdaten des mindestens einen Objekts zu ermitteln, die beispielsweise ein Kennzeichen- und/oder ein Typenschild eines Kraftfahrzeugs umfassen. Anhand derartiger Identifikationsdaten kann die Ermittlung der Masse des Objekts unter Umständen erleichtert werden. Insbesondere wenn das Objekt ein amtlich registriertes Kraftfahrzeug ist, kann diese Ausführungsform vorteilhaft zum Ermitteln der Masse eingesetzt werden.
  • Die Auswerteeinheit ist in einer weiteren bevorzugten Ausführungsform derart ausgebildet ist, dass sie zu ermittelten Identifikationsdaten mindestens einen Datensatz aus einer Datenbank lädt, der eine den ermittelten Identifikationsdaten zugeordnete Masse des mindestens einen Objekts aufweist.
  • Die Auswerteeinheit kann auch mit einer Funkeinheit verbunden und derart ausgebildet sein, dass sie einen Zugriff auf die Datenbank erhalten und aus dieser mindestens einen Datensatz laden kann. Damit wird der Zugriff auf eine globale Datenbank beispielsweise einer Behörde ermöglicht, welche die amtlichen Kennzeichendaten und zugeordneten Fahrzeugtypen umfasst.
  • Die Erfindung betrifft ferner ein Verfahren zur Objekterkennung für ein Kraftfahrzeug-Insassenschutzsystem, bei dem mindestens ein Umgebungsbereich eines Kraftfahrzeugs optisch erfasst, mindestens ein Objekt im mindestens einen erfassten Umgebungsbereich analysiert, eine dem mindestens einen Objekt zugeordnete Masse ermittelt und mindestens ein von der ermittelten Masse abhängiges Steuersignal für das Kraftfahrzeug-Insassenschutzsystem erzeugt wird.
  • Insbesondere werden Konturen des mindestens einen Objekts im mindestens einen erfassten Umgebungsbereich analysiert und anhand der analysierten Konturen Abmessungen des Objekts wie Breite und Höhe ermittelt.
  • Vorzugsweise wird anhand der ermittelten Abmessungen die Masse des mindestens einen Objekts geschätzt, insbesondere anhand einer Entscheidungstabelle.
  • Alternativ oder auch zusätzlich kann aufgrund der ermittelten Abmessungen ein passender Datensatz aus einer Datenbank mit Kraftfahrzeugtypen geladen werden, der eine den ermittelten Abmessungen zugeordnete Masse aufweist.
  • Ferner können Identifikationsdaten des mindestens einen Objekts ermittelt werden, die beispielsweise ein Kennzeichen- und/oder ein Typenschild eines Kraftfahrzeugs umfassen.
  • Vorzugsweise wird zu ermittelten Identifikationsdaten mindestens ein Datensatz aus einer Datenbank geladen, der eine den ermittelten Identifikationsdaten zugeordnete Masse des mindestens einen Objekts aufweist.
  • Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem in der einzigen Zeichnung dargestellten Ausführungsbeispiel.
  • In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. Im folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein.
  • Die einzige Fig. zeigt eine typische Fahrsituation im Straßenverkehr, bei der ein erster Personenkraftwagen (PKW) 18 hinter einem zweiten PKW 22 fährt. Der erste PKW 18 weist zwei optische Erfassungssysteme zum Erfassen von zwei unterschiedlichen Umgebungsbereichen in Fahrtrichtung auf. Diese Erfassungssysteme dienen zur vorrausschauenden Analyse und Vorherbestimmung der Masse des zweiten Pkws 22 auf Basis einer Objektidentifikation des potentiellen Hindernisses mittels einer Konturenerfassung, wie im Folgenden noch ausführlich erläutert wird.
  • Ein erstes optisches Erfassungssystem weist eine Kamera 10 auf, die im Bereich des Rückspiegels an der Frontscheibe des PKW 18 angebracht ist. Die Kamera 10 erfasst einen ersten Umgebungsbereich 14, der etwa dem Sichtbereich eines Kraftfahrzeugführers des ersten Pkws 18 entspricht.
  • Das zweite optische Erfassungssystem weist ein Photomischdetektor (PMD)-Systems 12 auf (3D-Kamerasystem), das im Frontbereich des Kraftzeugs, genauer gesagt im vorderen Bereich der Motorhaube, beispielsweise im Kühlergrill, in der Nähe des Kennzeichenschilds des ersten Pkws 18 oder im Bereich der Frontscheinwerfer angeordnet sein kann. Das PMD-System 12 erfasst einen zweiten Umgebungsbereich 16, der insbesondere den Heckbereich von vor dem ersten PKW 18 vorausfahrenden Pkws enthält, um so Typen- und Kennzeichenschilder vorausfahrender Pkws optimal zu erfassen. Die optische Erfassung der Umgebung erfolgt durch Laserstrahlen, die von einem Laser des PMD-Systems 12 ausgesendet werden. Am Hindernis, also am PKW 22 reflektierte Laserstrahlen werden von einem PMD-Sensor des PMD-Systems 12 erfasst und in elektronische Signale zur weiteren Verarbeitung durch ein Bildverarbeitungssystem umgewandelt.
  • Die optischen Erfassungssysteme 10 und 12 tasten das potentielle Hindernis, hier den PKW 22 ab, um die Konturen des PKW 22 zu erhalten. Mit Hilfe der Konturen wird der PKW 22 dann vermessen. Genauer gesagt werden aus den Konturen die Breite und die Höhe sowie weitere Erkennungsmerkmale des PKW 22 extrahiert. Anhand der so extrahierten Informationen wird eine Klassifikation des Hindernisses vorgenommen, im vorliegenden Fall eine Zuordnung des Fahrzeugtyps anhand einer Datenbank mit Kraftfahrzeugen und deren Breite und Höhe sowie Erkennungsmerkmale.
  • Die eindeutige Fahrzeugzuordnung oder Typzuordnung erfolgt durch einen Vergleich der erfassten Konturen, also der Breite und Höhe des potentiellen Hindernisses mit einer Vielzahl von bekannten gespeicherten Konturen bzw. Abmessungen, die in der Datenbank abgelegt sind. Aufgrund einer derartigen Fahrzeugzuordnung oder Typenzuordnung kann eine ungefähre Massenermittlung des potentiellen Hindernisses erfolgen. Die Massenermittlung (Gewichtsermittlung) kann nur annähernd erfolgen, da beispielsweise die Anzahl und das Gewicht der Fahrzeuginsassen, der Füllstand des Kraftstofftankes oder dergleichen das Gewicht beeinflussende Parameter nicht exakt berücksichtigt werden können. Für die Praxis hat sich allerdings die „grobe" Massenbestimmung gemäss der Erfindung als vollkommen ausreichend erwiesen.
  • Wenn die erfassten Konturen keinem in der Datenbank gespeicherten Fahrzeug zugeordnet werden können, kann auch direkt anhand der aus den erfassten Konturen extrahierten Abmessungen eine Gewichtsabschätzung und Massenbestimmung durchgeführt werden.
  • Anhand der oben erwähnten Klassifizierung kann beispielsweise die Auslöseschwelle einer Insassenschutzeinrichtung angepasst werden, insbesondere abhängig von der ermittelten Masse eingestellt werden. Bei einem Hindernis mit einer großen Masse kann beispielsweise die Auslöseschwelle abgesenkt werden. Die Auslöseschwelle kann aufgrund der ermittelten Masse des potentiellen Hindernisses derart gewählt werden, dass aufgrund der vorherrschenden Masseverhältnisse bei einem möglichen Unfall oder einer Kollision ein optimaler Schutz für die Fahrzeuginsassen sichergestellt ist oder damit die Insassenschutzeinrichtung im Bedarfsfall möglichst effizient zum Einsatz gebracht wird. Insbesondere beeinflusst die erfindungsgemäße Massenbestimmung die Wahl des richtigen Triggerzeitpunkts (Zündzeitpunkt der Insassenschutzeinrichtung), der wiederum aufgrund der Anpassung der Auslöseschwelle gesteuert wird.
  • Im Folgenden wird nun eine typische technische Realisierung der Erfindung genauer erläutert.
  • Ein Ausgangssignal 28 der Kamera 10 und ein Ausgangssignal 26 des PMD-Systems 12 werden einer Auswerteeinheit 20 im ersten PKW 18 zugeführt. Die Auswerteeinheit 20 umfasst einen Mikrocomputer, der zur Verarbeitung der optischen Informationen ausgebildet ist, die von der Kamera 10 und dem PMD-System 12 erzeugt werden. Hierzu führt der Mikrocomputer der Auswerteeinheit 20 Bildverarbeitungsalgorithmen aus, die zum Extrahieren von charakteristischen Eigenschaften aus den erfassten optischen Informationen ausgebildet sind.
  • Aus den Bildinformationen der Kamera 10 extrahiert einer der Bildverarbeitungsalgorithmen Konturen von Objekten im erfassten Umgebungsbereich 14, im vorliegenden Fall die Konturen des zweiten Pkws 22. Aus diesen so extrahierten Konturen ermittelt dieser Bildverarbeitungsalgorithmus ferner charakteristische Maße, wie die Breite und die Höhe des zweiten Pkws 22. In die Berechnung der Breite und Höhe kann insbesondere der Abstand zwischen ersten und zweiten PKW 18 bzw. 22 einfließen, der beispielsweise mittels eines Abstandssensors gemessen wird.
  • Nach Berechnung der Höhe und Breite des zweiten Pkws 22 im ersten erfassten Umgebungsbereich 14 vergleicht die Auswerteeinheit diese Daten mit Daten aus einer lokalen Datenbank 34, die Kraftfahrzeugtypen sowie deren charakteristische Abmessungen wie Breite und Höhe sowie das zugeordnete Gewicht der Kraftfahrzeuge aufweist. Die folgende Tabelle ist ein Beispiel für eine derartige Tabelle der Datenbank 34:
    Figure 00090001
    Figure 00100001
  • Anhand den von der Auswerteeinheit 20 ermittelten typischen Kenngrößen wie Fahrzeugbreite, Fahrzeughöhe sowie sonstigen fahrzeugspezifischen Merkmalen, verglichen mit einer Vielzahl von unterschiedlichen gespeicherten Fahrzeugkonturen, kann anhand der obigen Tabelle auf eine bestimmte Fahrzeugmarke oder noch genauer einen bestimmten Fahrzeugtyp als potentielles Hindernis rückgeschlossen werden. Dies ermöglicht eine relativ präzise Massenbestimmung. Diese Art der Massenbestimmung wird anhand der Spalte „120–180 cm" vorgenommen.
  • Sofern anhand der von der Auswerteeinheit 20 ermittelten Konturen, beispielsweise aufgrund nicht übereinstimmender Konturendaten keine eindeutige Fahrzeugzuordnung oder Typzuordnung getroffen werden kann, kann auch direkt anhand der erfassten Abmessungen eine Massenbestimmung, genauer gesagt eine Gewichtabschätzung durchgeführt werden, wie dies in den Spalten „< 120 cm" und „> 180 cm" der obigen Tabelle dargestellt ist.
  • Die derart ermittelte Masse kann nun zusammen mit weiteren Mess- und Berechnungsergebnissen wie beispielsweise dem Abstand zum vorausfahrenden PKW 22, der Geschwindigkeit des ersten Pkws 18 oder dergleichen sicherheitsrelevanten Parameter in ein Sicherheitskonzept des ersten Pkws 18 einfließen. Genauer gesagt können diese Informationen Auslöseschwellen für Insassenschutzeinrichtungen wie beispielsweise für einen Airbag oder ein Gurtstraffersystem des ersten Pkws 18 beeinflussen.
  • Dementsprechend überträgt die Auswerteeinheit 20 ein Steuersignal 30 an ein Steuergerät 32, eines Kraftfahrzeug-Schutzsystems des ersten PKW'S 18. Im Steuergerät 32 sind eine oder mehrere Auslöseschwellen zum Auslösen der erwähnten Insassenschutzeinrichtungen eingestellt. Das Steuergerät 32 weist einen Mikrocomputer auf, der speziell angepasste Algorithmen zur Bearbeitung von Sensorsignalen und zum Erzeugen von Steuersignalen ausführt, insbesondere von Zündsignalen zum Zünden von pyrotechnischen Aktuatoren der Insassenschutzeinrichtung wie z.B. von Rückhaltemitteln. Diese Algorithmen implementieren in der Regel auch die erwähnten Auslöseschwellen.
  • Die Auswerteeinheit 20 verarbeitet nicht nur Signale der Kamera 10, sondern auch wie bereits erwähnt ein Ausgangssignal 26 des PMD-Systems 12, das ebenfalls zum Ermitteln von Informationen über Objekte im zweiten erfassten Umgebungsbereich 16 dient. Wie in der einzigen Fig. dargestellt, wird durch das PMD-System 12 der Heckbereich des vorausfahrenden Pkws 22 erfasst, genauer gesagt dessen Kennzeichenschild 24 und Typenschild 25.
  • Die vom PMD-System 12 erzeugten Bildinformationen werden von der Auswerteeinheit 20 dahingehend verarbeitet, dass nicht nur Konturen von Objekten im erfassten Umgebungsbereich 16, sondern speziell Schriftinformationen extrahiert werden, wie die auf dem Kennzeichenschild 24 enthaltene amtliche Zulassungsnummer des vorausfahrenden Pkws 22 und den im Typenschild 25 enthaltenen Fahrzeugtypen. Die extrahierten Schriftinformationen werden mit Datenbeständen abgeglichen. Um einen schnellen Zugriff auf die erforderlichen Daten zu gewährleisten, kann zumindest ein bestimmter Datenbestand direkt in der lokalen Datenbank 34 gespeichert werden. Der Datenbestand der lokalen Datenbank 34 kann auch über selbstaktualisierende Eigenschaften verfügen, d.h. die Auswerteinheit 20 kann von Zeit zu Zeit automatisch Daten einer globalen Datenbank abfragen, um die Daten der lokalen Datenbank 34 zu aktualisieren. Beispielsweise können von einer globalen Datenbank der Datenbestand einer Region in die lokale Datenbank 34 geladen werden, in der sich der PKW 18 befindet. Eine Aktualisierung kann beispielsweise per Fernabfrage bei einer übergeordneten Datenbank auch immer dann erfolgen, wenn ein bislang unbekanntes Kennzeichen beispielsweise öfter als zweimal innerhalb eines bestimmten Zeitraumes erkannt wurde.
  • Im Detail kann die Ermittlung der Masse des Pkws 22 beispielsweise wie folgt erfolgen: Die Auswerteeinheit 20 weist speziell ausgebildete Bildverarbeitungsalgorithmen auf, die aus den durch das PMD-System 12 erfassten Bildinformationen die entsprechenden Daten extrahieren. Die derart extrahierten Daten werden anschließend von der Auswerteeinheit 20 mit einer globalen Datenbank mit Identifikationsdaten für Kraftfahrzeuge abgeglichen. Die Auswerteeinheit 20 steuert hierzu eine Funkeinheit 36 im ersten PKW 18 an, die beispielsweise ein Mobilfunk-Modul zum Aufbauen einer Kommunikationsverbindung über ein herkömmliches Mobilfunknetz aufweisen kann.
  • Über die Funkeinheit 36 wird eine Funkverbindung mit einer Funkeinheit 38 einer zentralen Datenstelle 42 aufgebaut, die beispielsweise eine amtliche Datenbank mit Zulassungsnummern von Kraftfahrzeugen sein kann. In der zentralen Datenstelle 42 befindet sich die globale Datenbank 40 mit Identifikationsdaten der Kraftfahrzeuge, beispielsweise den erwähnten Zulassungsdaten. Die Auswerteeinheit 20 übermittelt über die Funkstrecke an die zentrale Datenstelle 42 das amtliche Kennzeichen des zweiten Pkws 22. In der zentralen Datenstelle 42 wird automatisch aus der Datenbank 40 – sofern vorhanden – ein dazu passender Datensatz geladen und wiederum über die Funkstrecke und die Funkeinheit 36 im ersten PKW 18 zurück an die Auswerteeinheit 20 übertagen.
  • Weiterhin kann die Auswerteeinheit 20 auf die lokale Datenbank 34 mit Kraftfahrzeugtypenidentifikationsdaten zugreifen, um aus dieser einen Datensatz zu laden, der zu den aus dem Typenschild 25 extrahierten Informationen passt. Hierzu sind in der Datenbank 34 eine Vielzahl von Kraftfahrzeugtypen verschiedenster Hersteller und deren relevanten Informationen, wie insbesondere das Leergewicht, abgelegt.
  • Die über das PMD-System 12 ermittelten Informationen kann die Auswerteeinheit 20 genauso wie die über die Kamera 10 ermittelten Informationen in die Sicherheitsstrategie des ersten PKW'S 18 einfließen lassen, genauer gesagt das Steuersignal 30 beeinflussen, das dem Steuergerät 32 zugeführt wird, welches zum Auslösen von Insassenschutzeinrichtungen dient.
  • Wie oben erläutert dient die erfindungsgemäße Vorrichtung und das entsprechende Verfahren vorzugsweise zum Ermitteln von Informationen über Kraftfahrzeuge, insbesondere deren Gewicht, da derartige Informationen im Falle eines Zusammenstoßes eine wesentliche Rolle spielen. An dieser Stelle sei erwähnt, dass mit den optischen Erfassungssystemen gemäß der Erfindung eine Vielzahl von für Insassenschutzeinrichtungen relevanten Informationen über Objekte ermittelt werden können, die sich als potentielle Hindernisse bzw. Unfallgegner herausstellen.
  • 10
    Kamera
    12
    Photomischdetektor-System
    14
    erster erfasster Umgebungsbereich
    16
    zweiter erfasster Umgebungsbereich
    18
    erster PKW
    20
    Auswerteeinheit
    22
    zweiter PKW
    24
    Kennzeichenschild
    25
    Typenschild
    26
    Ausgangssignal des PMD-Systems 12
    28
    Ausgangssignal der Kamera 10
    30
    Steuersignal der Auswerteeinheit 20
    32
    Steuergerät eines Kraftfahrzeug-
    Insassenschutzsystems
    34
    lokale Datenbank mit Kraftfahrzeugtypen und
    Identifikationsdaten
    36
    Funkeinheit im ersten PKW 18
    38
    Funkeinheit der zentralen Datenstelle 42
    40
    globale Datenbank mit Identifikationsdaten
    42
    zentrale Datenstelle

Claims (17)

  1. Vorrichtung zur Objekterkennung für ein Kraftfahrzeug-Insassenschutzsystem mit mindestens einem optischen Erfassungssystem (10, 12) zum Erfassen mindestens eines Umgebungsbereichs (14, 16) eines Kraftfahrzeugs (18), und einer Auswerteeinheit (20), die zum Analysieren mindestens eines Objekts (22, 24, 25) im mindestens einen erfassten Umgebungsbereich (14, 16) anhand von Signalen (26, 28) des mindestens einen optischen Erfassungssystems (10, 12) und zum Ermitteln einer dem mindestens einen Objekt (22, 24, 25) zugeordneten Masse und zum Erzeugen mindestens eines von der ermittelten Masse abhängigen Steuersignals (30) für das Kraftfahrzeug-Insassenschutzsystem (32) ausgebildet ist.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Auswerteeinheit (20) ausgebildet ist, um Konturen des mindestens einen Objekts (22) im mindestens einen erfassten Umgebungsbereich (14) zu analysieren und anhand der analysierten Konturen Abmessungen des Objekts wie Breite und Höhe zu ermitteln.
  3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Auswerteeinheit (20) ausgebildet ist, um anhand der ermittelten Abmessungen die Masse des mindestens einen Objekts (22) zu schätzen.
  4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Auswerteeinheit (20) ausgebildet ist, um die Masse anhand einer Entscheidungstabelle zu schätzen.
  5. Vorrichtung nach einem der Ansprüche 2–4, dadurch gekennzeichnet, dass die Auswerteeinheit (20) derart ausgebildet ist, dass sie aufgrund der ermittelten Abmessungen einen passenden Datensatz aus einer Datenbank (34) mit Kraftfahrzeugtypen lädt, der eine den ermittelten Abmessungen zugeordnete Masse aufweist.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (20) ausgebildet ist, um Identifikationsdaten (24, 25) des mindestens einen Objekts (22) zu ermitteln.
  7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Identifikationsdaten ein Kennzeichen- und/oder ein Typenschild (24, 25) eines Kraftfahrzeugs (22) umfassen.
  8. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Auswerteeinheit (20) derart ausgebildet ist, dass sie zu ermittelten Identifikationsdaten (24, 25) mindestens einen Datensatz aus einer Datenbank (34, 40) lädt, der eine den ermittelten Identifikationsdaten (24, 25) zugeordnete Masse des mindestens einen Objekts (22) aufweist.
  9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteeinheit (20) mit einer Funkeinheit (36) verbunden und derart ausgebildet ist, dass sie einen Zugriff auf die Datenbank (40) erhalten und aus dieser mindestens einen Datensatz laden kann.
  10. Verfahren zur Objekterkennung für ein Kraftfahrzeug-Insassenschutzsystem, bei dem mindestens ein Umgebungsbereich (14, 16) eines Kraftfahrzeugs (18) optisch erfasst, mindestens ein Objekt (22, 24, 25) im mindestens einen erfassten Umgebungsbereich (14, 16) analysiert, eine dem mindestens einen Objekt (22, 24, 25) zugeordnete Masse ermittelt und mindestens ein von der ermittelten Masse abhängiges Steuersignal (30) für das Kraftfahrzeug-Insassenschutzsystem (32) erzeugt wird.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass Konturen des mindestens einen Objekts (22) im mindestens einen erfassten Umgebungsbereich (14) analysiert und anhand der analysierten Konturen Abmessungen des Objekts wie Breite und Höhe ermittelt werden.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass anhand der ermittelten Abmessungen die Masse des mindestens einen Objekts (22) geschätzt wird.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Masse anhand einer Entscheidungstabelle geschätzt wird.
  14. Verfahren nach einem der Ansprüche 11–13, dadurch gekennzeichnet, dass aufgrund der ermittelten Abmessungen ein passender Datensatz aus einer Datenbank (34) mit Kraftfahrzeugtypen geladen wird, der eine den ermittelten Abmessungen zugeordnete Masse aufweist.
  15. Verfahren nach einem der Ansprüche 10–14, dadurch gekennzeichnet, dass Identifikationsdaten (24, 25) des mindestens einen Objekts (22) ermittelt werden.
  16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Identifikationsdaten ein Kennzeichen- und/oder ein Typenschild (24, 25) eines Kraftfahrzeugs (22) umfassen.
  17. Verfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass zu ermittelten Identifikationsdaten (24, 25) mindestens ein Datensatz aus einer Datenbank (34, 40) geladen wird, der eine den ermittelten Identifikationsdaten (24, 25) zugeordnete Masse des mindestens einen Objekts (22) aufweist.
DE2003154035 2003-11-19 2003-11-19 Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung Withdrawn DE10354035A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2003154035 DE10354035A1 (de) 2003-11-19 2003-11-19 Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2003154035 DE10354035A1 (de) 2003-11-19 2003-11-19 Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung

Publications (1)

Publication Number Publication Date
DE10354035A1 true DE10354035A1 (de) 2005-06-02

Family

ID=34530256

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2003154035 Withdrawn DE10354035A1 (de) 2003-11-19 2003-11-19 Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung

Country Status (1)

Country Link
DE (1) DE10354035A1 (de)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100146A3 (de) * 2005-03-24 2007-05-31 Bosch Gmbh Robert Verfahren zur erzeugung eines auslösesignals für eine fussgängerschutzvorrichtung
DE102007038366A1 (de) * 2007-08-09 2009-02-12 Volkswagen Ag Verfahren und Vorrichtung zur Ansteuerung von Precrash-Mitteln in einem Kraftfahrzeug
DE102011112812A1 (de) * 2011-09-07 2013-03-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerunterstützung durch Tot-Winkel-Bereichs Warnung
DE102011118658A1 (de) * 2011-11-15 2013-05-16 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Steuerung eines Schutzsystems in einem Fahrzeug
DE102013020474A1 (de) 2013-12-04 2015-06-11 Audi Ag Verfahren zum Betrieb eines Sicherheitssystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102015208570A1 (de) * 2015-05-08 2016-11-10 Volkswagen Aktiengesellschaft Verfahren zum Steuern von Fahrzeugfunktionen
WO2017012743A1 (de) * 2015-07-17 2017-01-26 Robert Bosch Gmbh Verfahren zur plausibilisierung einer ansteuerentscheidung für sicherheitsmittel
DE102015115135A1 (de) * 2015-09-09 2017-03-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Schwere einer möglichen Kollision zwischen einem Kraftfahrzeug und einem weiteren Fahrzeug, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2020038683A1 (de) * 2018-08-24 2020-02-27 Zf Friedrichshafen Ag Vorrichtung, verfahren und system zum ermitteln einer fahreigenschaft eines anderen fahrzeugs in einer umgebung eines eigenen fahrzeugs
CN115257666A (zh) * 2022-08-03 2022-11-01 福建福大北斗通信科技有限公司 一种基于北斗定位的综合预警系统及诊断方法
DE102014221034B4 (de) 2014-10-16 2023-03-16 Robert Bosch Gmbh Verfahren zum Erkennen einer bevorstehenden Kollision eines Fahrzeugs mit einem Objekt
US11694488B2 (en) * 2017-12-05 2023-07-04 Bayerische Motoren Werke Aktiengesellschaft Method for determining damage which occurs to a vehicle in the event of an accident between a vehicle and a collision partner

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19647660A1 (de) * 1996-11-19 1998-05-20 Daimler Benz Ag Auslösevorrichtung für Insassenrückhaltesysteme in einem Fahrzeug
DE19724101A1 (de) * 1997-06-07 1998-12-10 Bayerische Motoren Werke Ag Verfahren zur bedarfsgerechten Steuerung von Insassen-Sicherheitseinrichtungen
DE19815002A1 (de) * 1998-04-03 1999-10-14 Bosch Gmbh Robert Verfahren zum Ermitteln von Steuerdaten für die Auslösung von Rückhaltemitteln in einem Fahrzeug
DE19946407A1 (de) * 1999-09-28 2001-04-12 Siemens Restraint System Gmbh System zur gezielten Aktivierung von passiven Rückhaltekomponenten in einem Kraftfahrzeug in Abhängigkeit von der Masse- bzw. Ortsfestigkeit des Hindernisses
DE10100880A1 (de) * 2001-01-11 2002-07-25 Bosch Gmbh Robert Verfahren zur Aufprallerkennung bei einem Kraftfahrzeug
DE10121956C1 (de) * 2001-05-05 2002-11-28 Daimler Chrysler Ag Fahrzeugbasiertes Notfall-System
DE10258162A1 (de) * 2001-12-18 2003-07-03 Denso Corp Fahrzeuginsassenschutzvorrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19647660A1 (de) * 1996-11-19 1998-05-20 Daimler Benz Ag Auslösevorrichtung für Insassenrückhaltesysteme in einem Fahrzeug
DE19724101A1 (de) * 1997-06-07 1998-12-10 Bayerische Motoren Werke Ag Verfahren zur bedarfsgerechten Steuerung von Insassen-Sicherheitseinrichtungen
DE19815002A1 (de) * 1998-04-03 1999-10-14 Bosch Gmbh Robert Verfahren zum Ermitteln von Steuerdaten für die Auslösung von Rückhaltemitteln in einem Fahrzeug
DE19946407A1 (de) * 1999-09-28 2001-04-12 Siemens Restraint System Gmbh System zur gezielten Aktivierung von passiven Rückhaltekomponenten in einem Kraftfahrzeug in Abhängigkeit von der Masse- bzw. Ortsfestigkeit des Hindernisses
DE10100880A1 (de) * 2001-01-11 2002-07-25 Bosch Gmbh Robert Verfahren zur Aufprallerkennung bei einem Kraftfahrzeug
DE10121956C1 (de) * 2001-05-05 2002-11-28 Daimler Chrysler Ag Fahrzeugbasiertes Notfall-System
DE10258162A1 (de) * 2001-12-18 2003-07-03 Denso Corp Fahrzeuginsassenschutzvorrichtung

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8348004B2 (en) 2005-03-24 2013-01-08 Robert Bosch Gmbh Method for generating a triggering signal for a pedestrian protection device
WO2006100146A3 (de) * 2005-03-24 2007-05-31 Bosch Gmbh Robert Verfahren zur erzeugung eines auslösesignals für eine fussgängerschutzvorrichtung
DE102007038366A1 (de) * 2007-08-09 2009-02-12 Volkswagen Ag Verfahren und Vorrichtung zur Ansteuerung von Precrash-Mitteln in einem Kraftfahrzeug
DE102007038366B4 (de) * 2007-08-09 2019-08-14 Volkswagen Ag Verfahren und Vorrichtung zur Ansteuerung von Precrash-Mitteln in einem Kraftfahrzeug
DE102011112812A1 (de) * 2011-09-07 2013-03-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerunterstützung durch Tot-Winkel-Bereichs Warnung
DE102011118658A1 (de) * 2011-11-15 2013-05-16 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Steuerung eines Schutzsystems in einem Fahrzeug
DE102013020474A1 (de) 2013-12-04 2015-06-11 Audi Ag Verfahren zum Betrieb eines Sicherheitssystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102013020474B4 (de) 2013-12-04 2018-08-30 Audi Ag Verfahren zum Betrieb eines Sicherheitssystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102014221034B4 (de) 2014-10-16 2023-03-16 Robert Bosch Gmbh Verfahren zum Erkennen einer bevorstehenden Kollision eines Fahrzeugs mit einem Objekt
DE102015208570A1 (de) * 2015-05-08 2016-11-10 Volkswagen Aktiengesellschaft Verfahren zum Steuern von Fahrzeugfunktionen
WO2017012743A1 (de) * 2015-07-17 2017-01-26 Robert Bosch Gmbh Verfahren zur plausibilisierung einer ansteuerentscheidung für sicherheitsmittel
CN107848480A (zh) * 2015-07-17 2018-03-27 罗伯特·博世有限公司 用于核准用于安全器件的操控决策的方法
DE102015115135A1 (de) * 2015-09-09 2017-03-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Schwere einer möglichen Kollision zwischen einem Kraftfahrzeug und einem weiteren Fahrzeug, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US11436878B2 (en) 2015-09-09 2022-09-06 Valeo Schalter Und Sensoren Gmbh Method for determining the severity of a possible collision between a motor vehicle and another vehicle, control apparatus, driver assistance system and a motor vehicle
EP3347739B1 (de) * 2015-09-09 2019-10-30 Valeo Schalter und Sensoren GmbH Verfahren zum bestimmen einer schwere einer möglichen kollision zwischen einem kraftfahrzeug und einem weiteren fahrzeug, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
US11694488B2 (en) * 2017-12-05 2023-07-04 Bayerische Motoren Werke Aktiengesellschaft Method for determining damage which occurs to a vehicle in the event of an accident between a vehicle and a collision partner
WO2020038683A1 (de) * 2018-08-24 2020-02-27 Zf Friedrichshafen Ag Vorrichtung, verfahren und system zum ermitteln einer fahreigenschaft eines anderen fahrzeugs in einer umgebung eines eigenen fahrzeugs
CN115257666A (zh) * 2022-08-03 2022-11-01 福建福大北斗通信科技有限公司 一种基于北斗定位的综合预警系统及诊断方法

Similar Documents

Publication Publication Date Title
DE102021202592B4 (de) Fahrzeugsicherheitssystem und verfahren zur implementierung einer gewichteten aktiv-passiven aufprallmodus-klassifizierung
EP1562807B1 (de) Fahrdynamikregelung mit bildsensorsystem
DE102016226040B4 (de) Verfahren und Vorrichtung in einem Kraftfahrzeug zum Fußgängerschutz
DE112016002257B4 (de) Schutzsteuerungsvorrichtung
DE102016209309B4 (de) Kollisionserfassungsvorrichtung
DE102021202268B4 (de) Fahrzeugsicherheitssystem mit integriertem aktiv-passiv-frontaufprall-ansteueralgorithmus
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE10202908B4 (de) Verfahren und Anordnung zur Bestimmung eines Detektionsbereiches eines Pre-Crash-Sensorsystems
EP2089872A1 (de) Verfahren und vorrichtung zum erfassen eines hindernisses in einem umgebungsbereich eines kraftfahrzeugs und kraftfahrzeug
EP1652161B2 (de) Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld
DE10354035A1 (de) Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung
DE102008063033B4 (de) Vorrichtung und Verfahren zur Erkennung von Kollisionen mit erhöhter funktionaler Sicherheit
DE10125426A1 (de) Warnsystem und Verfahren zur Überwachung eines toten Winkels für ein Fahrzeug
EP2821283B1 (de) Verfahren und Vorrichtung zur schnellen Kollisionsvorbereitung eines Kraftfahrzeugs
DE102004020573B4 (de) Verfahren zur Einleitung von Sicherheitsmaßnahmen für ein Kraftfahrzeug
DE102008059240A1 (de) Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges
DE102016226047B4 (de) Verfahren und Vorrichtung in einem Kraftfahrzeug zum Fußgängerschutz
EP3347739B1 (de) Verfahren zum bestimmen einer schwere einer möglichen kollision zwischen einem kraftfahrzeug und einem weiteren fahrzeug, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE102020131933A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug
DE19822184B4 (de) Vorrichtung zur Erfassung eines Überschlages eines Kraftfahrzeuges
EP3600973B1 (de) Vorrichtung zum auslösen einer externen schutzfunktion
DE102017118809B4 (de) Verfahren zum Betreiben einer Sensorvorrichtung eines Kraftfahrzeugs, Sensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102005005959A1 (de) Vorrichtung und Verfahren zum Steuern einer Sicherheitsvorrichtung eines Fahrzeugs
DE102009045921B4 (de) Vorrichtung für ein Kraftfahrzeug
DE102004022289A1 (de) Fahrdynamikregelung mit Bildsensorsystem

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8139 Disposal/non-payment of the annual fee