DE102011106170A1 - Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs - Google Patents
Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs Download PDFInfo
- Publication number
- DE102011106170A1 DE102011106170A1 DE102011106170A DE102011106170A DE102011106170A1 DE 102011106170 A1 DE102011106170 A1 DE 102011106170A1 DE 102011106170 A DE102011106170 A DE 102011106170A DE 102011106170 A DE102011106170 A DE 102011106170A DE 102011106170 A1 DE102011106170 A1 DE 102011106170A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- unit
- terrain profile
- image data
- dimensional terrain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 title abstract description 16
- 230000007613 environmental effect Effects 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs (1), wobei mittels einer an einem unabhängig vom Fahrzeug (1) beweglichen unbemannten Luftfahrzeug (3) angeordneten ersten Bilderfassungseinheit (4) eine Umgebung des Fahrzeugs (1) erfasst wird. Erfindungsgemäß wird die Umgebung des Fahrzeugs zusätzlich mittels einer am Fahrzeug (1) angeordneten zweiten Bilderfassungseinheit (5) erfasst und Bilddaten (81) der ersten Bilderfassungseinheit (4) und Bilddaten (B2) der zweiten Bilderfassungseinheit (5) werden fusioniert und aus den fusionierten Bilddaten (B1, B2) werden Umgebungseigenschaften (U), ein dreidimensionales Geländeprofil (G) und/oder mögliche Fahrspuren (S) in dem dreidimensionalen Geländeprofil (G) ermittelt, wobei in Abhängigkeit der Umgebungseigenschaften (U), des dreidimensionalen Geländeprofils (G) und/oder der Fahrspuren (S) als Unterstützungsfunktion Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs (1) gesteuert werden. Die Erfindung betrifft weiterhin eine Vorrichtung (2) zur Durchführung des Verfahrens.
Description
- Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs mit den Merkmalen des Oberbegriffs des Anspruchs 1.
- Die Erfindung betrifft weiterhin ein Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs mit den Merkmalen des Oberbegriffs des Anspruchs 2.
- Die Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens.
- Aus der
EP 1 645 888 B1 ist ein Geländefahrzeug mit einer Vorrichtung zur Steuerungshilfe des Geländefahrzeugs bekannt, wobei die Vorrichtung eine Erfassungseinheit zur Erfassung einer Umgebung des Fahrzeugs umfasst. Die Erfassungseinheit ist am Fahrzeug oder an einer beweglichen, vom Fahrzeug unabhängigen Drohne befestigt. Ein Sichtfeld der Erfassungseinheit ist mittels einer Anzeigeeinheit im Innenraum des Geländefahrzeugs grafisch ausgebbar. Ferner wird in einem Verfahren eine maximale Geschwindigkeit bestimmt, mit welcher ein im Sichtfeld der Erfassungseinheit befindliches Gelände mit dem Fahrzeug überwindbar ist. - Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.
- Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 und im Anspruch 2 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 6 angegebenen Merkmale gelöst.
- Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
- In einem Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs wird mittels einer an einem unabhängig vom Fahrzeug beweglichen unbemannten Luftfahrzeug angeordneten ersten Bilderfassungseinheit eine Umgebung des Fahrzeugs erfasst. Erfindungsgemäß wird die Umgebung des Fahrzeugs zusätzlich mittels einer am Fahrzeug angeordneten zweiten Bilderfassungseinheit erfasst und Bilddaten der ersten Bilderfassungseinheit und Bilddaten der zweiten Bilderfassungseinheit werden fusioniert und aus den fusionierten Bilddaten werden Umgebungseigenschaften, ein dreidimensionales Geländeprofil und/oder mögliche Fahrspuren in dem dreidimensionalen Geländeprofil ermittelt, wobei in Abhängigkeit der Umgebungseigenschaften, des dreidimensionalen Geländeprofils und/oder der Fahrspuren Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs gesteuert werden.
- Aus der Fusionierung der Bilddaten der am Fahrzeug angeordneten zweiten Bilderfassungseinheit und der an dem unbemannten, auch Drohne genannten Luftfahrzeug angeordneten ersten Bilderfassungseinheit ergibt sich in besonders vorteilhafter Weise ein sehr großer Erfassungsbereich, so dass die Umgebung des Fahrzeugs in großem Umfang erfassbar ist.
- Aus der Erfassung der Umgebung aus verschiedenen Perspektiven und der Fusionierung der Bilddaten ist weiterhin eine sehr detaillierte Darstellung und Auswertung der Umgebung möglich, wobei dem Fahrer des Fahrzeugs eine Sicht auf vom Fahrzeug aus für diesen nicht sichtbare Bereiche in der Umgebung des Fahrzeugs möglich ist.
- Insbesondere bei einer Ausbildung des Fahrzeugs als Geländefahrzeug wird der Fahrer des Fahrzeugs durch die ausgegebenen Fahrhinweise und/oder die Steuerung des Antriebsstrangs, der Bremse und/oder des Fahrwerks bei schwierigen Fahraufgaben im insbesondere stark unebenen Gelände unterstützt. Dabei ist eine Gefahr eines Steckenbleibens und Umkippens des Fahrzeugs in dem unebenen Gelände verringert, so dass auch ungeübte Fahrer schwer zu durchfahrene Geländepassagen einfach durchfahren können.
- Ferner kann eine Einsetzbarkeit von Geländefahrzeugen, wie beispielsweise bei Rettungseinsätzen, gesteigert und verbessert werden, da aufgrund der verbesserten und sehr detaillierten Detektion der Umgebung des Fahrzeugs eine Spurempfehlung unter maximaler Ausnutzung möglicher Fahreigenschaften des Fahrzeugs berechnet werden kann. Hierzu werden die möglichen Fahrspuren vorzugsweise hinsichtlich einer Fahrzeugbelastung bei deren Durchfahrung und/oder hinsichtlich eines notwendigen fahrerischen Könnens bei deren Durchfahrung bewertet, wobei Ergebnisse der Bewertung anhand der Fahrhinweise ausgegeben werden.
- In einer alternativen oder zusätzlichen Ausführung des erfindungsgemäßen Verfahrens werden allein anhand von Bilddaten der ersten Bilderfassungseinheit die Umgebungsdaten, das dreidimensionale Geländeprofil der Umgebung und/oder mögliche Fahrspuren in dem dreidimensionalen Geländeprofil ermittelt, wobei in Abhängigkeit der Umgebungsdaten, des Geländeprofils und/oder der Fahrspuren als Unterstützungsfunktion Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs gesteuert werden.
- Aus der Ermittlung des dreidimensionalen Geländeprofils ergeben sich die gleichen Vorteile, wie aus der Fusionierung der Bilddaten der ersten und zweiten Bilderfassungseinheit, wobei die Steuerung der Antriebsstrangs, der Bremse und/oder des Fahrwerks in besonders einfacher und exakter Weise durchführbar ist. Des Weiteren ist in besonders vorteilhafter Weise keine zusätzliche Bilderfassungseinheit erforderlich.
- Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
- Dabei zeigen:
-
1 schematisch ein Fahrzeug vor einer Durchfahrung eines Geländeprofils, -
2 schematisch das Fahrzeug gemäß1 zu Beginn der Durchfahrung des Geländeprofils, -
3 schematisch das Fahrzeug gemäß1 am Ende der Durchfahrung des Geländeprofils und -
4 schematisch eine Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung des Fahrzeugs gemäß1 . - Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Fahrzeug1 mit einer in4 detailliert dargestellten Vorrichtung2 zur Unterstützung eines Fahrers bei einer Steuerung des Fahrzeugs1 . Das Fahrzeug1 bewegt sich auf einer Fahrbahn FB auf ein Geländeprofil G zu, welches sich durch starke Unebenheiten auszeichnet. - Bei Fahrten in derart stark unebenem Gelände muss der Fahrer anhand der Sichtbedingungen und basierend auf seiner Einschätzung eine mögliche Fahrspur so wählen, dass das Fahrzeug
1 nicht auf dem Gelände aufsitzt, ausreichend Traktion für einen Vortrieb und zum Bremsen zur Verfügung steht und das Fahrzeug1 nicht umkippt. - Um die Sichtbedingungen für den Fahrer zu verbessern, ist die Vorrichtung
2 vorgesehen. Die Vorrichtung2 umfasst eine an einem unbemannten Luftfahrzeug3 angeordnete erste Bilderfassungseinheit4 . Das unbemannte Luftfahrzeug3 , auch als Drohne bezeichnet, ist autonom, d. h. unabhängig von Fahrzeug1 bewegbar. Im dargestellten Ausführungsbeispiel ist das unbemannte Luftfahrzeug3 in einem inaktiven und einem aktiven Zustand dargestellt, wobei das Luftfahrzeug3 im inaktiven Zustand an einer Halterung1.1 am Fahrzeug1 angeordnet ist (gestrichelte Darstellung) und sich im aktiven Zustand autonom im Bereich vor dem Fahrzeug1 bewegt. - Die Bilderfassungseinheit
4 weist einen Erfassungsbereich E1 auf, innerhalb dessen ein Bereich der Umgebung des Fahrzeugs1 erfasst wird. Die erste Bilderfassungseinheit4 umfasst hierzu zumindest eine Monokamera, eine Stereokamera, einen Radarsensor und/oder einen Laserscanner, mittels welchen in4 näher dargestellte Bilddaten B1 des Umgebungsbereichs erfasst werden. - Fliegt das unbemannte Luftfahrzeug
3 autonom im Bereich vor dem Fahrzeug1 , wird die Umgebung des Fahrzeugs1 mittels der ersten Bilderfassungseinheit4 in einer Draufsicht erfasst. Die Bilddaten B1 werden an eine im Fahrzeug1 befindliche und in4 näher dargestellte Auswerteeinheit6 gesendet. Hierzu ist sowohl fahrzeugseitig als auch an dem unbemannten Luftfahrzeug3 jeweils eine Sende-/Empfangseinheit7 ,8 zur drahtlosen Übermittlung, insbesondere zu einer Funkübermittlung, vorgesehen. Die Sende-/Empfangseinheit7 ,8 wird weiterhin auch zur Übermittlung von Daten zur Steuerung des unbemannten Luftfahrzeugs3 verwendet. - Weiterhin umfasst die Vorrichtung
2 eine an dem Fahrzeug1 angeordnete zweite Bilderfassungseinheit5 , welche ebenfalls eine Monokamera, eine Stereokamera, einen Radarsensor und/oder einen Laserscanner umfasst und in einem Erfassungsbereich E2 einen Bereich der Umgebung vor dem Fahrzeug1 erfasst. Diese rein fahrzeugfeste Bilderfassungseinheit5 ist aufgrund von entstehenden Abschattungseffekten bei hohen Hindernissen nur eingeschränkt geeignet, Bilddaten82 zur Erzeugung nutzbarer Geländeinformation für eine Spurplanung sowie zur Steuerung eines Antriebsstrangs und/oder einer Bremse und/oder eines Fahrwerks des Fahrzeugs1 zu liefern, da aufgrund der Abschattungseffekte in stark unebenem Gelände große nicht erfassbare Bereiche X1, X2 und nur kleine erfassbare Bereiche X3, X4 vorliegen. - Aus diesem Grund werden die von der ersten Bilderfassungseinheit
4 erfassten Bilddaten B1 und die von der zweiten Bilderfassungseinheit5 erfassten Bilddaten B2 an die Auswerteeinheit6 übermittelt und gemeinsam von dieser verarbeitet. In einem hierfür ausgeführten Bildverarbeitungsverfahren werden die Bilddaten B1, B2 mittels der Auswerteeinheit6 fusioniert. Aufgrund der unterschiedlichen Perspektiven, aus welchen die Bilddaten B1, B2 erfasst wurden, ist in besonders vorteilhafter Weise die Ermittlung in4 näher dargestellter detaillierter Umgebungseigenschaften U, eines dreidimensionalen Geländeprofils G und in dem Geländeprofil G vorhandener möglicher Fahrspuren S möglich. - In einem nicht näher dargestellten Ausführungsbeispiel werden die Umgebungseigenschaften U, das dreidimensionale Geländeprofil G und die möglichen Fahrspuren S allein aus den mittels der ersten Bilderfassungseinheit
4 erfassten Bilddaten B1 ermittelt, wobei die Ermittlung insbesondere anhand einer stereoskopischen Verarbeitung von zeitlich nacheinander aus unterschiedlichen Perspektiven ermittelten Bilddaten B1 erfolgt. Die unterschiedlichen Perspektiven resultieren aus einer Bewegung des unbemannten Luftfahrzeugs3 . Bei einer Ausbildung der ersten Bilderfassungseinheit4 als Stereokamera, Stereoradarsensor oder Stereolaserscanner ist alternativ oder zusätzlich eine stereoskopische Verarbeitung von gleichzeitig erfassten Bilddaten B1 möglich. - Die Umgebungseigenschaften U, das dreidimensionale Geländeprofil G und die möglichen Fahrspuren S werden von der Auswerteeinheit
6 an eine in4 näher dargestellte Ausgabeeinheit9 übertragen, mittels welcher die Umgebungseigenschaften U, das dreidimensionale Geländeprofil G und die möglichen Fahrspuren S dem Fahrer vorzugsweise optisch als Kartendarstellung und akustisch als Unterstützungsfunktion ausgegeben werden. - Damit der Fahrer das vor ihm befindliche Gelände sicher durchfahren kann, werden ihm mittels der Ausgabeeinheit
9 im Rahmen der Unterstützungsfunktion weiterhin Fahrhinweise ausgegeben, welche beispielsweise eine einzustellende Geschwindigkeit, eine Fahrtrichtung, einen einzustellenden Lenkwinkel und einzustellende Antriebsparameter umfassen. Die einzustellenden Antriebsparameter umfassen insbesondere die Steuerung eines Zweirad- oder Allradantriebs sowie verschiedener Differentialsperren. - Wünscht der Fahrer des Fahrzeugs
1 bei der Fahrt die Unterstützungsfunktion, so kann er diese vom Fahrzeuginnenraum aktivieren. Bei einer Aktivierung der Unterstützungsfunktion wird das unbemannte Luftfahrzeug3 automatisch aus der am Fahrzeug1 befestigten Halterung1.1 gelöst und fliegt autonom vor dem Fahrzeug1 . Zusätzlich kann der Fahrer bei Bedarf eine manuelle Steuerung des unbemannten Luftfahrzeugs3 vornehmen, so Bilddaten B1 frei wählbarer Bereiche in der Umgebung des Fahrzeugs1 ermittelbar sind. Bei einer Deaktivierung der Unterstützungsfunktion kehrt das unbemannte Luftfahrzeug3 automatisch zu der Halterung1.1 zurück und wird automatisch an dieser befestigt. - Weiterhin werden die möglichen Fahrspuren S hinsichtlich einer Fahrzeugbelastung bei deren Durchfahrung und/oder hinsichtlich eines notwendigen fahrerischen Könnens bei deren Durchfahrung bewertet, wobei Ergebnisse der Bewertung anhand der Fahrhinweise ausgegeben werden. Somit kann der Fahrer einschätzen, mit welchem fahrerseitigen und fahrzeugseitigen Aufwand die Fahrspuren S durchfahrbar sind. Hierbei ist auch eine interaktive Bewertung der alternativen Fahrspuren S, d. h. Sparverläufe möglich. Ferner wird in Abhängigkeit der Ergebnisse der Bewertung der möglichen Fahrspuren S anhand der Fahrhinweise eine Spurempfehlung ausgegeben, welche die Fahrspur S angibt, durch welche das Gelände mit dem geringsten fahrerseitigen und fahrzeugseitigen Aufwand durchfahrbar ist.
- Des Weiteren werden in einem Algorithmus mittels der Auswerteeinheit
6 im Voraus Daten D ermittelt, welche beim Abfahren der Fahrspur S erforderliche zusätzliche Ein- und/oder Ausfederhübe von Rädern des Fahrzeugs1 für ein aktives Fahrwerk sowie unterstützende Antriebs- und Bremsmomente an den Rädern umfassen. Diese Daten D werden an eine Steuereinheit10 zur Steuerung eines Antriebsstrangs, einer Bremse und des Fahrwerks des Fahrzeugs1 gesendet, welche in Abhängigkeit der Daten D und somit in Abhängigkeit der Umgebungseigenschaften U, des dreidimensionalen Geländeprofils G und der möglichen Fahrspuren S den Antriebsstrang, die Bremse und das Fahrwerk des Fahrzeugs1 steuert. -
2 zeigt das Fahrzeug1 zu Beginn der Durchfahrung des Geländeprofils G, wobei die Ein- und/oder Ausfederhübe der Räder des Fahrzeugs1 an einer Vorderachse und einer Hinterachse mittels des aktiven Fahrwerks derart eingestellt sind, dass ein Aufsitzen des Fahrzeugs1 auf das Gelände vermieden wird und eine maximal möglich Haftung der Reifen auf dem Geländeprofil G sichergestellt ist. - In
3 ist das Fahrzeug1 am Ende der Durchfahrung des Geländeprofils G dargestellt, wobei die Ein- und/oder Ausfederhübe der Räder des Fahrzeugs1 an einer Vorderachse und einer Hinterachse mittels des aktiven Fahrwerks ebenfalls derart eingestellt sind, dass ein Aufsitzen des Fahrzeugs1 auf das Gelände vermieden wird und eine maximal mögliche Haftung der Reifen auf dem Geländeprofil G sichergestellt ist. -
4 zeigt die Vorrichtung2 zur Unterstützung des Fahrers bei der Steuerung des Fahrzeugs1 mit der an dem unbemannten Luftfahrzeug3 angeordneten ersten Bilderfassungseinheit4 , der am Fahrzeug1 angeordneten zweiten Bilderfassungseinheit5 , der mit diesen gekoppelten Auswerteeinheit6 sowie der Ausgabeeinheit9 und der Steuereinheit10 . - Bezugszeichenliste
-
- 1
- Fahrzeug
- 1.1
- Halterung
- 2
- Vorrichtung
- 3
- unbemanntes Luftfahrzeug
- 4
- erste Bilderfassungseinheit
- 5
- zweite Bilderfassungseinheit
- 6
- Auswerteeinheit
- 7
- Sende-/Empfangseinheit
- 8
- Sende-/Empfangseinheit
- 9
- Ausgabeeinheit
- 10
- Steuereinheit
- B1
- Bilddaten
- B2
- Bilddaten
- D
- Daten
- E1
- Erfassungsbereich
- E2
- Erfassungsbereich
- FB
- Fahrbahn
- G
- Geländeprofil
- S
- Fahrspur
- U
- Umgebungseigenschaften
- X1
- nicht erfassbarer Bereich
- X2
- nicht erfassbarer Bereich
- X3
- erfassbarer Bereich
- X4
- erfassbarer Bereich
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- EP 1645888 B1 [0004]
Claims (6)
- Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs (
1 ), wobei mittels einer an einem unabhängig vom Fahrzeug (1 ) beweglichen unbemannten Luftfahrzeug (3 ) angeordneten ersten Bilderfassungseinheit (4 ) eine Umgebung des Fahrzeugs (1 ) erfasst wird, dadurch gekennzeichnet, dass die Umgebung des Fahrzeugs (1 ) zusätzlich mittels einer am Fahrzeug (1 ) angeordneten zweiten Bilderfassungseinheit (5 ) erfasst wird und Bilddaten (B1) der ersten Bilderfassungseinheit (4 ) und Bilddaten (B2) der zweiten Bilderfassungseinheit (5 ) fusioniert werden und aus den fusionierten Bilddaten (B1, B2) Umgebungseigenschaften (U), ein dreidimensionales Geländeprofil (G) und/oder mögliche Fahrspuren (S) in dem dreidimensionalen Geländeprofil (G) ermittelt werden, wobei in Abhängigkeit der Umgebungseigenschaften (U), des dreidimensionalen Geländeprofils (G) und/oder der Fahrspuren (S) als Unterstützungsfunktion Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs (1 ) gesteuert werden. - Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs (
1 ), wobei mittels einer an einem unabhängig vom Fahrzeug (1 ) beweglichen unbemannten Luftfahrzeug (3 ) angeordneten ersten Bilderfassungseinheit (4 ) eine Umgebung des Fahrzeugs (1 ) erfasst wird, dadurch gekennzeichnet, dass anhand von Bilddaten (B1) der ersten Bilderfassungseinheit (4 ) Umgebungseigenschaften (U), ein dreidimensionales Geländeprofil (G) und/oder mögliche Fahrspuren (S) in dem dreidimensionalen Geländeprofil (G) ermittelt werden, wobei in Abhängigkeit der Umgebungseigenschaften (U), des dreidimensionalen Geländeprofils (G) und/oder der Fahrspuren (S) als Unterstützungsfunktion Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs (1 ) gesteuert werden. - Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei einer Aktivierung der Unterstützungsfunktion das unbemannte Luftfahrzeug (
3 ) automatisch aus einer am Fahrzeug (1 ) befestigten Halterung (1.1 ) gelöst wird und bei einer Deaktivierung der Unterstützungsfunktion automatisch zur der Halterung (1.1 ) zurückkehrt und an dieser angeordnet wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die möglichen Fahrspuren (S) hinsichtlich einer Fahrzeugbelastung bei deren Durchfahrung und/oder hinsichtlich eines notwendigen fahrerischen Könnens bei deren Durchfahrung bewertet werden, wobei Ergebnisse der Bewertung anhand der Fahrhinweise ausgegeben werden.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass in Abhängigkeit der Ergebnisse der Bewertung der möglichen Fahrspuren (S) anhand der Fahrhinweise eine Spurempfehlung ausgegeben wird.
- Vorrichtung (
2 ) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, umfassend eine an einem unbemannten Luftfahrzeug (3 ) angeordnete erste Bilderfassungseinheit (4 ) und/oder eine an einem Fahrzeug (1 ) angeordnete zweite Bilderfassungseinheit (5 ) und eine Auswerteeinheit (6 ), mittels welcher aus fusionierten Bilddaten (51 ,52 ) der Bilderfassungseinheiten (4 ,5 ) und/oder anhand der Bilddaten (B1) der ersten Bilderfassungseinheit (4 ) Umgebungseigenschaften (U), ein dreidimensionales Geländeprofil (G) und/oder mögliche Fahrspuren (S) in dem dreidimensionalen Geländeprofil (G) ermittelbar sind, wobei die Auswerteeinheit (6 ) mit einer Ausgabeeinheit (9 ) zur Ausgabe von Fahrhinweisen und/oder mit einer Steuereinheit (10 ) zur Steuerung eines Antriebsstrangs und/oder einer Bremse und/oder eines Fahrwerks des Fahrzeugs (1 ) in Abhängigkeit von den Umgebungseigenschaften (U) und/oder des dreidimensionalen Geländeprofils (G) und/oder der möglichen Fahrspuren (S) gekoppelt ist.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011106170A DE102011106170A1 (de) | 2011-07-01 | 2011-07-01 | Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011106170A DE102011106170A1 (de) | 2011-07-01 | 2011-07-01 | Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102011106170A1 true DE102011106170A1 (de) | 2012-02-02 |
Family
ID=45471270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102011106170A Withdrawn DE102011106170A1 (de) | 2011-07-01 | 2011-07-01 | Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102011106170A1 (de) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012021420A1 (de) * | 2012-10-30 | 2014-04-30 | Audi Ag | Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Offroad-Umgebung |
| DE102015001861A1 (de) | 2014-09-25 | 2016-03-31 | Daimler Ag | Verfahren zur Umgebungsüberwachung |
| DE102014226458A1 (de) | 2014-12-18 | 2016-06-23 | Volkswagen Aktiengesellschaft | Verfahren und System zur Steuerung eines autonom bewegbaren, datentechnisch mit einem Fahrzeug gekoppelten Flugkörpers |
| US9409644B2 (en) | 2014-07-16 | 2016-08-09 | Ford Global Technologies, Llc | Automotive drone deployment system |
| DE102016001192A1 (de) | 2016-02-03 | 2016-08-11 | Daimler Ag | Verfahren zum Betrieb eines unbemannten Luftfahrzeugs |
| DE102015204401A1 (de) * | 2015-03-11 | 2016-09-15 | Bayerische Motoren Werke Aktiengesellschaft | Blickbasierte Steuerung einer Flugdrohne |
| DE102015012369A1 (de) * | 2015-09-19 | 2016-10-13 | Audi Ag | System zum Beeinflussen eines adaptiven Fahrwerks eines landgebundenen Fahrzeugs |
| DE102015007156A1 (de) * | 2015-06-03 | 2016-12-08 | Audi Ag | Verfahren, bei welchem ein unbemanntes Luftfahrzeug mit einem Kraftfahrzeug interagiert, und Kraftfahrzeug |
| DE102015117227A1 (de) | 2015-10-09 | 2017-04-13 | Valeo Schalter Und Sensoren Gmbh | Vorrichtung für ein Kraftfahrzeug zum Halten eines unbemannten Luftfahrzeugs sowie Kraftfahrzeug |
| DE102015117228A1 (de) | 2015-10-09 | 2017-04-13 | Valeo Schalter Und Sensoren Gmbh | Fahrerassistenzsystem für ein Kraftfahrzeug mit einem unbemannten Luftfahrzeug, Kraftfahrzeug sowie Verfahren |
| EP3057857A4 (de) * | 2013-10-15 | 2017-07-26 | Elwha, Llc | Kraftfahrzeug mit unverlierbarem flugzeug |
| DE102016001827A1 (de) | 2016-02-17 | 2017-08-17 | Audi Ag | Verfahren zum Betreiben eines Fahrzeugs und System mit einem Fahrzeug und wenigstens einem unbemannten Luftfahrzeug |
| GB2548369A (en) * | 2016-03-15 | 2017-09-20 | Jaguar Land Rover Ltd | System for providing land vehicle support operations using an unmanned autonomous vehicle |
| US9786105B2 (en) | 2015-12-08 | 2017-10-10 | Caterpillar Inc. | Gathering data from machine operating at worksite |
| EP3346347A1 (de) * | 2017-01-10 | 2018-07-11 | CNH Industrial Belgium NV | Luftfahrzeugsysteme und -verfahren |
| EP3348477A1 (de) * | 2017-01-13 | 2018-07-18 | MAN Truck & Bus AG | Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät |
| GB2529442B (en) * | 2014-08-20 | 2018-07-18 | Jaguar Land Rover Ltd | Illumination system |
| US10843623B2 (en) | 2015-11-12 | 2020-11-24 | Ford Global Technologies, Llc | Signal drone for an automobile |
| US11006263B2 (en) | 2016-07-07 | 2021-05-11 | Ford Global Technologies, Llc | Vehicle-integrated drone |
| EP3273201B1 (de) | 2016-07-21 | 2021-06-30 | Arquus | Methode zur berechnung einer fahrstrecke für geländefahrzeug |
| WO2021162641A1 (en) * | 2020-02-11 | 2021-08-19 | St Engineering Advanced Material Engineering Pte. Ltd. | Tactical advanced robotic engagement system |
| US11797019B2 (en) | 2020-07-20 | 2023-10-24 | Ford Global Technologies, Llc | Rugged terrain vehicle design and route optimization |
| US11807062B2 (en) | 2019-11-25 | 2023-11-07 | Ford Global Technologies, Llc | Collaborative relationship between a vehicle and a UAV |
| DE102023004121B4 (de) | 2023-10-12 | 2024-06-20 | Mercedes-Benz Group AG | Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug |
| US12117536B2 (en) | 2022-08-11 | 2024-10-15 | Ford Global Technologies, Llc | Systems and methods for transforming autonomous aerial vehicle sensor data between platforms |
| US12247476B2 (en) | 2022-07-08 | 2025-03-11 | Guy Wheater | Wellbore depth instrument |
| DE102024101117A1 (de) * | 2024-01-16 | 2025-07-17 | Avl Software And Functions Gmbh | Raddrehmoment-Ermittlungsvorrichtung und Verfahren zur Ermittlung eines individuellen Raddrehmoments |
| US12441187B2 (en) * | 2022-11-18 | 2025-10-14 | Rivian Ip Holdings, Llc | Vehicle spotter drone |
| DE102024116239A1 (de) * | 2024-06-11 | 2025-12-11 | Audi Aktiengesellschaft | Offroadsystem |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1645888B1 (de) | 2004-10-05 | 2008-12-31 | NEXTER Systems | Vorrichtung zur Steuerungshilfe eines Geländefahrzeugs |
-
2011
- 2011-07-01 DE DE102011106170A patent/DE102011106170A1/de not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1645888B1 (de) | 2004-10-05 | 2008-12-31 | NEXTER Systems | Vorrichtung zur Steuerungshilfe eines Geländefahrzeugs |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012021420B4 (de) * | 2012-10-30 | 2020-09-24 | Audi Ag | Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Offroad-Umgebung |
| DE102012021420A1 (de) * | 2012-10-30 | 2014-04-30 | Audi Ag | Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Offroad-Umgebung |
| US10112710B2 (en) | 2013-10-15 | 2018-10-30 | Elwha Llc | Motor vehicle with captive aircraft |
| US9969490B2 (en) | 2013-10-15 | 2018-05-15 | Elwha Llc | Motor vehicle with captive aircraft |
| EP3057857A4 (de) * | 2013-10-15 | 2017-07-26 | Elwha, Llc | Kraftfahrzeug mit unverlierbarem flugzeug |
| US10642279B2 (en) * | 2014-07-16 | 2020-05-05 | Ford Global Technologies, Llc | Automotive drone deployment system |
| US9555885B2 (en) | 2014-07-16 | 2017-01-31 | Ford Global Technologies, Llc | Automotive drone deployment system |
| US9409644B2 (en) | 2014-07-16 | 2016-08-09 | Ford Global Technologies, Llc | Automotive drone deployment system |
| US9977431B2 (en) | 2014-07-16 | 2018-05-22 | Ford Global Technologies, Llc | Automotive drone deployment system |
| GB2529442B (en) * | 2014-08-20 | 2018-07-18 | Jaguar Land Rover Ltd | Illumination system |
| DE102015001861A1 (de) | 2014-09-25 | 2016-03-31 | Daimler Ag | Verfahren zur Umgebungsüberwachung |
| DE102014226458A1 (de) | 2014-12-18 | 2016-06-23 | Volkswagen Aktiengesellschaft | Verfahren und System zur Steuerung eines autonom bewegbaren, datentechnisch mit einem Fahrzeug gekoppelten Flugkörpers |
| DE102015204401A1 (de) * | 2015-03-11 | 2016-09-15 | Bayerische Motoren Werke Aktiengesellschaft | Blickbasierte Steuerung einer Flugdrohne |
| DE102015007156A1 (de) * | 2015-06-03 | 2016-12-08 | Audi Ag | Verfahren, bei welchem ein unbemanntes Luftfahrzeug mit einem Kraftfahrzeug interagiert, und Kraftfahrzeug |
| DE102015007156B4 (de) * | 2015-06-03 | 2020-11-19 | Audi Ag | Verfahren, bei welchem ein unbemanntes Luftfahrzeug mit einem Kraftfahrzeug interagiert, und Kraftfahrzeug |
| DE102015012369A1 (de) * | 2015-09-19 | 2016-10-13 | Audi Ag | System zum Beeinflussen eines adaptiven Fahrwerks eines landgebundenen Fahrzeugs |
| DE102015117228A1 (de) | 2015-10-09 | 2017-04-13 | Valeo Schalter Und Sensoren Gmbh | Fahrerassistenzsystem für ein Kraftfahrzeug mit einem unbemannten Luftfahrzeug, Kraftfahrzeug sowie Verfahren |
| DE102015117227A1 (de) | 2015-10-09 | 2017-04-13 | Valeo Schalter Und Sensoren Gmbh | Vorrichtung für ein Kraftfahrzeug zum Halten eines unbemannten Luftfahrzeugs sowie Kraftfahrzeug |
| US10843623B2 (en) | 2015-11-12 | 2020-11-24 | Ford Global Technologies, Llc | Signal drone for an automobile |
| US9786105B2 (en) | 2015-12-08 | 2017-10-10 | Caterpillar Inc. | Gathering data from machine operating at worksite |
| DE102016001192A1 (de) | 2016-02-03 | 2016-08-11 | Daimler Ag | Verfahren zum Betrieb eines unbemannten Luftfahrzeugs |
| DE102016001827A1 (de) | 2016-02-17 | 2017-08-17 | Audi Ag | Verfahren zum Betreiben eines Fahrzeugs und System mit einem Fahrzeug und wenigstens einem unbemannten Luftfahrzeug |
| GB2548369B (en) * | 2016-03-15 | 2021-02-17 | Jaguar Land Rover Ltd | System for providing land vehicle support operations using an unmanned autonomous vehicle |
| WO2017157863A1 (en) * | 2016-03-15 | 2017-09-21 | Jaguar Land Rover Limited | System for providing land vehicle support operations using an unmanned autonomous vehicle |
| GB2548369A (en) * | 2016-03-15 | 2017-09-20 | Jaguar Land Rover Ltd | System for providing land vehicle support operations using an unmanned autonomous vehicle |
| US11006263B2 (en) | 2016-07-07 | 2021-05-11 | Ford Global Technologies, Llc | Vehicle-integrated drone |
| EP3273201B1 (de) | 2016-07-21 | 2021-06-30 | Arquus | Methode zur berechnung einer fahrstrecke für geländefahrzeug |
| EP3273201B2 (de) † | 2016-07-21 | 2024-09-04 | Arquus | Methode zur berechnung einer fahrstrecke für geländefahrzeug |
| EP3346347A1 (de) * | 2017-01-10 | 2018-07-11 | CNH Industrial Belgium NV | Luftfahrzeugsysteme und -verfahren |
| US10775796B2 (en) | 2017-01-10 | 2020-09-15 | Cnh Industrial America Llc | Aerial vehicle systems and methods |
| DE102017000280A1 (de) | 2017-01-13 | 2018-07-19 | Man Truck & Bus Ag | Kraftfahrzeug mit einer Start- und Landevorrichtung für ein unbemanntes Fluggerät |
| EP3348477A1 (de) * | 2017-01-13 | 2018-07-18 | MAN Truck & Bus AG | Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät |
| US11807062B2 (en) | 2019-11-25 | 2023-11-07 | Ford Global Technologies, Llc | Collaborative relationship between a vehicle and a UAV |
| US12265388B2 (en) | 2020-02-11 | 2025-04-01 | St Engineering Advanced Material Engineering | Tactical advanced robotic engagement system |
| WO2021162641A1 (en) * | 2020-02-11 | 2021-08-19 | St Engineering Advanced Material Engineering Pte. Ltd. | Tactical advanced robotic engagement system |
| US11797019B2 (en) | 2020-07-20 | 2023-10-24 | Ford Global Technologies, Llc | Rugged terrain vehicle design and route optimization |
| US12247476B2 (en) | 2022-07-08 | 2025-03-11 | Guy Wheater | Wellbore depth instrument |
| US12117536B2 (en) | 2022-08-11 | 2024-10-15 | Ford Global Technologies, Llc | Systems and methods for transforming autonomous aerial vehicle sensor data between platforms |
| US12441187B2 (en) * | 2022-11-18 | 2025-10-14 | Rivian Ip Holdings, Llc | Vehicle spotter drone |
| DE102023004121B4 (de) | 2023-10-12 | 2024-06-20 | Mercedes-Benz Group AG | Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug |
| DE102024101117A1 (de) * | 2024-01-16 | 2025-07-17 | Avl Software And Functions Gmbh | Raddrehmoment-Ermittlungsvorrichtung und Verfahren zur Ermittlung eines individuellen Raddrehmoments |
| DE102024116239A1 (de) * | 2024-06-11 | 2025-12-11 | Audi Aktiengesellschaft | Offroadsystem |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011106170A1 (de) | Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs | |
| EP3560796B1 (de) | Verfahren zum betreiben eines anhängerrangierassistenzsystems eines kraftfahrzeugs und anhängerrangierassistenzsystem für ein kraftfahrzeug | |
| DE102012021420B4 (de) | Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Offroad-Umgebung | |
| DE102017106684A1 (de) | Autonome fahrzeugseitensteuerung zur bahnverfolgung und stabilität | |
| DE102011102024A1 (de) | Verfahren und Vorrichtung zur Steuerung eines Fahrzeuges | |
| EP1625455A1 (de) | Steuerungssystem für ein fahrzeug | |
| DE102013019145B4 (de) | Verfahren zum Betrieb eines Kraftfahrzeugs mit Umfeldsensoren und Kraftfahrzeug | |
| EP3176047B1 (de) | Betriebssystem für den fahrbetrieb eines fahrzeugs, insbesondere eines nutzfahrzeugs | |
| DE102012004440A1 (de) | Verfahren und Vorrichtung zur Steuerung des Rangiervorgangs eines Fahrzeuggespanns | |
| EP2755883A1 (de) | Fahrerassistenzsystem zur unterstützung eines fahrers in kollisionsrelevanten situationen | |
| DE102017111932A1 (de) | Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Kraftfahrzeug zum Überwachen eines Bodenbereichs unterhalb des Kraftfahrzeugs, Ultraschallsensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| DE102014013219A1 (de) | Assistenzsystem zum Rangieren eines Gespanns sowie Verfahren zum Betreiben eines solchen Assistenzsystems | |
| DE102015200748A1 (de) | Kraftfahrzeug mit wenigstens einem Fahrerassistenzsystem zur Unterstützung einer Nachtfahrt | |
| DE102016122301A1 (de) | Überwachen eines Totwinkelbereichs eines Gespanns | |
| DE102018206044B4 (de) | Verfahren zum Betrieb eines Kraftfahrzeugs | |
| DE102008064645A1 (de) | Fahrerassistenzanlage für Kraftfahrzeuge und Verfahren zum haptischen Warnen eines Fahrers eines Kraftfahrzeuges | |
| DE102013206345A1 (de) | Anzeigevorrichtung und Verfahren zum Anzeigen von Daten und Fahrerassistenzsystem für ein Fahrzeug | |
| WO2019185305A1 (de) | Verfahren zur erzeugung einer fahrbahnrückmeldung für einen fahrzeugfahrer sowie ein steer-by-wire-lenksystem | |
| DE102014108489A1 (de) | Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns | |
| EP3284649A1 (de) | Unterstützung eines fahrers eines kraftfahrzeugs mit einem angehängten anhänger beim einparken durch virtuelle sensoren | |
| DE102016117743A1 (de) | Verfahren zum Bewerten eines Fahrverhaltens eines Fahrers eines Kraftfahrzeug während eines Parkmanövers, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| DE102014214141A1 (de) | Verfahren sowie Steuergerät zum Bestimmen eines Winkels zwischen Längsachsen eines Gespanns aus Fahrzeugsegmenten | |
| DE102015210816A1 (de) | Bestimmen einer Länge eines Anhängers | |
| DE102019217417A1 (de) | Verfahren und ein System zur Steuerung/Regelung der Lenkung eines Anhängers | |
| DE102021210849A1 (de) | Verfahren zur Adaption der Bodenfreiheit eines Fahrzeugs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R230 | Request for early publication | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |