[go: up one dir, main page]

DE69027633T2 - Automatische Fahrzeugführung entlang Führungslinien - Google Patents

Automatische Fahrzeugführung entlang Führungslinien

Info

Publication number
DE69027633T2
DE69027633T2 DE69027633T DE69027633T DE69027633T2 DE 69027633 T2 DE69027633 T2 DE 69027633T2 DE 69027633 T DE69027633 T DE 69027633T DE 69027633 T DE69027633 T DE 69027633T DE 69027633 T2 DE69027633 T2 DE 69027633T2
Authority
DE
Germany
Prior art keywords
guide line
parameter
line
image
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69027633T
Other languages
English (en)
Other versions
DE69027633D1 (de
Inventor
Hiroshi Kamada
Tohru Ozaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP1188040A external-priority patent/JPH0812685B2/ja
Priority claimed from JP1188037A external-priority patent/JP2664998B2/ja
Priority claimed from JP1188039A external-priority patent/JP2545610B2/ja
Priority claimed from JP1223180A external-priority patent/JP2677310B2/ja
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of DE69027633D1 publication Critical patent/DE69027633D1/de
Application granted granted Critical
Publication of DE69027633T2 publication Critical patent/DE69027633T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/90Fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

  • Die vorliegende Erfindung betrifft die automatische Lenkung von Fahrzeugen entlang von Führungslinien und spezieller eine signalverarbeitungsschaltungsanordnung, um Buddaten, die von einer Kamera geliefert werden, welche an einem steuerbaren Fahrzeug montiert ist, zum Erzeugen von Steuersignalen zu verwenden, die zum Betreiben einer automatischen Lenkeinrichtung des Fahrzeugs verwendet werden, um das Fahrzeug zu veranlassen, einer Führungslinie auf einer Fläche zu folgen, über welcher sich das Fahrzeug bewegt. Ein Beispiel einer derartigen Schaltungsanordnung umfaßt eine Führungslinie-Erkennungseinrichtung, um zu bestimmen, welche der Bildpunkte, die durch solche Bilddaten wiedergegeben werden, die Linie anzeigende Punkte sind, gekennzeichnet durch Bilddatenwerte, welche vorbestimmte Bedingungen befriedigen, die passend zu dem Durchfahren der Führungslinie durch Punkte auf der genannten Fläche sind, die jeweils den Bildpunkten entsprechen, und um Daten, die von den die Linie anzeigenden Punkten abgeleitet wurden, dazu zu verwenden, um den Verlauf der Mitte der Führungslinie über der genannten Fläche zu bestimmen.
  • In einer derartigen Schaltungsanordnung kann ein sog. Parameterraum-Verfahren verwendet werden, bei dem Daten, die detektierten Punkten (die Linie anzeigende Punkte) auf der Führungslinie entsprechen, erhalten werden, Parameter ( , θ), die den jeweiligen Positionen der Punkte entsprechen, von den detektierten Punktdaten abgeleitet werden, der maximale Dichteparameter bestimmt wird und danach Parameter ( , θ), welche den Verlauf der Führungslinie definieren, bestimmt werden.
  • Hierbei stellt den Abstand des Führungslinienbildes von einem Bezugspunkt in der Bildebene dar und θ stellt den Winkel des Führungslinienbildes von einer Bezugslinie in der Bildebene dar.
  • Die Führungslinie wird durch die folgende Gleichung (1) wiedergegeben, worin X und Y die Koordinaten eines detektierten Punktes auf der Führungslinie sind.
  • Xcos θ + Ysin θ = .... (1)
  • Bei der Bestimmung der Parameter der Führungslinie kann der - θ Raum durch ein Gittermuster in eine Vielzahl von Quadraten aufgeteilt werden, woraufhin eine Integration der Parameter für jedes der Quadrate durchgeführt wird, die Dichte der Parameter für jedes der Quadrate berechnet wird und entsprechend die Parameter der Führungslinie bestimmt werden.
  • Bei einem derartigen Verfahren ist es wünschenswert, eine Situation zu vermeiden, gemäß welcher eine Vielzahl von Berechnungen für die Bestimmung der Führungslinienparameter erforderlich sind, daß ein unannehmbarer Zeitaufwand für derartige Berechnungen benotigt wird. In bevorzugter Weise sollten Maßnahmen getroffen werden, um Störungseffekten von Schwankungen in der Fahrzeugbewegung entgegenzuwirken und auch Datenverarbeitungsprozessen, die durch Störungsdaten aufgrund solcher Schwankungen verursacht werden.
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung ist die signalverarbeitende Schaltungsanordnung wiederholt so betreibbar, um den Verlauf der genannten Führungslinie zu bestimmen und sie enthält ferner eine Schätzeinrichtung, um Schätzdaten zu erzeugen, welche den geschätzten Verlauf der Führungslinie wiedergeben, basierend auf einem früher bestimmten Verlauf der Führungslinie;
  • die genannte Führungslinie-Erkennungseinrichtung ist in Abhängigkeit von den Schätzdaten betreibbar, um die dadurch verwendeten Daten einzuschränken, wenn der Verlauf der Führungslinle bestimmt wird, so daß die von den die Linie anzeigenden Punkten abgeleiteten Daten zu dem geschätzten Verlauf passen.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung ist die Führungslinie-Erkennungseinrichtung so angeschlossen, um in jedem Abtastzyklus der Kamera die Bilddaten von verschiedenen Bildpunkten zu empfangen und diese Einrichtung enthält eine Bilddaten verarbeitende Einrichtung, um die empfangenen Bilddaten dazu zu verwenden, um für jeden Bildpunkt seinerseits einen digitalen Farbdatenwert und Bildpunkt-Koordinaten abzuleiten und um die resultierenden Farbdatenwerte aufeinanderfolgend durch eine Verzögerungs speichereinrichtung hindurchzuschicken, derart, daß die Farbdatenwerte von vorbestimmten Bildpunkten in der Nähe eines in Betracht gezogenen Bildpunktes durch die Verzögerungsspeichereinrichtung gleichzeitig verfügbar gemacht werden, und wobei die Einrichtung auch eine Bildmuster- Detektoreinrichtung enthält, die an die Verzögerungsspeichereinrichtung angeschlossen ist, um zu bestimmen, ob die Farbdatenwerte der genannten vorbestimmten Bildpunkte zu einem vorbestimmten Bildmuster passen oder nicht, welches zu dem Durchlaufen der Führungslinie durch den in Betracht stehenden Bildpunkt paßt.
  • Eine Schaltungsanordnung, die einen der Aspekte der Erfindung verwendet, kann dazu verwendet werden, um automatisch ein unbemanntes Fahrzeug entlang einer Führungslinie auf dem Boden fahren zu lassen, wobei die Führungslinie durch Verarbeitungsbilddaten detektiert wird und die Fahrzeugsteuerung beispielsweise durch ein Unschärfe-Inferenz- Verfahren (fuzzy inference method) gesteuert wird.
  • Im folgenden soll nun anhand eines Beispiels auf die beigefügten Zeichnungen Bezug genommen werden, in denen:
  • Fig. 1 ein unbemanntes Fahrzeug auf einer Straße mit einer Führungslinie veranschaulicht;
  • Fig. 2 die Entsprechung zwischen einem abgegriffenen Bild einer nach vorne erfolgenden Sicht und ein Bild veranschaulicht, welches durch Datenverarbeitung abgeleitet wurde;
  • Fig. 3 ein Blockschaltbild einer Schaltungsanordnung zum Steuern eines unbemannten Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
  • Fig. 4 die Definition von Parametern einer Führungslinie in einer Bildebene in der Schaltungsanordnung von Fig. 3 und die Wiedergabe solcher Parameter in dem - θ Raum veranschaulicht;
  • Fig. 5 eine Einstellung eines geschätzten Bereiches in dem - θ Raum durch einen Prozeß der Parameterschätzung zeigt, der in der Schaltungsanordnung von Fig. 3 ausgeführt wird;
  • Fig. 6 ein Flußdiagramm der Betriebsweise der Schaltungsanordnung von Fig. 3 zeigt;
  • Fig. 7 ein Blockschaltbild der Schaltungsanordnung zeigt, um ein unbemanntes Fahrzeug gemäß einer anderen Ausführungsform der vorliegenden Erfindung zu steuern;
  • Fig. 8 Beispiele der Entsprechung zwischen einem geschätzten Bereich in dem - θ Raum und einem Aufmerksamkeitsbereich in der Bildebene in der Schaltungsanordnung von Fig. 7 zeigt;
  • Fig. 9 ein Beispiel der Abschätzung des Aufmerksamkeitsbereiches durch die Schaltungsanordnung von Fig. 7 zeigt;
  • Fig. 10 ein Flußdiagramm der Betriebsweise der Schaltungsanordnung von Fig. 7 wiedergibt;
  • Fig. 11 ein Blockschaltbild der Schaltungsanordnung zeigt, um ein unbemanntes Fahrzeug gemäß einer noch anderen Ausführungsform der vorliegenden Erfindung zu steuern;
  • Fig. 12A und 12B verschiedene Wege für die Auswahl von Punkten in der Bildebene veranschaulichen für die Verwendung durch die Schaltungsanordnung von Fig. 11, um den Verlauf der Führungslinie zu bestimmen;
  • Fig. 13 und 14 Flußdiagramme zeigen, die den Fig. 12A bzw.12B entsprechen und die Betriebsweise der Schaltungsanordnung von Fig. 11 betreffen;
  • Fig. 15 ein Blockschaltbild der Schaltungsanordnung wiedergibt, um ein unbemanntes Fahrzeug gemäß einer weiteren Ausführungsform der vorliegenden Erfindung zu steuern;
  • Fig. 16 eine Konstruktion einer Bilddaten verarbeitenden Einheit in dem System von Fig. 15 wiedergibt;
  • Fig. 17 eine Konstruktion eines Lenkausmaß-Bestimmungsabschnitts in dem System von Fig. 15 zeigt;
  • Fig. 18 die Konstruktion eines Unschärfe-Inferenz-Verarbeitungsabschnitts in dem Lenkausmaß-Bestimmungsabschnitt von Fig. 17 zeigt;
  • Fig. 19 und 20 ein Beispiel von Lenkentscheidungen veranschaulichen, die unter Verwendung eines Unschärfe-Inferenz-Verfahrens getroffen wurden; und
  • Fig. 21 und 22 Beispiele von Tabellen veranschaulichen, die in den Unschärfe-Inferenz-Verfahren verwendet werden.
  • Fig. 1 zeigt ein unbemanntes Fahrzeug auf einer Straße mit einer Führungslinie. Ein System, welches die vorliegende Erfindung verwendet, kann bei dem Fahrzeug von Fig. 1 angewandt werden. Eine Fernsehkamera für die Aufnahme eines Bildes der nach vorne verlaufenden Sicht hinsichtlich des Fahrzeugs und ein Steuergerät des Systems (signalverarbeitende Schaltungsanordnung) sind an dem Fahrzeug befestigt.
  • Die Entsprechung zwischen einem aufgenommenen Bild einer nach vorwärts gerichteten Sicht und einem Bild, welches durch Verarbeiten von Daten abgeleitet wurde, ist in Fig. 2 veranschaulicht.
  • Im linken Teil von Fig. 2 ist ein aufgenommenes Bild einer vorwärts gerichteten Sicht, welches Abschnitte einer Führungslinie von Pfützen und Unkraut enthält und ähnliches veranschaulicht. Im rechten Teil von Fig. 2 ist ein Beet, welches durch Datenverarbeitung des Bildes des linken Teiles von Fig. 2 abgeleitet wurde, veranschaulicht. Das abgeleitete Bild enthält eine gerade vertikale Linie, welche die Fahrt des Fahrzeugs wiedergibt, einen Bezugspunkt auf der geraden vertikalen Linie und eine geneigte gerade Linie, welche die Führungslinie wiedergibt.
  • Der Abstand der Führungslinie von dem Bezugspunkt ist die Länge entlang der Linie senkrecht zu der Führungslinie von dem Bezugspunkt zu dem Schnittpunkt der Führungslinie und der senkrechten Linie. Der Winkel der Führungslinie ist ein Winkel zwischen der Fahrzeugfahrlinie und der Führungslinie.
  • Ein System zum Steuern eines unbemannten Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung ist in Fig. 3 gezeigt. Das System nach Fig. 3 enthält eine Fernsehkamera 1; eine Führungslinie-Erkennungseinrichtung, die einen Abschnitt 21 zum Erhalten eines extrahierten Punktes, einen extrahierten Punktkoordinaten-Speicherabschnitt 22, einen Parameter ableitenden Abschnitt 23, einen Parameter bestimmenden Abschnitt 31, einen Parameterdichte-Integrationsabschnitt 32, einen Parameterdichte-Speicherabschnitt 33, einen Maximumdichte-Parameter-Detektionsabschnitt 34 und einen Führungslinienparameter-Speicherabschnitt 35 umfaßt; eine Schätzeinrichtung umfaßt einen Berechnungsabschnitt 36 für einen geschätzten Parameterbereich und einen Speicherabschnitt 37 für einen geschätzten Parameterbereich.
  • Die Kamera 1 nimmt das Bild einer Führungslinie in einer vorwärts verlaufenden Sicht auf. Die Führungslinie kann aus einer Linie bestehen, die auf dem Boden gezeichnet ist, entlang der ein Fahrzeug fahren soll. Alternativ kann die Führungslinie eine Grenze zwischen einem Bereich von gemähtem Rasen und einem Bereich von nicht gemähtem Rasen im Falle eines Fahrzeugs sein, welches aus einem unbemannten Rasenmäher besteht. Der den extrahierten Punkt erhaltende Abschnitt 21 leitet Punkte einer vorbestimmten Beschaffenheit ab, wie beispielsweise in Form einer weißen Farbe als Farbe der Führungslinie, als extrahierte Punkte (die Linie anzeigende Punkte) von dem aufgenommenen Bild. Der Koordinaten-Speicherabschnitt 22 für den extrahierten Punkte speichert die Koordinaten der extrahierten Punkte. Der Parameter ableitende Abschnitt 23 leitet die Parameter ( , θ) der extrahierten Punkte von den Koordinaten ab, die aus dem Koordinanten-Speicherabschnitt 22 für den extrahierten Punkt ausgelesen werden.
  • Der Parameterbestimmungsabschnitt 31 prüft, ob der abgeleitete Parameter, welcher von dem Parameter ableitenden Abschnitt 23 abgeleitet wurde, innerhalb eines geschätzten Parameterbereiches liegt (unter Verwendung der Daten, die in dem geschätzten Parameterbereich-Speicherabschnitt 37 gespeichert sind) und sendet einen Befehl zu dem Parameterdichte-Integrationsabschnitt 32, um eine Integration der Parameterdichten durchzuführen, wenn der abgeleitete Parameter innerhalb des geschätzten Parameterbereiches liegt, sendet jedoch einen Befehl, um die Integration der Parameterdichten nicht durchzuführen, wenn der abgeleitete Parameter außerhalb des geschätzten Parameterbereiches liegt. Aufgrund dieses Prozesses kann der Aufwand an Berechnung reduziert werden.
  • Der Parameterdichte-Integrationsabschnitt 32 führt eine Integration der Parameterdichten hinsichtlich der relevanten Zone in dem - θ Raum durch, basierend auf den Parameter, die in dem Parameter ableitenden Abschnitt 23 abgeleitet wurden. Der Parameterdichte-Speicherabschnitt 23 speichert Parameterdichten von dem Parameterdichte-Integrationsabschnitt 32. Der Maximaldichte-Parameter-Detektionsabschnitt 34 bestimmt, welches Quadrat in dem - θ Raum die höchste Dichte von Parametern unter den Parametern hat, die in dem - θ Raum integriert (aufgetragen) wurden. Der Führungslinie-Parameter-Speicherabschnitt 35 speichert den maximalen Dichteparameter, der in dem Maximumdichte-Parameter-Detektionsabschnitt 34 bestimmt worden ist.
  • Der den geschätzten Parameterbereich berechnende Abschnitt 36 berechnet einen geschätzten Parameterbereich aus den vergangenen Parametern für die Führungslinie.
  • Die Beziehung zwischen der Definition der Parameter einer Führungslinie in der Bildebene und die Bestimmung der Parameter in dem - θ Raum ist in Fig. 4 veranschaulicht. Im linken Teil von Fig. 4 sind der Abstand der Führungslinie von dem Bezugspunkt und der Winkel θ der Führungslinie von dem Fahrzeug-Fahrverlauf in der Bildebene gezeigt. Die Führungslinie ist durch die Gleichung (1) wiedergegeben, die zuvor angegeben worden ist. Im rechten Teil von Fig. 4 ist der - θ Raum mit Hilfe eines Gittermusters in eine Vielzahl von Quadraten aufgeteilt und POINT ( , θ) ist in den - θ Raum in Entsprechung mit den Werten ( , θ) für die Führungslinie in dem linken Teil von Fig. 4 bezeichnet.
  • Eine Einstellung eines geschätzten Bereiches in den - θ Raum mit Hilfe eines Prozesses der Parameterabschätzung ist in Fig. 5 veranschaulicht. In Fig. 5 stellt P die Parameter ( 1, θ1) des vergangenen Punktes, Q die Parameter ( 2, θ2) des momentanen Punktes und R die Parameter ( 3, θ3) des geschätzten Punktes dar. Die Parameter des geschätzten Punktes R werden gemäß einem linearen Schätzungsprozeß abgeleitet. Beispiele des linearen Schätzungsprozesses sind wie folgt.
  • Im Falle der Ableitung des geschätzten Punktes R ( 3, θ3) aus den Parametern ( 2, θ2) für momentanen Punkt Q wird eine Schätzung: 3 = 2 und θ3 = θ2 durchgeführt und es wird ein rechteckiger Bereich in den - θ Raum mit einer Längenerstreckungslänge Δ und einer seitlichen Länge Δθ und der den geschätzten Punkt R ( 3, θ3) am Zentrum desselben enthält, als der geschätzte Bereich bestimmt.
  • Im Falle der Ableitung des geschätzten Punktes R ( 3, θ3) aus den Parametern ( 2, θ2) für den momentanen Punkt Q und der Parameter ( 1, θ1) für den vergangenen Punkt P wird eine Schätzung: 3 = 2 + ( 2 - 1) und θ3 = θ2 + (θ2 - θ1) durchgeführt und es wird ein rechteckiger Bereich mit einer Längserstreckungslänge Δ und einer Seitenlägne Δθ, der den geschätzten Punkt R( 3, θ3) am Zentrum enthält, als der geschätzte Bereich bestimmt.
  • Nach der Bestimmung des geschätzten Bereiches in einem der oben beschriebenen Fälle wird dann, wenn die Zahl von Parametern in dem geschätzten Bereich kleiner wird als ein vorbestimmter Schwellenwert N(TH1), der geschätzte Bereich dadurch erweitert, indem Δ und Δθ, dessen Zentrum auf dem geschätzten Punkt R( 3, θ3) liegt, erhöht wird, wenn jedoch die Zahl der Parameter in dem geschätzten Bereich größer wird als ein vorbestimmter Schwellenwert N(TH2), wird der geschätzte Bereich reduziert, indem Δ und Δθ, dessen Zentrum auf dem geschätzten Punkt R( 3, θ3) liegt, reduziert werden.
  • Es soll nun unter Hinweis auf Fig. 6, welches ein Flußdiagramm des Betriebes veranschaulicht, die Betriebsweise des Systems von Fig. 3 erläutert werden.
  • Die Bilddaten werden durch die Kamera 1 bei dem Schritt S11 empfangen. Es werden Daten hinsichtlich der Farbe, z.B. weißer Farbe, bei dem Schritt S12 erhalten. Ein extrahierter Punkt wird durch Verwenden eines logischen Filters erhalten, z.B. eines logischen Filters von 3 Punkten auf 3 Punkte, was bei dem Schritt S13 erfolgt. Bei dem Schritt S14 wird eine Entscheidung getroffen, ob das momentane Bild ein allererstes Bild ist oder nicht. Die Tatsache, daß der Inhalt des geschätzten Parameterbereich-Speicherabschnitts 37 gleich Null ist, wenn das momentane Bild das allererste Bild ist, wurde mit in Betracht gezogen.
  • Wenn die Entscheidung NEIN lautet, wird eine Schätzung des momentanen Parameters basierend auf dem vergangenen Parameter bei dem Schritt S15 durchgeführt und es wird eine Zone, für die eine Berechnung auszuführen ist, wie in Fig. 5 gezeigt ist, und zwar als der geschätzte Bereich, bei dem Schritt S16 bestimmt.
  • Wenn bei dem Schritt S14 die Entscheidung JA lautet, werden Parameter ( , θ) bei dem Schritt S17 abgeleitet.
  • Hinsichtlich des zweiten und nachfolgender Bilder wird die Ableitung der Parameter bei dem Schritt S17 basierend auf dem Ergebnis der Bestimmung des Schrittes S16 durchgeführt.
  • Bei dem Schritt S18 werden die Parameter integriert, um die Dichte der Parameter in den Quadraten des - θ Raumes zu berechnen. Der Maximumdichte-Parameter wird bestimmt, um die Koordinaten für den Maximumdichte-Parameter zu finden, was bei dem Schritt S19 erfolgt, so daß der Maximumdichte-Parameter abgegeben wird, wenn der Parameter der Führungslinie abgegeben ist, und zwar als Ergebnis der Bestimmung.
  • Es wird somit bei dem Betrieb des Systems von Fig. 3 der Parameter-Ableitprozeß lediglich in dem geschätzten Bereich ausgeführt, der aus den abgeleiteten Parametern der Führungslinie geschätzt wurde. Es wird demnach der Aufwand an Datenverarbeitung zum Ableiten der Parameter reduziert, es wird der Parameter der Führungslinie mit hoher Geschwin digkeit bestimmt, es wird das Einführen von Stördaten effizent verhindert und es wird somit der Parameter der Führungslinie mit hoher Präzision erhalten.
  • Ein System zur Steuerung eines unbemannten Fahrzeugs gemäß einer anderen Ausführungsform der vorliegenden Erfindung ist in Fig. 7 gezeigt. Das System von Fig. 7 enthält eine Kamera 1, einen Abschnitt 21 zum Erhalten eines extrahierten Punktes, einen Koordinaten-Speicherabschnitt 22 für einen extrahierten Punkt, einen Parameter ableitenden Abschnitt 23, einen Parameterdichte-Integrationsabschnitt 24, einen Parameterdichte-Speicherabschnitt 25, einen Maximumparameterdichte-Detektionsabschnitt 26, einen Führungslinieparameter-Speicherabschnitt 27 (Führungslinie- Erkennungseinrichtung 21-27), einen Berechnungsabschnitt 28 für einen geschätzten Parameterbereich, einen Aufmerksamkeitsbereich-Tabellenspeicher 41, einen Aufmerksamkeitsbereich-Bestimmungsabschnitt 43 und einen Aufmerksamkeitsbereich-Speicherabschnitt 44 (Schätzeinrichtung 28, 41-44). Bei einer alternativen Ausführungsform des Systems kann ein erweiterter Aufmerksamkeitsbereich-Tabellenspeicher 42 enthalten sein.
  • Die Betriebsweisen der Kamera 1 bis zu dem Berechnungsabschnitt 28 für den geschätzten Parameterbereich sind ähnlich denjenigen der entsprechenden Abschnitte im Falle von Fig. 3.
  • Die in dem Aufmerksamkeitsbereich-Tabellenspeicher 41 gespeicherte Tabelle besteht aus einer Tabelle, die eine Umsetzung aus einem geschätzten Bereich in den - θ Raum in einen Aufmerksamkeitsbereich in der Bildebene wieder gibt, wie dies beispielsweise in Fig. 8 veranschaulicht ist. Bei dem Aufmerksamkeitsbereich-Bestimmungsabschnitt 43 wird ein Aufmerksamkeitsbereich in der Bildebene in Entsprechung zu einem geschätzten Bereich in dem - θ Raum bestimmt, und zwar durch Verwendung der Aufmerksamkeitsbereich-Tabelle. Der Speicherabschnitt 44 für den Aufmerksamkeitsbereich speichert Aufmerksamkeitsbereich-Daten, die in dem Aufmerksamkeitsbereich-Bestimmungsabschnitt 43 bestimmt wurden.
  • Beispiele der Entsprechung zwischen dem geschätzten Bereich in dem - θ Raum und dem Aufmerksamkeitsbereich in der Bildebene sind in Fig. 8 gezeigt. In jedem der Fälle in Fig. 8 stellt der linke Teil den - θ Raum und der rechte Teil die Bildebene dar. Der Aufmerksamkeitsbereich, der Strichlierungen in dem - θ Raum besitzt, entspricht dem Aufmerksamkeitsbereich mit Strichlierungen in der Bildebene.
  • Es soll nun unter Hinweis auf Fig. 10, welche ein Flußdiagramm des Betriebes wiedergibt, die Betriebsweise des Systems von Fig. 7 erläutert werden. Es werden Bilddaten empfangen (S201) es werden Farbdaten empfangen (S202), es wird ein extrahierter Punkt durch ein Logikfilter (S203) abgeleitet, es werden Parameter ( , θ) abgeleitet (S204), es werden Parameter integriert und es werden Parameterdichten berechnet (S205), es wird der Maximumdichte-Parameter detektiert (S206) und es werden erzeugte Daten abgegeben (S207).
  • Es wird eine Entscheidung getroffen, ob die Zahl der extrahierten Punkte kleiner ist oder gleich ist einer vor herbestimmten Schwellenwertzahl oder nicht (S208). Wenn die Entscheidung JA lautet, gelangt der Prozeß zu den Schritten S202 bis S207. Wenn die Entscheidung NEIN lautet, werden die geschätzten Parameter berechnet (S209), es wird ein Aufmerksamkeitsbereich bestimmt unter Bezugnahme auf die Aufmerksamkeitsbereich-Tabelle (S210) und die Verarbeitung der nachfolgenden Schritte werden ausgeführt, und zwar lediglich innerhalb des Aufmerksamkeitsbereiches (S211).
  • Ein Beispiel der Schätzung des Aufmerksamkeitsbereiches durch das System von Fig. 7 ist in Fig. 9 gezeigt. Die obere Reihe von Fig. 9 veranschaulicht die Änderungen in der Bildebene aus dem vorhergehenden Status bis zu dem momentanen Status bis zum geschätzten Status, die untere Reihe von Fig. 9 veranschaulicht die Änderungen in dem - θ Raum von dem vorhergehenden Status bis zu dem momentanen Status bis zu dem geschätzten Status in Entsprechung zu der oberen Reihe.
  • Der Punkt (1), der Punkt (2) und der Punkt (3) in der unteren Reihe entsprechen der Linie (1), der Linie (2) und der Linie (3) jeweils in der oberen Reihe. Der quadratische Aufmerksamkeitsbereich, der Strichlierungen enthält und der den Punkt (1) enthält, der quadratische Aufmerksamkeitsbereich, der Strichlierungen enthält und der den Punkt (2) enthält, und der quadratische Aufmerksamkeitsbereich, der Strichlierungen enthält und der den Punkt (3) enthält, und zwar in der unteren Reihe, entspricht bzw. entsprechen einer Folge von Aufmerksamkeitsbereichen, die jeweils Strichlierungen in der oberen Reihe haben.
  • Basierend auf der Änderung von dem Aufmerksamkeitsbereich in dem - θ Raum für den vorhergehenden Status zu dem Aufmerksamkeitsbereich in dem - θ Raum für den laufenden bzw. momentanen Status, wird der Aufmerksamkeitsbereich in den - θ Raum für den geschätzten Status geschätzt.
  • Als Modifizierung des Systems von Fig. 7 ist es möglich, die Information der Zahl der extrahierten Punkte aus dem Speicherabschnitt für die extrahierten Punktkoordinaten dem Aufmerksamkeitsbereich-Bestimmungsabschnitt zuzuführen, wie dies durch eine unterbrochene Linie in Fig. 7 gezeigt ist. Bei dem abgewandelten System bewirkt der Aufmerksamkeitsbereich-Bestimmungsabschnitt 43, daß der Parameter aus der Gesamtheit der Bildebene abgeleitet wird, wenn die Zahl der extrahierten Punkte kleiner ist als eine vorherbestimm te Zahl, und der Parameter aus dem Aufmerksamkeitsbereich in der Bildebene abgeleitet wird, wenn die Zahl der extrahierten Punkte größer ist als die vorherbestimmte Zahl.
  • Als weitere Modifizierung der oben erläuterten Modifikation des Systems von Fig. 7 ist es möglich, einen Tabel lenspeicher 42 fur einen erweiterten Aufmerksamkeitsbereich vorzusehen, der mit dem Aufmerksamkeitsbereich-Bestimmungsabschnitt 43 verbunden ist, wie dies durch eine unterbrochene Linie in Fig. 7 gezeigt ist. Die Breite des Aufmerksamkeitsbereiches in der Aufmerksamkeitsbereich-Tabelle, die in dem Tabellenspeicher 42 für den erweiterten Aufmerksamkeitsbereich abgespeichert ist, ist größer als die Weite des Aufmerksamkeitsbereiches in der Aufmerksamkeitsbereich- Tabelle, die in dem Tabellenspeicher 41 für den Aufmerksamkeitsbereich abgespeichert ist. Bei diesem weiter modifizierten System bewirkt der Aufmerksamkeitsbereich-Bestimmungsabschnitt 43, daß der Parameter aus dem erweiterten Aufmerksamkeitsbereich abgeleitet wird, der basierend auf der erweiterten Aufmerksamkeitsbereich-Tabelle umgesetzt wurde, wenn die Zahl der extrahierten Punkte kleiner ist als eine vorherbestimmte Zahl, und daß der Parameter aus dem Aufmerksamkeitsbereich abgeleitet wird, der basierend auf der Aufmerksamkeitsbereich-Tabelle umgesetzt wurde, wenn die Zahl der extrahierten Punkte größer ist als die vorherbestimmte Zahl.
  • Somit wird im Betrieb des Systems von Fig. 7 der Parameter-Ableitprozeß lediglich in dem geschätzten Aufmerksamkeitsbereich von den abgeleiteten Parametern der Führungslinie durchgeführt. Demnach wird der Aufwand der Datenverarbeitung zum Ableiten der Parameter reduziert, es wird der Parameter der Führungslinie mit hoher Geschwindigkeit bestimmt, es wird das Einführen von Stördaten effektiv verhindert und es wird somit der Parameter der Führungslinie mit hoher Präzision erhalten.
  • Ein System zum Steuern eines unbemannten Fahrzeugs gemäß einer noch anderen Ausführungsform der vorliegenden Erfindung ist in Fig. 11 gezeigt. Das System von Fig. 11 enthält eine Kamera 1, einen Abschnitt 21 zum Erhalten eines extrahierten Punktes, einen Speicher 22 für empfangene Punktdaten, eine Parameter-Berechnungseinheit 5, einen Parameterspeicher 61, einen Maximumdichteparameter-Bestimmungsabschnitt 62 und einen Speicher 63 für den resultierenden Parameter (Führungslinie-Erkennungseinrichtung 5, 21, 22, 61-63). Die Parameterberechnungseinheit 5 enthält einen Punktdatensteuerabschnitt 51, einen ersten zeitweih gen Punktspeicherabschnitt 52, einen zweiten zeitweiligen Punktspeicherabschnitt 53, einen -Berechnungsabschnitt 54, einen θ-Berechnungsabschnitt 55 und einen zeitweiligen Parameterspeicherabschnitt 56.
  • In der Parameter-Berechnungseinheit 5 wird eine Kombination aus der parallelen Komponente eines Liniensegments (möglicher Führungslinienabschnitt), welches zwei der extrahierten Punkte (Linien anzeigende Punkte) verbindet, aus dem Speicher 22 für empfangene Punktdaten ausgelesen, und zwar hinsichtlich einer geschätzten geraden Linie, die länger ist als eine vorherbestimmte Schwellenwertlänge, und einer senkrechten Komponente des oben erwähnten Liniensegments in bezug auf die geschätzte gerade Linie, die kürzer ist als die vorbestimmte Schwellenwertlänge, ausgewählt, oder es wird eine Auswahl von zwei der extrahierten Punkte, die aus den extrahierten Punkten gelesen werden, welche aus dem Speicher 22 für empfangene Punktdaten ausgelesen worden sind und die je einen Abstand von der geschätzten geraden Linie, haben, der kürzer ist als eine vorherbestimmte Schwellenwertlänge, getroffen, und es werden die Parameter ( , θ) des Liniensegments, welches diese zwei Punkte verbindet, berechnet.
  • In dem Parameterspeicher 61 wird der Parameter, der in der Parameterberechnungseinheit 5 berechnet wurde, abgespeichert. In dem Maximaldichteparameter-Bestimmungsabschnitt 62 werden die Parameter für jedes der mittels Gitter aufgeteilten Quadrate integriert und basierend auf dem Ergebnis der Integration wird der Parameter für das Quadrat, welches den Maximaldichte-Parameter enthält, als der Parameter der Führungslinie bestimmt. In dem sich ergebenden Parameterspeicher 63 wird der bestimmte Parameter der Führungslinie abgespeichert.
  • In dem Punktdatensteuerabschnitt 51 werden die Koordinaten von zwei Punkten aus den zugeführten Punktdaten empfangen. Diese Zwei-Punkte-Koordinatendaten werden zu dem ersten zeitweiligen Punktspeicherabschnitt 52 und zu dem zweiten zeitweiligen Punktspeicherabschnitt 53 zugeführt. Die zwei Punkte werden so ausgewählt, daß entweder die parallele Komponente der zwei Punkte hinsichtlich der geschätzten geraden Linie länger ist als eine vorherbestimmte Schwellenwertlänge und die senkrechte Komponente der oben erwähnten zwei Punkte kürzer ist als eine vorherbestimmte Schwellenwertlänge oder der Abstand der zwei Punkte hinsichtlich der geschätzten geraden Linie kürzer ist als eine vorherbestimmte Schwellenwertlänge. Die Daten des ersten der zwei Punkte wird zeitweilig in dem Abschnitt 52 abgespeichert und die Daten des zweiten der zwei Punkte werden in dem Abschnitt 53 abgespeichert. Die Koordinaten des ersten Punktes sind X1 und Y1 und die Koordinaten des zweiten Punktes sind X2 und Y2.
  • Der θ-Berechnungsabschnitt 55 berechnet den Wert θ gemäß der folgenden Gleichung.
  • θ = arctan (X2 - X1/Y2 - Y1)
  • Und in dem -Berechnungsabschnitt 55 wird der Wert gemäß der folgenden Gleichung berechnet.
  • = X1 cosθ + Y1 sinθ
  • Die berechneten Werte und θ werden in dem zeitweiligen Parameterspeicherabschnitt 56 gespeichert.
  • Die parallele und die senkrechte Komponente eines Liniensegments, welches die zwei Punkte (P&sub1;, P&sub2;) verbindet, hinsichtlich der geschätzten geraden Linie, ist in Fig. 12A veranschaulicht und der Abstand eines ausgewählten Punktes (P&sub3;) hinsichtlich der geschätzten geraden Linie ist in Fig. 12B veranschaulicht.
  • Die Betriebsweise des Systems von Fig. 11 wird unter Hinweis auf die Fig. 13 und die Fig. 14 erläutert, die Flußdiagramme der Betriebsweise zeigen.
  • Bei dem Flußdiagramm von Fig. 13 werden Bilder empfangen (S301), es werden zwei Punkte erhalten und es werden parallele und senkrechte Komponenten hinsichtlich der geschätzten geraden Linie berechnet (S302) und entschieden, ob die parallele Komponente länger ist als oder gleich ist einer Schwellenwertlänge und ob die senkrechte Komponente kürzer ist als oder gleich ist einer Schwellenwertlänge oder nicht (S303). Wenn die Entscheidung NEIN lautet, gelangt der Prozeß zu S305 und wenn die Entscheidung JA lautet, gelangt der Prozeß zu S304. Der Parameter für die Verbindung der zwei Punkte wird berechnet (S304) und eine Entscheidung getroffen, ob alle Kombinationen vervollständigt wurden oder nicht (S305). Wenn die Entscheidung NEIN lautet, gelangt der Prozeß zu S308, in welchem die nächste Kombination ausgewählt wird und nachfolgend zu S302 und, wenn die Entscheidung JA lautet, gelangt der Prozeß zu S306. Es wird die Zone mit dem maximalen Parameter bestimmt (S306) und das Ergebnis der Bestimmung wird abgeleitet (S307).
  • In dem Flußdiagramm von Fig. 14 werden Bilder empfangen (S401), es wird ein Punkt erhalten und es wird der Abstand des einen Punktes von der geschätzten geraden Linie berechnet (S402). Es wird eine Entscheidung getroffen, ob der Abstand kürzer ist als oder gleich ist einer Schwellenwertlänge oder nicht (S403). Wenn die Entscheidung NEIN lautet, gelangt der Prozeß zu S405 und wenn die Entscheidung JA lautet, gelangt der Prozeß zu S404, wo die infrage stehenden Daten als Objekt der Parameterberechnung dienen bzw. dafür angepaßt werden.
  • Es wird eine Entscheidung getroffen, ob die Parameterberechnung vervollständigt ist, was bei S405 erfolgt. Wenn die Entscheidung NEIN lautet, gelangt der Prozeß zu S406, wenn der nächste Punkt ausgewählt wird und anschließend zu S402 und wenn die Entscheidung JA lautet, gelangt der Prozeß zu S407.
  • Es werden die Daten von zwei Punkten erhalten (S407) der Parameter der geraden Linie, welche die zwei Punkte verbindet, wird berechnet (S408) und es wird eine Entscheidung getroffen, ob alle Kombinationen vervollständigt wurden oder nicht (S409).
  • Wenn die Entscheidung NEIN lautet, gelangt der Prozeß zu S410, wenn die nächste Kombination ausgewählt wird, und gelangt anschließend zu S407, und wenn die Entscheidung JA lautet, gelangt der Prozeß zu S411.
  • Es wird die Zone mit der maximalen Parameterdichte bestimmt (S411) und das Ergebnis der Bestimmung wird abgegeben (S412).
  • Somit wird beim Betrieb des Systems von Fig. 11 der Parameter-Ableitprozeß mit der Gerade-Linie-Parameterberechnung und der Maximumdichte-Parameterbestimmung nur für solche Paare von Punkten ausgeführt, welche die Bedingung befriedigen, daß die parallele Komponente hinsichtlich der geschätzten geraden Linie länger ist als eine vorherbestimmte Schwellenwertlänge und die senkrechte Komponente hinsichtlich der geschätzten geraden Linie kürzer ist als eine vorherbestimmte Schwellenwertlänge (Fig. 12A/13), oder lediglich für solche Punkte, die Abstände von der geschätzten geraden Linie haben, die kürzer sind als eine vorherbestimmte Länge (Fig. 12B/14). Demzufolge wird der Aufwand an Datenverarbeitung zum Ableiten der Parameter reduziert, der Parameter der Führungslinie wird mit hoher Geschwindigkeit bestimmt, die Einführung von Stördaten wird effektiv verhindert und somit wird der Parameter der Führungslinie mit einer hohen Präzision erhalten.
  • Das System zum Steuern eines unbemannten Fahrzeugs gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ist in Fig. 15 gezeigt. Detailliertere Konstruktionen von Abschnitten des Systems von Fig. 15 sind in den Fig. 16, 17 und 18 gezeigt.
  • Gemäß Fig. 15 enthält das System eine Kamera 1, eine Bilddatenverarbeitungseinheit 7 mit einem Abschnitt 71 zum Erhalten von Farbdaten, einem Bildpunkt-Detektionsabschnitt 72, einem Binärdarstellungs-Verarbeitungsabschnitt 73, einem Bestimmungsabschnitt 74 für eine Aufmerksamkeits-Koordinate, ein Logikfilter (Verzögerungs-Speichereinrichtung) 75, einem Bestimmungsabschnitt 76 für einen extrahierten Punkt (Linienanzeigepunkt), einem Bestimmungsabschnitt (Bildmuster-Detektionseinrichtung) 77 für eine Bildverteilung, einem Speicherabschnitt 78 für einen extrahierten Punkt, einem Gerade-Linie-Annäherungsabschnitt 81 (Führungslinie-Erkennungseinrichtung 7, 81), einem Lenkausmaß- Bestimmungsabschnitt 82 und einem Lenksteuerabschnitt 83.
  • Die Konstruktion der Bilddatenverarbeitungseinheit 7 ist in Fig. 16 veranschaulicht. In Fig. 16 enthält der die Farbdaten erhaltende Abschnitt 71 eine spezifische Farbberechnungsvorrichtung 711, eine Farbintensitätsberechnungsvorrichtung 712 und eine Vergleichsvorrichtung 713. Der Bildpunkt-Detektionsabschnitt 72 enthält eine Analog-zu- Digital-Umsetzvorrichtung 721, eine Synchronisationssignal- Trennvorrichtung 722, eine X-Koordinate-Generierungsvorrichtung 723 und eine Y-Koordinate-Generierungsvorrichtung 724. Das Logikfilter 75 enthält Register 751 bis 757 und Zeilenpuffer 758 und 759. Der Bestimmungsabschnitt 74 für die Aufmerksamkeits-Koordinate enthält einen Aufmerksamkeits-Koordinatenspeicher 741. Der Bestimmungsabschnitt 76 für den extrahierten Punkt enthält eine UND-Schaltung 761, einen Zähler 762 und Register 768 und 769.
  • Die Konstruktion des Bestimmungsabschnitts 82 für das Lenkausmaß ist in Fig. 17 gezeigt. Die Konstruktion von Fig. 17 umfaßt einen Berechnungsabschnitt 821 für die Senkrechtlinie-X-Komponente, einen Berechnungsabschnitt 822 für einen mit der Zeit erfolgenden Änderungsvorgang, einen Unschärfe-Inferenz-Verarbeitungsabschnitt 823 und einen Datenspeicher 824 für Unschärfe-Inferenz-Regeln.
  • Die Konstruktion des Unschärfe-Inferenz-Verarbeitungsabschnitts 823 ist in Fig. 18 gezeigt. Die Konstruktion von Fig. 18 enthält einen Wiederauffindabschnitt 823a für eine Unschärfe-Inferenz-Regel, einen Mitgliedschaft-Funktionsdatenspeicher 823b, einen Speicherabschnitt 823c für eine zeitweilige Speicherung eines empfangenen Parameters, einen Dann-Klausel-Mitgliedschaft-Funktionsdatenspeicher 823d (then-clause membership function data storage), einen Wenn- Klausel-Mitgliedschaft-Funktionsdatenspeicher 823e (if- dause membership function data storage), einen Dann-Klausel-Einschränkungsabschnitt 823f (then-clause restricting portion), einen Wenn-Klausel-Zuverlässigkeits-Berechnungsabschnitt 823g, einen Dann-Klausel-Einbeziehungsabschnitt 823h (then-clause incorporating portion), einen Dann-Klausel-Abschließungsabschnitt 823i und einen Abschnitt 823j zur Berechnung des Schwerpunktzentrums.
  • Gemäß Fig. 15 werden die extrahierten Punktdaten erhalten, indem ein Aufmerksamkeitsbildpunkt, der durch eine vorbestimmte Bildverteilung umgeben ist, in der Buddaten verarbeitungseinheit 7 lokalisiert werden. In dem die Farbdaten erhaltenden Abschnitt 71 werden Bildsignale mit einem Verhältnis der Intensität einer spezifischen Farbe zu derjenigen der Summe der drei Primärfarben, d.h. R, G und B, welches größer ist als einvorherbestimmtes Verhältnis, abgeleitet. In dem Bildpunkt-Detektionsabschnitt 72 werden Bildpunkt-Koordinaten und Bildpunktwerte detektiert. In dem Aufmerksamkeitskoordinaten-Bestimmungsabschnitt 74 wird bestimmt, ob die detektierte Bildpunktkoordinate eine vorläufig gespeicherte Aufmerksamkeitskoordinate ist oder nicht. In dem Binärdarstellungs-Verarbeitungsabschnitt 73 wird der detektierte Bildpunktwert in binäre Form gebracht. In dem Logikfilter 75, welches als Videogeschwindigkeits-Verzögerungs-Speichervorrichtung ausgebildet ist, werden die binären Daten gemäß der Zeitsteuerung der Abgabe der Ausgangsgröße des binär darstellenden Verarbeitungsabschnitts 73 verzögert. In dem Bildverteilungs-Bestimmungsabschnitt 77 wird bestimmt, ob die empfangene vorbestimmte Zahl von Bildpunkten aus einer vorbestimmten Kombination von Werten besteht oder nicht. In dem Bestimmungsabschnitt 76 für den extrahierten Punkt wird die Bildpunktkoordinate als die extrahierte Punktkoordinate abgegeben, basierend auf den empfangenen Ergebnissen der Aufmerksamkeitskoordinaten-Bestimmung und der Bildverteilungsbestimmung.
  • In dem Gerade-Linie-Annäherungsabschnitt 81 wird eine gerade Linie in Entsprechung zu der Führungslinie auf der Fahrbahn abgeleitet. In dem Abschnitt 82 für die Lenkausmaßbestimmung wird ein Lenkausmaß basierend auf dem Ergebnis der Ableitung der geraden Linie bestimmt. Diese Bestimmung wird unter Verwendung des Parameters ausgeführt, der eine X-Richtungskomponente der senkrechten Linie von einem vorbestimmten Bezugspunkt zu der Führungslinie in der Bildebene enthält und unter Verwendung einer mit der Zeit erfolgenden Änderung des Parameters durchgeführt. In dem Lenksteuerabschnitt 83 wird die Steuerung eines Lenkausmaßes basierend auf dem bestimmten Lenkausmaß und dem momentanen Lenkausmaß durchgeführt.
  • Die Bilddatenverarbeitungseinheit 7 soll nun unter Hinweis auf Fig. 16 erläutert werden. Die Bilddaten von der Kamera werden einer spezifischen Farbberechnungsvorrichtung 711 und der Farbintensität-Berechnungsvorrichtung 712 zugeführt. In der spezifischen Farbberechnungsvorrichtung 711 wird die Intensität der Farbe der Führungslinie, die zugewiesene Farbe oder ähnliches berechnet. Die Intensität einer Farbe wird durch das Verhältnis der Intensität der Far be zur Summe aus den Intensitäten der drei Grundfarben R, G und B wiedergegeben. In der Farbintensität-Berechnungsvorrichtung 712 wird die Summe der Intensitäten der drei Grundfarben R, G und B berechnet. In der Vergleichsvorrichtung 713 wird bestimmt, ob das Verhältnis der Intensität der spezifischen Farbe zur Summe der Intensitäten der drei Grundfarben größer ist als ein vorbestimmtes Verhältnis oder nicht und diese gibt ein Signal einer spezifischen Farbe nur dann ab, wenn die Bestimmung bestätigend ist. Dies macht es möglich, die infrage stehende Farbe korrekt ungeachtet von Helligkeits- oder Dunkelheitsbedingungen zu detektieren.
  • In dem Analog-zu-Digital-Umsetzabschnitt 721 wird das Farbsignal in ein digitales Signal umgesetzt, welches dem Binärdarstellungs-Verarbeitungsabschnitt 73 und dem Synchronisationssignal-Trennabschnitt 722 zugeführt wird. In dem Synchronisationssignal-Trennabschnitt 722 wird ein Synchronisationssignal für die X-Koordinaten-Generierung abgeleitet, welches dem X-Koordinaten-Generierungsabschnitt 723 zuzuführen ist, und es wird ein Synchronisationssignal für die Y-Koordinaten-Generierung abgeleitet, welches dem Y- Koordinaten-Generierungsabschnitt 724 zuzuführen ist. Beispielsweise ist das Synchronisationssignal für die X-Koordinaten-Generierung ein horizontales Synchronisationssignal und dasjenige für die Y-Koordinaten-Generierung ist ein vertikales Synchronisationssignal. Die Koordinaten für das laufende oder momentane Farbsignal werden in dem X-Koordinaten-Generierungsabschnitt 723 und dem Y-Koordinaten-Generierungsabschnitt 724 erzeugt und werden der Aufmerksamkeitskoordinaten-Speichereinrichtung 741 in dem Aufmerksamkeitskoordinaten-Bestimmungsabschnitt 74 und den Registers 768 und 769 in dem Extrahierpunkt-Bestimmungsabschnitt 76 zugeführt. Die Aufmerksamkeitskoordinaten werden vorab in dem Aufmerksamkeitskoordinatenspeicher 741 abgespeichert. In dem Abschnitt 74 für die Aufmerksamkeitskoordinatebestimmung wird bestimmt, ob die zugeführte X-Koordinate und Y-Koordinate die Aufmerksamkeitskoordinaten sind oder nicht und wenn die Bestimmung bestätigend ist, wird ein die Koinzidenz anzeigendes Signal zu der UND-Schaltung 761 in dem Extrahierpunkt-Bestimmungsabschnitt 76 zugeführt.
  • In dem Binärdarstellungs-Verarbeitungsabschnitt 73 wird das digitale Signal aus dem Analog-zu-Digital-Umsetzabschnitt 721 in bezug auf einen vorherbestimmten Schwellenwert binär dargestellt. In dem Logikfilter 75, welcher als ein Videogeschwindigkeits-Verzögerungsspeicherabschnitt ausgebildet ist, wird das in binäre Form gebrachte Signal aus dem Binärdarstellungs-Verarbeitungsabschnitt 73 zu dem Register 751 geschickt. Die Ausgangsgröße des Registers 751 wird zu dem Register 752 und dem Zeilenpuffer 758 geführt. Die Ausgangsgröße des Zeilenpuffers 758 wird zu dem Register 753 geschickt. Die Ausgangsgröße des Registers 753 gelangt zu dem Register 754 und zu dem Zeilenpuffer 759. Die Ausgangsgröße des Registers 754 wird zu dem Register 755 geschickt. Die Ausgangsgröße des Zeilenpuffers 759 wird zu dem Register 756 geschickt. Die Ausgangsgröße des Registers 756 wird zu dem Register 575 geschickt. Jeder Zeilenpuffer 758 und 759 besteht aus einem Register zum Registrieren von Punkten von einer Abtastzeile der Fernsehkamera. Die Daten der Punkte einer Abtastzeile werden sukzessive in den Zeilenpuffer eingeschoben. Eine Videogeschwindigkeits-Verzögerungs-Speicheroperation wird ausgeführt, indem eine Schieberegistrierung in den Zeilenpuffern erfolgt und indem eine Registrierung in anderen Registern erfolgt.
  • Die Ausgangsgrößen der Register 752, 753, 754, 755 und 757 werden zu dem Bildverteilungs-Bestimmungsabschnitt 77 geschickt. In den Registern 752, 753, 754, 755 und 757 werden die in binäre Form gebrachten Daten der Koordinaten der Punkte, die auf der oberen, unteren, linken und rechten Seite der Örtlichkeit gelegen sind, wie durch das Register 754 wiedergegeben ist, registriert. In dem Bildverteilungs- Bestimmungsabschnitt 77 wird bestimmt, ob das Muster der Daten der oberen, der unteren, der linken und der rechten Seite ein vorbestimmtes Muster ist oder nicht und wenn die Bestimmung bestätigend ist, wird das Signal "1" von dem Abschnitt 77 zu der UND-Schaltung 761 in dem Extrahierpunkt Bestimmungsabschnitt 76 zugeführt.
  • Wenn eine Aufmerksamkeitskoordinate in dem Aufmerksamkeitskoordinaten-Bestimmungsabschnitt 74 detektiert wird, wird das Signal "1" von dem Aufmerksamkeitskoordinaten-Bestimmungsabschnitt 74 zu der UND-Schaltung 761 zugeführt. Wenn somit ein Signal "1" an beide Eingänge der UND-Schaltung 761 zugeführt wird, wird das Signal "1" dem Zähler 762 zugeführt. Die auf diese Weise gezählte Ausgangsgröße des Zählers 762 und die Ausgangsgrößen der Register 768 und 769 werden dem Extrahierpunkt-Speicherabschnitt 78 zugeführt, wenn die Ausgangsgröße der UND-Schaltung gleich das Signal "1" ist. Es werden somit in dem Extrahierpunkt-Speicherabschnitt 78 die Koordinaten, die als vorbestimmte Aufmerksamkeitskoordinaten durch den Aufmerksamkeitskoordinaten- Bestimmungsabschitt bestimmt wurden und als ein vorbestimm tes Muster durch den Bildverteilungs-Bestimmungsabschnitt 77 bestimmt wurden, sukzessive gespeichert.
  • In jedem der Abschnitte, wie dem Farbdaten erhaltenden Abschnitt 71, dem Bildpunkt-Detektionsabschnitt 72, dem Binärdarstellungs-Verarbeitungsabschnitt 73, dem Logikfilter 75, dem Aufmerksamkeitskoordinaten-Bestimmungsabschnitt 74, dem Bildverteilungs-Bestimmungsabschnitt 77 und dem Extrahierpunkt-Bestimmungsabschnitt 76 wird die Verarbeitung jedesmal ausgeführt, wenn Bilddaten zugeführt werden. Demzufolge können bei der Anordnung, die in Fig. 16 gezeigt ist, die Daten eines extrahierten Punktes in einer Realzeitart erhalten werden und es kann die Verarbeitung der Daten des extrahierten Punktes in einer Realzeitart durchgeführt werden. Es ist daher eine Speichervorrichtung mit einer großen Kapazität, wie diejenige, die benötigt wird, um die Gesamtheit der aufgenommenen Daten eines Bildes zu speichern, nicht erforderlich.
  • Der Lenkausmaß-Bestimmungsabschnitt 82 soll nun unter Hinweis auf Fig. 17 erläutert werden. Die Daten von θ werden einem Berechnungsabschnitt 821 für eine Senkrechtlini en-X-Komponente, einem Berechnungsabschnitt 822 für eine mit der Zeit erfolgende Änderung und einem Unschärfe-Inferenz-Verarbeitungsabschnitt 823 zugeführt. Die Daten von werden dem Berechnungsabschnitt 821 für die Senkrechtlinien-X-Komponente zugeführt.
  • In dem Berechnungsabschnitt 821 für die Senkrechtlinien-X-Komponente wird die X-Komponente der senkrechten Linie von dem Bezugspunkt zu der geradlinigen Führungslinie hin berechnet, um den Wert cosθ zu erzeugen. Die Ausgangsgröße des Abschnitts 821 wird dem Berechnungsabschnitt 822 für eine mit der Zeit erfolgende Anderung und dem Unschärfe-Inferenz-Verarbeitungsabschnitt 823 zugeführt.
  • In dem Berechnungsabschnitt 822 für eine Änderung mit der Zeit wird die Änderung mit der Zeit Δθ und Δ cosθ von θ und cosθ hinsichtlich einer spezifischen Zeiteinheit, wie beispielsweise einer Bildeinheit betreffend die Fernsehkamera, berechnet. Die Ausgangsgrößen des Abschnitts 822 gelangen zu dem Unschärfe-Inferenz-Verarbeituflgsabschnitt 823. In dem Unschärfe-Inferenz-Verarbeitungsabschnitt 823 wird, basierend auf den Werten θ, cosθ, Δ cosθ usw. ein Lenkausmaß bestimmt. Der Unschärfe-Inferenz-Regel-Datenspeicher 824 ist mit dem Unschärfe-Inferenz-Verarbeitungsabschnitt 823 verbunden. In dem Unschärfe-Inferenz-Verarbeitungsabschnitt 823 wird ein Lenkausmaß unter Verwendung der Daten der Regeln bestimmt, die in dem Unschärfe-Inferenz-Regel-Datenspeicher 824 abgespeichert sind.
  • Es werden nun unter Hinweis auf Fig. 18 die Konstruktion und die Betriebsweise des Unschärfe-Inferenz-Verarbeitungsabschnitts 823 beschrieben. In dem Speicherabschnitt 823c für eine zeitweilige Speicherung des empfangenen Parameters werden die empfangenen Parameter, wie beispielsweise θ, Δθ, cosθ und Δ cosθ zeitweilige gespeichert. In dem Mitgliedschafts-Funktionsdatenspeicher 823b ist die Verteilung der Mitgliedschaftsfunktion (membership function) für jede Art der Mitgliedschaftsfunktion gespeichert. In dem Unschärfe-Inferenz-Regel-Wiederherstellabschnitt 823a werden die Unschärfe-Regeln, die in dem Unschärfe-Inferenz- Regel-Speicher abgespeichert sind, aufeinanderfolgend wiedergewonnen, es werden die Mitgliedschaftsfunktionen ent sprechend den Voraussagen, die in den Wenn-Klauseln oder den Dann-Klauseln der Unschärfe-Inferenz-Regeln enthalten sind, durch Wiedergewinnen der Mitgliedschaftsfunktionsdaten abgeleitet, die in dem Speicher 823b abgespeichert sind und es wird die abgeleitete Mitgliedschaftsfunktion in dem Speicher 823e für die Wenn-Klausel-Mitgliedschaftsfunktionsdaten oder in dem Speicher 823d für die Dann-Klausel- Mitgliedschaftsfunktionsdaten gespeichert. Eine Funktion, die immer einen Wert "0" annimmt, wird bei dem Start einer Wiedergewinnungsoperation des Unschärfe-Inferenz-Regel-Wiedergewinnungsabschnitts 823a in dem Dann-Klausel-Mitgliedschaftsfunktionsdatenspeicher 823d gespeichert.
  • In dem Berechnungsabschnitt 8239 für die Wenn-Klausel- Zuverlässigkeit werden die Zuverlässigkeitswerte der Voraussagen berechnet, und zwar durch Substitution der Mitgliedschaftsfunktion, die in dem Speicher 823e für die Wenn-Klausel-Mitgliedschaftsfunktionsdaten gespeichert ist, durch den empfangenen Parameter, der in dem Speicherabschnitt 823c für eine zeitweilige Speicherung des empfangenen Parameters gespeichert ist, es wird dann der Minimalwert der berechneten Zuverlässigkeit bestimmt und es wird der abgeleitete Minimalwert zu dem Dann-Klausel-Einschränkungsabschnitt 823f zugeführt, und zwar als ein Grad der Wenn-Klausel-Zuverlässigkeit.
  • In dem Dann-Klausel-Einschränkungsabschnitt 823f werden die Dann-Klausel-Mitgliedschaftsfunktionsdaten, die in dem Speicher 823d für die Dann-Klausel-Mitgliedschaftsfunktionsdaten gespeichert sindd, durch den Wenn-Klausel-Zuverlässigkeitsgrad eingeschränkt, d.h. sie werden behandelt, um den Minimaiwert vorzusehen, um die Funktionsverteilung zu erzeugen, die dem Dann-Klausel-Einfügungsabschnitt 823h zugeführt wird.
  • In dem Dann-Klausel-Einfügungsabschnitt 823h wird der Maximalwert zwischen der Funktionsverteilung, die von dem Dann-Klausel-Einschränkungsabschnitt 823f zugeführt wurde, und der Funktionsverteilung, die im voraus in dem Dann- Klausel-Schlußfolgerungsabschnitt 823i abgespeichert worden ist, für jede Variable bestimmt und es wird der bestimmte Maximalwert als Ergebnis dem Dann-Klausel-Schlußfolgerungsabschnitt 823i zugeführt.
  • In dem Unschärfe-Inferenzwert-Wiederherstellungsabschnitt 823a wird ein Befehl produziert, um einen Start des Betriebes des Berechnungsabschnitts 823j für das Schwerpunktzentrum zu bewirken, wenn die Wiederherstelloperation der Unschärferegel vollständig ist. In dem Berechnungsabschnitt 823j für das Schwerkraftzentrum wird das Zentrum der Schwerkraft der Funktionsverteilung, die in dem Dann- Klausel-Schlußfolgerungsabschnitt 823i gespeichert ist, bestimmt und das Signal des bestimmten Zentrums der Schwerkraft wird als Signal des Steuerungsausmaßes abgegeben. Es sei darauf hingewiesen, daß das Zentrum der Schwerkraft der Funktion f(x) bestimmt werden kann durch Berechnen von Σx f(x).
  • Bei der Lenkungssteuerung wird eine menschliche Steueroperation mit der Führungslinienerkennung unter Verwendung der Unschärfe-Inferenz kombiniert. Ein Beispiel einer Lenkungsentscheidung unter Verwendung der Unschärfe-Inferenz ist in den Fig. 19 und 20 gezeigt. Ein Beispiel einer Bildebene, welche die Fahrrichtung des Fahrzeugs anzeigt, und der Führungslinie ist in Fig. 19 veranschaulicht.
  • Bei der Unschärfe-Inferenz (fuzzy inference) wird ein "Wenn-Dann"-Format verwendet, wie beispielsweise "Wenn eine gegebene Variable so und so ist, dann wird die Lenkung als so und so entschieden". Ein Beispiel des Prozesses der Lenkungsentscheidung ist wie folgt.
  • (Schritt 1) Das Lenkungsausmaß des Fahrzeugs wird für jeden Unschärferegel abgeleitet.
  • (Untergeordneter Schritt 1.1) Gebe die Führungsliniendaten in den Mitgliedschaftsfunktionen für jede Variable in die Wenn-Klausel ein und berechne die Zuverlässigkeit.
  • (Untergeordneter Schritt 1.2) Da die Variablen in der WENN-Klausel durch eine UND-Logik verknüpft sind, berechnet die Zuverlässigkeit der Wenn-Klausel als Maximalwert der Zuverlässigkeit, die bei dem untergeordneten Schritt 1.1 erhalten wurde.
  • (Untergeordneter Schritt 1.3) Schränke die Mitgliedschaftsfunktionen der Dann-Klausel auf eine trapezförmige Form ein unter Verwendung der Zuverlässigkeit der Wenn- Klausel.
  • (Schritt 2) Alle Inferenzergebnisse der Unschärfe- Inferenzen werden integriert, um das Lenkungsausmaß zu berechnen.
  • (Untergeordneter Schritt 2.1) Überlagere die trapezförmigen Verteilungen aller Unschärfe-Inferenzen, um den Maximalwert zu erhalten.
  • (Untergeordneter Schritt 2.2) Bestimme das Gravitationszentrum der graphischen Darstellung, die durch Überlagern der trapezformigen Verteilungen als Lenkungsausmaß erzeugt wurde.
  • Das Beispiel des Prozesses der Lenkungsentscheidung ist in Fig. 20 veranschaulicht. Die Regeln (1), (2) und (3) betreffend die Mitgliedschaftsfunktion der Unschärfe-Inferenz sind in drei Reihen veranschaulicht, wobei jede eine Sequenz des Abstandszustandes, des Winkelzustandes und dert Lenkausmaßbestimmung veranschaulicht. Das Ergebnis der Unschärfe-Inferenz ist im rechten Teil von Fig. 20 als Lenkentscheidung veranschaulicht.
  • Beispiele der Tabelle der Beziehung zwischen der Wenn- Klausel und der Dann-Klausel durch die Unschärfe-Inferenz sind in Fig. 21 und in Fig. 22 gezeigt. Bei dem Beispiel von Fig. 21 sind die Bedingungen von cosθ und θ in der Wenn-Klausel-Spalte angezeigt und die Bestimmung des Lenkausmaßes ist in der Dann-Klausel-Spalte angezeigt. Bei dem Beispiel von Fig. 22 sind die Bedingungen von cosθ und Δ cosθ in der Wenn-Klausel-Spalte angezeigt und die Bestimmung des Lenkausmaßes ist in der Dann-Klausel-Spalte angezeigt.
  • Es wird somit beim Betrieb des Systems von Fig. 15 die Verarbeitung der empfangenen Bilddaten in einer Realzeitweise mit einer hohen Geschwindigkeit durchgeführt, und zwar unter Verwendung von Speichervorrichtungen mit relativ kleiner Kapazität, es wird die Steuerung der Lenkung des Fahrzeugs unter Verwendung des Ergebnisses der Bilddatenverarbeitung in zuverlässiger Weise ausgeführt und es wird somit die Steuerung des unbemannten Fahrzeuges in zufriedenstellender Weise durchgeführt.

Claims (16)

1. Signalverarbeitende Schaltungsanordnung zur Verwendung von Bilddaten, die durch eine Kamera (1) geliefert werden, welche an einem steuerbaren Fahrzeug befestigt ist, um Steuersignale für die Verwendung beim Betreiben einer automatischen Lenkeinrichtung des Fahrzeugs zu erzeugen, um das Fahrzeug zu veranlassen, einer Führungslinie auf einer Fläche zu folgen, über die das Fahrzeug fährt, wobei die Schaltungsanordnung enthält:
eine Führungslinie-Erkennungseinrichtung (21-23, 31- 35; 21-27; 21, 22, 5, 61-63; 7, 81), um zu bestimmen, welche der Bildpunkte, die durch solche Bilddaten wiedergegeben werden, die Linie anzeigende Punkte sind, gekennzeichnet durch Bilddatenwerte, welche vorbestimmte Bedingungen befriedigen, die in Einklang stehen mit dem Verlauf der Führungslinie durch Punkte auf der genannten Fläche, die jeweils den Bildpunkten entsprechen, und um Daten zu verwenden, die von solchen die Linie anzeigenden Punkten abgeleitet wurden, um den Verlauf des Zentrums der Führungslinie über der genannten Fläche zu bestimmen,
dadurch gekennzeichnet, daß die Schaltüngsanordnung jeweils so betreibbar ist, um den Verlauf der Führungslinie zu bestimmen und ferner Schätzeinrichtungen (36, 37; 28, 41-44) umfaßt, um Schätzdaten zu erzeugen, die einen geschätzten Verlauf der Führungslinie wiedergeben, und zwar basierend auf einem früher bestimmten Verlauf der Führungslinie,
wobei die Führungslinie-Erkennungseinrichtung in Abhängigkeit von den Schätzdaten betreibbar ist, um die dadurch verwendeten Daten einzuschränken, wenn der Verlauf der Führungslinie bestimmt wird, und zwar auf diejenigen Daten, die von den die Linie anzeigenden Punkten abgeleitet wurden und die in Einklang mit dem geschätzten Verlauf stehen.
2. Signalverarbeitende Schaltungsanordnung nach Anspruch 1, bei der die Führungslinie-Erkennungseinrichtung folgendes enthält:
eine Parameter ableitende Einrichtung (23), die betreibbar ist, um Koordinaten der Bildpunkte zu verarbeiten, um daraus einen Satz von Parametern abzuleiten, die jeweils mögliche Führungslinienabschnitte wiedergeben, die durch die Bildpunkte verlaufen, wobei jeder Parameter einen - Wert hat, welcher den Abstand zwischen dem möglichen, in Betracht stehenden Führungslinienabschnitt und einem Bezugspunkt in dem Bild wiedergibt, und einen θ-Wert hat, der den Winkel zwischen dem möglichen, in Betracht stehenden Führungslinienabschnitt und einer vorbestimmten Bezugslinie in dem Bild wiedergibt, und
eine Maximumdichteparameter-Detektionseinrichtung (32- 34, 24-26), die betreibbar ist, wenn die Parameter als in einem - θ Diagramm aufgetragen betrachtet werden, wobei der -Wert jedes Parameters den Abstand eines aufgetragenen Punktes von einer θ-Achse angibt und der θ-Wert dieses Parameters den Abstand dieses aufgetragenen Punktes von einer -Achse angibt, die orthogonal zu der θ-Achse verläuft, um zu bestimmen, welche Zone einer Vielzahl von Zonen, in die das - θ Diagramm unterteilt ist, eine Zone mit maximaler Dichte ist, die die höchste Zahl von aufgetragenen Punkten enthält, wobei ein der Zone mit der maximalen Dichte zugeordneter Parameter dazu verwendet wird, um den Verlauf der Führungslinie zu bestimmen.
3. Signalverarbeitende Schaltungsanordnung nach Anspruch 2, bei der das - θ Diagramm durch ein Gittermuster in eine Vielzahl von Quadratzonen unterteilt ist.
4. Signalverarbeitende Schaltungsanordnung nach Anspruch 2 oder 3, bei der die Schätzeinrichtung (36, 37; 28, 41-44) so betreibbar ist, um einen geschätzten Parameter ( 3, θ3) abzuleiten, der einen geschätzten Verlauf der Führungslinie wiedergibt, und zwar basierend auf dem früher bestimmten Verlauf ( 2, θ2) oder basierend auf mehr als einem solchen früher bestimmten Verlauf ( 1, θ1, 2, θ2) und um einen eingeschränkten Parameterbereich (Δ , Δθ) des - θ Diagramms festzulegen, der auf einem aufgetragenen Punkt (R) entsprechend diesem geschätzten Parameter ( 3, θ3) zentriert ist,
wobei die Führungslinie-Erkennungseinrichtung, wenn der Verlauf der Führungslinie als nächstes bestimmt wird, lediglich solche abgeleiteten Parameter verwendet, deren aufgetragene Punkte innerhalb des eingeschränkten Parameterbereiches liegen.
5. Signalverarbeitende Schaltungsanordnung nach Anspruch 4, bei der die Parameter ableitende Einrichtung (23) die Parameter von allen Bildpunkten ableitet, deren Bilddatenwerte die vorbestimmten Bedingungen befriedigen, und wobei die Schaltungsanordnung ferner eine Parameterauswähleinrichtung (31) enthält, um den Betrieb der Maximumdichteparameter-Detektionseinrichtung (32-34) so zu steuern, daß sie die Zone mit der maximalen Dichte lediglich in Abhängigkeit von solchen abgeleiteten Parametern bestimmt, deren aufgetragene Punkte innerhalb des genannten eingeschränkten Parameterbereiches liegen.
6. Signalverarbeitende Schaltungsanordnung nach irgendeinem der Ansprüche 2 bis 5, bei der die Schätzeinrichtung (36, 37) so betreibbar ist, um den eingeschränkten Parameterbereich (Δ , Δθ) zu erweitern, wenn festgestellt wurde, daß die Zahl der aufgetragenen Punkte innerhalb des Bereiches kleiner ist als eine vorherbestimmte Zahl, und um den eingeschränkten Parameterbereich zu reduzieren, wenn festgestellt wurde, daß die Zahl der aufgetragenen Punkte innerhalb des Bereiches größer ist als diese vorherbestimmte Zahl.
7. Signalverarbeitende Schaltungsanordnung nach Anspruch 4, welche ferner eine Aufmerksamkeitszone-Bestimmungseinrichtung (41-44) enthält, um eine Umsetztabelle (41) zum Umsetzen des eingeschränkten Parameterbereiches in eine entsprechende Aufmerksamkeitszone des Bildes (Fig. 8) umzusetzen,
wobei die Parameter ableitende Einrichtung (23) die genannten Parameter lediglich von solchen Bildpunkten ableitet, die innerhalb der Aufmerksamkeitszone liegen.
8. Signalverarbeitende Schaltungsanordnung nach Anspruch 7, bei der die Aufmerksamkeitszone-Bestimmungseinrichtung (41-44) so betreibbar ist, um die Aufmerksamkeitszone zu erweitern, wenn festgestellt wurde, daß die Zahl der Bildpunkte innerhalb dieser Zone kleiner ist als eine vorherbestimmte Zahl, und um die Aufmerksamkeitszone einzuschränken, wenn festgestellt wurde, daß die Zahl der Bildpunkte innerhalb dieser Zone größer ist als diese vorherbestimmte Zahl.
9. Signalverarbeitende Schaltungsanordnung nach Anspruch 2 oder 3, bei der die Schätzeinrichtung so betreibbar ist, um geschätzte Daten gemäß einer geraden Linie vorzusehen, die einen geschätzten Verlauf der Führungslinie wiedergeben, und bei der die Parameter ableitende Einrichtung eine Parameterberechnungseinrichtung (5) enthält, die so betreibbar ist, um solche Linienabschnitte als die genannten möglichen Führungslinienabschnitte zu identifizieren, die sich zwischen zwei Bildpunkten (z.B. P&sub1;, P&sub2;) erstrecken, die eine Komponente parallel zu dem geschätzten Verlauf haben und von einer Länge sind, größer als eine vorherbestimmte Schwellenwertlänge und die eine Komponente haben, die senkrecht zu dem geschätzten Verlauf ist und eine Länge haben, die kleiner ist als eine vorherbestimmte Schwellenwert länge.
10. Signalverarbeitende Schaltungsanordnung nach Anspruch 2 oder 3, bei der die Schätzeinrichtung so betreibbar ist, um geschätzte Daten gemäß einer geraden Linie zu erzeugen, die einen geschätzten Verlauf der Führungslinie wiedergeben und bei der die Parameter ableitende Einrichtung eine Parameterberechnungseinrichtung (5) enthält, die so betreibbar ist, um Bildpunkte (z.B. P&sub3;) auszuwählen, die von dem ge schätzten Verlauf in einem Abstand beabstandet sind, der kleiner ist als ein vorherbestimmter Schwellenwertabstand, und um Linienabschnitte als die genannten möglichen Führungslinienabschnitte zu identifizieren, die sich an Paare von ausgewählten Bildpunkten anschließen.
11. Signalverarbeitende Schaltungsanordnung zum Verwenden von Buddaten, die durch eine Kamera (1) geliefert werden, welche an einem lenkbaren Fahrzeug befestigt ist, um Steuersignale für die Verwendung beim Betreiben einer automatischen Lenkeinrichtung des Fahrzeugs zu erzeugen, um das Fahrzeug zu veranlassen, einer Führungslinie auf einer Fläche zu folgen, über die das Fahrzeug fährt, wobei die Schal tungsanordnung umfaßt:
eine Führungslinien-Erkennungseinrichtung (7, 81), um zu bestimmen, welche Bildpunkte, die durch derartige Bild daten wiedergegeben sind, die Linie anzeigende Punkte sind, gekennzeichnet durch Bilddatenwerte, die vorbestimmte Bedingungen befriedigen, die in Einklang mit dem Verlauf der Führungslinie durch die Punkte auf der Fläche stehen, die jeweils den genannten Bildpunkten entsprechen, und um Daten zu verwenden, die aus solchen Linien anzeigenden Punkten abgeleitet wurden, um den Verlauf des Zentrums der Führungslinie über der Fläche zu bestimmen,
dadurch gekennzeichnet, daß die Führungslinien-Erkennungseinrichtung (7, 81) so angeschaltet ist, um bei jedem Abtastzyklus der Kamera (1) die Buddaten von verschiedenen Bildpunkten ihrerseits zu empfangen und die eine Buddaten- Verarbeitungseinrichtung (7) enthält, um die empfangenen Buddaten zu verwenden, um für jeden Bildpunkt seinerseits einen digitalen Farbdatenwert und Bildpunktkoordinaten abzuleiten und um die resultierenden Farbdatenwerte aufeinanderfolgend durch eine Verzögerungsspeichereinrichtung (75) hindurchzuleiten, derart, daß die Farbdatenwerte der vorbestimmten Bildpunkte in der Nähe eines in Betracht stehenden Bildpunktes gleichzeitig durch die Verzögerungsspeichereinrichtung verfügbar gemacht werden, und die eine Bildmuster- Detektoreinrichtung (77) enthält, welche mit der Verzögerungsspeichereinrichtung verbunden ist, um zu bestimmen, ob die Farbdatenwerte der genannten bestimmten Bildpunkte zu einem vorherbestimmten Bildmuster passen oder nicht, welches in Einklang steht mit dem Verlauf der Führungslinie durch den in Betracht stehenden Bildpunkt.
12. Signalverarbeitende Schaltungsanordnung nach Anspruch 11, bei der die Führungslinien-Erkennungseinrichtung (7) ferner enthält:
eine Farbdaten erhaltende Einrichtung (71), um ihrerseits die Buddaten von verschiedenen Bildpunkten zu empfangen und um solche Bildpunkte zu extrahieren, deren Bilddaten eine Intensität haben, die größer ist als eine vorherbestimmte Intensität,
eine Bildpunkt-Detektoreinrichtung (72), um für jeden extrahierten Bildpunkt die genannten Bildpunktkoordinaten abzuleiten, welche die Örtlichkeit des in dem Bild in Betracht stehenden Bildpunktes wiedergeben, und um einen Bilddatenwert abzuleiten, welcher die Bilddaten des in Betracht stehenden Bildpunktes wiedergibt,
eine Aufmerksamkeitskoordinaten-Bestimmungseinrichtung (74), um zu bestimmen, ob die abgeleiteten Bildpunktkoordinaten mit vorherbestimmten abgespeicherten Aufmerksamkeitskoordinaten übereinstimmen oder nicht,
eine Binärdarstellungs-Verarbeitungseinrichtung (73), um jeden abgeleiteten Buddatenwert in einen solchen digitalen Farbdatenwert umzusetzen, wobei die binär darstellende Verarbeitungseinrichtung mit der Verzögerungsspeichereinrichtung verbunden ist, um dieser die resultierenden Farbdatenwerte aufeinanderfolgend zuzuführen, und
eine Linienanzeigepunkt-Bestimmungseinrichtung (76), um zu bestimmen, daß der in Betracht stehende Bildpunkt ein eine Linie anzeigender Punkt ist, wenn die Bildpunktkoordinaten dieses Bildpunktes durch die Aufmerksamkeitskoordinaten-Bestimmungseinrichtung (74) bestimmt wurden mit den Aufmerksamkeitskoordinaten übereinzustimmen und die Farbdatenwerte der genannten vorherbestimmten Bildpunkte durch die Bildpunkt-Verteilungs-Detektoreinrichtung (77) bestimmt wurden, mit dem vorherbestimmten Bildmuster übereinzustimmen, und die in einem solchen Fall betreibbar ist, um die Bildpunktkoordinaten des in Betracht stehenden Bildpunktes, der eine Annäherung an eine gerade Linie durchführenden Einrichtung der Schaltungsanordnung als Daten für die Verwendung bei der Bestimmung des Verlaufes der Führungslinie zuzuführen.
13. Signalverarbeitende Schaltungsanordnung nach Anspruch 11 oder 12, welche ferner eine Lenkausmaß-Bestimmungseinrichtung (82) enthält, die mit der Führungslinien-Erkennungseinrichtung (7, 81) verbunden ist, um ein Maß des Ausmaßes der Lenkung zu erzeugen, welches von dem Fahrzeug benötigt wird, basierend auf einem vorherbestimmten Verlauf der Führungslinie, und die ebenso eine Lenkungssteuereinrichtung (83) umfaßt, um die Betriebsweise einer solchen automatischen Lenkeinrichtung des Fahrzeugs basierend auf dem genannten Maß zu steuern und nach dem Auftreten eines momentanen Lenkzustandes des Fahrzeugs.
14. Signalverarbeitende Schaltungsanordnung nach Anspruch 13, bei der das genannte Maß basierend auf einem Parameter bestimmt wird, der eine X-Richtungskomponente einer Linie enthält, die senkrecht zu dem bestimmten Verlauf der Führungslinie verläuft und durch einen vorherbestimmten Bezugspunkt in dem Bild verläuft.
15. Signalverarbeitende Schaltungsanordnung nach Anspruch 13, bei der das genannte Maß basierend auf einer mit der Zeit erfolgenden Änderung eines Parameters bestimmt wird, der eine X-Richtungskomponente einer Linie enthält, die senkrecht zu dem bestimmten Verlauf der Führungslinie ver läuft und durch einen vorherbestimmten Bezugspunkt in dem Bild verläuft.
16. Signalverarbeitende Schaltungsanordnung nach Anspruch 13, bei der das genannte Maß unter Verwendung eines Unschärfe-Inferenz-Verfahrens bestimmt wird.
DE69027633T 1989-07-20 1990-07-20 Automatische Fahrzeugführung entlang Führungslinien Expired - Fee Related DE69027633T2 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP1188040A JPH0812685B2 (ja) 1989-07-20 1989-07-20 自走車用監視装置
JP1188037A JP2664998B2 (ja) 1989-07-20 1989-07-20 自走車用監視装置
JP1188039A JP2545610B2 (ja) 1989-07-20 1989-07-20 直線近似方式
JP1223180A JP2677310B2 (ja) 1989-08-31 1989-08-31 無人自走車用制御装置

Publications (2)

Publication Number Publication Date
DE69027633D1 DE69027633D1 (de) 1996-08-08
DE69027633T2 true DE69027633T2 (de) 1996-11-21

Family

ID=27475371

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69027633T Expired - Fee Related DE69027633T2 (de) 1989-07-20 1990-07-20 Automatische Fahrzeugführung entlang Führungslinien

Country Status (3)

Country Link
US (1) US5087969A (de)
EP (1) EP0409642B1 (de)
DE (1) DE69027633T2 (de)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
EP0449754B1 (de) * 1990-03-30 1996-09-04 Shinko Electric Co. Ltd. Steuerungssystem für ein unbemanntes Trägerfahrzeug
JP2754871B2 (ja) * 1990-06-01 1998-05-20 日産自動車株式会社 走行路検出装置
JP2769052B2 (ja) * 1991-04-09 1998-06-25 インターナショナル・ビジネス・マシーンズ・コーポレイション 自律移動機械、移動機械の制御装置及び方法
US5245422A (en) * 1991-06-28 1993-09-14 Zexel Corporation System and method for automatically steering a vehicle within a lane in a road
US5461357A (en) * 1992-01-29 1995-10-24 Mazda Motor Corporation Obstacle detection device for vehicle
KR950009344B1 (ko) * 1992-09-15 1995-08-21 주식회사삼성중공업 무궤도식 크레인 자동주향방법 및 그 장치
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3351205B2 (ja) * 1995-11-09 2002-11-25 株式会社日立製作所 車両の安全走行制御装置及び制御方法
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP4084857B2 (ja) * 1996-08-30 2008-04-30 本田技研工業株式会社 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法
US6459987B1 (en) * 1996-11-15 2002-10-01 Garmin Corporation Method and apparatus for backtracking a path
JP3072730B2 (ja) * 1998-10-09 2000-08-07 日本電気株式会社 車両検出方法および装置
US6466862B1 (en) * 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
EP1504276B1 (de) 2002-05-03 2012-08-08 Donnelly Corporation Objektdetektionssystem für ein fahrzeug
GB0325990D0 (en) 2003-11-07 2003-12-10 Trw Ltd Method and apparatus for discriminating the colour of road markings
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7908080B2 (en) 2004-12-31 2011-03-15 Google Inc. Transportation routing
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
EP1931147B1 (de) * 2006-12-04 2019-07-10 Harman Becker Automotive Systems GmbH Vorrichtung und verfahren zum verarbeiten eines bildes einer umgebung eines fahrzeuges
FR2911713B1 (fr) 2007-01-19 2014-03-21 Thales Sa Dispositif et procede de mesure de parametres dynamiques d'un aeronef evoluant sur une zone aeroportuaire
ES2402422B1 (es) * 2011-09-07 2014-03-11 Manuel MUÑOZ SÁIZ Sistema de conducción automática y de avisos de zonas de velocidad reducida para vehiculos mejorado
JP6082415B2 (ja) * 2015-03-03 2017-02-15 富士重工業株式会社 車両の走行制御装置
CA2999603A1 (en) * 2015-10-02 2017-04-06 Celebramotion Inc. Method and system for people interaction and a guided cart therefor
CN108303982B (zh) * 2018-01-31 2021-11-30 深圳力子机器人有限公司 自动引导运输车、其控制方法及控制系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6084610A (ja) * 1983-10-17 1985-05-14 Hitachi Ltd 誘導装置
JPS6270917A (ja) * 1985-09-24 1987-04-01 Kubota Ltd 自動走行作業車用の境界検出装置
JPS6270916A (ja) * 1985-09-24 1987-04-01 Kubota Ltd 自動走行作業車用の境界検出方法
EP0273976B1 (de) * 1986-05-21 1993-08-11 Kabushiki Kaisha Komatsu Seisakusho Lenkvorrichtung für sich unbemannt bewegende körper
JPH072888B2 (ja) * 1986-05-27 1995-01-18 旭硝子株式会社 エポキシ樹脂組成物
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures

Also Published As

Publication number Publication date
EP0409642B1 (de) 1996-07-03
DE69027633D1 (de) 1996-08-08
US5087969A (en) 1992-02-11
EP0409642A3 (en) 1992-08-26
EP0409642A2 (de) 1991-01-23

Similar Documents

Publication Publication Date Title
DE69027633T2 (de) Automatische Fahrzeugführung entlang Führungslinien
DE69428737T2 (de) Fahrzeugerkennungsgerät
DE69530566T2 (de) Hough-Transform mit Fuzzy-Gradient und Wahl
DE4142650B4 (de) Verfahren und Anordnung zur Ableitung eines Steuersignals für die Einblendung eines Hintergrundsignals in Teile eines Vordergrundsignals
DE4447788B4 (de) Verfahren zum Steuern der Verschlußgeschwindigkeit einer stereoskopischen Abbildungsvorrichtung, insbesondere bei einem System zur Abstandserkennung
DE69715076T2 (de) Vorrichtung zur Erzeugung eines Binärbildes
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE19509884C2 (de) Verfahren zum Ausrichten von Zuschnittsegmenten
DE69333694T2 (de) Verfahren und Anordnung zur Bildverarbeitung
DE10043460C2 (de) Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
DE2943749C2 (de)
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
DE10324895A1 (de) Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE102006057552A1 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE2439913A1 (de) Vorrichtung zum lesen kodierter informationen
DE2634331A1 (de) Mustererkennungssystem
DE3524505A1 (de) Bilderkennungsvorrichtung
DE69201377T2 (de) Bildverarbeitungsverfahren durch hierarchische warteschlangen.
DE102018123393A1 (de) Erkennung von Parkflächen
EP3685352A1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
DE69531412T2 (de) Bildkodierung beruhend auf Bildbereichen und deren segmentierten Randlinien
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
DE112018006812T5 (de) Fahrzeugbildsynthesevorrichtung
EP0779993B1 (de) Vorrichtung und verfahren zur erkennung von objekten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee