DE102018000517A1 - Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten (2) in einer Fahrzeugumgebung, wobei die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug (1) angeordneten Radarsensors (3) erfasst wird und bei einer Ermittlung und/oder Klassifizierung einer Höhe (h) eines Objekts (2) anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor (3) ausgesendeten und einem vom Objekt (2) reflektierten Radarsignal Dopplerinformationen erzeugt werden. Erfindungsgemäß wird die Ermittlung und/oder Klassifizierung der Höhe (h) des Objekts (2) mittels zumindest eines trainierten neuronalen Netzes durchgeführt, wobei ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden.

Description

• Die Erfindung betrifft ein Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung gemäß dem Oberbegriff des Anspruchs 1.
• Aus der DE 10 2015 009 382 A1 ist ein Verfahren zur radarbasierten Bestimmung einer Höhe eines Objekts in einer Fahrzeugumgebung bekannt, wobei die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug angeordneten Radarsensors erfasst wird. Eine Höhe des Objekts wird mittels einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor ausgesendeten und einem vom Objekt reflektierten Radarsignal ermittelt, wobei die Höhe in der Auswertung aus einem unter Berücksichtigung einer Annäherungsgeschwindigkeit des Fahrzeugs an das Objekt ermittelten zeitlichen Dopplerfrequenzverlauf anhand eines Vergleichs mit hinterlegten Muster-Dopplerfrequenzverläufen oder aus einem Verhältnis einer Radialgeschwindigkeitskomponente der Annäherungsgeschwindigkeit des Fahrzeugs an das Objekt und einer Längsgeschwindigkeitskomponente der Annäherungsgeschwindigkeit unter Berücksichtigung eines Abstands des Fahrzeugs zum Objekt ermittelt wird.
• Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung anzugeben.
• Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
• Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
• In dem Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung wird die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug angeordneten Radarsensors erfasst und bei einer Ermittlung und/oder Klassifizierung einer Höhe eines Objekts werden anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor ausgesendeten und einem vom Objekt reflektierten Radarsignal Dopplerinformationen erzeugt.
• Erfindungsgemäß wird die Ermittlung und/oder Klassifizierung der Höhe des Objekts mittels zumindest eines trainierten neuronalen Netzes durchgeführt, wobei ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden.
• Das Verfahren ermöglicht die Vermessung und/oder Klassifizierung von Objekten in der Fahrzeugumgebung, insbesondere die Bestimmung der Höhe von Objekten, in besonders zuverlässiger und einfacher Weise. Dabei wird eine Anzahl von Fehldetektionen von über- oder unterfahrbaren Objekten signifikant verringert, wodurch eine Erhöhung einer Zuverlässigkeit von Fahrerassistenzsystemen zur autonomen oder teilautonomen Längs- und/oder Quersteuerung eines Fahrzeugs, beispielsweise von Parkassistenzsystemen, erreicht wird, da von einer Fahrbahn erhabene und nicht-erhabene Objekte besonders zuverlässig voneinander unterschieden werden können. Somit werden fehlerhafte Steuerungen des Fahrzeugs, beispielsweise zur Vermeidung von Kollisionen mit nicht erhabenen Objekten oder Objekten mit geringer Höhe, wie beispielsweise Bordsteinen, vermieden. Weiterhin wird eine Robustheit von radarbasierten Fahrerassistenzsystemen, insbesondere eine Erhöhung einer Robustheit einer Lokalisierung des Fahrzeugs anhand der Radardaten, erhöht.
• Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
• Dabei zeigen:
• 1 schematisch eine Draufsicht eines Fahrzeugs, eines vor dem Fahrzeug befindlichen Objekts und geometrische Verhältnisse zwischen einem Radarsensor des Fahrzeugs und dem Objekt und
• 2 schematisch eine Seitenansicht des Fahrzeugs und des Objekts gemäß 1.
• Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
• In 1 sind eine Draufsicht eines Fahrzeugs 1, eines vor dem Fahrzeug 1 befindlichen Objekts 2 und geometrische Verhältnisse zwischen einem Radarsensor 3 des Fahrzeugs 1 und dem Objekt 2 dargestellt. 2 zeigt eine Seitenansicht des Fahrzeugs 1 und des Objekts 2.
• Das Fahrzeug 1 ist insbesondere zu einem autonomen oder teilautonomen Fahrbetrieb ausgebildet und umfasst zumindest ein Fahrerassistenzsystem zur Ausführung eines so genannten automatischen Valet-Parkens.
• Das Fahrzeug 1 wird in einem globalen Koordinatensystem mit den Achsen x, y und der Radarsensor 3 in einem Sensorkoordinatensystem mit den Achsen x', y' beschrieben.
• Das Fahrzeug 1 bewegt sich mit einer Geschwindigkeit v, welche sich aus einer Geschwindigkeitskomponente v_x in Richtung der Achse x und einer Geschwindigkeitskomponente v_y zusammensetzt. Eine Größe der Geschwindigkeitskomponenten v_x , v_y ist dabei von einer Gierrate w des Fahrzeugs 1 abhängig.
• Im vorliegenden Ausführungsbeispiel wird ein Radarsensor 3 betrachtet, welcher sich mit einer Sensorgeschwindigkeit v_s in einer Szene bewegt und ein stationäres Objekt 2 erfasst. Zur Vereinfachung wird angenommen, dass die Szene eine zweidimensionale Ebene ist, so dass ein Elevationswinkel ε des beobachteten Objekts gleich 0 in Bezug auf eine Sichtlinie des Radarsensors 3 ist. Ferner wird angenommen, dass die Sichtlinie des Radarsensors 3 ein Vektor ist, der der Achse x' des lokalen Sensorkoordinatensystems entspricht, so dass eine gemessene Radialgeschwindigkeit v_r2d des Objekts 2 am Empfänger des Radarsensors 3 gegeben ist durch $$-v_{r2d}=-v_{x\text{'}}\text{ cos}\left({\theta }_S\right)+v_{y\text{'}}\text{ sin}\left({\theta }_S\right).$$

  
• Dabei bezeichnet θ_S einen Sensor-Azimutwinkel des Objekts 2 im lokalen Sensorkoordinatensystem und v_x' und v_y' bezeichnen Sensorgeschwindigkeitskomponenten entlang der Achsen x', y'. Zur Validierung der Radialgeschwindigkeitsformulierung für beliebige Sensororientierungen ist eine Transformation der Sensorgeschwindigkeitskomponenten v_x' und v_y' aus dem Sensorkoordinatensystem in ein globales Koordinatensystem notwendig. Dazu werden die lokalen Sensorachsen um einen Ursprung um einen Sensor-Montagewinkel β gedreht, um zu den globalen Achsen x, y des globalen Koordinatensystems ausgerichtet zu werden. Somit ergibt sich für die Radialgeschwindigkeit v_r2d des Objekts 2: $$-v_{r2d}=-v_x\text{ cos}\left(\theta \right)+v_y\text{sin}\left(\theta \right).$$

  
• Dabei ergeben sich die Sensorgeschwindigkeitskomponenten v_x' und v_y' im globalen Koordinatensystem zu $$\left[\begin{array}{c}{v}_x\\ v_y\end{array}\right]=\left[\begin{array}{cc}\text{cos}\left(\beta \right)& \text{sin}\left(\beta \right)\\ -\text{sin}\left(\beta \right)& \text{cos}\left(\beta \right)\end{array}\right]\left[\begin{array}{c}{v}_{x\text{'}}\\ v_{y\text{'}}\end{array}\right]$$

  

  und ein Azimutwinkel θ des Objekts 2 zu $$\theta ={\theta }_S+\beta .$$

  
• Für den dem sich bewegenden Fahrzeug 1 montierten Radarsensor 3 kann die durch die Geschwindigkeit v und die Gierrate w beschriebene Eigenbewegung des Fahrzeugs 1 zusammen mit einer durch die Koordinaten x' =0 und y'= 0 beschriebenen Sensorbefestigungsposition in dem globalen Koordinatensystem beschrieben werden. Dabei liegt der Ursprung des globalen Koordinatensystems derart in der Mitte einer Fahrzeughinterachse, dass die Achse x parallel und die Achse y senkrecht zur Bewegungsrichtung ist. Die Sensorgeschwindigkeitskomponenten v_x', v_y' ergeben sich aufgrund der Drehung des Fahrzeugs 1 mit der Gierrate w um den Koordinatenursprung und aufgrund der Geschwindigkeit v des Fahrzeugs 1 zu $$v_{x\text{'}}=-wy\text{'}+v_x\text{ und}$$

  

  $$v_{y\text{'}}=wx\text{'}+v_y.$$

  
• Aus den Gleichungen (5) und (6) ergibt sich für Gleichung (2): $$-v_{r2d}=\left[-y\text{'}\text{ cos}\left(\theta \right)+x\text{'}\text{sin}\left(\theta \right)\right]w+\text{cos}\left(\theta \right)v_x+\text{sin}\left(\theta \right)v_y.$$

  
• In einem dreidimensionalen Szenario enthält die gemessene Radialgeschwindigkeit v_r eine Doppler-Verschiebungskomponente, die abhängig ist von dem Elevationswinkel ε des Objekts 2. Das heißt, Gleichung (7) wird erweitert auf: $$\begin{array}{cc}-v_r& =-v_{r2d}\text{cos}\left(\epsilon \right)\\ & =\left[\left(-y\text{'}\text{cos}\left(\theta \right)+x\text{'}\text{sin}\left(\theta \right)\right)w+\text{cos}\left(\theta \right)v_x+\text{sin}\left(\theta \right)v_y\right]\text{cos}\left(\epsilon \right).\end{array}$$

  
• Wenn keine Raddrift vorliegt, wird die Geschwindigkeit v an der Fahrzeughinterachse auf die Geschwindigkeitskomponente v_x reduziert. Somit ergibt sich: $$-v_r=\left[\left(-y\text{'}\text{cos}\left(\theta \right)+x\text{'}\text{sin}\left(\theta \right)\right)w+\text{cos}\left(\theta \right)v_x\right]\text{cos}\left(\epsilon \right).$$

  
• Eine Höhe h_t des Objekts 2 ist gegeben durch $$h_t=h_{s}R\text{ sin}\left(\epsilon \right),$$

  

  wobei R einen radialen Abstand vom Radarsensor 3 zum Objekt 2 und h_s eine Sensorhöhe beschreiben. Der Elevationswinkel ε kann aus der Gleichung (9) als Funktion von der Radialgeschwindigkeit v_r des Objekts 2, der Sensorbefestigungsposition mit den Koordinaten x' =0 und y'= 0, dem Azimutwinkel θ des Objekts 2 und der Eigenbewegung des Fahrzeugs 1, bestehend aus der Geschwindigkeitskomponente v_x und der Gierrate w ermittelt werden.
• Somit ergibt sich für den Elevationswinkel ε: $$\epsilon =\frac{-v_r}{=\left[\left(-y\text{'}\text{cos}\left(\theta \right)+x\text{'}\text{sin}\left(\theta \right)\right)w+\text{cos}\left(\theta \right)v_x\right]}.$$

  
• Unter der Voraussetzung, dass genaue Bewegungsinformationen des Fahrzeugs 1 verfügbar sind, kann die Höhe h_t des Objekts 2 dadurch ermittelt werden, dass die gemessene Information über den Azimutwinkel θ des Objekts 2 zusammen mit der empfangenen Dopplerinformation ausgenutzt wird, um den Elevationswinkel ε genau zu berechnen. Der Azimutwinkel θ des Objekts 2 wird durch digitales Beamforming an mehrere horizontale Antennen des Radarsensors 3 bestimmt. Ist der Elevationswinkel ε des Objekts 2 einmal berechnet, kann die Höhe h_t des Objekts 2 aus dem Elevationswinkel ε des Objekts 2 und dem radialen Abstand R vom Radarsensor 3 zum Objekt 2, wie in Gleichung (10) angegeben, ermittelt werden.
• Zur Bestimmung der Höhe h_t des Objekts 2 mittels eines so genannten „Doppler-Beam-Sharpening-Algorithmus“ wird die berechnete Doppler-Verschiebung der empfangenen Signal- und Azimutwinkelinformation zusammen mit der Eigenbewegungsinformation des Fahrzeugs 1 wie zuvor beschrieben derart kombiniert, dass der Elevationswinkel ε des Objekts 2 ermittelt wird. Der Azimutwinkel θ des Objekts 2 wird mittels digitalen Beamforming an mehrere horizontale Antennen des Radarsensors 3 bestimmt.
• Hierzu werden zuerst Objekte 2 erkannt und extrahiert. Um dies zu erreichen, wird eine grobe 3D-Fast-Fourier-Transformation an dem empfangenen Pulssignal des Radarsensors 3 durchgeführt, wobei Ausgangsentfernungs-, Ausgangswinkel- und Ausgangs-Doppler-Schätzungen bereitgestellt werden.
• Anschließend wird eine 2D-Zellen-Mittelwert-Konstante-Fehlalarmrate (= CA-CFAR) auf einen Ausgang der 3D-Fast-Fourier-Transformation zur Spitzenwerterfassung angewendet. Danach werden die festgestellten Spitzenwerte, auch als Peaks bezeichnet, zusammengeführt und die Objekte 2 mithilfe eines so genannten „Density-Based Spatial Clustering of Applications with Noise“ (DBSCAN) extrahiert. Anschließend wird mit einem aus „J. Li and P. Stoica: Efficient mixed-spectrum estimation with applications to target feature extraction; Signal Processing, IEEE Transactions on, vol. 44, no. 2, pp. 281-295, 1996" bekannten 3D-Rekursiven-Fourier-Transformation „RELAX“ eine feinere 3D-Spektralschätzung des Pulssignals berechnet. Schließlich erfolgt die Ermittlung der Höhe h_t des Objekts 2 basierend auf von RELAX erhaltenen 3D-Parametern und dem Geometriemodell des „Doppler-Beam-Sharpening-Algorithmus“.
• Die Ermittlung der Höhe h_t des Objekts 2 mittels des „Doppler-Beam-Sharpening-Algorithmus“ kann somit in vier Hauptschritte zusammengefasst werden:
• Schritt 1: Grobe 3D-Paramterschätzung;
• Schritt 2: Peakerkennung und Objektextraktion;
• Schritt 3: Hochauflösende 3D-Paramterschätzung;
• Schritt 4: Objekthöhenermittlung.
• Um eine genaue Objekthöhenermittlung mittels des „Doppler-Beam-Sharpening-Algorithmus“ zu realisieren, müssen die 3D-Objektparameter so genau wie möglich geschätzt werden. Hierfür ist ein dreidimensionaler RELAX-Algorithmus implementiert, um eine hohe Auflösung und eine genaue Winkel- und Dopplerschätzung zu ermöglichen. Nach der Objektextraktion wird mittels 3D-RELAX aus dem Pulssignal gemäß Gleichung (7) eine hochauflösende dreidimensionale spektrale Leistungsdichte erzeugt.
• RELAX ist dabei ein parametrischer Algorithmus mit hoher Auflösung, der auf einem nichtlinearen Regressionsmodell beruht, um die in einem Signal vorhandenen Frequenzen sowie ihre jeweiligen Amplituden zu schätzen. Um den 3D-Parameter der extrahierten K Objekte 2 zu schätzen, nimmt RELAX an, dass das empfangene Radarsignal S_IF (n, l, m) als die Summe mehrerer gewichteter komplexer Exponentiale zuzüglich Rauschen modelliert werden kann. Somit kann das empfangene Radarsignal S_IF (n, l, m) durch folgendes Modell beschrieben werden: $$y_{n,l,m}={\displaystyle \sum _{k=1}^K{\alpha }_k{e}^{j2\pi f_{k}n}{e}^{j2\pi f{\text{'}}_{k}l}{e}^{j2\pi f\text{'}{\text{'}}_{k}m}+e_{n,l,m.}}$$

  
• Dabei ist n = 0; 1; ...; N - 1, l = 0; 1; ...; L - 1 und m = 0; 1; ...; M - 1, wobei L eine Anzahl von empfangenen Kanälen, N eine Anzahl von Samples pro Chirp und M eine Anzahl von Rampen pro Frame bezeichnet. Die Variable a_K bezeichnet die unbekannte komplexe Amplitude und f_k, f'_k, f''_k bezeichnen die unbekannten Bereichs-, Winkel- und Dopplerfrequenzen der k-ten Harmonischen, für k = 1; 2; ...; K. e_n,l,m beschreibt das Rauschen. Die sinusförmigen Parameter $\widehat{f_k},\widehat{f{\text{'}}_k,}\widehat{f\text{'}{\text{'}}_k},$

  

  α_k können durch rekursives Minimieren der folgenden nichtlinearen Kleinste-Quadrate-Kostenfunktion ermittelt werden: $$C_l{\left(\left\{f_i,f{\text{'}}_i,f\text{'}{\text{'}}_i,{\alpha }_i\right\}\right)}_{i=0}^K={\left|\left|y-{\displaystyle \sum _{k=1}^K{\alpha }_{k}W\left(f_k\right)}\right|\right|}^2,$$

  

  wobei $\left||\dots |\right|$

  

  der euklidische Betrag, y das dreidimensionale NxLxM Pulssignal in Gleichung (7) und W(f_k) = [W_n,l,m] ein Tensor dritter Ordnung ist, so dass $$W_{n,l,m}=w_n\left(f_k\right)w_n\left(f{\text{'}}_k\right)w_n\left(f\text{'}{\text{'}}_k\right)$$

  

  ist, wobei w_n(f_k)w_n(f'_k)w_n(f"_k) gegeben sind durch $$\begin{array}{c}{w}_n\left(f_k\right)={\left[1e^{j2\pi f_k}\dots e^{j2\pi f_k\left(N-1\right)}\right]}^T,\\ w_n\left(f{\text{'}}_k\right)={\left[1e^{j2\pi f_k^{\text{'}}}\dots e^{j2\pi f_k^{\text{'}}\left(L-1\right)}\right]}^T,\\ w_n\left(f\text{'}{\text{'}}_k\right)={\left[1e^{j2\pi f_k^{\text{'}\text{'}}}\dots e^{j2\pi f_k^{\text{'}\text{'}}\left(M-1\right)}\right]}^T.\end{array}$$

  
• Es sei y_k gegeben durch $$y_K=y-{\displaystyle \sum _{i=\mathrm{0,}i\ne k}^K{\widehat{\alpha }}_{i}W\left({\widehat{f}}_i\right),}$$

  

  wobei ${\left\{{\widehat{f}}_i,{\widehat{\alpha }}_i\right\}}_{i=\mathrm{1,}i\ne k}^K$

  

  angenommen wird und die Kostenfunktion gemäß Gleichung (13) bezüglich f_k und α_k minimiert wird. Somit ergibt sich: $$\left({\widehat{f}}_k,{\widehat{f}}_k^{\text{'}},{\widehat{f}}_k^{\text{'}\text{'}}\right)=\underset{f_k,f_k^{\text{'}},f_k^{\text{'}\text{'}}}{{\displaystyle \text{max}}}{\left|<W\ast \left(f_k\right),y_k>\right|}^2$$

  

  und $$\widehat{{\alpha }_k}=\frac{1}{NLM}<W\ast \left(f_k\right),y_k>.$$

  
• Dabei ist <...> die Summe aller elementweisen Produkte. Die Schätzung von $\left({\widehat{f}}_k,{\widehat{f}}_k^{\text{'}},{\widehat{f}}_k^{\text{'}\text{'}}\right)$

  

  kann als Ort des dominanten Peaks des Periodogramms bzw. Wellenschaubilds ermittelt werden, wobei das Periodogramm effizient mittels der 3D-Fast-Fourier-Transformation des Datenkubus y_k unter Verwendung einer Auffüllung mit Nullen berechnet werden kann.
• Somit ist es möglich, den Abstand R vom Radarsensor 3 zum Objekt 2 mit $$R=\frac{f_k{f}_{s}cT}{2B},$$

  

  den Azimutwinkel θ des Objekts 2 mit $$\theta =\text{arcsin}\left(\frac{f_k^{\text{'}}\lambda }{d}\right)$$

  

  und die Radialgeschwindigkeit v_r mit $$v_r=f_k^{\text{'}\text{'}}\frac{c}{2f_{c}T}$$

  

  aus $\left({\widehat{f}}_k,{\widehat{f}}_k^{\text{'}},{\widehat{f}}_k^{\text{'}\text{'}}\right)$

  

  zu extrahieren, wobei c die Lichtgeschwindigkeit, f_s die Samplingfrequenz und B die Radarbandbreite beschreibt.
• Bezugszeichenliste

1

Fahrzeug

2

Objekt

3

Radarsensor

h_s

Sensorhöhe

h_t

Höhe

R

Abstand

v

Geschwindigkeit

v_r

Radialgeschwindigkeit

v_s

Sensorgeschwindigkeit

v_x

Geschwindigkeitskomponente

v_y

Geschwindigkeitskomponente

w

Gierrate

x

Achse

x'

Achse

y

Achse

y'

Achse

β

Sensor-Montagewinkel

ε

Elevationswinkel

θ

Azimuthwinkel

θ_s

Sensor-Azimutwinkel

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102015009382 A1 [0002]
• Zitierte Nicht-Patentliteratur
• „J. Li and P. Stoica: Efficient mixed-spectrum estimation with applications to target feature extraction; Signal Processing, IEEE Transactions on, vol. 44, no. 2, pp. 281-295, 1996“ [0028]

Claims (1)

1. Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten (2) in einer Fahrzeugumgebung, wobei - die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug (1) angeordneten Radarsensors (3) erfasst wird und - bei einer Ermittlung und/oder Klassifizierung einer Höhe (h_t) eines Objekts (2) anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor (3) ausgesendeten und einem vom Objekt (2) reflektierten Radarsignal Dopplerinformationen erzeugt werden, dadurch gekennzeichnet, dass - die Ermittlung und/oder Klassifizierung der Höhe (h_t) des Objekts (2) mittels zumindest eines trainierten neuronalen Netzes durchgeführt wird, wobei - ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden.

Images