DE102020211905A1

DE102020211905A1 - Zusammengesetzte panorama-sichtsysteme für ein arbeitsfahrzeug

Info

Publication number: DE102020211905A1
Application number: DE102020211905.8A
Authority: DE
Inventors: Nathaniel M. Czarnecki; John M. Hageman; Michael G. Kean
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2019-10-29
Filing date: 2020-09-23
Publication date: 2021-04-29
Also published as: US10882468B1; CN112752068A

Abstract

Ein zusammengesetztes Panorama-Sichtsystem, das an Bord eines Arbeitsfahrzeugs verwendet wird, beinhaltet ein Anzeigegerät, eine am Fahrzeug angebrachte Kameraanordnung und eine Steuerung. Die am Fahrzeug montierte Kameraanordnung wiederum beinhaltet erste und zweite Fahrzeugkameras, die teilweise überlappende Sichtfelder aufweisen und positioniert sind, um erste bzw. zweite Kamera-Feeds der Außenumgebung des Arbeitsfahrzeugs von verschiedenen ersten Blickwinkeln zu erfassen. Während des Betriebs des zusammengesetzten Panorama-Sichtsystems empfängt die Steuerung den ersten und zweiten Kamera-Feed von der ersten bzw. zweiten Kamera; erzeugt ein zusammengesetztes Panoramabild der Außenumgebung des Arbeitsfahrzeugs aus mindestens dem ersten und zweiten Kamera-Feed; und stellt dann das zusammengesetzte Panoramabild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs dar.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Nicht zutreffend.
ANGABE ÜBER STAATLICH GEFÖRDERTE FORSCHUNG UND ENTWICKLUNG
Nicht zutreffend.
GEBIET DER OFFENBARUNG
Diese Offenbarung bezieht sich auf Ausführungsformen eines Arbeitsfahrzeug-Sichtsystems, das zusammengesetzte Panoramabilder der Umgebung eines Arbeitsfahrzeugs aus mehreren Kamera-Feeds erzeugt, die von einer am Fahrzeug montierten Kameraanordnung erfasst werden.
HINTERGRUND DER OFFENBARUNG
Arbeitsfahrzeuge, die in Bauwesen, Land- und Forstwirtschaft, Bergbau und anderen Branchen verwendet werden, arbeiten häufig in anspruchsvollen Arbeitsumgebungen. Bediener müssen solche Arbeitsfahrzeuge häufig sorgfältig zu navigieren, während sie verschiedene Aufgaben ausführen und umgebende Strukturen, benachbarte Arbeitsfahrzeuge und andere Hindernisse vermeiden müssen. Ein gegebenes Arbeitsfahrzeug kann eine große und komplexe Maschine sein, die ein relativ hohes Maß an Bedienerfähigkeit erfordert, um die verschiedenen Funktionen des Arbeitsfahrzeugs zu steuern, in vielen Fällen einschließlich der Bewegung von an den Ausleger montierten Anbaugeräten oder anderen Endeffektoren. Gleichzeitig kann die Sicht von der Bedienerstation oder Kabine des Arbeitsfahrzeugs durch das Fahrgestell des Arbeitsfahrzeugs, durch die Positionierung einer Schaufel oder eines anderen Endeffektors relativ zur Kabine und durch andere visuelle Hindernisse eingeschränkt werden. Aus diesem Grund sind bestimmte Arbeitsfahrzeuge jetzt mit kamerabasierten Anzeigesystemen oder „Sichtsystemen“ ausgestattet, die Bedienern einen relativ freien Blick auf die Außenumgebung eines Arbeitsfahrzeugs ermöglichen. Als ein spezifisches Beispiel kann ein Arbeitsfahrzeug mit einem Sichtsystem ausgestattet sein, das einem Bediener einen Blick auf die Umgebung im Allgemeinen hinter dem Arbeitsfahrzeug bereitstellt, wie es auf einem Anzeigebildschirm innerhalb der Kabine des Arbeitsfahrzeugs dargestellt wird. Dies verbessert nicht nur die Effizienz des Bedieners und das Situationsbewusstsein, indem eine ungehinderte Rückansicht der Umgebung des Arbeitsfahrzeugs bereitgestellt wird, sondern kann auch den Bedienerkomfort verbessern, indem es dem Bediener ermöglicht wird, in einer nach vorne gerichteten Position sitzen zu bleiben, während er den Bildschirm schaut und das Arbeitsfahrzeug rückwärts bedient.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es werden zusammengesetzte Panorama-Sichtsysteme für ein Arbeitsfahrzeug offenbart, die zusammengesetzte Panoramabilder aus Kamera-Feeds erzeugen, die von einer an einem Arbeitsfahrzeug montierten Kameraanordnung erfasst werden. In Ausführungsformen beinhaltet das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug ein Anzeigegerät, das innerhalb einer Bedienerstation des Arbeitsfahrzeugs verwendet wird, eine am Fahrzeug montierte Kameraanordnung und eine Steuerung. Die am Fahrzeug montierte Kameraanordnung wiederum beinhaltet eine erste Fahrzeugkamera, die an dem Arbeitsfahrzeug montiert ist, ein erstes Sichtfeld (Field of View - FOV) aufweist und positioniert ist, um einen ersten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs aus einem ersten Blickwinkel zu erfassen. Die Kameraanordnung beinhaltet auch eine zweite Fahrzeugkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites FOV aufweist, das sich teilweise mit dem ersten FOV überlappt, und positioniert ist, um einen zweiten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs aus einem zweiten Blickwinkel zu erfassen. Die Steuerung ist betriebsfähig mit dem Anzeigegerät, der ersten Fahrzeugkamera und der zweiten Fahrzeugkamera gekoppelt. Die Steuerung ist konfiguriert, um: (i) den ersten und den zweiten Kamera-Feed von der ersten bzw. der zweiten Fahrzeugkamera zu empfangen; (ii) ein konsolidiertes Panoramabild der Außenumgebung des Arbeitsfahrzeugs aus mindestens dem ersten und dem zweiten Kamera-Feed zu erzeugen; und (iii) das konsolidierte Panoramabild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs darzustellen.
In weiteren Ausführungsformen beinhaltet das zusammengesetzte Panorama-Sichtsystem eine fahrzeugmontierte Kameraanordnung, die Folgendes enthält: (i) eine rechte Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein erstes Sichtfeld aufweist und positioniert ist, um einen rechten Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; (ii) eine zentrale Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites Sichtfeld aufweist, das mit dem ersten Sichtfeld überlappt, und positioniert ist, um einen zentralen Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; und (iii) eine linke Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein drittes Sichtfeld aufweist, das mit dem zweiten Sichtfeld überlappt, und positioniert ist, um einen linken Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen. Eine Steuerung ist betriebsfähig mit der rechten Fahrzeugrückfahrkamera, der zentralen Fahrzeugrückfahrkamera, der linken Fahrzeugrückfahrkamera und einem Anzeigegerät gekoppelt, die sich innerhalb der Kabine eines Arbeitsfahrzeugs befindet, das mit dem zusammengesetzten Panorama-Sichtsystem ausgestattet ist. Die Steuerung ist konfiguriert, um ein konsolidiertes Panorama-Rückfahrbild der Außenumgebung des Arbeitsfahrzeugs mithilfe von Bildern zu erzeugen, die aus den rechten, zentralen und linken Fahrzeugrückfahrkamera-Feeds extrahiert werden. Während des Betriebs des zusammengesetzten Panorama-Sichtsystems des Arbeitsfahrzeugs stellt die Steuerung das konsolidierte Panorama-Rückfahrbild auf dem Anzeigegerät zur Betrachtung durch einen Bediener des Arbeitsfahrzeugs dar.
Die Details einer oder mehrerer Ausführungsformen sind in den beigefügten Zeichnungen sowie in der nachstehenden Beschreibung festgelegt. Andere Eigenschaften und Vorteile werden aus der Beschreibung und den Zeichnungen sowie aus den Ansprüchen ersichtlich.
Figurenliste
Mindestens ein Beispiel der vorliegenden Offenbarung wird nachstehend in Verbindung mit den folgenden Figuren beschrieben:

1 ist eine Draufsicht oder Grundrissansicht von oben eines Arbeitsfahrzeugs (hier eines Radladers), das mit einer beispielhaften Ausführungsform des zusammengesetzten Panorama-Sichtsystems ausgestattet ist;
2 ist eine schematische Darstellung des beispielhaften zusammengesetzten Panorama-Sichtsystems, das an Bord des in 1 gezeigten Arbeitsfahrzeug eingesetzt ist und eine Steuerung, ein Anzeigegerät und eine hochgradig verteilte Kameraanordnung beinhaltet;
Die 3 und 4 sind linke bzw. rechte Seitenansichten des in den 1-2 gezeigten Radladers, die mögliche räumliche Anordnungen der am Fahrzeug montierten Kameras darstellen, die in der hochgradig verteilten Kameraanordnung enthalten sind;
5 ist ein Flussdiagramm, das einen beispielhaften Prozess darstellt, der in geeigneter Weise durch die Steuerung des in den 1-4 gezeigten zusammengesetzten Panorama-Sichtsystems ausgeführt wird; und
6 veranschaulicht ein beispielhaftes Szenario, in dem drei Kamera-Feeds, die von verschiedenen Fahrzeugkameras erfasst werden, die in der hochgradig verteilten Kamera enthalten sind, visuell kombiniert oder konsolidiert werden können, um ein zusammengesetztes Panoramabild zu ergeben, das dann auf einem Anzeigegerät des zusammengesetzten Panorama-Sichtsystems dargestellt wird.

Gleiche Referenzsymbole in den unterschiedlichen Zeichnungen bezeichnen gleiche Elemente. Aus Gründen der Einfachheit und Klarheit der Darstellung können Beschreibungen und Details bekannter Merkmale und Techniken weggelassen werden, um unnötiges Verdecken der in der nachfolgenden detaillierten Beschreibung beschriebenen beispielhaften und nicht einschränkenden Ausführungsformen der Erfindung zu vermeiden. Es versteht sich ferner, dass Merkmale oder Elemente, die in den begleitenden Figuren erscheinen, nicht zwangsläufig maßstabsgetreu gezeichnet sind, sofern nicht anders vermerkt.
AUSFÜHRLICHE BESCHREIBUNG
Die Ausführungsformen der vorliegenden Offenbarung sind in den beigefügten Figuren der vorstehend kurz beschriebenen Zeichnungen dargestellt. Verschiedene Abwandlungen der beispielhaften Ausführungsformen können von Fachleuten in Betracht gezogen werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen, wie in den beigefügten Ansprüchen festgelegt. Wie hier dargestellt, werden der Begriff „Außenumgebung“ und der Begriff „Umgebung“ austauschbar verwendet, um sich allgemein auf eine Arbeitsumgebung oder einen Arbeitsbereich zu beziehen, die/der sich außerhalb eines Arbeitsfahrzeugs befindet, unabhängig davon, ob sie/er sich im Allgemeinen vorne, seitlich oder hinten am Arbeitsfahrzeug oder einer beliebigen Kombination davon befindet. Ferner bezieht sich der Begriff „Anzeige“ auf das zusammengesetzte Bildmaterial oder „Bilder“, die auf dem Bildschirm eines Anzeigegeräts erzeugt werden, während sich der Begriff „Anzeigegerät“ auf eine Bilderzeugungsvorrichtung bezieht, auf der eine Anzeige dargestellt wird, wie etwa die nachstehend beschriebene zusammengesetzte Panoramaanzeige.
ÜBERSICHT
Wie zuvor erwähnt, können bestimmte Arbeitsfahrzeuge mit Sichtsystemen ausgestattet sein, einschließlich mehrerer Kameras, die es einem Bediener ermöglichen, unter verschiedenen Kamera- (Live-Video-)Feeds der Arbeitsfahrzeugumgebung zur Betrachtung durch den Bediener auf einem Anzeigegerät innerhalb der Kabine des Arbeitsfahrzeugs auszuwählen. Solche Multi-Kamera-Sichtsysteme sind im Zusammenhang mit Arbeitsfahrzeugen angesichts der relativ großen Größe vieler Arbeitsfahrzeuge, der Komplexität beim Betrieb von Arbeitsfahrzeugen, die mehrere Arbeitsfunktionen gleichzeitig ausführen können, und der dynamischen Umgebung, in der Arbeitsfahrzeuge häufig betrieben werden, besonders nützlich. Die Einbeziehung mehrerer Kameras in das Sichtsystem stellt somit einem Bediener eine größere Flexibilität bereit, um einen Kamera-Feed auszuwählen, der eine optimale Ansicht der Außenumgebung des Arbeitsfahrzeugs bereitstellt, die für bestimmte Umstände oder zum Durchführen einer bestimmten Arbeitsaufgabe am besten geeignet ist. Zum Beispiel kann ein Bediener in vielen Fällen mit dem Multi-Kamera-Sichtsystem interagieren, um einen Kamera-Feed auszuwählen, der eine bessere Ansicht eines entsprechenden Bereichs innerhalb der Umgebung des Arbeitsfahrzeugs bietet, wobei dem ausgewählten Kamera-Feed möglicherweise visuelle Hindernisse oder Hindernisse fehlen, die in den anderen Kamera-Feeds vorhanden sind, die von dem Sichtsystem erfasst werden.
Üblicherweise stellt ein Arbeitsfahrzeug-Sichtsystem zu einem bestimmten Zeitpunkt typischerweise einen einzelnen Kamera-Feed (d. h. die Bilder, die von einer einzelnen Fahrzeugkamera erfasst werden) auf einem Anzeigegerät dar. Somit kann in Fällen, in denen das Arbeitsfahrzeug-Sichtsystem mehrere Fahrzeugkameras enthält, von einem Bediener gewünscht werden, zwischen den verfügbaren Kamera-Feeds umzuschalten oder durch diese zu scannen, wie auf dem Anzeigegerät angezeigt, um die Lageerkennung für den Inhalt, der in allen verfügbaren Kamera-Feeds des Sichtsystems enthalten ist, aufrechtzuerhalten. Dies erhöht nicht nur die Arbeitsbelastung des Bedieners, sondern erhöht auch die Wahrscheinlichkeit, dass ein Bediener Inhalte, die in einem bestimmten Kamera-Feed enthalten sind, nicht kennt, wenn sie aktuell nicht auf dem Anzeigegerät angezeigt werden. Selbstverständlich ist es möglich, mehrere Kamera-Feeds gleichzeitig auf dem Anzeigegerät darzustellen, beispielsweise in einem Seite-an-Seite-, Raster- oder Bild-in-Bild-Format. Ein solcher Ansatz ist jedoch auch insofern nachteilig, da die in den Kamera-Feeds enthaltene Bilder, die auf dem Anzeigegerät angezeigt werden, je nach den jeweiligen Sichtfeldern (FOVs) der Fahrzeugkameras visuell unzusammenhängend und redundant sein können. Folglich kann eine gleichzeitige Darstellung oder Anzeige mehrerer Kamera-Feeds in visuell unterschiedlichen Fenstern oder Bereichen des Anzeigegeräts das schnelle visuelle Verständnis durch den Bediener beeinträchtigen und die Nutzung des verfügbaren Anzeigebereichs des Bildschirms des Anzeigegeräts nicht optimieren. Als weitere Einschränkung im Zusammenhang mit bestehenden Arbeitsfahrzeug-Sichtsystemen kann das Sichtfeld einer einzelnen Fahrzeugkamera unerwünscht eingeschränkt werden, insbesondere wenn man bedenkt, dass Arbeitsfahrzeuge häufig in relativ ausgedehnten Arbeitsumgebungen betrieben werden, in denen Querverkehr, verschiedene andere Hindernisse (sowohl beweglich als auch stationär) und unregelmäßige Geländetopologien vorhanden sind. Obwohl es möglich ist, die Fahrzeugkameras mit Weitwinkelobjektiven auszustatten, neigen solche Objektive dazu, die von den Fahrzeugkameras aufgenommenen visuellen Bilder zu verzerren und können immer noch unerwünscht begrenzte Sichtfelder bereitstellen. Somit besteht nach wie vor eine Nachfrage der Branche nach Multi-Kamera-Sichtsystemen für Arbeitsfahrzeuge, die in der Lage sind, Bedienern relativ umfassende Ansichten der Umgebung eines Arbeitsfahrzeugs bereitzustellen, während gleichzeitig die Arbeitsbelastung des Bedieners reduziert wird, wenn während des Betriebs des Arbeitsfahrzeugs durch mehrere Kamera-Feeds navigiert wird.
Um diese industrielle Anforderung zu erfüllen, offenbaren die folgenden Arbeitsfahrzeug-Sichtsysteme, die zusammengesetzte Panoramabilder aus mehreren Kamera-Feeds erzeugen, die von einer am Fahrzeug montierten Kameraanordnung, wie etwa einer hochgradig verteilten Kameraanordnung der nachstehend beschriebenen Art, erfasst werden. In Ausführungsformen beinhaltet das zusammengesetzte Panorama-Sichtsystem mehrere Kameras, die strategisch an verschiedenen Positionen an oder um ein Arbeitsfahrzeug herum montiert sind, um Kamera- (Live-Video-) Feeds der Außenumgebung des Arbeitsfahrzeugs von mehreren Blickwinkeln oder Betrachtungswinkeln aufzunehmen. Die am Fahrzeug montierten Kameras (oder einfacher „Fahrzeugkameras“) können jeweils einen beliebigen gewünschten Abschnitt oder einen beliebigen Bereich der Umgebung eines Arbeitsfahrzeugs erfassen, unabhängig davon, ob sie sich im Allgemeinen an der Vorderseite, an einer Seite oder an der Rückseite des Arbeitsfahrzeugs befinden. In vielen Ausführungsformen beinhaltet die am Fahrzeug montierte Kameraanordnung mindestens eine Rückfahrkamera; und in bestimmten Implementierungen kann die Kameraanordnung zwei oder mehr Rückfahrkameras beinhalten, die Feeds bereitstellen, von denen eine Steuerung des Sichtsystems ein Panoramabild der Arbeitsumgebung im Allgemeinen hinter dem Arbeitsfahrzeug erzeugt. Wie hier dargestellt, bezieht sich der Begriff „Fahrzeugrückfahrkamera“ auf eine Kamera, die zumindest teilweise zur Rückseite eines Arbeitsfahrzeugs zeigt und daher ein Sichtfeld aufweist, das einen Bereich oder eine Region erfasst, der/die sich zumindest teilweise hinter dem Arbeitsfahrzeug befindet, unabhängig von dem jeweiligen Ort, an dem die Kamera an dem Arbeitsfahrzeug montiert ist. Um ein spezifischeres, wenn auch nicht einschränkendes Beispiel bereitzustellen, können Ausführungsformen des zusammengesetzten Panorama-Sichtsystems für ein Arbeitsfahrzeug rechte, zentrale und linke Fahrzeugrückfahrkameras beinhalten; wobei die Begriffe „rechts“, „zentral“ und „links“ hierin ferner in Bezug auf die Ausrichtung eines Bedieners definiert sind, wenn er in der Bedienerstation (z. B. Kabine) des Arbeitsfahrzeugs in einer nach vorne gerichteten Position sitzt.
Wie oben angegeben, kann die Kameraanordnung des zusammengesetzten Panorama-Sichtsystems in bestimmten Fällen als „hochgradig verteilt“ bezeichnet werden. Wie hierin verwendet, bedeutet der Begriff „hochgradig verteilt“, dass mindestens zwei Fahrzeugkameras innerhalb der Kameraanordnung an verschiedenen Stellen an einem Arbeitsfahrzeug montiert und durch ein oder mehrere dazwischenliegende strukturelle Merkmale des Arbeitsfahrzeugs getrennt sind, die eine Sichtlinie (line of sight - LOS) zwischen den Fahrzeugkameras blockieren; der Begriff „Sichtlinie“ wird verwendet, um sich auf eine hypothetische gerade Linie zu beziehen, die zwischen einem gegebenen Paar von Kameras in einem dreidimensionalen Raum gezeichnet ist, und nicht auf die jeweiligen Kamera-Sichtfelder. Beispielsweise kann im Falle einer hochgradig verteilten Kameraanordnung, die mindestens zwei Fahrzeugrückkameras enthält, eine Sichtlinie (und im Allgemeinen alle Sichtlinien) zwischen den Fahrzeugkameras durch Seitenwände des Motorraumgehäuses, der Fahrerkabine oder ähnliche strukturelle Merkmale des Arbeitsfahrzeugs blockiert werden. Angesichts der relativ komplexen Geometrie und Größe vieler Arbeitsfahrzeuge sowie des Wunsches, einen relativ breiten Kamera-zu-Kamera-Abstand bereitzustellen, um die Umgebung von verschiedenen Blickwinkeln mit reduzierten visuellen Belastungen der Arbeitsfahrzeugmerkmale zu erfassen, kann eine solche Sichtlinien-Interferenz zwischen den Kameras im Zusammenhang mit den am Arbeitsfahrzeug angebrachten Kameraanordnungen auftreten. In dieser Hinsicht kann es der Fall sein, dass die erste und die zweite Kamera, die in der hochgradig verteilten Kameraanordnung enthalten sind, einen Kamera-zu-Kamera-Abstand von mehr als 1 Meter aufweisen; und in Ausführungsformen möglicherweise im Bereich von etwa 1,5 Metern bis etwa 5 Metern liegen. Ferner kann die Kameraanordnung in bestimmten Fällen mindestens eine rechte Fahrzeugrückfahrkamera und mindestens eine linke Fahrzeugrückfahrkamera beinhalten, wobei sich die rechte und die linke Fahrzeugrückfahrkamera näher an rechten bzw. linken Hinterrädern des Arbeitsfahrzeugs als an der Längsachse des Arbeitsfahrzeugs befinden. Eine zusätzliche Beschreibung möglicher Anordnungen der Fahrzeugkameras, die in der hochgradig verteilten Kameraanordnung enthalten sind, wird im Folgenden in Verbindung mit den 3 und 4 dargelegt.
Technische Herausforderungen treten auf, wenn ein zusammengesetztes Panoramabild mit einem relativ ausgedehnten Sichtfeld aus mehreren Kamera-Feeds erzeugt wird, die von Kameras erfasst werden, die in einer hochgradig verteilten Kameraanordnung angeordnet sind, während visuelle Abweichungen, die in dem zusammengesetzten Panoramabild vorhanden sind, minimiert werden. Um solche visuellen Abweichungen zu minimieren und die Integrität des zusammengesetzten Panoramabildes zu maximieren, können unterschiedliche Bildkonsolidierungs- oder „Stitching“-Verfahren von einer Steuerung des zusammengesetzten Panorama-Sichtsystems des Arbeitsfahrzeugs verwendet werden, wenn das zusammengesetzte Panoramabild aus den Fahrzeugkamera-Feeds erzeugt wird. Beispielsweise können die Fahrzeugkameras in bestimmten Implementierungen stereoskopische Kameras sein, die in der Lage sind, kameraspezifische dreidimensionale (3D-) Bilddaten zu erfassen, oder sie können anderweitig in der Lage sein, Tiefenmessungen für physische Objekte in den Kamera-Sichtfeldern bereitzustellen (hier auch als „kameraspezifische 3D-Bilddaten“ betrachtet). In solchen Ausführungsformen kann die Steuerung die 3D-Bilddaten verwenden, um das zusammengesetzte Panoramabild zur Darstellung auf einem Anzeigegerät innerhalb der Arbeitsfahrzeugkabine zu erzeugen. Beispielsweise kann die Steuerung in einem Ansatz eine 3D-visuelle Karte oder Matrix der Bereiche konstruieren, in denen die Kamera-Sichtfelder überlappen oder zusammenfallen (hier die „Sichtfeld-Überlappungsbereiche“), und dann die 3D-visuelle Karte verwenden, um die Kamera-Feeds basierend auf der Position (Pixelkoordinaten) von unterschiedlichen visuellen Merkmalen innerhalb der 3D-visuellen Karte räumlich auszurichten. Die Steuerung stellt dann eine konsolidierte Panoramaanzeige, die das konsolidierte Panoramabild und möglicherweise andere visuelle Elemente (z. B. Symbole der grafischen Benutzerschnittstelle (GUI) des nachfolgend erörterten Typs) beinhaltet, auf einem Anzeigegerät innerhalb der Kabine des Arbeitsfahrzeugs zum Betrachten durch den Fahrzeugführer dar.
Vorteilhafterweise neigt ein solcher 3D-Bildkonsolidierungsansatz dazu, ein zusammengesetztes Panoramabild mit hoher Genauigkeit und ohne visuelle Abweichungen mit relativ bescheidenen Kalibrierungsanforderungen zu erzeugen. Ein solcher Ansatz beruht jedoch auf der Fähigkeit des zusammengesetzten Panoramabildsystems, 3D-Bilddaten von Objekten zu erfassen, die sich bei den Sichtfeld-Überlappungsbereichen befinden. Das Ausrüsten des zusammengesetzten Panoramabildsystems in mehreren stereoskopischen Kameras (oder anderen Kameravorrichtungen, die kameraspezifische Tiefenmessungen erfassen können) ist nicht nur relativ kostspielig, sondern solche 3D-Bildkonsolidierungstechniken können auch unerwünscht hohe Verarbeitungsanforderungen an die Steuerung stellen. Zumindest aus diesen Gründen können andere Ausführungsformen des zusammengesetzten Panoramabildsystems eine zweidimensionale (2D) Bildkonsolidierungstechnik beim Konstruieren des zusammengesetzten Panoramabilds verwenden. Beispielsweise kann die Steuerung in einem Ansatz die Kamera-Feeds, die von mehreren Kameras erfasst werden, ausrichten, indem visuelle Merkmale innerhalb der Sichtfeld-Überlappungsbereiche ausgerichtet werden, wie sie entlang einer virtuellen 2D-Ebene (hier als „2D-Kalibrierungsebene“ bezeichnet) genommen werden, die sich orthogonal zur Längsachse des Arbeitsfahrzeugs erstreckt und von dem Arbeitsfahrzeug an einer Stelle beabstandet ist (z. B. dahinter angeordnet), die die Sichtfeld-Überlappungsbereiche schneidet. Vorteilhafterweise reduziert ein solcher 2D-Kalibrierungsebenenansatz die Verarbeitungsanforderungen an die Steuerung und macht eine Tiefenvergrößerung überflüssig, was den Einsatz kostengünstigerer monoskopischer Kameras ermöglicht. Als Kompromiss können jedoch visuelle Abweichungen innerhalb des konsolidierten Panoramabildes auftreten, wenn sich eine signifikante räumliche Disparität zwischen der Position von Objekten innerhalb der Kamera-Sichtfelder und der Position der 2D-Kalibrierungsebene im dreidimensionalen Raum entwickelt. Um solche visuellen Abweichungen zu reduzieren, kann die 2D-Kalibrierungsebene somit in Ausführungsformen des zusammengesetzten Panorama-Sichtsystems dynamisch oder beweglich sein. Insbesondere kann die Steuerung des zusammengesetzten Panorama-Sichtsystems in diesem letzteren Fall den Abstand zwischen der 2D-Kalibrierungsebene und dem Arbeitsfahrzeug wiederholt einstellen, zum Beispiel basierend auf der Position beliebiger Hindernisse, die hinter dem Arbeitsfahrzeug erkannt werden, wie nachfolgend näher beschrieben. Unabhängig von dem verwendeten Bildkonsolidierungsansatz können auch andere Bildverarbeitungstechniken verwendet werden, um die Qualität des zusammengesetzten Panoramabildes zu verbessern; z. B. können die Fahrzeugkameras auch intrinsisch kalibriert werden, um Radial- oder Tonnenverzerrungseffekte bei Bedarf zu entfernen.
Ausführungsformen des zusammengesetzten Panorama-Sichtsystems ermöglichen es einem Bediener ferner, bereit zu navigieren oder zwischen dem Betrachten der zusammengesetzten Panoramaanzeige und dem alternativen Betrachten beliebiger ausgewählter einzelner Kamera-Feeds auf dem Anzeigebildschirm des Anzeigegeräts umzuschalten. Beispielsweise kann das zusammengesetzte Panorama-Sichtsystem in Ausführungsformen, in denen das zusammengesetzte Panorama-Sichtsystem linke, mittlere und rechte Fahrzeugrückfahrkameras beinhaltet, die zusammengesetzte Panoramaanzeige erzeugen, um GUI-Symbole zu beinhalten, die von einem Bediener unter Verwendung einer Bedienerschnittstelle ausgewählt werden können, um das Sichtsystem auf die Darstellung eines einzelnen Kamera-Feeds umzustellen, der dem ausgewählten GUI-Symbol entspricht. Zum schnellen visuellen Verständnis können die Symbole als Kamerasymbole erzeugt werden, deren räumliche Anordnung auf dem Anzeigegerät der realen räumlichen Anordnung der Fahrzeugkameras entspricht. Beispielsweise kann in Ausführungsformen ein Kamerasymbol, das die linke Fahrzeugrückfahrkamera darstellt, in einem linken (z. B. Eck-) Bereich der zusammengesetzten Panoramaanzeige angezeigt werden, ein Kamerasymbol, das die zentrale Fahrzeugrückfahrkamera darstellt, kann in einem zentralen (z. B. unteren oder oberen) Bereich der Anzeige angezeigt werden, und ein Kamerasymbol, das die rechte Fahrzeugrückfahrkamera darstellt, kann in einem rechten (z. B. Eck-) Bereich der Anzeige angezeigt werden. Zusätzlich oder alternativ kann die Steuerung des zusammengesetzten Panorama-Sichtsystems konfiguriert sein, um als Reaktion auf das Auftreten bestimmter Bedingungen automatisch von der Darstellung der zusammengesetzten Panoramaanzeige zur Darstellung eines einzelnen Kamera-Feeds überzugehen. Beispielsweise kann die Steuerung in zumindest einigen Implementierungen des Sichtsystems automatisch von der Darstellung der zusammengesetzten Panoramaanzeige zur Darstellung eines einzelnen Kamera-Feeds auf dem Anzeigegerät übergehen (d. h. Übergang ohne Bedienereingabe), wenn bestimmt wird, dass sich ein erkanntes Hindernis relativ nahe am Arbeitsfahrzeug befindet; z. B. innerhalb einer proximalen Kalibrierungsebenengrenze, wenn eine 2D-Bildkonsolidierungstechnik angewendet wird, wie nachfolgend erörtert. Dabei kann die Steuerung ferner automatisch den einzelnen Kamera-Feed auswählen, der die optimale Ansicht des erkannten Hindernisses bereitstellt.
Auf die oben beschriebene Weise generiert das zusammengesetzte Panoramaanzeigesystem für ein Arbeitsfahrzeug ein zusammengesetztes Panoramabild der Umgebung des Arbeitsfahrzeugs, um das Situationsbewusstsein des Bedieners zu verbessern, während die Arbeitsbelastung des Bedieners im Zusammenhang mit dem Navigieren durch mehrere Kamera-Feeds reduziert wird. Eine beispielhafte Ausführungsform des zusammengesetzten Panorama-Sichtsystems für ein Arbeitsfahrzeug wird nun im Zusammenhang mit den 1-6 erörtert. Zur Erläuterung konzentriert sich das folgende Beispiel auf einen bestimmten Arbeitsfahrzeugtyp (einen Radlader), der mit drei Rückfahrkameras ausgestattet ist, deren Live-Video-Feeds verwendet werden, um ein konsolidiertes Panoramabild zu erzeugen, das auf einer beispielhaften zusammengesetzten Panoramaanzeige (möglicherweise zusammen mit anderen grafischen Elementen, wie etwa GUI-Symbolen) angezeigt wird. Ungeachtet des folgenden Beispiels wird betont, dass Ausführungsformen des zusammengesetzten Panorama-Sichtsystems in Verbindung mit verschiedenen Arten von Arbeitsfahrzeugen verwendet werden können; und ferner, dass die Fahrzeugkameras Ansichten von beliebigen Abschnitten oder Bereichen der Umgebung erfassen können, die ein Arbeitsfahrzeug umgeben oder benachbart dazu sind. Ferner wird die Beschreibung der Art und Weise, in der die zusammengesetzte Panoramaanzeige und die zugehörige GUI in dem veranschaulichten Beispiel erscheinen, rein als nicht einschränkende Veranschaulichung bereitgestellt; unter Hinweis darauf, dass das „Erscheinungsbild“ der GUI und der zusammengesetzten Panoramaanzeige zwangsläufig von Ausführungsform zu Ausführungsform variieren wird und an Kunden- oder Bedienerpräferenzen angepasst werden kann.
BEISPIELHAFTES ZUSAMMENGESETZTES PANORAMASICHTSYSTEM FÜR EIN ARBEITSFAHRZEUG
Unter gemeinsamer Bezugnahme auf die 1 und 2 wird eine beispielhafte Ausführungsform eines zusammengesetzten Panorama-Sichtsystems für ein Arbeitsfahrzeug 10 dargestellt. Das beispielhafte zusammengesetzte Panorama-Sichtsystem 10 ist als in einer bestimmten Art von Arbeitsfahrzeug integriert dargestellt, hier in einem Radlader 12, kann aber in weiteren Ausführungsformen in verschiedenen anderen Arten von Arbeitsfahrzeugen integriert sein. Der Radlader 12 beinhaltet ein Fahrgestell 14, das von vier Bodeneingriffsrädern 16 getragen wird und auf dem eine Bedienerstation oder Kabine 18 positioniert ist. Der beispielhafte Radlader 12 beinhaltet ferner eine vordere Schaufel 20, die mechanisch mit einem vorderen Abschnitt des Fahrgestells 14 durch eine Auslegerbaugruppe 22 verbunden ist. Ferner sind verschiedene andere Merkmale des Radladers 12 gezeigt, darunter ein Motorraum und eine umgebende Infrastruktur (hier als „Motorraumgehäuse 24“ bezeichnet) sowie vier Radkotflügel 26. Zusätzliche Strukturmerkmale des beispielhaften Radladers 12 werden ebenfalls im Folgenden in Verbindung mit den 3 und 4 dargelegt.
Das beispielhafte zusammengesetzte Panorama-Sichtsystem 10 beinhaltet drei Fahrzeugrückfahrkameras 28, 30, 32, die in einer hochgradig verteilten Kameraanordnung 34 angeordnet sind. Die Positionierung der Kameras 28, 30, 32 innerhalb der hochgradig verteilten Kameraanordnung 34 wird allgemein durch Kamerasymbole angezeigt, in 1 gezeigt, die zur visuellen Klarheit vergrößert sind. Wie allgemein veranschaulicht, kann die Fahrzeugkamera 28 an einem am weitesten links gelegenen Abschnitt des Radladers 12, wie etwa an oder angrenzend an den Radkotflügel 26 des linken Hinterrads 16 oder der linken Seitenwand des Motorraumgehäuses 24 des Radladers 12, montiert sein; die Fahrzeugkamera 30 kann an einem seitlich zentral gelegenen Abschnitt des Radladers 12, wie etwa an einer oberen Hinterkante des Motorraumgehäuses 24 oder unmittelbar hinter dem Motorraumgehäuse 24, montiert sein; und die Fahrzeugkamera 32 kann an einem am weitesten rechts gelegenen Abschnitt des Radladers 12, wie etwa an oder angrenzend an den Radkotflügel 26 des rechten Hinterrads 16 oder der rechten Seitenwand des Motorraumgehäuses 24 des Radladers 12, montiert sein. Wiederum werden diese und andere mögliche Kameraanordnungen im Folgenden in Verbindung mit den 3 und 4 dargelegt. Wie oben angemerkt, sind die Begriffe „links“, „zentral“ und „rechts“ und „rechts“ relativ zur Ausrichtung eines Bedieners definiert, wenn er in der Kabine 18 in einer nach vorne gerichteten Position sitzt. Angesichts der relativen Positionierung der Fahrzeugrückfahrkameras 28, 30, 32 wird die Kamera 28, die an dem am weitesten links gelegenen Abschnitt des Radladers 12 angebracht ist, im Folgenden als die „linke Fahrzeugrückfahrkamera 28“ bezeichnet. Die Kamera 28, die zentraler an dem Radlader 12 montiert ist, wird als die „zentrale Fahrzeugrückfahrkamera 30“ bezeichnet. Schließlich wird die Kamera 32, die am rechten Abschnitt des Radladers 12 angebracht ist, als „rechte Fahrzeugrückfahrkamera 32“ bezeichnet. Die Fahrzeugrückfahrkameras 28, 30, 32 weisen jeweils allgemein konische Sichtfelder 36, 38, 40 auf, die sich in den Sichtfeld-Überlappungsbereichen 42 (1) überlappen oder zusammenfallen.
Wie in der schematischen Darstellung von 1 gezeigt, können die linke Fahrzeugrückfahrkamera 28 und die rechte Fahrzeugrückfahrkamera 32 nach außen weg von der Karosserie des Radladers 12 abgewinkelt sein, um der Kameraanordnung 34 und damit dem unten beschriebenen zusammengesetzten Panoramabild 56 ein breiteres (weiteres Winkel-) Sichtfeld bereitzustellen. Die dargestellte Positionierung und Winkelausrichtung der Fahrzeugkameras 28, 30, 32 und der entsprechenden Kamerasichtfelder 36, 38, 40 ist lediglich beispielhaft vorgesehen. In alternativen Implementierungen können die Fahrzeugkameras 28, 30, 32 anderweitig positioniert sein, andere (z. B. breitere Winkel) einzelne Sichtfelder aufweisen oder es kann eine unterschiedliche Anzahl von Kameras vorhanden sein, vorausgesetzt, dass mindestens zwei Fahrzeugkameras in Ausführungsformen des zusammengesetzten Panorama-Sichtsystems 10 enthalten sind. Während im Folgenden hauptsächlich als Videokameras beschrieben, die Bilder erfassen, die in das sichtbare Band des elektromagnetischen Spektrums fallen, können auch andere Arten von Bildgebungsgeräten (z. B. Infrarotkameras) in alternativen Implementierungen in das zusammengesetzte Panorama-Sichtsystem 10 integriert werden, wobei die Bilder, die von solchen Geräten erfasst werden, auf der nachstehend beschriebenen zusammengesetzten Panoramaanzeige entsprechend angezeigt werden.
Die Fahrzeugrückfahrkameras 28, 30, 32 sind betriebsfähig an eine Steuerung 44 gekoppelt (d. h. in Signalkommunikation mit dieser), die ferner in dem zusammengesetzten Panorama-Sichtsystem 10 enthalten und in 2 schematisch dargestellt ist. Die Verbindungen zwischen den Fahrzeugrückfahrkameras 28, 30, 32 und der Steuerung 44 werden durch Signalkommunikationsleitungen 46 dargestellt, die entweder drahtlose oder drahtgebundene Datenverbindungen darstellen können. Die Steuerung 44 des zusammengesetzten Panorama-Sichtsystems 10 kann jede Form annehmen, die geeignet ist, die in diesem Dokument beschriebenen Funktionen zu erfüllen. Ferner wird der Begriff „Steuerung“, wie er hierin erscheint, in einem nicht einschränkenden Sinne verwendet, um sich allgemein auf die Verarbeitungsarchitektur des zusammengesetzten Panorama-Sichtsystems 10 zu beziehen. Die Steuerung 44 kann eine beliebige praktische Anzahl von Prozessoren (zentrale und grafische Verarbeitungseinheiten), Steuercomputer, Navigationsgeräte, einen computerlesbaren Speicher, Leistungsversorgungen, Speichergeräte, Schnittstellenkarten und andere standardisierte Komponenten beinhalten oder damit verbunden sein. Die Steuerung 44 kann auch eine beliebige Anzahl von Firmware- und Softwareprogrammen oder computerlesbaren Anweisungen enthalten oder mit diesen interagieren, die zur Ausführung der verschiedenen hier beschriebenen Prozessaufgaben, Berechnungen und Steuer-/Anzeigefunktionen dienen. Solche computerlesbaren Anweisungen können in einem nichtflüchtigen Sektor eines Speichers 50 gespeichert sein, der der Steuerung 44 zugeordnet ist. Während allgemein in 2 als ein einzelner Block veranschaulicht, kann der Speicher 50 eine beliebige Anzahl und Art von Speichermedien umfassen, die sich zur Speicherung eines computerlesbaren Codes oder von Anweisungen eignen, sowie sonstige Daten, die zur Unterstützung des Betriebs des zusammengesetzten Panorama-Sichtsystems 10 verwendet werden. Der Speicher 50 kann in Ausführungsformen wie beispielsweise einem System-in-Package, einem System-on-a-Chip oder einer anderen Art von mikroelektronischem Gehäuse oder Modul in die Steuerung 44 integriert sein.
Das zusammengesetzte Panorama-Sichtsystem 10 beinhaltet ferner eine Bedienerschnittstelle 48, die betriebsfähig mit der Steuerung 44 gekoppelt ist (in Signalkommunikation mit dieser ist). Wie allgemein in 2 veranschaulicht, kann die Bedienerschnittstelle 48 ein beliebiges Gerät oder Gruppe von Geräten sein, die von einem Bediener des Radladers 12 verwendet wird, um Daten in das zusammengesetzte Panorama-Sichtsystem 10 einzugeben oder es anderweitig zu steuern. In verschiedenen Implementierungen kann die Bedienerschnittstelle 48 in die nachstehend beschriebenen Anzeigegeräte 52 integriert oder anderweitig damit verbunden sein. In dieser Hinsicht kann die Bedienerschnittstelle 48 physische Eingaben (z. B. Tasten, Schalter, Drehknöpfe oder dergleichen) beinhalten, die sich auf oder in der Nähe des Anzeigegeräts 52 befinden, ein Touchscreen-Modul, das in das Anzeigegerät 52 integriert ist, oder ein Cursoreingabegerät (z. B. einen Joystick, Trackball oder eine Maus) zum Positionieren eines Cursors, der zur Schnittstelle mit GUI-Elementen verwendet wird, die auf dem Anzeigegerät 52 erzeugt werden, wie nachfolgend weiter beschrieben. Es versteht sich, dass die Bedienerschnittstelle 48 dann eine beliebige Anzahl und Art von Bedienereingabegeräten zum Empfangen von Bedienereingabebefehlen, einschließlich Geräten zum Interagieren mit GUIs, zum Empfangen verbaler Eingabe- oder Sprachbefehle und/oder zum Erkennen von Bedienergestenbefehlen, um nur einige Beispiele aufzuführen, beinhalten kann.
Das Anzeigegerät 52 kann an der statischen Struktur der Bedienerkabine 18 befestigt und in Ausführungsformen in einer Head-down-Anzeige (HDD)-Konfiguration realisiert sein. In anderen Ausführungsformen kann das Anzeigegerät 52 die Form eines tragbaren elektronischen Anzeigegeräts, wie etwa eines Tablet-Computers oder Laptops, annehmen, das von einem Bediener in die Bedienerstation (z. B. die Kabine 18 des Radladers 12) getragen wird und das mit den verschiedenen anderen Komponenten des zusammengesetzten Panorama-Sichtsystems 10 des Arbeitsfahrzeugs über eine physische Verbindung oder drahtlose Verbindung kommuniziert, um die nachstehend beschriebenen Anzeigefunktionalitäten auszuführen. Die Steuerung 44 kann je nach Implementierung auch verschiedene andere Sensordaten empfangen, die bei der Generierung der unten beschriebenen zusammengesetzten Panorama-Rückfahranzeige 54 verwendet werden. Zum Beispiel und wie weiter schematisch in 2 gezeigt, kann das zusammengesetzte Panorama-Sichtsystem 10 andere Arbeitsfahrzeugsensoren 80 beinhalten, einschließlich eines Entfernungsmessgeräts (DME) oder Sensorarrays (z. B. Laser-, Millimeterwellenlängen-Radar- oder Sonar- (Ultraschall-) Sensorarrays) zum Erkennen von Hindernissen in den Sichtfeldern der Fahrzeugrückfahrkameras 28, 30, 32.
Unter weiterer Bezugnahme auf die 1 und 2 und insbesondere unter Bezugnahme auf 2 ist ein Ausgang der Steuerung 44 mit einem Eingang des Anzeigegeräts 52 gekoppelt. Während des Betriebs des zusammengesetzten Panorama-Sichtsystems 10 stellt die Steuerung 44 Videoausgangssignale an das Anzeigegerät 52 bereit, um eine zusammengesetzte Panorama-Rückfahranzeige 54 auf einem Anzeigebildschirm des Anzeigegeräts 52 zu erzeugen. Die zusammengesetzte Panorama-Rückfahranzeige 54 weist ein zusammengesetztes Panorama-Rückfahrbild 56 auf, das von der Steuerung 44 unter Verwendung der Kamera-Feeds zusammengestellt wird, die von den Kameras 28, 30, 32 innerhalb der hochgradig verteilten Kameraanordnung 34 bereitgestellt werden. Beispieltechniken, die von der Steuerung 44 in geeigneter Weise beim Erzeugen des zusammengesetzten Panorama-Rückfahrbildes 56 verwendet werden, das in der zusammengesetzten Panorama-Rückfahranzeige 54 enthalten ist (ob allein oder in Kombination mit anderen visuellen Elementen, wie etwa GUI-Symbolen), werden im Folgenden in Verbindung mit den 5 und 6 erörtert. Unabhängig von der besonderen Art und Weise, in der das Bild 56 erzeugt wird, stellt das zusammengesetzte Panorama-Rückfahrbild 56 eine ausgedehnte Weitwinkelansicht der Außenumgebung an der Rückseite des Radladers 12 bereit, wie in 2 durch eine Pfeilgrafik 58 dargestellt.
Wie soeben angemerkt, kann die zusammengesetzte Panorama-Rückfahranzeige 54 zusätzlich zu dem zusammengesetzten Panorama-Rückfahrbild 56 andere Grafikelemente beinhalten. Zum Beispiel und wie weiter in 2 gezeigt, kann die zusammengesetzte Panorama-Rückfahranzeige 54 generiert werden, um eine Anzahl von GUI-Symbolen 60, 62, 64 zu beinhalten. Wenn vorhanden, können GUI-Symbole 60, 62, 64 über dem zusammengesetzten Panorama-Rückfahrbild 56 überlagert, angrenzend an die obere oder untere Kante oder den Rand des zusammengesetzten Panorama-Rückfahrbildes 56 angezeigt oder anderweitig visuell in die zusammengesetzte Panorama-Rückfahranzeige 54 integriert sein. Wenn vorhanden, können die GUI-Symbole 60, 62, 64 einen intuitiven Mechanismus zum Navigieren zwischen dem zusammengesetzten Panorama-Rückfahrbild 56 und einer Anzahl von einzelnen Kamera-Feeds 66, 68, 70 bereitstellen, die jeweils von Fahrzeugrückfahrkameras 28, 30, 32 bereitgestellt werden. In dem vorliegenden Beispiel entspricht der einzelne Kamera-Feed 66 dem Video-Feed oder den Bildern, die von der linken Fahrzeugrückfahrkamera 28 erfasst werden, und wird daher hier als der „linke Fahrzeugrückfahrkamera-Feed 66“ bezeichnet. In ähnlicher Weise entspricht der einzelne Kamera-Feed 68 dem Video-Feed, der von der zentralen Fahrzeugrückfahrkamera 30 erfasst wird, und hier als der „zentrale Fahrzeugrückfahrkamera-Feed 68“ bezeichnet wird. Schließlich entspricht der einzelne Kamera-Feed 70 dem Video-Feed, der von der rechten Fahrzeugrückfahrkamera 32 erfasst wird, und ferner als der „rechte Fahrzeugrückfahrkamera-Feed 70“ bezeichnet wird. Wenn für die Darstellung auf dem Anzeigegerät 52 ausgewählt, kann ein gegebener einzelner Kamera-Feed 66, 68, 70 skaliert, beschnitten und anderweitig angepasst werden, um die Gesamtheit oder die wesentliche Gesamtheit des Anzeigebildschirms des Anzeigegeräts 52 einzunehmen. Der ausgewählte Einzelkamera-Feed 66, 68, 70 kann in Ausführungsformen ohne gleichzeitige Anzeige des zusammengesetzten Panorama-Rückfahrbildes 56 angezeigt werden; während in anderen Ausführungsformen der ausgewählte Einzelkamera-Feed 66, 68, 70 gleichzeitig mit dem zusammengesetzten Panorama-Rückfahrbild 56 angezeigt werden kann, während der ausgewählte Einzelkamera-Feed 66, 68, 70 in irgendeiner Weise visuell hervorgehoben wird (z. B. durch Darstellung des ausgewählten einzelnen Kamera-Feeds 66, 68, 70 in einem relativ großen Fenster, das dem zusammengesetzten Panorama-Rückfahrbild 56 überlagert ist).
Auf die oben beschriebene Weise kann ein Bediener ein bestimmtes GUI-Symbol 60, 62, 64 auswählen, um zu dem einzelnen Kamera-Feed 66, 68, 70 zu navigieren, der dem ausgewählten GUI-Symbol entspricht. Ein Bediener kann eine solche GUI-Symbolauswahl unter Verwendung jeder geeigneten Eingabe eingeben, die über die Bedienerschnittstelle 48 empfangen wird, wie etwa einer Cursorgeräteingabe oder Berührungseingabe, wenn das Anzeigegerät 52 Touchscreen-Fähigkeiten besitzt. Von einem beliebigen ausgewählten Einzelkamera-Feed 66, 68, 70 kann der Bediener dann auf irgendeine Weise zur zusammengesetzten Panorama-Rückfahranzeige 54 zurückkehren, z. B. durch Auswahl eines GUI-Symbols 72, das über dem ausgewählten Feed 66, 68, 70 liegt (oder anderweitig in Verbindung mit diesem angezeigt wird). Auf diese Weise kann ein Bediener jedes bestimmte Bild oder jeden bestimmten Feed 56, 66, 68, 70 zur Anzeige auf dem Anzeigegerät 52 zu einem bestimmten Zeitpunkt frei auswählen. Beispielsweise kann die zusammengesetzte Panorama-Rückfahranzeige 54 in bestimmten Ausführungsformen standardmäßig zunächst auf dem Anzeigebildschirm angezeigt werden, um einem Bediener beim Systemstart einen umfassenden, weiten Weitwinkel-Sichtfeld des Arbeitsbereichs hinter dem Radlader 12 bereitzustellen. Der Bediener kann dann ein bestimmtes Symbol 60, 62, 64 auswählen, um auf die Darstellung eines bestimmten Kamera-Feeds 66, 68, 70 umzuschalten, um ein interessierendes Element in dem Feed 66, 68, 70 genauer zu untersuchen oder darauf zu fokussieren. Der ausgewählte Kamera-Feed 66, 68, 70 wird typischerweise nach oben skaliert, um am besten in den Anzeigebildschirm zu passen, und kann daher größer und detaillierter sein als der Teil des Feeds 66, 68, 70, der in der zusammengesetzten Panorama-Rückfahranzeige 54 enthalten ist. In bestimmten Fällen können durch Darstellen eines einzelnen Bildes auf dem Anzeigebildschirm des Anzeigegeräts 52 auch begrenzte Abschnitte der Kamera-Feeds 66, 68, 70 sichtbar werden, die von der zusammengesetzten Panorama-Rückfahranzeige 54 ausgeschlossen sind, wie weiter unten erörtert.
In dem veranschaulichten Beispiel und wie oben angemerkt, sind die GUI-Symbole 60, 62, 64 entlang eines Rands oder einer Ecke (z. B. des unteren oder oberen Rands) der zusammengesetzten Panorama-Rückfahranzeige 54 beabstandet, wobei das GUI-Symbol 60 (auswählbar, um den linken Fahrzeugrückfahrkamera-Feed 66 aufzurufen) in einer unteren linken Ecke der zusammengesetzten Panorama-Rückfahranzeige 54 angeordnet ist, das GUI-Symbol 62 (auswählbar, um den zentralen Fahrzeugrückfahrkamera-Feed 68 aufzurufen) in einem unteren mittleren Abschnitt der zusammengesetzten Panorama-Rückfahranzeige 54 angeordnet ist und das GUI-Symbol 64 (auswählbar, um den rechten Fahrzeugrückfahrkamera-Feed 70 aufzurufen) in einer unteren rechten Ecke der zusammengesetzten Panorama-Rückfahranzeige 54 angeordnet ist. Dies ermöglicht wiederum eine schnelle visuelle Zuordnung der GUI-Symbole 60, 62, 64 zu den entsprechenden individuellen Kamera-Feeds, die von den Fahrzeugrückfahrkameras 28, 30, 32 bereitgestellt werden. Wie ferner in 2 angezeigt, können die GUI-Symbole 60, 62, 64 als Kamerasymbole für eine weitere schnelle visuelle Zuordnung zu den Kamera-Feeds erzeugt werden. In weiteren Ausführungsformen können die Positionierung und das Erscheinungsbild der GUI-Symbole 60, 62, 64, die in der zusammengesetzten Panorama-Rückfahranzeige 54 enthalten sind, variieren.
In zumindest einigen Implementierungen kann die Steuerung 44 konfiguriert sein, um als Reaktion auf ein vordefiniertes Auslöseereignis automatisch von der Darstellung des zusammengesetzten Panorama-Rückfahrbilds 56 auf die Darstellung eines einzelnen Kamera-Feeds 66, 68, 70 umzuschalten. In solchen Implementierungen kann das Auslöseereignis auf Folgendem basieren: (i) ob ein Hindernis an der Rückseite des Radladers 12 erkannt wird, und (ii) wenn dies erkannt wird, ob der Abstand zwischen dem erkannten Hindernis und der Rückseite des Radladers 12 kleiner als ein Schwellenwert ist, wie entlang der Längsachse 74 des Radladers 12 gemessen. Um der Steuerung 44 zu ermöglichen, als Reaktion auf ein erkanntes Hindernis innerhalb einer vorbestimmten Nähe des Radladers 12 automatisch auf einen einzelnen Kamera-Feed umzuschalten, ist das zusammengesetzte Panorama-Sichtsystem 10 mit einer Art Hinderniserkennungssystem oder -vorrichtung ausgestattet. In bestimmten Ausführungsformen kann die Hinderniserkennung durch Verarbeiten der Bilder erreicht werden, die in den Kamera-Feeds enthalten sind, die von den Kameras 28, 30, 32 empfangen werden. Alternativ dazu kann die Steuerung 44 Daten verwenden, die von den Arbeitsfahrzeugsensoren 80 empfangen werden und die Position von Hindernissen angeben, die an der Rückseite des Radladers 12 erkannt werden.
In Fortsetzung der Beschreibung aus dem vorstehenden Absatz sollte ein Beispielszenario in Betracht gezogen werden, bei dem ein Hindernis hinter dem Radlader 12 an der Stelle erkannt wird, die allgemein durch eine Markierung 76 in 1 dargestellt ist (in Folgenden „Hindernis 76“). Die Steuerung 44 empfängt Daten, die die aktuelle Position des Hindernisses 76 relativ zum hinteren Ende des Radladers 12 angeben. Die Steuerung 44 kann ferner die Position des Objekts mit den räumlichen Volumina abbilden oder korrelieren, die von den Kamera-Sichtfeldern 36, 38, 40 umfasst werden, die der Steuerung 44 bekannt sind. Beim Verarbeiten dieser Daten bestimmt die Steuerung 44 ferner, dass sich das Hindernis 76 innerhalb des Schwellenabstands befindet (möglicherweise entsprechend dem Abstand zur unten beschriebenen 2D-Kalibrierungsebene 78 entlang der Längsachse 74). Als Reaktion auf diese Bestimmung identifiziert die Steuerung 44 dann ferner die Kamera 28, 30, 32, die positioniert ist, um das erkannte Hindernis 76 am besten visuell zu erfassen. Schließlich schaltet die Steuerung 44 automatisch (d. h. ohne Benutzereingabe) auf die Darstellung des geeigneten Kamera-Feeds auf dem Anzeigegerät 52 um. Somit bestimmt die Steuerung 44 im vorliegenden Beispiel, dass die Position des erkannten Hindernisses 76 (1) vollständig oder zumindest überwiegend innerhalb des Sichtfelds 40 der rechten Rückfahrkamera 32 angeordnet ist und schaltet dann das Anzeigegerät 52 von der Anzeige der zusammengesetzten Panorama-Rückfahranzeige 54 auf die Anzeige des einzelnen Kamera-Feeds 70 auf dem Anzeigegerät 52 um. Eine zusätzliche Beschreibung eines solchen automatischen Umschaltvorgang der Anzeige wird ferner in Verbindung mit den 5 und 6 bereitgestellt. Zunächst werden jedoch beispielhafte räumliche Verteilungen oder Positionierungen der Fahrzeugkameras 28, 30, 32 innerhalb der hochgradig verteilten Kameraanordnung 34 im Folgenden in Verbindung mit den 3 und 4 erörtert.
Anhand der 3 und 4 sind linke und rechte isometrische Seitenansichten des Radladers 12 gezeigt, um mögliche räumliche Anordnungen der Fahrzeugkameras 28, 30, 32 zu veranschaulichen, wenn sie in der hochgradig verteilten Kameraanordnung 34 enthalten sind. Insbesondere ist eine erste mögliche Positionierung der Fahrzeugkameras 28, 30, 32 innerhalb der Kameraanordnung 34 in den 3 und 4 gezeigt, wobei der Zusatz „-1“ an jedes Bezugszeichen 28-1, 30-1, 32-1 angehängt ist, um anzugeben, dass die veranschaulichte Positionierung der Fahrzeugkameras nur eine mögliche räumliche Anordnung unter zahlreichen anderen möglichen räumlichen Anordnungen der Fahrzeugkameras darstellt. Zusätzlich wird eine zweite potenzielle Positionierung der Fahrzeugkameras 28, 30, 32 auch in diesen Zeichnungsfiguren dargestellt, jedoch unter Verwendung zweidimensionaler Symbole dargestellt und mit dem Zusatz „-2“ identifiziert. Wenn zuerst die Positionierung der Fahrzeugkameras 28-1, 30-1, 32-1 angesprochen wird, ist zu sehen, dass die linke Fahrzeugrückahrkamera 28-1 (3) an einer linken Seitenwand 84 des Motorraumgehäuses 24 montiert ist, während die rechte Fahrzeugrückfahrkamera 32-1 (4) an einer rechten Seitenwand 82 des Motorraumgehäuses 24 in dem veranschaulichten Beispiel montiert ist. Die linke und rechte Fahrzeugrückfahrkamera 28-1, 32-1 werden im Folgenden auch als die „äußeren Fahrzeugrückfahrkameras 28-1, 32-1“ in Bezug auf ihre äußere seitliche Positionierung relativ zur zentralen Fahrzeugrückfahrkamera 30-1 bezeichnet. Den äußeren Fahrzeugrückfahrkameras 28-1, 32-1 fehlt somit aufgrund des Vorhandenseins des Motorraumgehäuses 24 eine Sichtlinienbeziehung, die eine Sichtlinienansicht von einer der Fahrzeugrückfahrkameras 28-1, 32-1 zu den anderen Fahrzeugrückfahrkameras 28-1, 32-1 blockiert.
Zusätzlich zum Fehlen einer Sichtlinienbeziehung können die äußeren Fahrzeugrückfahrkameras 28-1, 32-1 einen relativ weiten oder breiten Kamera-zu-Kamera-Abstand aufweisen; z. B. kann in Ausführungsformen der Kamera-zu-Kamera-Abstand zwischen den äußeren Fahrzeugrückfahrkameras 28-1, 32-1 größer als 1 Meter sein und kann möglicherweise im Bereich von etwa 1,5 Metern bis etwa 5 Metern liegen. Die linke Fahrzeugrückfahrkamera 28-1 und die rechte Fahrzeugrückfahrkamera 32-1 befinden sich jeweils näher an den linken und rechten Hinterrädern 16 des Radladers 12 als an der Längsachse 74 des Radladers 12 (1), wie entlang einer lateralen Achse senkrecht zur Längsachse 74 genommen (und parallel zur Drehachse der Räder 16). Im Vergleich dazu ist die zentrale Fahrzeugrückfahrkamera 30-1 an einem hinteren Kotflügel 88 des Radladers 12 montiert und kann im Wesentlichen mit der Längsachse 74 des Laders 12 ausgerichtet sein, wenn von oben nach unten oder in der Grundrissansicht betrachtet (d. h. nach unten auf den Lader 12 gerichtet, wie in 1 gezeigt). Der zentralen Fahrzeugrückfahrkamera 30-1 kann auch eine Sichtlinienbeziehung zu den äußeren Fahrzeugrückfahrkameras 28-1, 32-1 fehlen, beispielsweise aufgrund visueller Interferenz durch das Motorraumgehäuse 24; wiederum gibt der Begriff „visuelle Interferenz“, wie er in diesem Zusammenhang verwendet wird, an, dass eine Sichtlinie zwischen den Fahrzeugkameras 28-1, 32-1 durch die Infrastruktur (hier das Motorraumgehäuse 24) des Radladers 12 blockiert ist. Außerdem befindet sich die zentrale Fahrzeugrückfahrkamera 30-1 im vorliegenden Beispiel in einer anderen vertikalen Höhe als die äußeren Fahrzeugrückfahrkameras 28-1, 32-1. In verschiedenen Ausführungsformen kann der Unterschied in der vertikalen Höhe von der zentralen Fahrzeugrückfahrkamera 30-1 zu einer der äußeren Fahrzeugrückfahrkameras 28-1, 32-1 von ungefähr 1 Meter bis ungefähr 3 Metern reichen, wie entlang einer vertikalen Achse senkrecht zur Längsachse 74 genommen (1). In anderen Fällen können die Fahrzeugkameras 28-1, 30-1, 32-1 an dem Radlader 12 in der gleichen oder im Wesentlichen der gleichen vertikalen Höhe montiert werden.
Verschiedene andere räumliche Verteilungen für die Kameras innerhalb der Kameraanordnung 34 (1-2) sind in weiteren Ausführungsformen möglich. Um diesen Punkt weiter zu betonen, wird eine alternative beispielhafte räumliche Anordnung der Fahrzeugrückfahrkameras 28, 30, 32 in den 3-4 unter Verwendung der Rückfahrkamerasymbole 28-2, 30-2, 32-2 dargestellt (hier auch als die „Fahrzeugkameras 28-2, 30-2, 32-2‟ bezeichnet). In diesem sekundären Beispiel sind die linke und rechte Fahrzeugrückfahrkamera 28-2, 32-2 an seitlich gegenüberliegenden (linken und rechten) Eckbereichen des hinteren Kotflügels 88 des Radladers 12 montiert, während die zentrale Fahrzeugrückfahrkamera 30-2 an einer oberen Fläche oder Oberseite 86 des Motorraumgehäuses 24 montiert ist. Wie zuvor kann der Kamera-zu-Kamera-Abstand zwischen verschiedenen Kamerapaaren 28-2, 30-2, 32-2 relativ breit oder ausgedehnt sein; z. B. kann der Abstand zwischen der linken und rechten Fahrzeugrückfahrkamera 28-2, 32-2 in Ausführungsformen 1 Meter überschreiten. Wiederum können die linke und die rechte Fahrzeugrückfahrkamera 28-2, 32-2 näher an den linken und rechten Hinterrädern 16 als an der Längsachse 74 (1) des Radladers 12 angeordnet sein; während die zentrale Fahrzeugrückfahrkamera 30-2 im Wesentlichen mit der Längsachse 74 ausgerichtet sein kann, wie von einem Draufsicht- oder Grundrisssichtpunkt aus gesehen. Zusätzlich können zumindest einigen, wenn nicht allen Fahrzeugkameras 28-2, 30-2, 32-2 aufgrund des Vorhandenseins visuell auffälliger Merkmale des Radladers 12, wie etwa der Seitenwände 82, 84 und der Oberseite 86 des Motorraumgehäuses 24, eine Sichtlinienbeziehung fehlen.
Zwei beispielhafte Kameraanordnungen der hochgradig verteilten Kameraanordnung 34 wurden somit beschrieben, wobei angemerkt wird, dass die oben beschriebenen Kamerapositionen in weiteren Ausführungsformen gemischt oder vertauscht werden können; z. B. kann die Kameraanordnung 34 in alternativen Implementierungen Fahrzeugkameras enthalten, die an den Stellen, die den Kameras oder Symbolen 28-1, 30-2, 32-1 entsprechen, oder an den Stellen, die den Kameras oder Symbolen 28-2, 30-1, 32-2 entsprechen, an dem Radlader 12 montiert sind. In noch anderen Fällen kann die zentrale Fahrzeugrückfahrkamera 30 an einer anderen Stelle des Radladers 12 (z. B. an der Hinterkante der oberen Fläche der Kabine 18) montiert sein und/oder die rechte und linke Fahrzeugrückfahrkamera 28, 32 können an dem rechten bzw. linken Radkotflügel 26 montiert sein, wie oben in Verbindung mit 1 erwähnt. Zahlreiche andere Kameraanordnungen innerhalb der Kameraanordnung 34 sind ebenfalls möglich, wie sie basierend auf dem gewünschten Sichtfeld des zusammengesetzten Panoramabilds 56, des Typs des Arbeitsfahrzeugs, in das das zusammengesetzte Panorama-Sichtsystem 10 integriert ist, und anderer solcher Faktoren variieren werden. Schließlich kann, während die Kameraanordnung 34 in der beispielhaften Ausführungsform drei Fahrzeugkameras enthält, das zusammengesetzte Panorama-Sichtsystem 10 in weiteren Ausführungsformen weniger Fahrzeugkameras oder eine größere Anzahl von Fahrzeugkameras enthalten, vorausgesetzt, dass die am Fahrzeug montierte Kameraanordnung mindestens zwei Fahrzeugkameras mit teilweise überlappenden Sichtfeldern beinhaltet.
Übergehend zu 5 wird ein zusammengesetzter Panoramaanzeigeprozess 90 gezeigt, der in geeigneter Weise von der Steuerung 44 (2) in Ausführungsformen der vorliegenden Offenbarung ausgeführt wird. Der zusammengesetzte Panoramaanzeigeprozess 90 beinhaltet eine Anzahl von PROZESSSCHRITTEN 92, 94, 96, 98, 100, 102, 104, 106, 108, von denen jeder nachfolgend beschrieben wird. Abhängig von der besonderen Art und Weise, in der der zusammengesetzte Panoramaanzeigeprozess 90 implementiert wird, kann jeder der in 5 allgemein dargestellte Schritte einen einzelnen Prozess oder mehrere Teilprozesse beinhalten. Ferner sind die in 5 dargestellten und nachstehend beschriebenen Schritte nur als nicht einschränkendes Beispiel bereitgestellt. In alternativen Ausführungsformen des zusammengesetzten Panoramaanzeigeprozesses 90 können zusätzliche Prozessschritte durchgeführt werden, bestimmte Schritte können weggelassen und/oder die veranschaulichten Prozessschritte in alternativen Sequenzen durchgeführt werden.
Die Steuerung 44 beginnt die Durchführung des zusammengesetzten Panoramaanzeigeprozesses 90 bei SCHRITT 92 als Reaktion auf das Auftreten eines vorbestimmten Auslöseereignisses. In bestimmten Fällen kann die Steuerung 44 die Leistung des zusammengesetzten Panoramaanzeigeprozesses 90 als Reaktion auf das Starten des Radladers 12 oder möglicherweise als Reaktion auf das Aktivieren des zusammengesetzten Panorama-Sichtsystems 10 selbst beginnen. In anderen Fällen kann die Steuerung 44 die Durchführung des Prozesses 90 beginnen, wenn erkannt wird, dass der Radlader 12 in den Rückwärtsgang geschaltet wurde, um im Wesentlichen eine „Rückfahrkamera“-Funktionalität auszuführen. In noch anderen Fällen kann die Steuerung 44 den zusammengesetzten Panoramaanzeigeprozess 90 als Reaktion auf ein anderes Auslöseereignis beginnen, wie etwa den Empfang von Bedienereingaben über die Bedienerschnittstelle 48, die angeben, dass der zusammengesetzte Panoramaanzeigeprozess 90 wünschenswerterweise ausgeführt werden soll.
Nach Beginn des zusammengesetzten Panoramaanzeigeprozesses 90 (SCHRITT 92) geht die Steuerung 44 zu SCHRITT 94 über und bestimmt, ob kameraspezifische 3D-Bilddaten für die Sichtfeld-Überlappungsbereiche 42 verfügbar sind (1); d. h. die 3D-Bilddaten, die von dem Blickwinkel jeder Kamera erfasst werden, die in der hochverteilten Kameraanordnung 34 enthalten ist. Kameraspezifische 3D-Bilddaten können verfügbar sein, wenn der zusammengesetzte Panoramaanzeigeprozess 90 in der Lage ist, Tiefenmessungen physischer Objekte oder Merkmale innerhalb der Sichtfelder 36, 38, 40 der Kameras 28, 30, 32 oder zumindest innerhalb der Sichtfeld-Überlappungsbereiche 42 zu erfassen, die von den Kameras 28, 30, 32 gemeinsam genutzt werden. Wie zuvor beschrieben, kann dies der Fall sein, wenn die Fahrzeugkameras 28, 30, 32 stereoskopischer Natur sind und jede Fahrzeugkamera zwei (oder mehr) Objektive besitzt oder anderweitig in der Lage ist, 3D-Bilddaten aufzunehmen. In anderen Fällen kann der zusammengesetzte Panoramaanzeigeprozess 90 in der Lage sein, Tiefenmessungen innerhalb der Kamerasichtfelder 36, 38, 40 mithilfe eines anderen Sensortyps zu erfassen. Auch in diesem letzteren Fall stellen solche anderen Sensordaten idealerweise Tiefenmesswerte aus dem Blickwinkel jeder Fahrzeugkamera 28, 30, 32 bereit, die räumlich auf die durch die Kameras 28, 30, 32 aufgenommenen Bilder abgebildet werden können. Wenn solche kameraspezifischen 3D-Bilddaten verfügbar sind, geht die Steuerung 44 zu SCHRITT 96 des Prozesses 90 über und konstruiert das zusammengesetzte Panorama-Rückfahrbild 56 durch Zusammenführen der Bilder, die von den Fahrzeugrückfahrkameras 28, 30, 32 empfangen werden, unter Verwendung der gesammelten 3D-Bilddaten. Solche kameraspezifischen 3D-Bildkonsolidierungstechniken variieren zwischen den Ausführungsformen, können aber im Allgemeinen eine Ausrichtung von Pixeln innerhalb der 3D-Raumpositionen innerhalb der Sichtfeld-Überlappungsbereiche 42 beinhalten, um die verschiedenen Kamera-Feeds angemessen auszurichten.
Im Allgemeinen kann die Bildtreue des zusammengesetzten Panorama-Rückfahrbilds 56 (d. h. die Genauigkeit, mit der das Rückfahrbild 56 die reale Umgebung innerhalb der Sichtfelder 36, 38, 40 der Fahrzeugrückfahrkameras 28, 30, 32 abbildet) maximiert werden, wenn die Kamera-Feeds mithilfe kameraspezifischer 3D-Bilddaten konsolidiert werden. Ein solcher 3D-Bildkonsolidierungsansatz kann jedoch relativ hohe Verarbeitungslasten auf die Steuerung 44 stellen und kann unerwünscht hohe Herstellungskosten bei der Herstellung des zusammengesetzten Panorama-Sichtsystems 10 beinhalten, um stereoskopische Kameras (oder andere kameraspezifische Tiefensensoren) zu beinhalten, die Tiefenmessungen innerhalb der Sichtfeld-Überlappungsbereiche 42 sammeln können. Folglich ist das zusammengesetzte Panorama-Sichtsystem 10 in Ausführungsformen möglicherweise nicht in der Lage, kameraspezifische 3D-Bilddaten zu erfassen, oder kann nicht verwendet werden, um diese zu erfassen. In diesem Fall wird ein anderer Ansatz oder eine andere Technik von der Steuerung 44 verwendet, um das zusammengesetzte Panorama-Rückfahrbild 56 zu erzeugen, wie durch SCHRITT 98 des zusammengesetzten Panoramaanzeigeprozesses 90 angegeben. Beispielsweise kann die Steuerung 44 in diesem letzteren Fall eine 2D-Netz- oder Stereokalibrierungstechnik verwenden, um die Kamera-Feeds zu konsolidieren, die von den Fahrzeugrückfahrkameras 28, 30, 32 empfangen werden, und das zusammengesetzte Panorama-Rückfahrbild 56 zu ergeben, wie nachfolgend erörtert.
Wenn während SCHRITT 98 eine 2D-Netz- oder Stereokalibrierungstechnik von der Steuerung 44 verwendet wird, kann die Steuerung 44 eine Disparitätskarte (Tiefenbild) der Sichtfeld-Überlappungsbereiche 42 unter Verwendung der verschiedenen Kamera-Feeds erzeugen. Diese Disparitätskarte wird dann verwendet, um die separaten Kamera-Feeds beim Erzeugen des zusammengesetzten Panorama-Rückfahrbilds 56 auszurichten. Bild-Stitching oder das Erzeugen einer Panoramaansicht kann durch die Steuerung 44 mithilfe von Merkmalsextraktion oder -erkennung durchgeführt werden, wobei entsprechende Merkmale verwendet werden, um die durch die Fahrzeugrückfahrkameras 28, 30, 32 erfassten Bilder zu konsolidieren; z. B. durch die Verwendung von Homographiematrixbeziehungen. In verschiedenen Ausführungsformen kann die Steuerung 44 zu Kalibrierungszwecken den Abstand zwischen einer 2D-Kalibrierungsebene (z. B. die in 1 gezeigte Ebene 78) und dem hinteren Ende oder abschließenden Ende des Radladers 12 festlegen. Wie oben angemerkt, kann die 2D-Kalibrierungsebene orthogonal zur Längsachse 74 des Radladers 12 (oder eines anderen Arbeitsfahrzeugs) sein und ist von dem Radlader 12 um einen ausreichenden Längsabstand beabstandet, um die Sichtfeld-Überlappungsbereiche 42 der Kamera-Sichtfelder 36, 38, 40 zu schneiden. In Ausführungsformen führt die Steuerung 44 während SCHRITT 98 des Prozesses 90 eine Merkmalsabbildung in Bereichen durch, in denen sich die Sichtfeld-Überlappungsbereiche 42 mit der Kalibrierungsebene 78 schneiden, um die räumliche Beziehung der Sichtfelder 36, 38, 40 und damit die Art und Weise zu bestimmen, in der die Feeds 66, 68, 70 ordnungsgemäß zusammengeführt werden, um das zusammengesetzte Panorama-Rückfahrbild 56 zu ergeben.
Der oben beschriebene 2D-Kalibrierungsebenenansatz ermöglicht vorteilhafterweise die Konsolidierung von Bildern oder Kamera-Feeds, die von deutlich unterschiedlichen Blickwinkeln erfasst wurden, um das zusammengesetzte Panorama-Rückfahrbild 56 auf relativ einfache Weise zu ergeben, wodurch die Verarbeitungsanforderungen an die Steuerung 44 gemildert werden und die Notwendigkeit der Erfassung kameraspezifischer 3D-Daten vermieden wird. Im Allgemeinen ergibt ein solcher Ansatz ein hochgenaues, unverzerrtes Bild für Hindernisse, die sich auf oder unmittelbar hinter der 2D-Kalibrierungsebene 78 befinden (d. h. aus der Perspektive des Radladers 12 hinter der Ebene 78), wie etwa das Hindernis 112 aus 1. Jedoch können Bildverzerrungen oder andere visuelle Abweichungen für Hindernisse auftreten, die näher an dem Radlader 12 angeordnet sind als die 2D-Kalibrierungsebene 78 und für Hindernisse jenseits der Kalibrierungsebene 78 (aus der Perspektive des Radladers 12) in einem gewissen Abstand. Insbesondere, wenn sich ein Hindernis näher an dem Radlader 12 befindet als die 2D-Kalibrierungsebene 78, kann die Anzeige des Hindernisbilds (oder von Abschnitten des Hindernisbilds) auf dem zusammengesetzten Panorama-Rückfahrbild 56 unterdrückt werden. Umgekehrt, wenn sich ein Hindernis in einiger Entfernung jenseits der Kalibrierungsebene 78 befindet (z. B. an der in 1 gezeigten Stelle 114), kann das Objekt visuell in dem zusammengesetzten Panorama-Rückfahrbild 56 dupliziert werden. Um solche visuellen Abweichungen zu minimieren, kann ein dynamischer oder beweglicher Kalibrierungsebenenansatz verwendet werden, wie nachfolgend beschrieben.
In Ausführungsformen mit einem dynamischen Kalibrierungsebenenanzatz, kann die Kalibrierungsebene 78 virtuell durch die Steuerung 44 innerhalb eines vorbestimmten Längsbereichs bewegt werden, wie durch die Pfeile 116, 118 in 1 angezeigt. Beispielsweise kann die Steuerung 44 die 2D-Kalibrierungsebene 78 so bewegen, dass sie sich schneidet oder unmittelbar vor (d. h. näher an dem Radlader 12) angeordnet ist als ein Hindernis, das sich innerhalb der Kamera-Sichtfelder 36, 38, 40 befindet, wie von Entfernungsmessgeräten (DME) (oder anderen Hinderniserkennungssensoren) erkannt, die in den Arbeitsfahrzeugsensoren 80 (2) enthalten sind. Die Steuerung 44 kann die Kalibrierungsebene 78 in die durch Pfeil 118 angegebene Richtung bis zu einer nahen oder proximalen Ebenengrenze 110 bewegen, die an oder kurz vor der Stelle endet, an der Sichtfeld-Überlappungsbereiche 42 beginnen, entlang der Längsachse 74, die sich vom hinteren oder abschließenden Ende des Fahrzeugs weg bewegt. Anders ausgedrückt, kann die Steuerung 44 die Position der 2D-Kalibrierungsebene 78 gemäß der Bewegung eines überwachten Hindernisses bis zu, aber im Allgemeinen nicht darüber hinaus (in Richtung des Pfeils 118), der proximalen Kalibrierungsebenengrenze 110 anpassen, an der ein minimaler Längsabstand zwischen der 2D-Kalibrierungsebene 78 und dem hinteren Ende des Radladers 12 vorhanden ist. In ähnlicher Weise kann die Steuerung 44 auch die 2D-Kalibrierungsebene 78 relativ zum Radlader 12 in der entgegengesetzten Längs- oder Axialrichtung bewegen, wie durch den Pfeil 116 angegeben, bis zu einer vordefinierten fernen oder distalen Kalibrierungsebenengrenze 120 (1). Wenn mehrere Hindernisse erkannt werden (z. B. durch DME, die in den Arbeitsfahrzeugsensoren 80 enthalten sind), kann die Steuerung 44 die Kalibrierungsebene 78 bewegen, um das Hindernis, das sich am nächsten zum Radlader 12 befindet, zu kreuzen oder sich unmittelbar vor diesem zu befinden. Auf diese Weise kann die Bildtreue für ein Hindernis von Interesse, das sich am nächsten am hinteren Ende des Radladers 12 befindet (und somit typischerweise die anspruchsvollste Aufmerksamkeit des Bedieners erfordert), mit minimalen Abweichungen des Bildes des Hindernisses, die auf dem zusammengesetzten Panorama-Rückfahrbild 56 erscheinen, beibehalten werden. In anderen Ausführungsformen kann die Kalibrierungsebene 78 gemäß anderen Daten bewegt werden (z. B. als Reaktion auf Bedienereingaben, die über die Bedienerschnittstelle 48 empfangen werden, um eine Einstellung anzupassen) oder die 2D-Kalibrierungsebene 78 kann nicht relativ zu dem Radlader 12 bewegbar sein.
Unter fortgesetzter Bezugnahme auf 5, kombiniert die Steuerung 44 bei SCHRITT 100 des zusammengesetzten Panoramaanzeigeprozesses 90 die Kamera-Feeds, die von den Fahrzeugrückfahrkameras 28, 30, 32 bereitgestellt werden, um das zusammengesetzte Panorama-Rückfahrbild 56 zu ergeben, und stellt dieses Bild in der zusammengesetzten Panorama-Rückfahranzeige 54 dar, die auf dem Anzeigegerät 52 erscheint. Ein Beispiel für das zusammengesetzte Panorama-Rückfahrbild 56 wird in 6 gezeigt, wobei die Bezugszeichen aus 2 übernommen wurden (jedoch ohne Einbeziehung der Symbole 60, 62, 64). In diesem Beispiel sind der linke Fahrzeugrückfahrkamera-Feed 66, der zentrale Fahrzeugrückfahrkamera-Feed 68 und der rechte Fahrzeugrückfahrkamera-Feed 70 in der linken oberen Ecke, dem oberen Mittelbereich und der rechten oberen Ecke von 6 gezeigt. In diesem Beispiel erscheinen drei Hindernisse in dem zusammengesetzten Panorama-Rückfahrbilds 56: ein benachbartes oder in der Nähe befindliches Arbeitsfahrzeug 124, ein Telefonmast 126 und ein Materialhaufen 128. Zusätzlich erfassen die jeweiligen Sichtfeldern des linken Fahrzeugrückfahrkamera-Feeds 66 und des rechten Fahrzeugrückfahrkamera-Feeds 70 strukturelle Störungen oder visuelle Hindernisse in der Form der linken Seitenwand 84 bzw. der rechten Seitenwand 82 des Motorraumgehäuses 24.
Die Pfeile 122 in 6 stellen die Art und Weise dar, wie das zusammengesetzte Panorama-Rückfahrbild 56 aus den einzelnen Kamera-Feeds 66, 68, 70 aufgebaut ist. Insbesondere sind in dem zusammengesetzten Panorama-Rückfahrbild 56 alle drei Hindernisse 123, 126, 128 sichtbar, während das Rückfahrbild 56 ein nichtunzusammenhängendes Bild bereitstellt, dem visuelle Abweichungen fehlen (oder das relativ wenige hat). Im Vergleich dazu erfasst keine der einzelnen Kamera-Feeds 66, 68, 70 alle drei dieser Hindernisse 124, 126, 128. Würden ferner alle drei einzelnen Kamera-Feeds 66, 68, 70 gleichzeitig (z. B. in einem Seite-an-Seite-Format) auf dem Anzeigegerät 52 dargestellt, würde dies eine uneinheitlichere Anzeige mit Bereichen visueller Redundanz schaffen, wie man durch Vergleichen der einzelnen Kamera-Feeds 66, 68, 70 mit dem zusammengesetzten Panorama-Rückfahrbild 56, das im unteren Teil dieser Zeichnungsfigur gezeigt ist, erkennen kann. Somit stellt das zusammengesetzte Panorama-Sichtsystem 10 durch Erzeugen eines einzelnen zusammengesetzten Panorama-Rückfahrbilds 56 aus den Kamerazuführungen 66, 68, 70 zur Darstellung auf dem Anzeigegerät 52 eine umfassendere Ansicht der Umgebung des Radladers 12 bereit, um das Situationsbewusstsein des Fahrzeugführers auf einen Blick zu verbessern. Zusätzlich kann die Steuerung 44 nach Möglichkeit visuelle Hindernisse des Radladers 12 aus dem zusammengesetzten Panorama-Rückfahrbild 56 entfernen, wie durch das Fehlen von Seitenwänden 82, 84 des Motorraumgehäuses 24 in dem zusammengesetzten Panorama-Rückfahrbild 56 angezeigt. Dementsprechend wird in Ausführungsformen, in denen eine Sichtlinie zwischen einer ersten Fahrzeugkamera und einer zweiten Fahrzeugkamera durch eine dazwischenliegende Struktur des Arbeitsfahrzeugs (z. B. Seitenwände 82, 84 in dem Beispiel von 6) blockiert ist, die Steuerung 44 die dazwischenliegende Struktur möglicherweise visuell aus dem zusammengesetzten Panoramabild 56 entfernen; z. B. durch visuelles Ausfüllen der Bereiche der Fahrzeugumgebung, die visuell durch das dazwischenliegende Strukturmerkmal blockiert sind, das in einem bestimmten Kamera-Feed sichtbar ist, mithilfe der geeigneten Bilder, die von einem anderen Kamera-Feed in dem Sichtfeld-Überlappungsbereich erfasst wurden, der von den Kamera-Feeds gemeinsam genutzt wird.
Unter erneuter Bezugnahme auf 5 geht die Steuerung 44 nach dem Erzeugen des zusammengesetzten Panorama-Rückfahrbilds 56 auf dem Anzeigegerät 52 (SCHRITT 100) zu SCHRITT 102 des zusammengesetzten Panoramaanzeigeprozesses 90 über. Während dieses Schritts kann die Steuerung 44 konfiguriert sein, um als Reaktion auf ein vordefiniertes Auslöseereignis automatisch von der Darstellung des zusammengesetzten Panorama-Rückfahrbilds 56 auf die Darstellung eines einzelnen Kamera-Feeds 66, 68, 70 umzuschalten. Wie oben in Verbindung mit 1 erörtert, kann ein solches Auslöseereignis darauf basieren, ob ein Hindernis innerhalb zumindest eines der Kamera-Sichtfelder erkannt wird; und wenn ja, ob das erkannte Hindernis innerhalb einer vorbestimmten Entfernung von dem Radlader 12 liegt. Wenn die Steuerung 44 während SCHRITT 100 bestimmt, dass diese (oder ähnliche) Bedingungen erfüllt sind, wechselt die Steuerung 44 von der Darstellung des zusammengesetzten Panoramabilds 56 auf dem Anzeigegerät 52 (falls aktuell angezeigt) zu der Darstellung der einzelnen Kameraansicht, in der das erkannte Hindernis sichtbar ist. In Ausführungsformen, in denen die Steuerung 44 eine 2D-Kalibrierungsebene beim Erzeugen des zusammengesetzten Panorama-Rückbilds 56 verwendet, kann der vorbestimmte Abstand gleich oder größer als ein Abstand sein, bei dem die Sichtfeld-Überlappungsbereiche 42 ( 1) beginnen, sich entlang der Längsachse 74 weg von dem Radlader 12 und in Richtung der Ebene 78 (nach links in 1). Wenn als spezifischeres Beispiel festgestellt wird, dass sich der Materialstapel 128 in eine relativ geschlossene Nähe der Rückseite des Radladers 12 bewegt hat und die Grenze 110 der Nahkalibrierungsebene überschritten hat (z. B. aufgrund der Rückwärtsfahrt des Radladers 12), kann die Steuerung 44 automatisch auf die Darstellung des Signalkamera-Feeds 70 umschalten, der von der rechten Fahrzeugrückfahrkamera 32 erfasst wird, wie in der oberen rechten Ecke von 6 gezeigt. In anderen Ausführungsformen kann die Steuerung 44 eine visuelle und/oder akustische Warnung in Verbindung mit oder anstelle eines automatischen Übergangs zur Anzeige eines einzelnen Kamera-Feeds erzeugen, wenn ein Hindernis relativ nahe am Radlader 12 erkannt wird, wie zuvor beschrieben.
Schließlich geht die Steuerung 44 des zusammengesetzten Panorama-Sichtsystems 10 zu SCHRITT 106 des zusammengesetzten Panoramaanzeigeprozesses 90 (5) über. Während SCHRITT 106 bestimmt die Steuerung 44, ob eine Beendigung des zusammengesetzten Panoramaanzeigeprozesses 90 gerechtfertigt ist; z. B. aufgrund einer Bedienereingabe, die eine Beendigung des Prozesses 90 anfordert, oder aufgrund einer Abschaltung des Radladers 12. Wenn bestimmt wird, dass der zusammengesetzte Panoramaanzeigeprozess 90 beendet werden soll, geht die Steuerung 44 zu SCHRITT 108 über und beendet die aktuelle Iteration des zusammengesetzten Panoramaanzeigeprozesses 90 entsprechend. Andernfalls kehrt die Steuerung 44 zu SCHRITT 94 zurück und die oben beschriebenen Prozessschritte des zusammengesetzten Panoramaanzeigeprozesses 90 wiederholen sich. Indem der zusammengesetzte Panoramaanzeigeprozess 90 auf diese Weise durchgeführt wird, kann die Steuerung 44 das zusammengesetzte Panorama-Rückfahrbild 56 wiederholt aktualisieren und die anderen anzeigebezogenen Funktionen (z. B. die oben beschriebene Warnungs- und automatische Kameraumschaltfunktion) auf einer relativ schnellen (z. B. Echtzeit-) Grundlage durchführen.
AUFZÄHLUNG VON BEISPIELEN FÜR DAS ZUSAMMENGESETZTE PANORAMA-SICHTSYSTEM FÜR EIN ARBEITSFAHRZEUG
Die folgenden Beispiele für das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug sind ferner bereitgestellt und zur leichteren Bezugnahme nummeriert.

1. Es wird ein zusammengesetztes Panorama-Sichtsystem offenbart, das an Bord eines Arbeitsfahrzeugs mit einer Bedienerstation verwendet wird. In Ausführungsformen beinhaltet das zusammengesetzte Panorama-Sichtsystem ein Anzeigegerät, das innerhalb einer Bedienerstation des Arbeitsfahrzeugs verwendet wird, eine am Fahrzeug montierte Kameraanordnung und eine Steuerung. Die am Fahrzeug montierte Kameraanordnung beinhaltet wiederum eine erste Fahrzeugkamera, die an dem Arbeitsfahrzeug montiert ist, die ein erstes Sichtfeld (Field of View - FOV) aufweist und positioniert ist, um einen ersten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem ersten Blickwinkel zu erfassen; und eine zweite Fahrzeugkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites Sichtfeld aufweist, das sich teilweise mit dem ersten Sichtfeld überlappt, und positioniert ist, um einen zweiten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem zweiten Blickwinkel zu erfassen. Die Steuerung ist betriebsfähig mit dem Anzeigegerät, der ersten Fahrzeugkamera und der zweiten Fahrzeugkamera gekoppelt. Die Steuerung ist konfiguriert, um: (i) den ersten und den zweiten Kamera-Feed von der ersten bzw. der zweiten Kamera zu empfangen; (ii) ein zusammengesetztes Panoramabild der Außenumgebung des Arbeitsfahrzeugs aus mindestens dem ersten und dem zweiten Kamera-Feed zu erzeugen; und (iii) das zusammengesetzte Panoramabild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs darzustellen.
2. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, wobei eine Sichtlinie (LOS) zwischen der ersten Fahrzeugkamera und der zweiten Fahrzeugkamera durch eine dazwischenliegende Struktur des Arbeitsfahrzeugs blockiert ist.
3. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 2, wobei die dazwischenliegende Struktur in dem ersten Sichtfeld und/oder dem zweiten Sichtfeld sichtbar ist. Die Steuerung ist ferner konfiguriert, um die dazwischenliegende Struktur visuell aus dem zusammengesetzten Panoramabild zu entfernen, wenn das zusammengesetzte Panoramabild aus mindestens dem ersten und zweiten Kamera-Feed erzeugt wird.
4. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, wobei die erste Fahrzeugkamera und die zweite Fahrzeugkamera die Form einer linken Fahrzeugrückfahrkamera bzw. einer zentralen Fahrzeugrückfahrkamera annehmen. Zusätzlich beinhaltet die am Fahrzeug montierte Kameraanordnung ferner eine rechte Fahrzeugrückfahrkamera, die ein drittes Sichtfeld aufweist, das teilweise mit dem zweiten Sichtfeld überlappt, während sie positioniert ist, um einen dritten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem dritten Blickwinkel aus aufzunehmen. Die Steuerung ist ferner betriebsfähig mit der rechten Fahrzeugrückfahrkamera gekoppelt und konfiguriert, um das zusammengesetzte Panoramabild aus dem ersten, dem zweiten und dem dritten Kamera-Feed zu erzeugen.
5. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 4, wobei das Arbeitsfahrzeug eine Längsachse, eine linkes Hinterrad, das auf einer ersten Seite der Längsachse positioniert ist und ein rechtes Hinterrad, das auf einer zweiten, gegenüberliegenden Seite der Längsachse positioniert ist, beinhaltet. Die linke Fahrzeugrückfahrkamera ist in einer Draufsicht und entlang einer zur Längsachse senkrechten Querachse näher am linken Hinterrad des Arbeitsfahrzeugs als zur Längsachse am Arbeitsfahrzeug montiert. Gleichermaßen ist die rechte Fahrzeugrückfahrkamera an einer Stelle an dem Arbeitsfahrzeug montiert, die näher an dem rechten Hinterrad des Arbeitsfahrzeugs als an der Längsachse ist, wie in der Draufsicht gesehen und entlang der Querachse genommen.
6. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 4, wobei die rechte Fahrzeugrückfahrkamera und die linke Fahrzeugrückfahrkamera durch einen Kamera-zu-Kamera-Abstand im Bereich von etwa 1 Meter bis etwa 5 Meter getrennt sind.
7. Das zusammengesetzte Panorama-Sichtsystem nach Beispiel 1, wobei das Arbeitsfahrzeug ein Motorraumgehäuse hinter der Bedienerstation beinhaltet, während die erste und zweite Kamera an Stellen angrenzend an gegenüberliegenden Seiten des Motorraumgehäuses am Arbeitsfahrzeug montiert sind.
8. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, das ferner mindestens einen Hinderniserkennungssensor beinhaltet, der betriebsfähig mit der Steuerung gekoppelt und konfiguriert ist, um Hindernisse zu überwachen, die sich in zumindest dem ersten Sichtfeld und dem zweiten Sichtfeld befinden. Zusätzlich ist die Steuerung ferner konfiguriert, um: (i) beim Erkennen eines Hindernisses innerhalb des ersten Sichtfelds oder des zweiten Sichtfelds durch den Hinderniserkennungssensor zu bestimmen, ob sich das Hindernis innerhalb einer vorbestimmten Entfernung von dem Arbeitsfahrzeug befindet; und (ii) wenn bestimmt wird, dass sich das Hindernis innerhalb der vorbestimmten Entfernung befindet, von der Darstellung des zusammengesetzten Panoramabilds auf dem Anzeigegerät zu der Darstellung einer einzelnen Kameraansicht umzuschalten, in der das erkannte Hindernis sichtbar ist.
9. Das zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 8, wobei die vorbestimmte Entfernung im Wesentlichen gleich oder größer als eine Entfernung ist, bei der das erste Sichtfeld mit dem zweiten Sichtfeld überlappt, wie entlang einer Längsachse genommen, die sich vom Arbeitsfahrzeug weg bewegt.
10. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, wobei sich das erste Sichtfeld und das zweite Sichtfeld in einem Sichtfeld-Überlappungsbereich überlappen. Die Steuerung ist konfiguriert, um das zusammengesetzte Panoramabild unter Verwendung einer zweidimensionalen Kalibrierungsebene zu erzeugen, die den Sichtfeld-Überlappungsbereich kreuzt und die orthogonal zu einer Längsachse des Arbeitsfahrzeugs ist.
11. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 10, ferner mindestens einen Hinderniserkennungssensor umfassend, der betriebsfähig mit der Steuerung gekoppelt und konfiguriert ist, um Hindernisse zu überwachen, die sich in zumindest dem ersten Sichtfeld und dem zweiten Sichtfeld befinden. Die Steuerung ist konfiguriert, um: (i) eine Position eines Hindernisses zu verfolgen, das innerhalb des ersten Sichtfelds oder des zweiten Sichtfelds durch den Hinderniserkennungssensor erkannt wird; und (ii) einen Längsabstand zwischen der zweidimensionalen Kalibrierungsebene und dem Arbeitsfahrzeug basierend auf der Position des erkannten Hindernisses einzustellen.
12. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 11, wobei die Steuerung konfiguriert ist, um den Längsabstand zwischen der zweidimensionalen Kalibrierungsebene und dem Arbeitsfahrzeug einzustellen, so dass sich die zweidimensionale Kalibrierungsebene aus einer Perspektive des Arbeitsfahrzeugs gesehen vor dem erkannten Hindernis kreuzt oder sich unmittelbar vor diesem befindet.
13. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, wobei die erste und die zweite Fahrzeugkamera jeweils eine stereoskopische Kamera umfassen, die konfiguriert ist, um dreidimensionale Bilddaten von Objekten innerhalb des ersten und des zweiten Sichtfelds zu erfassen. Die Steuerung verwendet die dreidimensionalen Bilddaten, wenn das zusammengesetzte Panoramabild aus mindestens dem ersten und dem zweiten Kamera-Feed erzeugt wird.
14. Das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Beispiel 1, ferner umfassend eine Bedienerschnittstelle, die mit der Steuerung gekoppelt ist. Die Steuerung ist ferner konfiguriert, um: (i) ein erstes und ein zweites Symbol auf dem Anzeigegerät in Verbindung mit dem zusammengesetzten Panoramabild zu erzeugen; (ii) von der Anzeige des zusammengesetzten Panoramabilds auf die Anzeige des ersten Kamera-Feeds auf dem Anzeigegerät umzuschalten, wenn Bedienereingaben über die Bedienerschnittstelle empfangen werden, das erste Symbol auswählen; und (iii) von der Anzeige des zusammengesetzten Panoramabilds auf die Anzeige des zweiten Kamera-Feeds auf dem Anzeigegerät umzuschalten, wenn Bedienereingaben über die Bedienerschnittstelle empfangen werden, dass das zweite Symbol ausgewählt wurde.
15. In weiteren Ausführungsformen beinhaltet das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug ein Anzeigegerät, das innerhalb der Bedienerstation des Arbeitsfahrzeugs verwendet wird, und eine am Fahrzeug montierte Kameraanordnung. Die am Fahrzeug montierte Kameraanordnung beinhaltet: (i) eine rechte Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein erstes Sichtfeld aufweist und positioniert ist, um einen rechten Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; (ii) eine zentrale Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites Sichtfeld aufweist, das mit dem ersten Sichtfeld überlappt, und positioniert ist, um einen zentralen Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; und (iii) eine linke Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein drittes Sichtfeld aufweist, das mit dem zweiten Sichtfeld überlappt, und positioniert ist, um einen linken Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen. Eine Steuerung ist betriebsfähig mit dem Anzeigegerät, der rechten Fahrzeugrückfahrkamera, der zentralen Fahrzeugrückfahrkamera und der linken Fahrzeugrückfahrkamera gekoppelt. Die Steuerung ist konfiguriert, um: ein zusammengesetztes Panoramabild der Außenumgebung des Arbeitsfahrzeugs aus dem rechten, zentralen und linken Fahrzeugrückfahrkamera-Feed zu erzeugen. Die Steuerung stellt ferner das zusammengesetzte Panoramabild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs dar.

FAZIT
Das Vorstehende hat somit Ausführungsformen eines zusammengesetzten Panorama-Sichtsystems für ein Arbeitsfahrzeug offenbart. Die oben beschriebenen Ausführungsformen des zusammengesetzten Panorama-Sichtsystems erzeugen ein zusammengesetztes Panoramabild aus mehreren Kamera-Feeds, um einem Bediener ein relativ aufwändiges Sichtfeld der Außenumgebung des Arbeitsfahrzeugs bereitzustellen, um das Situationsbewusstsein des Bedieners zu verbessern, ohne dass ein Bediener wiederholt zwischen Kamera-Feeds wechseln muss. Zusätzlich stellen Ausführungsformen des zusammengesetzten Panorama-Sichtsystems hochgenaue Bilder bereit, die von mehreren Kamera-Feeds unter Verwendung der 2D- oder 3D-Bildkonsolidierungsansätze erzeugt werden, wie oben beschrieben. Ferner ermöglichen es Ausführungsformen des zusammengesetzten Panorama-Sichtsystems Bedienern als einen weiteren Vorteil, schnell und intuitiv zwischen der Anzeige des zusammengesetzten Panoramabilds und anderen Einzelkamera-Feeds umzuschalten, wenn dies gewünscht wird. In bestimmten Ausführungsformen schaltet das zusammengesetzte Panorama-Sichtsystem ferner automatisch von der Anzeige des zusammengesetzten Panorama-Sichtsystems auf die Anzeige eines ausgewählten einzelnen Kamera-Feeds um, zum Beispiel basierend auf der Position von erkannten Hindernissen in der Nähe des Arbeitsfahrzeugs. Das Endergebnis ist ein zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug, das für die Verwendung auf einer Vielzahl von Arbeitsfahrzeugplattformen geeignet ist, was das Situationsbewusstsein des Bedieners verbessert und gleichzeitig die Arbeitsbelastung des Bedieners während des Betriebs des Arbeitsfahrzeugs minimiert.
Wie hierin verwendet, sollen die Singularformen „ein/eine“ und „der/die“ auch die Pluralformen beinhalten, sofern der Kontext dies nicht klar ausschließt. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“ bei einer Verwendung in dieser Patentschrift das Vorhandensein von angegebenen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, jedoch nicht das Vorhandensein oder die Hinzufügung eines bzw. einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Die Beschreibung der vorliegenden Offenbarung wurde zur Veranschaulichung und Beschreibung vorgelegt, soll aber nicht vollständig oder auf die Offenbarung in der offenbarten Form beschränkt sein. Viele Modifikationen und Variationen sind für Fachleute offensichtlich, ohne vom Umfang und Sinn der Offenbarung abzuweichen. Die hierin ausdrücklich genannten Ausführungsformen wurden ausgewählt und beschrieben, um die Prinzipien der Offenbarung und ihre praktische Anwendung am besten zu erklären und es anderen Durchschnittsfachleuten auf diesem Gebiet ermöglichen, die Offenbarung zu verstehen und viele Alternativen, Änderungen und Abweichungen von den beschriebenen Beispielen zu erkennen. Dementsprechend liegen verschiedene Ausführungsformen und Implementierungen als die explizit beschriebenen im Geltungsbereich der folgenden Ansprüche.

Claims

Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug, das an Bord eines Arbeitsfahrzeugs mit einer Bedienerstation verwendet wird, wobei das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug Folgendes umfasst: ein Anzeigegerät, das innerhalb der Bedienerstation des Arbeitsfahrzeugs verwendet wird; eine am Fahrzeug montierte Kameraanordnung, umfassend: eine erste Fahrzeugkamera, die am Arbeitsfahrzeug montiert ist, die ein erstes Sichtfeld (field of view - FOV) aufweist und positioniert ist, um einen ersten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem ersten Blickwinkel zu erfassen; und eine zweite Fahrzeugkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites Sichtfeld aufweist, das sich teilweise mit dem ersten Sichtfeld überlappt, und positioniert ist, um einen zweiten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem zweiten Blickwinkel zu erfassen; eine Steuerung, die betriebsfähig mit dem Anzeigegerät, der ersten Fahrzeugkamera und der zweiten Fahrzeugkamera gekoppelt und konfiguriert ist, um: den ersten bzw. zweiten Kamera-Feed von der ersten bzw. zweiten Kamera zu empfangen; ein zusammengesetztes Panoramabild der Außenumgebung des Arbeitsfahrzeugs aus mindestens dem ersten und dem zweiten Kamera-Feed zu erzeugen; und das zusammengesetzte Panoramabild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs darzustellen.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 1, wobei eine Sichtlinie (LOS) zwischen der ersten Fahrzeugkamera und der zweiten Fahrzeugkamera durch eine dazwischenliegende Struktur des Arbeitsfahrzeugs blockiert wird.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 2, wobei die dazwischenliegende Struktur in dem ersten Sichtfeld und/oder dem zweiten Sichtfeld sichtbar ist; und wobei die Steuerung konfiguriert ist, um die dazwischenliegende Struktur visuell aus dem zusammengesetzten Panoramabild zu entfernen, wenn das zusammengesetzte Panoramabild aus mindestens dem ersten und dem zweiten Kamera-Feed erzeugt wird.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 3, wobei die erste Fahrzeugkamera und die zweite Fahrzeugkamera eine linke Fahrzeugrückfahrkamera bzw. eine zentrale Fahrzeugrückfahrkamera umfassen; wobei die am Fahrzeug montierte Kameraanordnung ferner eine rechte Fahrzeugrückfahrkamera umfasst, die ein drittes Sichtfeld aufweist, das sich teilweise mit dem zweiten Sichtfeld überlappt, und positioniert ist, um einen dritten Kamera-Feed der Außenumgebung des Arbeitsfahrzeugs von einem dritten Blickwinkel zu erfassen; und wobei die Steuerung ferner an die rechte hintere Fahrzeugkamera gekoppelt und konfiguriert ist, um das zusammengesetzte Panoramabild aus dem ersten, dem zweiten und dem dritten Kamera-Feed zu erzeugen.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 4, wobei das Arbeitsfahrzeug eine Längsachse, eine linkes Hinterrad, das auf einer ersten Seite der Längsachse positioniert ist und ein rechtes Hinterrad, das auf einer zweiten, gegenüberliegenden Seite der Längsachse positioniert ist, beinhaltet; wobei die linke Fahrzeugrückfahrkamera in einer Draufsicht und entlang einer zur Längsachse senkrechten Querachse an einer Stelle näher am linken Hinterrad des Arbeitsfahrzeugs als an der Längsachse am Arbeitsfahrzeug montiert ist; und wobei die rechte Fahrzeugrückfahrkamera am Arbeitsfahrzeug an einer Stelle montiert ist, die näher an dem rechten Hinterrad des Arbeitsfahrzeugs als an der Längsachse ist, wie in der Draufsicht weiter unten gesehen und entlang der Querachse genommen.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 4 oder 5, wobei die rechte Fahrzeugrückfahrkamera und die linke Fahrzeugrückfahrkamera durch einen Kamera-zu-Kamera-Abstand im Bereich von etwa 1 Meter bis etwa 5 Meter getrennt sind.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 6, wobei das Arbeitsfahrzeug ein Motorraumgehäuse hinter der Bedienerstation beinhaltet; und wobei die erste und zweite Kamera an Stellen angrenzend an die gegenüberliegenden Seiten des Motorraumgehäuses am Arbeitsfahrzeug montiert sind.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 7, ferner umfassend mindestens einen Hinderniserkennungssensor, der betriebsfähig mit der Steuerung gekoppelt und konfiguriert ist, um auf Hindernisse in zumindest dem ersten Sichtfeld und dem zweiten Sichtfeld zu überwachen; wobei die Steuerung ferner konfiguriert ist um: beim Erkennen eines Hindernisses innerhalb des ersten Sichtfelds oder des zweiten Sichtfelds durch den Hinderniserkennungssensor zu bestimmen, ob sich das Hindernis innerhalb einer vorbestimmten Entfernung von dem Arbeitsfahrzeug befindet; und wenn bestimmt wird, dass sich das Hindernis innerhalb der vorbestimmten Entfernung befindet, von der Darstellung des zusammengesetzten Panoramabildes auf dem Bildschirm zur Darstellung einer einzelnen Kameraansicht umzuschalten, in der das erkannte Hindernis sichtbar ist.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 8, wobei die vorbestimmte Entfernung gleich oder größer als eine Entfernung ist, bei der das erste Sichtfeld mit dem zweiten Sichtfeld überlappt, wie entlang einer Längsachse des Arbeitsfahrzeugs genommen, das sich vom Arbeitsfahrzeug weg bewegt.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 9, wobei sich das erste Sichtfeld und zweite Sichtfeld in einem FOV-Überlappungsbereich überlappen; und wobei die Steuerung konfiguriert ist, um das zusammengesetzte Panoramabild mithilfe einer zweidimensionalen Kalibrierungsebene zu erzeugen, die den Sichtfeld-Überlappungsbereich kreuzt und die orthogonal zu einer Längsachse des Arbeitsfahrzeugs ist.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 10, ferner umfassend mindestens einen Hinderniserkennungssensor, der betriebsfähig mit der Steuerung gekoppelt und konfiguriert ist, um Hindernisse zu überwachen, die sich in mindestens dem ersten Sichtfeld und dem zweiten Sichtfeld befinden; wobei die Steuerung konfiguriert ist, um: eine Position eines Hindernisses zu verfolgen, das innerhalb des ersten Sichtfelds oder des zweiten Sichtfelds durch den Hinderniserkennungssensor erkannt wird; und einen Längsabstand zwischen der zweidimensionalen Kalibrierungsebene und dem Arbeitsfahrzeug basierend auf der Position des erkannten Hindernisses einzustellen.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 11, wobei die Steuerung konfiguriert ist, um den Längsabstand zwischen der zweidimensionalen Kalibrierungsebene und dem Arbeitsfahrzeug so einzustellen, dass sich die zweidimensionale Kalibrierungsebene aus einer Perspektive des Arbeitsfahrzeugs gesehen vor dem erkannten Hindernis kreuzt oder sich unmittelbar vor diesem befindet.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 12, wobei die erste und die zweite Fahrzeugkamera jeweils eine stereoskopische Kamera umfassen, die konfiguriert ist, um dreidimensionale Bilddaten von Objekten innerhalb des ersten und des zweiten Sichtfelds zu erfassen; und wobei die Steuerung die dreidimensionalen Bilddaten verwendet, wenn das zusammengesetzte Panoramabild aus mindestens dem ersten und dem zweiten Kamera-Feed erzeugt wird.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 1 bis 13, ferner umfassend eine Bedienerschnittstelle, die mit der Steuerung gekoppelt ist; wobei die Steuerung ferner konfiguriert ist um: ein erstes und ein zweites Symbol auf dem Anzeigegerät in Verbindung mit dem zusammengesetzten Panoramabild zu erzeugen; von der Anzeige des zusammengesetzten Panoramabildes auf die Anzeige des ersten Kamera-Feeds auf dem Anzeigegerät umzuschalten, wenn Bedienereingaben über die Bedienerschnittstelle empfangen werden, dass das erste Symbol ausgewählt wurde; und von der Anzeige des zusammengesetzten Panoramabilds auf die Anzeige des zweiten Kamera-Feeds auf dem Anzeigegerät umzuschalten, wenn Bedienereingaben über die Bedienerschnittstelle empfangen werden, dass das zweite Symbol ausgewählt wurde.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug, das an Bord eines Arbeitsfahrzeugs mit einer Bedienerstation verwendet wird, wobei das zusammengesetzte Panorama-Sichtsystem für ein Arbeitsfahrzeug Folgendes umfasst: ein Anzeigegerät, das innerhalb der Bedienerstation des Arbeitsfahrzeugs verwendet wird; eine am Fahrzeug montierte Kameraanordnung, umfassend: eine rechte Fahrzeugrückfahrkamera, die am Arbeitsfahrzeug montiert ist, die ein erstes Sichtfeld (field of view - FOV) aufweist und positioniert ist, um einen rechten Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; eine zentrale Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein zweites Sichtfeld aufweist, das mit dem ersten Sichtfeld überlappt, und positioniert ist, um einen zentralen Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; und eine linke Fahrzeugrückfahrkamera, die an dem Arbeitsfahrzeug montiert ist, die ein drittes Sichtfeld aufweist, das mit dem zweiten Sichtfeld überlappt, und positioniert ist, um einen linken Fahrzeugrückfahrkamera-Feed der Außenumgebung des Arbeitsfahrzeugs zu erfassen; eine Steuerung, die betriebsfähig mit dem Anzeigegerät, der rechten Fahrzeugrückfahrkamera, der zentralen Fahrzeugrückfahrkamera und der linken Fahrzeugrückfahrkamera gekoppelt ist und konfiguriert ist, um: ein zusammengesetztes Panorama-Rückfahrbild der Außenumgebung des Arbeitsfahrzeugs aus Bildern zu erzeugen, die aus dem rechten, zentralen und linken Fahrzeugrückwärtskamera-Feed extrahiert werden; und das zusammengesetzte Panorama-Rückfahrbild auf dem Anzeigegerät zum Betrachten durch einen Bediener des Arbeitsfahrzeugs darzustellen.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 15, wobei eine Sichtlinie (LOS) zwischen der rechten Fahrzeugrückfahrkamera und der linken Fahrzeugrückfahrkamera durch mindestens eine dazwischenliegende Struktur des Arbeitsfahrzeugs blockiert wird.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 16, wobei die dazwischenliegende Struktur des Arbeitsfahrzeugs ein Motorraumgehäuse mit einer linken Seitenwand und einer rechten Seitenwand umfasst; und wobei die rechte Fahrzeugrückfahrkamera an oder angrenzend an die rechte Seitenwand des Motorraumgehäuses montiert ist, während die linke Fahrzeugrückfahrkamera an oder angrenzend an die linke Seitenwand des Motorraumgehäuses angebracht ist.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 15 bis 17, ferner umfassend eine Bedienerschnittstelle, die sich innerhalb der Bedienerstation befindet; und wobei die Steuerung an die Bedienerschnittstelle gekoppelt und konfiguriert ist, um es einem Bediener zu ermöglichen, auszuwählen, welches zusammengesetzt Panorama-Rückfahrbild, das des rechten Fahrzeugrückfahrkamera-Feeds, das des zentralen Kamera-Feeds und das des linken Fahrzeugrückfahrkamera-Feeds zu einem bestimmten Zeitpunkt auf dem Anzeigegerät angezeigt wird.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach Anspruch 18, wobei die Steuerung ferner konfiguriert ist, um: ein rechtes Rückfahrkamerasymbol, ein zentrales Rückfahrkamerasymbol und ein linkes Rückfahrkamerasymbol auf dem Anzeigegerät in Verbindung mit dem zusammengesetzten Panorama-Rückfahrbild zu erzeugen; und von der Anzeige des zusammengesetzten Panorama-Rückfahrbildes auf die Anzeige des rechten Fahrzeugrückfahrkamera-Feeds, des zentralen Fahrzeugrückfahrkamera-Feeds oder des linken Fahrzeugrückfahrkamera-Feeds umzuschalten, wenn Bedienereingaben über die Bedienerschnittstelle empfangen werden, dass das linke Fahrzeugrückfahrkamera-Symbol, das zentrale Fahrzeugrückfahrkamera-Symbol bzw. das linke Fahrzeugrückfahrkamera-Symbol ausgewählt wurde.
Zusammengesetztes Panorama-Sichtsystem für ein Arbeitsfahrzeug nach einem der Ansprüche 15 bis 19, ferner umfassend mindestens einen Hinderniserkennungssensor, der betriebsfähig mit der Steuerung gekoppelt und konfiguriert ist, um auf Hindernisse hinter dem Arbeitsfahrzeug zu überwachen; wobei die Steuerung ferner konfiguriert ist um: beim Erkennen eines Hindernisses innerhalb des ersten, zweiten oder dritten Sichtfelds durch den Hinderniserkennungssensor zu bestimmen, ob sich das Hindernis innerhalb einer vorbestimmten Entfernung von dem Arbeitsfahrzeug befindet; und wenn bestimmt wird, dass sich das Hindernis innerhalb der vorbestimmten Entfernung befindet, von der Darstellung des zusammengesetzten Panorama-Rückseitenbildes auf dem Anzeigegerät zu der Darstellung des rechten Fahrzeugrückfahrkamera-Feeds, des zentralen Fahrzeugrückfahrkamera-Feeds oder des linken Fahrzeugrückfahrkamera-Feeds umzuschalten, abhängig davon, welcher am engsten auf das erkannte Hindernis zentriert ist.