DE102017219067A1

DE102017219067A1 - DEVICE AND METHOD FOR THE VISUAL SUPPORT OF A USER IN A WORKING ENVIRONMENT

Info

Publication number: DE102017219067A1
Application number: DE102017219067.1A
Authority: DE
Inventors: Valentin Fuchs; Marc Kamradt; Andre Peters
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2019-04-25

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld sowie ein System zum Trainieren eines KI-Verfahrens mit einer solchen Vorrichtung. Eine am Kopf des Benutzers tragbare Anzeigeeinrichtung weist eine Bilderfassungseinheit auf, die eingerichtet ist, ein Objekt optisch zu erfassen und entsprechende Bilddaten zu erzeugen. Eine getrennt von der Erfassungseinrichtung am Körper des Benutzers tragbare Datenverarbeitungseinrichtung ist eingerichtet, basierend auf den erzeugten Bilddaten unter Verwendung eines KI-Verfahrens das Objekt und/oder wenigstens eines seiner Objektmerkmale zu identifizieren und entsprechende Identifikationsdaten zu erzeugen. Dabei ist die Anzeigeeinrichtung eingerichtet, das identifizierte Objekt und/oder sein wenigstens eines identifiziertes Objektmerkmal anhand der erzeugten Identifikationsdaten im Rahmen eines AR- bzw. VR-Bildes und, zumindest näherungsweise, in Echtzeit darzustellen.The invention relates to an apparatus and a method for visually assisting a user in a working environment and to a system for training an AI method with such a device. A display device that can be worn on the user's head has an image capture unit that is set up to optically capture an object and generate corresponding image data. A data processing device that is portable separately from the detection device on the user's body is set up to identify the object and / or at least one of its object features based on the generated image data using an AI method and to generate corresponding identification data. In this case, the display device is set up to display the identified object and / or its at least one identified object feature on the basis of the generated identification data in the context of an AR or VR image and, at least approximately, in real time.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld, insbesondere im Umfeld einer Fertigungsstraße, sowie ein System zum Trainieren eines KI-Verfahrens mit einer solchen Vorrichtung.The invention relates to an apparatus and a method for visually assisting a user in a working environment, in particular in the environment of a production line, as well as a system for training an AI method with such a device.

Es ist bekannt, einen Arbeiter bezüglich der Ausführung von Arbeitsvorgängen in verschiedenen Arbeitsfeldern, etwa bei der Kommissionierung von Fahrzeugteilen in der Fahrzeugmontage, visuell zu unterstützen. Ein Ansatz ist das sog. „Pick-by-Vision“-Verfahren, in dessen Rahmen durch eine vom Arbeiter getragene sog. „Augmented-Reality“ (AR)-Brille Informationen bezüglich des auszuwählenden nächsten Bauteils oder Artikels in das Sichtfeld des Arbeiters eingeblendet werden. Daneben sind auch „Virtual-Reality“ (VR)-Brillen bekannt, bei denen im Gegensatz zu AR nicht das natürliche Sichtfeld nur durch Einblendung künstlicher erzeugter Objekte ergänzt, sondern in Gänze künstliche erzeugt wird, wobei insbesondere auch das zum natürlichen Sichtfeld des Benutzers korrespondierende Sichtfeld mittels zumindest einer Kamera erfasst und die entsprechenden Bilddaten in das dem Benutzer dargestellte VR-Bild integriert werden können. Die jeweils für solche AR- bzw. VR-Lösungen notwendige Bilderkennung und -analyse kann insbesondere mit Hilfe von trainierbaren Verfahren aus dem Bereich der sog. Künstlichen Intelligenz (KI), erfolgen. So sind etwa sog. „Deep Learning“ Algorithmen bekannt, d.h. selbstlernende Algorithmen, die oftmals mittels künstlicher neuronaler Netze ausgeführt werden. Diese Algorithmen werden üblicherweise in einem sog. „Backend“, d.h. einem zentralen Server, mit hoher Rechenleistung ausgeführt, wobei das Backend in der Regel über eine sog. „Luftschnittstelle“, d.h. eine drahtlose Kommunikationsverbindung, mit der vom Arbeiter getragenen AR-Brille bzw. VR-Brille kommuniziert.It is known to visually assist a worker in performing operations in various work areas, such as picking vehicle parts in vehicle assembly. One approach is the so-called "pick-by-vision" method, in which a so-called "Augmented Reality" (AR) eyeglass carries information about the next component or article to be selected into the worker's field of view become. In addition, "virtual reality" (VR) glasses are known in which, in contrast to AR, the natural field of view is not supplemented only by overlaying artificially created objects, but completely artificial, in particular also corresponding to the natural field of view of the user Field of view detected by at least one camera and the corresponding image data can be integrated into the VR image displayed to the user. The image recognition and analysis necessary in each case for such AR or VR solutions can take place, in particular, with the aid of trainable methods from the field of so-called Artificial Intelligence (AI). For example, so-called "deep learning" algorithms are known, i. Self-learning algorithms that are often executed using artificial neural networks. These algorithms are usually used in a so-called "backend", i. a central server, executed with high computing power, the backend usually via a so-called "air interface", i. a wireless communication link that communicates with worker-worn AR or VR glasses.

Die deutsche Offenlegungsschrift DE 102 15 885 A1 offenbart ein Verfahren zur automatischen Prozesskontrolle, bei dem erfasste reale Arbeitsvorgänge mit zumindest einem vorgegebenen virtuellen Arbeitsvorgang verglichen werden. Mit einem AR-System kann dabei eine virtuelle Arbeitsumgebung in Relation zu einer erfassten realen Arbeitsumgebung wiedergegeben werden. Das AR-System umfasst eine Steuereinrichtung, die über eine drahtlose Verbindung in Wirkverbindung mit einer Softwareeinrichtung und einem Datenspeicher steht.The German patent application DE 102 15 885 A1 discloses an automatic process control method in which detected real operations are compared to at least one predetermined virtual operation. An AR system can be used to reproduce a virtual work environment in relation to a recorded real work environment. The AR system includes a controller operatively connected to a software device and a data memory via a wireless connection.

Es ist eine Aufgabe der vorliegenden Erfindung, die Zuverlässigkeit einer Vorrichtung, welche einen Benutzer bei seiner Tätigkeit in einem Arbeitsumfeld unterstützen kann, zu erhöhen.It is an object of the present invention to increase the reliability of a device that can assist a user in their work environment.

Diese Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche gelöst durch eine Vorrichtung und ein Verfahren zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld sowie einem System zum Trainieren eines KI-Verfahrens.This object is achieved according to the teaching of the independent claims by an apparatus and a method for visually assisting a user in a working environment as well as a system for training an AI method.

Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld, insbesondere im Umfeld einer Fertigungsstraße, welche eine am Kopf des Benutzers tragbare Anzeigeeinrichtung mit einer Bilderfassungseinheit aufweist, wobei die Bilderfassungseinheit eingerichtet ist, ein Objekt optisch zu erfassen und entsprechende Bilddaten zu erzeugen. Zudem ist eine getrennt von der Anzeigeeinrichtung am Körper des Benutzers tragbare Datenverarbeitungseinrichtung eingerichtet, basierend auf den erzeugten Bilddaten unter Verwendung eines KI-Verfahrens das Objekt und/oder wenigstens eines seiner Objektmerkmale zu identifizieren und entsprechende Identifikationsdaten zu erzeugen. Dabei ist die Anzeigeeinrichtung eingerichtet, das identifizierte Objekt und/oder sein wenigstens eines identifiziertes Objektmerkmal anhand der erzeugten Identifikationsdaten im Rahmen eines AR- bzw. VR-Bildes und, zumindest annähernd, in Echtzeit darzustellen.A first aspect of the invention relates to a device for visually assisting a user in a working environment, in particular in the vicinity of a production line, which has a display device that can be worn on the user's head with an image acquisition unit, wherein the image acquisition unit is set up to optically acquire an object and corresponding image data to create. In addition, a data processing device, which is portable separately from the display device on the user's body, is configured to identify the object and / or at least one of its object features based on the generated image data using an KI method and to generate corresponding identification data. In this case, the display device is set up to display the identified object and / or its at least one identified object feature on the basis of the generated identification data in the context of an AR or VR image and, at least approximately, in real time.

Eine Anzeigeeinrichtung im Sinne der Erfindung ist insbesondere ein sog. „Head Mounted Display“ (HMD), insbesondere ein an oder auf dem Kopf des Benutzers getragenes, vorzugsweise brillenartiges, Ausgabegerät mit einem Display oder einem Projektionsmodul, welches zur visuellen Darstellung von Bildern und/oder Bildelementen eingerichtet ist. Vorzugsweise ist die Anzeigeeinrichtung eingerichtet, die vom Benutzer wahrgenommene Realität um dargestellte Objekte und/oder Objektmerkmale, etwa durch Darstellung bzw. Einblendung von Bildelementen, zu erweitern. Dadurch können dem Benutzer zuverlässig und kontextbezogen Informationen bezüglich des Arbeitsumfelds, insbesondere bezüglich des Objekts, angezeigt werden, ohne dass der Benutzer seinen gerade ausgeführten Arbeitsvorgang unterbrechen muss.A display device according to the invention is in particular a so-called "head mounted display" (HMD), in particular a worn on or on the head of the user, preferably spectacle-like, output device with a display or a projection module, which for the visual display of images and / or picture elements is set up. Preferably, the display device is set up to augment the reality perceived by the user with displayed objects and / or object features, for example by displaying or inserting picture elements. As a result, the user can be reliably and contextually displayed information relating to the working environment, in particular with regard to the object, without the user having to interrupt his currently executed work process.

Eine Darstellung des Objekts und/oder seines wenigstens einen Objektmerkmals im Rahmen eines AR-Bildes im Sinne der vorliegenden Erfindung ist insbesondere das Einblenden von Bildelementen in das Sichtfeld des Benutzers. Somit kann das Objekt und/oder wenigstens eines seiner Objektmerkmale insbesondere abstrakt dargestellt werden. Vorzugsweise wird das Objekt oder zumindest ein oder mehrere Teile des Objekts mittels der Anzeigeeinrichtung auf Grundlage der Identifikationsdaten durch eine Markierung, etwa durch einen Rahmen, einen Kreis und/oder dergleichen, hervorgehoben. Alternativ oder zusätzlich kann eine Typenbezeichnung des identifizierten Objekts und/oder seines wenigstens einen identifizierten Objektmerkmals angezeigt werden. Der Benutzer kann damit das identifizierte Objekt und/oder wenigstens eines seiner Objektmerkmale gleichzeitig mit der Markierung und/oder Typenbezeichnung, insbesondere visuell, wahrnehmen.A representation of the object and / or its at least one object feature in the context of an AR image in the context of the present invention is in particular the fading of picture elements in the field of view of the user. Thus, the object and / or at least one of its object features can be represented abstractly in particular. Preferably, the object or at least one or more parts of the object is highlighted by means of the display device based on the identification data by a marker, such as a frame, a circle and / or the like. Alternatively or additionally, a type designation of the identified object and / or its at least one identified object feature may be displayed become. The user can thus perceive the identified object and / or at least one of its object features simultaneously with the marking and / or type designation, in particular visually.

Eine Darstellung des Objekts und/oder seines wenigstens einen Objektmerkmals im Rahmen eines VR-Bildes im Sinne der vorliegenden Erfindung ist insbesondere die Abbildung des Objekts durch die Anzeigeeinrichtung, insbesondere auf einem Display der Anzeigeeinrichtung. Das Objekt und/oder sein wenigstens eines Objektmerkmal kann dabei auch in abgewandelter Form, insbesondere eingefärbt, stilisiert, umrandet und/oder dergleichen, dargestellt werden.A representation of the object and / or its at least one object feature in the context of a VR image in the context of the present invention is in particular the imaging of the object by the display device, in particular on a display of the display device. The object and / or its at least one object feature can also be displayed in a modified form, in particular colored, stylized, bordered and / or the like.

Ein KI-Verfahren im Sinne der Erfindung wird insbesondere durch ein Softwaremodul realisiert, welches bei seiner Ausführung auf der bzw. durch die Datenverarbeitungseinrichtung einen oder mehrere Algorithmen zur Bildverarbeitung, insbesondere Bildanalyse, anwendet und dabei insbesondere Objekte und/oder Objektmerkmale in einem Bild identifizieren kann. Das KI-Verfahren ist vorzugsweise zur Mustererkennung eingerichtet. Es kann etwa durch ein sog. künstliches neuronales Netz implementiert sein.An AI method according to the invention is realized in particular by a software module which, when executed on or by the data processing device, uses one or more algorithms for image processing, in particular image analysis, and in particular can identify objects and / or object features in an image , The AI method is preferably set up for pattern recognition. It can be implemented by a so-called artificial neural network.

Ein Objektmerkmal im Sinne der Erfindung ist insbesondere eine Form des Objekts oder zumindest eines Teils des Objekts, etwa eine bauliche Besonderheit des Objekts, die vorzugsweise zuverlässig und einfach als Muster in einem optisch erfassten Bild erkannt werden kann. Bei einem Objektmerkmal kann es sich auch um einen Marker handeln, der am Objekt angebracht ist und etwa eine Orientierung des Objekts oder das Objekt selbst kennzeichnet bzw. eine Identifikation erlaubt. Alternativ oder zusätzlich kann ein Objektmerkmal auch eine Abweichung von einer vorgegebenen Form des Objekts oder zumindest eines Teils des Objekts sein, etwa ein Riss im Objekt oder eine sonstige Beschädigung des Objekts.An object feature in the sense of the invention is, in particular, a shape of the object or at least a part of the object, for example a constructional feature of the object, which can preferably be detected reliably and simply as a pattern in an optically captured image. An object feature may also be a marker which is attached to the object and marks, for example, an orientation of the object or the object itself or permits identification. Alternatively or additionally, an object feature may also be a deviation from a predetermined shape of the object or at least a part of the object, such as a crack in the object or other damage to the object.

Eine Darstellung, zumindest näherungsweise, in Echtzeit im Sinne der vorliegenden Erfindung ist insbesondere eine Darstellung oder Anzeige durch die Anzeigeeinrichtung unmittelbar, vorzugsweise weniger als 100 ms, bevorzugt weniger als 50 ms, besonders bevorzugt weniger als 10 ms, insbesondere weniger als 5 ms, nach dem optischen Erfassen des Objekts durch die Bilderfassungseinheit. Vorzugsweise geschieht die Darstellung des Objekts bzw. des Objektmerkmals im Rahmen des AR- oder VR-Bilds so schnell, dass der Benutzer die bei der Berechnung der das AR- oder VR-Bild konstituierenden Bildkomponenten auftretende Latenz nicht oder zumindest nicht störend wahrnimmt.A representation, at least approximately, in real time in the sense of the present invention is in particular a representation or display by the display device immediately, preferably less than 100 ms, preferably less than 50 ms, more preferably less than 10 ms, in particular less than 5 ms, after the optical detection of the object by the image acquisition unit. The representation of the object or of the object feature in the context of the AR or VR image preferably takes place so rapidly that the user does not perceive the latency occurring during the calculation of the image components constituting the AR or VR image, or at least does not perceive it as disturbing.

Die Ausbildung der Datenverarbeitungseinrichtung als am Körper des Benutzers tragbare Datenverarbeitungseinrichtung ist vorteilhaft, da somit die Zeitspanne zwischen der Erfassung des Objekts bzw. dem Erzeugen der entsprechenden Bilddaten und dem Auswerten bzw. der Analyse der Bilddaten einerseits und zwischen dem Erkennen des Objekts und/oder des wenigstens einen Objektmerkmals bzw. dem Erzeugen der entsprechenden Erkennungsdaten und dem Darstellen und/oder Markieren des Objekts und/oder des wenigstens einen Objektmerkmals andererseits verringert werden kann. Insbesondere kann eine bei einer Kommunikation mit einem Backend bewirkte Latenz vermieden werden. Dies ermöglicht insbesondere eine Darstellung des Objekts und/oder seines wenigstens einen Objektmerkmals im Wesentlichen in Echtzeit.The formation of the data processing device as a data processing device that can be worn on the user's body is advantageous since the time span between the detection of the object or the generation of the corresponding image data and the evaluation or analysis of the image data on the one hand and between the recognition of the object and / or the second At least one object feature or the generation of the corresponding recognition data and the representation and / or marking of the object and / or the at least one object feature on the other hand can be reduced. In particular, a latency caused when communicating with a backend can be avoided. In particular, this allows a representation of the object and / or its at least one object feature substantially in real time.

Durch den Verzicht auf eine Luftschnittstelle zur Kommunikation zwischen der am Kopf des Benutzers getragenen Anzeigeeinrichtung und einem Backend kann auch die Störanfälligkeit der Datenübertragung zwischen der Anzeigeeinrichtung und der Datenverarbeitungseinrichtung verringert werden. Beispielsweise kann eine Überlastung der Luftschnittstelle durch Überschreiten einer maximalen Übertragungsbandbreite, etwa durch die Vernetzung einer Vielzahl von Anzeigeeinrichtungen mit dem Backend, zuverlässig vermieden werden. Zudem kann durch die am Körper des Benutzers getragene Datenverarbeitungseinrichtung vermieden werden, dass beim Übertragen von Daten zur ebenfalls am Körper des Benutzers getragenen Anzeigeeinrichtung aufgrund der kurzen Übertragungsdistanz fehlerhafte Datenpakete erzeugt werden.By dispensing with an air interface for communication between the display device carried on the head of the user and a backend, the susceptibility of the data transmission between the display device and the data processing device can also be reduced. For example, overloading the air interface by exceeding a maximum transmission bandwidth, such as by networking a plurality of display devices with the backend, can be reliably avoided. In addition, it can be avoided by the data processing device carried on the body of the user that erroneous data packets are generated when transmitting data to the display device also carried on the body of the user due to the short transmission distance.

Die Datenverarbeitungseinrichtung kann insbesondere dazu eingerichtet sein, an einem Gürtel des Benutzers befestigt zu werden. Dadurch kann die Vorrichtung zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld flexibel an verschiedenen Orten, etwa in einer Montage- oder Lagerhalle, eingesetzt werden, ohne dass eine entsprechende Verwaltung eines Netzwerks, das die Vorrichtung oder mehrere Vorrichtungen mit einem oder mehreren entsprechenden Servern zur Bildverarbeitung verbindet, notwendig ist.The data processing device may in particular be adapted to be attached to a belt of the user. Thus, the device for visually assisting a user in a work environment can be flexibly deployed in various locations, such as in an assembly or warehouse, without having to properly manage a network including the device or multiple devices with one or more corresponding image processing servers connects, is necessary.

Insgesamt ermöglicht die Erfindung eine Verbesserung der visuellen Unterstützung eines Benutzers in einem Arbeitsumfeld.Overall, the invention enables an improvement in the visual support of a user in a work environment.

In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung eingerichtet, anhand des wenigstens einen identifizierten Objektmerkmals einen Objektzustand abzuleiten und/oder dem Objekt eine vom Benutzer auszuführende Aktion zuzuordnen. Dabei ist die Anzeigeeinrichtung eingerichtet, auf Grundlage des abgeleiteten Objektzustands und/oder der dem Objekt zugeordneten, vom Benutzer auszuführenden Aktion den Objektzustand bzw. die auszuführende Aktion betreffende Informationen anzuzeigen. Das KI-Verfahren kann zu diesem Zweck etwa eingerichtet sein, ein vorgegebenes Muster in den von der Bilderfassungseinheit erzeugten Bilddaten zu identifizieren und anhand des identifizierten Musters, etwa durch Vergleich mit in einer Datenbank gespeicherten Musterdaten, den Zustand des Objekts, insbesondere einen Verarbeitungs- oder Montagezustand, eine Beschädigung oder zumindest eine Abweichung von einer Norm und/oder eine Orientierung des Objekts, zu ermitteln. Auf Grundlage insbesondere des Verarbeitung- oder Montagezustands, der Beschädigung oder Abweichung von einer Norm kann die Datenverarbeitungseinrichtung vorzugsweise einen Montageschritt, etwa das Montieren des Objekts an ein anderes Objekt und/oder das Bearbeiten des Objekts, oder einen Kommissionierungsschritt, etwa das Einsortieren des Objekts oder das Entfernen des Objekts aus einer Sortierung, ableiten.In a preferred embodiment, the data processing device is set up to derive an object state from the at least one identified object feature and / or to associate the object with an action to be performed by the user. In this case, the display device is set up, based on the derived object state and / or the object assigned to the user action to be performed on the object state or the action to be performed. For this purpose, the AI method can be set up for this purpose to identify a predefined pattern in the image data generated by the image acquisition unit and, based on the identified pattern, for example by comparison with pattern data stored in a database, the state of the object, in particular a processing or Mounting state, damage or at least a deviation from a standard and / or orientation of the object to determine. On the basis of, in particular, the processing or assembly state, the damage or deviation from a standard, the data processing device may preferably include an assembly step, such as mounting the object to another object and / or processing the object, or a picking step, such as sorting the object or derive the removal of the object from a sort.

Des Weiteren können Text und/oder Symbole mittels der Anzeigeeinrichtung in das Sichtfeld des Benutzers eingeblendet werden, wobei der Text und/oder die Symbole etwa Instruktionen zu einem weiteren Arbeitsschritt kennzeichnen. Ein zu sortierendes Bauteil kann etwa mit einem Rahmen gekennzeichnet und der am Bauteil vorzunehmende Sortierungsvorgang durch einen Pfeil angedeutet werden. Alternativ oder zusätzlich kann der Benutzer auf eine Beschädigung des Bauteils, etwa durch Kennzeichnung der Beschädigungsstelle mit einem Rahmen, aufmerksam gemacht und durch einen entsprechenden Text, etwa „beschädigtes Teil aussortieren“, zum Ausführen einer vorgegebenen Aktion instruiert werden. Dies ermöglicht eine zuverlässige Qualitätssicherung bezüglich der Arbeit des Benutzers. Insbesondere können alle wesentlichen Schritte einer computergestützten, insbesondere auf einem KI-Verfahren basierenden, Qualitätssicherung lokal im Arbeitsumfeld, etwa am Arbeitsplatz des Benutzers, ausgeführt werden, ohne dass zur Verarbeitung von Daten auf ein Backend zurückgegriffen werden muss.Furthermore, text and / or symbols can be faded into the field of view of the user by means of the display device, wherein the text and / or the symbols characterize, for example, instructions for a further work step. A component to be sorted may be marked with a frame, for example, and the sorting process to be carried out on the component may be indicated by an arrow. Alternatively or additionally, the user may be alerted to a damage of the component, such as by marking the damaged area with a frame, and instructed by a corresponding text, such as "sort out damaged part" to perform a predetermined action. This allows a reliable quality assurance regarding the work of the user. In particular, all the essential steps of a computer-aided, in particular on an AI-based, quality assurance can be performed locally in the work environment, such as the user's workstation, without having to resort to a backend for processing data.

In einer weiteren bevorzugten Ausführungsform weist die Vorrichtung des Weiteren eine physikalische Verbindung auf, über welche die Bilddaten und/oder die Identifikationsdaten zwischen der Datenverarbeitungseinrichtung und der Anzeigeeinrichtung übertragen werden können. Vorzugsweise handelt es sich bei der physikalischen Verbindung um ein Kabel. Insbesondere kann die Verbindung zur Übertragung von Daten über ein USB-Kabel ausgeführt werden. Beispielsweise kann die Datenverarbeitungseinrichtung eingerichtet sein, am Gürtel des Benutzers getragen zu werden, so dass der Benutzer bei der Ausführung seiner Arbeit nicht behindert wird, wobei Daten über die physikalische Verbindung störungsfrei und unabhängig von weiteren, im Arbeitsumfeld eingesetzten Vorrichtungen, zwischen der Anzeigeeinrichtung und der Datenverarbeitungseinrichtung übertragen werden können. Dadurch kann das Auftreten von Übertragungsfehlern vermieden oder zumindest verringert werden und/oder Bandbreitenbeschränkungen in einem ausgedehnten Netzwerk zur Verbindung der Anzeigeeinrichtung mit einem Backend umgangen werden.In a further preferred embodiment, the device furthermore has a physical connection, via which the image data and / or the identification data can be transmitted between the data processing device and the display device. Preferably, the physical connection is a cable. In particular, the connection for transmitting data via a USB cable can be performed. For example, the data processing device can be set up to be worn on the user's belt so that the user is not hampered in the performance of his work, with data on the physical connection smoothly and independently of other devices used in the working environment, between the display device and the Data processing device can be transmitted. Thereby, the occurrence of transmission errors can be avoided or at least reduced and / or bandwidth limitations in an extended network for connecting the display device to a backend can be circumvented.

In einer weiteren bevorzugten Ausführungsform weist die Vorrichtung zudem eine Energieversorgungseinrichtung auf, die eingerichtet ist, die Datenverarbeitungseinrichtung und/oder die Anzeigeeinrichtung über die physikalische Verbindung mit Energie zu versorgen. Vorzugsweise ist die Energieversorgungseinrichtung eingerichtet, an einem Gürtel des Benutzers getragen zu werden. Alternativ oder zusätzlich ist die Energieversorgungseinrichtung als Teil der Datenverarbeitungseinrichtung ausgebildet. Dadurch kann die Energieversorgungseinrichtung ohne Behinderung des Benutzers getragen werden. Zudem ermöglicht die Energieversorgungseinrichtung einen ausdauernden Betrieb der Datenverarbeitungseinrichtung zusammen mit der Anzeigeeinrichtung, insbesondere im Schichtbetrieb, vorzugsweise über wenigstens acht Stunden.In a further preferred embodiment, the device also has a power supply device, which is set up to supply the data processing device and / or the display device with energy via the physical connection. Preferably, the power supply device is adapted to be worn on a belt of the user. Alternatively or additionally, the energy supply device is designed as part of the data processing device. Thereby, the power supply device can be carried without obstruction of the user. In addition, the energy supply device allows a perennial operation of the data processing device together with the display device, in particular in stratified operation, preferably over at least eight hours.

In einer weiteren bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung als eingebettetes System ausgebildet. Vorzugsweise ist das eingebettete System zum Ausführen eines KI-Verfahrens, insbesondere als künstliches neuronales Netz, ausgebildet. Dadurch können auch rechenintensive Algorithmen, insbesondere zu Mustererkennung, lokal im Arbeitsumfeld des Benutzers ausgeführt werden, ohne dass auf einen externen Server zurückgegriffen werden muss. Zudem kann das eingebettete System eingerichtet sein, die Anzeigeeinrichtung, insbesondere über die physikalische Verbindung, zu steuern. Beispielsweise kann das eingebettete System von der Anzeigeeinrichtung anzuzeigende bzw. in das Sichtfeld des Benutzers einzublendende Bildelemente wie etwa Rahmen, Typenbezeichnungen, Symbole und/oder dergleichen berechnen und mit den Identifikationsdaten, insbesondere als Identifikationsdaten, an die Anzeigeeinrichtung übertragen. Dadurch kann die von der Anzeigeeinrichtung benötigte Rechenleistung reduziert werden, was sich vorteilhaft auf Gewicht, d.h. Tragekomfort, Energieverbrauch und Fehleranfälligkeit auswirkt.In a further preferred embodiment, the data processing device is embodied as an embedded system. The embedded system is preferably designed for carrying out an AI method, in particular as an artificial neural network. As a result, it is also possible to execute computationally intensive algorithms, in particular for pattern recognition, locally in the working environment of the user, without having to resort to an external server. In addition, the embedded system can be set up to control the display device, in particular via the physical connection. For example, the embedded system can calculate display elements to be displayed by the display device or to be superimposed on the user's field of view, such as frames, type designations, symbols and / or the like, and transmit them to the display device using the identification data, in particular as identification data. As a result, the computing power required by the display device can be reduced, which is advantageous for weight, i. Wearing comfort, energy consumption and susceptibility to errors.

In einer weiteren bevorzugten Ausführung weist die Datenverarbeitungseinrichtung, insbesondere das eingebettete System, wenigstens einen dedizierten Graphikprozessor auf. Der Graphikprozessor weist vorzugsweise eine Mehrzahl an Rechenkernen auf. Die Datenverarbeitungseinrichtung, insbesondere das eingebettete System, weist etwa einen Nvidia Jetson TX2 auf oder wird von diesem gebildet. Dadurch kann die Verarbeitung der Bilddaten, insbesondere die Bildanalyse, mittels des KI-Verfahrens zuverlässig, zumindest annähernd, in Echtzeit ausgeführt werden, was eine effiziente Qualitätssicherung ermöglicht.In a further preferred embodiment, the data processing device, in particular the embedded system, has at least one dedicated graphics processor. The graphics processor preferably has a plurality of computing cores. The data processing device, in particular the embedded system, has or is formed by, for example, an Nvidia Jetson TX2. This allows the processing of the image data, In particular, the image analysis, using the AI method reliable, at least approximately, be executed in real time, which allows efficient quality assurance.

Ein zweiter Aspekt der Erfindung betrifft ein System zum Trainieren eines KI-Verfahrens, welches eine Vorrichtung zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld, insbesondere im Umfeld einer Fertigungsstraße, nach dem ersten Aspekt der Erfindung und ein ortsfestes Trainingsterminal, welches mit der Datenverarbeitungseinrichtung verbindbar und eingerichtet ist, ein auf der Vorrichtung implementiertes KI-Verfahren zu trainieren, aufweist.A second aspect of the invention relates to a system for training an AI method, which comprises a device for visually supporting a user in a work environment, in particular in the environment of a production line, according to the first aspect of the invention and a stationary training terminal which can be connected to the data processing device and is set up to train an implemented on the device AI method.

Dies ist vorteilhaft, da mit dem ortsfesten Trainingsterminal mehrere im Arbeitsumfeld eingesetzte erfindungsgemäße Vorrichtungen effizient auf die Verarbeitung der Bilddaten unter Verwendung eines KI-Verfahrens, insbesondere auf die Bildanalyse bzw. Objekterkennung, vorbereitet werden können. Zudem wird dadurch ermöglicht, dass alle im Arbeitsumfeld eingesetzten Vorrichtungen die gleiche Funktionalität und eine übereinstimmende hohe Zuverlässigkeit aufweisen, auch wenn die Vorrichtungen im späteren Einsatz nicht mehr mit dem ortsfesten Trainingsterminal verbunden sind.This is advantageous because with the stationary training terminal several devices according to the invention used in the working environment can be efficiently prepared for the processing of the image data using an AI method, in particular for image analysis or object recognition. In addition, this makes it possible that all devices used in the work environment have the same functionality and a consistent high reliability, even if the devices are no longer connected to the stationary training terminal in later use.

Zudem ermöglicht die Einrichtung eines solchen ortsfesten Trainingsterminals den Einsatz einer am Körper des Benutzers tragbaren Datenverarbeitungseinrichtung, die besonders klein und leicht ausgebildet ist, da die zum Trainieren des KI-Verfahrens notwendige Rechenleistung nicht von der Datenverarbeitungseinrichtung erbracht werden muss. Die Datenverarbeitungseinrichtung kann daher energiesparender und weniger komplex ausgelegt werden.In addition, the provision of such a stationary training terminal makes it possible to use a data processing device that can be worn on the user's body, which is particularly small and lightweight, since the computing power required for training the AI method does not have to be provided by the data processing device. The data processing device can therefore be designed to be more energy-efficient and less complex.

In einer bevorzugten Ausführung ist die Datenverarbeitungsvorrichtung eingerichtet, von der Bilderfassungseinheit erzeugte Bilddaten zu speichern und bei Verbindung mit dem ortsfesten Trainingsterminal an das ortsfeste Terminal zu übertragen. Dabei ist das ortsfeste Trainingsterminal eingerichtet, das auf der Datenverarbeitungseinrichtung implementierte KI-Verfahren anhand der übertragenen Bilddaten zu trainieren. Vorzugsweise weist das ortsfeste Trainingsterminal auch eine Benutzerschnittstelle auf, über die der Benutzer das Training des KI-Verfahrens anhand der übertragenen Bilddaten, etwa durch Ein- oder Vorgabe zu erkennender Muster, steuern kann. Beispielsweise kann der Benutzer in einem durch die Bilddaten charakterisierten Bild ein zu identifizierendes Objektmerkmal auswählen. Dadurch kann die Zuverlässigkeit der Identifizierung des Objekts und/oder seines Objektmerkmals beim späteren Einsatz der Vorrichtung im Arbeitsumfeld erhöht werden.In a preferred embodiment, the data processing device is set up to store image data generated by the image capture unit and to transmit it to the fixed terminal when connected to the stationary training terminal. In this case, the stationary training terminal is set up to train the KI method implemented on the data processing device on the basis of the transmitted image data. The stationary training terminal preferably also has a user interface, via which the user can control the training of the AI method on the basis of the transmitted image data, for example by inputting or specifying patterns to be recognized. For example, the user may select an object feature to be identified in an image characterized by the image data. As a result, the reliability of the identification of the object and / or its object feature during later use of the device in the working environment can be increased.

Ein dritter Aspekt der Erfindung betrifft ein Verfahren z zum visuellen Unterstützen eines Benutzers in einem Arbeitsumfeld, insbesondere im Umfeld einer Fertigungsstraße, welches die folgenden Schritte aufweist: (i) optisches Erfassen eines Objekts und Erzeugen entsprechender Bilddaten; (ii) Erkennen des Objekts und/oder wenigstens eines seiner Objektmerkmale basierend auf den erzeugten Bilddaten unter Verwendung eines KI-Verfahrens; (iii) Erzeugen entsprechender Identifikationsdaten mittels der Datenverarbeitungseinrichtung; und (iv) Darstellen des identifizierten Objekts und/oder seines wenigstens einen identifizierten Objektmerkmals im Rahmen eines AR- bzw. VR-Bildes und, zumindest näherungsweise, in Echtzeit anhand der erzeugten Identifikationsdaten.A third aspect of the invention relates to a method z for visually assisting a user in a work environment, particularly in the environment of an assembly line, comprising the steps of: (i) optically capturing an object and generating corresponding image data; (ii) recognizing the object and / or at least one of its object features based on the generated image data using an AI method; (iii) generating corresponding identification data by means of the data processing device; and (iv) displaying the identified object and / or its at least one identified object feature in the context of an AR or VR image and, at least approximately, in real time from the generated identification data.

Die in Bezug auf den ersten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung beschriebenen Merkmale und Vorteile gelten, zumindest wo technisch sinnvoll, auch für den zweiten und dritten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung sowie umgekehrt.The features and advantages described in relation to the first aspect of the invention and its advantageous embodiment apply, at least where technically feasible, for the second and third aspects of the invention and its advantageous embodiment and vice versa.

Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren, in denen durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechende Elemente der Erfindung verwendet werden. Es zeigen wenigstens teilweise schematisch:

1 ein Ausführungsbeispiel eines erfindungsgemäßen Systems; und
2 ein Beispiel für ein Sichtfeld eines Benutzers einer erfindungsgemäßen Vorrichtung.

Further features, advantages and possible applications of the invention will become apparent from the following description in conjunction with the figures, in which the same reference numerals for the same or corresponding elements of the invention are used throughout. At least partially schematically show:

1 an embodiment of a system according to the invention; and
2 an example of a field of view of a user of a device according to the invention.

1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Systems 100 mit einer Vorrichtung 1 zum visuellen Unterstützen eines Benutzers 2 in einem Arbeitsumfeld 3, insbesondere im Umfeld einer Fertigungsstraße, und einem ortsfesten Trainingsterminal 10 zum Trainieren eines auf der Vorrichtung (1) implementierten KI-Verfahrens. 1 shows an embodiment of a system according to the invention 100 with a device 1 to visually assist a user 2 in a work environment 3 , especially in the environment of a production line, and a stationary training terminal 10 for training one on the device ( 1 ) implemented AI process.

Der Benutzer 2 interagiert im Arbeitsumfeld 3 mit Objekten 4, indem er Arbeitsschritte mit oder an den Objekten 4 ausführt. Ein typisches Arbeitsumfeld 3 kann etwa eine Fertigungsstraße in einer Montagehalle sein, in der Fahrzeugteile kommissioniert und/oder montiert werden.The user 2 interacts in the work environment 3 with objects 4 by working with or on the objects 4 performs. A typical work environment 3 may be about a production line in an assembly hall, are picked and / or assembled in the vehicle parts.

Um den Benutzer 2 bei seiner Tätigkeit im Arbeitsumfeld 3 zu unterstützen, können ihm Informationen zum Objekt 4 und/oder zu von ihm auszuführenden Arbeitsschritten visuell zur Verfügung gestellt werden. Dazu trägt der Benutzer 2 eine zur Anzeige der Informationen eingerichtete Anzeigeeinrichtung 5 an bzw. auf seinem Kopf. Die Anzeigeeinrichtung 5 ist vorzugsweise als sog. Head Mounted Display ausgebildet, mit dem die den Benutzer 2 unterstützenden Informationen beispielsweise in ein Sichtfeld 6 des Benutzers 2 eingeblendet werden können. Die Anzeigeeinrichtung 5 weist beispielsweise ein Projektionsmodul auf, welches die Informationen auf eine Scheibe der vorzugsweise brillenartigen Anzeigeeinrichtung 5, durch die der Benutzer 2 auf das Objekt 4 blickt, projiziert. Alternativ kann die Anzeigeeinrichtung 5 auch als VR-Brille ausgebildet sein, welche eingerichtet ist, das Sichtfeld des Benutzers 2 mitsamt den Informationen anzuzeigen.To the user 2 in his work environment 3 to assist him, can give him information about the object 4 and / or to be performed by him to be performed steps. The user contributes to this 2 a display device configured to display the information 5 on or on his head. The display device 5 is preferably as a so-called. Head Mounted Display trained with whom the user 2 supporting information, for example in a field of view 6 the user 2 can be displayed. The display device 5 has, for example, a projection module which transmits the information to a pane of the preferably spectacle-type display device 5 through which the user 2 on the object 4 looks, projects. Alternatively, the display device 5 also be designed as VR glasses, which is set up the field of view of the user 2 together with the information.

Zur Erzeugung dieser Informationen erfasst zunächst eine Bilderfassungseinheit 5a der Anzeigeeinrichtung 5 das Objekt 4 in einem Erfassungsschritt S1 und erzeugt entsprechende Bilddaten, die ein Bild des, insbesondere durch die Anzeigeeinrichtung 5 vorgegebenen, Sichtfelds 6 des Benutzers 2, insbesondere des Objekts 4, charakterisieren. Die Bilderfassungseinheit 5a ist etwa als Kamera ausgebildet, mit der das Objekt 4 optisch erfasst, d.h. wenigstens ein Bild des Objekts 4 aufgenommen, werden kann.To generate this information, an image capture unit first detects 5a the display device 5 the object 4 in a detection step S1 and generates corresponding image data which is an image of, in particular by the display device 5 predetermined, field of view 6 the user 2 , in particular of the object 4 , characterize. The image capture unit 5a is about trained as a camera with which the object 4 optically detected, ie at least one image of the object 4 can be included.

Die am oder auf dem Kopf des Benutzers 2 getragene Anzeigeeinrichtung 5 ist über eine physikalische Verbindung 7, etwa mit einem Datenkabel, mit einer an einer anderen Körperstelle des Benutzers 2 getragenen Datenverarbeitungseinrichtung 8 verbunden. Die Bilddaten können über die physikalische Verbindung 7 direkt an die Datenverarbeitungseinrichtung 8 übertragen werden, ohne dass ein externes Netzwerk beansprucht werden muss. Die in 1 gezeigte Ausführung der Datenverarbeitungseinrichtung 8 als am Körper des Benutzers 2 tragbare Einrichtung erlaubt daher einen flexiblen Einsatz der Vorrichtung 1 im Arbeitsumfeld 3. Insbesondere kann das Objekt 4 und/oder das wenigstens eine Objektmerkmal auf diese Weise lokal im Arbeitsumfeld 3, insbesondere direkt am Arbeitsplatz des Benutzers 2 und insbesondere unabhängig von weiteren im Arbeitsumfeld 3 eingesetzten Vorrichtungen 1, identifiziert werden.The on or on the head of the user 2 worn display device 5 is over a physical connection 7 such as with a data cable, with one at a different body location of the user 2 carried data processing device 8th connected. The image data can be over the physical connection 7 directly to the data processing device 8th without having to use an external network. In the 1 shown embodiment of the data processing device 8th as on the body of the user 2 portable device therefore allows flexible use of the device 1 in the working environment 3 , In particular, the object can 4 and / or the at least one object feature in this way locally in the work environment 3 , especially directly at the user's workplace 2 and, in particular, independent of others in the work environment 3 used devices 1 , be identified.

Die Datenverarbeitungseinrichtung 8 ist eingerichtet, in einem Verarbeitungsschritt S2 das Objekt 4 und/oder wenigstens ein Objektmerkmal des Objekts 4 auf Grundlage der Bilddaten zu identifizieren. Zu diesem Zweck ist auf der Datenverarbeitungseinrichtung 8 ein KI-Verfahren implementiert, welches zum Ausführen einer entsprechenden Bildanalyse der durch Bilddaten charakterisierten, von der Bilderfassungseinheit 5a aufgenommenen Bilder eingerichtet ist.The data processing device 8th is set up, in a processing step S2 the object 4 and / or at least one object feature of the object 4 based on the image data. For this purpose is on the data processing device 8th implements an AI method, which is used by the image acquisition unit to perform a corresponding image analysis of the image data characterized by image data 5a recorded images is set up.

Das KI-Verfahren kann durch eine Verbindung der Datenverarbeitungseinrichtung 8 mit dem ortsfesten Trainingsterminal 10, etwa einem Computer, trainiert, insbesondere auf den Einsatze der Vorrichtung 1 in einem vorgegebenen Arbeitsumfeld 3 vorbereitet, werden. Dabei wird das KI-Verfahren auf Bilddaten von Bildern, auf denen das im Einsatz der Vorrichtung im vorgegebenen Arbeitsumfeld 3 zu identifizierende Objekt 4 dargestellt ist, angewendet. Auf diese Weise kann auf der Datenverarbeitungseinrichtung 8 implementierte das KI-Verfahren beispielsweise Muster zur Erkennung des Objekts 4 „erlernen“.The AI method may be performed by a connection of the data processing device 8th with the stationary training terminal 10 , such as a computer, trains, especially on the inserts of the device 1 in a given work environment 3 to get prepared. In this case, the AI method to image data of images on which in use of the device in the given work environment 3 object to be identified 4 is shown applied. In this way, on the data processing device 8th For example, the AI method implemented patterns to recognize the object 4 "learn".

Die von dem ortsfesten Trainingsterminal 10 zur Verfügung gestellten Bilddaten können dabei zuvor von der Bilderfassungseinheit 5a erzeugt und an das ortsfeste Trainingsterminal 10 übertragen worden sein. Zur Beeinflussung des Trainingsvorgangs des KI-Verfahrens weist das ortsfeste Trainingsterminal 10 eine Benutzerschnittstelle 10a auf, mit welcher der Benutzer 2 beispielsweise das zu identifizierende Objekt 4 auf den Bildern, die durch die Bilddaten gekennzeichnet sind, markieren kann.The from the stationary training terminal 10 provided image data can be previously from the image acquisition unit 5a generated and sent to the stationary training terminal 10 have been transferred. For influencing the training process of the AI method, the stationary training terminal 10 a user interface 10a on, with which the user 2 for example, the object to be identified 4 on the pictures marked by the picture data.

Die Verarbeitung der Bilddaten mittels des KI-Verfahrens kann durch das Training derart optimiert werden, dass das auf den Bildern dargestellte Objekt 4 und/oder sein wenigstens eines Objektmerkmal schnell und zuverlässig, insbesondere zumindest näherungsweise in Echtzeit, identifiziert werden kann.The processing of the image data by means of the AI method can be optimized by the training such that the object shown on the images 4 and / or its at least one object feature can be identified quickly and reliably, in particular at least approximately in real time.

Die Datenverarbeitungseinrichtung 8, insbesondere das KI-Verfahren, ist des Weiteren eingerichtet, auf Grundlage des identifizierten Objekts 4 und/oder seines wenigstens einen identifizierten Objektmerkmals Identifikationsdaten, welche das Objekt 4 und/oder wenigstens eines seiner Objektmerkmale kennzeichnen, zu erzeugen. Dabei können die Identifizierungsdaten etwa die Position des Objekts 4 und/oder seines Objektmerkmals im Sichtfeld 6 des Benutzers 2 enthalten. Alternativ oder zusätzlich können die Identifikationsdaten auch weitere Informationen bezüglich des Objekts 4 und/oder seines Objektmerkmals enthalten, etwa bezüglich einer Beschädigung des Objekts 4 und/oder eines vom Benutzer 2 an oder mit dem Objekt 4 auszuführenden Arbeitsschritts.The data processing device 8th , in particular the KI method, is further arranged on the basis of the identified object 4 and / or its at least one identified object feature identification data representing the object 4 and / or at least one of its object features. In this case, the identification data about the position of the object 4 and / or its object feature in the field of view 6 the user 2 contain. Alternatively or additionally, the identification data can also contain further information regarding the object 4 and / or its object feature, such as damage to the object 4 and / or one by the user 2 on or with the object 4 to be carried out.

Die Identifikationsdaten werden über die physikalische Verbindung 7 von der Datenverarbeitungseinrichtung 8 zurück an die Anzeigeeinrichtung 5 übertragen. Anhand der übertragenen Identifikationsdaten kann die Anzeigeeinrichtung 5 das identifizierte Objekt und/oder Objektmerkmal in einem Darstellungsschritt S3 zumindest näherungsweise in Echtzeit darstellen. Dabei wird, etwa anhand der von der Datenverarbeitungseinrichtung 8 ermittelten Position des Objekts 4 und/oder seines Objektmerkmals, beispielsweise ein Rahmen von der Anzeigeeinrichtung 5 in das Sichtfeld 6 des Benutzers 2 eingeblendet, der in der Wahrnehmung des Benutzers 2 das Objekt 4 bzw. sein Objektmerkmal umgibt. Alternativ oder zusätzlich können auch die weiteren Informationen, etwa zum Objektzustand oder zu einem auszuführenden Arbeitsschritt, eingeblendet werden.The identification data are transmitted via the physical connection 7 from the data processing device 8th back to the display device 5 transfer. Based on the transmitted identification data, the display device 5 the identified object and / or object feature in a presentation step S3 at least approximately in real time. It is, for example, on the basis of the data processing device 8th determined position of the object 4 and / or its object feature, for example a frame from the display device 5 in the field of view 6 the user 2 displayed in the user's perception 2 the object 4 or surrounds its object feature. Alternatively or additionally, the further information, such as the object state or to a work step to be executed, can be displayed.

In dem in 1 gezeigten Beispiel weist die Datenverarbeitungseinrichtung 8 eine Energieversorgungseinrichtung 9 auf, die eingerichtet ist, die Datenverarbeitungseinrichtung 8 und die Anzeigeeinrichtung 5 mit Energie zu versorgen. Vorzugsweise wird die Energie ebenfalls über die physikalische Verbindung 7, insbesondere ein Kabel, an die Anzeigeeinrichtung 5 übertragen. Zu diesem Zweck ist die physikalische Verbindung 7 in bevorzugter Weise als USB-Kabel ausgebildet. In the in 1 The example shown has the data processing device 8th a power supply device 9 which is set up, the data processing device 8th and the display device 5 to provide energy. Preferably, the energy is also via the physical connection 7 , in particular a cable, to the display device 5 transfer. For this purpose, the physical connection 7 preferably designed as a USB cable.

2 zeigt ein Beispiel für ein Sichtfeld 6 eines Benutzers einer erfindungsgemäßen Vorrichtung, in dem sich ein Objekt 4 befindet, welches mehrere Objektmerkmale 4a, 4b, 4c aufweist. 2 shows an example of a field of view 6 a user of a device according to the invention, in which an object 4 which has several object features 4a . 4b . 4c having.

Das Objekt 4 weist insbesondere einen Marker 4a auf, der einen Teil des Objekts kennzeichnet. Der Marker 4a kann etwa bei der Herstellung des Objekts 4 erzeugt, beispielsweise eingeprägt oder aufgedruckt, oder nach der Herstellung am Objekt 4 angebracht, etwa aufgeklebt, worden sein. Anhand des Markers 4a kann insbesondere der gekennzeichnete Teil des Objekts besonders zuverlässig identifiziert und/oder eine Orientierung des Objekts 4 abgeleitet werden.The object 4 has in particular a marker 4a which identifies a part of the object. The marker 4a can be about when making the object 4 generated, for example embossed or printed, or after the production on the object 4 attached, about glued, been. Based on the marker 4a In particular, the marked part of the object can be identified particularly reliably and / or an orientation of the object 4 be derived.

Das Objekt 4 weist zudem eine Beschädigung 4b, etwa einen Riss oder einen Bruch, auf. Die Beschädigung 4b kann insbesondere auf eine mangelhafte Herstellung des Objekts 4 oder auf einen unsachgemäß ausgeführten, vorangegangenen Verarbeitungsschritt zurückzuführen sein.The object 4 also shows damage 4b , such as a crack or break. The damage 4b may be due in particular to a defective production of the object 4 or due to an improperly executed previous processing step.

Des Weiteren weist das Objekt 4 eine prägnante Form 4c auf. Insbesondere ist ein Teil des Objekts 4 gut erkennbar ausgeformt.Furthermore, the object points 4 a succinct form 4c on. In particular, it is a part of the object 4 clearly recognizable.

Wie in Zusammenhang mit 1 erläutert, wird das Objekt 4 mitsamt seinen Objektmerkmalen 4a-4c von einer Bilderfassungseinheit optisch erfasst und die dabei erzeugten Bilddaten von einer Datenverarbeitungseinrichtung mittels eines KI-Verfahrens verarbeitet. Dabei erlauben die Bilddaten, welche wenigstens ein von der Bilderfassungseinheit aufgenommenes Bild charakterisieren, eine Identifikation des Objekts 4 und/oder seiner Objektmerkmale 4a-4c durch das KI-Verfahren.As related to 1 explains, the object becomes 4 together with its object features 4a - 4c optically detected by an image acquisition unit and the image data generated thereby processed by a data processing device by means of an AI method. In this case, the image data which characterize at least one image recorded by the image acquisition unit permit an identification of the object 4 and / or its object features 4a - 4c through the AI process.

Das KI-Verfahren kann beispielsweise auf das Erkennen vorgegebener Muster, etwa den Marker 4a, die Beschädigung 4b und/oder die Form 4c, trainiert sein, so dass entsprechende Identifikationsdaten, welche das Objekt 4 und/oder seine Objektmerkmale 4a-4c kennzeichnen, erzeugt werden können. Die Identifikationsdaten kennzeichnen insbesondere die Position des Objekts 4 und/oder seiner Objektmerkmale 4a-4c innerhalb des Sichtfelds 6.For example, the AI method may be based on recognizing predetermined patterns, such as the marker 4a , the damage 4b and / or the shape 4c , be trained so that corresponding identification data representing the object 4 and / or its object features 4a - 4c can be generated. The identification data particularly identify the position of the object 4 and / or its object features 4a - 4c within the field of view 6 ,

Wie ebenfalls in Zusammenhang mit 1 erläutert, stellt eine Anzeigeeinrichtung das Objekt 4 und/oder seine Objektmerkmale 4a-4c anhand der Identifikationsdaten, insbesondere anhand der Position des Objekts 4 und/oder seiner Objektmerkmale 4a-4c dar. Die Darstellung kann beispielsweise abstrakt als Markierung, etwa als Rahmen 6a um das Objekt 4 und/oder seine Objektmerkmale 4a-4c, dargestellt werden. Indem diese abstrakte Darstellung, d.h. die Rahmen, im Sichtfeld 6 des Benutzers eingeblendet werden, kann der Benutzer auf das Objekt 4 und/oder seine Objektmerkmale 4a-4c aufmerksam gemacht werden.As also related to 1 explained, a display device, the object 4 and / or its object features 4a - 4c based on the identification data, in particular based on the position of the object 4 and / or its object features 4a - 4c The representation can, for example, abstract as a marker, such as a frame 6a around the object 4 and / or its object features 4a - 4c , being represented. By this abstract representation, ie the frames, in the field of vision 6 the user can click on the object 4 and / or its object features 4a - 4c to be made aware.

Die Identifikationsdaten können auch weitere Informationen bezüglich des Objekts 4 und/oder seiner Objektmerkmale 4a-4b enthalten, die durch die Anzeigeeinrichtung im Sichtfeld 6 des Benutzers dargestellt werden. Beispielsweise kann von der Datenverarbeitungseinrichtung eine Typenbezeichnung 6b des identifizierten Objekts 4 ermittelt und am das Objekt 4 kennzeichnenden Rahmen 6a angezeigt werden. Alternativ oder zusätzlich kann von der Datenverarbeitungseinrichtung ein mit dem identifizierten Objekt 4 auszuführender Arbeitsschritt ermittelt werden und durch ein Symbol 6c, etwa einen Pfeil, angezeigt werden.The identification data may also contain further information regarding the object 4 and / or its object features 4a - 4b included by the display device in the field of view 6 be presented to the user. For example, from the data processing device a type designation 6b of the identified object 4 determined and on the object 4 distinctive frame 6a are displayed. Alternatively or additionally, the data processing device can use the object identified 4 to be executed and indicated by an icon 6c , such as an arrow, are displayed.

Aufgrund der in Zusammenhang mit 1 beschriebenen Ausführung der Datenverarbeitungseinrichtung als am Körper des Benutzers tragbare Datenverarbeitungseinrichtung kann der Benutzer in seinem Arbeitsumfeld beim Ausführen von Arbeitsschritten zuverlässig und zumindest näherungsweise in Echtzeit unterstützt werden. Beispielsweise können beim Kommissionieren von Fahrzeugteilen vorgegebene, vom Benutzer auszusortierende Fahrzeugteile in einem AR-Bild hervorgehoben werden. Alternativ oder zusätzlich können fehlerhafte Fahrzeugteile hervorgehoben und/oder ein beschädigter Teil eines Fahrzeugteils markiert werden. Optional können auch Montageanleitungen zur Montage eines Fahrzeugteils eingeblendet bzw. angezeigt werden.Because of in connection with 1 described embodiment of the data processing device as portable to the user's body data processing device, the user can be supported reliably and at least approximately in real time in his work environment when performing operations. For example, given picking of vehicle parts predetermined, be sorted by the user vehicle parts in an AR image. Alternatively or additionally, faulty vehicle parts can be highlighted and / or a damaged part of a vehicle part can be marked. Optionally, installation instructions for mounting a vehicle part can be displayed or displayed.

Insgesamt wird somit eine verbesserte Qualitätskontrolle, bei der keine oder zumindest nur eine geringe Latenz auftritt, ermöglicht.Overall, therefore, an improved quality control, in which no or at least only a low latency occurs, allows.

Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.While at least one exemplary embodiment has been described above, it should be understood that a large number of variations exist. It should also be understood that the described exemplary embodiments are nonlimiting examples only and are not intended to thereby limit the scope, applicability, or configuration of the devices and methods described herein. Rather, the preceding description will provide a person skilled in the art with guidance for implementing at least one example Embodiment, it being understood that various changes may be made in the operation and arrangement of the elements described in an exemplary embodiment, without departing from the subject matter defined in the appended claims and their legal equivalents.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Vorrichtung zum visuellen Unterstützen eines Benutzers in einem ArbeitsumfeldDevice for visually assisting a user in a work environment
22: Benutzeruser
33: Arbeitsumfeldwork environment
44: Objektobject
4a, 4b, 4c4a, 4b, 4c: ObjektmerkmaleProperty features
55: Anzeigeeinrichtungdisplay
5a5a: BilderfassungseinheitImage capture unit
66: Sichtfeldfield of view
6a6a: Rahmenframe
6b6b: Typenbezeichnungtype designation
6c6c: Symbolsymbol
77: physikalische Verbindungphysical connection
88th: DatenverarbeitungseinrichtungData processing device
99: EnergieversorgungseinrichtungPower supply means
1010: Trainingsterminaltraining terminal
10a10a: BenutzerschnittstelleUser interface
100100: System zum Trainieren eines KI-VerfahrensSystem for training an AI procedure

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10215885 A1 [0003]

Claims

Device (1) for visually supporting a user (2) in a working environment (3), in particular in the environment of a production line, comprising: an AR- or VR-capable display device (5) which is portable on the head of the user (2) and has an image acquisition unit (5a) which is configured to optically detect an object (4) and to generate corresponding image data; and a data processing device (8) detachable from the display device (5) on the body of the user (2) and arranged to use the KI method to generate the object (4) and / or at least one of its object features (4a) based on the generated image data 4b, 4c) and to generate corresponding identification data; wherein the display device (5) is set up, the identified object (4) or its at least one identified object feature (4a, 4b, 4c) based on the generated identification data in the context of an AR or VR image and, at least approximately, in real time display.

Device (1) according to Claim 1 in which the data processing device (8) is set up to derive an object state from the at least one identified object feature (4a, 4b, 4c) and / or to assign an action to be performed by the user (2) to the object (4), the display device (5) is configured to display based on the derived object state and / or the object (4) associated, the user (2) action to perform the object state or the action to be performed information.

Device (1) according to one of the preceding claims, further comprising a physical connection (7), via which the image data and / or the recognition data can be transmitted between the data processing device (8) and the display device (5).

Device (1) according to Claim 3 , further comprising a power supply device (9) which is set up to supply the data processing device (8) and / or the display device (5) with energy via the physical connection (7).

Device (1) according to one of the preceding claims, wherein the data processing device (8) is designed as an embedded system.

Device (1) according to one of the preceding claims, wherein the data processing device (8) comprises at least one dedicated graphics processor.

System (100) for training an AI method comprising: a device (1) for visual support of a user (2) in a working environment (3), in particular in the environment of a production line, according to one of the preceding claims; and a fixed training terminal (10) connectable to the data processing device (8) and adapted to train an AI method implemented on the device (1).

System (100) after Claim 7 wherein the data processing device (8) is adapted to store image data generated by the image capture unit (5a) and to transmit to the stationary training terminal (10) when connected to the stationary training terminal (10), and wherein the stationary training terminal (10) is arranged to train the KI method implemented on the device (1) based on the transmitted image data.

Method for operating a device (1) for visual support of a user (2) in a work environment (3), in particular in the environment of a production line, according to one of Claims 1 to 6 , comprising the steps of: (S1) optically detecting an object (4) and generating corresponding image data; (S2) identifying the object (4) and / or at least one of its object features (4a, 4b, 4c) based on the generated image data using an AI method and generating corresponding identification data; and (S3) representing the identified object (4) or its at least one identified object feature (4a, 4b, 4c) in the context of an AR or VR image and, at least approximately, in real time from the generated identification data.