DE102019106057A1

DE102019106057A1 - Verfahren, Vorrichtung zur Datenverarbeitung und Haltevorrichtung zur Klassierung von Lebensmitteln

Info

Publication number: DE102019106057A1
Application number: DE102019106057.5A
Authority: DE
Inventors: Martin Kummann; Tobias Gottwald
Original assignee: Whysk GmbH
Current assignee: Whysk GmbH
Priority date: 2019-03-10
Filing date: 2019-03-10
Publication date: 2020-09-10

Abstract

Die Erfindung umfasst ein Verfahren, eine Vorrichtung zur Datenverarbeitung und eine Haltevorrichtung zur Klassierung von Lebensmitteln, bei dem Lebensmittel von einer Kamera erfasst und als Erkennungsauftrag an eine Benachrichtigungsschnittstelle übermittelt werden, die sie einem menschlichen Bediener zugänglich macht, der mittels Eingabeschnittstelle ein Erkennungsergebnis eingibt, anhand dessen die Lebensmittel klassiert werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Klassierung von Lebensmitteln, sowie eine Vorrichtung zur Datenverarbeitung und eine Haltevorrichtung zur Durchführung des Verfahrens.
Stand der Technik
Bislang üblich sind Verfahren, bei denen ein menschlicher Bediener am Ort der Bilderfassung, beispielsweise eine Kassenkraft, Lebensmittel durch visuelle Kontrolle klassiert und über eine Schnittstelle beispielsweise in ein Kassensystem eingibt. Dies erfordert einen Aufwand für die Kassenkraft durch die Eingabe und birgt eine Fehlerquelle sowie Manipulationsgefahr durch die Kassenkraft, die zu einer falschen Rechnungsstellung führen könnte.
Außerdem bislang üblich sind sogenannte Self-Checkout-Verfahren, bei denen ein Käufer von Lebensmitteln die Klassierung der Lebensmittel mittels Eingabe in eine visuelle Bedienoberfläche selbstständig trifft. Diese Eingabe bedeutet einen Aufwand für den Käufer durch die Eingabe und birgt eine Fehlerquelle, sowie Manipulationsgefahr durch den Käufer, die zu einer falschen Rechnungsstellung führen könnte.
Aus EP000003370185A1 ist ein Verfahren bekannt, bei dem ein im Essgeschirr eingelassenes RFID-Modul die Information, welche Lebensmittel das Geschirrteil beinhaltet, an ein Kassensystem übermittelt. Dies erfordert eine Neugestaltung der Einrichtung und kann zu falscher Rechnungsstellung führen, wenn konventionelles Essgeschirr ohne RFID-Modul, in einen Essgeschirrkreislauf eingebracht wurde, oder die RFID-Module fehlerhaft beschrieben wurden.
Aus US020150109451A1 ist ein Verfahren und eine Vorrichtung bekannt, bei dem Verkaufsartikel zur Abrechnung eines Einkaufs durch zwei 3D-Kameras erfasst werden und mittels Bilderkennung klassiert werden.
Aus https://www.youtube.com/watch?v=aue3v8Edw5Y ist ein Verfahren bekannt, bei dem Lebensmittel von einer Kamera erfasst und mittels maschineller Bilderkennung klassiert werden und von einem Bediener das Ergebnis der Klassierung kontrolliert werden kann.
Aus https://www.dishtracker.at ist ein Verfahren bekannt, bei dem Lebensmittel von einer Kamera erfasst und mittels maschineller Bilderkennung klassiert werden und das Klassierungsergebnis an ein Kassensystem kommuniziert wird.
Aus https://www.youtube.com/watch?v=jzQ1uh7_YGo ist ein Verfahren bekannt, das Lebensmittel über eine Kamera erfasst, mittels maschineller Bilderkennung klassiert und zur Abrechnung bringt, sowie eine Abschätzung des Brennwerts vornimmt.
Bei den vier zuletzt genannten Verfahren erfolgt die maschinelle Bilderkennung mit einem künstlichen neuronalen Netz, das im Wesentlichen anhand lebensmittelbeschreibender, generischer Bilddaten antrainiert wird. Dieses Vorgehen ermöglicht nur bei standardisierten Lebensmitteln eine hohe Trefferwahrscheinlichkeit, wodurch, beispielsweise im Fall von Gastronomiebetrieben, Lebensmittel nicht immer mit hinreichender Trefferwahrscheinlichkeit erkannt werden können, was ein Hindernis in der Implementierung einer Kassenlösung darstellt.
Gastronomiebetriebe bieten häufig wenig standardisierte Lebensmittel an, die regionalen und saisonalen Veränderungen unterliegen. Eine Klassierung dieser Lebensmittel mittels maschineller Bildererkennung ist mit hoher Trefferwahrscheinlichkeit nur möglich, wenn zunächst eine Datenerhebungsphase stattfindet, mit dem Ziel einen Trainingsdatensatz mit hinreichender Anzahl an Bilddaten sämtlicher Speisenvariationen eines spezifischen Gastronomiebetriebs, anzulegen. Die Erhebung eines solchen Trainingsdatensatzes stellt einen Kosten- und Zeitaufwand dar.
Es ist die Aufgabe der Erfindung, eine Klassierung von Lebensmitteln zu ermöglichen, die keinen menschlichen Bediener in Sichtentfernung zu den Lebensmitteln benötigt, vom Nutzer keine selbstständige Klassierung erfordert und die ohne Notwendigkeit einer Datenerhebungsphase zum Einsatz kommen kann.
Offenbarung der Erfindung
Diese Aufgabe wird erfindungsgemäß durch die Merkmale von Patentanspruch 1 gelöst.
Vorteilhafte Ausführungsvarianten des erfindungsgemäßen Verfahrens sind in den Patentansprüchen 2 bis 14 beschrieben. Zudem liefert die Erfindung eine Vorrichtung zur Datenverarbeitung zum Durchführen eines erfindungsgemäßen Verfahrens nach Patentanspruch 15, sowie eine Haltevorrichtung zum Durchführen eines erfindungsgemäßen Verfahrens nach Patentanspruch 16. Zwei vorteilhafte Ausführungsformen der erfindungsgemäßen Haltevorrichtung sind in Anspruch 17 und Anspruch 18 beschrieben.
Die Erfindung unterscheidet sich von den bekannten Verfahren darin, dass ein Erkennungsauftrag an eine Benachrichtigungsschnittstelle übermittelt wird, an der ihn ein menschlicher Bediener, im Folgenden Erkenner bezeichnet, zur Kenntnis nimmt. Der Erkenner trifft eine Einschätzung, welcher Lebensmittelklasse das auf den Bilddaten beschriebene mindestens eine Lebensmittel angehört und gibt diese Einschätzung als Erkennungsergebnis in eine Eingabeschnittstelle ein, beispielsweise durch eine Tastatureingabe, das Drücken einer Schaltfläche eines drucksensitiven Bildschirms oder einer auditiven Eingabe, die mittels maschineller Spracherkennung verarbeitet wird.
Vorteil des Verfahrens ist, dass der Erkenner sich nicht in Sichtentfernung der Lebensmittel aufhalten muss, um Erkennungsergebnisse zu erzeugen, wodurch eine höhere Flexibilität bei der Wahl eines Arbeitsortes ermöglicht wird. Das Verfahren kann ohne Anlaufphase eingesetzt werden, weil anders als etwa beim Einsatz maschineller Bilderkennung auf Basis künstlicher neuronaler Netze, nicht zunächst ein Trainingsdatensatz erhoben werden muss.
Klassierung beschreibt die Ermittlung einer Lebensmittelklasse eines Lebensmittels.
Eine Lebensmittelklasse beschreibt eine Klasse von Lebensmitteln, die sich durch gemeinsame Merkmale auszeichnen und deren Abgrenzung zu anderen Lebensmittelklassen für eine Anwendung notwendig ist. Z.B. kann es für eine Kassenanwendung notwendig sein, eine Portion Schweinebraten von einer Portion Rindersteak zu unterscheiden, wenn diese unterschiedliche Verkaufspreise in einem Anwenderbetrieb aufweisen.
Lebensmittel im Sinne dieser Beschreibung, sind alle Arten von ess- und trinkbaren Objekten, insbesondere Speisen, Getränke, Backwaren, Süßigkeiten, Obst, Gemüse, oder vergleichbare Objekte. Der Begriff Lebensmittel kann auch einen Lebensmittelträger, insbesondere Essgeschirrteil oder Verpackung, umfassen, der ein Lebensmittel hält oder umschließt. Die Lebensmittel oder Lebensmittelträger mit Lebensmitteln, befinden sich bei der Bilderfassung vorzugsweise auf einer Trägereinheit, z.B. Speisentablett, können aber auch auf einem beliebigen anderen Untergrund befindlich erfasst werden.
Ein Erkennungsauftrag umfasst Informationen, die einen Erkenner bei der Bearbeitung eines Erkennungsauftrags unterstützen. Die Informationen kann die erfassten Bilddaten oder Bildausschnitte der erfassten Bilddaten, sowie eine Bezeichnung des Ortes der Bilderfassung, beispielsweise der Name eines Anwenderbetriebs, sowie Referenzbilddaten, umfassen.
Referenzbilddaten sind aktuelle, insbesondere am Tag der Verkaufsschicht erfasste, Bilddaten eines Lebensmittels, das während dieser Verkaufsschicht zum Verkauf steht und vorzugsweise unter Eingabe der Lebensmittelklasse dieses Lebensmittels von einem Anwenderbetrieb übermittelt wird.
Ein Erkennungsergebnis ist die Einschätzung eines Erkenners zur Klassierung von Lebensmitteln anhand eines Erkennungsauftrags und somit das Ergebnis der Bearbeitung eines Erkennungsauftrags.
Erkennererkennung beschreibt den Vorgang, dass ein Erkennungsaufträg von einem Erkenner bearbeitet wird.
Nutzer ist eine Person, die sich am Ort der Bilderfassung befindet und das Verfahren nutzt, um Lebensmittel klassieren zu lassen, z.B. ein Käufer von Lebensmitteln.
Ein Anwenderbetrieb ist eine Betriebsstätte, in der Lebensmittel klassiert werden sollen. Zu Anwendungsbetrieben zählen beispielsweise Gastronomiebetriebe, insbesondere Gemeinschaftsverpflegungsbetriebe wie etwa Kantinen und Mensen und Betriebe des Lebensmitteleinzelhandels.
Trefferwahrscheinlichkeit beschreibt die Wahrscheinlichkeit, dass mittels maschineller Bilderkennung ein Lebensmittel korrekt klassiert wird.
Maschinelle Bilderkennung beschreibt die systematische Auswertung von digitalen Bilddaten durch eine Recheneinheit anhand von Algorithmen. Zweck einer maschinellen Bilderkennung kann beispielsweise eine Klassierung oder Erkennung bestimmter Charakteristika eines Objekts sein, das von den digitalen Bilddaten beschrieben wird.
Die Verkaufsabwicklung umfasst die Durchführung der Aufgaben eines Kassensystems und kann insbesondere die verkaufsbegleitende Kommunikation mit dem Nutzer, die Bezahlungsabwicklung und die steuerliche Dokumentation, insbesondere nach den Grundsätzen zur ordnungsmäßigen Führung und Aufbewahrung von Büchern, Aufzeichnungen und Unterlagen in elektronischer Form sowie zum Datenzugriff (GoBD), sowie der Kassensicherungsverordnung umfassen.
Ein Klassierungsergebnis ist der Klassierungsvorschlag oder das Erkennungsergebnis, anhand dessen ein Lebensmittel klassiert wird. Ein Klassierungsergebnis kann von einer anderen Instanz abgeändert werden, beispielsweise durch eine Korrekturinstanz. Findet keine Abänderung statt, wird das Klassierungsergebnis für die Verkaufsabwicklung herangezogen und dient dort insbesondere der Berechnung des Verkaufspreises eines Einkaufs.
Im Rahmen eines Erkennungsauftrags, kann die Benachrichtigungsschnittstelle den Erkenner auffordern alle Lebensmittel, die durch die Bilddaten beschrieben werden, oder nur von der Benachrichtigungsschnittstelle gekennzeichnete Lebensmittel, zu klassieren. Dafür ist es nötig die Position der Lebensmittel auf den Bilddaten zu bestimmen, was beispielsweise über ein zuvor angewandtes künstliches neuronales Netz ermöglicht wird, das mit Trainingsdaten, die mit Bounding Boxes gelabelt wurden, auf die Klassierung von Essgeschirrteilen antrainiert wurde. Das künstliche neuronale Netz kann beispielsweise alle auf den Bilddaten ersichtlichen Essgeschirrobjekte klassieren und deren Pixelkoordinaten ermitteln.
Die Benachrichtigungsschnittstelle kennzeichnet ein Lebensmittel auf den Bilddaten beispielsweise durch Darstellung eines farblichen Rahmens, um die Pixelkoordinaten des Lebensmittels. Vorzugsweise werden in Erkennungsaufträgen nur Lebensmittel abgefragt, die mit anderen Methoden, wie beispielsweise mittels maschineller Bilderkennung, nicht mit ausreichender Trefferwahrscheinlichkeit klassiert werden können.
Zum Betrieb der Benachrichtigungsschnittstelle und Eingabeschnittstelle kommt eine Recheneinheit, insbesondere ein mobiles Endgerät, beispielsweise Smartphone oder Tablet-PC, oder ein PC oder Notebook zum Einsatz.
Ein Erkennungsergebnis kann mit dem zugehörigen Erkennungsauftrag, insbesondere die im Erkennungsauftrag enthaltenen Bilddaten, in einen Trainingsdatensatz überführt werden. Der Trainingsdatensatz dient insbesondere dem Antrainieren künstlicher neuronaler Netze zur maschinellen Bilderkennung.
In einer weiteren Ausführungsvariante wird nach der Bilderfassung zunächst mittels maschineller Bilderkennung ein Klassierungsvorschlag für die erfassten Lebensmittel erstellt. Eine Auswertesicherheitsinstanz führt eine Auswertesicherheitsbewertung durch, in der die Auswertesicherheit der maschinellen Bildererkennung bestimmt wird. Die Auswertesicherheit beschreibt die Sicherheit, dass ein Klassierungsvorschlag die korrekte Lebensmittelklasse eines Lebensmittels identifiziert hat. Die Auswertesicherheit dient als Entscheidungsgrundlage, ob ein Lebensmittel anhand des Klassierungsvorschlags klassiert wird und kein Erkennungsauftrag übermittelt wird und somit ein Lebensmittel ohne Erkennererkennung klassiert wird, oder ob ein Erkennungsauftrag übermittelt wird.
Ein Klassierungsvorschlag ist das Ergebnis einer maschinellen Bilderkennung zur Klassierung eines Lebensmittels. Es besteht keine Gewissheit, dass ein Klassierungsvorschlag die Lebensmittelklasse eines Lebensmittels korrekt bestimmt hat.
Die Auswertesicherheitsinstanz kann durch eine Recheneinheit abgebildet werden, auf der die Auswertesicherheitsbewertung durchgeführt wird.
Die Auswertesicherheit ist ein Maß, das beschreibt, wie erwartbar mittels maschineller Bilderkennung ein Lebensmittel korrekt klassiert werden kann oder korrekt klassiert wurde.
Ein Erkennungsauftrag gilt als übermittelt, wenn der Erkenner eine realistische Chance hat, den Erkennungsauftrag tatsächlich zu bearbeiten, z.B. die Bilddaten werden für wenigstens zwei Sekunden an der Benachrichtigungsschnittstelle angezeigt, oder eine Eingabe des Erkenners wird erfordert bevor ein neuer Erkennungsauftrag an die Benachrichtigungsschnittstelle desselben Erkenners übermittelt werden kann.
Für die Ermittlung der Auswertesicherheit können z. B. folgende Kriterien dienen. Die Kriterien können anhand einer gewichteten Summe aufgewogen und mit einem Schwellwert verglichen werden. Liegt die gewichtete Summe z.B. über dem Schwellwert, kann ein Lebensmittel anhand eines Klassierungsvorschlags klassiert werden und kein Erkennungsauftrag an eine Benachrichtigungsschnittstelle übermittelt werden, wodurch ein Aufwand für einen Erkenner vermieden wird. Liegt die gewichtete Summe z.B. unter einem Schwellwert, kann ein Erkennungsauftrag übermittelt und eine Erkennererkennung ausgelöst werden und das Lebensmittel anhand des Erkennungsergebnisses klassiert werden.

1. Die durch das Framework des künstlichen neuronalen Netzes berechnete T refferwahrschei n l ichkeit.
2. Sollen im Anwenderbetrieb der Bilderfassung Lebensmittel klassiert werden, zu denen im Trainingsdatensatz keine Bilddaten existieren?
3. Die Anzahl der Bilddaten der vom Klassierungsvorschlag bestimmten Lebensmittelklasse, die zum Trainieren des eingesetzten künstlichen neuronalen Netzes verwendet wurden.
4. Die historische Wahrscheinlichkeit, dass für ein Klassierungsergebnis, im spezifischen Anwenderbetrieb, eine Korrektur dieses Klassierungsergebnisses durchgeführt wurde.

Die maschinelle Bilderkennung erfolgt insbesondere durch den Einsatz künstlicher neuronaler Netze. Zur Unterstützung der maschinellen Bilderkennung, insbesondere zum Segmentieren einzelner Lebensmittel, können Methoden der Bildverarbeitung eingesetzt werden, die nicht auf maschinellem Lernen basieren. Beispielsweise kann eine Wasserscheidentransformation für die Segmentierung der Lebensmittel eingesetzt werden.
Die Klassifizierung erfolgt im Rahmen eines Trainierens künstlicher neuronaler Netze. Für das Trainieren werden Machine Learning Algorithmen eingesetzt, insbesondere unter Verwendung der Frameworks TensorFlow, TensorFlow Lite, PyTorch oder vergleichbarer Frameworks. Als Architektur der Netzwerke kann entweder eine eigens für den Anwendungsfall optimierte Architektur gewählt werden oder auf diverse in der Wissenschaft veröffentlichte Architekturen, insbesondere aus den Bereichen Objektklassifikation und Objektdetektion, beispielsweise Resnet und SSD Architekturen, zurückgegriffen werden.
Klassifizierung beschreibt den der Vorgang der Erstellung von Klassengrenzen. Hierzu sind insbesondere Trainingsdaten lebensmittelbeschreibender Bilddaten notwendig, sowie die Information, welche Lebensmittel auf diesen Bilddaten dargestellt werden.
Vorzugsweise wird für jeden Anwenderbetrieb ein spezifisches künstliches neuronales Netz trainiert, das als Trainingsdaten insbesondere Bilddaten umfasst, die in diesem Betrieb aufgezeichnet wurden. Zur Erweiterung des Trainingsdatensatzes können auch Bilddaten aus anderen Anwenderbetrieben und aus Online Datenbanken herangezogen werden.
Ein regelmäßiges Zusatz- oder Neutrainieren der künstlichen neuronalen Netze ist sinnvoll, wenn der Umfang des Trainingsdatensatzes steigt, da mit dem Umfang der Datengrundlage, die Trefferwahrscheinlichkeit steigt.
Die Ausführung der maschinellen Bilderkennung kann durch eine Recheneinheit am Ort der Bilderfassung erfolgen, wodurch die Latenzzeit durch Datenübertragung ins Internet entfällt und keine Rechenleistung einer externen Recheneinheit benötigt wird.
Die maschinelle Bilderkennung kann auch auf einer, vom Ort der Bilderfassung, entfernten Recheneinheit, z.B. einem Server, erfolgen, dem die Bilddaten, insbesondere über eine Internetverbindung, übermittelt werden. Dies hat den Vorteil, dass bei zentralen Recheneinheiten eine höhere Rechenleistung allokiert werden kann, die auch komplexe künstliche neuronale Netze in kurzer Rechenzeit ausführen kann.
Vorteil der Ausführungsvariante ist, dass durch eine Kombination von Erkennererkennung und maschineller Bilderkennung, auch Lebensmittel klassiert werden können, von denen bisher zu wenige oder keine Bilddaten im Trainingsdatensatz existierten, oder aus anderen Gründen die Auswertesicherheit der maschinellen Bilderkennung nicht ausreichend hoch ist und dennoch andere Lebensmittel mittels Klassierungsvorschlag und somit ohne Aufwand eines Erkenners, klassiert werden können. Dadurch sind die durchschnittlichen Kosten der Klassierung gering und die Implementierungszeit einer solchen Anwendung ist niedrig, weil nicht zunächst ein spezifischer Trainingsdatensatz angelegt werden muss.
In einer weiteren Ausführungsvariante befinden sich die Benachrichtigungsschnittstelle und die Eingabeschnittstelle mindestens 100 Meter entfernt von der Kamera, die das wenigstens eine, zu klassierende Lebensmittel, erfasst. Über ein Netzwerk, insbesondere über eine Internetverbindung, werden die Erkennungsaufträge an die Benachrichtigungsschnittstelle übermittelt und die Erkennungsergebnisse von der Eingabeschnittstelle entgegengenommen, wodurch sich der Aufenthaltsort der Erkenner an einem beliebigen Ort mit Internetzugang befinden kann, z. B. in einem anderen Gebäude, in einer anderen Stadt, oder auch in einem anderen Land, wo die Kosten für Arbeitskräfte, hier die Erkenner, niedriger sind.
Die Kamera ist eine Sensoreinheit, die zur Bilderfassung eingesetzt wird. Die Kamera kann ein eigenständiges Gerät sein, oder in ein anderes Gerät integriert sein, z.B. als eingebaute Kamera in einem mobilen Endgerät. Die resultierenden Bilddaten sind beispielsweise eine pixelweise gerasterte farbige oder monochrome Abbildung, z. B. ein Foto oder ein Video.
In einer weiteren Ausführungsvariante wird eine Auftragszuweisungseinheit eingesetzt, um Erkennungsaufträge mindestens einer Kamera, an mindestens eine der mindestens zwei Benachrichtigungsschnittstellen zuzuweisen. Dadurch kann die Anzahl der Kameras, ungleich der Anzahl der Benachrichtigungsschnittstellen sein, wodurch die Anzahl an bearbeitenden Erkennern zu jeder Zeit flexibel auf die Nachfrage angepasst werden kann. Dadurch kann eine hohe Auslastung der Erkenner erzielt werden, indem Wartezeit zwischen Erkennungsaufträgen reduziert wird, wodurch Erkenner eine höhere Anzahl an Erkennungsaufträgen je Zeiteinheit bearbeiten können. Außerdem kann bei Auftreten eines Problems bei einem Erkenner z.B. beim Ausfall der Internetverbindung eines Erkenners, die Last auf andere Erkenner verteilt werden.
Eine Zuweisung eines Erkennungsauftrags umfasst die Übermittlung eines Erkennungsauftrags an eine Benachrichtigungsschnittstelle und kann auch eine Auswahl des geeignetsten Erkenners für einen Erkennungsauftrag umfassen.
Ist vom Erkennungsauftrag einer Kamera die Rede, ist damit gemeint, dass die Bilddaten, die dieser Erkennungsauftrag umfasst, von dieser Kamera aufgezeichnet wurden.
Außerdem kann eine Reduktion der Komplexität von Erkennungsaufgaben für die Erkenner erreicht werden, indem die Auftragszuweisungseinheit für einen Erkennungsauftrag den geeignetsten Erkenner, der aktuell verfügbaren Erkenner, auswählt und diesem Erkenner den Erkennungsauftrag übermittelt, was die durchschnittliche Bearbeitungszeit eines Erkennungsauftrags reduziert und die Wahrscheinlichkeit für das Auftreten korrekter Erkennungsergebnisse verbessert. Als Entscheidungsgrundlage zur Bestimmung des geeignetsten Erkenners, dienen der Auftragszuweisungseinheit z.B. die folgenden Kriterien. Die Kriterien werden z. B. zur Berechnung einer gewichteten Summe herangezogen, z.B. indem zu einem Erkennungsauftrag für jeden verfügbaren Erkenner eine spezifische gewichtete Summe berechnet wird. Dem Erkenner mit z.B. der höchsten gewichteten Summe wird der Erkennungsauftrag übermittelt.

1. Die historische Korrekturwahrscheinlichkeit, dass ein Erkennungsergebnis des Erkenners von einem Nutzer korrigiert wurde. Vorzugsweise werden Erkennungsaufträge bevorzugt Erkennern mit einer geringen historischen Korrekturwahrscheinlichkeit zugewiesen.
2. Die durchschnittliche Bearbeitungsdauer eines Erkennungsauftrags durch den Erkenner. Vorzugsweise werden Erkennungsaufträge bevorzugt Erkennern mit kurzer durchschnittlicher Bearbeitungsdauer zugewiesen.
3. Die Qualität der Internetverbindung des Erkenners. Vorzugsweise werden Erkennungsaufträge bevorzugt Erkennern mit stabiler und schneller Internetverbindung zugewiesen.
4. Anzahl der Erkennungsaufträge aus demselben Anwenderbetrieb, die der Erkenner während einer Erkennungsschicht bereits bearbeitet hat. Vorzugsweise wird die Anzahl verschiedener Anwenderbetriebe, aus denen die Bilddaten stammen, je Erkenner je Erkennungsschicht minimiert oder Erkenner bekommen erkennungsschichtübergreifend nur Erkennungsaufträge bestimmter Anwenderbetriebe zugewiesen, da sich Lebensmittelklassen zwischen Anwenderbetrieben unterscheiden können.

Eine Verkaufsschicht ist eine zusammenhängende Öffnungszeit eines Anwenderbetriebs und endet gewöhnlich spätestens am Ende eines Kalendertags. In einem Gemeinschaftsverpflegungsbetrieb verläuft eine typische Verkaufsschicht beispielsweise von 11:30-13:30 Uhr.
Eine Erkennungsschicht, ist das zusammenhängende Zeitintervall, das ein Erkenner mit der Bearbeitung von Erkennungsaufträgen verbringt.
Zusätzlich kann die Auftragszuweisungseinheit eine Redundanz vorsehen, bei der ein identischer Erkennungsauftrag an mindestens zwei Erkenner übermittelt wird. Die zwei Erkennungsergebisse können verglichen werden und z.B. nur bei Übereinstimmung das Erkennungsergebnis als Klassierungsergebnis verwendet werden, wodurch die Wahrscheinlichkeit des Auftretens eines falschen Klassierungsergebnisses sinkt.
In einer weiteren Ausführungsvariante wird neben dem wenigstens einen Lebensmittel, auch eine Trägereinheit, insbesondere ein Speisentablett, von der Kamera erfasst. Die Erfassung erfolgt vorzugsweise gleichzeitig mit der Erfassung des wenigstens einen Lebensmittels. Mittels maschineller Bilderkennung wird erkannt, ob die Trägereinheit vollständig von der Kamera erfasst wurde, was insbesondere als Hinweis dafür dient, ob sich ein vollständiger Einkauf auf den Bilddaten befindet. Wird keine vollständige Trägereinheit erkannt, wird kein Erkennungsauftrag zu den Bilddaten übermittelt, wodurch ein unnötiger Aufwand für Erkenner vermieden wird.
Ein Einkauf beschreibt eine Anzahl größer gleich eins von Lebensmitteln, die ein Nutzer im Rahmen eines Verkaufsvorgangs, erwerben möchte.
Bilddaten, bei denen keine vollständige Trägereinheit erkannt wurde, können beispielsweise durch eine erneute Bilderfassung ersetzt werden, wodurch Bilddaten, die für eine Klassierung eines vollständigen Einkaufs ungeeignet sind, frühzeitig identifiziert und verworfen werden können, was die durchschnittliche Laufzeit des Verfahrens beschleunigt und die Wahrscheinlichkeit einer falschen Rechnungsstellung senkt.
Die maschinelle Bilderkennung kann beispielsweise anhand einer Kombination aus Wasserscheidenalgorithmus und Kantenerkennung erfolgen, die feststellt, ob alle Kanten einer Trägereinheit erfasst wurden und sich somit die vollständige Trägereinheit auf den Bilddaten befindet.
In einer weiteren Ausführungsvariante wird ein Klassierungsergebnis über eine Datenübertragungsschnittstelle, insbesondere mittels Software- oder Hardware-Schnittstelle, an ein anderes Kassensystem übermittelt, das die Verkaufsabwicklung vornimmt. Der Vorteil dieser Ausführungsvariante ist, dass für den Anwenderbetrieb kein Austausch des bestehenden Kassensystems notwendig ist.
Bei Nutzung einer Software-Schnittstelle kann die Übermittlung über eine Internetverbindung an eine API das anderen Kassensystem übermittelt werden.
Bei der Nutzung einer Hardware-Schnittstelle kann beispielhaft folgendermaßen vorgegangen werden. Ein Mikrocontroller erhält über eine Datenschnittstelle das Klassierungsergebnis, emuliert eine USB-Tastatur und übermittelt dem Kassensystem, über eine USB-Schnittstelle, das Klassierungsergebnis anhand simulierter Tastatureingaben.
In einer weiteren Ausführungsvariante ist das Verfahren computerimplementiert und kann auf einem mobilen Endgerät ausgeführt werden, dessen eingebaute Kamera zur Bilderfassung der Lebensmittel eingesetzt wird. wodurch keine Latenzzeit, für die Übertragung der Bilddaten beispielsweise über eine Internetverbindung, benötigt wird und somit die durchschnittliche Laufzeit des Verfahrens sinkt, sowie keine zusätzliche Recheneinheit für die maschinelle Bilderkennung benötigt wird.
Vorzugsweise kommt für die Ausführung der maschinellen Bilderkennung auf dem mobilen Endgerät das Framework TensorFlow Lite zum Einsatz, welches für die Anwendung künstlicher neuronaler Netze auf mobilen Endgeräten optimiert ist.
In einer weiteren Ausführungsvariante kann das mobile Endgerät so eingerichtet werden, dass eine Verkaufsabwicklung und ein dazugehöriger Bezahlvorgang auf diesem durchgeführt werden. Der Vorteil dieser Ausführungsvariante ist, dass zusätzlich zum mobilen Endgerät, neben bestimmten Peripheriegeräten, wie beispielsweise Bondrucker und Bezahlterminal, keine weitere Recheneinheit für die Verkaufsabwicklung benötigt wird, wodurch Platzbedarf und Kosten eingespart werden.
Als Bezahlterminal kann beispielsweise ein Bezahlsystem über Bluetooth mit dem mobilen Endgerät verbunden werden, das Kreditkartenzahlungen und EC-Kartenzahlungen akzeptiert und die Rechnungssumme vom mobilen Endgerät erhält, die Bezahlung abwickelt und eine Bestätigung der erfolgreichen Bezahlungsabwicklung mittels Bluetooth an das mobile Endgerät zurückübermittelt.
Die übrigen Module des mobilen Endgeräts können unterstützend für die Verkaufsabwicklung eingesetzt werden, insbesondere wie durch folgende Beispiele beschrieben. Das NFC-Modul kann zum Auslesen von RFID-Geräten, insbesondere während des Bezahlvorgang, verwendet werden. Dadurch ist kein Peripheriegerät zur Durchführung des Bezahlvorgang notwendig. Die Kamera-LED des mobilen Endgeräts kann der Ausleuchtung des Einkaufs dienen, wodurch konstantere Lichtbedingungen erzielt werden, was die Trefferwahrscheinlichkeit erhöht, sowie für Hinweise an Angestellte des Anwenderbetriebs zum Status einer Verkaufsabwicklung, z.B. durch Blinken. Das Display des mobilen Endgeräts kann zur Informationsanzeige an Nutzer und Mitarbeiter verwendet werden, wodurch kein weiteres Anzeigegerät notwendig ist. Das WLAN- und Mobilfunkmodul des mobilen Endgeräts kann zur Erstellung einer einfachen oder redundanten Internetverbindung verwendet werden, wodurch die Vorrichtung nicht über eine kabelgebundene Internetverbindung verfügen muss. Das Mikrofon des mobilen Endgeräts kann zur Aufnahme von Sprachbefehlen durch den Nutzer oder Angestellte des Anwenderbetriebs verwendet werden, wodurch eine komfortable Bedienung ermöglicht wird, z.B. indem ein Bezahlvorgang auditiv initiiert werden kann. Die Lautsprecher des mobilen Endgeräts, können zur Ausgabe auditiver Signale, z.B. für Hinweise zum Status einer Verkaufsabwicklung, verwendet werden, wodurch Manipulationsversuche erschwert werden, indem z.B. ein Warnton den Abbruch eines Bezahlvorgangs aufzeigt.
In einer weiteren Ausführungsvariante kann ein im mobilen Endgerät eingebautes NFC-Modul für den Bezahlvorgang eingesetzt werden, um Informationsträger, insbesondere EC-/Kredit-/ und Guthabenkarten, auszulesen und dadurch den Bezahlvorgang auf dem mobilen Endgerät zu unterstützen, wodurch kein Einsatz eines separaten Peripheriegeräts für den Bezahlvorgang, z.B. Bezahlterminal, notwendig ist. Dadurch wird Platzbedarf eingespart und die Komplexität der Bedienung für den Nutzer wird reduziert.
Die Verwaltung von Bezahlguthaben kann beispielsweise anhand einer Datenbank erfolgen, die auf dem mobilen Endgerät, oder auf einem Server verwaltet wird. Die Aufladung von Guthaben, kann beispielsweise an Ladestationen erfolgen, an denen gegen Einzahlung von Bargeld oder mittels elektronischer Zahlung, ein Guthaben hinterlegt wird.
Zur Kommunikation zwischen dem mobilen Endgerät und Informationsträgern kann beispielsweise die Mifare TapLinx SDK herangezogen werden.
In einer beispielhaften Umsetzung kann das NFC-Modul des mobilen Endgeräts eingesetzt werden, um eine RFID-Guthabenkarte auszulesen und ein zur RFID-Guthabenkarte zugeordnetes Guthaben mit der berechneten Rechnungssumme eines Einkaufs zu belasten.
In einer weiteren Ausführungsvariante wird mittels maschineller Bilderkennung erkannt ob sich mindestens ein Fremdobjekt auf den Bilddaten befindet. Fremdobjekte sind Objekte, die für die Verkaufsabwicklung im Anwenderbetrieb nicht relevant sind, weil es sich beispielsweise weder um Lebensmittel noch eine Trägereinheit handelt. Fremdobjekte können die maschinelle Bilderkennung der Lebensmittel behindern, zu falschen Klassierungsergebnissen führen, oder rechtliche Hindernisse verursachen, insbesondere wenn sie personenbezogene Daten nach EU-DSGVO enthalten. Personenbezogene Daten nach EU-DSGVO können insbesondere Objekte wie Mitarbeiterkarten, Gliedmaßen und andere Körperteile beinhalten.
Die Prüfung auf Fremdobjekte kann beispielsweise als Entscheidungsgrundlage dienen, ob Bilddaten an einen Erkenner übermittelt werden. Wird mindestens ein Fremdobjekt erkannt, kann beispielsweise eine erneute Bilderfassung, z.B. unter Aufforderung an den Nutzer ein Fremdobjekt zu entfernen, von der Kamera angefordert werden. So wird sichergestellt, dass nur Bilddaten ohne Personenbezug nach EU-DSGVO an Erkenner übermittelt und im Trainingsdatensatz abgespeichert werden, wodurch verhindert werden kann, dass ein Verstoß der EU-DSGVO stattfindet und Löschungsaufträge nach EU-DSGVO den Trainingsdatensatz verkleinern und Aufwand verursachen.
Beispielhaft kann die maschinelle Bilderkennung zur Erkennung von Fremdobjekten umgesetzt werden, indem ein künstliches neuronales Netz zum Einsatz kommt, das mit Bilddaten, zu erwartender Fremdobjekte, wie Körperteile, Telefone, Mitarbeiterausweise, antrainiert wird. Alternativ können die Fremdobjekte mit einer Kombination von klassischen Computer Vision Algorithmen, z.B. anhand von Histogrammen von orientierten Gradienten (HoG), SIFT oder Farbhistogrammen, identifiziert werden.
In einer weiteren Ausführungsvariante wird mindestens ein Fremdobjekt auf den Bilddaten mittels maschineller Bildbearbeitung unkenntlich gemacht, wodurch eine erneute Erfassung der Bilddaten umgangen werden kann. Die Unkenntlichmachung kann insbesondere auf personenbezogene Fremdobjekte nach EU-DSGVO angewandt werden, wodurch die Bilddaten nach der Unkenntlichmachung, ohne EU-DSGVO Verstoß, an Erkenner übermittelt werden können. Dadurch sinkt der durchschnittliche Zeitaufwand fürs Durchlaufen des Verfahrens und der Aufwand für einen Nutzer, weil eine erneute Bilderfassung, unter Entfernung der Fremdobjekte, nicht nötig ist.
Zur Umsetzung können beispielsweise Pixel auf den Bilddaten, die ein personenbezogenes Fremdobjekt beschreiben, welches mittels maschineller Bilderkennung als Fremdobjekt erkannt wurde, geschwärzt werden. Zur Bestimmung der zu schwärzenden Pixelkoordinaten dienen beispielsweise künstliche neuronale Netze, die mit Trainingsdaten zu erwartender personenbezogener Fremdobjekte, wie beispielsweise Körperteile, Telefone und Ausweiskarten, anhand von Bounding Boxes, antrainiert wurden.
In einer weiteren Ausführungsvariante kann über eine Korrekturbedienschnittstelle eine Eingabe von einem Nutzer entgegengenommen werden, um eine Korrektur von einem Klassierungsergebnis vorzunehmen, wodurch die Wahrscheinlichkeit einer zu hohen Rechnungsstellung reduziert wird.
Eine Korrektur umfasst die Kennzeichnung eines fehlerhaften Klassierungsergebnisses und kann auch eine Abänderung des Klassierungsergebnisses umfassen. Die Korrekturbedienschnittstelle wird insbesondere dann vom Nutzer bedient, wenn seiner Einschätzung nach, die Lebensmittel seines Einkaufs nicht korrekt durch das Klassierungsergebnis beschrieben werden. Wird keine Korrektur vorgenommen, kann das Klassierungsergebnis für die Verkaufsabwicklung herangezogen werden.
Wird ein Klassierungsergebnis als fehlerhaft gekennzeichnet, kann beispielsweise eine erneute Bilderfassung eines Einkaufs ausgelöst und das Verfahren erneut durchlaufen werden oder die bereits vorhandenen Bilddaten werden herangezogen, um einen erneuten Erkennungsauftrag zu erstellen.
Eine Korrekturbedienschnittstelle kann beispielsweise ermöglichen, ein Klassierungsergebnis über eine Eingabe zu ändern, indem der Nutzer seine vom Klassierungsergebnis unterschiedliche Einschätzung zur Klassierung der Lebensmittel seines Einkaufs eingibt. Die Änderung kann entweder ungeprüft zur Verkaufsabwicklung eingesetzt werden oder einer Prüfung unterzogen werden. Beispielsweise kann als Kriterium für die Prüfung berechnet werden, wie hoch die preisliche Abweichung für die Preisberechnung seines Einkaufs, die aus der Nutzereingabe berechnet wird und einer Preisberechnung seines Einkaufs, die aus dem Klassierungsergebnis berechnet wird, ist. Wird ein Schwellwert im Preisunterschied unterschritten, kann z.B. die Eingabe des Nutzers zur Verkaufsabwicklung eingesetzt werden. Wird ein Schwellwert im Preisunterschied überschritten, kann z.B. eine erneute Bilderfassung angefordert werden.
In einer weiteren Ausführungsvariante erfasst eine Wiegeeinheit das Gewicht wenigstens eines Lebensmittels oder das Gewicht eines gesamten Einkaufs mit Trägereinheit. Der Vorteil dieser Ausführungsvariante ist, dass das Gewicht in einer Ergebnisprüfung zur Prüfung des Klassierungsvorschlags und/oder Erkennungsergebnisses eingesetzt werden kann, indem der Klassierungsvorschlag und/oder das Erkennungsergebnis zur Kontrolle mit dem Gewicht verglichen wird, wodurch die Wahrscheinlichkeit für das Auftreten eines fehlerhaften Klassierungsergebnisses sinkt.
Beispielhaft kann dies umgesetzt werden, indem, unter Kenntnis des durchschnittlichen Gewichts der Essgeschirrteile und der Lebensmittel im Anwenderbetrieb und anhand des Klassierungsvorschlags und/ oder des Erkennungsergebnisses, eine Gewichtsprognose für einen Einkauf berechnet wird. Liegt die Gewichtsprognose außerhalb eines Toleranzbereichs, des durch die Wiegeeinheit erfassten Gewichts, kann beispielsweise ein erneutes Durchlaufen des Verfahrens ausgelöst werden.
Da die Erkennererkennung mehrere Sekunden in Anspruch nehmen kann, findet die Gewichtserfassung vorzugsweise zu Beginn des Verfahrens statt, damit ein späteres Verschieben von Lebensmitteln auf der Wiegeeinheit, nicht eine fehlerhafte Gewichtserfassung verursacht. Die Ergebnisprüfung erfolgt vorzugsweise, nachdem ein Klassierungsvorschlag feststeht und im Fall der Erkennererkennung, zusätzlich ein Erkennungsergebnis feststeht.
In einer weiteren Ausführungsvariante erfasst eine Wiegeeinheit die Gewichtsverteilung von wenigstens zwei Lebensmitteln. Der Vorteil dieser Ausführungsform ist, dass das Gewicht einzelner Lebensmittel eines Einkaufs abgeschätzt werden kann und diese Information in der Ergebnisprüfung herangezogen werden kann. Der Klassierungsvorschlag und/oder das Erkennungsergebnis können einer, nach Lebensmitteln separierten, Ergebnisprüfung unterzogen werde, wodurch die Wahrscheinlichkeit für das Auftreten eines fehlerhaften Klassierungsergebnisses sinkt.
Beispielsweise können durch maschinelle Bilderkennung, auf Basis künstlicher neuronaler Netze, die Pixelkoordinaten von Lebensmitteln auf den Bilddaten bestimmt werden. Danach kann die zu den Pixelkoordinaten korrelierende Position eines Lebensmittels in Koordinaten der Wiegeebene bestimmt werden und anhand einer Interpolation der vorhandenen Gewichtssensordaten, das durch die Wiegeeinheit erfasste Gewicht an dieser Koordinate, als Lebensmittelkoordinatengewicht, angenähert werden. Unter Kenntnis der durchschnittlichen Gewichte von Essgeschirrteilen und Lebensmitteln im Anwenderbetrieb, kann anhand eines Klassierungsvorschlags und/oder Erkennungsergebnisses, eine spezifische Gewichtsprognose für ein Lebensmittel für seine Position auf der Wiegeebene berechnet werden und mit dem Lebensmittelkoordinatengewicht verglichen werden. Liegt die spezifische Gewichtsprognose eines Lebensmittels außerhalb eines Toleranzbereichs des Lebensmittelkoordinatengewichts, kann beispielsweise eine erneute Bilderfassung ausgelöst werden.
Für die Erfassung der Gewichtsverteilung kann beispielsweise eine Drucksensormatte eingesetzt werden, die aus mindestens zwei Drucksensoren besteht. Die Drucksensormatte ist vorzugsweise so positioniert, dass auf der Drucksensormatte befindliche Lebensmittel von der Kamera erfasst werden können, also z.B. unterhalb der Kamera.
Eine Haltevorrichtung zur erfindungsgemäßen Durchführung des Verfahrens umfasst eine Befestigungseinheit, die ausgebildet ist, mindestens ein mobiles Endgerät, z.B. Smartphone oder Tablet-PC, zu halten. Die Befestigungseinheit kann weitere Befestigungsschnittstellen für mobile Endgeräte umfassen, insbesondere, um einem Nutzer und/oder einem Angestellten eines Anwenderbetriebs, Informationen anzuzeigen und Eingaben zu ermöglichen.
Die Befestigungseinheit kann entweder auf einer horizontalen Fläche aufgestellt oder befestigt werden, z.B. auf einem Tisch oder einem Verkaufstresen, oder an einer vertikalen Fläche, z.B. einer Wand oder seitlich an einem Einrichtungsgegenstand, befestigt werden.
Die Befestigungseinheit dient insbesondere dazu, die Position und Ausrichtung eines mobilen Endgeräts zu bestimmen, sodass die Kamera des mobilen Endgeräts gute Voraussetzungen für die Erfassung der Lebensmittel aufweist, z. B. nach unten zeigt, sowie der Bildschirm des mobilen Endgeräts ein ergonomisches Ablesen der Bildschirmanzeige für den Nutzer, ermöglicht, z. B. nach oben zeigt.
Die Befestigungseinheit ist vorzugsweise so ausgeprägt, dass beim Entfernen des mobilen Endgeräts eine Taste am mobilen Endgerät betätigt wird, durch die eine Displaysperre des mobilen Endgeräts ausgelöst wird, wodurch mittels Passwortschutz, nach der Entnahme des mobilen Endgeräts, kein unberechtigter Zugriff auf das System möglich ist. Beispielsweise kann die Befestigungseinheit so ausgeprägt sein, dass ein mobiles Endgerät nur durch einen Schlitz in die vorgesehene Position überführt werden kann. Eine Verjüngung des Schlitzes führt zu einer mechanischen Betätigung der Taste beim Hinein- und/oder Herausziehen des mobilen Endgeräts.
In einer weiteren Anwendungsvariante der Haltevorrichtung, kann die Haltevorrichtung zusätzlich eine Abstelleinheit umfassen, auf dem die Lebensmittel und/oder die Trägereinheit abgestellt werden können, wodurch keine andere Abstellmöglichkeit, z.B. ein Verkaufstresen, vorhanden sein muss. Dies ermöglicht einen platzsparenden und kostengünstigen Einsatz der Haltevorrichtung, da sie ohne weitere Einrichtungsgegenstände zu benötigen, z.B. auf dem Boden aufgestellt werden kann.
In einer weiteren Anwendungsvariante der Haltevorrichtung, ist die Befestigungseinheit ausgebildet, mindestens zwei mobile Endgeräte. Der Vorteil von dieser Variante ist, dass sich mehrere Einkäufe zeitgleich mit geringem Platzbedarf abwickeln lassen, wenn jedes der mindestens zwei mobilen Endgeräte einem Nutzer zugänglich ist.
Die mobilen Endgeräte können durch die Befestigungseinheit parallel zueinander positioniert, oder unter einem Winkel zueinander. Vorzugsweise hält die Befestigungseinheit die mobilen Endgeräte so, dass die Kameras der mobilen Endgeräte einen spezifischen Bereich erfassen, der sich nicht oder nur wenig, z.B. maximal 25% der Bildfläche, mit dem Erfassungsbereich der Kamera des mindestens einen weiteren mobilen Endgeräts überschneidet, wodurch Einkäufe so platziert werden können, dass eine klare Zuordnung zu einem mobilen Endgerät erfolgen kann, das die Verkaufsabwicklung vornimmt.
Vorzugsweise ist die Haltevorrichtung so ausgeprägt, dass Lebensmittel von einer Seite, unterhalb der befestigten mobilen Endgeräte hindurch, auf eine andere Seite geschoben oder gereicht werden können. Beispielsweise können Nutzer nur Zugang zu einer dieser Seiten der Haltevorrichtung erhalten, nämlich die Seite, in dessen Richtung das mindestens eine mobilen Endgerät geneigt ist, während zur gegenüberliegenden Seite nur Mitarbeiter eines Anwenderbetriebs Zugang erhalten, um von dort Lebensmittel auf die andere Seite zu überreichen oder hinüberzuschieben, wodurch eine Kontrolle stattfinden kann, ob Nutzer einen Einkauf ordnungsgemäß bezahlen.
Nachfolgend werden unter Bezugnahme auf die beigefügten Figuren weitere Ausführungsbeispiele näher beschrieben und erläutert.
Es zeigen:

1 eine Systemarchitektur eines Ausführungsbeispiels;
2 einen Prozessfluss eines Ausführungsbeispiels;
3 eine Kamera;
4 eine erste Haltevorrichtung;
5 eine zweite Haltevorrichtung; und
6 eine dritte Haltevorrichtung.

1 zeigt schematisch eine Systemarchitektur eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Eine Kamera 101 erfasst wenigstens ein Lebensmittel und übermittelt die Bilddaten an eine Bilderkennungsinstanz 102, die auf einer Recheneinheit ausgeführt wird und einen Klassierungsvorschlag 103 erstellt. Eine Auswertesicherheitsinstanz 104 ermittelt eine Auswertesicherheit des Klassierungsvorschlags. Liegt die Auswertesicherheit über einem Schwellwert, wird der Klassierungsvorschlag als Klassierungsergebnis an ein Kassensystem 112 übermittelt. Liegt die Auswertesicherheit unter einem Schwellwert, erstellt eine Auftragszuweisungseinheit 105 einen Erkennungsauftrag 106 und übermittelt diesen Erkennungsauftrag an eine Benachrichtigungsschnittstelle 107. Ein Erkenner 108 nimmt die Informationen aus der Benachrichtigungsschnittstelle zur Kenntnis und gibt seine Einschätzung für die Klassierung des wenigstens einen Lebensmittels als Erkennungsergebnis 109 in eine Eingabeschnittstelle 110 ein. Das Erkennungsergebnis wird als Klassierungsergebnis an ein Kassensystem übermittelt.
2 zeigt schematisch einen Prozessfluss eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Mittels Bilderfassung 201 werden durch eine Kamera digitale Bilddaten von Lebensmitteln eines Einkaufs erzeugt. In einer Trägereinheitserkennung 202 wird mittels maschineller Bilderkennung erkannt ob sich eine vollständige Trägereinheit auf den erfassten Bilddaten befindet. Wird keine vollständige Trägereinheit erkannt, wird vom Nutzer eine Neupositionierung der Lebensmittel angefordert und eine erneute Bilderfassung ausgelöst. Die Fremdobjektserkennung 203 erkennt mittels maschineller Bilderkennung, ob sich mindestens ein Fremdobjekt in den Bilddaten befindet. Wird ein Fremdobjekt mit Personenbezug nach EU-DSGVO erkannt, wird dieses Fremdobjekt einer Unkenntlichmachung 204 unterzogen. Mittels Gewichtserfassung 205 wird das Gewicht und/oder Gewichtsverteilung eines Einkaufs erfasst. Mittels maschineller Bilderkennung 206 wird für die Lebensmittel ein Klassierungsvorschlag erstellt, dessen Auswertesicherheit in einer Auswertesicherheitsbewertung 207 ermittelt wird. Liegt die Auswertesicherheit unter einem Schwellwert, wird eine Erkennererkennung 208 angestoßen, in der ein Erkenner seine Einschätzung zur Klassierung der Lebensmittel in Form eines Erkennungsergebnisses eingibt, das im Anschluss einer Ergebnisprüfung 209 unterzogen wird. Liegt die Auswertesicherheit über einem Schwellwert, wird keine Erkennererkennung angestoßen, sondern der Klassierungsvorschlag einer Ergebnisprüfung unterzogen. Die Ergebnisprüfung vergleicht das erfasste Gewicht mit einer Gewichtsprognose, berechnet aus Klassierungsvorschlag oder Erkennungsergebnis. Liegt die Gewichtsprognose außerhalb eines Toleranzbereichs des erfassten Gewichts, wird eine erneute Erkennererkennung ausgelöst. Liegt die Gewichtsprognose im Toleranzbereich des erfassten Gewichts, wird das Erkennungsergebnis oder der Klassierungsvorschlag als Klassierungsergebnis an eine Korrekturbedienschnittstelle übermittelt, die dem Nutzer über eine Eingabe die Möglichkeit zu einer Korrektur 210 dieses Klassierungsergebnisses ermöglicht. Wird eine Korrektur in die Korrekturbedienschnittstelle eingegeben, wird eine erneute Erkennererkennung angestoßen. Wird keine Korrektur in die Korrekturbedienschnittstelle eingegeben, wird anhand des Klassierungsergebnisses der Verkaufspreis des Einkaufs berechnet und in einer Verkaufsabwicklung 211 zur Abrechnung gebracht.
3 zeigt eine beispielhafte Kamera zur Ausführung des erfindungsgemäßen Verfahrens in perspektivischer Ansicht. Die Kamera 301 dient der Erfassung der Lebensmittel 302, die sich auf einer Trägereinheit 303 befinden. Es kann passieren, dass ein Fremdobjekt 304 von der Kamera erfasst wird.
4 zeigt ein Ausführungsbeispiel für eine Haltevorrichtung zur erfindungsgemäßen Durchführung des Verfahrens in perspektivischer Ansicht. Eine eingebaute Kamera eines mobilen Endgeräts 401, das von einer Befestigungseinheit 403 gehalten wird, dient der Erfassung von Lebensmitteln 402.
5 zeigt ein zweites Ausführungsbeispiel für eine Haltevorrichtung zur erfindungsgemäßen Durchführung des Verfahrens in perspektivischer Ansicht. Eine Abstelleinheit 503, die z. B. ungefähr in mittlerer Höhe bzw. auf ergonomischer Höhe am Ständer befestigt ist, erlaubt das Abstellen von Lebensmitteln 502 und/oder Trägereinheit unterhalb des mobilen Endgeräts 501, auch wenn keine sonstige Abstellmöglichkeit, wie z.B. ein Verkaufstresen, vorhanden ist.
6 zeigt ein drittes Ausführungsbeispiel für eine Haltevorrichtung zur erfindungsgemäßen Durchführung des Verfahrens, in perspektivischer Ansicht. Von einer Befestigungseinheit 603 werden mindestens zwei mobile Endgeräte 601 so gehalten, dass deren eingebaute Kamera Lebensmittel 602 gut erfassen kann, z.B. mit der Kamera nach unten, oder 1-45 Grad geneigt zu einer Seite. Die mobilen Endgeräte sind so angebracht, dass jedes mobile Endgerät einem Nutzer zugänglich ist, ohne einen Nutzer, des wenigstens einen weiteren mobilen Endgeräts, zu behindern, z.B. 30 - 150 cm versetzt voneinander und mit 0-30 Grad Abweichung parallel zueinander. Vorzugsweise umfasst die Haltevorrichtung mindestens zwei Stellfüße, um einen sicheren Stand zu ermöglichen. Die Haltevorrichtung kann aber auch nur mit einem Stellfuß ausgebildet sein, der die Haltevorrichtung z.B. an einer horizontalen Fläche befestigt, oder ohne Stellfußeinheit ausgebildet sein, wenn die Befestigung der Haltevorrichtung z.B. an einer vertikalen Fläche erfolgt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 000003370185 A1 [0004]
US 020150109451 A1 [0005]

Claims

Verfahren zur Klassierung von Lebensmitteln (302), wobei wenigstens ein Lebensmittel von einer Kamera (101) erfasst wird, dadurch gekennzeichnet, dass, - ein Erkennungsauftrag (106) für dieses wenigstens eine Lebensmittel (302) an mindestens eine Benachrichtigungsschnittstelle (107) übermittelt wird, - ein Erkennungsergebnis (109) von einer Eingabeschnittstelle (110) entgegengenommen wird und das wenigstens eine Lebensmittel (302) damit klassiert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet dass, für das wenigstens eine Lebensmittel (302) mittels maschineller Bilderkennung (206) ein Klassierungsvorschlag (103) erstellt wird und eine Auswertesicherheitsinstanz (104) eine Auswertesicherheit dieses Klassierungsvorschlags (103) bestimmt und mit einem Schwellwert vergleicht und wenn dieser Schwellwert entweder unterschritten oder überschritten wird, kein Erkennungsauftrag (106) übermittelt wird und stattdessen das wenigstens eine Lebensmittel (302) anhand dieses Klassierungsvorschlags (103) klassiert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass sich die Benachrichtigungsschnittstelle (107) und die Eingabeschnittstelle (110) mindestens 100 Meter entfernt von der Kamera (101) befinden und der Erkennungsauftrag (106) und das Erkennungsergebnis (109) über ein Netzwerk, insbesondere dem Internet, übermittelt bzw. entgegengenommen werden.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass es mindestens zwei Benachrichtigungsschnittstellen (107) und Eingabeschnittstellen (110) gibt und eine Auftragszuweisungseinheit (105) Erkennungsaufträge (106) von mindestens einer Kamera (101) an mindestens eine der mindestens zwei unterschiedlichen Benachrichtigungsschnittstellen (107) zuweist.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu dem wenigstens einen Lebensmittel (302) auch eine Trägereinheit (303) von der Kamera (101) erfasst und mittels maschineller Bilderkennung erkannt wird, ob diese Trägereinheit (303) vollständig erfasst wurde und nur wenn diese Trägereinheit (303) vollständig erfasst wurde, ein Klassierungsvorschlag (103) erstellt und/oder ein Erkennungsauftrag (106) für das wenigstens eine Lebensmittel (302) an eine Benachrichtigungsschnittstelle (107) übermittelt wird.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass ein Klassierungsergebnis (111) über eine Schnittstelle an ein Kassensystem (112) übermittelt wird, das eine Verkaufsabwicklung (211) durchführt.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren computerimplementiert ist und wenigstens der Schritt der maschinellen Bilderkennung (206) auf einem mobilen Endgerät (401) ausgeführt wird, welches das wenigstens eine Lebensmittel (302) mit einer eingebauten Kamera erfasst.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das mobile Endgerät (401) so eingerichtet werden kann, dass eine Verkaufsabwicklung (211) und/oder ein dazugehöriger Bezahlvorgang auf diesem durchgeführt werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein eingebautes NFC-Modul des mobilen Endgeräts (401) für den Bezahlvorgang eingesetzt werden kann.
Verfahren nach einem der vorigen Ansprüche dadurch gekennzeichnet, dass mittels maschineller Bilderkennung erkannt (203) wird, ob sich mindestens ein Fremdobjekt (304) auf den Bilddaten befindet.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mittels maschineller Bildbearbeitung mindestens ein erkanntes Fremdobjekt (304) auf den Bilddaten unkenntlich gemacht (204) wird.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass über eine Korrekturbedienschnittstelle, die geeignet ist, eine Eingabe von einem Nutzer entgegenzunehmen, das Klassierungsergebnis (111) eines Lebensmittels (302) korrigiert (210) werden kann.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass das Gewicht wenigstens eines Lebensmittels (302), oder das Gewicht eines gesamten Einkaufs mit Trägereinheit (303), durch eine Wiegeeinheit erfasst wird.
Verfahren nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass die Gewichtsverteilung von wenigstens zwei Lebensmitteln (302) durch eine Wiegeeinheit erfasst wird.
Vorrichtung zur Datenverarbeitung, insbesondere mobiles Endgerät (401), umfassend Mittel zur Ausführung des Verfahrens nach Anspruch 1.
Haltevorrichtung zur Durchführung des Verfahrens nach einem der vorigen Ansprüche, dadurch gekennzeichnet, dass eine Befestigungseinheit (403) ausgebildet ist, wenigstens ein mobiles Endgerät (401) gemäß Anspruch 15 zu halten, dessen eingebaute Kamera zur Bilderfassung (201) eingesetzt wird.
Haltevorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass die Haltevorrichtung zusätzlich eine Abstelleinheit (503) für Lebensmittel (502) und/oder eine Trägereinheit (303) umfasst.
Haltevorrichtung nach Anspruch 16. dadurch gekennzeichnet, dass die Befestigungseinheit (603) ausgebildet ist, wenigstens zwei mobile Endgeräte (601) gemäß Anspruch 15 zu halten, deren eingebaute Kameras zur Bilderfassung (201) eingesetzt werden.