DE202016009151U1

DE202016009151U1 - System zur Identifizierung von Produkten in einem Einkaufswagen

Info

Publication number: DE202016009151U1
Application number: DE202016009151.5U
Authority: DE
Original assignee: Pentland Firth Software GmbH
Current assignee: Pentland Firth Software GmbH
Priority date: 2015-02-23
Filing date: 2016-02-23
Publication date: 2023-04-13
Anticipated expiration: 2026-02-24
Also published as: EP3262562A1; WO2016135142A1; EP3262562B1

Abstract

System zur Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung, umfassend:
- einen Computer, der eine Datenbank mit produktspezifischen Daten umfasst, die sich auf Produkte aus einem Sortiment von Produkten in einer Einzelhandelsumgebung beziehen;
- mindestens eine optische Kamera, die betriebsfähig mit dem Computer verbunden ist, zur Überwachung des Einkaufswagens, wobei die mindestens eine optische Kamera vorzugsweise an dem Einkaufswagen angebracht ist;
- eine in einem Speicher des Computers gespeicherte Software zum Identifizieren von Produkten in dem Einkaufswagen, die eine Bilderkennungssoftware aufweist, die dazu geeignet ist, eine Bildfläche zu identifizieren und sie einem Produkt zuzuordnen, und Signaturdaten aus den optischen Daten der zugeordneten Bildfläche zu berechnen; wobei die produktspezifischen Daten in der Datenbank Signaturdaten aufweisen, die von zuvor erhaltenen optischen Bildern des Produktsortiments abgeleitet sind,
und wobei die Software so angepasst ist, dass sie ein Produkt in dem Einkaufswagen identifiziert, indem sie berechnete Signaturdaten des Produkts in dem Einkaufswagen mit Signaturdaten in der Datenbank vergleicht,
wobei die Software so angepasst ist, dass sie mindestens eine Zusatzinformation von mindestens einer weiteren Sensorvorrichtung verwendet, um die Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten im Einkaufswagen zu verbessern.

Description

TECHNISCHER HINTERGRUND
Der hier beschriebene Gegenstand bezieht sich allgemein auf Systeme, Verfahren und computerlesbare Medien für die Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung, wie z. B. einem Supermarkt. Insbesondere geht es um Systeme, Verfahren und computerlesbare Medien zur Identifizierung von Produkten durch optische Bilderkennung und Vergleich mit einer Datenbank, die produktspezifische Daten aufweist, sowie um eine automatisierte Kasse für einen Kunden in einer Einkaufsumgebung.
Die Automatisierung hat die Effizienz der Operationen an den Kassen des Einzelhandels im Laufe der Jahre erheblich gesteigert. Von Mitarbeitern betriebene Checkout-Operationen haben stark an Effizienz gewonnen, während Self-Checkout-Operationen ebenfalls möglich geworden sind, was den Händlern erhebliche Arbeitseinsparungen und den Kunden, die sich für Self-Checkout entscheiden, mehr Komfort bietet. Die bekannten Self-Checkout-Systeme haben jedoch immer noch erhebliche Nachteile, die ihren Erfolg als allgemeines Verfahren für den Checkout im Einzelhandel behindert haben.
Vor einigen Jahren wurden große Erwartungen in RFID-basierte Systeme gesetzt. Insbesondere im Lebensmitteleinzelhandel hat sich dieses Verfahren jedoch als zu kostspielig und angesichts der oft niedrigpreisigen Artikel in einem typischen Sortiment eines Supermarktes auch als unpraktisch für die Unternehmen erwiesen, was zum einen an den Kosten für die erforderlichen RFID-Etiketten und zum anderen an dem erheblichen zusätzlichen Handhabungsaufwand bei der Produktaufbereitung liegt.
In einigen Supermärkten wurden Self-Checkout-Terminals eingerichtet, an denen die Kunden ihre ausgewählten Produkte an einem zentralen Barcode-Scanner entlang bewegen müssen. Angesichts der Tatsache, dass ein Strichcode z. B. auf einem farbigen Produkt manchmal schwer zu erkennen ist und dass ältere oder körperlich behinderte Kunden mit solchen Verfahren generell Probleme haben, hat sich dies im Großen und Ganzen nicht sehr bewährt. Bei einem ähnlichen Verfahren wird ein spezieller Barcode-Scanner direkt an jedem Einkaufswagen angebracht, so dass die Kunden die Produkte entlang des Scanners bewegen müssen, bevor sie sie beim Einkaufen in den Wagen legen. Dies kann zwar ähnliche Probleme wie oben beschrieben verursachen, verändert und verkompliziert aber auch das Einkaufserlebnis des Kunden erheblich, so dass die Unternehmen dadurch Gefahr laufen, Kunden zu verlieren. Kann ein Barcode von einem Kunden aus irgendeinem Grund nicht gescannt werden, muss ein Angestellter eingreifen und manchmal auch die Produktidentifikationsnummer manuell eingeben, was auf breiter Ebene dazu beitragen kann, den beabsichtigten positiven wirtschaftlichen Effekt solcher Systeme zumindest teilweise zu schmälern.
Ein weiteres vorgeschlagenes System basiert auf der automatischen Erkennung oder Identifizierung von Produkten durch Bilderkennung. Diese basiert auf dem Vergleich von Bildern, die von den ausgewählten Produkten empfangen werden, mit vorher gespeicherten Bildern des Sortiments in einer Datenbank. Ein umfassender und zuverlässiger Vergleich eines Produktbildes mit der großen Anzahl von Produkten, z.B. 30.000 bis 100.000 Artikeln, die ein großer Einzelhandel führen könnte, erfordert j edoch in der Regel mehr Zeit, als für einen Kunden oder den Händler akzeptabel wäre. Andererseits würden kürzere, akzeptable Zeitspannen dazu führen, dass die Effizienz und Genauigkeit des Erkennungsprozesses für den praktischen Einsatz zu gering wäre, denn damit das Verfahren produktiv eingesetzt werden kann, sollte die Erkennungsgenauigkeit mindestens 99 % oder mehr betragen - so dass eine Fehleinschätzung im Durchschnitt nur bei einem Bruchteil der Kunden auftritt. Weiterhin stellt sich die Frage, wie die Bilder während des Einkaufs in einer für das Verfahren ausreichenden Qualität aufgenommen werden können und wie dies mit dem bekannten und erwarteten Einkaufserlebnis des Kunden kombiniert bzw. integriert werden kann.
Aus den vorgenannten und weiteren Gründen besteht ein Bedarf für die vorliegende Erfindung.
KURZBESCHREIBUNG DER ERFINDUNG
Vor diesem Hintergrund wird ein System nach Anspruch 1 bereitgestellt.
In einem Aspekt wird ein System zur Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung bereitgestellt, das aufweist: einen Computer, der eine Datenbank mit produktspezifischen Daten aufweist, die sich auf Produkte aus einem Sortiment von Produkten in einer Einzelhandelsumgebung beziehen; eine optische Kamera, die mit dem Computer verbunden ist, um den Einkaufswagen zu überwachen; eine Software, die in einem Speicher des Computers gespeichert ist, um Produkte in dem Einkaufswagen zu identifizieren, die eine Bilderkennungssoftware aufweist, die angepasst ist, um zwischen verschiedenen Produkten in dem Einkaufswagen zu unterscheiden und um ein Produkt und ihm zugeordnete Bildflächen zu bestimmen und um produktspezifische Informationen aus den optischen Daten der Bildflächen zu berechnen; einen optionalen Barcode-Scanner, der in die Software integriert sein kann; wobei die produktspezifischen Daten in der Datenbank Signaturdaten aufweisen, die von zuvor erhaltenen optischen Bildern des Sortiments von Produkten abgeleitet sind, und wobei die Software angepasst ist, um Produkte in dem Einkaufswagen zu identifizieren, indem sie erhaltene produktspezifische Informationen eines Produkts in dem Einkaufswagen vergleicht, und wobei die Software angepasst ist, um mindestens eine Hilfsinformation von mindestens einer weiteren Erfassungsvorrichtung zu verwenden, um die Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten in der Datenbank zu verbessern. Weiterhin wird ein entsprechendes Verfahren und Computerprogrammprodukt bereitgestellt.
In einem weiteren Aspekt ist das System für ein Verfahren zur Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung eingerichtet. Das Verfahren weist Folgendes auf: Bereitstellen eines Systems gemäß dem ersten Aspekt; Bereitstellen einer Datenbank mit produktspezifischen Daten, die sich auf Produkte des Sortiments von Produkten in der Einzelhandelsumgebung beziehen; Überwachen des Einkaufswagens mit der optischen Kamera und/oder einem Bewegungssensor; Identifizieren von Produkten in dem Einkaufswagen durch eine Bilderkennungssoftware, die angepasst ist, um zwischen verschiedenen Produkten in dem Einkaufswagen zu unterscheiden, indem ein Produkt bestimmt wird und ihm Bildflächen zugeordnet werden, Berechnen von produktspezifischen Informationen aus den optischen Daten der Bildfläche und Vergleichen dieser Signaturinformationen mit Daten in der Datenbank; optionales Lesen eines Strichcodes auf dem Produkt mit einem Strichcode-Scanner oder mittels der optischen Kamera; wobei die produktspezifischen Daten in der Datenbank Signaturdaten aufweisen, die aus den empfangenen optischen Bildern des Sortiments von Produkten abgeleitet sind, unter Verwendung von mindestens einer Hilfsinformation von mindestens einer weiteren Erfassungsvorrichtung zur Verbesserung der Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten in der Datenbank.
Diese Zusammenfassung dient dazu, eine Auswahl von Konzepten in vereinfachter Form vorzustellen, die weiter unten in der detaillierten Beschreibung beschrieben werden. Diese Zusammenfassung ist nicht dazu gedacht, Schlüsselmerkmale oder wesentliche Merkmale des beanspruchten Gegenstands zu identifizieren, noch soll sie als Hilfe bei der Feststellung des Umfangs des beanspruchten Gegenstands verwendet werden.
Weitere Aspekte, Vorteile und Merkmale der vorliegenden Erfindung sind aus den abhängigen Ansprüchen, der Beschreibung und den beigefügten Zeichnungen ersichtlich.
Figurenliste
Eine vollständige und befähigende Offenbarung, einschließlich der besten Variante davon, für einen Fachmann mit gewöhnlichen Kenntnissen auf dem Gebiet der Technik, ist insbesondere im Rest der Beschreibung festgelegt, einschließlich der Bezugnahme auf die begleitenden Figuren, in denen:

1 ist eine schematische Ansicht eines Systems gemäß Ausführungsformen;
2 ist eine schematische Ansicht eines Systems gemäß weiteren Ausführungsformen;
3 ist eine schematische Ansicht eines Verfahrens gemäß Ausführungsformen;
4 zeigt einen Einkaufswagen eines Systems gemäß Ausführungsformen;
5 zeigt eine Querschnittsansicht eines Einkaufswagens eines Systems gemäß Ausführungsformen
6 zeigt einen Einkaufswagen eines weiteren Systems gemäß weiteren Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
Es wird nun im Detail auf die verschiedenen Aspekte und Ausführungsformen Bezug genommen, von denen ein oder mehrere Beispiele in jeder Figur dargestellt sind. Jedes Beispiel dient der Erläuterung und ist nicht als Einschränkung zu verstehen. So können beispielsweise Merkmale, die als Teil einer Ausführungsform dargestellt oder beschrieben sind, an oder in Verbindung mit anderen Ausführungsformen verwendet werden, um noch weitere Ausführungsformen zu ergeben. Es ist beabsichtigt, dass die vorliegende Offenbarung solche Modifikationen und Variationen umfasst. Der Gegenstand der vorliegenden Erfindung wird hier mit einer gewissen Genauigkeit beschrieben, um den gesetzlichen Anforderungen zu genügen. Die Beschreibung selbst soll jedoch nicht den Anwendungsbereich dieses Patents limitieren. Vielmehr haben die Erfinder in Betracht gezogen, dass der beanspruchte Gegenstand auch in anderen Ausführungsformen mit verschiedenen Schritten oder Kombinationen von Schritten, die den hier beschriebenen ähnlich sind, in Verbindung mit anderen gegenwärtigen oder zukünftigen Technologien verwirklicht werden kann.
Beschreibung von allgemeinen Aspekten
Die hierin beschriebenen Ausführungsformen stellen ein System und ein Verfahren bereit, die zur zuverlässigen Identifizierung von Produkten dienen, die von einem Kunden in einer Einzelhandelsumgebung, wie z. B. einem Supermarkt, in einen Einkaufswagen gelegt werden. Die Produkte werden während des Einkaufsvorgangs automatisch identifiziert, idealerweise, aber nicht notwendigerweise nahezu in Echtzeit, und die Preise und Nummern der einzelnen Produkte werden so ermittelt. Folglich kann die Kasse vollautomatisch durchgeführt werden. Das heißt, der Kunde kann z. B. an einer Kasse - mit oder ohne Interaktion mit einem menschlichen Mitarbeiter - mit Bargeld oder einer Kredit- oder Debitkarte bezahlen und erhält eine ausgedruckte Rechnung, z. B. von einem automatischen Kassierer. In einem anderen Szenario verlässt der Kunde das Geschäft ohne jegliche Interaktion, während sein Smartphone oder Tablet-Computer automatisch für einen drahtlosen Bezahlvorgang verwendet wird, z. B. über NFC mittels einer mobilen App. Der Kunde kann auch während des Bezahlvorgangs die Rechnung erhalten oder vor dem Bezahlen die Liste der Waren im Einkaufswagen einsehen und die Zahlung mit einem einfachen Tastendruck oder Touchscreen autorisieren. Die Autorisierung des Kunden kann auch über einen in den Einkaufswagen eingebauten oder daran befestigten Computer, z. B. einen Tablet-Computer mit Touchscreen, erfolgen. Der Kunde kann sich vor dem Einkauf mit einem elektronischen Ausweis, einem Online-Konto wie z.B. einem Google-Konto, seinen Kreditkartendaten (und optional einem PIN-Code) oder Internet-Zahlungskonten wie z.B. Paypal oder dem deutschen Dienst Clickandbuy autorisieren, um nur einige Beispiele zu nennen. Es kann auch eine Autorisierung durch eine Verbindung mit dem Mobiltelefon des Kunden unter Einbeziehung des Mobilfunkanbieters erfolgen.
Generell wird die Zuverlässigkeit und Vielseitigkeit des Produktidentifikationsprozesses gemäß Ausführungsformen durch die folgenden allgemeinen Aspekte der Systeme und Verfahren gewährleistet. Das Ladevolumen des Einkaufswagens wird von einer optischen Kamera überwacht, die an der Karosserie des Einkaufswagens angebracht und mit einem Computer verbunden ist, der über eine zentrale Verarbeitungseinheit (CPU) und einen internen Speicher verfügt. Auf dem Computer läuft eine Software, die die von der mindestens einen optischen Kamera übertragenen Bilder verarbeitet. Optional überwachen eine oder zwei weitere optische Kameras den Einkaufswagen auch aus einer anderen Perspektive, so dass der Computer mit Bildern der Produkte im Einkaufswagen aus zwei oder drei verschiedenen Blickwinkeln gespeist wird.
Die Software weist eine Bildverarbeitungs- und Erkennungssoftware auf, die geeignet ist, Produkte in den Bildern durch Analyse der Bildinformationen zu bestimmen und definierte Bildflächen einem einzelnen Produkt (hier auch Artikel genannt) zuzuordnen. Die aus den optischen Kamerabildern extrahierten Informationen werden dann mit produktspezifischen Informationen, den so genannten Signaturdaten, aus einer Datenbank verglichen, die im Speicher des Computers gespeichert ist. Diese Datenbank weist zuvor abgeleitete Informationen (Signaturdaten) über jedes Produkt des Sortiments des Einzelhandels, z. B. eines Supermarktes, auf, in dem das System und die Verfahren gemäß den Ausführungsformen eingesetzt werden. Typischerweise kann diese Datenbank zwischen etwa 30.000 und etwa 100.000 verschiedene Produkte aufweisen.
In Ausführungsformen werden verschiedene Merkmale und Maßnahmen eingesetzt, um eine hohe Zuverlässigkeit des Erkennungsprozesses von Produkten im Einkaufswagen zu gewährleisten und gleichzeitig eine angemessene durchschnittliche Erkennungszeit für jeden Artikel zu erreichen. Dies liegt daran, dass die Erkennung unter den gegebenen Umständen eine relativ schwierige Aufgabe ist - zum einen ist die Anzahl der Produkte in der Datenbank, mit denen die aktuellen Bilder der optischen Kamera verglichen werden müssen, mit bis zu 100.000 sehr hoch, was die Möglichkeit von Fehlern öffnet und eine lange Berechnungszeit erfordert. Auf der anderen Seite muss zum einen das Produkt im Bild des gesamten Warenkorbs zuverlässig identifiziert werden, zum anderen kann das Produkt teilweise durch andere Produkte verdeckt sein, und seine Position ist typischerweise so, dass nur einige Seiten für die optische Kamera oder die optischen Kameras sichtbar sind. Daher werden in der Datenbank Bilder von mehreren Seiten jedes Produkts bereitgestellt, so dass eine Ansicht des Produkts aus jedem beliebigen Blickwinkel von außen anhand der Bilder in der Datenbank reproduzierbar ist. Wenn das Produkt beispielsweise eine typische Quaderform hat, werden Bilder aus einer normalen Richtung auf jede der sechs Seiten aufgenommen - von links, rechts, vorne, hinten, oben und unten. Dabei wird die komplette Bilddatenbank in der Regel nicht auf dem Computer des Einkaufswagens, sondern auf einem Server in einem Backoffice bereitgestellt. Im Speicher des Computers des Einkaufswagens werden nur die von den hochauflösenden Originalbildern der einzelnen Produkte abgeleiteten Daten als so genannte Signaturdaten gespeichert. Je nach der Speichergröße des Computers des Einkaufswagens kann auch die gesamte Datenbank auf diesem Computer gespeichert werden.
Um den Erkennungsprozess zu beschleunigen und zu verbessern, werden in Ausführungsformen zusätzliche Parameter für jedes Produkt in der Datenbank bereitgestellt. Diese können z.B. einen auf dem Produkt vorhandenen Strichcode aufweisen, aber auch Informationen über Text, der auf den Oberflächen des Produkts aufgedruckt ist.
Wird ein Produkt in den Einkaufswagen gelegt, kann ein optionaler Bewegungssensor ein Signal an den Computer geben, so dass der Bilderkennungsprozess gestartet wird. Die Software vergleicht dann ein aktuelles Bild des Warenkorbs mit dem vorherigen Bild, bevor das neue Produkt hinzugefügt wurde. Aus dem berechneten Delta des Vergleichs ergibt sich das Teilbild, auf dem das neu hinzugefügte Produkt zu sehen ist/sind. Die Software sucht dann, ob auf dem Teilbild ein Strichcode zu sehen ist, und wenn ja, identifiziert sie das Produkt direkt in der Datenbank. In einem zweiten optionalen Schritt werden Textinformationen im Teilbild durch Bilderkennung identifiziert. Es wird eine Zeichenerkennung (OCR) durchgeführt und der so gewonnene Text mit Einträgen in der Datenbank verglichen. Dies führt in vielen Fällen direkt zur Identifizierung des Produktes in der Datenbank. Ist keiner der oben genannten Schritte erfolgreich, z.B. wenn der Barcode verdeckt ist und sich das Produkt in einer Lage und Ausrichtung befindet, in der nur wenig oder gar keine Textinformationen im Teilbild vorhanden sind, wird eine Erkennung basierend auf den Bildinformationen gestartet. Um die Erkennung zu beschleunigen und den Speicherbedarf und die benötigte Verarbeitungszeit zu minimieren, wird die Erkennung durch den Vergleich von so genannten Signaturdaten, die aus dem Teilbild berechnet werden, mit den entsprechenden in der Datenbank gespeicherten Signaturdaten durchgeführt.
Diese Signaturdaten können in Ausführungsformen eine Vielzahl von verschiedenen Parametern für jedes Produkt aufweisen. Diese werden in der Datenbank bereitgestellt und typischerweise offline berechnet, wenn ein Produkt zur Datenbank hinzugefügt wird, typischerweise wenn es dem Sortiment des Einzelhandels hinzugefügt wird. Auch wenn das Aussehen eines Produkts geändert wird, z. B. Form, Größe, Farben und aufgedruckte Textinformationen, wird das Produkt (in einem Offline-Prozess) erneut in die Datenbank eingegeben bzw. sein Eintrag geändert.
Zu den verschiedenen möglichen Signaturdatenparametern können, als nicht limitierende Beispiele, gehören: Ein Wert, der das Volumen eines Produkts angibt; ein Wert über mindestens eine äußere Abmessung eines Produkts; ein Wert, der die geometrische Form eines Produkts darstellt; ein Wert, der geometrische Relationen eines Produkts darstellt, vorzugsweise eine Relation zwischen mindestens zwei von Breite, Höhe und Länge; einen Satz von mindestens zwei Werten, die sich auf die Farben eines Produkts beziehen, einen Satz von Werten, die sich auf die Fläche beziehen, die mindestens eine bestimmte Farbe in einem Produkt einnimmt, den Prozentsatz, den die Flächen mit einer bestimmten Farbe in Bezug auf mindestens eine Seite der Außenfläche des Produkts einnehmen; Daten, die sich auf die Farbe beziehen, die den größten Anteil, optional den zweitgrößten Anteil, usw. von mindestens einer Seite der Außenfläche des Produkts einnimmt. Es versteht sich, dass weitere Parameter verwendet oder dem Produkterkennungsprozess hinzugefügt werden können, die als in den Anwendungsbereich der vorliegenden Offenbarung fallend betrachtet werden.
In der Datenbank können einer oder alle der oben genannten Parameter als Signaturdaten für jedes Produkt in der Datenbank gespeichert werden. So kann die Software so angepasst werden, dass sie einen, mehrere oder alle der oben genannten Parameter für die Identifizierung des neu hinzugefügten Produkts verwendet. Dies kann durch sequentielles Berechnen und Vergleichen der einzelnen Parameter mit der Datenbank erfolgen, bis eine Übereinstimmung mit den Signaturen eines Produkts in der Datenbank gefunden wurde. Dabei kann ein Vertraulichkeitsintervall definiert werden, in dem festgelegt wird, wie viele Parameter eines Produkts einzeln mit einem Eintrag in der Datenbank übereinstimmen müssen, damit die Software entscheidet, dass das Produkt als identifiziert gilt.
Sobald das Produkt identifiziert ist, wird es in einer Liste im Speicher des Computers gespeichert. Der Computer kann ein Tablet-Computer sein, der am Einkaufswagen angebracht ist. Der Preis des hinzugefügten Produkts wird zu der Summe addiert, die an der Kasse zu zahlen ist. Wenn der Kunde den Einkauf abgeschlossen hat und zur Kasse geht, wird die Summe an einen Zahlungs- und Autorisierungsprozess übermittelt, der oben beschrieben wurde.
Ausführliche Beschreibung der Ausführungsformen
1 zeigt einen beispielhaften Einkaufswagen 1 mit Komponenten des Systems 10 gemäß Ausführungsformen und den Komponenten des Systems, die sich außerhalb des Einkaufswagens befinden. Zwei optische Kameras 15, 16 sind an dem Einkaufswagen 1 angebracht und mit dem Computer 20 verbunden. Die Datenbank 22, die Produktinformationen in Form von Unterschriftsdaten und/oder reduzierten Bilddaten aufweist, wird in einem Speicher 24 des Computers gespeichert. Das System 10 kann optional einen Server 31 außerhalb des Warenkorbs 1 aufweisen. Die komplette Datenbank 33 mit hochauflösenden Bilddaten zu jedem Produkt des Sortiments kann auf dem Server 31 bereitgestellt werden, in diesem Fall werden nur Signaturdaten und verkleinerte Bilddaten zu jedem Produkt im Speicher 24 des Computers 20 gespeichert. Wenn der Computer 20 über genügend Speicher und Rechenleistung verfügt, kann auch die komplette Bildinformationsdatenbank 33 im Computer 20 des Einkaufswagens 1 gespeichert werden.
Während eine optische Kamera 15 in derart konfigurierten Fällen oder bei kleinen Einkaufswagen 1 ausreichen kann, können eine zweite optische Kamera 16 und sogar eine dritte optische Kamera typischerweise vorgesehen werden, um den Erkennungsprozess zu verbessern. Zwei optische Kameras 15, 16 können z.B. an beiden Enden des Griffs 26 des Einkaufswagens, links und rechts vom Computer 20, der in der Fläche der Mitte des Griffs 26 angebracht ist, vorgesehen sein. In der gezeigten Ausführungsform ist eine optische Kamera 15 am Griff und die zweite optische Kamera 16 am gegenüberliegenden Ende des Einkaufswagens 1 vorgesehen, das von der typischen Position des Kunden 2 am Wagen entfernt ist.
Optional ist eine Vorrichtung 30 zum Scannen von Strichcodes am Wagen angebracht. Die Barcode-Scanfunktion kann typischerweise in der Software 23 im Speicher 24 des Computers 20 integriert sein, und die Barcode-Erkennung kann auch durch Analyse der Bilddaten der optischen Kamera nach entsprechenden Barcode-Informationen erfolgen.
In Ausführungsformen kann eine zusätzliche Infrarotkamera 35 zur Überwachung des Einkaufswagens 1 vorgesehen sein. Die Software 23 kann so angepasst werden, dass sie aus den empfangenen Infrarotbildern temperaturbezogene Daten der Produkte im Einkaufswagen berechnet. Eine weitere optische Kamera (nicht dargestellt) kann an einer Unterseite des Hauptfachs des Einkaufswagens 1 vorgesehen sein, um das Lagerfach für große Waren (Bottom-of-the-Basket) zu überwachen, das oft unterhalb des Hauptfachs vorgesehen ist.
Die Software 23 kann angepasst werden, um mindestens eine Oberflächentemperatur eines neu hinzugefügten oder eines beliebigen Produkts im Einkaufswagen 1 anhand von aufgenommenen Infrarotbildern zu identifizieren. Die Temperatur wird als Hilfsinformation in Verbindung mit typischen Produkttemperaturen in der Einkaufsumgebung, die in der Datenbank 22 gespeichert sind, im Erkennungsprozess verwendet. Diese kann als weitere Signaturdaten zur Identifikation von Produkten aus einem Kühl- oder Gefrierschrank verwendet werden, wobei die Temperatur zur Unterscheidung zwischen beiden und zwischen normaler Raumtemperatur dient. Weiterhin kann die Software angepasst werden, um Flächen mit unterschiedlicher Temperatur auf einem Produkt zu erkennen und um zu erkennen, ob eine unterschiedliche Temperaturverteilung auf einen aktuellen Temperaturabdruck von einer menschlichen Hand zurückzuführen ist. Diese Information kann als Zusatzinformation zu den optischen Bildern verwendet werden, um festzustellen, ob ein Produkt kürzlich in den Einkaufswagen 1 gelegt wurde.
Weiterhin kann das System 10 ein Ortungssubsystem aufweisen, das einen Sensor 40 aufweist, um Informationen über den Standort des Einkaufswagens 1 im Einzelhandel zu erhalten. Der Sensor kann beispielsweise ein RFID-Sensor sein, der Signale von über die Umgebung des Einzelhandels verteilten Antennen 45 empfängt, die drahtlos oder mittels eines Kabelsystems 46 mit dem Server 31 verbunden sein können. Es versteht sich, dass das Ortungs-Subsystem mit verschiedenen in der Technik bekannten Verfahren eingesetzt werden kann, z.B. Infrarot, Verwendung zusätzlicher Daten von einem WIFI-System, Infrarotdaten, Peilung, usw. Die Informationen über die aktuelle Position können in Ausführungsformen für verschiedene Zwecke verwendet werden. In Ausführungsformen kann die Datenbank Informationen über den Lagerort jedes Produkts in der Einkaufsumgebung aufweisen. Dies wird in Verbindung mit dem aktuellen Standort des Einkaufswagens 1 verwendet, um eine begrenzte Auswahl / Gruppe von Produkten aus der Datenbank 22 zu bestimmen, mit der ein neu zum Einkaufswagen 1 hinzugefügtes Produkt 50, 51, 52 von der Software 23 in einem ersten Ansatz des Identifikationsprozesses verglichen wird.
Die Datenbank 22 kann auch Informationen aufweisen, die für eine Anzahl von Standorten im Einzelhandel angeben, welche Produkte in der Vergangenheit an den jeweiligen Standorten häufig in den Warenkorb 1 gelegt wurden. Diese Informationen werden in Verbindung mit dem aktuellen Standort des Warenkorbs 1 verwendet, um eine limitierte Auswahl von Produkten aus der Datenbank zu bestimmen, mit der ein neu in den Warenkorb 1 eingefügtes Produkt von der Software 23 in einem ersten Ansatz des Identifikationsprozesses verglichen wird.
Für den Produktidentifikationsprozess kann die Datenbank auch Informationen über die Farben eines Produkts als Signaturdaten aufweisen. Im Identifikationsprozess werden die Farbdaten eines neu hinzugefügten Produkts aus optischen Bildern des Produkts abgeleitet, indem die Bildinformationen durch einen Algorithmus reduziert werden. Dies kann eine Rasterung der Bilder aufweisen, die Auflösung der Rasterung reduzieren, charakteristische Farbsignaturen oder Farbtabellen für ein Produkt und/oder für verschiedene Seiten eines Produkts berechnen. So können charakteristische Signaturinformationen über Farben in der Datenbank gespeichert werden und vom Computer im Identifikationsprozess empfangen werden.
Der Produktidentifikationsprozess wird typischerweise weiterhin durch die Verwendung von Daten der Infrarotkamera unterstützt. Wenn ein Produkt in den Einkaufswagen gelegt wird, können die Daten der Infrarotkamera von der Software auf den thermischen Abdruck einer menschlichen Hand analysiert werden, der sich bei Produkten, die im Allgemeinen Raumtemperatur oder weniger haben, typischerweise als lokal erhöhte Temperatur zeigt. So können neu hinzugefügte Produkte durch die Analyse von Infrarotbildern identifiziert bzw. diese Daten mit Daten aus dem weiter oben beschriebenen Bilderkennungsverfahren kombiniert werden. Dabei kann die Temperaturverteilung auf dem jeweiligen Produkt weiterhin genutzt werden, um z.B. abzuschätzen, wie lange der Kunde das Produkt getragen hat, was als Indikator - zumindest näherungsweise - herangezogen werden kann, in welcher Entfernung vom Wagen das Produkt gegriffen wurde. Dies kann wiederum genutzt werden, um den Bereich der Produkte einzugrenzen, in dem gesucht wird - da die Produkte mit ihrem Standort im Geschäft in der Datenbank 22 auf dem Computer 20 gespeichert sind - um die Produkterkennung zu verbessern. Bei der Entscheidung über die mögliche Entfernung, über die das Produkt zum Einkaufswagen getragen wurde, kann auch die durchschnittliche Gehgeschwindigkeit des Kunden während des Einkaufs berücksichtigt werden. Die Bilder der Infrarotkamera können auch verwendet werden, um zu erkennen, ob eine andere Person als der Kunde ein Produkt in den Einkaufswagen legt, indem die Spektren der Infrarotsignale einer Hand in einem Bild unterschieden werden. Dann kann ein Signal angezeigt oder ein Ton abgespielt werden, z. B. „Achtung, nicht Ihr Einkaufswagen“ oder ähnliches.
Ein typisches Verfahren zur Identifizierung von Produkten gemäß den Ausführungsformen sieht wie folgt aus: Zuvor wird die Datenbank mit produktspezifischen Daten zu allen Produkten des Sortiments im Einzelhandel bereitgestellt. Dabei werden Bilder aufgenommen und in der Datenbank 33 gespeichert, und für jedes Produkt wird die Signaturinformation berechnet. Der Einkaufswagen 1 wird kontinuierlich mit der/den optischen Kamera(s) 15, 16 und/oder dem Bewegungssensor beobachtet. Neu hinzugefügte Produkte werden im Einkaufswagen durch die Bilderkennungssoftware identifiziert, die so angepasst ist, dass sie zwischen verschiedenen Produkten im Einkaufswagen unterscheiden kann, indem sie die zu einem Produkt gehörenden Bildflächen feststellt und die Bildflächen dem Produkt zuordnet. Aus diesem Teilbild werden produktspezifische Informationen (Signaturdaten) aus den optischen Daten des Teilbildes berechnet. Diese Signaturinformationen werden mit Signaturdaten aus der Datenbank 22 verglichen.
Wenn die Software erkannt hat, dass ein neues Produkt in den Warenkorb gelegt wurde, wird typischerweise als einer der ersten Verfahrensschritte zur Produktidentifikation die Suche nach Barcode-Informationen im Teilbild durchgeführt. Anschließend wird eine optische Zeichenerkennung auf dem Teilbild durchgeführt, das als zu dem zuletzt hinzugefügten Produkt gehörend identifiziert wurde. Die extrahierten Textinformationen werden dann, sofern vorhanden, mit Signaturdaten in der Datenbank 22 verglichen, um das Produkt mittels aufgedrucktem Text zu identifizieren. Dabei kann typischerweise zuerst in größeren Schriftarten gedruckter Text für die Suche verwendet werden, da dieser eine größere Chance hat, auf den durch den Markennamen und/oder den Produktnamen angegebenen Produkttyp hinzuweisen. Wenn es in der Datenbank eine Übereinstimmung mit dem identifizierten Text gibt, kann die Software eine Gegenprüfung anhand anderer Unterschriftendaten, z. B. der Produktgröße oder anderer hier beschriebener Parameter, durchführen. Wenn sowohl die Barcode-Suche als auch die OCR mittels einer Gegenprüfung kein als zuverlässig erachtetes Ergebnis liefern, beginnt die Software mit der Berechnung von Unterschriftsdaten aus dem optischen Kamerabild und vergleicht diese mit der Datenbank 22. „Zuverlässig“ kann z.B. so definiert werden, dass eine definierte Anzahl verschiedener Parameter der Unterschriftendaten alle innerhalb einer 90%igen Übereinstimmung mit den gespeicherten Unterschriftendaten in der Datenbank 22 liegen.
Optional kann mindestens eine Zusatzinformation von mindestens einer weiteren Vorrichtung, abgesehen von der/den optischen Kamera(s) 15, 16 und der Barcode-Scanner-Vorrichtung 30, verwendet werden, um die Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten in der Datenbank 22 zu verbessern. Zu diesem Zweck können, wie weiter oben beschrieben, Bilder einer Infrarotkamera 35 verwendet werden, um Signaturdaten über die Temperatur des Produkts zu erhalten. Die Infrarotkamera 35 kann auch, gegebenenfalls in Verbindung mit dem Bewegungssensor, verwendet werden, um zu erkennen, dass eine menschliche Hand in den Einkaufswagen bewegt wird, was als Indikator dafür verwendet werden kann, dass ein Produkt hinzugefügt oder entfernt wird. Dies kann mit den Daten der optischen Kamera kombiniert werden.
Die produktspezifischen Signaturdaten in der Datenbank können typischerweise zumindest Signaturdaten aufweisen, die zuvor aus den Bildern der optischen Kamera empfangen wurden; Textphrasen auf der Außenseite des Produkts, die vorzugsweise bestimmten Seitenflächen des Produkts zugeordnet sind; Daten über typische Oberflächentemperaturen der Produkte; und optional Daten über die natürliche Strahlung eines Produkts, die optional als zusätzliche Signaturdaten verwendet werden können, die mit Daten von einem optionalen Strahlungssensor verglichen werden.
Dabei können die in der Datenbank gespeicherten Signaturdaten typischerweise die folgenden Parameter aufweisen: einen Wert, der das Volumen eines Produkts angibt; einen Wert über mindestens eine äußere Abmessung eines Produkts; einen Wert, der die geometrische Form eines Produkts repräsentiert; einen Wert, der geometrische Beziehungen eines Produkts repräsentiert, vorzugsweise eine Beziehung zwischen mindestens zwei von Breite, Höhe und Länge; eine Gruppe von mindestens zwei Werten, die sich auf die Farben eines Produkts beziehen, eine Gruppe von Werten, die sich auf die Fläche beziehen, die mindestens eine bestimmte Farbe in einem Produkt einnimmt, den Prozentsatz, den die Flächen mit einer bestimmten Farbe in Bezug auf mindestens eine Seite der Außenfläche des Produkts einnehmen, und Daten, die sich auf die Farbe beziehen, die den größten Anteil, gegebenenfalls den zweitgrößten Anteil, usw. von mindestens einer Seite der Außenfläche des Produkts einnimmt. Die Signaturdaten können weiterhin Daten über die akustischen Eigenschaften des Produkts aufweisen, wie z. B. ein Geräusch, wenn das Produkt in einen Einkaufswagen gelegt wird und auf verschiedene andere Produkte trifft. Daher kann ein Mikrofon verwendet werden, um Geräusche im Einkaufswagen als zusätzliche Identifikationsinformationen aufzuzeichnen.
Die Signaturdaten können auch Daten aufweisen, die durch eine schnelle FourierTransformation (FFT) von Teilen oder den gesamten Bilddaten der optischen Kamera empfangen wurden. Dabei kann es sich beispielsweise um eine FFT einer Linie des Bildes handeln, die parallel zu und in einem bestimmten Abstand von (von der Bilderkennungssoftware identifizierten) Kanten einer Oberfläche des Produkts verläuft, z. B. 1 cm oder 2 cm, oder in der Mitte der Oberfläche zwischen zwei identifizierten Kanten. Diese FFT-Daten ergeben charakteristische Signaturdaten für das optische Erscheinungsbild des Produkts und sind für jedes Produkt höchst individuell. Die entsprechenden Daten müssen in der Datenbank 22 gespeichert werden, typischerweise mindestens ein mit der FFT ermittelter Wert für jede Seite der Produkte, so dass ein Vergleich zur Identifizierung empfangen werden kann. Es versteht sich, dass dieses Merkmal stark modifiziert werden kann, wobei diese Modifikationen als unter die vorliegende Offenbarung fallend betrachtet werden. Wenn die Barcode-Erkennung, die OCR-Erkennung und die Unterschriftsdatensuche mit allen Parametern, die von der Software als Unterschriftsdaten verwendet werden (wie oben beschrieben), nicht zu einem als zuverlässig angesehenen Ergebnis geführt haben, werden die optischen Kamerabilder oder ein Teilbild für das betreffende Produkt mittels z. B. WIFI (WLAN) oder einer anderen Verbindungstechnologie an den Server 31 gesendet. Der Server 31 weist typischerweise eine vollständige Bilddatenbank 33 mit hochauflösenden Bildern des Sortiments der Produkte des Einzelhandels auf. Auf dem Server wird dann eine Suche anhand der hochauflösenden Bilder durchgeführt. Wenn auch diese fehlschlägt, wird der Vorgang an einen menschlichen Bediener übertragen. Die sich daraus ergebenden Möglichkeiten werden weiter oben und unten beschrieben, in der Regel kann der Bediener das Problem an seinem eigenen Computer lösen, nur als letztes Mittel kann er mit dem problematischen, nicht identifizierten Produkt in den Einkaufswagen gehen.
Für Produkte, die durch die Berechnung des Gewichts einer vom Kunden entnommenen Menge verkauft werden, z. B. lose in Kisten geliefertes Obst und Gemüse, kann eine Wiegevorrichtung am Einkaufswagen vorgesehen werden. Dabei kann es sich um eine typische kleine Waage handeln, die in etwa dem Typ entspricht, der beim Kochen zu Hause verwendet wird. Sie kann z. B. am oberen Rand des Wagens befestigt werden. Die Waage kann auch mit einem Haken versehen sein, an dem eine Plastiktüte mit den Waren zum Wiegen aufgehängt wird, wobei der Kunde auf dem Display des Computers zwischen verschiedenen Artikeln wählen kann, so dass der Preis vom Computer anhand der von der Waage gelieferten Gewichtsdaten festgestellt werden kann. Denkbar wäre auch, den Kunden die Ware auf einer stationären Waage wiegen zu lassen, die dann ein Klebeetikett mit einem Strichcode oder einem anderen maschinenlesbaren Code ausdruckt, das der Kunde auf die Plastiktüte mit dem Gemüse/Obst kleben kann und das von der Software des Computers gelesen werden kann.
Der Identifizierungsprozess kann weiterhin aufweisend sein, Informationen über den Standort des Einkaufswagens 1 im Einzelhandel zu erhalten, wobei Hardware wie weiter oben beschrieben verwendet wird. In der Datenbank können dann Informationen über den typischen Lagerort von Produkten in der Umgebung des Einzelhandels in Verbindung mit dem aktuellen Standort des Einkaufswagens verwendet werden, um eine limitierte Auswahl von Produkten aus der Datenbank zu bestimmen, mit der ein neu in den Einkaufswagen eingefügtes Produkt in einem ersten Ansatz verglichen wird.
Zusätzlich kann die Datenbank Informationen darüber enthalten, welche Produkte an den jeweiligen Standorten häufig von Kunden in den Warenkorb gelegt werden, die dann in Verbindung mit dem aktuellen Standort des Warenkorbs verwendet werden, um eine begrenzte Auswahl von Produkten aus der Datenbank zu bestimmen, mit der ein neu in den Warenkorb gelegtes Produkt von der Software in einem ersten Ansatz verglichen wird. Während ersteres auf dem durchschnittlichen Kunden basiert, kann der Computer auch Daten in einer Datenbank in seinem Speicher über frühere Einkaufsaktivitäten des aktuellen Kunden aufweisen, der bei dem Computer 20 angemeldet ist. So kann der Computer dem Kunden z. B. auf dem Bildschirm des Computers 20 anzeigen, dass er an der aktuellen Stelle im Geschäft bereits ein bestimmtes Produkt in den Einkaufswagen 1 gelegt hat. Diese Information kann auch einen Hinweis darauf enthalten, dass ein zuvor gekauftes Produkt im Preis reduziert wurde oder dass es ein Sonderangebot zu diesem Produkt gibt. Auch die zuvor gekaufte Nummer des jeweiligen Produkts kann angegeben werden. Es versteht sich, dass die Standortdaten des Warenkorbs in Verbindung mit Informationen über die Einkaufsgewohnheiten des Kunden für eine Vielzahl von Marketinginstrumenten im Einkaufsprozess verwendet werden können. So kann der Computer z.B. anzeigen, dass der Kunde ein bestimmtes Produkt - z.B. eine bestimmte Nudelsoße - in Verbindung mit der Wahl eines anderen Produktes, das er gerade in den Warenkorb gelegt hat, z.B. Spaghetti, gekauft hat. Wenn der Kunde zustimmt, indem er z. B. auf einem Touchscreen des Computers 20 auf „ok“ klickt, kann er auch durch eine auf dem Computerbildschirm angezeigte Karte des Ladens zu dem spezifischen Produktstandort geführt werden. D.h. der Computer zeigt in der Regel an, welche(s) weitere(s) Produkt(e) gekauft werden könnte(n) bzw. zur aktuellen, vom Kunden eingegebenen Einkaufsliste hinzugefügt werden könnte(n) - was, wenn die Empfehlungen zumindest in einer Reihe von Fällen zu den Bedürfnissen des Kunden passen, einen erheblichen Vorteil für den Händler darstellen kann, indem er den Kunden emotional an sein Geschäft bindet und auch den Verkauf fördert.
Ein weiterer Mechanismus ist der oben beschriebene Empfehlungsmechanismus in Verbindung mit einer anderen Datenbank als derjenigen, die vom Einzelhandel betrieben wird. Beispielsweise kann der Computer 20 mittels WIFI (WLAN) über den Server 31 mit dem Internet und mit großen Datenbanken zum Kundenverhalten verbunden sein, wie die Bonussysteme, die von Gemeinschaftsorganisationen großer Einzelhandelsunternehmen betrieben werden. Die kundenspezifischen Daten, wenn sie in einer solchen Datenbank vorhanden sind, öffnen eine Vielzahl von Möglichkeiten für Empfehlungen, die auf den individuellen Einkaufsgewohnheiten basieren, ähnlich dem oben beschriebenen Empfehlungsprozess.
Die Standortdaten können auch verwendet werden, um den Kunden auf der Grundlage einer von ihm in das System eingegebenen Einkaufsliste auf einem optimierten Weg durch den Einzelhandel zu führen. Der Computer 20 kann auch so angepasst werden, dass er Sonderangebote anzeigt, dem Kunden Produkte basierend auf seinem bisherigen Einkaufsverhalten empfiehlt und dergleichen mehr. Er kann auch verwendet werden, um den Kunden zu führen, wenn er ein bestimmtes Produkt sucht. Auch können frühere Einkaufslisten angezeigt werden, und das Delta zur aktuellen, vom Kunden eingegebenen Liste kann berechnet und angezeigt werden. Die Produkte, die sich bereits im Warenkorb 1 befinden, können in einer Liste auf dem Computer angezeigt werden, und der aktuell zu zahlende Betrag kann angezeigt werden. Wenn die Identifizierung eines Produkts fehlschlägt, kann der Computer 20 drahtlos ein Signal an das Personal des Geschäfts senden. Um das fehlgeschlagene Produkt zu identifizieren, kann eine Augmented-Reality-Ansicht des Einkaufswagens auf dem Computer angezeigt werden, und das entsprechende Produkt 50, 51, 52 kann darauf farblich markiert werden oder ähnliches. Das Personal kann dann den Produktcode manuell eingeben oder eine Barcode-Scanner Vorrichtung verwenden. Anschließend kann ein optisches Signal wie eine blinkende LED auf dem Einkaufswagen erscheinen, um dem Personal anzuzeigen, wo ein Fehler aufgetreten ist. Das Personal kann dann auch ein Video von etwa 5 bis 20 Sekunden Länge auf dem Bildschirm des Computers 20 betrachten, das die Ereignisse vor und nach dem Auftreten des Fehlers bei der Produktidentifizierung zeigt, der sich typischerweise um das Hinzufügen eines Produkts zum Einkaufswagen dreht. Das Personal kann dann den Produktcode manuell eingeben oder den Barcode-Scanner o.ä. verwenden. Alternativ kann der Fehler vom Computer 20 des Einkaufswagens 1 an eine Kontrollperson in einem Back-Office gemeldet werden, die die zuvor beschriebenen Aktivitäten auf einem Bildschirm ihres eigenen PCs durchführen kann. Er kann sich z. B. aus der Ferne in den Computer 20 des jeweiligen problemverursachenden Einkaufswagens 1 einloggen, das Video ansehen und manuell eingreifen, indem er das Produkt im Video selbst identifiziert und eine Produktnummer in seinen eigenen Computer eingibt, oder indem er zum Kunden geht und das Problem am Computer des Einkaufswagens löst. Dies kann sogar ohne jegliche Interaktion mit dem Kunden geschehen.
In den oben beschriebenen Ausführungsformen sind die optische(n) Kamera(s), die Infrarotkamera, der/die Bewegungssensor(en) und die Vorrichtung zum Scannen von Barcodes am Einkaufswagen oder am Einkaufswagen angebracht. Auch der Computer, wie z.B. ein Tablet-Computer oder allgemein ein typischer Einplatinencomputer (SBC), ist am Einkaufswagen angebracht, während ein Server mit der vollständigen Bilddatenbank typischerweise in einem Backoffice oder dergleichen bereitgestellt wird. In anderen Ausführungsformen, wie sie in 2 schematisch dargestellt sind und die mit anderen hierin beschriebenen Ausführungsformen kombiniert werden können, wird eine Vielzahl von optischen Kameras 15 und/oder eine Vielzahl von Infrarotkameras 35 (beide nur beispielhaft und schematisch in 2 dargestellt) stationär in der Umgebung des Einzelhandels montiert, zum Beispiel an einer Decke 70 und/oder an Wänden und/oder Säulen. Der Computer an jedem Einkaufswagen kann in diesem Fall durch einen zentralen Computer oder Server 31 im Backoffice 60 ersetzt werden, der Computer am Einkaufswagen kann aber auch zur Interaktion mit dem Kunden, z.B. über seine Einkaufsliste und die im Wagen befindlichen Artikel, genutzt werden und somit wie in 1 am Wagen betriebsbereit angeschlossen sein. In der Ausführungsform sind die optischen Kameras und die Infrarotkameras über die Fläche des Einzelhandels verteilt, so dass sich ein Einkaufswagen typischerweise im Blickfeld mindestens einer optischen Kamera, vorzugsweise von zwei oder mehr optischen Kameras, befindet, unabhängig von der Position des Wagens im Einzelhandelsumfeld. Alternativ können die optischen Kameras stationär sein, während die Infrarotkameras an den Einkaufswagen angebracht sind, oder umgekehrt. Es versteht sich, dass der Fachmann eine Reihe von Variationen der beschriebenen Ausführungsformen ableiten kann, insbesondere im Hinblick auf Variationen der Platzierung der verschiedenen Kameras, die als in den Anwendungsbereich dieser Offenbarung fallend betrachtet werden.
Das Verfahren zur Erkennung von Produkten ist, abgesehen von den oben genannten Unterschieden bei der Anordnung und Position der Komponenten des Erkennungssystems, im Wesentlichen dasselbe wie in den vorherigen Ausführungsformen. Im Unterschied dazu können die Produkte bereits bei der Entnahme aus dem Regal von den stationären optischen Kameras überwacht werden, wobei der Standort im Regal in Verbindung mit zuvor empfangenen Daten - oder Daten, die in einem Standortteil der Datenbank im Server gespeichert sind - dazu verwendet werden kann, den Bereich der Produkte einzugrenzen, mit denen das ausgewählte Produkt im Bilderkennungsprozess verglichen werden muss. Es versteht sich von selbst, dass der Fachmann in der Lage ist, aus den beschriebenen Ausführungsformen weiterhin Variationen abzuleiten, die als im Rahmen dieser Offenbarung liegend angesehen werden.
3 zeigt ein Verfahren 100 zur Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung gemäß Ausführungsformen. Das Verfahren weist Folgendes auf: Bereitstellen eines Systems, wie es in 1 oder 2 in einem Block 110; Bereitstellen einer Datenbank mit produktspezifischen Signaturdaten, die sich auf Produkte des Sortiments von Produkten in der Einzelhandelsumgebung beziehen, in einem Block 120; Überwachen des Einkaufswagens mit einer optischen Kamera und optional einem Bewegungssensor in einem Block 130; Identifizieren von Produkten in dem Einkaufswagen durch eine Bilderkennungssoftware, die angepasst ist, um zwischen verschiedenen Produkten in dem Einkaufswagen zu unterscheiden, indem eine Bildfläche identifiziert und einem Produkt zugeordnet wird, und Berechnen von Signaturdaten aus den optischen Daten der zugeordneten Bildfläche in einem Block 140; Vergleichen der berechneten Signaturdaten mit Signaturdaten in der Datenbank in einem Block 150; und Verwenden mindestens einer Hilfsinformation von mindestens einer weiteren Vorrichtung zur Verbesserung der Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten in der Datenbank in einem Block 160.
In Ausführungsformen kann es auch ein Verfahren zur Altersverifikation geben, das einen ersten Ansatz liefert, wenn ein Minderjähriger Waren kaufen will, zu denen er nicht berechtigt ist. Dies gilt insbesondere für Alkohol und Tabakwaren, aber je nach nationaler oder staatlicher Gesetzgebung können auch andere Produkte betroffen sein. Dabei nimmt eine optische Kamera 15 (wie in 2) von jedem Kunden - oder nur bei Bedarf - ein Bild auf, aus dem durch eine Analyse der Bilddaten durch die Software seine Größe geschätzt wird. Dies kann typischerweise, muss aber nicht, in einem zentralen Rechner wie dem Server 31 erfolgen. Liegen bestimmte Werte - zu denen z.B. auch der Körperumriss und damit das geschätzte Gewicht der Person gehören kann - unter einem bestimmten Schwellenwert, wird davon ausgegangen, dass die Person minderjährig sein könnte. Legt diese Person also einen verbotenen Gegenstand wie ein alkoholisches Getränk in den Einkaufswagen, kann ein Signal an das Personal ergehen, manuell einzugreifen, oder ähnliche Maßnahmen, die auch vollautomatisch ablaufen können. Auch kann das Bild der Person erst aufgenommen werden, wenn ein potenziell verbotener Artikel in den Wagen gelegt und erkannt wurde, was einem strengeren Ansatz in Bezug auf Datenschutz und Privatsphäre entspricht.
In Ausführungsformen weist die mindestens weitere Vorrichtung zusätzlich zu der optischen Kamera mindestens eine Barcode-Scanner-Vorrichtung oder einen Bewegungssensor auf.
Weiterhin kann die mindestens eine weitere Vorrichtung einen Sensor aufweisen, um Informationen über den Standort des Einkaufswagens im Einzelhandel zu erhalten.
Die Datenbank in dem Computer des Einkaufswagens kann in Ausführungsformen Informationen über den Lagerort von Produkten in der Einkaufsumgebung aufweisen. Dies kann in Verbindung mit dem aktuellen Standort des Einkaufswagens genutzt werden, um eine limitierte Auswahl von Produkten aus der Datenbank zu bestimmen, mit der ein neu in den Einkaufswagen eingefügtes Produkt von der Software in einem ersten Ansatz eines Identifikationsprozesses verglichen wird. Weiterhin kann die Datenbank Informationen aufweisen, die für eine Anzahl von Standorten im Einzelhandel angeben, welche Produkte an den jeweiligen Standorten häufig in den Warenkorb gelegt werden, was in Verbindung mit dem aktuellen Standort des Warenkorbs verwendet wird, um eine begrenzte Auswahl von Produkten aus der Datenbank zu bestimmen, mit der ein neu in den Warenkorb gelegtes Produkt von der Software beispielsweise in einem ersten Ansatz eines Identifikationsprozesses verglichen wird.
Die Datenbank kann weiterhin auch Informationen über die Farben eines Produktes bzw. die Farbpalette aufweisen, die aus optischen Bildern des Produktes durch Reduktion der Bildinformationen mittels eines Algorithmus abgeleitet werden. Dieser Prozess kann eine Rasterung der Bilder aufweisen, eine Reduzierung der Auflösung der Rasterung, die Berechnung von charakteristischen Farbsignaturen oder Farbtabellen für ein Produkt und/oder für verschiedene Seiten eines Produkts.
In Ausführungsformen kann das System derart konfiguriert sein, dass es erkennt, dass ein Produkt neu in den Einkaufswagen gelegt und anschließend wieder aus dem Einkaufswagen entfernt wird.
4 zeigt einen Einkaufswagen 1, wie er in Ausführungsformen verwendet wird, wobei der Einkaufswagen 1 mindestens ein zusätzliches Fach aufweist. Das Fach ist typischerweise als eine Tasche 101 ausgeführt. Die Tasche 101 oder mehrere solcher Taschen sind beispielsweise an einem oberen Rand des Einkaufswagens befestigt. Die Tasche 101 weist einen Behälterkörper 102 auf, der typischerweise aus flexiblem Material, wie z.B. (synthetischem) Gewebe oder dergleichen, hergestellt ist und eine Öffnung oder einen Einlass 103 aufweist. Er kann Griffelemente 104 an einander gegenüberliegenden Kanten aufweisen. Die Griffelemente 104 haben eine längliche Stange 108, von der ein Griff 106 nach oben ragt, und seitlich einen Flügel 107, der den Rand (oberen Rand) des Wagens 101 überspannen kann. Der Flügel fungiert somit als Aufhängungselement für die Tasche 101. Optional können an den Griffelementen 104 Verschlussmittel vorgesehen sein, die z.B. durch hakenförmige Abschnitte (nicht dargestellt) gebildet werden, die an den Griffelementen 104 ausgebildet sind. Es ist auch möglich, Knöpfe, einen Reißverschluss oder ein anderes Element vorzusehen, das eine lösbare Verbindung ermöglicht. Einmal vom Wagen abgenommen, kann die Tasche leicht geschlossen werden, indem man das Vorhandensein des hakenähnlichen Elements am Griff nutzt, das in einen Sitz (nicht gezeigt) am gegenüberliegenden Griff passt. Die Kameras usw. aus 1 sind in den 4, 5 und 6 nur zur Veranschaulichung nicht dargestellt.
Die Tasche 101 dient zum einen dazu, dass der Kunde nach dem Bezahlen an der Kasse - wie oben beschrieben - die Tasche(n) aus dem Einkaufswagen 1 herausnehmen kann, wodurch das sonst übliche Umladen der gekauften Artikel in eigene Taschen entfällt. Außerdem kann der Kunde den Einkaufswagen zum Parkplatz rollen und die Taschen bequem herausnehmen und in sein parkendes Auto laden.
In den in 5 gezeigten Ausführungsformen dient die Tasche 101 einem weiteren Zweck. Dabei wird die Tasche von mindestens einem Gewichtssensor 100 getragen. Typischerweise wird sie von mindestens zwei Gewichtssensoren 100, 110 getragen, die in der Nähe oder direkt an einem oberen Rand des Einkaufswagens 1 angebracht sind. Der/die Sensor(en) kann/können z. B. am oberen Rand des Metallrahmens des Einkaufswagens angebracht sein. Da die Tasche an den mindestens zwei Sensoren 100, 110, die mit dem Computer 20 verbunden sind, vollständig abgestützt ist, kann das Gewicht der Tasche kontinuierlich überwacht werden. Wenn also das Hinzufügen eines Artikels zum Einkaufswagen durch den Computer 20, beispielsweise mittels der optischen Kamera 15, registriert wird, kann das Gewicht des Artikels durch einen Vergleich vorher und nachher festgestellt werden. Die Daten über das Gewicht können vom Computer 20 als zusätzlicher Parameter für den Produktidentifizierungsprozess verwendet werden, da das Gewicht eine große Bedeutung für die Unterscheidung zwischen Produkten hat, die z.B. einige optische Merkmale gemeinsam haben und daher mit dem herkömmlichen, auf Optik basierenden Verfahren, wie weiterhin oben beschrieben, schwer zu erkennen sind. Daher kann die allgemeine Identifizierungsgenauigkeit weiterhin durch die Verwendung des Gewichts als weiteren Parameter verbessert werden. Daher kann dies als ein Verfahrensschritt zu dem in 3 dargestellten Verfahren hinzugefügt werden. Es versteht sich, dass der Beutel 101 in Ausführungsformen auch eine starre Struktur haben kann, also ein Kasten sein kann, aber nahezu die gleichen Abmessungen und Eigenschaften wie oben hat.
Um die Beutel vollständig geöffnet zu halten, so dass sie einen maximalen Blickwinkel für die optische Kamera 15 von oben auf die Produkte in den Beuteln erlauben, können Magnete 120, 130 optional in der Nähe der unteren Ecken (z.B. an den vier unteren Ecken) oder Kanten der Beutel eingesetzt werden, wie in 4 gezeigt. Die Magnete können magnetisch an Gegenstücken 121, 131 angebracht sein, die ein ferromagnetisches Material aufweisen und an den inneren Seitenwänden - oder dem Boden - des Einkaufswagens 1 befestigt sind. Auf diese Weise wird sichergestellt, dass die Tasche 101, die typischerweise eine nahezu kubische Form mit einer offenen Oberseite hat, jederzeit maximal gedehnt wird und nicht bröckelt oder faltet, was die Sicht der optischen Kamera auf zumindest einige Gegenstände in der Tasche behindern könnte.
Es versteht sich von selbst, dass der Fachmann weiterhin Möglichkeiten findet, einen Einkaufswagen mit einer Gewichtungsfunktion für eine Tasche zu realisieren, die als unter die vorliegende Offenbarung fallend angesehen werden.
In weiteren Ausführungsformen weist die Tasche 101 ein Netz aus dünnen Drähten auf, die beispielsweise in den Stoff eingewebt sind. Die Drähte sind mit einer Batterie verbunden, die sich zum Beispiel im Boden des Einkaufswagens 1 befindet. Mittels Kontakten, die z.B. in den oben beschriebenen Gewichtssensoren 100, 110 integriert sein können, wird das Drahtgeflecht mit Strom beaufschlagt und erwärmt sich leicht. Dabei wird der Widerstand der Drähte und der Batterie so angepasst, dass sich die Drähte um einige Grad über der Umgebungstemperatur erwärmen können, zum Beispiel von 5 Grad bis 25 Grad, typischerweise von 7 Grad bis 15 Grad. Wenn die Infrarotkamera die Tasche 101 im Einkaufswagen 1 überwacht, wird sie die erwärmten Drähte deutlich erkennen, und jedes Produkt, das in die Tasche 101 gelegt wird, wird einen Teil des Drahtnetzes verdecken. Dies kann vom Computer 20 als zusätzliche Information zur Produktidentifikation genutzt werden. Besonders kalte Produkte aus einem Kühlschrank erzeugen dann eine deutliche Veränderung des von der Infrarotkamera gelieferten Bildes.
In weiteren Ausführungsformen, die in 6 dargestellt sind, kann der Boden des Einkaufswagens mit einer druckempfindlichen Sensorplatte 150 ausgestattet sein. Die Sensorplatte oder die einzelnen Sensoren, die als Sensorplatte angeordnet sind, sind mit dem Computer 20 verbunden. Durch Überprüfung des Signals der verschiedenen Drucksensoren, die beispielsweise in einer Matrix mit 4 x 6 bis zu 30 x 50 Sensoren 151 angeordnet sein können, die typischerweise den gesamten Boden des Wagens abdeckt, kann festgestellt werden, wo ein neu hinzugefügtes Produkt in den Einkaufswagen gelegt wurde. Weiterhin kann aus der quantitativen Auswertung der Sensorsignale das tatsächliche Gewicht eines gerade hinzugefügten Produktes abgeleitet werden. Auf diese Weise kann nacheinander das Gewicht jedes hinzugefügten Produkts ermittelt werden. Die Gewichtsinformation kann somit als zusätzliche Unterscheidungsinformation im Produktidentifikationsprozess verwendet werden.
Obwohl spezifische Merkmale verschiedener Ausführungsformen der Erfindung in einigen Zeichnungen gezeigt werden können und in anderen nicht, dient dies nur der Übersichtlichkeit. Gemäß den Grundsätzen der Erfindung kann auf jedes Merkmal einer Zeichnung Bezug genommen werden und/oder es kann in Kombination mit jedem Merkmal einer anderen Zeichnung beansprucht werden.
Die vorliegende Erfindung ist in Bezug auf bestimmte Ausführungsformen beschrieben worden, die in jeder Hinsicht eher illustrativ als einschränkend sein sollen. Alternative Ausführungsformen werden für den Fachmann auf dem Gebiet der vorliegenden Erfindung ohne Abweichung von ihrem Anwendungsbereich offensichtlich werden. Aus dem Vorstehenden wird ersichtlich, dass diese Erfindung gut angepasst ist, um alle oben festgelegten Ziele und Zwecke zu erreichen, zusammen mit anderen Vorteilen, die offensichtlich und inhärent zu den Verfahren sind. Es versteht sich, dass bestimmte Merkmale und Unterkombinationen von Nutzen sind und ohne Bezugnahme auf andere Merkmale und Unterkombinationen verwendet werden können. Dies ist in den Ansprüchen vorgesehen und fällt in deren Anwendungsbereich.

Claims

System zur Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung, umfassend: - einen Computer, der eine Datenbank mit produktspezifischen Daten umfasst, die sich auf Produkte aus einem Sortiment von Produkten in einer Einzelhandelsumgebung beziehen; - mindestens eine optische Kamera, die betriebsfähig mit dem Computer verbunden ist, zur Überwachung des Einkaufswagens, wobei die mindestens eine optische Kamera vorzugsweise an dem Einkaufswagen angebracht ist; - eine in einem Speicher des Computers gespeicherte Software zum Identifizieren von Produkten in dem Einkaufswagen, die eine Bilderkennungssoftware aufweist, die dazu geeignet ist, eine Bildfläche zu identifizieren und sie einem Produkt zuzuordnen, und Signaturdaten aus den optischen Daten der zugeordneten Bildfläche zu berechnen; wobei die produktspezifischen Daten in der Datenbank Signaturdaten aufweisen, die von zuvor erhaltenen optischen Bildern des Produktsortiments abgeleitet sind, und wobei die Software so angepasst ist, dass sie ein Produkt in dem Einkaufswagen identifiziert, indem sie berechnete Signaturdaten des Produkts in dem Einkaufswagen mit Signaturdaten in der Datenbank vergleicht, wobei die Software so angepasst ist, dass sie mindestens eine Zusatzinformation von mindestens einer weiteren Sensorvorrichtung verwendet, um die Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten im Einkaufswagen zu verbessern.
System nach Anspruch 1, wobei die mindestens eine weitere Sensorvorrichtung eine Infrarotkamera umfasst, um Infrarotbilder des Einkaufswagens zu erhalten, und wobei die Software so angepasst ist, dass sie temperaturbezogene Daten von Produkten im Einkaufswagen aus den Infrarotbildern berechnet.
System nach Anspruch 1 oder 2, wobei die Software so angepasst ist, dass sie erkennt, dass ein Produkt neu in den Einkaufswagen hinzugefügt oder aus dem Einkaufswagen entfernt wurde.
System nach einem der Ansprüche 1 bis 3, wobei die weitere Sensorvorrichtung, insbesondere eine Infrarotkamera, an mindestens einem von Folgendem angebracht ist: einem Einkaufswagen, einer Decke der Einzelhandelsumgebung, einer Wand der Einzelhandelsumgebung, oder einer Säule in der Einzelhandelsumgebung.
System nach Anspruch 4, wobei die Software angepasst ist, um mindestens eine Oberflächentemperatur eines Produkts aus einem Infrarotbild zu identifizieren, und die Temperatur als Zusatzinformation in Verbindung mit typischen Produkttemperaturen in der Einkaufsumgebung, die als Signaturdaten in der Datenbank gespeichert sind, im Erkennungsprozess zu verwenden, wobei die Software vorzugsweise so angepasst ist, dass sie Flächen mit variierender Temperatur auf einem Artikel erkennt, und erkennt, ob eine variierende Temperaturverteilung auf einen Temperaturabdruck von einer Hand eines Menschen zurückzuführen ist, und dass sie diese Information verwendet, um festzustellen, ob ein Produkt kürzlich in den Einkaufswagen gelegt wurde.
System nach einem der vorhergehenden Ansprüche, wobei der Einkaufswagen ein Fach mit der Funktion einer Waage aufweist, das vorzugsweise ein Beutel aus Textil ist, der vorzugsweise an Gewichtssensoren aufgehängt ist, die an dem Einkaufswagen angebracht sind, und wobei das System angepasst ist, um Gewichtsinformationen von hinzugefügten Waren für die Produktidentifikation zu verwenden, wobei der Textilkörper des Beutels vorzugsweise Magnete aufweist, die an ihm angebracht sind, so dass der Beutel in seinem vollen Volumen gehalten und vor dem Zusammenfallen bewahrt wird, wenn die Magnete an Gegenstücken angebracht sind, die an dem Einkaufswagen angebracht sind.
System nach einem der vorhergehenden Ansprüche, wobei der Einkaufswagen eine druckempfindliche Sensorplatte umfasst, und wobei die Sensordaten von der Sensorplatte in dem Produktidentifikationsprozess verwendet werden.
System nach einem der vorhergehenden Ansprüche, wobei das System für die Identifizierung von Produkten in einem Einkaufswagen in einer Einzelhandelsumgebung gemäß einem Verfahren eingerichtet ist, welches umfasst: - Bereitstellen einer Datenbank mit produktspezifischen Signaturdaten, die sich auf die Produkte des Warensortiments in der Einzelhandelsumgebung beziehen (110); - Überwachen des Einkaufswagens mit einer am Einkaufswagen angebrachten optischen Kamera und optional einem Bewegungssensor (120); - Identifizieren von Produkten in dem Einkaufswagen durch eine Bilderkennungssoftware, die angepasst ist, um zwischen verschiedenen Produkten in dem Einkaufswagen zu unterscheiden, indem eine Bildfläche identifiziert und einem Produkt zugeordnet wird, und um Signaturdaten aus den optischen Daten der zugeordneten Bildfläche (130) zu berechnen; - Vergleichen der berechneten Signaturdaten mit Signaturdaten in der Datenbank (140); - Verwenden von mindestens einer Zusatzinformation von mindestens einer weiteren Sensorvorrichtung zur Verbesserung der Genauigkeit und/oder Geschwindigkeit der Identifizierung von Produkten in der Datenbank (140).
System nach Anspruch 8, wobei das Verfahren ferner mindestens eins von (A) bis (C) umfasst: (A): Identifizieren eines Barcodes in der Bildfläche, der einem Produkt zugeordnet ist, entweder mittels Durchführung einer Bilderkennung auf der Bildfläche oder durch Verwendung einer Barcode-Scanner Vorrichtung: (B): Identifizieren, wenn ein Produkt dem Einkaufswagen hinzugefügt wird, des Gewichts des Produkts durch Verwendung einer Sensorplatte, oder durch Verwendung von Gewichtssensoren, an denen eine Tasche im Einkaufswagen aufgehängt ist; (C): Durchführen einer OCR an der einem Produkt zugeordneten Bildfläche, um Signaturdaten zu erhalten, die Textinformationen umfassen.
System nach einem der vorhergehenden Ansprüche, wobei die produktspezifischen Signaturdaten in der Datenbank mindestens eines der folgenden Merkmale a. bis e. umfassen: a. optische Kamerabilder der Produkte; b. Signaturdaten, die aus optischen Kamerabildern des Produkts erhalten werden; c. Daten über typische Oberflächentemperaturen der Produkte; d. Gewichtsdaten der Produkte; e. Daten über die radioaktive Strahlung eines Produkts; und/oder wobei die produktspezifischen Signaturdaten mindestens eines von a. bis j. umfassen: a. Textphrasen auf der Außenseite des Produkts, die vorzugsweise bestimmten Seitenflächen des Produkts zugeordnet sind, optional mit zugeordneten jeweiligen Schriftgrößen; b. einen Wert, der das Volumen eines Produkts angibt; c. ein Wert über mindestens eine äußere Abmessung eines Produkts; d. einen Wert, der für die geometrische Form eines Produkts repräsentativ ist; e. einen Wert, der für die geometrischen Verhältnisse eines Produkts repräsentativ ist, vorzugsweise ein Verhältnis zwischen mindestens zwei von Breite, Höhe und Länge; f. ein Satz von mindestens zwei Werten, die sich auf die Farben eines Produkts beziehen, g. eine Reihe von Werten, die sich auf die Fläche beziehen, die mindestens eine bestimmte Farbe in einem Produkt einnimmt, h. den prozentualen Anteil, den Flächen mit einer bestimmten Farbe in Bezug auf mindestens eine Seite der Außenfläche des Produkts einnehmen; i. Daten zu der Farbe, die den größten Anteil, optional den zweitgrößten Anteil usw. an mindestens einer Seite der Außenfläche des Produkts einnimmt; j. einen Wert für das Gewicht eines Produkts.