DE202018000407U1

DE202018000407U1 - Vorrichtung zum Aktualisieren von Gesichtserkennungsvorlagen

Info

Publication number: DE202018000407U1
Application number: DE202018000407.3U
Authority: DE
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2018-01-26
Filing date: 2018-01-26
Publication date: 2018-05-04
Anticipated expiration: 2028-01-27

Abstract

Vorrichtung, umfassend:eine Kamera;mindestens einen Illuminator, der eine Infrarotbeleuchtung bereitstellt;Schaltungen, die mit der Kamera und dem Illuminator gekoppelt sind, wobei die Schaltungen konfiguriert sind zum:Erhalten eines ersten Bildes eines Gesichts eines Benutzers unter Verwendung einer Kamera, die auf einer Vorrichtung angeordnet ist, wobei die Vorrichtung einen Computerprozessor und einen Speicher umfasst;Kodieren des ersten Bildes, um mindestens einen ersten Merkmalsvektor zu erzeugen, wobei der erste Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem ersten Bild darstellt;Vergleichen des ersten Merkmalsvektors mit einem oder mit mehreren Referenzvorlagen, die in einem ersten Raum in dem Speicher der Vorrichtung gespeichert sind, um ein erstes Übereinstimmungsergebnis zu erhalten;Speichern des ersten Merkmalsvektors als eine temporäre Vorlage in einem zweiten Raum in dem Speicher der Vorrichtung, wenn das erste Übereinstimmungsergebnis über einem ersten Schwellwert liegt;Erhalten eines zweiten Bildes des Gesichts des Benutzers unter Verwendung der Kamera;Kodieren des zweiten Bildes, um mindestens einen zweiten Merkmalsvektor zu erzeugen, wobei der zweite Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem zweiten Bild darstellt;Vergleichen des zweiten Merkmalsvektors mit der temporären Vorlage, die in dem zweiten Raum gespeichert ist, um ein zweites Übereinstimmungsergebnis zu erhalten;Bewerten eines Vertrauensergebnisses für die temporäre Vorlage durch Bewerten, ob das zweite Übereinstimmungsergebnis über einem zweiten Schwellwert liegt; undHinzufügen der temporären Vorlage zu den Referenzvorlagen, wenn das bewertete Vertrauensergebnis über einem ausgewählten Vertrauensergebnis liegt.

Description

HINTERGRUND
Technisches Gebiet
Hierin beschriebene Ausführungsformen beziehen sich auf Systeme zur Gesichtsdetektion und -erkennung in Bildern, die durch eine Kamera in einer Vorrichtung erfasst werden.
Beschreibung des verwandten Standes der Technik
Vorrichtungen, die zur Durchführung von biometrischen Authentifizierungsverfahren konfiguriert sind, werden häufiger verwendet, um Benutzern den Zugriff auf die Vorrichtungen zu ermöglichen, ohne dass eine Passwort- oder Kennwortauthentifizierung erforderlich ist. Ein Beispiel für eine Vorrichtung, die zur Durchführung von biometrisches Authentifizierungsverfahren konfiguriert ist, ist eine Vorrichtungen, die zur Durchführung Fingerabdruckauthentifizierung unter Verwendung eines Fingerabdrucksensors konfiguriert ist. Die Gesichtserkennung ist ein weiteres biometrisches Verfahren, das zur Authentifizierung eines autorisierten Benutzers einer Vorrichtung verwendet werden kann. Vorrichtungen, die zur Durchführung von Gesichtserkennungsverfahren konfiguriert sind, werden im Allgemeinen verwendet, um Individuen in einem Bild zu identifizieren und / oder um Individuen in Bildern mit einer Datenbank von Individuen zu vergleichen, um die Gesichter von Individuen miteinander zu vergleichen.
Zur Authentifizierung unter Verwendung von Gesichtserkennung ringt das Gesichtserkennungssystem im Allgemeinen damit, sich an Änderungen der Gesichtsmerkmale des autorisierten Benutzers mit der Zeit anzupassen, so dass der Benutzer unter Verwendung der Gesichtserkennung weiterhin auf die Vorrichtung zugreifen kann, selbst wenn Gesichtsmerkmale des Benutzers sich ändern und Unterschiede in den Bildern des Benutzers erzeugen. Zum Beispiel können sich die Gesichtsmerkmale des Benutzers im Laufe der Zeit aufgrund von Gesichtshaarveränderungen, Haarschnitten, Zunehmen / Abnehmen und / oder Altern verändern. Das Gesichtserkennungssystem muss jedoch sicher bleiben. Somit werden Anforderungen welche das Bedürfnis nach einer Anpassung an die Änderungen, während gleichzeitig sichergestellt wird, dass die Unterschiede als Änderungen am Benutzer erkannt werden, und nicht als Unterschiede zwischen dem Benutzer und einer anderen Person, um unerwünschten Zugriff auf die Vorrichtung zu verhindern, ausgleichen, im Allgemeinen eine Anpassung ausschließen.
ZUSAMMENFASSUNG
Vorlagen für die Gesichtserkennung können aus Anmeldungsbildern des Benutzers erzeugt werden, die von einer Kamera erhalten werden, die mit einer Vorrichtung assoziiert ist. Bilder, die für eine Anmeldung verwendet werden sollen, können aus den Bildern ausgewählt werden, die von einer Vorrichtung während einer Anmeldung basierend auf bestimmten Akzeptanzkriterien (z. B. Pose ist korrekt, nicht viel Okklusion des Benutzers, Benutzer im Sichtfeld, Augen nicht geschlossen usw.) ausgewählt werden. Die ausgewählten Anmeldungsbilder können kodiert werden, um Vorlagen zu erzeugen, wobei die Vorlagen Merkmalsvektoren enthalten, um die Gesichtsmerkmale des Benutzers zu beschreiben.
Wenn der Benutzer versucht, unter Verwendung einer Gesichtserkennungsauthentifizierung Zugang zu der Vorrichtung zu erlangen, kann ein erfasstes Bild des Benutzers kodiert werden, um Merkmalsvektoren für ein „Entsperr“-Bild (z. B. ein zum Entsperren der Vorrichtung aufgenommenes Bild) zu erzeugen. Die Merkmalsvektoren für das Entsperrbild können mit den Vorlagen verglichen werden, um zu bestimmen, ob das Entsperrbild mit dem durch die Vorlagen dargestellten Benutzerbild übereinstimmt. Zum Beispiel kann ein Übereinstimmungsergebnis durch Vergleichen der Merkmalsvektoren, die von dem Entsperrbild erzeugt werden, mit den Merkmalsvektoren in den Vorlagen bewertet werden. Das Übereinstimmungsergebnis kann umso höher ausfallen je geringer ein Abstand zwischen den Merkmalsvektoren für das Entsperrbild und den Merkmalsvektoren in den Vorlagen im Merkmalsraum ist (zum Beispiel ist das Übereinstimmungsergebnis höher, wenn die Merkmalsvektoren ähnlicher sind). Wenn das Übereinstimmungsergebnis über einem Schwellwert liegt, ist die Vorrichtung entsperrt.
In bestimmten Ausführungsformen der Vorrichtung werden, wenn die Vorrichtung entsperrt ist, die Merkmalsvektoren des Entsperrbildes als eine temporäre Vorlage in einen zusätzlichen (z. B. Backup-) Speicherplatz der Vorrichtung hinzugefügt. In einigen Ausführungsformen der Vorrichtung wird die temporäre Vorlage nur hinzugefügt, wenn das Übereinstimmungsergebnis für das Entsperrbild über einem zweiten Schwellwert liegt, der über dem Entsperrschwellwert liegt (z. B. erfordert das Hinzufügen der temporären Vorlage eine bessere Übereinstimmung als das Entsperren der Vorrichtung).
Sobald die temporäre Vorlage im Speicherplatz gespeichert ist, kann sie mit zusätzlichen Entsperrbildern verglichen werden, die während eines versuchten Entsperrens der Vorrichtung erhalten wurden. Wenn die temporäre Vorlage damit fortfährt die zusätzlichen Entsperrversuchsbilder für eine bestimmte Anzahl oder einen bestimmten Prozentsatz von Entsperrversuchen anzupassen, kann die temporäre Vorlage, basierend auf dem Vertrauen in die temporäre Vorlage, zu den Vorlagen hinzugefügt werden (z. B. zum Vorlagenraum), die von den Anmeldungsbildern erstellt wurden.
Figurenliste
Merkmale und Vorteile der Vorrichtungen der Ausführungsformen, die in dieser Offenbarung beschrieben sind, werden unter Bezugnahme auf die folgende detaillierte Beschreibung von derzeit bevorzugten, aber nichtsdestoweniger veranschaulichenden Ausführungsformen in Übereinstimmung mit den in dieser Offenbarung beschriebenen Ausführungsformen in Verbindung mit den beigefügten Zeichnungen besser verständlich, in denen:

1 eine Darstellung einer Ausführungsform einer Vorrichtung mit einer Kamera zeigt.
2 eine Darstellung einer Ausführungsform einer Kamera zeigt.
3 eine Darstellung einer Ausführungsform eines Prozessors in einer Vorrichtung zeigt.
4 ein Flussdiagramm eines Bildanmeldungsverfahrens für einen autorisierten Benutzer einer Vorrichtung zeigt.
5 eine Darstellung einer Ausführungsform eines Merkmalsraums mit Merkmalsvektoren nach einem Anmeldungsverfahren zeigt.
6 eine Darstellung einer Ausführungsform eines Vorlagenraums eines Speichers zeigt.
7 ein Flussdiagramm eines Gesichtserkennungs-Authentifizierungsverfahrens zeigt.
8 ein Flussdiagramm eines Vorlagenaktualisierungsverfahrens zeigt.
9 eine Darstellung einer Ausführungsform eines Vorlagenraums, der als ein Merkmalsraum dargestellt ist, zeigt.
10 ein Flussdiagramm eines Vorlagenaktualisierungs-Subverfahrens zeigt.
11 ein Flussdiagramm eines Vorlagenaktualisierungsverfahrens zeigt.
12 eine Darstellung eines als Merkmalsraum dargestellten Vorlagenraums zeigt.
13 ein Blockdiagramm einer Ausführungsform eines beispielhaften Computersystems zeigt.
14 ein Blockdiagramm einer Ausführungsform eines computerzugänglichen Speichermediums zeigt.

Während Ausführungsformen der Vorrichtung, die in dieser Offenbarung beschrieben sind, für verschiedene Modifikationen und alternative Formen empfänglich sein können, sind spezifische Ausführungsformen davon beispielhaft in den Zeichnungen gezeigt und werden hierin im Detail beschrieben. Es versteht sich jedoch, dass die Zeichnungen und die detaillierte Beschreibung nicht dazu gedacht sind, die Ausführungsformen auf die bestimmte offenbarte Form zu beschränken, sondern dass im Gegenteil die Absicht besteht, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der beigefügten Ansprüche fallen. Die hier verwendeten Überschriften dienen nur organisatorischen Zwecken und sind nicht dazu gedacht, den Umfang der Beschreibung zu beschränken. Wie in der gesamten Anmeldung verwendet, wird das Wort „kann“ in einem permissiven Sinn verwendet (d. h. es bedeutet, dass ein Potenzial besteht) und nicht im zwingenden Sinn (d. h. mit der Bedeutung von müssen). In ähnlicher Weise bedeuten die Wörter „beinhalten“, „beinhaltend“ und „beinhaltet“, einschließlich, ohne darauf beschränkt zu sein.
Verschiedene Einheiten, Schaltungen oder andere Komponenten können als „konfiguriert“ beschrieben werden, um eine Aufgabe oder Aufgaben auszuführen. In solchen Kontexten ist „konfiguriert zum“ eine breite Rezitation einer Struktur, die allgemein bedeutet „mit einer Schaltung, welche“ die Aufgabe oder die Aufgaben während eines Betriebs ausführt. Somit kann die Einheit / Schaltung / Komponente so konfiguriert werden, dass sie die Aufgabe selbst dann ausführt, wenn die Einheit / Schaltung / Komponente gerade nicht eingeschaltet ist. Im Allgemeinen kann die Schaltung, welche die Struktur bildet, welche „konfiguriert zum“ entspricht, Hardwareschaltungen und / oder Speicher beinhalten, die Programmanweisungen speichern, die ausführbar sind, um die Operation zu implementieren. Der Speicher kann einen flüchtigen Speicher wie statischen oder dynamischen Speicher mit wahlweisem Zugriff und / oder nichtflüchtigen Speicher wie einen optischen oder magnetischen Plattenspeicher, Flash-Speicher, programmierbare Nur-Lese-Speicher usw. beinhalten. Die Hardware-Schaltungen können eine beliebige Kombination kombinatorischer Logikschaltungen, getaktete Speichervorrichtungen wie Flops, Register, Latches usw., endliche Zustandsmaschinen, Speicher wie statische Speicher mit wahlweisem Zugriff oder eingebettete dynamische Speicher mit wahlweisem Zugriff, kundenspezifisch ausgestaltete Schaltungen, programmierbare Logikarrays usw. umfassen. In ähnlicher Weise können verschiedene Einheiten / Schaltungen / Komponenten als eine Aufgabe oder Aufgaben ausführend beschrieben werden, um die Beschreibung zu vereinfachen. Solche Beschreibungen sollten so interpretiert werden, dass sie den Ausdruck „konfiguriert zum“ beinhalten. Das Rezitieren einer Einheit / Schaltung / Komponente, die zum Ausführen einer oder mehrerer Aufgaben konfiguriert ist, soll sich ausdrücklich nicht auf eine Interpretation nach 35 USC § 112 (f) für diese Einheit / Schaltung / Komponente beziehen.
In einer Ausführungsform der Vorrichtung können Hardwareschaltungen gemäß dieser Offenbarung implementiert werden, indem die Beschreibung der Schaltung in einer Hardwarebeschreibungssprache (hardware description language, HDL) wie Verilog oder VHDL kodiert wird. Die HDL-Beschreibung kann gegen eine Bibliothek von Zellen synthetisiert werden, die für eine gegebene Herstellungstechnologie für integrierte Schaltungen ausgelegt sind, und kann für Zeitpunkt, Leistung und andere Gründe modifiziert werden, um zu einer endgültigen Entwurfsdatenbank zu führen, die zum Erzeugen von Masken zu einer Gießerei übertragen werden kann um die integrierte Schaltung letztlich herstellen. Einige Hardwareschaltungen oder Teile davon können auch in einem schematischen Editor kundenspezifisch entworfen und zusammen mit synthetisierten Schaltungen in den Entwurf der integrierten Schaltung aufgenommen werden. Die integrierten Schaltungen können Transistoren enthalten und können ferner andere Schaltungselemente (z. B. passive Elemente wie Kondensatoren, Widerstände, Induktoren usw.) und eine Verbindung zwischen den Transistoren und Schaltungselementen umfassen. Einige Ausführungsformen der Vorrichtung können mehrere integrierte Schaltungen implementieren, die miteinander gekoppelt sind, um die Hardwareschaltungen zu implementieren, und / oder diskrete Elemente können in einigen Ausführungsformen der Vorrichtung verwendet werden.
Der Umfang der vorliegenden Offenbarung umfasst jedes Merkmal oder jede Kombination von Merkmalen, die hierin offenbart sind (entweder explizit oder implizit), oder irgendeine Verallgemeinerung davon, unabhängig davon, ob es einige oder alle der hier angesprochenen Probleme mildert oder nicht. Dementsprechend können neue Ansprüche während der Verfolgung dieser Anmeldung (oder einer Anmeldung, die Priorität dazu beansprucht) zu irgendeiner solchen Kombination von Merkmalen formuliert werden. Insbesondere können unter Bezugnahme auf die beigefügten Ansprüche Merkmale aus abhängigen Ansprüchen mit denen der unabhängigen Ansprüche kombiniert werden, und Merkmale aus jeweiligen unabhängigen Ansprüchen können auf jede geeignete Art und nicht nur in den spezifischen Kombinationen kombiniert werden, die in den beigefügten Ansprüchen aufgezählt sind.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Diese Spezifikation beinhaltet Verweise auf „eine Ausführungsform“. Das Auftreten der Ausdrücke „in einer Ausführungsform“ bezieht sich nicht notwendigerweise auf die gleiche Ausführungsform, obwohl im Allgemeinen Ausführungsformen in Betracht gezogen werden, die jede Kombination der Merkmale umfassen, sofern dies nicht ausdrücklich hierin ausgeschlossen wird. Bestimmte Merkmale, Strukturen oder Eigenschaften können auf jede geeignete Weise in Übereinstimmung mit dieser Offenbarung kombiniert werden.
Die vorliegende Offenbarung geht ferner davon aus, dass die Instanzen, die für die Sammlung, Analyse, Offenbarung, Übertragung, Speicherung oder andere Verwendung derartiger persönlicher Informationsdaten verantwortlich sind, gut etablierten Datenschutzrichtlinien und / oder Datenschutzpraktiken entsprechen. Insbesondere sollten solche Einheiten Datenschutzrichtlinien und -praktiken implementieren und konsistent verwenden, die allgemein anerkannt werden, dass sie die Anforderungen der Industrie oder der Behörden zur privaten und sicheren Pflege persönlicher Daten erfüllen oder übertreffen. Zum Beispiel sollten im Falle der Entsperrung und / oder Autorisierung von Vorrichtungen, die Gesichtserkennung verwenden, persönliche Informationen von Benutzern für legitime und vernünftige Verwendungen der Einheit gesammelt und nicht außerhalb dieser legitimen Verwendungen geteilt oder verkauft werden. Darüber hinaus sollte eine solche Sammlung erst nach Erhalt der Einwilligung der Nutzer erfolgen. Darüber hinaus würden diese Instanzen alle erforderlichen Schritte unternehmen, um den Zugang zu diesen personenbezogenen Daten zu sichern und abzusichern und um sicherzustellen, dass Andere mit Zugang zu den personenbezogenen Daten, ihre Datenschutzrichtlinien und -verfahren einhalten. Darüber hinaus können sich solche Instanzen einer Bewertung durch Dritte unterziehen, um ihre Einhaltung allgemein akzeptierter Datenschutzrichtlinien und - praktiken zu zertifizieren.
Trotz des Vorhergehenden betrachtet die vorliegende Offenbarung auch Ausführungsformen, in denen Benutzer die Verwendung von oder den Zugriff auf persönliche Informationsdaten selektiv blockieren. Das heißt, die vorliegende Offenbarung zieht in Betracht, dass Hardware- und / oder Softwareelemente bereitgestellt werden können, um den Zugriff auf solche persönlichen Informationsdaten zu verhindern oder zu blockieren. Zum Beispiel kann die vorliegende Technologie so konfiguriert werden, dass Benutzer während der Anmeldung für Dienste wählen können, ob sie an der Sammlung von persönlichen Informationsdaten „teilnehmen“ oder „nicht teilnehmen“ möchten.
1 zeigt eine Darstellung einer Ausführungsform einer Vorrichtung mit einer Kamera. In bestimmten Ausführungsformen umfasst die Vorrichtung 100 die Kamera 102, den Prozessor 104, den Speicher 106 und die Anzeige 108. Die Vorrichtung 100 kann eine kleine Computervorrichtung sein, die in einigen Fällen klein genug ist, um in der Hand gehalten zu werden (und daher auch allgemein als ein Handheld-Computer oder einfach als ein Handheld bekannt ist). In bestimmten Ausführungsformen ist die Vorrichtung 100 irgendeine Art von verschiedenen Arten von Computersystemvorrichtungen, die mobil oder tragbar sind und die drahtlose Kommunikation unter Verwendung von WLAN-Kommunikation (z. B. eine „mobile Vorrichtung“) durchführen. Beispiele für mobile Vorrichtungen sind Mobiltelefone oder Smartphones und Tablet-Computer. Verschiedene andere Arten von Geräten können in diese Kategorie fallen, wenn sie Drahtlos- oder HF-Kommunikationsfähigkeiten (z. B. WLAN, Mobilfunk und / oder Bluetooth) umfassen, wie etwa Laptop-Computer, tragbare Spielvorrichtungen, tragbare Internetvorrichtungen und andere tragbare Vorrichtungen, sowie tragbare Vorrichtungen wie Smart-Watches, Smart-Glasses, Kopfhörer, Anhänger, Ohrhörer usw. Im Allgemeinen kann der Ausdruck „mobile Vorrichtungen“ breit definiert werden, so dass er jede elektronische, Computer- und / oder Telekommunikationsvorrichtung (oder eine Kombination von Vorrichtungen) umfasst, die leicht von einem Benutzer transportiert werden und drahtlos kommunizieren kann, beispielsweise unter Verwendung von WLAN, Wi-Fi, Mobilfunk und / oder Bluetooth. In bestimmten Ausführungsformen umfasst die Vorrichtung 100 eine beliebige Vorrichtung, die von einem Benutzer mit dem Prozessor 104, dem Speicher 106 und der Anzeige 108 verwendet wird. Die Anzeige 108 kann beispielsweise ein LCD-Bildschirm oder eine Berührungsanzeige sein. In einigen Ausführungsformen, beinhaltet die Anzeige 108 eine Benutzereingabeschnittstelle für die Vorrichtung 100 (die Anzeige ermöglicht dem Benutzer beispielsweise eine interaktive Eingabe).
Die Kamera 102 kann verwendet werden, um Bilder der externen Umgebung der Vorrichtung 100 zu erfassen. In bestimmten Ausführungsformen ist die Kamera 102 positioniert, um Bilder vor der Anzeige 108 zu erfassen. Die Kamera 102 kann positioniert sein, um Bilder des Benutzers (z. B. das Gesicht des Benutzers) zu erfassen, während der Benutzer mit der Anzeige 108 interagiert. 2 zeigt eine Darstellung einer Ausführungsform der Kamera 102. In bestimmten Ausführungsformen umfasst die Kamera 102 eine oder mehrere Linsen und einen oder mehrere Bildsensoren 103 zum Erfassen von digitalen Bildern. Digitale Bilder, die von der Kamera 102 erfasst werden, können zum Beispiel Standbilder, Videobilder und / oder Bild-für-Bild-Bilder umfassen.
In bestimmten Ausführungsformen umfasst die Kamera 102 einen Bildsensor 103. Der Bildsensor 103 kann beispielsweise eine Anordnung von Sensoren sein. Sensoren in der Sensoranordnung können, ohne darauf beschränkt zu sein, ladungsgekoppelte Vorrichtungs-(charge coupled device, CCD)- und / oder komplementäre Metalloxidhalbleiter-(complementary metal oxide simiconductor, CMOS)-Sensorelemente umfassen, um Infrarotbilder (IR) oder andere nicht sichtbare elektromagnetische Strahlung zu erfassen. In einigen Ausführungsformen umfasst die Kamera 102 mehr als einen Bildsensor, um mehrere Arten von Bildern zu erfassen. Zum Beispiel kann die Kamera 102 sowohl IR-Sensoren als auch RGB-Sensoren (rot, grün und blau) umfassen. In bestimmten Ausführungsformen umfasst die Kamera 102 Illuminatoren 105 zum Beleuchten von Oberflächen (oder Objekten) mit den verschiedenen Arten von Licht, die durch den Bildsensor 103 detektiert werden. Beispielsweise kann die Kamera 102 einen Illuminator für sichtbares Licht (z. B. ein „Flash Illuminator“) und / oder Illuminatoren für Infrarotlicht (z. B. eine Flut-IR-Quelle und ein Fleckenmuster-Projektor) umfassen. In einigen Ausführungsformen weisen die Flut-IR-Quelle und der Fleckenmuster-Projektor andere Wellenlängen von Licht auf (z. B. nicht Infrarot). In bestimmten Ausführungsformen umfassen die Illuminatoren 105 eine Anordnung von Lichtquellen, wie VCSELs (oberflächenemittierende Laser mit vertikalem Resonator, vertical-cavity surfaceemitting lasers), sind aber nicht darauf beschränkt. In einigen Ausführungsformen sind Bildsensoren 103 und Illuminatoren 105 in einem einzelnen Chippaket enthalten. In einigen Ausführungsformen sind die Bildsensoren 103 und die Illuminatoren 105 auf getrennten Chip-Bausteinen angeordnet.
In bestimmten Ausführungsformen ist der Bildsensor 103 ein IR-Bildsensor, der zum Erfassen von Infrarotbildern verwendet wird, die zur Gesichtserkennung und / oder Tiefenerfassung verwendet werden. Zur Gesichtserkennung kann der Illuminator 105A eine Flut-IR-Beleuchtung bereitstellen, um das Objekt mit einer IR-Beleuchtung (z. B. ein IR-Blitzlicht) zu überfluten, und der Bildsensor 103 kann Bilder des mit Flutlicht beleuchteten Objekts erfassen. Flut-IR-Beleuchtungsbilder können beispielsweise zweidimensionale Bilder des Objekts sein, das mit IR-Licht beleuchtet wird. Zur Tiefenerkennung oder zum Erzeugen eines Tiefenkartenbildes, kann der Illuminator 105B eine IR-Beleuchtung mit einem Fleckenmuster bereitstellen. Das Fleckenmuster kann ein Muster von auf ein Objekt projizierten Lichtflecken (z. B. ein Muster von Punkten) mit einer bekannten, steuerbaren Konfiguration und Muster sein. Der Illuminator 105B kann eine VCSEL-Anordnung umfassen, die konfiguriert ist, um das Fleckenmuster zu bilden oder kann eine Lichtquelle und eine gemusterte Transparentfolie umfassen, die konfiguriert ist, um das Fleckenmuster zu bilden. Die Konfiguration und das Muster des Fleckenmusters, das durch den Illuminator 105B bereitgestellt wird, kann zum Beispiel basierend auf einer gewünschten Fleckenmusterdichte (z. B. Punktdichte) an dem Objekt ausgewählt werden. Der Bildsensor 103 kann Bilder des durch das Fleckenmuster beleuchteten Objekts erfassen. Das erfasste Bild des Fleckenmusters auf dem Objekt kann durch ein Abbildungs- und Verarbeitungssystem (z. B. einen Bildsignalprozessor (image signal processor, ISP), wie hierin beschrieben) beurteilt werden (z. B. analysiert und / oder verarbeitet), um eine dreidimensionale Karte des Objekts zu erzeugen oder zu schätzen (z. B. eine Tiefenkarte oder ein Tiefenkartenbild des Objekts). Beispiele für eine Tiefenkartenabbildung sind im US-Patent Nr. 8,150,142 von Freedman et al., im US-Patent Nr. 8,749,796 von Pesach et al. und im US-Patent Nr. 8,384,997 von Shpunt et al., und in der US-Patentanmeldung mit der Veröffentlichung Nr. 2016 / 0178915 von Mor et al. beschrieben.
In bestimmten Ausführungsformen enthalten Bilder, die von der Kamera erfasst wurden, Bilder mit dem Gesicht des Benutzers (z. B. ist das Gesicht des Benutzers in den Bildern enthalten). Ein Bild mit dem Gesicht des Benutzers kann ein beliebiges digitales Bild enthalten, wobei das Gesicht des Benutzers innerhalb des Bildrahmens angezeigt wird. Ein solches Bild kann nur das Gesicht des Benutzers umfassen oder kann das Gesicht des Benutzers in einem kleineren Teil oder Abschnitt des Bildes enthalten. Das Gesicht des Benutzers kann mit einer ausreichenden Auflösung in dem Bild erfasst werden, um eine Bildverarbeitung von einem oder mehreren Merkmalen des Gesichts des Benutzers in dem Bild zu ermöglichen.
Bilder, die von der Kamera 102 aufgenommen werden, können von dem Prozessor 104 verarbeitet werden. 3 zeigt eine Darstellung einer Ausführungsform des Prozessors 104, der in der Vorrichtung 100 enthalten ist. Der Prozessor 104 kann eine Schaltung enthalten, die konfiguriert ist, Befehle auszuführen, die in einer Befehlssatzarchitektur definiert sind, die durch den Prozessor implementiert wird. Der Prozessor 104 kann die Hauptsteuerungssoftware der Vorrichtung 100, wie etwa eines Betriebssystems, ausführen. Im Allgemeinen kann Software, die während der Verwendung von dem Prozessor 104 ausgeführt wird, die anderen Komponenten der Vorrichtung 100 steuern, um die gewünschte Funktionalität der Vorrichtung zu realisieren. Die Prozessoren können auch andere Software ausführen. Diese Anwendungen können Benutzerfunktionen bereitstellen und können sich auf dem Betriebssystem für die Gerätekontrolle auf niedriger Ebene, der Planung, der Speicherverwaltung usw. aufbauen.
In bestimmten Ausführungsformen enthält der Prozessor 104 einen Bildsignalprozessor (image signal processor ISP) 110. Der ISP 110 kann Schaltungen enthalten, die zur Verarbeitung von Bildern (z. B. Bildsignalverarbeitungsschaltungen) von der Kamera 102 geeignet sind. Der ISP 110 kann jede Hardware und / oder Software enthalten (z. B. Programmanweisungen), die von der Kamera 102 aufgenommene Bilder verarbeiten oder analysieren können.
In bestimmten Ausführungsformen umfasst der Prozessor 104 einen sicheren Enklavenprozessor (secure enclave processor, SEP) 112. In einigen Ausführungsformen ist der SEP 112 an einem Gesichtserkennungsauthentifizierungsverfahren beteiligt, das von der Kamera 102 erfasste und vom ISP 110 verarbeitete Bilder umfasst. Der SEP 112 kann eine sichere Schaltung sein, die konfiguriert ist zum Authentifizieren eines aktiven Benutzers (z. B. des Benutzers, der gerade die Vorrichtung 100 verwendet) als autorisiert, die Vorrichtung 100 zu verwenden. Eine „sichere Schaltung“ kann eine Schaltung sein, die eine isolierte interne Ressource vor dem direkten Zugriff durch eine externe Schaltung schützt. Die interne Ressource kann ein Speicher sein (z. B. ein Speicher 106), der sensible Daten wie persönliche Informationen (z. B. biometrische Informationen, Kreditkarteninformationen usw.), Verschlüsselungsschlüssel, Zufallszahlengeneratorkeime usw. speichert. Die interne Ressource kann auch Schaltungen umfassen, die mit sensiblen Daten verbundene Dienste / Operationen ausführen. Wie hierin beschrieben, kann der SEP 112 irgendeine Hardware und / oder Software (z. B. Programmanweisungen) enthalten, die einen Benutzer unter Verwendung des Authentifizierungsverfahrens für die Gesichtserkennung authentifizieren kann. Das Authentifizierungsverfahren für die Gesichtserkennung kann durch ein Aufnehmen von Bildern des Benutzers mit der Kamera 102 und ein Vergleichen der aufgenommenen Bilder mit zuvor gesammelten Bilder eines autorisierten Benutzers für die Vorrichtung 100 einen Benutzer authentifizieren. In einigen Ausführungsformen können die Funktionen vom ISP 110 und SEP 112 durch einen einzelnen Prozessor durchgeführt werden (z. B. können entweder der ISP 110 oder der SEP 112 beide Funktionalitäten ausführen, und der andere Prozessor kann weggelassen werden).
In bestimmten Ausführungsformen kann der Prozessor 104 ein Anmeldungsverfahren (z. B. ein Bildanmeldungsverfahren 200, wie in 4 gezeigt, oder ein Registrierungsverfahren) durchführen, um Bilder (z. B. die zuvor gesammelten Bilder) für einen autorisierten Benutzer des Geräts zu erfassen und zu speichern. Während des Anmeldungsverfahrens kann das Kameramodul 102 Bilder und / oder Bilddaten von einem autorisierten Benutzer erfassen (z. B. sammeln), um dem SEP 112 (oder einem anderen Sicherheitsverfahren) zu ermöglichen, den Benutzer anschließend unter Verwendung des Authentifizierungsverfahren für die Gesichtserkennung zu authentifizieren. In einigen Ausführungsformen ist eine Vorrichtung konfiguriert, um die Bilder und / oder Bilddaten (z. B. Merkmalsdaten aus den Bildern) von dem Anmeldungsverfahren in einer Vorlage in der Vorrichtung 100 zu speichern. Die Vorlage kann beispielsweise in einem Vorlagenraum im Speicher 106 der Vorrichtung 100 gespeichert sein. In einigen Ausführungsformen kann der Vorlagenraum durch Hinzufügen und / oder Entfernen von Bildern von der Vorlage aktualisiert werden. Ein Vorlagenaktualisierungsverfahren (z. B. das erste Vorlagenaktualisierungsverfahren 300 und / oder das zweite Vorlagenaktualisierungsverfahren 400, die hierin beschrieben sind) kann durch den Prozessor 104 durchgeführt werden, um Vorlagenbilder aus dem Vorlagenraum hinzuzufügen und / oder zu entfernen. Zum Beispiel kann der Vorlagenraum mit zusätzlichen Bildern aktualisiert werden, um sich an Änderungen des Aussehens des autorisierten Benutzers und / oder Änderungen der Hardwareleistung im Laufe der Zeit anzupassen. Bilder können von dem Vorlagenraum entfernt werden, um das Hinzufügen von Bildern zu kompensieren, wenn der Vorlagenraum zum Speichern von Vorlagenbildern voll ist.
In einigen Ausführungsformen der Vorrichtung erfasst das Kameramodul 102 mehrere Bildpaare für eine Gesichtserkennungssitzung. Jedes Paar kann ein Bild umfassen, das unter Verwendung eines zweidimensionalen Erfassungsmodus erfasst wurde (z. B. ein Flut-IR-Bild) und ein Bild, das unter Verwendung eines dreidimensionalen Erfassungsmodus erfasst wurde (z. B. eine Tiefenkartenbild). In bestimmten Ausführungsformen verarbeitet der ISP 110 und / oder der SEP 112 die Flut-IR-Bilder und Tiefenkartenbilder unabhängig voneinander, bevor eine endgültige Entscheidung einer Authentifizierung für den Benutzer gefällt wird. Zum Beispiel kann der ISP 110 das Bild unabhängig verarbeiten, um Eigenschaften jedes Bildes separat zu bestimmen. Der SEP 112 kann dann die separaten Bildeigenschaften mit gespeicherten Vorlagenbildern für jede Bildart vergleichen, um ein Authentifizierungsergebnis (z. B. ein Übereinstimmungsergebnis oder eine andere Einstufung der Übereinstimmung zwischen dem Benutzer in dem aufgenommenen Bild und in den gespeicherten Vorlagenbildern) für jedes einzelne Bild zu erzeugen. Die Authentifizierungsergebnisse für die einzelnen Bilder (z. B. die Flut-IR- und Tiefenkartenbilder) können kombiniert werden, um eine Entscheidung über die Identität des Benutzers zu treffen, und, falls authentifiziert, um es dem Benutzer zu ermöglichen die Vorrichtung 100 zu verwenden (z. B. Vorrichtung entsperren).
In einigen Ausführungsformen kann der ISP 110 und / oder der SEP 112 die Bilder in jedem Paar kombinieren, um ein zusammengesetztes Bild bereitzustellen, das für die Gesichtserkennung verwendet wird. In einigen Ausführungsformen kann der ISP 110 das zusammengesetzte Bild verarbeiten, um Eigenschaften des Bildes zu bestimmen, welche der SEP 112 mit den gespeicherten Vorlagenbildern vergleichen kann, um eine Entscheidung über die Identität des Benutzers zu treffen und, wenn authentifiziert, dem Benutzer zu erlauben, die Vorrichtung 100 zu verwenden.
In einigen Ausführungsformen kann es die Kombination von Flut-IR-Bilddaten und Tiefenkartenbilddaten dem SEP 112 ermöglichen Flächen in einem dreidimensionalen Raum zu vergleichen. In einigen Ausführungsformen kommuniziert das Kameramodul 102 Bilddaten über einen sicheren Kanal an den SEP 112. Der sichere Kanal kann zum Beispiel entweder ein dedizierter Pfad zum Kommunizieren von Daten (d. h. ein Pfad, der nur von den beabsichtigten Teilnehmern geteilt wird) oder ein dedizierter Pfad zum Kommunizieren verschlüsselter Daten unter Verwendung kryptographischer Schlüssel sein, die nur den beabsichtigten Teilnehmern bekannt sind. In einigen Ausführungsformen kann das Kameramodul 102 und / oder der ISP 110 verschiedene Verarbeitungsoperationen auf Bilddaten durchführen, bevor die Bilddaten dem SEP 112 zugeführt werden, um den von dem SEP durchgeführten Vergleich zu erleichtern.
In bestimmten Ausführungsformen betreibt der Prozessor 104 ein oder mehrere Maschinenlernmodelle. Maschinenlernmodelle können unter Verwendung einer beliebigen Kombination von Hardware und / oder Software (z. B. Programmanweisungen) in dem Prozessor 104 und / oder auf der Vorrichtung 100 betrieben werden. In einigen Ausführungsformen werden ein oder mehrere neuronale Netzwerkmodule 114 verwendet um die Maschinenlernmodelle auf der Vorrichtung 100 zu betreiben. Neuronale Netzwerkmodule 114 können sich in dem ISP 110 und / oder in dem SEP 112 befinden.
Das neuronale Netzwerkmodul 114 kann eine beliebige Kombination von Hardware und / oder Software (z. B. Programmanweisungen) enthalten, die im Prozessor 104 und / oder auf der Vorrichtung 100 angeordnet sind. In einigen Ausführungsformen ist das neuronale Netzwerkmodul 114 ein neuronales Netzwerk mit mehreren Skalierungen oder ein anderes neuronales Netzwerk wobei die Skalierung der im Netzwerk verwendeten Kernel variieren kann. In einigen Ausführungsformen ist das neuronale Netzwerkmodul 114 ein rekurrentes neuronales Netzwerk (recurrent neural network, RNN), wie zum Beispiel, aber nicht darauf beschränkt, ein rekurrentes neuronales Netzwerk mit einer Gatter-rekurrenten Einheit (gate recurrent unit, GRU) oder ein rekurrentes neuronales Netzwerk mit langem Kurzzeitspeicher (long short-term memory, LSTM).
Das neuronale Netzwerkmodul 114 kann neuronale Netzwerkschaltungen enthalten, die mit Betriebsparametern installiert oder konfiguriert sind, die von dem neuronalen Netzwerkmodul oder einem ähnlichen neuronalen Netzwerkmodul (z. B. einem neuronalen Netzwerkmodul, das auf einem / einer unterschiedlichen Prozessor oder Vorrichtung arbeitet) gelernt wurden. Zum Beispiel kann ein neuronales Netzwerkmodul unter Verwendung von Trainingsbildern (z. B. Referenzbildern) und / oder anderen Trainingsdaten trainiert werden, um Betriebsparameter für die neuronalen Netzwerkschaltungen zu erzeugen. Die aus dem Training erzeugten Betriebsparameter können dann an das auf der Vorrichtung 100 installierte neuronale Netzwerkmodul 114 bereitgestellt werden. Das Bereitstellen der vom Training erzeugten Betriebsparameter an das neuronale Netzwerkmodul 114 auf der Vorrichtung 100 erlaubt es dem neuronalen Netzwerkmodul unter Verwendung von Trainingsinformationen zu arbeiten, die in das neuronale Netzwerkmodul programmiert wurden (z. B. können die trainingsgenerierten Betriebsparameter von dem neuronalen Netzwerkmodul verwendet werden, um auf Bildern, die mit der Vorrichtung erfasst wurden, zu operieren und diese zu bewerten).
4 zeigt ein Flussdiagramm des Bildanmeldungsverfahrens 200 für einen autorisierten Benutzer der Vorrichtung 100. Das Verfahren 200 kann verwendet werden, um eine oder mehrere Vorlagen von Bildern (z. B. ein Anmeldungsprofil) für einen autorisierten Benutzer der Vorrichtung 100 zu erzeugen, die in der Vorrichtung gespeichert sind (z. B. in einem Speicher, der mit dem SEP 112 gekoppelt ist), und dann in einem Gesichtserkennungsverfahren verwendet werden, um es dem Benutzer zu ermöglichen, die Vorrichtung zu verwenden (z. B. die Vorrichtung zu entsperren). Das Anmeldungsprofil (z. B. die Vorlage von Bildern), das durch das Bildanmeldungsverfahren 200 erzeugt wird, kann diesem bestimmten Bildanmeldungsverfahren (und den Bildern, die während des Verfahrens zur Anmeldung verwendet werden) zugeordnet sein. Zum Beispiel kann ein autorisierter Benutzer ein erstes Anmeldungsprofil erstellen, das dem Benutzer zugeordnet ist, welches das Gesicht des Benutzers mit Brille umfasst. Der autorisierte Benutzer kann auch ein zweites Anmeldungsprofil erstellen, das dem Benutzer zugeordnet ist und welches Gesicht des Benutzers ohne Brille umfasst. Sowohl das erste als auch das zweite Anmeldungsprofil kann dann in dem Gesichtserkennungsverfahren verwendet werden, um es dem Benutzer zu ermöglichen, die Vorrichtung zu verwenden (z. B. die Vorrichtung zu entsperren).
In bestimmten Ausführungsformen ist eine Vorrichtung konfiguriert, um das das Verfahren 200 zu verwenden, wenn die Vorrichtung 100 zum ersten Mal von dem autorisierten Benutzer verwendet wird und / oder wenn sich der Benutzer entscheidet, sich in einem Gesichtserkennungsverfahren anzumelden. Zum Beispiel kann die Vorrichtung konfiguriert sein, das Verfahren 200 zu initiieren, wenn die Vorrichtung 100 zuerst von dem autorisierten Benutzer erhalten wird (z. B. von dem autorisierten Benutzer gekauft wird) und zum ersten Mal von dem autorisierten Benutzer angeschaltet wird. In einigen Ausführungsformen kann die Vorrichtung konfiguriert sein, das Verfahren 200 durch den autorisierten Benutzer zu initiieren, wenn der Benutzer sich in einem Gesichtserkennungsverfahren anmelden möchte, Sicherheitseinstellungen für die Vorrichtung 100 aktualisieren möchte, und / oder sich erneut anmelden möchte.
In bestimmten Ausführungsformen ist eine Vorrichtung konfiguriert, um das Verfahren 200 in 202 mit der Authentifizierung des Benutzers zu beginnen. In 202 kann der Benutzer auf der Vorrichtung 100 unter Verwendung eines nicht-Gesichtsauthentifizierungsverfahrens authentifiziert sein. Zum Beispiel kann der Benutzer als ein autorisierter Benutzer durch Eingeben eines Zugangscodes, durch Eingeben eines Passworts oder durch ein anderes Benutzerauthentifizierungsprotokoll als Gesichtserkennung authentifiziert werden. Nachdem der Benutzer bei 202 authentifiziert wurde, werden ein oder mehrere Anmeldungsbilder (z. B. Referenz- oder Anmeldungsbilder) des Benutzers in 204 erfasst. Die Anmeldungsbilder können Bilder des Benutzers enthalten, die durch den Flut-Illuminator 105A (z. B. Flut-IR-Bilder) beleuchtet werden und / oder Bilder des Benutzers, die durch den Flecken-Illuminator 105B beleuchtet werden (z. B. Tiefenkartenbilder). Wie hierin beschrieben, können Flut-IR-Bilder und Tiefenkartenbilder unabhängig und / oder in Kombination bei Gesichtserkennungsverfahren auf der Vorrichtung 100 verwendet werden (z. B. können die Bilder unabhängig verwendet werden, um eine Authentifizierungsentscheidung bereitzustellen, und die Entscheidungen können kombiniert werden, um eine endgültige Entscheidung über die Benutzerauthentifizierung zu bestimmen).
Die Anmeldungsbilder können unter Verwendung der Kamera 102 erfasst werden, wenn der Benutzer mit der Vorrichtung 100 interagiert. Zum Beispiel können die Anmeldungsbilder erfasst werden, wenn der Benutzer Aufforderungen auf der Anzeige 108 der Vorrichtung 100 folgt. Die Aufforderungen können Anweisungen für den Benutzer enthalten, unterschiedliche Bewegungen und / oder Posen auszuführen, während die Anmeldungsbilder erfasst werden. Während 204 kann die Kamera 102 mehrere Bilder für jede vom Benutzer durchgeführte Bewegung und / oder Pose erfassen. Das Erfassen von Bildern für verschiedene Bewegungen und / oder unterschiedliche Posen des Benutzers, wobei die Bilder noch eine relativ klare Darstellung des Benutzers aufweisen, kann nützlich sein, um eine größere Vielfalt von Anmeldungsbildern bereitzustellen, die es dem Benutzer ermöglichen, authentifiziert zu werden, ohne in einer begrenzten oder eingeschränkten Position relativ zur Kamera 102 in der Vorrichtung 100 zu sein.
Nachdem die mehreren Anmeldungsbilder in 204 erfasst wurden, kann eine Auswahl der Anmeldungsbilder für eine weitere Bildverarbeitung in 206 vorgenommen werden. Das Auswählen der Anmeldungsbilder 206 und die weitere Verarbeitung der Bilder kann durch den ISP 110 und / oder den SEP 112 durchgeführt werden. Das Auswählen von Anmeldungsbildern für die weitere Verarbeitung kann ein Auswählen von Bildern umfassen, die zur Verwendung als Vorlagenbilder geeignet sind. Zum Beispiel kann das Auswählen von Bildern, die zur Verwendung als Vorlagenbilder in 206 geeignet sind, das Bewerten eines oder mehrerer ausgewählter Kriterien für die Bilder und das Auswählen von Bildern, welche die ausgewählten Kriterien erfüllen, umfassen. Die ausgewählten Bilder können als Vorlagenbilder für den Benutzer verwendet werden. Ausgewählte Kriterien können umfassen, sind aber nicht darauf beschränkt, ob sich das Gesicht des Benutzers im Sichtfeld der Kamera befindet, ob eine Pose des Benutzers angemessen ist (z. B. das Gesicht des Benutzers wird in keiner Richtung zu weit von der Kamera weggedreht (d. h. die Neigung, das Gieren und / oder das Rollen des Gesichts liegen nicht über bestimmten Niveaus)), ob eine Entfernung zu dem Gesicht des Benutzers innerhalb einer bestimmten Entfernung liegt, ob das Gesicht des Benutzers eine Okklusion unterhalb eines minimalen Wertes aufweist (z. B. das Gesicht des Benutzers wird nicht mehr als eine Mindestmenge von einem anderen Objekt verdeckt (blockiert)), ob der Benutzer auf die Kamera achtet (z. B. die Augen des Benutzers blicken in die Kamera), ob die Augen des Benutzers nicht geschlossen sind, und richtige Ausleuchtung (Beleuchtung) im Bild. In einigen Ausführungsformen der Vorrichtung wird, wenn mehr als ein Gesicht in einem Anmeldungsbild erfasst wird, das Anmeldungsbild zurückgewiesen und nicht zur weiteren Verarbeitung verwendet (z. B. nicht ausgewählt). Die Auswahl von Bildern, die für die weitere Verarbeitung geeignet sind, kann regelbasiert auf den Bildern sein, die eine bestimmte Anzahl der ausgewählten Kriterien oder eines der ausgewählten Kriterien erfüllen. In einigen Ausführungsformen der Vorrichtung werden Okklusionskarten und / oder Orientierungspunktmerkmalskarten verwendet, um Merkmale des Benutzers (z. B. Gesichtsmerkmale wie Augen, Nase und Mund) in den Bildern zu identifizieren und die ausgewählten Kriterien in den Bildern zu bewerten. In einigen Ausführungsformen der Vorrichtung können, wenn die ausgewählten Kriterien verhindern, dass der Benutzer registriert wird (z. B. keine Anmeldungsbilder ausgewählt werden), eines oder mehrere der ausgewählten Kriterien deaktiviert werden, um es dem Benutzer zu ermöglichen, auf der Vorrichtung angemeldet zu werden. Zum Beispiel können Okklusionskriterien und / oder Aufmerksamkeitskriterien ausgeschaltet / deaktiviert werden, wenn der Benutzer Schwierigkeiten hat, angemeldet zu werden.
Nachdem Bilder in 206 ausgewählt wurden, können Merkmale des Benutzers in den ausgewählten (Vorlage-)Bildern in 208 kodiert werden. Das Kodieren der ausgewählten Bilder kann ein Kodieren von Merkmalen (z. B. Gesichtsmerkmale) des Benutzers umfassen um die Merkmale in den Bildern als ein oder mehrere Merkmalsvektoren in einem Merkmalsraum zu definieren. Die Merkmalsvektoren 210 können die Ausgabe der Kodierung in 208 sein. Ein Merkmalsraum kann ein n-dimensionaler Merkmalsraum sein. Ein Merkmalsvektor kann ein n-dimensionaler Vektor von numerischen Werten sein, die Merkmale aus dem Bild im Merkmalsraum definieren (z. B. kann der Merkmalsvektor ein Vektor von numerischen Werten sein, die Gesichtsmerkmale des Benutzers in dem Bild definieren).
5 zeigt eine Darstellung einer Ausführungsform des Merkmalsraums 212 mit Merkmalsvektoren 210. Jeder Merkmalsvektor 210 (schwarzer Punkt) kann Gesichtsmerkmale für den Benutzer entweder von einem einzigen Bild, aus einem zusammengesetzten Bild (z. B. eines Bildes, das eine Zusammensetzung von mehreren Bildern ist) oder aus mehreren Bildern definieren. Da Merkmalsvektoren 210 aus Gesichtsmerkmalen eines einzelnen Benutzers erzeugt werden, können die Merkmalsvektoren einander ähnlich sein, weil die Merkmalsvektoren mit der gleichen Person assoziiert sind und ein gewisses „Clustering“ aufweisen können, wie durch den Kreis 211 in 5 gezeigt. Die Merkmalsvektoren 256A und 256B (offene Rauten) sind Merkmalsvektoren, die aus dem unten beschriebenen Gesichtserkennungsverfahren 250 erhalten wurden.
Wie in 4 gezeigt, kann das Verfahren 200, in 214, ein Speichern von Merkmalsvektoren 210 in einem Speicher der Vorrichtung 100 (z. B. ein durch den SEP 112 geschützter Speicher) enthalten. In bestimmten Ausführungsformen werden Merkmalsvektoren 210 als statische Vorlagen 216 (z. B. Anmeldungsvorlagen oder Referenzvorlagen) in einem Vorlagenraum des Speichers gespeichert. In einigen Ausführungsformen enthalten statische Vorlagen 216 (und andere hierin beschriebene Vorlagen) separate Vorlagen für Merkmalsvektoren von den Anmeldungs-Flut-IR-Bildern und für Merkmalsvektoren von den Anmeldungs-Tiefenkartenbildern. Es versteht sich, dass die separaten Vorlagen für Flut-IR-Bilder und Tiefenkartenbilder unabhängig und / oder in Kombination, während zusätzlichen hierin beschriebenen Verfahren, verwendet werden können. Der Einfachheit halber sind in dieser Offenbarung statische Vorlagen 216 allgemein beschrieben und es sollte klar sein, dass sich statische Vorlagen 216 (und die Verwendung der Vorlagen) sowohl auf Vorlagen für die Flut-IR-Bilder als auch für Vorlagen für die Tiefenkartenbilder beziehen können. In einigen Ausführungsformen kann eine Kombination der Flut-IR-Bilder und Tiefenkartenbilder verwendet werden. Zum Beispiel können Paare von Flut-IR-Bildern und Tiefenkartenbildern in statischen Vorlagen 216 gespeichert werden, die in einem oder mehreren Gesichtserkennungsverfahren auf der Vorrichtung 100 verwendet werden können.
6 zeigt eine Darstellung einer Ausführungsform des Vorlagenraums 220 des Speichers. In einigen Ausführungsformen umfasst der Vorlagenraum 220 einen statischen Abschnitt 222 und einen dynamischen Abschnitt 224. Die statischen Vorlagen 216 können zum Beispiel statische Vorlagen sein, die zu dem statischen Abschnitt 222 des Vorlagenraums 220 hinzugefügt wurden (z. B. werden die Vorlagen permanent dem Speicher hinzugefügt und werden nicht gelöscht oder geändert, falls die Vorrichtung nicht zurückgesetzt wird und ein weiteres Anmeldungsverfahren stattfindet). In einigen Ausführungsformen enthält der statische Abschnitt 222 eine bestimmte Anzahl von statischen Vorlagen 216. Beispielsweise können für die in 6 dargestellte Ausführungsform des Vorlagenraums 220 sechs statische Vorlagen 216 in dem statischen Abschnitt 222 zugelassen werden. Nachdem das Anmeldungsverfahren und die statische Vorlagen 216 zu dem statischen Abschnitt 222 hinzugefügt wurden, können zusätzliche dynamische Vorlagen 226 zu dem dynamischen Abschnitt 224 des Vorlagenraums 220 hinzugefügt werden (z. B. ein Abschnitt, aus dem Vorlagen hinzugefügt und gelöscht werden können, ohne dass ein Zurücksetzen der Vorrichtung erforderlich ist).
Die statischen Vorlagen 216 können somit Anmeldungsvorlagen (oder Referenzvorlagen) sein, die durch das Anmeldungsverfahren 200 erzeugt wurden. Nachdem das Anmeldungsverfahren 200 beendet ist, wird eine ausgewählte Anzahl von statischen Vorlagen 216 im statischen Abschnitt 222 des Vorlagenraumes 220 gespeichert. Die Anzahl statischer Vorlagen 216, die in dem statischen Abschnitt 222 nach dem Anmeldungsverfahren 200 gespeichert sind, kann abhängig von beispielsweise der Anzahl unterschiedlicher Merkmalsvektoren, die während des Anmeldungsverfahrens erhalten wurden, die auf der Anzahl der Bilder basieren können, welche für die Verwendung als Vorlagenbilder ausgewählt wurden, oder einer gewünschten Anzahl von Vorlagen für die Vorrichtung variieren. Nach dem Anmeldungsverfahren 200, umfassen die statischen Vorlage 216 Merkmalsvektoren 210 (z. B. die Anmeldungs- oder Referenzmerkmalsvektoren), die für die Gesichtserkennung des authentifizierten Benutzers verwendet werden können. Der Vorlagenraum 220 kann dann in einem Authentifizierungsverfahren für die Gesichtserkennung verwendet werden.
7 zeigt ein Flussdiagramm des Authentifizierungsverfahrens für die Gesichtserkennung 250. Das Verfahren 250 kann verwendet werden, um einen Benutzer als einen autorisierten Benutzer der Vorrichtung 100 unter Verwendung einer Gesichtserkennung des Benutzers zu authentifizieren. Die Authentifizierung des autorisierten Benutzers kann es dem Benutzer ermöglichen, auf die Vorrichtung 100 zuzugreifen (z. B. die Vorrichtung entsperren) und diese zu verwenden und / oder sie kann es dem Benutzer ermöglichen, auf eine ausgewählte Funktionalität der Vorrichtung zuzugreifen (z. B. eine Funktion einer Anwendung, die auf der Vorrichtung ausgeführt wird entsperren, Zahlungssysteme (d. h. eine Zahlung vornehmen), und / oder zugreifen auf personenbezogenen Daten, erweiterte Ansicht von Benachrichtigungen usw.). In bestimmten Ausführungsformen der Vorrichtung wird das Verfahren 250 als ein primäres biometrisches Authentifizierungsverfahren für die Vorrichtung 100 (nach der Anmeldung des autorisierten Benutzers) verwendet. In einigen Ausführungsformen der Vorrichtung wird das Verfahren 250 als ein Authentifizierungsverfahren zusätzlich zu einem anderen Authentifizierungsverfahren verwendet (z. B. Fingerabdruck-Authentifizierung, eine weitere biometrische Authentifizierung, Kennwort-Eingabe, Passwort-Eingabe und / oder Mustereingabe). In einigen Ausführungsformen der Vorrichtung kann ein anderes Authentifizierungsverfahren (z. B. Kennwort-Eingabe, Mustereingabe, andere biometrische Authentifizierung) verwendet werden, um auf die Vorrichtung 100 zuzugreifen, wenn der Benutzer unter Verwendung des Verfahrens 250 nicht authentifiziert werden kann.
In 252, erfasst die Kamera 102 ein Bild von dem Gesicht des Benutzers, der versucht, für einen Zugang zur Vorrichtung 100 authentifiziert zu werden (z. B. erfasst die Kamera ein „Entsperrversuch“-Bild des Benutzers). Es versteht sich, dass das Entsperrversuchsbild ein einzelnes Bild des Gesichts des Benutzers sein kann (z. B. ein einzelnes Flut-IR-Bild oder ein einzelnes Tiefenkartenbild) oder dass das Entsperrversuchsbild eine Reihe von mehreren Bildern des Gesichts des Benutzers sein kann, die über einen kurzen Zeitraum (z. B. eine Sekunde oder weniger) aufgenommen wird. In einigen Ausführungsformen umfasst die Reihe von mehreren Bildern des Gesichts des Benutzers Paare von Flut-IR-Bildern und Tiefenkartenbildern (z. B. Paare von aufeinanderfolgenden Flut-IR- und Tiefenkartenbildern). In einigen Implementierungen kann das Entsperrversuchsbild ein Verbund von mehreren Bildern des Benutzers sein, welche von dem Flut-Illuminator und dem Fleckenmuster-Illuminator beleuchtet wurden.
Die Kamera 102 kann das Entsperrversuchsbild in Antwort auf eine Aufforderung durch den Benutzer erfassen. Zum Beispiel kann das Entsperrversuchsbild erfasst werden, wenn der Benutzer versucht, durch Drücken einer Taste (z. B. einer Home-Taste oder virtuellen Taste) auf der Vorrichtung 100 auf die Vorrichtung 100 zuzugreifen, wenn er die Vorrichtung in eine ausgewählte Position relativ zum Gesicht des Benutzers bewegt (z. B. bewegt der Benutzer die Vorrichtung so, dass die Kamera direkt auf das Gesicht des Benutzers gerichtet ist) und / oder wenn er eine bestimmte Geste oder Bewegung in Bezug zur Vorrichtung durchführt. Es versteht sich, dass, wie hierin beschrieben, Entsperrversuchsbilder entweder Flut-IR-Bilder oder Tiefenkartenbilder oder eine Kombination davon enthalten können. Ferner können die Entsperrversuchsbilder in Verbindung mit ihrer entsprechenden Vorlage (z. B. Flut-IR-Bilder mit einer Vorlage für Flut-IR-Anmeldungsbilder) unabhängig oder in Kombination nach Bedarf verarbeitet werden.
In 254 wird das Entsperrversuchsbild kodiert, um die Gesichtsmerkmale des Benutzers als ein oder mehr Merkmalsvektoren im Merkmalsraum zu definieren. In einigen Ausführungsformen der Vorrichtung wird ein Merkmalsvektor für das Entsperrversuchsbild definiert. In einigen Ausführungsformen der Vorrichtung ist mehr als ein Merkmalsvektor für das Entsperrversuchsbild definiert. Ein Entsperrmerkmalsvektor(en) 256 kann die Ausgabe des Kodierens des Entsperrversuchsbilds in 254 sein.
In bestimmten Ausführungsformen der Vorrichtung wird, in 258, der Entsperrmerkmalsvektor(en) 256 mit Merkmalsvektoren in den Vorlagen des Vorlagenraum 220 verglichen, um ein Übereinstimmungsergebnis 260 für das Entsperrversuchsbild zu erhalten. Das Übereinstimmungsergebnis 260 kann ein Ergebnis der Unterschiede zwischen dem Merkmalsvektor(en) 256 und den Merkmalsvektoren im Vorlagenraum 220 sein (z. B. Merkmalsvektoren in statischen Vorlagen 216 und / oder anderen dynamischen Vorlagen 226, die wie hier beschrieben zu dem Vorlagenraum hinzugefügt sind). Je näher sich (z. B. je kleiner ein Abstand oder je kleiner Unterschiede) der Merkmalsvektor(en) 256 und die Merkmalsvektoren im Vorlagenraum 220 sind, umso höher kann das Übereinstimmungsergebnis 260 sein. Zum Beispiel, wie in 5 gezeigt, befindet sich der Merkmalsvektor 256A (offener Raute) näher bei den Merkmalsvektoren 210 als der Merkmalsvektor 256B (offene Raute) (z. B. ist der Merkmalsvektor 256B ein weiterer Ausreißer als der Merkmalsvektor 256A). Somit würde der Merkmalsvektor 256A ein höheres Übereinstimmungsergebnis als der Merkmalsvektor 256A aufweisen. Da der Merkmalsvektor 256B von den Merkmalsvektoren 210 weiter entfernt ist als der Merkmalsvektor 256A, bedeutet das kleinere Übereinstimmungsergebnis für den Merkmalsvektor 256B weniger Vertrauen, dass das Gesicht in dem Entsperrversuchsbild, das dem Merkmalsvektor 256B zugeordnet ist, das Gesicht des autorisierten Benutzers von dem Anmeldungsverfahren 200 ist.
In einigen Ausführungsformen der Vorrichtung beinhaltet das Vergleichen von Merkmalsvektor(en) 256 und Vorlagen von Vorlagenraum 220, um ein Übereinstimmungsergebnis 260 zu erhalten, ein Verwenden von einem oder von mehreren Klassifizierern oder ein klassifizierungsfähiges Netzwerk, um die Unterschiede zwischen dem Merkmalsvektor(en) 256 und den Vorlagen aus dem Vorlagenraum 220 zu klassifizieren und zu evaluieren. Beispiele für unterschiedliche Klassifizierer, die verwendet werden können, umfassen, sind jedoch nicht beschränkt auf, lineare, stückweise lineare, nichtlineare Klassifizierer, Unterstützungsvektormaschinen und neuronale Netzwerkklassifizierer. In einigen Ausführungsformen ist die Vorrichtung konfiguriert, um das Übereinstimmungsergebnis 260 unter Verwendung von Abstandsergebnissen zwischen Merkmalsvektor(en) 256 und Vorlagen aus dem Vorlagenraum 220 zu bewerten.
In 262 wird ein Übereinstimmungsergebnis 260 mit einem Entsperrschwellwert 264 für die Vorrichtung 100 verglichen. Der Entsperrschwellwert kann einen minimalen Unterschied (z. B. eine Entfernung in dem Merkmalsraum) in Merkmalen (wie durch die Merkmalsvektoren definiert) zwischen dem Gesicht des berechtigten Benutzers und dem Gesicht des Benutzers in dem Entsperrversuchsbild, welches die Vorrichtung 100 benötigt, um die Vorrichtung zu entsperren (oder um ein Merkmal auf der Vorrichtung zu entsperren) darstellen. Zum Beispiel kann der Entsperrschwellwert 264 ein Schwellwert sein, der bestimmt, ob die Entsperrmerkmalsvektoren (z. B. die Merkmalsvektoren 256) ähnlich genug sind (z. B. nahe genug) zu den Vorlagen, die dem Gesicht des autorisierten Benutzers zugeordnet sind (z. B. die statischen Vorlagen 216 im Vorlagenraum 220). Als ein weiteres Beispiel kann der Entsperrschwellwert 264 durch den Kreis 265 im Merkmalsraum 212 dargestellt werden, der in 5 abgebildet ist. Wie in 5 gezeigt befindet sich der Merkmalsvektor 256A innerhalb des Kreises 265 und somit würde der Merkmalsvektor 256A ein Übereinstimmungsergebnis 260 oberhalb der Entsperrschwellwert 264 aufweisen. Der Merkmalsvektor 256B liegt jedoch außerhalb des Kreises 265 und somit würde der Merkmalsvektor 256B ein Übereinstimmungsergebnis 260 unterhalb der Entsperrschwellwert 264 aufweisen. In bestimmten Ausführungsformen wird der Entsperrschwellwert 264 während der Herstellung und / oder durch die Firmware der Vorrichtung 100 eingestellt. In einigen Ausführungsformen ist die Vorrichtung konfiguriert, um den Entsperrschwellwert 264 durch die Vorrichtung 100 während des Betriebs der Vorrichtung, wie hierin beschrieben, zu aktualisieren (z. B. anzupassen).
Wie in 7 gezeigt, wird, in 262, wenn das Übereinstimmungsergebnis 260 über dem Entsperrschwellwert 264 liegt (d. h., das Gesicht des Benutzers in dem Entsperrversuchsbild entspricht im Wesentlichen dem Gesicht des autorisierten Benutzers), der Benutzer in dem Entsperrversuchsbild als der autorisierten Benutzer der Vorrichtung 100 authentifiziert und die Vorrichtung in 266 entsperrt. In bestimmten Ausführungsformen der Vorrichtung werden, nachdem die Vorrichtung 100 in 266 entsperrt wird, die Merkmalsvektoren 256 und das Übereinstimmungsergebnis 260 einem ersten Vorlagenaktualisierungsverfahren 300 bereitgestellt, in 8 gezeigt, welches Vorlagen im Vorlagenraum 220 hinzufügen oder ersetzen kann. In 262 wird, wenn das Übereinstimmungsergebnis 260 unter dem Entsperrschwellwert 264 liegt (z. B. nicht gleich zur oder über dem Entsperrschwellwert), die Vorrichtung 100 in 268 nicht entsperrt. Es soll angemerkt werden, dass die Vorrichtung 100 entweder gesperrt oder entsperrt sein kann, wenn das Übereinstimmungsergebnis 260 gleich zum Entsperrschwellwert 264 ist, in Abhängigkeit von einer gewünschten Einstellung für den Entsperrschwellwert (z. B. engere oder lockere Beschränkungen). Zusätzlich kann auch jede Option für einen Vergleich mit gleichem Übereinstimmungsergebnis angewendet werden, so wie dies für andere hier beschriebene Ausführungsformen gewünscht ist.
In einigen Ausführungsformen der Vorrichtung wird, in 270, eine Anzahl von Entsperrversuchen (beispielsweise die Anzahl der Versuche, die Vorrichtung 100 mit einem unterschiedlichen, in 252 erfassten Entsperrversuchsbild zu entsperren) gezählt. Wenn die Anzahl der Entsperrversuche in 270 unter einem ausgewählten Wert (z. B. einen Schwellwert) liegt, kann das Verfahren 250 erneut mit einem anderen Entsperrversuchsbild ausgeführt werden (z. B. wird ein neues Bild des Benutzers erfasst (z. B. ein Flut-IR-Bild oder ein Tiefenkartenbild). In einigen Implementierungen erfasst die Vorrichtung 100 das neue Bild des Gesichts des Benutzers automatisch, ohne den Benutzer zu fragen. In einigen Ausführungsformen kann der Benutzer, der versucht, die Vorrichtung 100 zu entsperren, zusätzliche, von der Kamera 102 aufgenommene Bilder von seinem / ihrem Gesicht aufweisen.
Wenn die Anzahl Entsperrversuche über dem ausgewählten Wert liegt, dann wird die Vorrichtung 100 vor weiteren Versuchen Gesichts Authentifizierung in 272 zu verwenden gesperrt. In einigen Ausführungsformen der Vorrichtung, wenn die Vorrichtung in 272 gesperrt ist, kann eine Fehlermeldung angezeigt werden (z. B. auf der Anzeige 108), die anzeigt, dass das Authentifizierungsverfahren für die Gesichtserkennung 250 fehlgeschlagen ist und / oder die gewünschte Operation der Vorrichtung 100 wird eingeschränkt oder daran gehindert durchgeführt zu werden. Die Vorrichtung 100 kann vor weiteren Versuchen, eine Gesichtsauthentifizierung in 272 für eine spezifizierte Zeitspanne zu verwenden gesperrt werden und / oder sie kann gesperrt werden, bis ein anderes Authentifizierungsprotokoll verwendet wird, um die Vorrichtung zu entsperren. Beispielsweise kann ein Passwort-Entsperren 274 verwendet werden, um die Vorrichtung 100 zu entsperren. Das Passwort-Entsperren 274 kann ein Verwenden eines Passworts, eines Kennworts, eine Mustereingabe, einer unterschiedliche Form der biometrischen Authentifizierung oder eines anderen Authentifizierungsprotokolls beinhalten, um die Vorrichtung 100 zu entsperren. In einigen Ausführungsformen beinhaltet das Passwort-Entsperren 274 ein Bereitstellen einer Aufforderung „verwende Passwort/Kennwort/Muster“, die, wenn sie ausgewählt wird, eine Passwort/Kennwort/Muster-Eingabe-Benutzerschnittstelle zur Anzeige bringt oder einer Passwort/Kennwort/Muster-Eingabe-Benutzerschnittstelle oder eines „Benutze Fingerabdruck“-Prompts, der den Benutzer auffordert einen Finger auf einen Fingerabdrucksensor für die Vorrichtung zu platzieren. In einigen Ausführungsformen der Vorrichtung werden die Entsperrmerkmalsvektoren 256 und das Übereinstimmungsergebnis 260 einem zweiten Vorlagenaktualisierungsverfahren 400 bereitgestellt, in 11 gezeigt, nachdem die Vorrichtung 100 unter Verwendung des Passwortes in 274 entsperrt wurde.
8 zeigt ein Flussdiagramm des ersten Vorlagenaktualisierungsverfahrens 300. Das Verfahren 300 kann verwendet werden, um von dem Vorlagenraum 220 (in 6 gezeigt) mit einem oder mehreren zusätzlichen dynamischen Vorlagen 226 basierend auf Merkmalsvektor(en) 256 vom Verfahren 250 zu aktualisieren. Das Verfahren 300 kann verwendet werden, um den Vorlagenraum 220 für allmähliche Änderungen in der Erscheinung des autorisierten Benutzers zu aktualisieren. Zum Beispiel kann das Verfahren 300 den Vorlagenraum 220 für allmähliche Veränderungen des Haars (z. B. Haarfarbe, Haarlänge und / oder Frisur), Gewichtszunahme, Gewichtsverlust, Veränderungen der getragenen Brille oder kleine Schönheitsfehleränderungen (z. B. schwarze Augen, Narben, usw.) aktualisieren. Ein Aktualisieren des Vorlagenraumes 220 für allmähliche Änderungen ermöglicht es dem autorisierten Benutzer, weiterhin auf die Vorrichtung 100 zuzugreifen, unter Verwendung des Authentifizierungsverfahrens für die Gesichtserkennung 250.
Das Verfahren 300 kann mit dem Bewerten 302 beginnen, wenn das Übereinstimmungsergebnis 260 über dem Schwellwert 304 liegt. Der Schwellwert 304 kann ein Schwellwertergebnis sein, um zu bestimmen, ob der Merkmalsvektor(en) 256 ähnlich (zum Beispiel nahe) genug zu den Merkmalsvektoren 210 (von statischen Vorlagen 216) ist, dass der Merkmalsvektor(en) 256 möglicherweise als eine andere Vorlage verwendet werden kann (z. B. kann das Schwellwertergebnis bestimmen, ob die Merkmalsvektoren 256 innerhalb eines bestimmten Abstandes von den Merkmalsvektoren 210 liegen). In bestimmten Ausführungsformen ist der Schwellwert 304 größer als der Entsperrschwellwert 264 (z. B. erfordert der Schwellwert 304 ein höheres Übereinstimmungsergebnis als der Entsperrschwellwert 264). Somit kann der Schwellwert für den Merkmalsvektor(en) 256, der eine Vorlage wird, strenger sein als der Schwellwert zum Entsperren der Vorrichtung. Der Schwellwert 304 kann während der Herstellung und / oder durch die Firmware der Vorrichtung 100 eingestellt werden. Der Schwellwert 304 kann durch die Vorrichtung 100 während eines Betriebs der Vorrichtung, wie hierin beschrieben, aktualisiert (z. B. angepasst) werden.
In einigen Ausführungsformen der Vorrichtung, wenn das Übereinstimmungsergebnis 260 unter dem Schwellwert 304 liegt, wird das Verfahren 300 gestoppt und der Merkmalsvektor(en) 256 wird von der Vorrichtung 100 gelöscht. In einigen Ausführungsformen der Vorrichtung, wenn das Übereinstimmungsergebnis 260 unter dem Schwellwert 304 liegt, fährt das Verfahren 300 mit dem Vorlagenaktualisierungs-Subverfahren 300A fort, das in 10 beschrieben ist. Wenn das Übereinstimmungsergebnis 260 über dem Schwellwert 304 liegt, wird das Verfahren 300 fortgesetzt. In einigen Ausführungsformen werden nach dem Bewerten 302 eine oder mehrere Qualitäten in dem Entsperrversuchsbild in 306 bewertet. Zum Beispiel Pose (z. B. Neigen, Gieren und Rollen des Gesichts), Okklusion, Aufmerksamkeit, Sichtfeld und / oder Abstand in dem Entsperrversuchsbild kann in 306 bewertet werden. Die Pose und / oder die Okklusion in dem Entsperrversuchsbild kann unter Verwendung der hier beschriebenen Orientierungspunktmerkmals- und / oder Okklusionskarten bewertet werden. In 308, wenn geeignete Voraussetzungen nicht erfüllt werden, kann das Verfahren 300 gestoppt werden. In bestimmten Ausführungsformen der Vorrichtung umfasst das Einhalten geeigneter Voraussetzungen das Einhalten ausgewählter Kriterien in den Bildern für eine oder mehrere der oben beschriebenen bewerteten Qualitäten. Zum Beispiel können ausgewählte Kriterien umfassen, sind aber nicht darauf beschränkt, dass das Gesicht des Benutzers sich im Sichtfeld der Kamera befindet, dass eine Pose des Benutzers korrekt ist (z. B. das Gesicht des Benutzers ist nicht zu weit in irgendeine Richtung von der Kamera gedreht (d. h. die Neigung, das Gieren und / oder Rollen des Gesichts liegen nicht über bestimmten Niveaus), dass sich ein Abstand zu dem Gesicht des Benutzers innerhalb eines bestimmten Abstands befindet, dass das Gesicht des Benutzers eine Okklusion unter einem Mindestwert aufweist (z. B. das Gesicht des Benutzers wird nicht mehr als ein Mindestbetrag von einem anderen Objekt verdeckt), dass der Benutzer auf die Kamera achtet (z. B. die Augen des Benutzers, der die Kamera betrachtet), dass die Augen des Benutzers nicht geschlossen sind, und richtige Beleuchtung (Illumination) in dem Bild. In einigen Ausführungsformen der Vorrichtung kann das Bewerten von Qualitäten in 306 und 308 an einer anderen Stelle innerhalb des Verfahrens 300 auftreten. Zum Beispiel kann das Bewerten von Qualitäten in 306 und 308 auftreten, nachdem das Übereinstimmungsergebnis 324 mit dem Schwellwert 326 verglichen wurde oder nachdem das Vertrauensergebnis 332 mit dem Vertrauensergebnis 334 in 336 verglichen wurde, wie nachstehend beschrieben.
Wenn geeignete Voraussetzungen in 308 erfüllt sind, fährt das Verfahren 300, in 310, mit einem Speichern der Merkmalsvektor(en) 256 in einem Backup-Speicherplatz im Speicher der Vorrichtung 100 fort. Der Backup-Speicherplatz im Speicher kann beispielsweise ein zweiter Speicherplatz oder ein temporärer Speicherplatz in dem Speicher sein, der einen lesbaren / beschreibbaren Speicher und / oder einen Kurzzeitspeicher enthält. Der Merkmalsvektor(en) 256 kann in dem Speicher als temporäre Vorlage 312 gespeichert sein.
In bestimmten Ausführungsformen der Vorrichtung, nachdem die temporäre Vorlage 312 in den Backup-Speicherplatz in dem Speicher gespeichert ist, fährt das Verfahren 300 mit einem Vergleichen der temporären Vorlage mit den Merkmalsvektoren von zusätzlichen Entsperrversuchsbildern, die durch die Vorrichtung 100 für den autorisierten Benutzer erfasst wurden, fort. In 314 werden zusätzliche Entsperrversuchsbilder des Benutzers (oder der Benutzer, wenn ein unautorisierter Zugriff versucht wird) als der oder die Benutzer während zusätzlichen (zukünftigen) Entsperrversuchen des Geräts 100 erfasst. Die Merkmale des Gesichts des Benutzers in den zusätzlichen Entsperrversuchsbildern werden in 316 kodiert, um Merkmalsvektoren 318 zu erzeugen. In 320 werden die Merkmalsvektoren 318 mit der temporären Vorlage 312 verglichen, um ein Übereinstimmungsergebnis 322 zu erhalten.
Das Übereinstimmungsergebnis 322 kann dann in 324 mit dem Schwellwert 326 verglichen werden. In einigen Ausführungsformen ist der Schwellwert 326 der Entsperrschwellwert 264. In einigen Ausführungsformen ist der Schwellwert 326 der Schwellwert 304. Wenn das Übereinstimmungsergebnis 322 in 324 über dem Schwellwert 326 liegt, dann wird in 328 ein erfolgreicher Versuch gezählt. Wenn der das Übereinstimmungsergebnis 322 in 324 unter dem Schwellwert 326 liegt, wird ein erfolgloser Versuch in 330 gezählt. Die Zählungen 328 und 330 können fortgesetzt werden, bis eine gewünschte Anzahl von Entsperrversuchen durchgeführt wurde (z. B. eine gewünschte Anzahl von Vergleichen von Übereinstimmungsergebnis 322 und Schwellwert 326). Sobald die gewünschte Anzahl von Versuchen erfolgt ist, kann die Anzahl der erfolgreichen Versuche in 328 von der Gesamtzahl der Entsperrversuche (z. B. die Summe der Zählungen 328 und 330) verwendet werden, um das Vertrauensergebnis 332 für die temporäre Vorlage 312 zu bewerten. Zum Beispiel können 45 erfolgreiche Versuche von gesamthaft 50 Entsperrversuchen vorliegen, so dass das Vertrauensergebnis 332 45 / 50 oder 90% beträgt. Das Vertrauensergebnis 332 kann verwendet werden, um zu beurteilen, ob die Vorlage 312 als dynamische Vorlage 226 zu dem in 6 gezeigten Vorlagenraum 220 hinzugefügt wird oder nicht.
Wie oben beschrieben werden, initial nach der Anmeldung, die Anmeldungsvorlagen (z. B. die statischen Vorlagen 216 in 6) zu dem statischen Abschnitt 222 des Vorlagenraumes 220 hinzugefügt. Nach dem Anmeldungsverfahren und die statischen Vorlagen 216 werden zu dem statischen Abschnitt 222 hinzugefügt, kann das Verfahren 300, in 8 gezeigt, verwendet werden, um zusätzliche Vorlagen zu dem Vorlagenraum 220 hinzuzufügen. Zusätzliche Vorlagen können zu dem dynamischen Abschnitt 224 als dynamische Vorlagen 226 hinzugefügt werden (z. B. ein Abschnitt, aus dem Vorlagen hinzugefügt und gelöscht werden können, ohne dass ein Zurücksetzen einer Vorrichtung erforderlich ist). Die dynamischen Vorlagen 226 können in Kombination mit statischen Vorlagen 216 im Vorlagenraum 220 für das Authentifizierungsverfahren für die Gesichtserkennung 250 verwendet werden, wie in 7 gezeigt.
In bestimmten Ausführungsformen der Vorrichtung werden temporäre Vorlagen 312, die von dem Verfahren 300, in 8 gezeigt, erzeugt werden, zu dem dynamischen Abschnitt 224 als dynamische Vorlagen 226, in 6 gezeigt, hinzugefügt, wenn das Vertrauensergebnis 332 für die temporäre Vorlage 312 höher ist als ein niedrigstes Vertrauensergebnis für die statischen Vorlagen 216 in dem statischem Abschnitt 222. Das Vertrauensergebnis 334 kann gleich zu einem niedrigsten Vertrauensergebnis für die statischen Vorlagen 216 in dem statischen Abschnitt 222 sein, welche während den gleichen Entsperrversuchen bewertet werden, die verwendet werden, um das Vertrauensergebnis 332 für die temporäre Vorlage 312 zu bewerten (z. B. das Vertrauensergebnis für die Vorlage mit der niedrigsten Anzahl erfolgreicher Entsperrversuche während den gleichen Entsperrversuchen unter Verwendung der temporären Vorlage 312). Das Vertrauensergebnis 334 kann unter Verwendung des gleichen Schwellwerts bewertet werden, der für das Vertrauensergebnis 332 (z. B. der Schwellwert 326) verwendet wird.
In bestimmten Ausführungsform, falls in 336 das Vertrauensergebnis 332 größer als das Vertrauensergebnis 334 ist, wird die temporäre Vorlage 312, in 338, als dynamische Vorlage 226 im dynamischen Abschnitt 224 hinzugefügt. Wenn beispielsweise die temporäre Vorlage 312 45 erfolgreiche Entsperrversuche von gesamthaft 50 Entsperrversuchen aufweist während eine statische Vorlage 216 nur 40 erfolgreiche Entsperrversuche aus den gleichen gesamthaft 50 Entsperrversuchen aufweist, dann kann die temporäre Vorlage 312 zu dem dynamischen Abschnitt 224 als eine der dynamischen Vorlagen 226 hinzugefügt werden. Falls in 336 das Vertrauensergebnis 332 kleiner als das Vertrauensergebnis 334 ist, dann wird die temporäre Vorlage 312 in 340 ignoriert oder gelöscht. Temporäre Vorlagen 312 können hinzugefügt werden, bis eine maximale Anzahl erlaubter dynamischer Vorlagen 226 in dem dynamischen Abschnitt 224 gespeichert sind.
Sobald der dynamische Abschnitt 224 seine maximale Anzahl von dynamischen Vorlagen 226 in dem dynamischem Abschnitt 224 erreicht, kann die temporäre Vorlage 312 eine der dynamischen Vorlagen 226 in 338 ersetzen. Zum Beispiel kann die temporäre Vorlage 312 eine von den dynamischen Vorlagen 226 ersetzen, wenn die temporäre Vorlage weniger ein Ausreißer als eine der dynamischen Vorlagen 226 ist. In bestimmten Ausführungsformen wird eine statistische Analyse der Merkmalsvektoren, die die dynamischen Vorlagen 226 und die temporäre Vorlage 312 darstellen, verwendet, um zu bewerten, ob die temporäre Vorlage 312 weniger einen Ausreißer als eine der dynamischen Vorlagen 226 ist. Die statistische Analyse kann zum Beispiel Klassifikationsalgorithmen umfassen, die auf Merkmalsvektoren für die Vorlagen betrieben werden.
9 zeigt eine Darstellung einer Ausführungsform des Vorlagenraums 220, der als Merkmalsraum dargestellt ist. In der Merkmalsraumdarstellung des Vorlagenraums 220 sind statische Vorlagen 216, dynamische Vorlagen 226 und temporäre Vorlagen 312 durch Merkmalsvektoren dargestellt. Zum Beispiel werden statische Vorlagen 216 durch Kreise dargestellt, dynamische Vorlagen 226 werden durch Rauten dargestellt und die temporäre Vorlage 312 wird durch einen Stern dargestellt. In bestimmten Ausführungsformen, wie oben beschrieben, dürfen statische Vorlagen 216 nicht durch temporäre Vorlagen 312 ersetzt werden. Folglich kann, wenn der dynamische Abschnitt 224 seine maximale Anzahl dynamische Vorlagen 226 erreicht hat, die temporäre Vorlage 312 eine der dynamischen Vorlagen 226 ersetzen, wenn die temporäre Vorlage 312 weniger ein Ausreißer als eine der dynamischen Vorlagen 226 ist.
Die statistische Analyse der Merkmalsvektoren in dem Merkmalsraum, die mit dem Vorlagenraum 220 korrelieren, kann einen Kreis erzeugen (z. B. den Kreis 342), der eine maximale Anzahl der Merkmalsvektoren am genauesten definiert. Wie in 9 gezeigt, definiert der Kreis 342 den Merkmalsvektor für die dynamische Vorlage 226' als einen Ausreißer des Kreises. Der Merkmalsvektor für die dynamische Vorlage 226' ist eher ein Ausreißer als der Merkmalsvektor für die temporäre Vorlage 312. Somit kann die temporäre Vorlage 312 die dynamische Vorlage 226' im Vorlagenraum 220 ersetzen. Wenn die temporäre Vorlage 312 mehr Ausreißer gewesen wäre als jede der dynamischen Vorlagen 226, dann hat die temporäre Vorlage möglicherweise keine der dynamischen Vorlagen 226 ersetzt.
In bestimmten Ausführungsformen, wenn die temporäre Vorlage 312 eine dynamische Vorlage 226' in dem Vorlagenraum 100 ersetzt, können ein oder mehrere Schwellwerte für die Vorrichtung 100 erneut berechnet werden. Da die temporäre Vorlage 312 weniger ein Ausreißer als eine dynamische Vorlage 226' ist, kann eine Neuberechnung des/der Schwellwert(e) ferner die Schwellwerte beschränken (z. B. erhöhen des Schwellwerts für Übereinstimmungsergebnisse, um eine bessere Übereinstimmung zu erfordern). In einigen Ausführungsformen wird der Entsperrschwellwert (z. B. der Entsperrschwellwert 264, in 7 gezeigt) verschärft, wenn die temporäre Vorlage 312 die dynamische Vorlage 226' im Vorlagenraum 220 ersetzt. In einigen Ausführungsformen wird ein Vorlagenaktualisierungsschwellwert (z. B. der Schwellwert 304, in 8 gezeigt) verschärft, wenn die temporäre Vorlage 312 die dynamische Vorlage 226' im Vorlagenraum 220 ersetzt.
10 zeigt ein Flussdiagramm des Vorlagenaktualisierungs-Subverfahrens 300A. Wie oben beschrieben, kann das Subverfahren 300A fortfahren, wenn das Übereinstimmungsergebnis 260 unter dem Schwellwert 304, aber über dem Entsperrschwellwert 264 liegt. Bilder mit Übereinstimmungsergebnissen 260 in einem solchen Bereich (oberhalb des Entsperrschwellwerts 264 und unterhalb des Schwellwerts 304) können eine größere Unsicherheit in einer Übereinstimmung aufweisen als Bilder, die über dem Schwellwert 304 liegen (während sie immer noch in der Lage sind, die Vorrichtung 100 zu entsperren). Somit können diese unsichereren Bilder unter Verwendung des Subverfahrens 300A verarbeitet werden.
Im Subverfahren 300A, werden eine oder mehr Qualitäten in dem Entsperrversuchsbild in 350 beurteilt. Ein der Qualitäten des Entsperrversuchsbilds in 350 kann im Wesentlichen ähnlich sein, zu einem Beurteilen der Qualitäten in 306 und 308, wie in 8 gezeigt. Wie in 10 gezeigt, wenn das Entsperrversuchsbild die Bewertung von Qualitäten (z. B. erfüllt Voraussetzungen) in 350 besteht, dann kann in 352 eine Bestimmung gemacht werden, ob Speicherplatz (z. B. Raum) in dem Backup-Speicherplatz, der für temporäre Vorlagen 312 verwendet wird, vorhanden ist, um eine weitere temporäre Vorlage zu speichern (z. B. eine Bestimmung, ob eine maximale Anzahl von temporären Vorlagen 312 in dem Backup-Speicherplatz gespeichert ist).
Wenn es kein Raum in dem Backup-Speicherplatz gibt („N“), dann kann das Entsperrversuchsbild (und die entsprechenden Merkmalsvektoren) Gegenstand einer Löschrichtline 354 sein, wie in 10 gezeigt. In der Löschrichtlinie 354 kann ein Merkmalsvektor(en) in dem Backup-Speicherplatz (z. B. dem Speicherplatz für temporäre Vorlagen 312), der eine ausgewählte Redundanz (z. B. ist am meisten redundant) zu den existierenden Merkmalen aufweist, in dem Backup-Speicherplatz ersetzt werden.
Wenn es Raum in dem Backup-Speicherplatz („Y“) gibt, dann werden die Merkmalsvektoren für das Entsperrversuchsbild zu dem Backup-Speicherplatz als eine temporäre Vorlage in 356 hinzugefügt (z. B. die temporäre Vorlage 312). Sobald die temporäre Vorlage von dem Subverfahren 300A in 356 zu dem Backup-Speicherplatz hinzugefügt wird, kann die temporäre Vorlage im Wesentlichen als temporäre Vorlage 312 verarbeitet werden (z. B. im Vergleich zu zusätzlichen Entsperrversuchsbildern, wie in 8 gezeigt). In bestimmten Ausführungsformen wird die temporäre Vorlage von dem Subverfahren 300A für einen ausgewählten Zeitraum als eine Vorlage verwendet (z. B. temporäre Vorlage 312 und / oder dynamische Vorlage 226). Weil beispielsweise die temporäre Vorlage aus dem Subverfahren 300A ursprünglich mit einer höheren Unsicherheit als andere Vorlagen hinzugefügt wurde, kann die für die Verwendung der temporären Vorlage aus dem Subverfahren 300A erlaubte Zeit begrenzt sein (z. B. weist die temporäre Vorlage eine begrenzte Lebenszeit auf). In einigen Ausführungsformen ist die ausgewählte Zeitdauer eine maximale Menge erfolgreicher Entsperrversuche unter Verwendung der temporären Vorlage von dem Subverfahren 300A.
Wie oben beschrieben, kann das erste Vorlagenaktualisierungsverfahren 300 verwendet werden, um ein Benutzeranmeldungsprofil (z. B. Vorlagen im Vorlagenraum) zu aktualisieren, wenn die Vorrichtung 100 entsperrt wird oder unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 auf die Vorrichtung 100 zugegriffen wird. Das erste Vorlagenaktualisierungsverfahren 300 kann zum Beispiel verwendet werden, um ein Anmeldungsprofil eines Benutzers in Antwort auf allmähliche Änderungen der Erscheinung des Benutzers (z. B. Gewichtszunahme / -verlust) zu aktualisieren.
In einigen Ausführungsformen können sich jedoch die Gesichtsmerkmale von einem autorisierten Benutzer (z. B. die Gesichtszüge des Benutzers) drastisch verändert haben, oder zumindest in einem Ausmaß, das groß genug ist, dass für den Benutzer Schwierigkeiten auftreten können Funktionen (z. B. Operationen) auf der Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 zu entsperren oder auf diese zuzugreifen, dargestellt in 7. Drastische oder große Veränderungen des Gesichtsaussehens des Benutzers können z. B. das Rasieren eines Bartes oder Schnurrbartes, das Erlangen einer großen Narbe oder anderer Schönheitsfehler im Gesicht, drastische Veränderungen des Make-ups, drastische Haarveränderungen umfassen. In einigen Fällen kann der Benutzer auch Schwierigkeiten beim Entsperren / Zugreifen auf die Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 haben, wenn während des Anmeldungsverfahrens ein Fehler aufgetreten ist und / oder es große Unterschiede zwischen der Umgebung des Benutzers während des Entsperrversuchs und dem Zeitpunkt der Anmeldung gibt. Die Schwierigkeit beim Entsperren der Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 kann für den Benutzer eine frustrierende Erfahrung sein. Wenn beim Entsperren der Vorrichtung 100 mit dem Authentifzierungsverfahrens für die Gesichtserkennung 250 aufgrund der oben beschriebenen Änderungen / Probleme Schwierigkeiten auftreten, kann ein zweites Vorlagenaktualisierungsverfahren (z. B. des zweite Vorlagenaktualisierungsverfahren 400, unten beschrieben) verwendet werden, um dem Benutzer zumindest vorübergehend den Zugriff auf die Vorrichtung unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung zu ermöglichen, trotz der Probleme / Änderungen, nach einer Verifizierung der Identität des Benutzers unter Verwendung eines zweiten Authentifizierungsprotokolls.
Wie in 7 gezeigt, kann der Benutzer eine Anzahl von Entsperrversuchen unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 erfolglos durchführen, bis die Anzahl der nicht erfolgreichen Entsperrversuche den ausgewählten Wert erreicht und die Vorrichtung 100 vor weiteren Versuchen das Authentifzierungsverfahren für die Gesichtserkennung zu verwenden gesperrt wird. Zu diesem Zeitpunkt kann dem Benutzer eine oder mehrere Optionen zum Fortfahren mit einer anderen Art von Authentifizierung zum Entsperren oder Zugreifen auf Merkmale auf der Vorrichtung 100 dargeboten werden (z. B. werden dem Benutzer Optionen zum Fortfahren mit einem zweiten Authentifizierungsprotokoll dargeboten). Das Darbieten der Optionen kann beispielsweise ein Anzeigen einer oder mehrerer Optionen auf der Anzeige 108 der Vorrichtung 100 umfassen und ein Auffordern des Benutzers durch hörbare und / oder visuelle Kommunikation, eine der angezeigten Optionen auszuwählen, um mit dem Entsperren der Vorrichtung oder dem Zugreifen auf Merkmale auf der Vorrichtung fortzufahren. Der Benutzer kann dann mit dem Entsperren / Zugreifen auf die Vorrichtung 100 fortfahren, indem er die ausgewählte Option verwendet und zusätzlichen akustischen und / oder visuellen Eingabeaufforderungen nach Bedarf folgt. Nach einer erfolgreichen Authentifizierung unter Verwendung der ausgewählten Option kann die anfängliche Anfrage des Benutzers zum Entsperren / Zugreifen auf die Vorrichtung 100 gewährt werden. Nachdem der Benutzer unter Verwendung der ausgewählten Option erfolgreich authentifiziert wurde, kann die Vorrichtung 100 außerdem das Anmeldungsprofil des Benutzers (z. B. unter Verwendung des unten beschriebenen zweiten Vorlagenaktualisierungsverfahrens 400) zumindest zeitweilig aktualisieren, um es dem Benutzer zu ermöglichen in der Lage zu sein, die Vorrichtung bei zukünftigen Entsperrversuchen unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 freizuschalten, trotz der Änderungen im Gesichtsaussehen des Benutzers, die zuvor den Benutzer daran hinderten, das Authentifzierungsverfahren für die Gesichtserkennung 250 zum Entsperren / Zugreifen auf die Vorrichtung zu verwenden. Somit kann der Benutzer durch erfolgreiches Erfüllen der Authentifizierung unter Verwendung der ausgewählten Option automatisch in der Lage sein, auf die Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 bei zukünftigen Entsperrversuchen für mindestens eine kurze Zeitperiode zuzugreifen.
11 zeigt ein Flussdiagramm des zweiten Vorlagenaktualisierungsverfahrens 400. Das Verfahren 400 kann verwendet werden, wenn das Authentifzierungsverfahren für die Gesichtserkennung 250 nicht in der Lage ist die Vorrichtung 100 zu entsperren, aber die Vorrichtung unter Verwendung eines Passwortes oder eines anderen Authentifizierungprotokolls entsperrt ist, wie in 7 gezeigt. In einigen Ausführungsformen kann das Verfahren 400 verwendet werden, wenn die Vorrichtung 100 unter Verwendung eines Passwortes sofort nach dem Entsperrversuch fehlschlägt oder innerhalb einer vorgegebenen Zeit nach dem Entsperrversuch fehlschlägt (z. B. in zeitlicher Nähe zum Entsperrversuch). In bestimmten Ausführungsformen wird das Verfahren 400 dazu verwendet, den Vorlagenraum 220 zu aktualisieren, wenn sich Gesichtsmerkmale des berechtigten Benutzers in einem Ausmaß geändert haben, das verhindert, dass von einem Entsperrversuchsbild erzeugte Merkmalsvektoren (z. B. Merkmalsvektoren 256) nahe genug (z. B. innerhalb des Schwellwertabstands) zu den statischen Vorlagen 216 und / oder den dynamischen Vorlagen 226 sind, um zu ermöglichen, dass die Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 entsperrt wird, in 7 gezeigt. Zum Beispiel kann das Verfahren 400 für den Merkmalsvektor 256B verwendet werden, der außerhalb des Kreises 265 (des Entsperrschwellwertkreises) in 5 dargestellt ist. Mögliche Ursachen für den Benutzer, in der Lage zu sein, die Vorrichtung 100 unter Verwendung des Authentifzierungsverfahrens für die Gesichtserkennung 250 zu entsperren, umfassen, sind jedoch nicht darauf beschränkt, wenn der autorisierte Benutzer einen Bart oder Schnurrbart rasiert, eine große Narbe oder einen anderen Schönheitsfehler auf dem Gesicht bekommt, große Veränderungen am Make-up, drastische Haarveränderung, oder eine andere schwerwiegende Änderung in einem Gesichtsmerkmal, diese Änderungen können sofortige Änderungen oder „schrittweise Änderungen“ in den Gesichtsmerkmalen des autorisierten Benutzers sein, die es dem ersten Vorlagenaktualisierungsverfahren 300 nicht erlauben, den Vorlagenraum 220 allmählich im Laufe der Zeit zu aktualisieren.
Das zweite Vorlagenaktualisierungsverfahren 400 kann mit einem Bewerten 402 beginnen, ob das Übereinstimmungsergebnis 260 über dem Schwellwert 404 liegt. Der Schwellwert 404 kann ein Schwellwertergebnis zum Bestimmen sein, ob der Merkmalsvektor(en) 256 den Merkmalsvektoren 210 (von statischen Vorlagen 216) ähnlich (z. B. nahe) genug ist, dass der Merkmalsvektor(en) 256 möglicherweise als eine andere Vorlage verwendet werden kann. In bestimmten Ausführungsformen liegt der Schwellwert 404 für das Verfahren 400 unterhalb des Entsperrschwellwerts 264. Der Schwellwert 404 kann unterhalb des Entsperrschwellwert 264 liegen (z. B. mehr Abstand erlaubt zwischen Merkmalsvektoren und den Vorlagen), da das Passwort (oder eine andere Authentifizierung) vor dem Beginn des Verfahrens 400 eingegeben wurde. Somit kann der Schwellwert für den Merkmalsvektor(en) 256, der eine Vorlage im Verfahren 400 wird, weniger strikt sein als der Schwellwert zum Entsperren der Vorrichtung und der Schwellwert für das Verfahren 300, gezeigt in 8. Der Schwellwert 404 kann jedoch auf einen Wert gesetzt werden, der einen maximal zulässigen Abstand zwischen den Merkmalsvektoren 256 für das Entsperrversuchsbild und den Merkmalsvektoren für den Vorlagenraum 220 einstellt. Das Einstellen des maximal zulässigen Abstands kann verwendet werden, um zu verhindern, dass ein Benutzer, der nicht der autorisierter Benutzer ist, jedoch das Passwort für die Vorrichtung 100 hat, für das Authentifzierungsverfahren für die Gesichtserkennung auf der Vorrichtung aktiviert wird. Der Schwellwert 404 kann während der Herstellung und / oder durch die Firmware der Vorrichtung 100 eingestellt werden. Der Schwellwert 404 kann durch die Vorrichtung 100 während des Betriebs der Vorrichtung, wie hierin beschrieben, aktualisiert werden (z. B. angepasst werden) (z. B. nachdem Vorlagen hinzugefügt oder im Vorlagenraum 220 ersetzt werden).
Das Verfahren 404 kann gestoppt werden und der Merkmalsvektor(en) 256 wird von der Vorrichtung 100 gelöscht, wenn das Übereinstimmungsergebnis 260 unter dem Schwellwert 404 liegt. Wenn das Übereinstimmungsergebnis 260 über dem Schwellwert 404 liegt, wird das Verfahren 400 fortgesetzt. In einigen Ausführungsformen der Vorrichtung wird, nach dem Bewerten 404, eine oder mehrere Qualitäten in dem Entsperrversuchsbild in 406 bewertet. Zum Beispiel können Pose (z. B. Neigung, Gieren und Rollen des Gesichts), Okklusion, Aufmerksamkeit, Sichtfeld und / oder Entfernung in dem Entsperrversuchsbild in 406 bewertet werden. In einigen Ausführungsformen werden Pose und / oder Okklusion in dem Entsperrversuchsbild unter Verwendung der hier beschriebenen Orientierungspunktmerkmals- und / oder Okklusionskarten bewertet. Wenn in 408 geeignete Voraussetzungen (wie oben beschrieben) nicht erfüllt sind, kann das Verfahren 400 gestoppt werden.
Wenn geeignete Voraussetzungen in 408 erfüllt sind, dann fährt das Verfahren 400 in 410 mit einem Speichern von Merkmalsvektor(en) 256 in einem Backup-Speicherplatz im Speicher der Vorrichtung 100 fort. Der Backup-Speicherplatz in dem Speicher zum kann ein anderer Speicherplatz sein als jener, welcher für das Verfahren 300 verwendet wird. Beispielsweise kann der Backup-Speicherplatz in dem Speicher für das Verfahren 400 ein temporärer Speicherplatz in dem Speicher sein, der lesbaren / beschreibbaren Speicher enthält, der von dem Speicherplatz partitioniert ist, welcher für das Verfahren 300 verwendet wird. Der Merkmalsvektor(en) 256 kann in dem Speicher als eine temporäre Vorlage 412 gespeichert sein.
In bestimmten Ausführungsformen der Vorrichtung kann, nachdem die temporäre Vorlage 412 in dem Backup-Speicherplatz gespeichert worden ist, die temporäre Vorlage 412 mit Merkmalsvektoren für zusätzliche Bilder von fehlgeschlagenen Entsperrversuchen der Vorrichtung 100 mit dem Authentifizierungsverfahren für die Gesichtserkennung verglichen werden. Beispielsweise können zusätzliche Bilder von fehlgeschlagenen Entsperrversuchen in 414 erfasst werden. Wenn das korrekte Passwort in 416 eingegeben wird, können Merkmalsvektoren für die in 414 erfassten Bilder in 418 kodiert werden, um Merkmalsvektoren 420 zu erzeugen.
In bestimmten Ausführungsformen werden, in 422, Merkmalsvektoren 420 mit Merkmalsvektor(en) für die temporäre Vorlage 412 verglichen. Ein Vergleich der Merkmalsvektoren 420 und der Merkmalsvektor(en) für die temporäre Vorlage 412 kann ein Übereinstimmungsergebnis 424 bereitstellen. Das Übereinstimmungsergebnis 424 kann in 426 mit dem Schwellwert 428 verglichen werden. Der Schwellwert 428 kann beispielsweise ein Ähnlichkeitsschwellwert oder ein Schwellwert sein, der mindestens ein minimales Übereinstimmungsniveau zwischen dem Merkmalsvektor(en) für die temporäre Vorlage 412 und den Merkmalsvektoren 420 definiert, welche aus zusätzlichen Bildern von fehlgeschlagenen Gesichtserkennungsauthentifizierungsversuchen, denen die Eingabe des Passwortes für die Vorrichtung 100 folgt, erhalten wurden. Somit kann der Schwellwert 428 auf einen Wert gesetzt werden, der zumindest eine minimale Wahrscheinlichkeit dafür gewährleistet, dass die Änderung der Benutzermerkmale, die den fehlgeschlagenen Entsperrversuch verursacht und die temporäre Vorlage 412 erzeugt hat, in den Bildern von weiteren fehlgeschlagenen Entsperrversuchen unter Verwendung von Gesichtserkennungsauthentifizierung noch vorhanden ist.
Wenn das Übereinstimmungsergebnis 424 in 426 über dem Schwellwert 428 liegt, dann wird in 430 eine erfolgreiche Übereinstimmung gezählt. Wenn das Übereinstimmungsergebnis 424 in 426 unter dem Schwellwert 428 liegt, dann wird in 430 eine erfolglose Übereinstimmung gezählt. Die Zählungen 430 und 432 können fortgesetzt werden bis eine gewünschte Anzahl von fehlgeschlagenen Entsperrversuchen unter Verwendung der Gesichtserkennungsauthentifizierung (z. B. einer gewünschte Anzahl von Vergleichen des Übereinstimmungsergebnisses 424 und des Schwellwerts 428) durchgeführt wurde. Sobald die gewünschte Anzahl von Versuchen durchgeführt wurde, kann die Anzahl der erfolgreichen Übereinstimmungen in 430 von der Gesamtzahl der fehlgeschlagenen Entsperrversuche (z. B. die Summe der Zählungen 430 und 432) verwendet werden, um das Vertrauensergebnis 434 für die temporäre Vorlage 412 zu bewerten. Zum Beispiel kann es 18 erfolgreiche Übereinstimmungen (z. B. Vergleiche) des Übereinstimmungsergebnisses 424 und des Schwellwerts 428 von insgesamt 20 fehlgeschlagenen Entsperrversuchen geben. Das Vertrauensergebnis 434 kann verwendet werden, um zu beurteilen, ob die Vorlage 412 als dynamische Vorlage 226 zu dem Vorlagenraum 220 hinzugefügt wird oder nicht, wie in 6 gezeigt.
In einigen Ausführungsformen kann angenommen werden, dass, wenn eine schrittweise Änderung an den Gesichtsmerkmalen des berechtigten Benutzers auftritt, die Schrittänderung für eine Anzahl von aufeinanderfolgenden Entsperrversuchen unter Verwendung der Gesichtserkennungsauthentifizierung bestehen bleibt. Wenn der Benutzer beispielsweise einen Bart rasiert hat, sollte die schrittweise Änderung zumindest für eine gewisse Zeitdauer (z. B. mindestens eine Woche) bestehen bleiben. Wenn in solchen Ausführungsformen ein erfolgreicher Entsperrversuch (oder eine gewünschte Anzahl erfolgreicher Entsperrversuche) unter Verwendung der Gesichtserkennungsauthentifizierung vor Erreichen einer ausgewählten Anzahl von aufeinanderfolgenden Entsperrversuchen (z. B. 10 oder 15 Entsperrversuche) erfolgt, dann kann die temporäre Vorlage 412 aus dem Backup-Speicherplatz im Speicher gelöscht werden. In einigen Ausführungsformen kann die Annahme, dass die schrittweise Änderung für eine Anzahl von aufeinanderfolgenden Entsperrversuchen bestehen bleibt, nicht zutreffen (z. B. wenn die schrittweise Änderung des Benutzers aufgrund einer vorübergehenden Anwendung von Make-up erfolgte).
In bestimmten Ausführungsformen wird, in 436, das Vertrauensergebnis 434 mit dem Schwellwert 438 verglichen, um zu beurteilen, ob das Vertrauensergebnis größer als der Schwellwert ist. Der Schwellwert 438 kann ein Schwellwert sein, der ausgewählt wird, um sicherzustellen, dass eine minimale Anzahl erfolgreicher Vergleiche des Übereinstimmungsergebnisses 424 und des Schwellwerts 428 erreicht wird, bevor zugelassen wird, dass die Vorlage 412 zum Vorlagenraum 220 hinzugefügt wird. In 436, wenn das Vertrauensergebnis 434 größer als der Schwellwert 438 ist, kann, in 440, die temporäre Vorlage 412 zu dem Vorlagenraum 220 hinzugefügt werden, oder die temporäre Vorlage 412 kann eine Vorlage in dem Vorlagenraum 220 ersetzen (z. B. kann sie eine der dynamischen Vorlagen 226 ersetzen). Wenn das Vertrauensergebnis 434 kleiner als der Schwellwert 438 ist, kann die temporäre Vorlage 412 in 442 ignoriert oder gelöscht werden.
Wie oben beschrieben, kann die temporäre Vorlage 412, die durch das Verfahren 400 erzeugt wird, zum dynamischen Abschnitt 224 des Vorlagenraumes 220 als eine der dynamischen Vorlagen 226 hinzugefügt werden, wie in 6 gezeigt. Für das Verfahren 400, in 11 gezeigt, wurde das Passwort (oder eine andere Authentifizierung) verwendet, um zu verifizieren, dass die temporäre Vorlage 412 für den autorisierten Benutzer ist. Somit wird, in bestimmten Ausführungsformen, die temporäre Vorlage 412 in 440 zum Vorlagenraum hinzugefügt, ohne einen Vergleich mit den dynamischen Vorlagen 226, die bereits im dynamischem Abschnitt 224 sind, zu benötigen. Wenn die maximale Anzahl der zulässigen dynamischer Vorlagen 226 im dynamischem Abschnitt 224 nicht erreicht worden ist, dann wird die temporäre Vorlage 412 zu dem dynamischen Abschnitt als eine der dynamischen Vorlagen 226 hinzugefügt.
Wenn die maximale Anzahl der zulässigen dynamischer Vorlagen 226 im dynamischem Abschnitt 224 erreicht ist, kann die temporäre Vorlage 412 eine von den dynamischen Vorlagen 226 in dem dynamischen Abschnitt ersetzen. Da das Passwort (oder eine andere Authentifizierung) verwendet wurde, um zu verifizieren, dass die temporäre Vorlage 412 für den autorisierten Benutzer ist, kann die temporäre Vorlage eine der dynamischen Vorlagen 226 in dem dynamischen Abschnitt 224 ersetzen, selbst wenn die temporäre Vorlage mehr ein Ausreißer als jede der dynamischen Vorlagen 226 ist. In bestimmten Ausführungsformen ersetzt die temporäre Vorlage 412 den größten Ausreißer der dynamischen Vorlagen 226 ungeachtet der relativen Lage (z. B. außerhalb) der temporären Vorlage. In einigen Ausführungsformen kann die temporäre Vorlage 412 eine dynamische Vorlage, die redundant (z. B. am meisten redundant) zu den vorhandenen dynamischen Vorlagen ist, ersetzen, selbst wenn die temporäre Vorlage mehr ein Ausreißer als jede der dynamischen Vorlagen ist.
12 zeigt eine Darstellung einer Ausführungsform des Vorlagenraums 220, der als ein Merkmalsraum mit einem Merkmalsvektor für die temporäre Vorlage 412 dargestellt ist. In 12 sind statische Vorlagen 216, dynamische Vorlagen 226 und die temporäre Vorlage 412 durch Merkmalsvektoren dargestellt. Die statischen Vorlagen 216 sind durch Kreise dargestellt, dynamische Vorlagen 226 sind durch Rauten dargestellt, und die temporäre Vorlage 412 ist durch einen Stern dargestellt. Wie oben beschrieben können statische Vorlagen 216 nicht durch die temporäre Vorlage 412 ersetzt werden. Wenn somit der dynamischer Abschnitt 224 seine maximale Anzahl von dynamischen Vorlagen 226 erreicht hat, kann die temporäre Vorlage 412 eine von den dynamischen Vorlagen 226 ersetzen.
Eine statistische Analyse der Merkmalsvektoren in dem Merkmalsraum, die mit dem Vorlagenraum 220 korrelieren, kann einen Kreis (z. B. den Kreis 444) erzeugen, der eine maximale Anzahl der Merkmalsvektoren am genauesten definiert. Wie in 12 gezeigt, ist der Merkmalsvektor für die dynamische Vorlage 226' der größte Ausreißer von jedem der Merkmalsvektoren für die dynamische Vorlagen 226. Somit kann die temporäre Vorlage 412 die dynamische Vorlage 226' im Vorlagenraum 220 unabhängig von der Position des Merkmalsvektors für die temporäre Vorlage ersetzen. In dem in 12 gezeigten Beispiel verschiebt die Hinzufügung des Merkmalsvektors für die temporäre Vorlage 412 den Kreis 444 hin zu dem Merkmalsvektor für die temporäre Vorlage 412 und kann bewirken, dass der Merkmalsvektor für die dynamische Vorlage 226' der größte Ausreißer des Kreises wird. In einigen Ausführungsformen, wenn die temporäre Vorlage 412 die dynamische Vorlage 226' in dem Vorlagenraum 220 ersetzt, können ein oder mehrere Schwellwerte für die Vorrichtung 100 neu berechnet werden.
In einigen Ausführungsformen kann eine temporäre Vorlage (z. B. entweder die temporäre Vorlage 312 oder die temporäre Vorlage 412) verwendet werden, um die Vorrichtung 100 für eine ausgewählte Zeitperiode zu entsperren, während die temporäre Vorlage in dem Backup-Speicherplatz des Speichers ist (zum Beispiel bevor die temporäre Vorlage zum Vorlagenraum 220 hinzugefügt wird). Die temporäre Vorlage kann verwendet werden, um die Vorrichtung 100 zu entsperren, nachdem das Passwort (oder ein anderes Benutzerauthentifizierungsprotokoll) in Kombination mit der temporären Vorlage verwendet wird. Beispielsweise wurde, für die temporäre Vorlage 412, das Passwort eingegeben, um die Vorrichtung 100 zu entsperren, bevor die temporäre Vorlage 412 erzeugt und im Backup-Speicherplatz des Speichers der Vorrichtung gespeichert wird. Die temporäre Vorlage 412 kann dann verwendet werden, um das Entsperren der Vorrichtung 100 unter Verwendung der Gesichtserkennungsauthentifizierung für eine ausgewählte Zeitspanne (z. B. einige Tage oder eine Woche) zu ermöglichen. Wenn die temporäre Vorlage 412 dem Vorlagenraum 220 nicht hinzugefügt wurde, nachdem der ausgewählte Zeitraum abgelaufen ist, kann der Benutzer zur Eingabe des Passwortes aufgefordert werden, wenn die Gesichtserkennungsauthentifizierung des Benutzers fehlschlägt.
In einigen Ausführungsformen werden mehrere Anmeldungsprofile auf der Vorrichtung 100 erzeugt. Es können mehrere Anmeldungsprofile erzeugt werden, um beispielsweise mehrere Benutzer auf der Vorrichtung 100 anzumelden und / oder mehrere Aussehen für einen einzelnen Benutzer anzumelden. Mehrere Aussehen für einen einzelnen Benutzer können Aussehen umfassen, die wesentlich verschieden sind und nicht unter Verwendung eines einzelnen Anmeldungsprofils erkannt werden können (z. B. trägt der Benutzer viel Make-up oder weist andere drastische Änderungen zu verschiedenen Tages- / Wochenzeiten auf). Beispielsweise kann ein einzelner Benutzer das Anmeldungsverfahren ein erstes Mal ausführen, um ein erstes Anmeldungsprofil zu erstellen, während er eine Brille trägt, und er kann das Anmeldungsverfahren ein zweites Mal ausführen, um ein zweites Anmeldungsprofil zu erstellen, während er keine Brille trägt.
In Ausführungsformen der Vorrichtung mit mehreren Anmeldungsprofilen, kann ein Bildanmeldungsverfahren 200 verwendet werden, um jedes Anmeldungsprofile als separates Anmeldungsprofil auf der Vorrichtung 100 zu erzeugen. Zum Beispiel kann das Verfahren 200 verwendet werden, um separate Vorlagen von Anmeldungsbildern für jedes Anmeldungsprofil zu erzeugen. Die separaten Vorlagen können in verschiedenen Teilen des Speichers der Vorrichtung 100 gespeichert sein (z. B. in partitionierten Abschnitten des Speicherplatzes, der zum Speichern der Vorlagen verwendet wird).
Mit mehreren in der Vorrichtung 100 gespeicherten Anmeldungsprofilen kann das Authentifizierungsverfahren für die Gesichtserkennung 250 Merkmale in Entsperrversuchsbildern mit jedem der verschiedenen Profile vergleichen (beispielsweise mit allen Vorlagen, die im Speicher gespeichert sind). In bestimmten Ausführungsformen wird die Vorrichtung 100 entsperrt, wenn eine Übereinstimmung mit irgendeinem der Anmeldungsprofile bestimmt wird, (z. B. ist das Übereinstimmungsergebnis über dem Entsperrschwellwert). In einigen Ausführungsformen wird der Entsperrschwellwert erhöht (z. B. wird die Anforderung für die Übereinstimmung verschärft), wenn mehrere Anmeldungsprofile auf der Vorrichtung 100 gespeichert sind. In einigen Ausführungsformen wird, wenn ein neues Anmeldungsprofil erzeugt wird, der Betragsentsperrschwellwert erhöht, basierend auf dem Abstand im Merkmalsraum zwischen den Merkmalsvektoren, die mit den Vorlagen für das neue Anmeldungsprofil verknüpft sind, und den Merkmalsvektoren, die mit Vorlagen in (einem) vorhandenen Anmeldungsprofil(en) verknüpft sind (z. B. je größer der Abstand zwischen Merkmalsvektoren in der Vorlage für das neue Anmeldungsprofil und Merkmalsvektoren in vorhandenen Anmeldungsprofilen ist, umso mehr wird der Entsperrschwellwert erhöht). In einigen Ausführungsformen kann der neue Entsperrschwellwert auch basierend auf einer Übereinstimmungshistorie der vorhandenen Anmeldungsprofile angepasst werden (z. B. je mehr Übereinstimmungen in der Historie der vorhandenen Profile, umso schärfer kann der Schwellwert sein).
Wenn mehrere Anmeldungsprofile in der Vorrichtung 100 gespeichert sind, kann jedes Anmeldungsprofil mit seinen eigenen Vorlagenaktualisierungsverfahren verknüpft sein (z. B. arbeitet jedes Anmeldungsprofil mit seinem eigenen ersten Vorlagenaktualisierungsverfahren 300 und zweiten Vorlagenaktualisierungsverfahren 400). In Ausführungsformen der Vorrichtung, wenn die Vorrichtung 100 mit einer unter Verwendung des Authentifizierungsverfahrens für die Gesichtserkennung 250 bestimmten Übereinstimmung das Anmeldungsprofil entsperrt, kann das Anmeldungsprofil, das mit dem Entsperrversuchsbild im Verfahren 250 verglichen wurde, unter Verwendung seines entsprechenden ersten Vorlagenaktualisierungsverfahrens 300 verarbeitet (z. B. aktualisiert) werden. Wenn unter Verwendung des Authentifizierungsverfahrens für die Gesichtserkennung 250 festgestellt wird, dass mehrere Registrierungsprofile mit dem Entsperrversuch übereinstimmen, dann kann jedes der übereinstimmenden Registrierungsprofile unter Verwendung seines jeweiligen ersten Vorlagenaktualisierungsverfahrens 300 verarbeitet (z. B. aktualisiert) werden. In Ausführungsformen, wenn die Vorrichtung 100 unter Verwendung eines Passwortes (oder eines anderen sekundären Authentifizierungsverfahrens) entsperrt wird, da das Authentifizierungsverfahren für die Gesichtserkennung 250 keine Übereinstimmung bestimmen konnte, kann das Anmeldungsprofil, das Merkmalsvektoren aufweist, die dem Entsperrversuchsbild am nächsten liegen (z. B. die geringste Entfernung), unter Verwendung seines entsprechenden zweiten Vorlagenaktualisierungsverfahrens 400 verarbeitet (z. B. aktualisiert) werden.
In bestimmten Ausführungsformen der Vorrichtung können ein oder mehrere der hierin beschriebenen Verfahrensschritte durch einen oder durch mehrere Prozessoren durchgeführt werden (zum Beispiel einen Computerprozessor) der Anweisungen ausführt, die auf einem nichtflüchtigen computerlesbaren Medium gespeicherten sind. Zum Beispiel kann das Verfahren 200, das Verfahren 250, das Verfahren 300 und das Verfahren 400, in 4, 7, 8 und 11 gezeigt, einen oder mehrere Schritte aufweisen, die durch den einen oder die mehreren Prozessoren durchgeführt werden, welche Anweisungen ausführen, die als Programmanweisungen in einem computerlesbaren Speichermedium (z. B. einem nichttransitorischen computerlesbaren Speichermedium) gespeichert sind.
15 zeigt ein Blockdiagramm einer Ausführungsform des beispielhaften Computersystems 510. Das beispielhafte Computersystem 510 kann verwendet werden, um eine oder mehrere der hierin beschriebene Ausführungsformen zu implementieren. In einigen Ausführungsformen ist das Computersystem 510 durch einen Benutzer betreibbar, um ein oder mehrere der hierin beschrieben Ausführungsformen der Vorrichtung zu implementieren, wie beispielsweise eine Vorrichtung, die konfiguriert ist, um das Verfahren 200, das Verfahren 250, das Verfahren 300 und das Verfahren 400, in 4, 7, 8 und 11 gezeigt, durchzuführen. In der Ausführungsform von 15 umfasst das Computersystem 510 den Prozessor 512, den Speicher 514 und verschiedene peripherie Vorrichtungen 516. Der Prozessor 512 ist mit dem Speicher 514 und den peripherien Vorrichtungen 516 gekoppelt. Der Prozessor 512 ist konfiguriert, um Anweisungen auszuführen, einschließlich der Anweisungen für das Verfahren 200, das Verfahren 250, das Verfahren 300 und / oder das Verfahren 400, die in Software vorliegen können. In verschiedenen Ausführungsformen der Vorrichtung kann der Prozessor 512 jeden gewünschten Anweisungssatz implementieren (z. B. Intel Architecture-32 (IA-32, auch bekannt als x86), IA-32 mit 64-Bit-Erweiterungen, x86-64, PowerPC, Sparc, MIPS, ARM, IA-64 usw.). In einigen Ausführungsformen der Vorrichtung kann das Computersystem 510 mehr als einen Prozessor umfassen. Darüber hinaus kann der Prozessor 512 einen oder mehrere Prozessoren oder einen oder mehrere Prozessorkerne umfassen.
Der Prozessor 512 kann auf jede gewünschte Weise mit dem Speicher 514 und den peripherien Vorrichtungen 516 gekoppelt sein. Zum Beispiel kann der Prozessor 512 in einigen Ausführungsformen der Vorrichtung über verschiedene Verbindungen mit dem Speicher 514 und / oder mit den peripherien Vorrichtungen 516 gekoppelt sein. Alternativ oder zusätzlich können ein oder mehrere Brückenchips verwendet werden, um den Prozessor 512, den Speicher 514 und die peripherien Vorrichtungen 516 zu koppeln.
Der Speicher 514 kann jede beliebige Art von Speichersystem umfassen. Zum Beispiel kann der Speicher 514 ein DRAM und insbesondere ein Doppel-Datenraten (DDR) SDRAM, RDRAM usw. umfassen. Eine Speichersteuerung kann als Schnittstelle zum Speicher 514 enthalten sein, und / oder der Prozessor 512 kann eine Speichersteuerung umfassen. Der Speicher 514 kann die Anweisungen speichern, die während der Verwendung von dem Prozessor 512 ausgeführt werden sollen, kann Daten speichern, die während der Verwendung von dem Prozessor bearbeitet werden sollen, usw.
Die peripheren Vorrichtungen 516 können irgendeine Art von Hardwarevorrichtungen darstellen, die in dem Computersystem 510 enthalten sein können oder mit diesen gekoppelt sein können (z. B. Speichervorrichtungen, die optional ein computerzugängliches Speichermedium 600 umfassen, in 16 gezeigt, andere Eingabe / Ausgabe (I / O) Vorrichtungen wie Videohardware, Audiohardware, Benutzerschnittstellenvorrichtungen, Netzwerkhardware, usw.).
16 zeigt ein Blockdiagramm einer Ausführungsform des computerzugänglichen Speichermediums 600, das eine oder mehrere Datenstrukturen enthält, die für die Vorrichtung 100 (in 1 dargestellt) repräsentativ sind, in einer integrierten Ausgestaltung einer Schaltung und eine oder mehrere Codesequenzen, die für das Verfahren 200, das Verfahren 250, das Verfahren 300 und / oder das Verfahren 400 (in 4, 7, 8 und 11 gezeigt) repräsentativ sind. Jede Codesequenz kann eine oder mehrere Anweisungen enthalten, die, wenn sie von einem Prozessor in einem Computer ausgeführt werden, die für die entsprechende Codesequenz beschriebenen Operationen implementieren. Im Allgemeinen kann ein computerzugängliches Speichermedium jedes Speichermedium umfassen, auf das ein Computer während der Verwendung zugreifen kann, um Anweisungen und / oder Daten an den Computer bereitzustellen. Zum Beispiel kann ein computerzugängliches Speichermedium nichtflüchtige Speichermedien, wie z. B. magnetische oder optische Medien, z. B. Festplatten (fest oder entfernbar), Band, CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW oder Blu-Ray enthalten. Speichermedien können ferner flüchtige oder nichtflüchtige Speichermedien, wie z. B. RAM (z. B. synchroner dynamischer RAM (SDRAM), Rambus DRAM (RDRAM), statischer RAM (SRAM) usw.), ROM oder Flash-Speicher enthalten. Das Speichermedium kann physisch in dem Computer enthalten sein, welchem das Speichermedium Anweisungen / Daten bereitstellt. Alternativ dazu kann das Speichermedium mit dem Computer verbunden sein. Zum Beispiel kann das Speichermedium über ein Netzwerk oder eine drahtlose Verbindung mit dem Computer verbunden sein, wie zum Beispiel mit einem Speicher, der mit dem Netzwerk verbunden ist. Die Speichermedien können über eine peripherie Schnittstelle wie etwa einen Universal Serial Bus (USB) verbunden sein. Im Allgemeinen kann das computerzugängliche Speichermedium 600 Daten auf eine nichttransitorische Weise speichern, wobei sich in diesem Zusammenhang nichttransitorisch auf das Nicht-Übertragen der Anweisungen / Daten auf ein Signal beziehen kann. Zum Beispiel kann ein nichttransitorischer Speicher flüchtig sein (und kann die gespeicherten Anweisungen / Daten als Reaktion auf eine Abschaltung verlieren) oder er kann nichtflüchtig sein.
Weitere Modifikationen und alternative Ausführungsformen verschiedener Aspekte der Ausführungsformen, die in dieser Offenbarung beschrieben sind, werden den Fachleuten angesichts dieser Beschreibung offensichtlich sein. Dementsprechend soll diese Beschreibung nur als veranschaulichend verstanden werden und dient dem Zweck, dem Fachmann die allgemeine Art und Weise der Ausführung der Ausführungsformen zu vermitteln. Es soll verstanden werden, dass die Formen der hier gezeigten und beschriebenen Ausführungsformen als derzeit bevorzugte Ausführungsformen zu verstehen sind. Elemente und Materialien können die hierin Dargestellten und Beschriebenen ersetzen, Elemente und Verfahren können umgekehrt werden, und bestimmte Merkmale der Ausführungsformen können unabhängig voneinander verwendet werden, wie es für den Fachmann, der den Nutzen dieser Beschreibung hat, ersichtlich wäre. An den hierin beschriebenen Elementen können Änderungen vorgenommen werden, ohne vom Geist und Umfang der folgenden Ansprüche abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8150142 [0019]
US 8749796 [0019]
US 8384997 [0019]
US 2016/0178915 [0019]

Claims

Vorrichtung, umfassend: eine Kamera; mindestens einen Illuminator, der eine Infrarotbeleuchtung bereitstellt; Schaltungen, die mit der Kamera und dem Illuminator gekoppelt sind, wobei die Schaltungen konfiguriert sind zum: Erhalten eines ersten Bildes eines Gesichts eines Benutzers unter Verwendung einer Kamera, die auf einer Vorrichtung angeordnet ist, wobei die Vorrichtung einen Computerprozessor und einen Speicher umfasst; Kodieren des ersten Bildes, um mindestens einen ersten Merkmalsvektor zu erzeugen, wobei der erste Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem ersten Bild darstellt; Vergleichen des ersten Merkmalsvektors mit einem oder mit mehreren Referenzvorlagen, die in einem ersten Raum in dem Speicher der Vorrichtung gespeichert sind, um ein erstes Übereinstimmungsergebnis zu erhalten; Speichern des ersten Merkmalsvektors als eine temporäre Vorlage in einem zweiten Raum in dem Speicher der Vorrichtung, wenn das erste Übereinstimmungsergebnis über einem ersten Schwellwert liegt; Erhalten eines zweiten Bildes des Gesichts des Benutzers unter Verwendung der Kamera; Kodieren des zweiten Bildes, um mindestens einen zweiten Merkmalsvektor zu erzeugen, wobei der zweite Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem zweiten Bild darstellt; Vergleichen des zweiten Merkmalsvektors mit der temporären Vorlage, die in dem zweiten Raum gespeichert ist, um ein zweites Übereinstimmungsergebnis zu erhalten; Bewerten eines Vertrauensergebnisses für die temporäre Vorlage durch Bewerten, ob das zweite Übereinstimmungsergebnis über einem zweiten Schwellwert liegt; und Hinzufügen der temporären Vorlage zu den Referenzvorlagen, wenn das bewertete Vertrauensergebnis über einem ausgewählten Vertrauensergebnis liegt.
Vorrichtung nach Anspruch 1, wobei das erste Bild und das zweite Bild Infrarot-Bilder des Gesichts des Benutzers sind.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 2, wobei das Bewerten des Vertrauensergebnisses für die temporäre Vorlage ein Zählen einer Anzahl der zweiten Übereinstimmungsergebnisse umfasst, die über dem zweiten Schwellwert liegen, für eine bestimmte Anzahl von erfolgreichen Entsperrversuchen der Vorrichtung unter Verwendung der Vielzahl von Referenzvorlagen zur Gesichtserkennungsauthentifizierung des Benutzers.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 3, wobei das ausgewählte Vertrauensergebnis ein niedrigstes Vertrauensergebnis für eine Referenzvorlage in der Vielzahl von Referenzvorlagen umfasst.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 4, wobei das Hinzufügen der temporären Vorlage zu der Vielzahl von Referenzvorlagen, wenn das bewertete Vertrauensergebnis über dem ausgewählten Vertrauensergebnis liegt, umfasst: Bewerten des mindestens einen ersten Merkmalsvektors und einer Vielzahl von Referenzmerkmalsvektoren für die Referenzvorlagen in einem Merkmalsraum, um einen Ausreißer in den bewerteten Merkmalsvektoren zu bestimmen; und Ersetzen, wenn der Ausreißer einer der Referenzmerkmalsvektoren ist, des Referenzmerkmalsvektors, welcher der Ausreißer mit dem mindestens einen ersten Merkmalsvektor in der Vielzahl von Referenzvorlagen ist.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 5, wobei die Schaltungen ferner konfigurier sind zum: Erhalten einer Vielzahl von Referenzbildern des Gesichts des Benutzers unter Verwendung der Kamera; Auswählen von Referenzbildern zum Kodieren, basierend auf den ausgewählten Referenzbildern, die die ausgewählten Kriterien für die Referenzbilder erfüllen; Kodieren einer Vielzahl von Gesichtsmerkmalen des Benutzers aus den ausgewählten Referenzbildern, um die Vielzahl von Referenzmerkmalsvektoren zu erzeugen; und Speichern der Vielzahl von Referenzmerkmalsvektoren als die Vielzahl von Referenzvorlagen im Speicher der Vorrichtung.
Vorrichtung nach Anspruch 6, wobei die ausgewählten Kriterien für die ersten Bilder eines oder mehrere der folgenden Kriterien umfassen: das Gesicht des Benutzers ist in einem Sichtfeld der Kamera, eine Pose des Benutzers ist korrekt, ein Abstand zu dem Gesicht des Benutzers befindet sich in einem bestimmten Abstand, das Gesicht des Benutzers weist eine Okklusion unter einem Minimalwert auf und Augen des Benutzers sind nicht geschlossen.
Vorrichtung nach Anspruch 1 bis 7, wobei die Schaltungen ferner konfiguriert sind zum Authentifizieren des Benutzers, um die Vorrichtung zu verwenden, wenn das erste Übereinstimmungsergebnis über einem Entsperrschwellwert für die Vorrichtung liegt und, optional, zum Aktualisieren des Entsperrschwellwerts, wenn die temporäre Vorlage zu der Vielzahl von Referenzvorlagen hinzugefügt wird.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 8, wobei die Schaltungen ferner konfiguriert sind, vor dem Speichern des ersten Merkmalsvektors als die temporäre Vorlage in dem zweiten Raum in dem Speicher der Vorrichtung: Vergleichen des ersten Übereinstimmungsergebnisses mit einem Entsperrschwellwert für die Vorrichtung; wenn das erste Übereinstimmungsergebnis über dem Entsperrschwellwert liegt, Authentifizieren des Benutzers, die Vorrichtung zu verwenden; oder wenn das erste Übereinstimmungsergebnis unter dem Entsperrschwellwert liegt: Auffordern des Benutzers, mindestens ein zusätzliches Authentifizierungsprotokoll durchzuführen; und wobei wenn der Benutzer erfolgreich mit dem mindestens einen zusätzlichen Authentifizierungsprotokoll authentifiziert wurde, Speichern des ersten Merkmalsvektors als die temporäre Vorlage in dem zweiten Raum in dem Speicher der Vorrichtung.
Vorrichtung nach Anspruch 9, wobei die Schaltungen ferner konfiguriert sind zum Anzeigen einer Fehlernachricht auf einer Anzeige der Vorrichtung, die anzeigt, dass eine Authentifizierung fehlgeschlagenen ist, wenn das erste Übereinstimmungsergebnis unter dem Entsperrschwellwert für die Vorrichtung liegt, wobei das mindestens eine zusätzliche Authentifizierungsprotokoll ein Eingeben eines Passworts für die Vorrichtung umfasst.
Vorrichtung nach irgendeinem der Ansprüche 9 bis 10, wobei die Schaltungen ferner konfiguriert sind zum Verwenden der temporären Vorlage, um den Benutzer für die Verwendung der Vorrichtung für eine ausgewählte Zeitperiode zu authentifizieren.
Vorrichtung nach irgendeinem der Ansprüche 1 bis 11, wobei der erste Schwellwert über dem zweiten Schwellwert liegt und wobei der erste Schwellwert unter dem Entsperrschwellwert liegt.
Vorrichtung, umfassend: eine Kamera; mindestens einen Illuminator, der eine Infrarotbeleuchtung bereitstellt; Schaltungen, die mit der Kamera und dem Illuminator gekoppelt sind, wobei die Schaltungen konfiguriert sind zum: Erhalten eines ersten Bildes des Gesichts des Benutzers unter Verwendung der Kamera; Kodieren des ersten Bildes, um mindestens einen ersten Merkmalsvektor zu erzeugen, wobei der erste Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem ersten Bild darstellt; Vergleichen des ersten Merkmalsvektors mit einer oder mit mehreren Referenzvorlagen, die in einem ersten Raum in dem Speicher der Vorrichtung gespeichert sind, um ein erstes Übereinstimmungsergebnis zu erhalten; Speichern des ersten Merkmalsvektors als eine temporäre Vorlage in einem zweiten Raum in dem Speicher der Vorrichtung, wenn das erste Übereinstimmungsergebnis über einem ersten Schwellwert liegt; Erhalten eines zweiten Bild des Gesichts des Benutzers unter Verwendung der Kamera; Kodieren des zweiten Bildes, um mindestens einen zweiten Merkmalsvektor zu erzeugen, wobei der zweite Merkmalsvektor ein oder mehrere Gesichtsmerkmale des Benutzers in dem zweiten Bild darstellt; Vergleichen des zweiten Merkmalsvektors mit der temporären Vorlage, die in dem zweiten Raum gespeichert ist, um ein zweites Übereinstimmungsergebnis zu erhalten; Bewerten eines Vertrauensergebnisses für die temporäre Vorlage durch Bewerten, ob das zweite Übereinstimmungsergebnis über einem zweiten Schwellwert liegt; und Hinzufügen der temporären Vorlage zu den Referenzvorlagen, wenn das bewertete Vertrauensergebnis über einem ausgewählten Vertrauensergebnis liegt.
Vorrichtung nach Anspruch 13, wobei die Kamera einen Infrarotsensor umfasst und wobei der mindestens eine Illuminator einen Flut-Infrarot-Illuminator und ein Flecken-Muster-Infrarot-Illuminator umfasst.
Vorrichtung nach irgendeinem der Ansprüche 13 bis 14, wobei die Schaltungen zur Authentifizierung des Benutzers konfiguriert sind, um die Vorrichtung zu verwenden, wenn das erste Übereinstimmungsergebnis über einem Entsperrschwellwert für die Vorrichtung liegt.