SE524003C2 - Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel - Google Patents

Description

20 25 30 35 40 524 003 2 ögat, roterar. En sjätte teknik är att, med hjälp av en fotosensor, mäta ellipticitet hos pupill eller iris, när ögat roterar. En sjunde teknik är att använda sig av en diod och två eller flera optiska transiistorer monterade i ett par glasögon. När ljuset från dioden reflekteras i hornhinnan och se- dan träffar en optisk transistor kommer transistoms signal att variera med ljusets fárdlängd från dioden via hornhinnan och till transistorn. En åttonde teknik är att använda en fotosensor för att detektera reflektionen av en ljuskälla i hornhinnan och att sedan se hur dess position förhåller sig mot centrum av pupill eller iris. Pupillen kan i detta fall göras tydligare antingen genom att belys- ning monterad intill fotosensom lyser upp näthinnan i ögat och därigenom orsakar rödögseffekt, eller genom att belysa ögat, så att iris lyses upp medan pupillen förblir mörk.

I U.S. patentskrift 5,86l,940 visas ett system för detektion av ögon och för att följa blick- vinklar. Systemet innefattar ljuskällor i form av en IR-laser 2, som försedd med lärnplig optik ut- sänder ett konvergent strålknippe med fokus framför ögat, och två IR-lasrar eller -dioder 9, 10, som växelvis utsänder divergenta strålknippen. Genom att detektera reflektionen från näthinnan med hjälp av en positionskänslig detektor erhålls information om ögats läge. Genom att detektera reflektionema från hornhinnan för flera ljuskällor bestäms ögats avstånd från videokameran. De senare två IR-lasrarna är placerade vid underkanten av en datorbildskärm 1. Andra system visas i U.S. patentskrifter 6,079,829 samt 6,l52,563 och 6,246,779.

Det kan vid automatiska system som utnyttjar en videokamera vara svårt att bestämma vari en upptagen bild reflexer av ljuskällor i en användares ögon befinner sig. Detta beror bl a på att användaren kan röra huvudet, förflytta det i sidled och närmare eller på större avstånd från karne- ran. Det automatiska systemet kan innehålla komplexa bildbehandlings- och bildigenkänningsru- tiner för att bestämma de områden, där bilder av ögon finns. Det finns därför behov av metoder för underlättande av sådan bestämning av områden i en upptagen bild, i vilka reflexer och bilder av ögon finns. Vid bestämning av blickpunkten på en yta såsom en bildskärm måste vidare alltid avståndet mellan användarens ögon och bildskärmen bestämmas och alltså erfordras effektiva metoder för en sådan bestärrming.

REDOGÖRELSE FÖR UPPFINNINGEN Det är ett syfte med uppfinningen att anvisa ett effektivt förfarande och en effektiv anlägg- ning för att detektera och följa ögon och blickvinklar.

Vid ett förfarande och i en anläggning för att detektera ögon och blickvinklar används en fotosensor såsom en CCD-enhet med lärnplig optik eller en videokamera, en eller flera ljuskällor och en beräknings- och styrenhet. För att kunna bestämma var, på exempelvis en bildskärm, en person tittar måste positionen för personens ögon både i djupled och i sidled sett från bildskärmen samt den riktning i vilket ögat tittar vara kända. För att bestämma ett ögas position, dvs dess läge relativt fotosensor eller en bildskärm, belyses ögat med två eller fler ljuskällor anordnade på av- stånd från varandra. Bilderna på fotosensom av reflektionema av dessa ljuskällor i personens homhinna kommer då att bero av var i fotosensoms synfält personen befinner sig. Fotosensoms bild av reflektionema ger all den information som krävs för att exakt bestämma var personen be- finner sig i fotosensoms synfålt. Genom att utvärdera hela det mönster som bildas från flera ljus- källors reflektioner, dvs läget för reflektionema i förhållande till varandra och i hela bilden, kan 10 15 20 25 30 35 40 524 003 3 god precision och tillförlitlighet i bestärnningen av var ögonen befinner sig erhållas. I ett enkelt fall bestäms endast mönstrets storlek och dess plats i den upptagna bilden.

Vid förfarandet används sålunda en fotosensor för att skapa en tvådimensionell bild av verkligheten samt allmänt en eller flera ljuskällor. Ljuskällan/ljuskållorna lyser upp eventuella ögon inom fotosensoms synfalt, så att diffiist reflekterande ytor blir tydligare för fotosensom och så att ljuset från ljuskällan/ljuskälloma i homhinnor ger upphov till reflexer, vilka av fotosensom uppfattas som diskreta ljuspunkter.

Den tvådimensionella bild som skapas av fotosensom analyseras med hjälp av komplex bildbehandling för att bestämma var i bilden eventuella ögon, samt ljusreflektioner, befinner sig.

Denna information används sedan för att bestärrnna var det finns ögon och/eller i vilken riktning dessa tittar, vilket i sin tur kan användas för att exempelvis bestämma var på en bildskärm en da- toranvändare tittar.

I den tvådimensionella bilden söks efter pupill och/eller iris. Bilden av pupillen kan göras tydligare genom belysning från en eller flera ljuskällor. Ljuskällan/ljuskälloma kan placeras myc- ket nära eller på den optik, som fokuserar den tvådimensionella bilden på fotosensom. Ljuskäl- lans/ljuskällomas spridningsfålt motsvarar då fotosensoms synfält, och för ett öga som befinner sig inom fotosensoms synfålt kommer den punkt på näthinnan som belyses av ljuskällan/ljuskäl- loma att vara samma eller åtminstone delvis samma punkt, som avbildas på fotosensom. Detta gör att pupillen förefaller ljusare än sin omgivning. Fenomenet är detsamma som ger upphov till att ögon vid fotografering kan framträda med röd färg.

För att uppnå så kraftig rödögseffekt som möjligt placeras ljuskällan/ljuskälloma så nära fo- tosensoms synaxel som möjligt utan att störa sensoms synfält. Den del av näthinnan hos ett öga, som fotosensom ser, sammanfaller då till stor del med den del av näthinnan, som lyses upp av ljuskällan/ljuskälloma. Förutsatt att ljuskällan/ljuskälloma måste placeras framför den optik som fokuserar bilden på fotosensorn, är en ljuskälla utformad med ett centralt hål, av samma fonn som fotosensom, ett bra sätt att komma nära fotosensoms synaxel utan att skymma dess synfalt.

Ju längre ifrån optiken ljuskällan placeras, desto större måste hålet vara för att inte störa fotosen- soms synfált. Därför är det önskvärt att kunna placera ljuskällan så nära optiken som möjligt i det fall då rödögseffekt eftersträvas. Att använda rödögseffekt för bestämning av ögons riktning, samtidigt som ögons position bestäms genom att låta flera ljuskällor reflekteras i hornhinnor kan orsaka problem. De många ljusreflektionema riskerar att bli svårupptäckta i bilden av den upplys- ta pupillen. Samtidigt lyser de omkringliggande ljuskälloma för positionsbestärnning upp ansik- ten förutom pupiller, vilket minskar rödögseffekten. För att undvika dessa problem kan de båda ljussättningama, en för riktningsbestämning och en för positionsbestämning, altemeras så att en- dast en uppsättning är aktiv under varje bild som tas. Detta medför att riktning och position inte kan bestämmas ur samma bild, men å andra sidan ökar det robustheten hos systemet.

Om ljuskällan/ljuskälloma i stället placeras ett stycke ifrån fotosensoms optiska axel, er- hålls en mörk pupill, medan det omgivande ansiktet blir ljusare ju starkare ljuskällan/ljuskälloma strålar. Denna ljussättning är att föredra då iris skall hittas, och den har även den fördelen, att kontrasten mellan pupill och iris inte försämras av ströljus från omgivningen, såsom är fallet med 10 15 20 25 30 35 40 524 003 ett system baserat på rödögseffekt.

För att inte störa den person som belyses av lj uskällari/ljuskälloma, kan ljus- källan/ljuskälloma väljas att utsända ljus våglängder, som ej är synliga för märmiskoögat, men som kan detekteras av fotosensom. Exempelvis kan ljus i NIR-området (N IR = Near InfraRed) användas, dvs ljus med något längre våglängd än vad ett märmiskoöga kan uppfatta. Sådant ljus kan detekteras av de flesta fotosensorer utformade att detektera synligt ljus.

Den använda fotosensorn kan med fördel vara av högupplösande typ. Detta medför, att en större mängd data erhålls, när hela fotosensom exponeras. För att minska resursåtgången vid be- arbetning av data kan endast data från ett givet område av intresse (OAI) behandlas. För att mins- ka belastningen på kommunikationslänken mellan fotosensom och beräkningsenheten kan sålun- da beräkningsenheten välja att endast be fotosensorn om de data, som kommer från det aktuella OAI:et. På så vis kan såväl beräknings- som kommunikationsresurser frigöras för andra ändamål.

För att kunna välja ett passande OAI för en exponering av fotosensom används lämpligtvis infor- mation om var ögon har befunnit sig i de närmast föregående bildema.

FIGURBESKRIVNING Uppfinningen skall nu beskrivas som ett ej begränsande utföringsexempel med hänvisning till de bifogade ritningama, i vilka: - Fig. l är en schematisk bild framifrån av ett exempel på en anläggning för att detektera och följa ögon samt blickvinklar, - Fig. 2 är en schematisk bild över hur i en tvådimensionell, medelst en fotosensor upptagen bild avståndet mellan två ljuskällor reflekterade i en homhinna beror av homhinnans avstånd till foto- sensorn, - Fig. 3a och 3b är schematisk bilder framifrån av ett exempel på en utformning av en, med foto- sensoms synfält, koaxiell belysning för att uppnå rödögseffekt med olika dioder tända och släck- Ia, - Fig. 4a är en bild av ett öga upptagen med hjälp av en fotosensor och belyst för att kunna be- stämma ögats blickvinkel samt var det befinner sig i fotosensoms tvådimensionella koordinatsys- tem, - Fig. 4b är bild erhållen genom kantanalys av bilden i fig. 4a, - Fig. Sa är en bild av ett öga liknande fig. 4a men belyst för att kunna bestämma ögats avstånd till fotosensom, - Fig. 5b är bild erhållen genom kantanalys av bilden i fig. Sa, och - Fig. 6 är ett flödesschema som visar steg vid behandling av information om hittade ögon i en tvådimensionell bild för att bestämma vilket öga som är vilket hos en användare, och - Fig. 7 är ett flödesschema över hela det förlopp, som utförs i en anläggning för att bestämma ett ögas läge och blickriktning DETALJERAD BESKRIVNING I fig. 1 visas en anläggning för att bestämma den punkt på en bildskärm 1, på vilken en da- toranvändare tittar. Bestänmingen utförs genom att följa användarens ögon och särskilt genom att bestämma ögonens blickvinklar och ögonens avstånd till bildskärmen. Anläggningen innefattar 10 15 20 25 30 35 40 524 003 5 bildskärmen 1, tre likadana ljuskällor 2 fästa längs en rak linje vid skärmens 1 övre kant, en foto- sensor 4 placerad vid mitten av skärmens undre kant och med lärnplig optik, ej visad, anordnad framför fotosensom för att dels filtrera bort oönskat ljus, dels fokusera en bild på fotosensorns ljuskänsliga yta, samt en ljuskälla 3 placerad koaxiellt med fotosensoms optiska axel, dvs anbragt omkring, på alla sidor av fotosensorns ljuskänsliga yta. Den ljuskänsliga ytan kan såsom visas va- ra rektangelforrnad. Den koaxiella ljuskällan 3 innefattar, se fig. 3a och 3b, ett flertal ljusutsän- dande element 3', 3" anordnade i två grupper, en inre, första grupp och en andra, yttre grupp. I den inre gruppen är de ljusutsändande elementen 3' placerade tätt intill den ljuskänsliga ytans kanter eller sidor. I det visade utförandet med rektangelforrnad ljuskänslig yta är tre element pla- cerade vid rektangelfonnens vardera långsida och två element vid dess vardera kortsida. I den ytt- re gruppen är de ljusutsändande elementen 3" placerade på större avstånd från den ljuskänsliga ytan, utanför elementen i den inre gruppen sett från den ljuskänsliga ytan mitt. I det visade utfö- randet finns lika många element i den yttre gruppen som i den inre gruppen och varje element i den yttre gruppen är placerat mellan två element i den inre gruppen, sett från mittpunkten hos den rektangelformade ljuskänsliga ytan.

Vid ett praktiskt utförande av anläggningen enligt fig. 1 utgjordes de tre likadana ljuskällor- na 2 vardera av sju NIR-dioder, HSDL 4230, med sex dioder anordnade symmetriskt kring en central diod. Sarnrna typ av dioder användes som de ljusutsändande elementen 3', 3" i belysnings- enheten 3 utformad enligt fig. 3a och 3b.

Utöver dessa komponenter finns även en samordnande beräknings- och styrenhet antydd vid 6 för att utföra erforderlig styrning och därmed sammanhängande utvärdering och beräkning- ar. Sålunda styr beräknings- och styrenheten tändning och släckning av ljuskälloma. Vidare utför den behandling av bilder upptagna med hjälp av fotosensom 4, speciellt bestämning av kantlinjer, dvs linjer mellan fält i bilden som har olika gråskaleintensitet eller färg. I bilden av ett öga be- stäms bl a kantlinjen som begränsar pupillen och ur denna erhålls pupillens centrum. Det senare kan göras genom att exempelvis anpassa en cirkel eller ellips till den kantlinje, som har avgjorts begränsa pupillen. Beräknings- och styrenheten 6 kan också, såsom skall beskrivas nedan, styra datauttaget från fotosensom 4, dvs bestämma de bildelement i en upptagen bild, för vilka infor- mation överförs från fotosensom till beräknings- och styrenheten.

I fig. 3a och 3b ses hur elementen i ljuskällan 3 är placerade runt fotosensom 4 för att kun- na belysa ögat på två olika sätt, genom tändning av de ljusutsändande elementen i den inre eller yttre gruppen. Det ena läget, vilket framgår av fig. 3a och i vilket endast elementen i den inre gruppen är tända, ger upphov till en tydlig rödögseffekt hos de pupiller, som detekteras av foto- sensom, medan det andra, vilket visas i fig. 3b och i vilket endast elementen i den yttre gruppen är tända, är till för att ge upphov till reflexer i hornhinnor utan att orsaka en tydlig rödögseffekt.

När anläggningen enligt fig. 1 är i drift, altemerar det mellan två ljussättningslägen. Läge (i) är till för att bestämma den riktning, i vilken användaren tittar. I läge (ii) bestäms avståndet från användarens ögon till fotosensom 4. I båda lägena fås även information om var användarens öga eller ögon befinner sig sett i fotosensorns tvådimensionella koordinatsystem.

När anläggningen är i läge (i), är de inre elementen 3' i den med fotosensorns 4 synfallt ko- 10 15 20 25 30 35 524 005 6 axiellt anordnade ljuskällan 3 tända i det läge, som visas i fig. 3a och ger en kraftig rödögseffekt hos alla pupiller inom fotosensoms synfält. I detta läge är alla de tre ljuskälloma 2 placerade ovanför skärmen l släckta, dvs endast elementen i den inre gruppen är tända. Bilden av en pupill inom fotosensoms 2 synfält kommer då att se ut såsom framgår av fig. 4a, där pupillen 5, järnför fig. 4b, är upplyst på grund av rödögseffekten och reflektionen i homhinnan av ljuskällan 3 syns som en punktforrnad reflex 3°a. Den upptagna bilden analyseras av beräkningsenheten 6 och kantlinjer enligt fig. 4b bestäms. I bilden med rödögseffekt är det speciellt stor kontrast mellan de bildfält, som motsvarar pupill och iris, jämför bilden i fig. Sa, som är upptagen med annan belys- ning, och därför kan kantlinjen mellan dessa fält beräknas med god noggrannhet. Denna noggrant bestämda kantlinje avgränsar pupillen och ur den kan sedan pupillens centrum bestännnas, följ- aktligen också med god noggrannhet. Vid bestämning av centrum kan såsom ovan närrmts an- passning av en ellips till kantlinj en användas, vilket är särskilt viktigt i det fall att pupillen endast delvis är synlig i bilden. I bilden bestäms vidare läget för reflexen 3'a och speciellt reflexens mitt- punkt. Till sist beräknas vektom från reflexens 3”a centrum till pupillens 5 centrum.

För att bestämma den riktning, i vilken användaren tittar, används den enligt ovan bestämda vektom. Denna vektors riktning anger den riktning, i vilken användaren tittar taget från kamerans optiska axel, och vektorns storlek anger den vinkel, i vilken användaren tittar, också taget från ka- merans optiska axel. Dessutom ger reflexens 3°a centrum information om läget för användarens öga sett i två dimensioner.

När systemet är i läge (ii), är elementen 3" i den yttre gruppen i den med fotosensoms syn- fält koaxiella ljuskällan 3 tänd i det läge enligt fig. 3b, som ej ger någon tydlig rödögseffekt.

Samtidigt är de tre ljuskälloma 2 vid skärmens överkant tända i detta läge. Fig. 5a visar hur ett öga kan avbildas på fotosensom 4 i detta läge med relativt låg kontrast mellan de bildfalt som motsvarar olika delar av ögat. Även denna bild analyseras för erhållande av kantlinjer, såsom vi- sas i fig. 5b, varvid noggrannheten hos de bestämda kantlinjema för fält motsvarande olika delar av ögat kan vara lägre än begränsningslinjen för pupillen enligt fig. 4b. I bilden enligt fig. 5b framgår dock de olika reflektionema mycket tydligt. Vid 3°b, se den analyserade bilden i fig. 5b, visas sålunda homhinnereflektionen av ljuskällan 3 aktiverad enligt det fall som framgår av fig. 3b, och vid 2” visas homhinnereflektionema av de vid skärmens överkant placerade ljuskälloma 2. Positionen för och avståndet mellan de olika reflektionema bestäms i bilden och denna bestäm- ning kan då göras med god noggrannhet. Mönstret för de fyra reflektionema, dvs i första hand de olika reflektionemas lägen relativt varandra, utvärderas för att bestämma ögats avstånd till foto- sensom 4. Speciellt är storleken på det mönster, som bildas av de fyra reflektionerna vid 2°, 3'b, beroende av ögats avstånd till fotosensom. Ju längre från fotosensom ögat är beläget, desto mind- re dimensioner har mönstret. På så vis erhålls ett mått på hur långt ifrån skärmen 1 användarens öga befinner sig. Även i detta läge fås information om var användarens öga befinner sig i två di- mensioner, från reflexen av den koaxiella ljuskällan 3 vid 3”b.

När systemet i fig. 1 är i drift, alternerar det således mellan läge (i) och läge (ii). Det krävs information från båda dessa lägen för att kurma ange det ställe på en bildskärm på vilket en an- 40 vändare tittar. I läge (i) detekteras användarens blickriktning och i läge (ii) användarens position. 10 15 20 25 30 35 40 524 003 7 Hos en datoranvändare är ögonrörelser vanligtvis avsevärt mycket snabbare än huvudrörelser.

Detta medför, att det är viktigare att ha nyligen uppdaterad information om användarens blickvin- kel än om användarens position i djupled från fotosensom 4 för att erhålla god precision i bestäm- ningen av den punkt på datorskärmen på vilken användaren tittar. Experiment visar, att om fyra bilder i läge (i) analyseras för varje bild i läge (ii) fås ett system med god precision. För blick- punktsbestämning används alltid informationen från den senaste bilden tagen i läge (i) sarnt den senaste bilden tagen i läge (ii).

I fig. 2 visas schematiskt hur avståndet mellan bilder av reflektioner av två ljuskällor beror på den reflekterande ytans avstånd från ljuskällorna och detektom, vilka antas ligga i samma plan. Avståndet mellan den reflekterade ytan och planet genom ljuskälloma är grovt omvänt pro- portionellt mot kvadratroten ur avståndet mellan bilderna. Ett sådant samband eller ett något mer exakt samband såsom framgår av fig. 2 kan användas tillsammans med absoluta värden erhållna vid en individuell kalibrering av anläggningen för varje användare för att ge en tillräckligt nog- grann avståndsbestärrming vid exempelvis styrning av en markör på bildskärmen, när använda- rens huvud rör sig.

Den fotosensor som används i ovan beskrivna anläggning är av högupplösande typ. På så vis kan användaren tillåtas större huvudrörlighet utan att detta medför försämrad precision. För att minska belastningen på beräkningsenheten och öka samplingshastigheten hos systemet an- vänds inte data från fotosensom mer än nödvändigt. Beräkningsenheten använder information om var ögon har hittats i tidigare bilder för att välja ut den del av fotosensorns ljuskänsliga yta, som skall exponeras inför varje ny bild eller användas i varje ny bild, och styr fotosensom i enlighet härmed. Om användarens ögon hittades i föregående bild, används bara en liten del av bildele- menten hos fotosensoms ljuskänsliga yta. Endast i det fall att inga ögon har hittats, används data från alla bildelement hos fotosensorns ljuskänsliga yta eller i vart fall data som representerar hela bildytan, erhållna exempelvis genom en nedsarnplingsoperation av data för hela bildytan. På så vis fås ett system som är relativt långsamt när det gäller att detektera ögon och ögons avstånd i djupled, men som kan fås att följa ögon och särskilt blickriktning med hög hastighet, efter det att ögonen väl är hittade.

Ett öga har unika fysikaliska egenskaper vilka tillsammans med ögats position och blick- riktning styr hur en bild tagen såsom visas i fig. 4a eller i fig. Sa kommer att se ut. För att kunna bestämma var en person tittar ur de data som kan erhållas ur dessa bilder kan om så erfordras sys- temet kalibreras individuellt för den person som sitter framför skärmen. Dessutom måste sys- temet veta vilket öga som är vilket, dvs om de beräknade kantlinjema enligt fig. 4b och 5b tillhör användarens vänstra eller högra öga.

När båda ögonen hos en användare är synliga för fotosensom 4, är det lätt att säga vilket öga som är vänster öga och vilket som är höger öga, men i det fall att endast ett öga hittas, krävs ett annat sätt att bestämma vilket öga det Ett sådant sätt skall nu beskrivas och de olika stegen däri åskådliggörs också av flödesschemat i fig. 6. Den första faktor som inverkar är förflyttnings- hastigheten hos användarens ögon. Det finns en övre gräns för hur fort ett öga kan förflytta sig.

Detta medför, att om det farms ett känt öga i en given position i en tidigare bild, kan detta öga inte 10 15 20 25 30 35 524 003 8 ha förflyttat sig mer än en viss sträcka sedan den tidigare bilden togs. Om avståndet är för stort mellan det tidigare kända och det nu funna ögat, är alltså det nu funna ögat ett armat än det som tidigare var detekterat. Även om det tidigare kända ögat var det enda kända ögat vid den tidpurik- ten, måste det ha funnits ett område, inom vilket det andra ögat bör ha befunnit sig. Avståndet mellan en användares ögon kan på detta vis användas för att bedöma, huruvida det öga som ej var känt kan ha flyttat sig till den position, där det nya ögat hittats. Om avståndet är tillräckligt litet för endast ett av användarens ö gon, måste det funna ögat vara detsamma som detta öga.

Om ovan nämnda kriterier ej ger klarhet i vilket öga som har hittats, finns det ytterligare en faktor till vilken hänsyn kan tas. Denna faktor är hur nära fotosensoms ytterkant ögat befinner sig. Om ögat bifinner sig så nära fotosensoms ytterkant, att det andra ögat skulle befinna sig utan- för sensoms synfält, om det befann sig på yttersidan om det funna ögat, gäller att antingen är det- ta fallet eller också finns det andra ögat inom fotosensoms synfält, men är skymt - troligtvis ge- nom att användaren blundar med det. I detta fall kan tillåtas, att systemet gissar att det funna ögat är det öga som medför, att det andra ögat är utanför fotosensorns synfält. Då systemet har gissat sig till vilket öga som hittats, sätts en lägre konfidensnivå för de data, som skickas ut från syste- met, för att visa att dessa data är osäkra.

I fig. 7 visas ett flödesschema över de olika steg, som utförs vid bestämning av och följande av en persons ögon och blickriktning. I ett första steg 71 tas en bild med belysning i läge (i), dvs när endast elementen 3' är tända. I bilden bestäms pupiller, dvs dessas kantlinjer, och reflektioner av ljuskällan. I nästa block 73 utförs proceduren enligt. fig. 6 för att bestämma vilket öga som är vilket. I steg 75 avgörs sedan om två ögon har påträffats i bilden. Om detta är fallet, utförs ett block 77, i vilket en bild tas med belysning i läge (ii), dvs med elementen 3" tända och dioderria 2 tända. I denna bild översänds till enheten 6 endast information för områden kring de funna ögo- nen. Reflektioner och därmed bilder av ögon i bilden bestäms. Därefter utförs i ett block 79 åter proceduren enligt. fig. 6 för att bestämma vilket öga som är vilket. I nästa steg 81 avgörs om två ögon har påträffats i bilden. Om detta är fallet, utförs i ett block 83 en beräkning i enheten 6 av ögonens blickpunkt. Sedan utförs ett block 85, i vilket åter upptas en bild med belysning i läge (i), dvs med endast elementen 3' tända. För den upptagna bilden översänds till enheten 6 endast information för områden kring redan funna ögon. Ur den begränsade bildinformationen bestäms pupiller och reflektioner av ljuskällan liksom i steg 71. Sedan utförs i ett block 87 äter proceduren enligt. fig. 6 för att bestämma vilket öga som är vilket. I nästa steg 89 avgörs om två ögon har på- träffats i bilden. Om detta är fallet, utförs i ett block 91 en beräkning av ögonens blickpunkt lik- som i block 83. Därefter avgörs i ett block 93 huruvida de fyra senast tagna bilderna är tagna med belysningen i läge (ii). Om detta inte är fallet, utförs åter blocket 85, och i annat fall blocket 77.

Om det i något av blocken 75, 81 och 89 avgjordes, att två ögon inte hade påträffats, utförs åter block 71.

Claims (22)

10 15 20 25 30 35 40 524 003 9 PATENTKRAV

1. Ögondetektionsanläggning innefattande - en eller flera ljuskällor för utsändande av ljus i riktning mot en användares huvud, - en detektor för mottagande av ljus från en användares huvud och för att upprepat uppta bilder därav, och - en utvärderingsenhet kopplad till detektom för bestämning av ett ögas läge och/eller blickrikt- ning, kännetecknad av att utvärderingsenheten är anordnad - att i en bild upptagen av detektom bestämma ett område i vilket en bild av ett öga eller bilder av ögon finns, och - att efter bestämning av området styra detektom att därefter till utvärderingsenheten översända information om följande bild eller bilder, som endast motsvarar det bestämda området av detek- torn.

2. Ögondetektionsanläggning enligt krav 1, kännetecknad av att i det fall att utvärderings- enheten ur den översända informationen inte kan utföra bestämningen, är utvärderingsenheten an- ordnad att styra detektom att för nästa bild översända information för en större del av detektorn kring det tidigare bestämda området.

3. Ögondetektionsanläggning enligt något av krav 1 - 2, kännetecknad av att utvärderings- enheten är anordnad - att i en aktuell bild upptagen av detektom avgöra huruvida bilden innehåller bilder av en använ- dares båda ögon, och - att i det fall, att utvärderingsenheten avgör, att en avbildning av endast ett öga finns i den aktuel- la bilden, bestämma att detta öga är samma öga som finns avbildat i en tidigare upptagen bild, förutsatt att avbildningen av ögat har en position i den aktuella bilden som är tillräckligt nära po- sitionen för avbildningen av ögat i den tidigare upptagna bilden.

4. Ögondetektionsanläggning enligt krav 3, kännetecknad av att i det fall, att utvärderings- enheten avgör, att en avbildning av endast ett öga finns i den aktuella bilden, att positionen för avbildningen av ögat i den aktuella bilden inte motsvarar eller är tillräckligt nära positionen för något öga i en eller flera tidigare upptagna bilder och att positionen för avbildningen av ögat i den aktuella bilden är sådan, att avståndet i sidled till den aktuella bildens ena kant är mindre, men till den andra kanten är större, än ett avstånd, som motsvarar avståndet mellan användarens ögon, är utvärderingsenheten anordnad att låta det öga, av vilket en avbildning finns i den aktuella bilden, vara det öga som innebär, att en avbildning av användarens andra öga skulle befinna sig utanför den aktuella bilden.

5. Ögondetektionsanläggning enligt något av krav 1 - 4, kännetecknad av - att minst två ljuskällor finns anordnade och är placerade på avstånd från varandra för utsändan- de av minst två strålknippen för reflektion mot hornhinnan hos en användares öga, och - att utvärderingsenheten är anordnad att i en upptagen bild använda positionerna för avbildningar av ljuskällomas reflektioner för att bestämma ögats placering i förhållande till detektom.

6. Ögondetektionsanläggning enligt krav 5, kännetecknad av att utvärderingsenheten är 10 15 20 25 30 35 40 524 003 10 anordnad att bestämma avståndet mellan avbildningar av ljuskällomas reflektioner i en upptagen bild för att därur bestämma ögats avstånd från detektorn.

7. Ögondetektionsanläggning enligt något av krav 5 - 6, kännetecknad av minst tre ljus- källor anordnade i ett bestämt mönster, varvid utvärderingsenheten är anordnad att bestämma po- sitionerna för avbildningar av ljuskällomas reflektioner och att använda alla de bestämda positio- nema för att bestämma ögats placering i förhållande till detektom.

8. Ögondetektionsanläggning enligt något av krav 5 - 7, kännetecknad av att ljuskällorna är indelade i två enheter, varvid den första enheten är anordnad att avge ljus lämpat för att, ur bil- der upptagna med belysning från endast denna enhet, bestämma ögats blickriktning och den andra enheten är anordnad att avge ljus lämpat för att, ur bilder upptagna med belysning från endast denna enhet, bestämma ögats avstånd till detektorn, varvid styrenheten är anordnad att aktivera endera eller båda av dessa enheter inför upptagandet av varje bild.

9. Ögondetektionsanläggning enligt något av krav 5 - 8, kännetecknad av minst tre ljus- källor, varav minst två är placerade vid en kant, särskilt den övre eller undre kanten, av en bild- skärm och en är placerad vid en motstående kant av bildskärmen, varvid utvärderingsenheten är anordnad att bestämma positionerna för avbildningar av ljuskällornas reflektioner och att använda de bestämda positionema för att bestämma ögats placering i förhållande till detektorn.

10. Ögondetektionsanläggning enligt något av krav 5 - 9, kännetecknad av minst tre ljus- källor placerade i rät linje vid en kant av en bildskärm, varvid utvärderingsenheten är anordnad att bestämma positionema för avbildningar av ljuskällomas reflektioner och att använda de be- stämda positionema för att bestämma ögats placering i förhållande till detektorn.

11. ll. Ögondetektionsanläggning enligt något av krav 5 - 10, kännetecknad av att en av ljus- källoma är anordnad att utsända ljus i ett strålknippe koaxiellt med detektoms optiska axel.

12. Ögondetektionsanläggning enligt krav 5, kännetecknad av att ljuskälloma är indelade i två enheter, varvid den första enheten är anordnad att avge ljus, som ger upphov till rödögseffekt och därmed är lämpat för att, ur bilder upptagna med belysning från endast denna enhet, bestäm- ma ögats blickriktning, och den andra enheten är anordnad att avge ljus lärnpat för att, ur bilder upptagna med belysning från endast denna enhet, bestämma ögats avstånd till detektom, varvid styrenheten är anordnad att aktivera endera eller båda av dessa enheter inför upptagandet av varje bild.

13. Ögondetektionsanläggning innefattande - en eller flera ljuskällor för utsändande av ljus i riktning mot en användares huvud, - en detektor för mottagande av ljus från en användares huvud och för att upprepat uppta bilder därav, och - en utvärderingsenhet kopplad till detektorn för bestämning av ett ögas läge och/eller blickrikt- ning, kännetecknad av att utvärderingsenheten är anordnad - att i en aktuell bild upptagen av detektorn avgöra, huruvida bilden innehåller bilder av en använ- dares båda ögon, och - att i det fall, att utvärderingsenheten avgör, att en avbildning av endast ett öga finns i den aktuel- 10 15 20 25 30 35 40 524 003 ll la bilden, bestämma att detta öga är samma öga som finns avbildat i en tidigare upptagen bild, förutsatt att avbildningen av ögat har en position i den aktuella bilden som är tillräckligt nära po- sitionen för avbildningen av ögat i den tidigare upptagna bilden.

14. Ögondetektionsanläggning enligt krav 13, kännetecknad av att i det fall, att utvärde- ringsenheten avgör, att en avbildning av endast ett öga finns i den aktuella bilden, att positionen för avbildningen av ögat i den aktuella bilden inte motsvarar eller är tillräckligt nära positionen för något öga i en eller flera tidigare upptagna bilder och att positionen för avbildningen av ögat i den aktuella bilden är sådan, att avståndet i sidled till den aktuella bildens ena kant är mindre, men till den andra kanten är större, än ett avstånd, som motsvarar avståndet mellan användarens ögon, är utvärderingsanordning att ta det öga, av vilket en avbildning finns i den aktuella bilden, vara det öga som innebär, att en avbildning av användarens andra öga skulle befinna sig utanför den aktuella bilden.

15. Ögondetektionsanläggning innefattande - minst två ljuskällor för utsändande av ljus i riktning mot en användares huvud, - en detektor för mottagande av ljus från en användares huvud och för att upprepat uppta bilder därav, och - en utvärderingsenhet kopplad till detektom, kännetecknad av - att minst två av ljuskälloma är placerade på avstånd från varandra för utsändande av minst två strålknippen för reflektion mot hornhinnan hos en användares öga, och - att utvärderingsenheten är anordnad att i en upptagen bild använda positionema för avbildningar av ljuskällornas reflektioner för att bestämma ögats placering i förhållande till detektorn.

16. Ögondetektionsanläggning enligt krav 15, kännetecknad av att utvärderingsenheten är anordnad att bestämrna avståndet mellan avbildningar av ljuskällomas reflektioner i en upptagen bild för att därur bestämma ögats avstånd från detektom.

17. Ögondetektionsanläggning enligt något av krav 15 - 16, kännetecknar] av minst tre ljuskällor anordnade i ett bestämt mönster, varvid utvärderingsenheten är anordnad att bestämma positionema för avbildningar av ljuskällomas reflektioner och att använda alla de bestämda posi- tionema för att bestämma ögats placering i förhållande till detektorn.

18. Ögondetektionsanläggning enligt något av krav 15 - 17, kännetecknad av att ljuskäl- loma är indelade i två enheter, varvid den första enheten är anordnad att avge ljus lämpat för att, ur bilder upptagna med belysning från endast denna enhet, bestämma ögats blickriktning och den andra enheten är anordnad att avge ljus lämpat för att, ur bilder upptagna med belysning från en- dast denna enhet, bestämma ögats avstånd till detektorn, varvid styrenheten är anordnad att akti- vera endera eller båda av dessa enheter inför upptagandet av varje bild.

19. Ögondetektionsanläggning enligt något av krav 15 - 18, kännetecknad av minst tre ljuskällor, varav minst två är placerade vid en kant, särskilt den övre eller undre kanten, av en bildskärm och en är placerad vid en motstående kant av bildskärmen, varvid utvärderingsenheten är anordnad att bestämma positionerna för avbildningar av ljuskällomas reflektioner och att an- vända de bestämda positionema för att bestämma ögats placering i förhållande till detektom. 10 524 003 12

20. Ögondetektionsanläggning enligt något av krav 15 - 19, kännetecknad av minst tre ljuskällor placerade i rät linje vid en kant av en bildskärm, varvid utvärderingsenheten är anord- nad att bestämma positionerna för avbildningar av ljuskällomas reflektioner och att använda de bestämda positionerna för att bestämma ögats placering i förhållande till detektorn.

21. Ögondetektionsanläggning enligt något av krav 15 - 20, kännetecknad av att en av ljuskälloma är anordnad att utsända ljus i ett strålknippe koaxiellt med detektoms optiska axel.

22. Ögondetektionsanläggning enligt krav 15, kännetecknad av att ljuskälloma är indelade i två enheter, varvid den första enheten är anordnad att avge ljus, som ger upphov till rödögsef- fekt och därmed är lämpat för att, ur bilder upptagna med belysning från endast denna enhet, be- stämma ögats blickriktning, och den andra enheten är anordnad att avge ljus lämpat fór att, ur bil- der upptagna med belysning från endast denna enhet, bestämma ögats avstånd till detektorn, var- vid styrenheten är anordnad att aktivera endera eller båda av dessa enheter inför upptagandet av varje bild.