TR201919477A1

TR201919477A1 - A system and method for user interface control

Info

Publication number: TR201919477A1
Application number: TR2019/19477A
Authority: TR
Inventors: Çi̇men Emre; Öztürk Gürkan; Nezi̇h Gerek Ömer
Original assignee: Eskisehir Teknik Ueniversitesi Idari Ve Mali Isler Daire Baskanligi; Eski̇şehi̇r Tekni̇k Üni̇versi̇tesi̇
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2021-06-21
Also published as: WO2021112792A1

Abstract

Buluş, bir görüntüleme biriminde (200) görüntülenen ve çoklu sayıda menü öğesini (230) içeren bir menünün (220) bahsedilen menü öğeleri (230) arasında seçim yapılmasını sağlamak için bir işlemci birimi (110) tarafından gerçekleştirilen bir yöntemdir. Buna göre, kullanıcının bulunduğu ortam görüntülerini (310) yakalayan bir görüntü sensöründen (300) en az bir ortam görüntüsünün (310) alınması, alınan ortam görüntüsünde (310) bir başparmak yukarı deseninin (330) tespit edilmesi, başparmak yukarı deseninin tespit edildiği ortam görüntüsünde (310) parmakların birbirine temas ettiği bölgeler olan parmak çizgilerinin (411) belirlenmesi, parmak çizgilerinden en az birinin önceden belirlenen bir referans ekseni ile aralarında olan bir açının belirlenmesi, belirlenen açıya göre menü öğelerinden (330) birinin işaretlenmesi, ortam görüntüsünde (310) bir tıklama hareketinin (350) aranması ve tıklama hareketinin tespit edilmesi durumunda işaretli menü öğesinin (230) seçilmesinin sağlanmasıyla karekterize edilmektedir. Şekil 1The invention is a method performed by a processor unit 110 for enabling selection between said menu items 230 of a menu 220 displayed on a display unit 200 and comprising multiple menu items 230. Accordingly, taking at least one ambient image (310) from an image sensor (300) that captures the ambient images (310) in which the user is present, detecting a thumbs up pattern (330) in the received media image (310), detecting a thumbs-up pattern in the ambient image in which the thumbs-up pattern is detected. (310) determining the finger lines (411) which are the areas where the fingers touch each other, determining an angle between at least one of the finger lines and a predetermined reference axis, marking one of the menu items (330) according to the determined angle, an image in the media image (310) is characterized by searching for the click gesture 350 and ensuring that the marked menu item 230 is selected if the click action is detected. Figure 1

Description

TARIFNAME KULLANICI ARAYÜZÜ KONTROLÜ IÇIN BIR SISTEM VE YÖNTEM TEKNIK ALAN Bulus, bir görüntüleme biriminde görüntülenen ve çoklu sayida menü ögesini içeren bir kullanici menüsünün bahsedilen menü ögeleri arasinda seçim yapilmasini saglamak için bir islemci birimi tarafindan gerçeklestirilen bir yöntem ve sistem ile ilgilidir. ÖNCEKI TEKNIK Kullanici arayüzleri çesitli yöntemlerle kontrol edilerek islem gerçeklestirilmektedir. Fare, klavye vb. gibi fiziksel giris birimlerinden alinan girislere göre kontrol edilebildigi gibi görüntü isleme yapilarak kullanicinin jestlerine göre de kullanici arayüzü kontrolü saglanabilmektedir. edilerek kol ve elinin hareketi ne göre kullanici arayüzünde gezinmesine ve seçim yapilmasina izin verilen bir yöntemden bahsedilmektedir. Bu gözümde arayüzün kontrol edebilmesi için kullanicinin hayatin olagan akisinda rahat durumdayken yapacagi hareketlerin disinda zorlayici fiziksel hareketler yapmasi gerekmektedir. Fiziksel hareket kapasitesi kisitli kullanicilarin bu hareketleri gerçeklestirmesi güçtür. DESCRIPTION A SYSTEM AND METHOD FOR USER INTERFACE CONTROL TECHNICAL FIELD The invention is a device containing multiple menu items displayed on an imaging unit. to enable selection between the mentioned menu items of the user menu It relates to a method and system implemented by a processing unit. PRIOR ART User interfaces are controlled by various methods and the process is carried out. Mouse, keyboard etc. It can be controlled according to the inputs received from physical input units such as user interface control according to the user's gestures by image processing can be provided. It allows you to navigate the user interface according to the movement of your arm and hand and to make a selection. A method that is allowed to be done is mentioned. This is in my eyes the control of the interface In order for the user to be comfortable in the ordinary flow of life, Apart from the movements, it is necessary to make compelling physical movements. physical movement It is difficult for users with limited capacity to perform these movements.

Sonuç olarak, yukarida bahsedilen tüm sorunlar, ilgili teknik alanda bir yenilik yapmayi zorunlu hale getirmistir. As a result, all the above-mentioned problems require an innovation in the relevant technical field. not made mandatory.

BULUSUN KISA AÇIKLAMASI Mevcut bulus yukarida bahsedilen dezavantajlari ortadan kaldirmak ve ilgili teknik alana yeni avantajlar getirmek üzere, kullanici arayüzü kontrolü için bir sistem ve yöntem ile Bulusun bir amaci, kullanicinin zorlu fiziksel hareketler yapmasina gerek kalmadan jest ile kullanici arayüzü kontrol etmesini saglayan bir sistem ve yöntem ortaya koymaktir. BRIEF DESCRIPTION OF THE INVENTION The present invention is aimed at eliminating the above mentioned disadvantages and providing the relevant technical field. with a system and method for user interface control to bring new advantages One object of the invention is to use gestures without requiring the user to perform strenuous physical movements. It is to introduce a system and method that enables the user to control the user interface.

Bulusun diger bir amaci sistem kaynagi kullanimi azaltilmis bir kullanici arayüzü kontrol sistemi ve yöntemi ortaya koymaktir. Another object of the invention is to control a user interface with reduced system resource usage. to reveal the system and method.

Bulusun diger bir amaci kullanicinin hareketlerinin hatali algilanma oraninin azaltildigi bir kullanici arayüzü kontrol sistemi ve yöntemi ortaya koymaktir. Another aim of the invention is to reduce the false detection rate of the user's movements. The user interface is to reveal the control system and method.

Yukarida bahsedilen ve asagidaki detayli anlatimdan ortaya çikacak tüm amaçlari gerçeklestirmek üzere mevcut bulus, bir görüntüleme biriminde görüntülenen ve çoklu sayida menü ögesini içeren bir kullanici menüsünün bahsedilen menü ögeleri arasinda seçim yapilmasini saglamak için bir islemci birimi tarafindan gerçeklestirilen bir yöntemdir. All the above-mentioned purposes that will emerge from the detailed description below. The present invention, displayed in a display unit and Among the mentioned menu items of a user menu containing a large number of menu items is a method performed by a processing unit to enable selection to be made.

Buna göre yeniligi, - kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi - alinan ortam görüntüsünde en az bir yüzün tespit edilmesi, - yüzün tespit edildigi ortam görüntüsünde bir basparmak yukari deseninin tespit edilmesi, - basparmak yukari deseninin tespit edildigi ortam görüntüsünde parmaklarin birbirine temas ettigi bölgeler olan parmak çizgilerinin belirlenmesi, - parmak çizgilerinden en az birinin önceden belirlenen bir referans ekseni ile aralarinda olan bir açinin belirlenmesi, - belirlenen açiya göre menü ögelerinden birinin isaretlenmesi, - ortam görüntüsünde bir tiklama hareketinin aranmasi - tiklama hareketinin tespit edilmesi durumunda isaretli menü ögesinin seçilmesinin saglanmasi adimlarini içermesidir. Böylece kullanicinin azaltilmis biçimde hareket ederek kullanici arayüzünü kontrol etmesi saglanmaktadir. Accordingly, the novelty - at least one of an image sensor that captures images of the user's environment taking the image of the environment - detecting at least one face in the acquired ambient image, - detecting a thumbs up pattern in the face-detected ambient image, - fingers interlocked in the ambient image where the thumbs up pattern is detected determining the finger lines, which are the areas it comes into contact with, - at least one of the finger lines with a predetermined reference axis between them determination of an angle, - marking one of the menu items according to the specified angle, - searching for a click gesture in the ambient image - the selection of the marked menu item in case of detecting the click gesture provision contains the names. Thus, by acting in a reduced manner, the user to control the interface.

Bulusun tercih edilen bir yapilanmasinin özelligi, "ortam görüntüsünde bir tiklama - ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi, - belirlenen birinci bölgedeki önceden belirlenen ten renklerinde olan piksel sayisinin hesaplanmasi, - son ortam görüntüsünün ten renginde olan piksel sayisinin bir önceki ortam görüntüsünün piksel sayisi veya birden fazla ortam görüntüsü önceki ortam görüntüsünün piksel sayisindan önceden belirlenen bir miktar kadar sapma yaptiginin tespit edildiginde isaretlenen menü ögesinin seçilmesi alt adimlarini içermesidir. A preferred embodiment of the invention is characterized by a "click on the ambient image". - preset with thumb up pattern detected in ambient image determination of a first region of specified dimensions, - the number of pixels with predetermined skin colors in the first specified region calculation, - the number of pixels in the skin color of the last environment image pixel count of the image or more than one media image When it is detected that you deviate from the number of pixels by a predetermined amount Selecting the marked menu item contains sub-steps.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, “ortam görüntüsünde bir tiklama - ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi, - belirlenen birinci bölgenin, basparmak yukari deseninin basparmagini içeren kismi olan bir üst kismi önceden belirlenen bir referans noktasina denk gelecek sekilde döndürülmesi, - üst kisimdaki önceden belirlenmis araliktaki ten rengine uyan piksellerin sayilmasi, - üst kisimdaki ten rengi piksellerin sayisinin önceki ortam görüntülerindeki üst kisimlarin ten renklerindeki piksel sayilarina göre önceden belirlenen oranda azalma göstermis oldugunun tespit edilmesi durumunda tiklama hareketi yapildiginin belirlenmesi alt adimlarini içermesidir. Another preferred embodiment of the invention is characterized by a "click on the ambient image". - preset with thumb up pattern detected in ambient image determination of a first region of specified dimensions, - the portion of the first designated region that contains the thumb of the thumbs up pattern rotated so that its upper part coincides with a predetermined reference point, - counting the pixels matching the skin color in the predetermined range above, - the number of tan pixels in the upper part is equal to the upper part of the previous ambient images showed a decrease in the predetermined rate according to the number of pixels in skin colors If it is detected that there is a clicking movement, it is determined that contains sub-steps.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, ” yüzün tespit edildigi ortam görüntüsünde bir basparmak yukari deseninin tespit edilmesi” adimindan sonra - sonraki her bir ortam görüntüsünde yüz tespit etme islemi yerine basparmak yukari deseninin tespit edilme isleminin gerçeklestirilmesi, - basparmak yukari deseninin tespit edilememesi durumunda “kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi” adimina geçilmesi adimlarini içermesidir. Böylece her ortam görüntüsünde yüz tespit etmek fazladan sistem kaynagi kullanilmamakta yalnizca basparmak yukari hareketi tespit edilip takip edilmektedir. Another preferred embodiment of the invention is characterized by the "environment in which the face is detected". after step “Detecting a thumbs up pattern in the image - thumbs up instead of face detection in each subsequent ambient image performing the process of detecting the pattern, - if the thumbs up pattern cannot be detected at least one ambient image from an image sensor that captures ambient images moving to the step of “receiving” contains the names. Thus, detecting faces in each environment image is an extra system. source is not used, only thumb up movement is detected and followed. is being done.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, bahsedilen önceden belirlenmis ten renginin, tespit edilen yüzün rengi ve bu renge yakin tonlardaki renkler olarak seçilmis olmasidir. Another preferred embodiment of the invention is characteristic of said predetermined skin. color of the detected face and colors close to this color. is that.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, “islemci birimi tarafindan, ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi“ adiminin - tespit edilen yüzün boyutlarinin belirlenmesi, - tespit edilen basparmak yukari deseninin boyutunun belirlenmesi, - yüz boyutu ve basparmak yukari boyutunun birbirine olan oranlarinin önceden belirlenen esik degerlerinden sapma yaptigi tespit edilirse ortam görüntüsü alma adimina geçilmesi alt adimlarini içermesidir. Böylece ortamdaki görsellerin, objelerin basparmak yukari hareketi olarak yanlis bir biçimde tespit edilmesi engellenmektedir. Another preferred embodiment of the invention is characterized by the "environmental pre-determined to include the thumbs-up pattern detected in the image determination of a first region of - determining the dimensions of the detected face, - determining the size of the detected thumb up pattern, - predetermined ratios of face size and thumb-up size to each other If it is detected to deviate from the threshold values, proceed to the step of acquiring the environment image. contains sub-steps. Thus, the visuals and objects in the environment It is prevented from being detected incorrectly as a movement.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, “ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi" adiminin - tespit edilen basparmak yukari deseninin önceden belirlenen araliklardaki ten renginde piksel sayisinin basparmak yukari deseninin piksel sayisina oraninin önceden belirlenen bir degeri asip asmadiginin sorgulanmasi, - hesaplanan oran önceden belirlenen degeri asmiyorsa “kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi” adimina geçilmesi adimlarini içermesidir. Another preferred embodiment of the invention is characterized by the "detected in the ambient image" a first region of predetermined dimensions with a thumb-up pattern. determination" step - skin color of detected thumb up pattern in predetermined ranges the ratio of the number of pixels to the number of pixels of the thumb-up pattern. questioning whether it exceeds a value, - if the calculated rate does not exceed the predetermined value, the “environment of the user” taking at least one ambient image from an image sensor that captures images of passing the name contains the names.

Bulus ayrica, Bir görüntüleme biriminde görüntülenen ve çoklu sayida menü ögesini içeren bir kullanici menüsünün bahsedilen menü ögeleri arasinda seçim yapilmasini saglamak için bir islemci birimi içeren bir kullanici arayüzü kontrol sistemidir. Buna göre yeniligi, bahsedilen islemci biriminin asagidaki adimlari gerçeklestirecek sekilde konfigüre edilmis olmasidir: - kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi - alinan ortam görüntüsünde en az bir yüzün tespit edilmesi, - yüzün tespit edildigi ortam görüntüsünde bir basparmak yukari deseninin tespit edilmesi, - basparmak yukari deseninin tespit edildigi ortam görüntüsünde parmaklarin birbirine temas ettigi bölgeler olan parmak çizgilerinin belirlenmesi, - parmak çizgilerinden en az birinin önceden belirlenen bir referans ekseni ile aralarinda olan bir açinin belirlenmesi, - belirlenen açiya göre menü ögelerinden birinin isaretlenmesi, - ortam görüntüsünde bir tiklama hareketinin aranmasi - tiklama hareketinin tespit edilmesi durumunda isaretli menü ögesinin seçilmesinin saglanmasi. The invention also includes multiple menu items displayed in an imaging unit. to enable a user menu to choose between mentioned menu items It is a user interface control system that includes a processor unit for Accordingly, the novelty said processor unit is configured to perform the following steps is that: - at least one of an image sensor that captures images of the user's environment taking the image of the environment - detecting at least one face in the acquired ambient image, - detecting a thumbs up pattern in the face-detected ambient image, - fingers interlocked in the ambient image where the thumbs up pattern is detected determining the finger lines, which are the areas it comes into contact with, - at least one of the finger lines with a predetermined reference axis between them determination of an angle, - marking one of the menu items according to the specified angle, - searching for a click gesture in the ambient image - the selection of the marked menu item in case of detecting the click gesture provision.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin, “ortam görüntüsünde birtiklama hareketinin aranmasi" adimininda - ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi, - belirlenen birinci bölgedeki önceden belirlenen ten renklerinde olan piksel sayisinin hesaplanmasi, Bulusun tercih edilen bir diger yapilanmasinin özelligi, “ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi" adiminin - tespit edilen basparmak yukari deseninin önceden belirlenen araliklardaki ten renginde piksel sayisinin basparmak yukari deseninin piksel sayisina oraninin önceden belirlenen bir degeri asip asmadiginin sorgulanmasi, - hesaplanan oran önceden belirlenen degeri asmiyorsa “kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi” adimina geçilmesi adimlarini içermesidir. Another preferred embodiment of the invention is that the processing unit is "environmental in step "Searching for merge gesture in image" - preset with thumb up pattern detected in ambient image determination of a first region of specified dimensions, - the number of pixels with predetermined skin colors in the first specified region calculation, Another preferred embodiment of the invention is characterized by the "detected in the ambient image" a first region of predetermined dimensions with a thumb-up pattern. determination" step - skin color of detected thumb up pattern in predetermined ranges the ratio of the number of pixels to the number of pixels of the thumb-up pattern. questioning whether it exceeds a value, - if the calculated rate does not exceed the predetermined value, the “environment of the user” taking at least one ambient image from an image sensor that captures images of passing the name contains the names.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin, “ortam görüntüsünde birtiklama hareketinin aranmasi" adimininda - ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi, - belirlenen birinci bölgedeki önceden belirlenen ten renklerinde olan piksel sayisinin hesaplanmasi, - son ortam görüntüsünün ten renginde olan piksel sayisinin bir önceki ortam görüntüsünün piksel sayisi veya birden fazla ortam görüntüsü önceki ortam görüntüsünün piksel sayisindan önceden belirlenen bir miktar kadar sapma yaptiginin tespit edildiginde isaretlenen menü ögesinin seçilmesi alt adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is that the processing unit is "environmental in step "Searching for merge gesture in image" - preset with thumb up pattern detected in ambient image determination of a first region of specified dimensions, - the number of pixels with predetermined skin colors in the first specified region calculation, - the number of pixels in the skin color of the last environment image pixel count of the image or more than one media image When it is detected that you deviate from the number of pixels by a predetermined amount Selecting the marked menu item It is configured to perform its sub-steps.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin “ortam görüntüsünde birtiklama hareketinin aranmasi” adimininda - ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi, - belirlenen birinci bölgenin, basparmak yukari deseninin basparmagini içeren kismi olan bir üst kismi önceden belirlenen bir referans noktasina denk gelecek sekilde döndürülmesi, - üst kisimdaki önceden belirlenmis araliktaki ten rengine uyan piksellerin sayilmasi, - üst kisimdaki ten rengi piksellerin sayisinin önceki ortam görüntülerindeki üst kisimlarin ten renklerindeki piksel sayilarina göre önceden belirlenen oranda azalma göstermis oldugunun tespit edilmesi durumunda tiklama hareketi yapildiginin belirlenmesi alt adimlarini da gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is characterized by the "environmental environment" of the processor unit. in the step "Searching for a merge gesture in the image" - preset with thumb up pattern detected in ambient image determination of a first region of specified dimensions, - the portion of the first designated region that contains the thumb of the thumbs up pattern rotated so that its upper part coincides with a predetermined reference point, - counting the pixels matching the skin color in the predetermined range above, - the number of tan pixels in the upper part is equal to the upper part of the previous ambient images showed a decrease in the predetermined rate according to the number of pixels in skin colors If it is detected that there is a clicking movement, it is determined that It is configured to perform its sub-steps as well.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin “yüzün tespit edildigi ortam görüntüsünde bir basparmak yukari deseninin tespit edilmesi” adimindan - sonraki her bir ortam görüntüsünde yüz tespit etme islemi yerine basparmak yukari deseninin tespit edilme isleminin gerçeklestirilmesi, - basparmak yukari deseninin tespit edilememesi durumunda “kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi“ adimina geçilmesi adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is characterized by the processing unit's "face detection". Detecting a thumbs up pattern in the media image in which it is - thumbs up instead of face detection in each subsequent ambient image performing the process of detecting the pattern, - if the thumbs up pattern cannot be detected at least one ambient image from an image sensor that captures ambient images configured to perform the steps to pass to the “receive” step. is that.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin “ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi” adimindan sonra - tespit edilen yüzün boyutlarinin belirlenmesi, - tespit edilen basparmak yukari deseninin boyutunun belirlenmesi, - son ortam görüntüsünün ten renginde olan piksel sayisinin bir önceki ortam görüntüsünün piksel sayisi veya birden fazla ortam görüntüsü önceki ortam görüntüsünün piksel sayisindan önceden belirlenen bir miktar kadar sapma yaptiginin tespit edildiginde isaretlenen menü ögesinin seçilmesi alt adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is characterized by the "environmental environment" of the processor unit. pre-determined to include the thumbs-up pattern detected in the image After the step "determination of a first region in dimensions" - determining the dimensions of the detected face, - determining the size of the detected thumb up pattern, - the number of pixels in the skin color of the last environment image pixel count of the image or more than one media image When it is detected that you deviate from the number of pixels by a predetermined amount Selecting the marked menu item It is configured to perform its sub-steps.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin “ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi” adimindan sonra - tespit edilen yüzün boyutlarinin belirlenmesi, - tespit edilen basparmak yukari deseninin boyutunun belirlenmesi, - yüz boyutu ve basparmak yukari boyutunun birbirine olan oranlarinin önceden belirlenen esik degerlerinden sapma yaptigi tespit edilirse ortam görüntüsü alma adimina geçilmesi alt adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is characterized by the "environmental environment" of the processor unit. pre-determined to include the thumbs-up pattern detected in the image After the step "determination of a first region in dimensions" - determining the dimensions of the detected face, - determining the size of the detected thumb up pattern, - predetermined ratios of face size and thumb-up size to each other If it is detected to deviate from the threshold values, proceed to the step of acquiring the environment image. It is configured to perform its sub-steps.

Bulusun tercih edilen bir diger yapilanmasinin özelligi, islemci biriminin “ortam görüntüsünde tespit edilen basparmak yukari deseninin yer aldigi önceden belirlenen boyutlardaki bir birinci bölgenin belirlenmesi” adiminda - tespit edilen basparmak yukari deseninin önceden belirlenen araliklardaki ten renginde piksel sayisinin basparmak yukari deseninin piksel sayisina oraninin önceden belirlenen bir degeri asip asmadiginin sorgulanmasi, - hesaplanan oran önceden belirlenen degeri asmiyorsa “kullanicinin bulundugu ortam görüntülerini yakalayan bir görüntü sensöründen en az bir ortam görüntüsünün alinmasi” adimina geçilmesi alt adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Another preferred embodiment of the invention is characterized by the "environmental environment" of the processor unit. pre-determined to include the thumbs-up pattern detected in the image in the step of "determining a first region of dimensions" - skin color of detected thumb up pattern in predetermined ranges the ratio of the number of pixels to the number of pixels of the thumb-up pattern. questioning whether it exceeds a value, - if the calculated rate does not exceed the predetermined value, the “environment of the user” taking at least one ambient image from an image sensor that captures images of passing the name It is configured to perform its sub-steps.

SEKILIN KISA AÇIKLAMASI Sekil 1' de kullanici arayüzü kontrol sisteminin temsili görünümü verilmistir. BRIEF DESCRIPTION OF THE FIGURE A representative view of the user interface control system is given in Figure 1.

Sekil 2a'da ortam görüntüsünün temsili bir görünümü verilmistir. A representative view of the ambient image is given in Figure 2a.

Sekil 2b'de ortam görüntüsünün temsili bir görünümü verilmistir. A representative view of the environment image is given in Figure 2b.

Sekil 2c'de ortam görüntüsünün temsili bir görünümü verilmistir. A representative view of the environment image is given in Figure 2c.

Sekil 3a'da basparmak yukari deseninin temsili bir görünümü verilmistir. A representative view of the thumb up pattern is given in Figure 3a.

Sekil 3b'de basparmak yukari deseninin temsili bir görünümü verilmistir. A representative view of the thumb up pattern is given in Figure 3b.

Sekil 30' de basparmak yukari deseninin temsili bir görünümü verilmistir. A representative view of the thumb up pattern is given in Figure 30.

Sekil 3d' de tiklama hareketinin temsili bir görünümü verilmistir. A representative view of the click movement is given in Figure 3d.

Sekil 4'de kullanici arayüzü kontrol sisteminin sematik görünümü verilmistir. Figure 4 shows the schematic view of the user interface control system.

Sekil 5'de yöntem adimlarinin sematik görünümü verilmistir. - yüz boyutu ve basparmak yukari boyutunun birbirine olan oranlarinin önceden belirlenen esik degerlerinden sapma yaptigi tespit edilirse ortam görüntüsü alma adimina geçilmesi alt adimlarini gerçeklestirecek sekilde konfigüre edilmis olmasidir. Figure 5 shows the schematic view of the method steps. - predetermined ratios of face size and thumb-up size to each other If it is detected to deviate from the threshold values, proceed to the step of acquiring the environment image. It is configured to perform its sub-steps.

Sekil 5'de yöntem adimlarinin sematik görünümü verilmistir. Figure 5 shows the schematic view of the method steps.

BULUSUN DETAYLI AÇIKLAMASI Bu detayli açiklamada bulus konusu, sadece konunun daha iyi anlasilmasina yönelik hiçbir sinirlayici etki olusturmayacak örneklerle açiklanmaktadir. DETAILED DESCRIPTION OF THE INVENTION In this detailed description, the subject of the invention is only for a better understanding of the subject. It is explained with examples that will not have a restrictive effect.

Bulus bir görüntüleme biriminde (200) görüntülenen bir menünün vücut hareketleriyle kontrol edilmesini saglayan bir kullanici arayüzü kontrol sistemidir (100). Buna göre temel olarak, bir görüntü sensörü (300) kullanicinin bulundugu ortamin ortam görüntülerini (310) almakta, bir islemci birimi (110) de bu görüntüleri isleyerek kullanicinin el hareketleri ile menü ögeleri arasinda gezinmesini saglamakta ve seçim yapmasini saglamaktadir. The invention is associated with body movements of a menu displayed on a display unit 200 It is a user interface control system (100) that provides control. Accordingly, the basic Alternatively, an image sensor 300 captures ambient images 310 of the user's environment. A processor unit (110) processes these images with the user's hand movements. it allows to navigate between menu items and to make a selection.

Burada sözü edilen görüntüleme birimi (200) bir ekran, projektör vb. olabilmektedir. The display unit 200 referred to herein may be a screen, projector, etc. can happen.

Görüntü sensörü (300) de bir kemera olabilmektedir. The image sensor 300 may also be a belt.

Sekil 1'e ve sekil 4`e atfen, görüntüleme birimi (200) bir islemci birimi (110) ile iliskilidir. Referring to figure 1 and figure 4 , the display unit 200 is associated with a processor unit 110 .

Islemci birimi (110), bir mikroislemci vb. olabilmektedir. Islemci birimi (110) de okuma yazma yapabilecek sekilde bir hafiza birimi (120) ile iliskilidir. Hafiza birimi (120), verileri kalici ve geçici olarak saklayacak sekilde düzenlenmis bellekleri içerebilmektedir. Islemci birimi (110), görüntü birimini kontrol edecek sekilde konfigüre edilmistir. Bir baska deyisle, islemci birimi (110), görüntüleme biriminde (200) kullanicinin giris yapmasi ve karsiliginda çikis almasi için yani görüntüleme birimi (200) ile interaksiyona girmesi için bir kullanici arayüzünün görüntülenmesini saglamaktadir. Kullanici arayüzü bir menüyü içerebilmektedir. Meni, menü ögelerini içermektedir. Bir isaretçi menü ögelerinin isaretlenmesini ve seçilmesini saglamaktadir. Menü ögesi (230) seçildiginde islemci birimi (110) tarafindan seçilen menü ögesinin (230) fonksiyonu gerçeklestirilmektedir. Menü ögesi (230) isaretleme islemi ise, bir menü ögesinin (230) kullanicinin diger menü ögelerinden görsel olarak ayirt etmesini saglayacak hale getirilmesini ifade etmektedir. Bu isaretleme bir isaretçi ile, menü ögesinin (230) renginin veya parlakliginin degistirilmesi ile gerçeklestirilebilmektedir. The processor unit 110 may be a microprocessor, etc. can happen. Reading at the processor unit (110) it is associated with a memory unit 120 so that it can write. The memory unit 120, data It may contain memories arranged to store permanently and temporarily. Processor unit 110 is configured to control the display unit. In other words, the processing unit 110, the user input at the display unit 200, and in return a user to output, ie interact with the display unit 200 displays the interface. The user interface displays a menu may contain. The menu contains menu items. A pointer of menu items Allows marking and selection. Processor unit when menu item (230) is selected The function of the menu item (230) selected by (110) is performed. Menu If item (230) is a marking operation, a menu item (230) of the user's other menu It means making it possible to distinguish visually from its elements. This marking with a pointer, changing the color or brightness of the menu item (230) can be realized.

Hafiza birimi (120), islemci biriminin (110) yürüttügü komut satirlarindan olusan fonksiyonel modülleri içeren bir arayüz kontrol yazilimini (121) içerebilmektedir. Islemci birimi (110), arayüz kontrol yaziliminin (121) komutlari uygulayarak bulusun yenilikçi yönünü olusturan adimlari gerçeklestirerek kullanici arayüzü kontrolü yapilmasini saglamaktadir. The memory unit 120 is a functional unit consisting of command lines executed by the processor unit 110. an interface control software (121) containing modules. Processor unit (110), creating the innovative aspect of the invention by executing the commands of the interface control software (121) It provides user interface control by performing the steps.

Daha detayli arayüz kontrol yazilimi (121), bir yüz tespit modülü (122), bir basparmak yukari tespit modülü (123), bir dogrulama modülü (124), bir basparmak yukari izleme modülü (125), bir açi tespit modülü (126) ve bir seçim modülünü içermektedir. More detailed interface control software (121), a face detection module (122), a thumb up detection module 123, a verification module 124, a thumbs up tracking module 125, an angle detection module 126, and a selection module.

Yüz tespit modülü (122), görüntü sensöründen (300) bir ortam görüntüsünü (310) almakta ve ortam görüntüsündeki (310) yüzleri tespit etmektedir. Tespit edilen yüzü çevreleyen dikdörtgen bir alan yüz alani (322) olarak tanimlanmaktadir. Bu mümkün yapilanmada kaskad siniflandirma yöntemlerinden biri ile yüz tespiti yapilmaktadir. Daha detayli olarak Haar Cascade siniflandiricilar kullanilarak yüz tespiti yapmaktadir. Sekil 2a'da sekil 1'deki gibi bir kullanicinin yüzünün tespit edildigi bir ortam görüntüsü (310) verilmektedir. Face detection module 122 receives an ambient image 310 from the image sensor 300. and detects faces in the ambient image 310. surrounding the detected face a rectangular area is defined as the face area (322). In this possible configuration Face detection is done with one of the cascade classification methods. in more detail It detects faces using Haar Cascade classifiers. In figure 2a, in figure 1 An ambient image (310) is provided in which a user's face is detected, such as

Basparmak yukari tespit modülü (123), kullanicinin basparmak yukari desenini (330) aramaktadir. Bulusun yenilikçi yönlerinden biri olarak, tespit edilen yüzün civarindaki önceden belirlenen ölçülerdeki bir tarama alaninda (321) basparmak yukari desenini (330) aramaktadir. Böylelikle, ortam görüntüsünün (310) tamami aranmayarak islem kaynaklarinin daha az kullanilmasi saglanmaktadir. Daha detayli olarak, yüzü çevreleyen dikdörtgen formda bir yüz alaninin (322) eni kadar saga el yönüne ve sol el yönüne; yüksekliginin dört kati kadara da asagi yönde uzanan bir alani tarama alaninda (321) arama yapilmaktadir. Sekil 2b'de tarama alani (321) temsili olarak görülebilmektedir. Bu arama da Haar Cascade siniflandirici ile yapilabilmektedir. Bu siniflandirici çoklu sayidaki pozitif ve negatif (Bas Parmak Yukari Hareketi ve Bas Parmak Yukari Hareketi Olmayanlar) fotografin farkli alt kümeleri kullanilarak egitim yapilmasi sonucu elde edilmistir. Siniflandirici parametreleri xml uzantili bir dosyada tutulmaktadir. Böylelikle, yüzün hassas tespitinin çok daha güvenli olmasindan dolayi basparmak yukari deseninin (330) tespitinin dogrulugunun arttirilmasi saglanmaktadir. Sekil 2c”de basparmak yukari hareketinin bulundugu bir ortam görüntüsü (310) temsili olarak verilmistir. Thumb-up detection module (123) detects the user's thumb-up pattern (330) is calling. As one of the innovative aspects of the invention, around a hundred detected thumb up pattern (330) in a predetermined scan area (321) is calling. Thus, the entire media image 310 is not searched and processed. resources are used less. In more detail, surrounding the face to the right hand direction and to the left hand direction as wide as the width of a rectangular facial area (322); An area extending down to four times its height is included in the scanning area (321). search is in progress. In Figure 2b, the scan area 321 can be seen representatively. This search can also be done with the Haar Cascade classifier. This classifier has multiple positive and negative (Push Up and Thumb Up Gesture) Those who are not) are obtained as a result of training using different subsets of photography. has been made. Classifier parameters are kept in a file with xml extension. Thus, the thumb-up pattern, because precise detection of the face is much safer. (330) is provided to increase the accuracy of the detection. Thumb up in Figure 2c An ambient image 310 with motion is given as a representation.

Dogrulama modülü (124), basparmak yukari deseninin (330) bir ele, bir insana ait olup olmadigini dogrulamaktadir. Böylelikle, ortamda bulunan bir basparmak yukari deseni (330) posteri vb. gibi ögelerin yanlis tespit edilmesini engellemektedir. Daha detayli olarak, basparmak yukari deseninin (330) alt yarisinin ten renginde olup olmadigi kontrol edilmektedir. Ten renkleri bir ten rengi veri tabaninda kayitli olabilmekte veya tespit edilen yüzden çikarilabilmektedir. Basparmak yukari deseninin (330) basparmak kismi yukari yönde, el kismi da asagi yöndedir. Buna göre, basparmak yukari deseninin (330) merkezinden yatay olarak çizilen hayali bir çizginin altinda kalan kismin ten rengi veya renkleri ile önceden belirlenen bir oranda uyusup uyusmadigi sorgulanmaktadir. Sekil Daha detayli arayüz kontrol yazilimi (121), bir yüz tespit modülü (122), bir basparmak yukari tespit modülü (123), bir dogrulama modülü (124), bir basparmak yukari izleme modülü (125), bir açi tespit modülü (126) ve bir seçim modülünü içermektedir. The verification module 124 indicates whether the thumb-up pattern 330 belongs to a hand or a human. confirms that it is not. Thus, a thumbs-up pattern in the environment (330) poster etc. It prevents such items from being detected incorrectly. In more detail, check if the bottom half of the thumb up pattern (330) is flesh-colored. is being done. Skin colors can be registered in a skin color database or so it can be removed. Thumb up of thumb up pattern (330) direction, the hand is in the down direction. Accordingly, the thumb-up pattern 330 the skin color of the part below an imaginary line drawn horizontally from its center, or It is questioned whether they match with the colors at a predetermined rate. Shape More detailed interface control software (121), a face detection module (122), a thumb up detection module 123, a verification module 124, a thumbs up tracking module 125, an angle detection module 126, and a selection module.

Dogrulama modülü (124), basparmak yukari deseninin (330) bir ele, bir insana ait olup olmadigini dogrulamaktadir. Böylelikle, ortamda bulunan bir basparmak yukari deseni (330) posteri vb. gibi ögelerin yanlis tespit edilmesini engellemektedir. Daha detayli olarak, basparmak yukari deseninin (330) alt yarisinin ten renginde olup olmadigi kontrol edilmektedir. Ten renkleri bir ten rengi veri tabaninda kayitli olabilmekte veya tespit edilen yüzden çikarilabilmektedir. Basparmak yukari deseninin (330) basparmak kismi yukari yönde, el kismi da asagi yöndedir. Buna göre, basparmak yukari deseninin (330) merkezinden yatay olarak çizilen hayali bir çizginin altinda kalan kismin ten rengi veya renkleri ile önceden belirlenen bir oranda uyusup uyusmadigi sorgulanmaktadir. Sekil 3b'de ayrilan kisimlar görülebilmektedir. Bu mümkün yapilanmada oran %80'dir. Böylelikle, ele takilan aksesuarlar sebebiyle yanlis sonuç elde edilmesinin önüne geçilmektedir. The verification module 124 indicates whether the thumb-up pattern 330 belongs to a hand or a human. confirms that it is not. Thus, a thumbs-up pattern in the environment (330) poster etc. It prevents such items from being detected incorrectly. In more detail, check if the bottom half of the thumb up pattern (330) is flesh-colored. is being done. Skin colors can be registered in a skin color database or so it can be removed. Thumb up of thumb up pattern (330) direction, the hand is in the down direction. Accordingly, the thumb-up pattern 330 the skin color of the part below an imaginary line drawn horizontally from its center, or It is questioned whether they match with the colors at a predetermined rate. Shape In 3b, the separated parts can be seen. In this possible configuration, the rate is 80%. Thus, It is prevented from getting wrong results due to the accessories attached to the hand.

Renk kontrolü için iki renk uzayindan biri kullanilabilmektedir. Ilk uzay YCbCr uzayidir ve bir pikselin ten rengi olup olmadigi asagidaki araliklarda olup olmadigi sorgulanarak belirlenmektedir: - 210 >Cb > 140 ° 130 >Cr> 90 Ikinci uzay ise HSV uzayidir ve bir pikselin ten rengi olup olmadigi asagidaki araliklarda olup olmadigi sorgulanarak belirlenmektedir: >H>0 255>S>48 255>V>80 Bulusu mümkün bir yapilanmasinda ek veya muadil dogrulama yöntemi olarak, tespit edilen yüzün boyutu ve basparmak yukari deseninin (330) boyutlari bir bireyin basparmak yukari deseni (330) yaptiginda ortam görüntüsünde (310) elde edilebilecek maksimum ve boyutlar belirlenerek, basparmak yukari deseninin (330) bu sinirlar içerisinde olup olmadigi tespit edilmektedir. Daha detayli olarak, büyüklük kontrolünde basparmak yukari deseninin (330) asagidaki sinirlara uyup uymadigi tespit edilmektedir. 0.4* yüz genisligi < Basparmak yukari deseni (330) genisligi < 0.6* yüz genisligi 0.8* yüz yüksekligi < Basparmak yukari deseni (330) yüksekligi < 1.2* yüz yüksekligi Basparmak yukari izleme modülü (125), basparmak yukari deseninin (330) tespit edilmesiyle birlikte, ardisik ortam görüntülerinde (310) basparmak yukari desenini (330) tespit etmektedir. Bu asamada ardisik ortam görüntülerinde (310) yüz tespit etme yapilmamaktadir. Basparmak yukari deseninin (330) izlendigi moda geçildiginde tercihen görüntüleme biriminde (200) menü ögeleri gösterilmektedir. One of two color spaces can be used for color control. The first space is the YCbCr space and by querying whether a pixel is skin color or not in the following ranges is determined: - 210 >Cb > 140 ° 130 >Cr> 90 The second space is the HSV space, and whether a pixel is skin color or not is in the following ranges. It is determined by questioning whether: >H>0 255>S>48 255>V>80 As an additional or equivalent method of verification in a possible embodiment of the invention, detection the size of the face being reproduced and the dimensions of the thumb-up pattern 330 are the dimensions of an individual's thumb when you make the up pattern 330, the maximum and by determining the dimensions, whether the thumb-up pattern (330) is within these limits. is detected. In more detail, the thumb-up pattern on the size control (330) is determined whether it complies with the following limits. 0.4* face width < Thumb up pattern (330) width < 0.6* face width 0.8* face height < Thumb up pattern (330) height < 1.2* face height Thumb-up tracking module 125 detects thumb-up pattern 330 with the thumb-up pattern (330) in sequential media images (310). detects. Face detection in sequential media images 310 at this stage not done. Preferably when switching to the mode where the thumbs up pattern (330) is followed menu items are displayed on the display unit 200.

Basparmak yukari hareketinin takibi için etiketlenen basparmak yukari deseninin (330) alt kismina yani elin yumruk biçiminde oldugu kisma odaklanilmaktadir. Basparmak yukari deseninin (330) alt kismi dis bükey (convex) olmasi ve izlemeyi olumsuz etkileyecek arka 3b'de ayrilan kisimlar görülebilmektedir. Bu mümkün yapilanmada oran %80'dir. Böylelikle, ele takilan aksesuarlar sebebiyle yanlis sonuç elde edilmesinin önüne geçilmektedir. Bottom of thumb-up pattern (330) labeled for thumb-up tracking The focus is on the part where the hand is in the form of a fist. thumbs up pattern (330) having a convex lower part and rear In 3b, the separated parts can be seen. In this possible configuration, the rate is 80%. Thus, It is prevented from getting wrong results due to the accessories attached to the hand.

Basparmak yukari hareketinin takibi için etiketlenen basparmak yukari deseninin (330) alt kismina yani elin yumruk biçiminde oldugu kisma odaklanilmaktadir. Basparmak yukari deseninin (330) alt kismi dis bükey (convex) olmasi ve izlemeyi olumsuz etkileyecek arka plan görüntülerini daha az içermesidir. Izleme modunda çesitli algoritmalar (örnegin KCF algoritmasi) kullanilabilmektedir. Basparmak yukari deseni (330) tespit edilemediginde yüz tespit etme adimina geri dönülmektedir. Bottom of thumb-up pattern (330) labeled for thumb-up tracking The focus is on the part where the hand is in the form of a fist. thumbs up pattern (330) having a convex lower part and rear contains less background images. Various algorithms in watch mode (eg KCF algorithm) can be used. When the thumb up pattern (330) cannot be detected, the face returns to the detection step.

Açi tespit modülü (126), basparmak yukari deseninde (330) birbirine temas eden parmaklarin arasindaki çizgiler olarak tanimlanan parmak çizgilerini (411) tespit etmekte ve bunlarin önceden belirlenen bir referans eksene göre olan açilarini belirlemektedir (sekil 3a). Bulusun mümkün bir yapilanmasindaki tüm parmak açilarinin ortalamasi hesaplanmaktadir. Hesaplanan açiya göre menü ögelerinden birinin isaretlenmesi saglanmaktadir. Parmak çizgileri (411) Hough dönüsümü kullanilarak tespit edilebilmektedir. Angle fixation module 126 is arranged in a thumb-up pattern 330 that touches each other. detects finger lines (411), defined as the lines between the fingers, and determines their angles with respect to a predetermined reference axis (fig. 3 a). Average of all finger angles in a possible embodiment of the invention is calculated. Marking one of the menu items according to the calculated angle is provided. Finger lines (411) Detection using Hough transform can be achieved.

Seçim tespit modülü (127), basparmak yukari desenini (330) basparmak yukari bakacak sekilde döndürmektedir. Döndürmenin ardindan yukaridan asagiya dogru ten rengindeki pikseller sayilmaktadir. Ardisik ortam görüntülerindeki (310) basparmak yukari deseninin (330) üst kismindaki ten rengindeki piksel azalmasi tespit edildiginde tiklama hareketi (350) yapildigi varsayilarak isaretli menü ögesinin (230) seçilmesi saglanmaktadir. Sekil 3d'de ortam görüntüsü (310) üzerinde tespit edilmis tiklama hareketi (350) temsili olarak gösterilmektedir. The selection detection module (127) prints the thumbs up pattern (330) with the thumbs up. rotates in . After rotation, from top to bottom skin-colored pixels are counted. Thumb up pattern in sequential media images 310 (330) clicking action when tan pixel reduction is detected in the upper part Assuming (350) is done, the marked menu item (230) is selected. Shape As a representation of the click motion 350 detected on the ambient image 310 in 3d is shown.

Modüllerin uyguladigi adimlar sekil 5'te sematik olarak verilmistir. The steps applied by the modules are given schematically in Figure 5.

Birden fazla yüz tespit edildigi durumda her bir yüz için ayri ayri basparmak yukari hareketi aramakta ve buna göre islemler gerçeklestirilmektedir. Thumb up gesture for each face separately when more than one face is detected calls and actions are taken accordingly.

Bulusun örnek çalisma senaryosu asagidaki gibidir: Kullanici görüntüleme birimi (200) karsisina geçmektedir. Görüntüleme birimi (200) kullanicinin ortam görüntüsünü (310) almaktadir. Islemci birimi (110) ortam görüntüsünden (310) yüzü tespit etmektedir. Basparmak yukari hareketini tespit edene kadar ardisik ortam görüntülerinde (310) yüz tespiti yapmaktadir. Kullanici baspsarmak yukari hareketi yaptiginda islemci birimi (110) ortam görüntüsünde (310) hareketi tespit etmektedir. Menü ögeleri ekranda görüntülenmektedir. Islemci birimi (110), basparamak yukari hareketi takibi moduna geçmektedir (el takibi). Alinan diger bir ortam görüntüsünde (310) parmak çizgileri (411) tespit edilmekte ve parmak çizgilenin (411) durus açisina göre ekranda bir ekran ögesi isaretlenmektedir. Kullanicinin seçim isareti yaptigi tespit edilene kadar basparmak yukari hareketi tespit edilip, açi hesaplanarak menü ögeleri isaretlenmektedir. Kullanicinin plan görüntülerini daha az içermesidir. Izleme modunda çesitli algoritmalar (örnegin KCF algoritmasi) kullanilabilmektedir. Basparmak yukari deseni (330) tespit edilemediginde yüz tespit etme adimina geri dönülmektedir. The case study scenario of the invention is as follows: The user is facing the display unit 200 . Imaging unit (200) takes the user's media image (310). From the media image of the processor unit (110) 310 detects the face. Consecutive media until detecting thumb up gesture detects faces in images (310). User press up gesture when it does, the processor unit (110) detects motion in the media image (310). Menu items are displayed on the screen. Processor unit (110), thumb up movement tracking mode (hand tracking). Finger lines in another acquired media image (310) (411) is detected and a screen is displayed on the screen according to the angle of the finger lines (411). item is marked. Thumbs up until it is detected that the user has made a check mark menu items are marked by detecting the upward movement and calculating the angle. User's contains less background images. Various algorithms in watch mode (eg KCF algorithm) can be used. When the thumb up pattern (330) cannot be detected, the face returns to the detection step.

Bulusun örnek çalisma senaryosu asagidaki gibidir: Kullanici görüntüleme birimi (200) karsisina geçmektedir. Görüntüleme birimi (200) kullanicinin ortam görüntüsünü (310) almaktadir. Islemci birimi (110) ortam görüntüsünden (310) yüzü tespit etmektedir. Basparmak yukari hareketini tespit edene kadar ardisik ortam görüntülerinde (310) yüz tespiti yapmaktadir. Kullanici baspsarmak yukari hareketi yaptiginda islemci birimi (110) ortam görüntüsünde (310) hareketi tespit etmektedir. Menü ögeleri ekranda görüntülenmektedir. Islemci birimi (110), basparamak yukari hareketi takibi moduna geçmektedir (el takibi). Alinan diger bir ortam görüntüsünde (310) parmak çizgileri (411) tespit edilmekte ve parmak çizgilenin (411) durus açisina göre ekranda bir ekran ögesi isaretlenmektedir. Kullanicinin seçim isareti yaptigi tespit edilene kadar basparmak yukari hareketi tespit edilip, açi hesaplanarak menü ögeleri isaretlenmektedir. Kullanicinin basparmak yukari hareketi tespit edildiginde de son isaretlenen menü ögesi (230) seçilmekte ve menü ögesinin (230) fonksiyonu gerçeklestirilmektedir. The case study scenario of the invention is as follows: The user is facing the display unit 200 . Imaging unit (200) takes the user's media image (310). From the media image of the processor unit (110) 310 detects the face. Consecutive media until detecting thumb up gesture detects faces in images (310). User press up gesture when it does, the processor unit (110) detects motion in the media image (310). Menu items are displayed on the screen. Processor unit (110), thumb up movement tracking mode (hand tracking). Finger lines in another acquired media image (310) (411) is detected and a screen is displayed on the screen according to the angle of the finger lines (411). item is marked. Thumbs up until it is detected that the user has made a check mark menu items are marked by detecting the upward movement and calculating the angle. User's last marked menu item also when thumb up gesture is detected (230) is selected and the function of the menu item 230 is performed.

Bulusun koruma kapsami ekte verilen istemlerde belirtilmis olup kesinlikle bu detayli anlatimda örnekleme amaciyla anlatilanlarla sinirli tutulamaz. Zira teknikte uzman bir kisinin, bulusun ana temasindan ayrilmadan yukarida anlatilanlar isiginda benzer yapilanmalar ortaya koyabilecegi açiktir. basparmak yukari hareketi tespit edildiginde de son isaretlenen menü ögesi (230) seçilmekte ve menü ögesinin (230) fonksiyonu gerçeklestirilmektedir. The scope of protection of the invention is stated in the attached claims and this detailed for exemplification purposes, it cannot be limited to what is told. Because a technical expert similar in the light of what has been explained above without departing from the main theme of the invention. It is clear that structuring can occur. last marked menu item also when thumb up gesture is detected (230) is selected and the function of the menu item 230 is performed.

Bulusun koruma kapsami ekte verilen istemlerde belirtilmis olup kesinlikle bu detayli anlatimda örnekleme amaciyla anlatilanlarla sinirli tutulamaz. Zira teknikte uzman bir kisinin, bulusun ana temasindan ayrilmadan yukarida anlatilanlar isiginda benzer yapilanmalar ortaya koyabilecegi açiktir. The scope of protection of the invention is stated in the attached claims and this detailed for exemplification purposes, it cannot be limited to what is told. Because a technical expert similar in the light of what has been explained above without departing from the main theme of the invention. It is clear that structuring can occur.

SEKILDE VERILEN REFERANS NUMARALARI 100 Kullanici arayüzü kontrol sistemi 110 Islemci birimi 120 Hafiza birimi 121 Arayüz kontrol yazilimi 122 Yüz tespit modülü 123 Basparmak yukari tespit modülü 124 Dogrulama modülü 125 Basparmak yukari izleme modülü 126 Açi tespit modülü 127 Seçim tespit modülü 200 Görüntüleme birimi 210 Kullanici arayüzü 220 Menü 230 Menü ögesi 310 Ortam görüntüsü 320 Yüz 321 Tarama alani 322 Yüz alani 330 Basparmak yukari deseni 331 Birinci bölge 332 Üst kisim 333 Alt kisim 334 Referans çizgisi 335 Referans noktasi 350 Tiklama hareketi 400 Kullanici 410 Parmak 411 Parmak çizgisi SEKILDE VERILEN REFERANS NUMARALARI 100 Kullanici arayüzü kontrol sistemi 110 Islemci birimi 120 Hafiza birimi 121 Arayüz kontrol yazilimi 122 Yüz tespit modülü 123 Basparmak yukari tespit modülü 124 Dogrulama modülü 125 Basparmak yukari izleme modülü 126 Açi tespit modülü 127 Seçim tespit modülü 200 Görüntüleme birimi 210 Kullanici arayüzü 220 Menü 230 Menü ögesi 310 Ortam görüntüsü 320 Yüz 321 Tarama alani 322 Yüz alani 330 Basparmak yukari deseni 331 Birinci bölge 332 Üst kisim 333 Alt kisim 334 Referans çizgisi 335 Referans noktasi 350 Tiklama hareketi 400 Kullanici 410 Parmak 411 Parmak çizgisiREFERENCE NUMBERS IN THE FOLLOWING 100 User interface control system 110 Processor units 120 Memory units 121 Interface control software 122 Face detection module 123 Thumb-up detection module 124 Authentication module 125 Thumb-up tracking module 126 Angle detection module 127 Selection detection module 200 Imaging units 210 User interface 220 Menu 230 Menu items 310 Ambient display 320 Faces 321 Scanning area 322 face area 330 Thumb up pattern 331 First district 332 Upper part 333 Lower part 334 Reference line 335 Reference point 350 Click movement 400 Users 410 Fingers 411 Finger line REFERENCE NUMBERS IN THE FOLLOWING 100 User interface control system 110 Processor units 120 Memory units 121 Interface control software 122 Face detection module 123 Thumb-up detection module 124 Authentication module 125 Thumb-up tracking module 126 Angle detection module 127 Selection detection module 200 Imaging units 210 User interface 220 Menu 230 Menu items 310 Ambient display 320 Faces 321 Scanning area 322 face area 330 Thumb up pattern 331 First district 332 Upper part 333 Lower part 334 Reference line 335 Reference point 350 Click movement 400 Users 410 Fingers 411 Finger line

Claims

REQUESTS

1. A method performed by a processor unit (110) for displaying on a display unit (200) and enabling multiple menu items (230) to be selected among said menu items (230) of a menu (220), and its feature is; Taking at least one ambient image (310) from an image sensor (300) that captures the user's environment images (310), detecting at least one face in the acquired ambient image (310), thumbs up in a scan area of predetermined dimensions in which the detected face is located. pattern (330), detecting a thumbs-up pattern (330) in said media image (310), performing thumb-up pattern (330) detection in each subsequent media image (310) instead of face-detection, thumb-up pattern detection In case of failure, “taking at least one ambient image (310) from an image sensor (300) that captures the user's ambient images (310) is to indicate that the finger lines (411), which are the regions where the fingers touch each other, in the ambient image (310) where the thumb up pattern (330) is detected. determination of at least one of the finger lines (411) to a predetermined reference Determining an angle between them and the axis, marking one of the menu items (330) according to the determined angle, searching for a click gesture (350) in the ambient image (310), searching for a click gesture (350) in the ambient image (310), and a predetermined size of the thumb up pattern (330) detected in the ambient image (310). determining a first region (331), determining the detected face dimensions, - determining the size of the detected thumb up pattern (330), - obtaining an ambient image (310) if it is determined that the ratio of the face size and thumb up size to each other deviates from the predetermined threshold values The number of pixels in the color color of the last ambient image (310) - having predetermined skin colors in the first specified region (311) - the number of pixels of the previous ambient image (310) or the multiple ambient image (310) of the previous ambient image (310) When it is detected that it deviates by a predetermined amount from the number of pixels, it will be marked. Selecting the n menu item 230, - ensuring that the marked menu item 230 is selected if the click action 350 is detected.

2. It is a method according to claim 1 and its feature is; "searching for a click gesture 350 in the ambient image (310)" step identifying a first region (331) of predetermined dimensions containing the thumb up pattern (330) detected in the ambient image (310), - the first region identified (331), the thumb rotating the top of the pattern (330) that contains the thumb so that the upper part of it coincides with a predetermined reference point (335), - counting the pixels that match the skin color in the predetermined range of the upper part, - the number of tan pixels in the upper part in the previous media images (310) If it is determined that the upper parts (332) have decreased at a predetermined rate according to the number of pixels in skin colors, it includes the process steps of determining that a clicking motion (350) is made.

3. It is a method according to claim 2 and its feature is; said predetermined skin color has been chosen as the color of the detected face.

4. It is a method according to claim 1 and its feature is; The step of “determining a first region (331) of predetermined dimensions containing the thumb-up pattern (330) detected in the ambient image (310)” step is to determine the number of tan pixels in the predetermined ranges of the detected thumb-up pattern (330) of the thumb-up pattern (330) pixels. Querying whether the ratio to the number of users exceeds a predetermined value, if the calculated ratio does not exceed the predetermined value, it includes the steps of "taking at least one ambient image (310) from an image sensor (300) that captures the ambient images (310) where the user is present".

5. Processor unit (110) of a user interface control system (100) to enable selection between said menu items (230) of a user menu (220) displayed on a display unit (200) and containing multiple menu items (230). It is a working method and its feature is; Taking at least one ambient image (310) from an image sensor (300) that captures the user's environment images (310), detecting at least one face in the acquired ambient image (310), thumbs up in a scan area of predetermined dimensions in which the detected face is located. pattern (330), detecting a thumbs-up pattern (330) in the received media image (310), performing thumb-up pattern (330) detection instead of face-detection in each subsequent media image (310), failing to detect the thumb-up pattern In the case of "taking at least one ambient image (310) from an image sensor (300) that captures the ambient images (310) where the user is present", determining the finger lines (411), which are the regions where the fingers touch each other, in the ambient image (310) where the thumb up pattern is detected. , at least one of the finger lines is a predetermined reference Determining an angle between them and the axis, - marking one of the menu items (230) according to the specified angle, - searching for a click movement (350) in the ambient image (310), - ensuring that the marked menu item (230) is selected in case of a click movement is detected. it contains.

6. It is a user interface control system (100) according to claim 5 and its feature is; In the step of "searching for a click gesture 350 in the ambient image 310" of the processor unit (110), - determining a first region of predetermined dimensions (331), in which the thumbs up pattern 330 detected in the ambient image 310 is located, - the specified predetermined skin colors in the first region 331 - the number of pixels in the skin color of the last ambient image 310 is the number of pixels of the previous media image 310 or the multiple ambient image 310 is a predetermined number of pixels of the previous media image 310 Selecting the marked menu item (230) when it is detected that there is a deviation by the amount of amount is included in the process steps.

7. It is a user interface control system (100) according to claim 5, and its feature is; In the step of "searching for a click gesture 350 in the ambient image 310" of the processor unit 110 - determining a first region of predetermined dimensions (331), in which the detected thumbs up pattern 330 in the ambient image 310 is located, - the first determined rotating the region (331) such that the upper part of the thumb-up pattern (330), which is the part containing the thumb, coincides with a predetermined reference point (335), -counting the skin color-matching pixels in the predetermined range above, -counting the number of skin-colored pixels in the upper part If it is determined that the upper parts (332) of the previous media images (310) have decreased at a predetermined rate according to the number of pixels in the skin colors, it includes the processing steps of determining that a clicking motion (350) is made.

8. It is a user interface control system (100) according to claim 7 and its feature is; said predetermined skin color has been chosen as the color of the detected face.

9. It is a user interface control system (100) according to claim 6 and its feature is; In the step of "determining a first region 331 of predetermined dimensions in which the thumb up pattern 330 that is detected in the media image 310" of the processor unit (110) - determines the dimensions of the detected face, - determines the size of the detected thumb-up pattern (330) - If it is detected that the ratio of the face size and thumb-up size to each other deviates from the predetermined threshold values, it includes the steps of moving to the step of acquiring the ambient image (310).

10. It is a user interface control system (100) according to claim 6, and its feature is; In the step of "determining a first region 331 of predetermined dimensions in which the detected thumbs up pattern 330 in the media image 310" of the processor unit (110) - determines the number of tan pixels in predetermined ranges of the detected thumb up pattern 330 by the thumb Querying whether the ratio of the up pattern (330) to the number of pixels exceeds a predetermined value, - if the calculated ratio does not exceed the predetermined value, "taking at least one ambient image (310) from an image sensor (300) that captures the ambient images (310) where the user is present" it contains.