[go: up one dir, main page]

TR201906816T4 - Zenginleştirilmiş gerçeklik sahnesi oynatıldığında otomatik kaydırmaya yönelik yöntemler, cihazlar ve sistemler. - Google Patents

Zenginleştirilmiş gerçeklik sahnesi oynatıldığında otomatik kaydırmaya yönelik yöntemler, cihazlar ve sistemler. Download PDF

Info

Publication number
TR201906816T4
TR201906816T4 TR2019/06816T TR201906816T TR201906816T4 TR 201906816 T4 TR201906816 T4 TR 201906816T4 TR 2019/06816 T TR2019/06816 T TR 2019/06816T TR 201906816 T TR201906816 T TR 201906816T TR 201906816 T4 TR201906816 T4 TR 201906816T4
Authority
TR
Turkey
Prior art keywords
camera
scene
exposure
application
rectangle
Prior art date
Application number
TR2019/06816T
Other languages
English (en)
Inventor
laurent Anthony
Jouet Pierrick
Baillard Caroline
Original Assignee
Interdigital Ce Patent Holdings
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interdigital Ce Patent Holdings filed Critical Interdigital Ce Patent Holdings
Publication of TR201906816T4 publication Critical patent/TR201906816T4/tr

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

Mevcut buluş, bir zenginleştirilmiş gerçeklik uygulamasını yürütürken bir sistemin kamerasının (103) kaydırma katsayısını otomatik olarak uyarlamasına yönelik yöntemler, aparat ve sistemler ile ilgilidir. Bir poz tahmini, gerçek sahneyi yakalayan kamera (103) için gerçekleştirilmektedir ve AR sahnesinin sınırları (32) hesaplanmaktadır. Kamera kesiğine ve sınırlara göre üç boyutlu dikdörtgenler, kamera için sahnenin görülmesini ve optimal pozisyonu optimize edecek olan bir kaydırma katsayısını belirlemek üzere hesaplanmaktadır. Kaydırma, otomatik olarak, optik olarak veya dijital olarak uyarlanmaktadır ve optimal pozisyon, görsel, işitsel veya dokunsal araçlar ile kullanıcıya gösterilmektedir.

Description

TARIFNAME ZENGINLESTIRILMIS GERÇEKLIK SAHNESI OYNATILDIGINDA OTOMATIK KAYDIRMAYA YÖNELIK YÖNTEMLER, CIHAZLAR VE SISTEMLER 1. Teknik alan Mevcut bulus, genellikle Zenginlestirilmis Gerçeklik alanElle, ve daha da özellikle, bir video düz-geçis cihazIa çallglan zenginlestirilmis gerçeklik uygulamasEile ilgilidir. 2. Önceki teknik Bir Zenginlestirilmis Gerçeklik (AR) uygulamasügerçek dünyanI üstündeki üç boyutlu yapay nesneleri (örnegin, bilgisayar tarafIdan üretilen, genellikle ayrlîa CGI olarak adlandlEllân görüntüler) kaplamaktadE Gerçekçilik ve gerçek-aman performansÇl AR uygulamalari. degerlendirilmesinde önemli kriterlerdir. Iki tür AR cihazElbulunmaktadlE örnegin akÜJEamIar gibi "optik arka-gösteren cihazlar" ve örnegin akilIIüelefonIar veya tabletler gibi "video düz-geçis cihazlarE] Mevcut bulus, bu ikinci türde AR cihazlarEiIe ilgilidir. Video düz-geçis cihazlarÇlbir gösterim ekranü bir kamera ve kullan-[El gerçek zamanda kameranI pozunu (Iokasyon ve hedef yön) kontrol etmesine yönelik araçlar ile donatilân aparattlEl Örnegin akHJDtelefonlar ve tabletler, bir AR uygulamasüçallgtiglütla kendi ön ekranlarlElEle kendi arkaya bakan kameralarIERullanan AR cihazlarIE Bu durumda kullanlEIZl cihazIZIeIIeyerek kamera pozunu kontrol etmektedir. Kamera taraflTidan yakalanan video, ekranda çallglna sÜsIa görsellestirilmektedir. AR uygulamaSÇIvideo görüntüsünde bir AR ekranII sanal nesnelerini kaplamaktadE Belirli optimal kamera açilârütla kullanIED bir tam AR sahnesini izleyebilmektedir. Ancak kamera, AR sahnesinin Iokasyonundan çok yakI oldugu takdirde veya kameranI hedef yönü optimal yönde olmad[g]l:takdirde AR nesnelerinin birkaçÇlkameranI kapsam dlgEtIadlEl Kamera, AR sahnesinin Iokasyonunda çok uzakta oldugu takdirde AR nesneleri küçüktür ve ayrlEtÜâr, ekranda görülmeyebilmektedir. Bu sorunu çözmek için kullan-El, kendi kendine optimal pozu aramasgerekmektedir. Bu tür bir çözüm tatmin edici degildir çünkü kullan lEÇI'ier daim nesneleri veya ayrlEtiIârüaçlEcHigill fark. varmamaktadlElve çünkü optimal poz için arama, AR uygulamalelI keyifli kullanIIElibozan ugrastüEEbir görevdir. eksik bölümleri yakalamasIEbnererek otomatiklestirilmis bir optimal kaydlîilna seviyesinin saglanmasi yönelik bir yöntemi açllZlamaktadE 3. KlEla açIlama Mevcut bulus, bir Zenginlestirilmis Gerçek uygulamasIEçallstElglHa bir video düz-geçis cihazII kamerasII kaydüna ve hedef yönünü otomatik bir sekilde uyarlamaya yönelik bir yöntem ile ilgilidir. Video düz-geçis cihazII kamerasII poz tahminine ve AR sahnesinin sIIIlEIlar hesaplanmasi göre kameranI optik veya dijital kaydlElnasÇlkulIanlEEhareket etmeden AR'nin görülmesini optimize etmek için uyarlanmaktadEl Optimal bir pozisyon, kullan @hareket etmeye tesvik etmek için gösterilebilmektedir. Mevcut bulus, bir kameranlgörüs aç-an bir zenginlestirilmis gerçeklik sahnesini oynatlElken bir gösterim cihazIa görüntülerin görsellestirilmesine yönelik bir yöntem ile ilgilidir, yöntem, asagEIEikileri içermektedir: - zenginlestirilmis sahnenin sIIIlElbr belirlenmesi; - kameranI bir pozunun bir tahminine ve sahnenin sIlEllar- göre bir kaydlîilna katsay-I belirlenmesi; ve - kaydlîilna katsay- göre gösterim cihazIaki görüntülerin kameradan görsellestirilmesi. Belirli bir özellige göre yöntem, ayrEla, görsel, isitsel veya dokunsal etkileri içeren gruptan seçilen etkiler kullanüârak kameranI kullanlîlýla göre pozisyonunun gösterilmesini içermektedir. Spesifik bir yapllândlElnaya göre pozisyon, zenginlestirilmis gerçeklik sahnesinin en az bir elemanEIle iliskili bir yöne ve bir ag lüllgb göre belirlenmektedir. Spesifik bir yapllâ'ndlülnaya göre zenginlestirilmis gerçeklik sahnesi, kamera tarafIan yakalanan bir gerçek sahnenin objelerine karslilEl gelen görsellestirilmemis elemanlarEl Içermektedir, söz konusu elemanlar, zenginlestirilmis gerçeklik sahnesinin söz konusu sIlHlarEl hesaplandiglia göz önünde bulundurulmaktadlü Belirli bir özellige göre kamera motorize edilmektedir ve yöntem, ayriEla, zenginlestirilmis gerçeklik sahnesinin sIlEIlarIEla ve hesaplanmlg kaydlîilna katsay- göre kameranI hedef yönünün kontrol edilmesini içermektedir. Spesiûk bir yapllândIElnaya göre kamera, bir optik kaydIÜna fonksiyonu içermektedir ve yöntem, ayriEia, hesaplanmigkaydlüna katsay- göre optik kaydiîiina fonksiyonunun kontrol edilmesini içermektedir. Baska bir yapilândlîilnada bir dijital kaydlEina, kaydlüna katsay- göre görüntülerde çaliStlEIlIhaktadiB Mevcut bulus, ayrlEla, bir kameranlEi görüs aç-ian bir zenginlestirilmis gerçeklik sahnesini oynatlîiken görüntüleri görsellestirmek için yapilândlîilân bir gösterime sahip bir cihaz ile ilgilidir, cihaz, asagiîlhkileri gerçeklestirmek üzere yapllândlîllân en az bir islemci ile iliskili bir bellegi içermektedir: - zenginlestirilmis sahnenin sIIIlEibr belirlenmesi; - kameranI bir pozunun bir tahminine ve sahnenin sIIEliarlEla göre bir kaydiElna katsay-I belirlenmesi; - KaydlElna katsaylgiîiia göre öne bakan kameradan görüntülerin görsellestirilmesi. Mevcut bulus, ayrlîia, bir zenginlestirilmis gerçeklik sahnesini oynatlîiken bir kameradan görüntüleri görsellestirmek için yapllâ'ndlElân bir gösterime sahip bir cihaz ile ilgilidir, cihaz, asagBakileri içermektedir: - zenginlestirilmis sahnenin sIIIlEiar belirlenmesine yönelik araçlar; - kameranI bir pozunun bir tahminine ve sahnenin sIlEiIarI göre bir kaydlîiina katsay-I belirlenmesine yönelik araçlar; - kaydlElna katsay- göre öne bakan kameradan görüntülerin görsellestirilmesine yönelik Mevcut bulus, ayrIEa, bir iletisim agIan indirilebilir olan ve/veya bilgisayar taraf-an okunabilir ve/veya bir islemci tarafIan yürütülebilir olan bir ortamda kaydedilen bir bilgisayar program ürünü ile ilgili olup, bir islemci tarafIan yürütüldügünde bir zenginlestirilmis gerçeklik sahnesini oynatIEken bir gösterim cihazIa bir kameradan görüntülerin görsellestirilmesine yönelik yukarIki yöntemin adllarII uygulanmasEl için program kod talimatlarIEl içermektedir. 4. Sekillerin listesi Mevcut bulus, asaglElhki tarifnamenin okunmasIan sonra daha iyi anlasilâcaktElve diger özellikler ve avantajlar ortaya çllîlacaktlü tarifname, ekli sekillere atilîlia bulunmaktadlîl burada: - Sekil 1, mevcut prensiplerin spesifik bir yapllândlülnaslüla göre, bir video düz-geçis cihazü olarak kullanilân bir tabletin bir örnegini göstermektedir; - Sekil 2, mevcut prensiplerin spesifik bir yapllând Binasi göre, Sekil 1'in tableti olarak bir AR uygulamasIlIyürüten bir video düz-geçis cihazßlarak kullanilân bir örnek örtülü kaskIEl gösterim (HMD) cihazllgöstermektedir; - Sekil 3, mevcut prensiplerin spesifik bir yapüând lElnas. göre, kameranImotorize edildigi ve kontrol gösterim cihazIan uzakta oldugu, Sekiller 1 ve 2'deki gibi bir AR uygulamasIEl yürüten bir video düz-geçis cihazlElI bir örnek yapüândlîilnaslü göstermektedir; - Sekil 4, mevcut prensiplerin spesifik bir yapilândünas- göre, Sekiller 1, 2 ve 3'ün kamera gövdesine dayanan hesaplamalarüe Sekiller 2 ve 3'ün zenginlestirilmis gerçeklik sahnesinin sIIlEIlarBgiöstermektedir; - Sekil 5a, mevcut prensiplerin spesifik bir yapllândlElnalela göre, Sekil 4'ün sIlElarI göre bir uzaklastßna katsay-Elliir örnek hesaplamaslügöstermektedir; - Sekil 5b, mevcut prensiplerin spesifik bir yapüândlElnas- göre, Sekil 4'ün lelIEllar- göre bir yakIastlEilna katsay-Eibir örnek hesaplamasIlîçliöstermektedir; - Sekil 6, mevcut prensiplerin spesifik bir yaplEndlElnas. göre, Sekiller 1, 2 ve 3'ün kamerasEiÇin bir optimal pozisyonun (64) bir örnek hesaplamasllzljöstermektedir; - Sekil 7, mevcut prensiplerin spesifik bir yapllândIElnaleb göre, bir zenginlestirilmis gerçeklik sahnesini oynatBken Sekiller 1, 2 ve 3'ün kamerasiEUan görüntülerin görsellestirilmesi için yapilândßlân bir aparat. bir donanl yapilândlEinasIEl göstermektedir; - Sekil 8, klgHbyIEJJImayan bir avantajIÜ/apuândlünaya göre Sekil 7'nin cihazEgibi bir isleme cihazIa uygulandglîlüzere bir yöntemin bir yapüândlEinasIElsematik olarak göstermektedir. . Yapüiind ünalarl ayrItlIEiçüilamasEi Bulus konusu, artik] sekillere atliîlia bulunularak açllZJanmaktadlEJ burada benzer referans numaralarÇItarifname boyunca benzer elemanlara atiflia bulunmak üzere kullanilüiaktadß Asaglki açlEJamada, açlEJIIZJoImasÜlsin çok saylöh spesifik ayrlEtlÇbulus konusunun tamamen anlasiJIhasIlleaglamak için belirtilmektedir. Bulus konusu yapllândünalarlöi, bu spesifik ayrlötüâr olmadan uygulanabilecegi anlasüBiaktadlB Mevcut bulusun sIlîliaylEEbImayan bir yapilândlîiinas- göre, bir Zenginlestirilmis Gerçeklik uygulamasIEyürüttügünde bir video düz-geçis cihaz. ait kameranI kaydlîiina ve hedef yönünü otomatik olarak uyarlamaya yönelik bir yöntem ve bir cihaz açlEJanmaktadIE Bir AR uygulamasIISiürüten bir video düz-geçis cihaz. ait kameranloptimal pozuna yönelik arama, kameranlEl pozunun modifiye edilmesinden olusmaktadlü Poz, üç boyutlu alandaki konumun ve kameranI hedef yönünün kombinasyonudur. KameranI konumunun otomatik olarak kontrol edilmesi, kameranI yerinin degistirilmesine yönelik motorize mekanizmalar gerektirmektedir. Video düz-geçis cihazlarü genellikle bu tür mekanizmalar ile donatllöiamaktadlü Sekil 1, bir video düz-geçis cihazüolarak kullanllân bir tabletin (10a) bir örnegini göstermektedir. Cihaz (10a), bir ekran (102) ve bir kamera (101) içeren bir teçhizatEl olusturmaktadlEI Kamera (101), örnegin Sekil 1a'daki bir TV seti gibi gerçek nesneleri (11) Içeren bir dünya sahnesinin filminin yapIIBiasIIE Sahne, kameranI (101) gövdesinde (12) kapsanan dünya kIElTiIIE Yakalanan sahne, tabletin (10a) ekranEKlOZ) üzerinde gerçek zamanda gösterilmektedir. Bu fonksiyonellik, tableti (10a) bir video düz-geçis cihazü yapmaktadE Tabletin (10a) elle tutulmaslîla bir kullaniElZlkameranI (101) pozunu kontrol etmektedir. AsllEtla kameranlEl (101) konumu ve hedef yönü, dogrudan cihazI (106) konumu ve yönelimi ile ilgilidir. Belirli bir yapilândlülnada tabletin (10a) kamerasEKlOl) motorize edilmektedir ve AR uygulamasÇkameranIüOl) hedef yönünü klýnen kontrol edebilmektedir. Bir AR uygulamasÇIkameranI pozunu belirlemeye yönelik araçlar gerektirmektedir. Sekil 1'de, poz tahmin araçlar.. bir örnegi olarak gerçek nesnenin (11) ekranIa bir düzlemsel isaretçi (13) gösterilmektedir. Bu örnekte AR uygulamasÇlkamera (101) tarafIian yakalanan görüntüleri islemektedir, düzlemsel isaretçiyi (13) tanIiaktadlEl ve isaretçinin sekline ve büyüklügüne göre kameranI (101) (ve sonuç olarak cihazI (10a)) pozunu (baska bir deyisle, isaretçi ve hedef yön ile ilgili bir referans çerçevedeki konumu) tahmin etmektedir. Bir varyasyonda AR uygulamasügörüntülerdeki nesnelerin, örnegin belirli bir konumda oldugu bilinen spesifik mobilyalari tanlElnasI göre kameranI pozunu tahmin etmektedir. Baska bir yapllândlîrlnada poz tahmin araclZlodada konumlandülân ve tabletin (10a) arkaslîilda noktalü k-tesi isaretçilerini takip eden k-tesi kameralar. bir sistemidir. Baska bir yapllând IElnada uygulama, cihazI(10a) pozunu tahmin etmek için tablonun atalet ölçüm biriminden (örnegin ivmeölçerler ve jiroskoplar) bilgileri kullan [IB'iaktadlB Mevcut bulus, poz tahmin sistemlerine dair bu örnekler ile sIlEIbndlEllBiamaktadlB Sekil 2, bir AR uygulamaslljlürüten bir video düz-geçis cihazßlarak kullan En bir örnek örtülü kaskllgösterim (HMD)cihazIE(, kullan gözlerinin önünde bir veya iki ekran Ele kullan önündeki sahneyi yakalayan en az bir kamerayEülOl) içeren bir teçhizatEblusturmaktadB Kamera (101) taraflEtlan yakalanan Video, HMD'nIn ekranlarElzla gerçek zamanda görsellestirilmektedir, böylelikle HMD'yi (10a) bir video düz-geçis cihazü yapmaktadlE Bir poz tahmin sistemi, kameranI konumunu ve hedef yönünü belirlemek için uygulama taraflîidan kullanllîhaktadlîl Kullanlîükameranl (101) filmini yaptiglgeyi izlerken kameranI (101) pozu, kullan-I baklSlElI pozuna karsiElKl gelmektedir. Sekil 2'de, bir isaretçi (13), kamera taraflEdan görüntülenen bir gerçek nesnenin (11) ekranIa gösterilmektedir. Sekil 1'in tabletine (10a) yönelik olarak herhangi bir türde poz tahmin sistemi kullanliâbilmektedir. KameranI pozu belirlendiginde AR uygulamasü üç boyutlu sahnede yapay nesneleri eklemektedir. KameranI (101) gövdesinde (12) kapsanan bu nesneler kElnlüllEl bir görüntüsü, kamera taraf-an yakalanan sahnenin görüntüsünde kaplanmaktadlîl ve bu bilesim, video düz-geçis cihazII (10b) ekranlarlElda görsellestirilmektedir, Nesneler (gerçek ve yapay nesneler) arasIaki örtülme, AR uygulamasEl tarafIan yönetilmektedir. Örnegin Sekil 2'de AR uygulamasÇlisaretçi tarafIan belirlenen bir referans çerçevede ve dolaylglýla, gerçek TV setinin (11) etrafia bir yapay Eiffel Kulesini (21) ve bir çift yapay zarÜJZZ) eklemektedir. Kullan lEÇIgövdede (12) bulunan seyi görmektedir. Dolaylglîla kullan EDTV setini (11) izlerken, Eiffel Kulesi'nin (21) bir klîlnIüve yalnlîta bir klElnILIlgörmektedir ve sonuçta zar çiftini (22) görmemektedir çünkü kameranI (101) kapsamD Sekil 2'de gösterilen yapilândiEinada kullanIEJJbasiElEhareket ettirerek kameranI pozunu kontrol etmektedir. Baska bir yapllândlîmada kamera (101) motorize edilmektedir ve AR uygulamasÇkameranIüOl) hedef yönünü kismen kontrol edebilmektedir. Poz tahmin sistemi, pozu tahmin etmek için HMD'nin referans çerçevesinde kameranI (101) yönelimini göz önünde bulundurmaktadE Sekil 3, bir AR uygulamaslüürüten bir video düz-geçis cihazII bir örnek yapiiândßnaslü göstermektedir. Bir akUJIBelefon (10c), bir baglantll31)arac[l]glýla bir motorize kamerayEG103) kontrol etmektedir. BaglantEÇBl), bir kablo arayüzü (örnegin bir veriyolu arayüzü, bir genis alan ag arayüzü, bir yerel alan ag arayüzü) veya bir kablosuz arayüz (bir IEEE 802.11 arayüzü veya bir Bluetooth® arayüzü gibi) olabilmektedir. Örnegin akllilîüelefon, bir atalet ölçüm birimi (IMU) ile donatllfnaktadßve AR uygulamasüakllüîiielefonun hareketlerini takip etmektedir ve tespit edilen hareketlere göre kameran dönmesini kontrol etmektedir. Baska bir yapilândlünada bir kullanlîlîahrayüzü, kullan-I kameranI dönmesini kontrol etmesine olanak saglayarak akUIJZI telefonda yürütmektedir. Kamera, gerçek nesneleri (11) barIIûn bunun önünde sahneyi (baska bir deyisle gövdesinde kapsanan gerçek dünya kEinLIIsahneyi yakalamaktadlEl Kamera taraflEblan yakalanan görüntüler, akl]]]:ltelefona aktarlEhaktadIE ve ak|]]]:ltelef0nun (10c) ekran a gerçek zamanda görsellestirilmektedir. Bu tür bir sistem, bir video düz-geçis cihazIü olusturmaktadlEI KameranI pozu, bunun motorlar. göre her zaman bilinmektedir. Bir varyasyonda, örnegin düzlemsel isaretçilere dayanan bir harici poz tahmin sistemi, ek olarak, kameranI hareket motorlarlIQÖrnegin tekerlekler veya palet zincirleri) ile donatIEglEiIakdirde kullanUIhaktadlEl Bir AR uygulamasIEl yürüttügünde cihaz (10c), kamera (103) taraflEUan yakalanan görüntülerde yapay nesneleri (21) tamamen veya kismen kaplamaktadlEI AR sahnesinin bazü yapay nesneleri, örnegin Sekil 3'ün örnegindeki zarf çifti (22) gibi kameranI kapsamlîllgilda kalabilmektedir. Mevcut bulusun belirli bir yapllândlîilnas. göre zenginlestirilmis gerçeklik sahnenin sIlEIiarm32) hesaplanmaktadlB AR sahnesi, AR uygulamasi. AR içerigini olusturan her yapay nesneyi (21 ve 22) kapsamaktadlB Bu, kullanIElEllEl görmesi gereken seydir. Bir varyasyonda sahne, ayriEia, görünür yapay nesneleri bar-@haktadiîi Görünmez bir nesne, görsellestirilmeyen AR sahnesinin bir elemanIE(baska bir deyisle, yapay görüntü, bu eleman için kamera tarafIan yakalanan görüntüde kaplanmaktadlE). Bu tür bir görünmez nesne, örnegin, Sekiller 1, 2 ve 3'ün TV seti (11) olarak bir gerçek nesnenin seklini sarabilmektedir. Bu yüzden gerçek bir nesne, kamera tarafIdan yakalanan görüntü modifiye edilmeden sahnenin sIlEliarüiçerisinde kapsanabilmektedir. Görünmez bir nesne, AR uygulamasi. yarat-I AR sahnesinin sIlElarIa kapsanmasIDstedigi bir hacimde gerçek dünyaya karsHJIZl gelmektedir. SIIHlar, AR içeriginin elemanlarlElElnümkün oldugunca yakI bir sekilde çevrelemektedir. SIEllar (32), tercihen bu elemanlarünümkün oldugunca yakI bir sekilde çevreleyecek sekilde, yapay ve gerçek nesneler olabilen AR içeriginin her eleman EEapsayacak sekilde belirlenmektedir. Sekil 3'te AR sahnesinin sIIEIlarÇIAR içeriginin eleman kümesinin üç boyutlu sIlEllaylalutusudur. Varyasyonlarda sIlHbr, AR sahnesinin bir sIlEIlaylEEêlips veya dgbükey zarfEblabilmektedir. Belirli bir yapEndlElnada AR sahnesinin elemanlarlZl zaman içerisinde sekil bak"dan hareketli veya degisken olabilmektedir. Bir varyasyonda sahne elemanlarII saylîlîaman içerisinde degiskenlik gösterebilmektedir. Bu tür bir yapllând Iîilnada sIlEllar, sahnede bir degisiklik her saptand[g]'a hesaplanmaktadlEl Bir varyasyonda sIlEIlar, örnegin bir saniyenin her onda biri veya bir saniyenin her yarEEgibi düzenli bir frekansta hesaplanmaktadB Sekil 4, kameranI gövdesine ve sIlIllara dayanan hesaplamaIarEgöstermektedir. SIIlEllar hesaplamasi dayanarak ve kameranI (101) poz tahminine göre belirlenen, sanal dünyada kameranlEJ konumu ve hedef yönüne göre iki fark edilebilir dikdörtgen, sanal referans çerçevede hesaplanmaktadß KameranlEl, poz tahminine göre AR uygulamasi. sanal dünyaleUa konumland-[gllîbnlaslliiaktadlîl Bir kamera, bir sanal sahnede, gerçek kameranI odak noktasi karsiEEl gelen bir noktaya indirilebilir olmaktadlEI KameranI (101) pozunu tahmin ederken sistem, birinci olarak, sanal sahnenin referans çerçevesinde kameran odak noktasi. konumunu, ve ikinci olarak, aynüeferans çerçevesinde kameranI hedef yönünü (41) (baska bir deyisle, yönelimini) tahmin etmektedir. Sekiller 1, 2 ve 4'te atiflia bulunulan gövde (12), poz tahminine dayanmaktadE Bir piramit (42) belirlenmektedir, bu piramit, kameranI odak noktaletla çlEIEtEl/apmaktadlîl ve tüm sIlEllarE(32) çevrelemektedir. Sekil 4'ün örneginde sIlEllar (32), bir sIlEIlaylED piramittir. SIIlEllar varyantlarIa piramit (42), bir koni veya herhangi bir ç-[üßekil hacmi olabilmektedir. SIIBlara (32) ve piramide (42) dayanarak, lellElbrlEl dikdörtgenine (43) yakI yüz olarak adlandlîllân bir dikdörtgen (43) hesaplanmaktadE YakI yüz (43), asaglîllaki bes kosulun birlesmesi ile belirlenen dikdörtgendir: - Dikdörtgen (43), hedef yöne (41) diktir; - Dikdörtgen (43), piramidin (42) bir sIlBlayEEIlikdörtgenidir; - Dikdörtgen (43), sIIIEllartamamEkapsamaktadlB - Dikdörtgenin (43) kenarlarÇlgövde dikdörtgenin (44) kenarlari paraleldir; - Dikdörtgen (43), önceki kosullara uyan dikdörtgenlerin kameranda (101) en yaklEUlB Kesik dikdörtgen (44), yak yüz dikdörtgeninin (43) düzleminde olan kamera kesigi (12) ile belirlenen dikdörtgendir. Sekil 5a, bir uzaklastlîilna katsay-I bir örnek hesaplamasIEgöstermektedir. KameranI (101) verilen bir pozu için AR sahnesi, yakI yüz dikdörtgeni (43) kesik dikdörtgende (44) kapsand [gllîie yak yüz dikdörtgenin (43) en az bir kenarEEesik dikdörtgenin (44) bir kenarlEtla kaplandtglEtakdirde maksimum büyüklük ile görsellestirilmektedir. Sekil 5a'nI örneginde dikdörtgenin (43) bir klgtnlî(51), kesik dikdörtgenin (44) içerisindedir ve kalan klîlfni (52) dlgbr-dlîl Kamera (101) hareket ettirilmeden (baska bir deyisle, kesik dikdörtgenin (44) merkezi hareket ettirilmeden) AR sahnesinin görsellestirilmesini maksimum hale getirmek için kesik dikdörtgen, yeni bir kesik dikdörtgen (54) elde etmek için kenarlarlEUan birinin, yaklEl yüz dikdörtgeninin (43) harici kenarIIIEkaplamas saglanmasEiçin bunun kösegenleri boyunca büyütülmektedir. Bu islem, kamera (101) için bir uzaklastlülnaya karsHJKlgelmektedir. Kaydlîrlna katsayElZbrnegin, yeni kesik dikdörtgenin (54) kösegen uzunlugunun gerçek kesik dikdörtgenin (44) kösegen uzunlugu ile bölünmesiyle belirlenmektedir. Bu örnekte kayd @ne katsaylglîöirden büyüktür, bu yüzden bu, bir uzaklastlÜnaya karsIHEJ gelmektedir. Sekil 5b, bir yakIastlElna katsay-I bir örnek hesaplamasIlIgöstermektedir. YakI yüz dikdörtgeni (43), tamamen kesik dikdörtgende (44) kapsandEgilEtla AR sahnesinin görsellestirilmesi optimal olmamaktadEl çünkü bu, genisletilmis bir sekilde görselIestirilebilmektedir. Kesik dikdörtgen (44), bunun kenarlarIan en az birinin, yakI yüz dikdörtgeninin (43) kenarlarIan en az birini kaplamasII saglanmaslîibin bunun kösegenleri (53) boyunca azaltilöîaktadß Bu örnekte kaydlîilna katsaylîbirden azdIEl bu yüzden bu, bir yakIastlîilnaya karsHJIZlgelmektedir. Kayd Hna katsayElÇlyak yüz dikdörtgenine (43) ve kesik dikdörtgene (44) göre belirlenmektedir. Sekil 6, kamera (101) için bir optimal konumun (64) bir örnek hesaplamasIlîgliöstermektedir. Kamera (101), AR uygulamaleUan kontrol talimatlarlEla göre bunun mercek sisteminin odag ID modifiye eden bir optik kaydlüna aparatEiJle donatüBiaktadlEi Bir kameranI odagÇldogrudan bunun görüs alanEiIe baglanttmîliß Fiziksek klglfllamalardan dolayEkamera (101), kameranI çallghmadglßir maksimal görüs alanlBla sahiptir. KarslDElßlarak bir minimal görüs alanüfilm yapma kosullarII artlld tatmin edici olmadlgiElkapsamda belirlenebilmektedir. AR uygulamasü yakI yüz dikdörtgenine (43) ve kesik dikdörtgene (44) göre hesaplanan kaydlEIna katsayEEl kameraya (101) uyguladfgilEUa bu, kameranI(101) görüs alanIÇbunun maksimallerinden en fazla birine modifiye etmektedir. Minimal görüs alanlEb ulaslfgia bu, kameranI (101), kullaniElEIatmin eden bir boyutta sahneyi yakalamak için yakiEl yüz dikdörtgeninden çok uzak oldugu anlam. gelmektedir. KarsEüKlEblarak maksimal görüs alan. ulasIlgIa kamera (101), yak yüz dikdörtgeninden çok yak |E|ve Sekil 6'da gösterildigi üzere bunun tamam El yakalayamamaktadlEl Sekil 6'da yukarlEIlan bak-@Eda dikdörtgenler (43, 44 ve 54), açElZlila adIEb degistirilmistir. Bu üç dikdörtgenin bir aynEUüzIeme ait oldugu anlasHÜiaktadE Bu örnekte açEü61), kameranI(101) görüs alan maksimal açmlgilib karsIDEIgeImektedir. YakI yüz dikdörtgeninin (43) genisligi düsünülerek, mevcut prensiplerin belirli bir yapilândlEinas. göre AR uygulamasükameraya (101) maksimum uzaklastIElna komutunu vermektedir. Ancak kamera (101), tüm sanal sahneyi yakalamasülçin yakI yüz dikdörtgeninden çok yakIIEI AR uygulamasÇkameranI (101) yerini degistirmemektedir. Ancak AR uygulamasüsanal sahnenin optimal bir görsellestirilmesine sahip olunmasEliçin optimal konumun neresi oldugunu kullanimi gösterebilmektedir. Örnegin AR uygulamasi,".l kullan-I hangi yönde hareket edecegini göstermek için cihazI (10a, 10b veya 10c) ekranIaki oklarlîgöstermektedir. Bir varyantta sistem, kullaniîlýla optimal pozisyonu göstermek için ses iletilerini veya dokunsal etkileri (örnegin titresimleri) kullanmaktadE Birinci olarak, bir optimal görsellestirme için, kameranI (101) hedef yönü, yakI yüz dikdörtgeninin (43) merkezini geçmelidir. Sekil 6'nI örneginde kullanlEEl kendi soluna hareket etmelidir. Ikinci olarak, a olarak adlandlEIlân maksimum açlîa61), geriye dogru minimal bir yer degisimine olanak saglayan bir aç_ YakI yüz dikdörtgeni (43) ve optimal pozisyon (64) arasIaki 22 olarak adlandlîllân mesafe (63), kamera (101) ve üç dikdörtgenin düzlemi arasIaki zi olarak adlandlîllân mesafe (62), yeni kesik dikdörtgenin (54) wi olarak adlandlElân genisligi ve yakI yüzün (43) w; olarak adlandlüllân genisligine göre asag-ki denklem [E1] uyarlEta hesaplanmaktadlîi 221 222 w1 Sekil 7'nin örneginde kullan IEDJir zz - 21 mesafesinden arkaya dogru hareket etmesi için tesvik edilmektedir. Aynülirensipler, kameranI(101) minimal görüs alanübin kullanllÜiaktadlEI Baska bir yapllândlElnada kamera (101), bir optik kaydlEna aparatEile donatllIhamaktadlB Bu tür bir yapliândlülnada AR uygulamasü görsellestirilmis görüntünün görüs alanIIZlkontrol etmeye yönelik bir dijital kaydlüina fonksiyonunu kullanmaktadlB Maksimal görüs alanl,`_l kameranlEl (101) görüs alan. kars[l]El gelmektedir. Bir dijital yakIastIElna görüntünün kalitesini azalttglüdan dolayElminimal görüs alanü minimal bir kaliteyi sürdürmek için belirlenmektedir. AynEliIkeIer, yapüândünada uygulanmaktadE Bir varyantta AR içerigi, deneyim süresince maksimal sIIEl büyüklügüne dair bir tahmin ile gelmektedir. Kullanlîlýla, örnegin deneyimin baslanglîßlüslîida yalnlîta bir kere bir optimal pozisyona dogru hareket etmesi istenebilmektedir. Bir varyantta, sanal sahnenin elemanlarlEUan en az biri, bir ana yön ile iliskilendirilmektedir. Örnegin, Sekiller 1, 2 ve 3'ün örneginde televizyon seti (11), sanal sahnenin görsellestirilmemis elemanIElolusturdugunda bile, bir ana yön (örnegin bunun ekran. dik) ile iIiskiIendirilebilmektedir. Optimal pozisyon, bu ana yönlere göre hesaplanmaktadß bu yüzden kullanlEJÇI ana elemanlar. önüne hareket etmesi tesvik edilmektedir. Bir ana yöne sahip sanal sahnenin elemanlarÇl kameranI (101) optimal pozisyonunu hesaplamak için bir aglEllllZl (örnegin, 0 ve 100 arasülzla bir tamsayÜ/eya 0 ve 1 arasIa bir gerçek sayLIl ile iliskiIendirilebilmektedir. Bir optimizasyon algoritmasü aglîllllZlandlEllBilglana yönler araleUaki bir optimal ödünlesimi bulmak için kullanllüiaktadlîl BazlZl/apllândlîilnalarda kamera (101) motorize edilmektedir ve dönebilmektedir. Bir optimal yönelim, kameranI (101) minimal ve maksimal görüs alanlüla göre hesaplanmaktadß Optimal yönelim, kameranIgerçek hedef yönü için hesapland @Eibi yakI yüz dikdörtgenine (43) göre hesaplanabilmektedir. Bir varyantta bir yaklEl yüz dikdörtgeni, kameranI hedef yönüne baglEl oldugundan dolayübir yakI yüz dikdörtgeni, muhtemel yönelimler için hesaplanmaktadlü Bir optimizasyon algoritmasÇloptimal yönelimi hesaplamak için kullanüßîaktadß Sekil 7, bir zenginlestirilmis gerçeklik sahnesini oynatlHken gösterim cihazIa (79) bir kameradan (101) görüntülerin görsellestirilmesi için yapllândlîllân bir aparatI(70) bir donanl yapllândBinaslügjöstermektedir; Sekil 7, Sekiller 1 ila 3'te açllîland [glEiIizere sistemlerin bir örnek donani yapllândlülnas- Bu örnekte cihaz (70), ayrlîh bir saat sinyalini taslîan adreslerin ve verinin bir veri yolu (73) ile birbirine baglanan asagßhki elemanlarüçermektedir: bir mikroislemci (71) (veya CPU), - bir grafik kart (76), - ROM (Salt Okunur Bellek) türünde (74) bir uçucu olmayan bellek, - bir Rastgele Erisimli Bellek veya RAM (75), grafik kart (76), rastgele erisimli bellegin kaylflbrllýerlestirebilmektedir, - örnegin jiroskoplarüvmeölçerleri ve/veya pusulalarEEeren bir atalet ölçüm birimi formunda bir istege baglülahili poz tahmin sistemi (720), - örnegin bir fare, bir joystick, bir video kamera vs. gibi bir istege baglE11/0(Girdi/Ç[Et[)]cihazü kümesi (721), ve bir güç kaynag 1177). Cihaz (70), adreslerin veriyolu (73) araclIJgllýla CPU'ya (71) veri aktaran bir harici poz tahmin sistemine (722) baglanabilmektedir. Cihaz (70), bir kameraya (101) baglanmaktadlEl BazlSlapllând lEInaIarda kamera (101) motorize edilmektedir. Belirli yapllândlElnalarda kamera (101), veriyolu (73) araclügllýla al-n kontrol talimatlarlEla göre bunun mercek sisteminin odag Imiodifiye eden bir optik kayd lElna aparatEi'le donatlliiaktadEI Avantajllîßir sekilde cihaz (70), grafik kartülcla hesaplanan gösterim görüntülerine ait dogrudan grafik karti (76) yönelik gösterim ekran türünde bir veya daha fazla gösterim ekran Eliüründe gösterim cihaz. (79) baglanmaktadlîl Bir varyantta bir veya daha fazla gösterim cihazEQ79), veriyolu (73) araclüglîla grafik karti (76) baglanmaktadlB Belirli bir yapllândlîilnada poz tahmin sistemi (722) ve/veya bir veya daha fazla gösterim cihazlZ(79), Sekiller 1 ila 3'te açlKlandlgEl üzere KasklEl Cihazlar, tabletler veya akl]]]3 telefonlar gibi cihaza (70) bütünlesmektedir. Belleklerin (74, 75 ve 76) açiKlamaleUa kullan ilân "kaylEi kelimesinin, hem düsük kapasiteli bir bellek bölgesi (biraz ikili veri) hem de büyük kapasiteli bir bellek bölgesi (bir tam program. depolanmas. veya verinin veri temsilcisinin tamam Üeya bir klîlnII hesaplanmasi veya gösterilmesine olanak saglayan) gibi bahsedilen belleklerin her birinde belirttigi anlasüîhaktadlü ÇallSt-IHgla, ROM'un (74) bir kaydlEha programa göre mikroislemci (71), RAM'in (75) kay[fliarIaki program talimatlarIWüklemektedir ve yürütmektedir. Belirli bir yapilând @haya göre, mevcut bulusa spesifik olan ve bundan sonra açlEIanan yöntem adnlarIEüygulayan algoritmalar, avantajIÜJIr sekilde bu adIiIarlîüygulayan cihaz (70) ile iliskili grafik karti. (76) bir belleginde (GRAM) depolanmaktadE Bir varyanta göre güç tedariki (77), cihazI (70) diglar-adIB Sekil 8, klglfllaylüßlmayan bir avantajllîyapüând lElnaya göre cihaz (70) gibi bir isleme cihazlEtia uyguland @üzere bir yöntemin (80) bir yapllând lîilnasllîsematik olarak göstermektedir. Bir baslatma ad"a (801) cihaz, AR uygulamasIEbynatmasEiçin gerekli olan verileri elde etmektedir. Iliskili programlar ve AR sahnesi, RAM'da (75) ve bir varyantta, en azIan klglnen grafik devre karti. (76) GRAM'IEUa yüklenmektedir. KameranI (101) baslanglÇipozu tahmin edilmektedir. Bir adli (802)'de, AR sahnesinin referans çerçevesi içerisinde kameranI (101) pozu tahmin edilmektedir. Bir varyantta bu ad I, diger adlar ile paralel olarak yürütülmektedir ve örnegin yirmi hertz veya yetmis hertz'de düzenli olarak yenilenmektedir. Poz tahmini, en az bir kaynaktan bilgilere göre hesaplanmaktadlEl Örnegin kamera (101), bir IMU ile donatllân cihazda (70) bütünlesiktir. AR uygulamasücihaz ve bu yüzden kameranI diferansiyel pozunu takip etmektedir. Bir varyantta sistem, kamerada (101) k-tesi çizimleri film yapan k-tesi kamera kümesi ile donatilîhaktadB Bir görüntü islemesi, örnegin cihazI (70) CPU'su (71) tarafIan, k-tesi kameralar. iç ve dlgl parametrelerine göre kameranI pozunu tahmin etmesi gerekmektedir. Baska bir varyantta kamera (101), en az bir ölçüm isaretçisini (Örnek 1'de görüldügü üzere) film yapmaktadlEve AR uygulamasüanllanmlgölçüm isaretçilerinin bilinen pozuna göre örnegin cihazI (70) CPU'sunda (71) bir görüntü islemenin yürütülmesiyle kameranIEl (101) pozunu tahmin etmektedir. Bir ad! (803)'te AR sahnesinin sIlEllarÇlSekil 3'te açilîlandlgiljüzere hesaplanmaktadE Bir yak yüz dikdörtgeni (43) ve bir kesik dikdörtgen (44), Sekil 4'te açlkland [glEüzere kameranI (101) tahmin edilen pozuna (baska bir deyisle, bunun konumu ve bunun hedef yönüne), bunun görüs alan. ve sIEliar- göre hesaplanmaktadlü Sekil 8'de çift çubuk (820), yöntemin (80) asaglEllaki adIiII sistemin yapilândünasliîh dayandlgJIEgöstermektedir. Yöntem, bir adIi (804)'te, kameranI (101) gerçek pozisyonunun optimal olup olmadlgllßllE] (veya optimal pozisyondan çok uzak olup olmadlglülül) test edilmesinden olusabilmektedir. "Pozisyon" ve ayrIEla "poz" kelimesinin, kameranlE] konumuna ve hedef yönüne atiftla bulundugu anlasllüiaktadü Örnegin test, yakI yüz dikdörtgeninin, kaydüna faktörü minimal oldugunda (baska bir deyisle kameranI görüs alanÜnaksimaI oldugunda) kameranI görüs alanlEUa kapsanabilip kapsanamayacagII tahmin edilmesinden olusabilmektedir. Böyle olmad[g]|:l takdirde gerçek pozisyon optimal olmamaktadE çünkü kaydlüina faktörü ne olursa olsun kamera, bunun kesiginde bunu sonuçta kapsamaslîlçin AR sahnesinden çok yaklEUlB AynIII prensipler, kamera sahneden çok uzak oldugunda (baska bir deyisle yakI yüz dikdörtgeni, minimal kesik dikdörtgenin küçük bir klginllîlkapladglia) uygulanabilir olmaktadlB Bir varyantta test, kameranI (101), esasen ana yönler ile iliskili sahnenin elemanlarII önünde olup olmadlgiII hesaplanmasüdan olusabilmektedir. Bu yönler ile Iliskili aglEHilZJar, bu testi hesaplamak için hesaba katilüiaktadEi Kamera (101) bir optimal pozisyonda olmad[gl[iiakdirde adli (805) yürütülmektedir. Kamera (101) optimal pozisyonun testini (804) geçtiginde adli (807) yürütülmektedir. Baska bir yapllândlîilnada adli (805), adli (807) ile paralel bir sekilde düzenli olarak yürütülmektedir. Baska bir yapilândüinada acin (805), adli (803)'ten sonra sistematik olarak yürütülmektedir. Bu tür bir yapllândlünada test (804) asla gerçeklestirilmemektedir. Bir adli (805)'te bir optimal pozisyon, kamera (101) için hesaplanmaktadB Hesaplanan optimal pozisyon, AR sahnesinin görüntülenmesinin optimize edildigi bir görüs noktasIlEI Bu hesap, Sekil 6'da aç[lZ]and [glEüzere sIlHlarEle kameranI parametrelerini hesaba katmaktadE Bir varyantta bu hesap, ayrlîla, optimal pozisyonu belirlemek için AR sahnesinin en az bir eleman [Ile iliskili ag lîlillZIandlEilIhlglana yönleri almaktadIE Bir adli (806)'da hesaplanan optimal pozisyon, örnegin AR uygulamasEltarafIan görsellestirilen görüntüler üzerindeki oklarEl ka playarak görsel etkiler vasüjislüa kullanlîlýla gösterilmektedir. Bir varyantta optimal pozisyon, örnegin, cihazda (70) yerlestirilen veya bir dokunsal bilezik veya bir dokunsal yelek olarak kullan [EEllaraflEUan giyilen vibratörün etkinlestirilmesiyle dokunsal etkiler vaslüislsîla kullanlîlýb gösterilmektedir. Baska bir varyantta optimal konum, örnegin stereo bipleri veya konusma sesleri gibi ses iletileri sayesinde gösterilmektedir. Bir adli (807)'de bir kayd IEma katsayEü/ak yüz dikdörtgenine (43), kameranI(101) pozuna ve Sekiller 5a ve 5b'de açilZlandigilZüizere bunun maksimal ve minimal görüs alanIülçeren kameranI (101) parametrelerine göre hesaplanmaktadiü Sekil 8'de çift hat (821), asaglki adIiII sistemin yapllândIEinas- dayandigillîlgöstermektedir. Kamera (101) bir optik kaydiEina aparatEIiIe donatIIgilia bir adli (808) yürütülebilmektedir. AdIi (807)'de hesaplanan kayd lîilna katsayEiJameranI (101) optik kayd @na aparat. talimatlarßktarmak için cihazI (70) CPU'su (71) tarafIdan kullanilBiaktadE Kamera (101) bir optik kaydüna aparatlîile donatilhiad @Ha adli (808) yerine bir adli (809) yürütülebilmektedir. Bu adIida bir dijital kayd [ana, hesaplanan kayd [ana katsay- göre isletilmektedir. Bir ürün, görüntülerin kalitesinin artilZJ tahmin edilen yeterlilikte olmadlgiü'ninimal görüs alan. karsil1Ei gelen bir büyüklükte kamera (101) tarafIan yakalanan görüntüler gerçeklestirilmektedir. Kaydiîrina katsayEEiinaksimal görüs alanüia karsilJKl geldiginde hiçbir ürün gerçeklestirilmemektedir. Bir varyantta adi (809), adli (808) öncesinde, sonrasIa veya buna paralel olarak gerçeklestirilebilmektedir. Kamera (101) motorize edildigi takdirde bir adi (810) yürütülmektedir. AR uygulamasüAR sahnesinin görüs kosullarIlîibptimize hale getirmek için kameraya (101) yönelik bir optimal hedef yönünü hesaplamaktadlEive bunu döndürmek için kameranI (101) talimatlarIEi aktarmaktadIE Bir varyantta adIi (810), sistemin yapiiândiîrinaslüia göre adi (808) ve/veya (809) öncesinde, sonraleUa veya buna paralel olarak gerçeklestirilmektedir. Kaydlîrina ve kameranlEi (101) hedef yönün ayarland [giia bir adli (811) yürütülmektedir. Bu adli, AR uygulamasII klasik islenmesinden, baska bir deyisle kamera (101) tarafldan yakalanan görüntülerde kameranI (101) ayarlanan görüs noktasiEUan görünen AR sahnesi klýnIERaplamasIan olusmaktadlEi Yöntem (80), kamera pozunun degisikliklerini ve/veya AR sahnesinin degisikliklerini hesaba katmak ve görsellestirilen görüntüleri güncellemek için adli (802)'den yinelemeli olarak yürütülmektedir. Dogal olarak mevcut bulus, önceden açiiZIanan yapliândlîiinalar ile sIlHiandiEilBiamaktadE Özellikle mevcut bulus, bir zenginlestirilmis gerçeklik sahnesini oynatlîlken bir gösterim cihazIa bir kameradan görüntülerin görsellestirilmesine yönelik bir yöntem ile sIlEliandiEIB'iamaktadlîJ aynEi zamanda kamerayEl kontrol eden motorlara talimatlar. aktarilihasl yönelik herhangi bir yönteme veya bir optimal pozisyonun kullaniîiýh gösterilmesi için görsel, isitsel veya dokunsal etkilerin aktarllmasl yönelik herhangi bir yönteme uzanmaktadlEI KaydlElna katsay-I hesaplanmaslîiçin kullanüân sIlEIlarlZl/e dikdörtgenleri üretmek için gerekli hesaplar uygulanmasÇbaylasllân türde mikroprogramlarda bir uygulama ile sIlEllandlEliÜiamaktadB ancak aynlîlzamanda örnegin bir CPU türünde mikroislemci taraflEldan yürütülebilen programlar gibi herhangi bir program türünde bir uygulamaya uzanmaktad lü Burada açlKIanan uygulamalar, örnegin, bir yöntem veya bir proses, bir aparat, bir yaz[[IEli programÇlbir veri aklSEl/eya bir sinyalde uygulanabilmektedir. Yalnlîta uygulamanI bir tek formu baglamIa açlElandgIa (örnegin yalnlîta bir yöntem veya bir cihaz olarak açMandlglEUa) açlEJanan özelliklerin uygulanmasi: ayrlEla, diger formlarda (örnegin bir program) uygulanabilmektedir. Bir aparat, uygun donani, yazinin ve bellenimde uygulanabilmektedir. Yöntemler, örnegin bir bilgisayar, bir mikroislemci, bir bütünlesik devre veya bir programlanabilir mantlElcihazÜlahil genellikle isleme cihazlarßlarak at[üia bulunulan örnegin bir islemci gibi bir aparatta uygulanabilmektedir. Islemciler, ayrlîla, örnegin akIIIÜ telefonlar, tabletler, bilgisayarlar, cep telefonlarÇtas.bilir/kisisel dijital yard Icilâr ("PDAlar") gibi iletisim cihazlarIEle nihai kullanüßr araslîidaki bilgi iletisimini kolaylastan diger cihazlarEl kapsamaktadlEI Burada aç[EIanan çesitli proseslerin ve özelliklerin uygulamalarÇlözellikle veri kodlama, veri kodçözme, görüntü üretme, doku isleme ve diger görüntülerin islemesi ve ilgili doku bilgisi ve/veya derinlik bilgisi gibi bir dizi farklßkipmanlar veya uygulamalarda yerlestirilebilmektedir. Bu tür ekipmana dair örnekler, bir kodlaylEÇbir kod çözücü, bir kod çözücüden çlEtElîiisleyen bir postislemci, bir kodlaylîlýla girdi saglayan bir pre-islemci, bir video sifreleyicisi, bir video kod çözücü, bir video kodek, bir ag sunucusu, bir set-üstü cihaz, bir dizüstü bilgisayar, bir kisisel bilgisayar, bir cep telefonu, bir PDA ve diger iletisim cihazlarIEkapsamaktadIE AçllZl olacagü üzere ekipman mobil olmayabilmektedir ve hatta bir mobil tas[Elia kurulabilmektedir. Ek olarak yöntemler, bir islemci taraflEldan gerçeklestirilen talimatlar ile uygulanabilmektedir ve bu tür talimatlar (ve/veya bir uygulama tarafIan üretilen veriler), örnegin bir bütünlesik devre, bir yazlIJEh taslýlEEleya diger depolama cihazlgibi bir islemci taraf-an okunabilir ortam, örnegin bir sabit disk, bir kompakt disket ("CD"), bir optik disk (örnegin genellikle bir dijital yazllâbilir disk veya bir dijital video disk olarak atlflia bulunulan bir DVD), bir rastgele erisimli bellek ("RAM") veya bir salt okunur bellekte ("ROM") depolanabilmektedir. Talimatlar, bir islemci taraf-an okunabilir ortamda somut bir sekilde yerlestirilen bir uygulama program an olusabilmektedir. Talimatlar, örnegin, donanl, bellenim, yainiîii veya bir kombinasyonda olabilmektedir. Talimatlar, örnegin bir isletim sisteminde, bir ayrüliygulamada veya ikisinin bir kombinasyonunda bulunabilmektedir. Bir islemci, bundan dolayüörnegin hem bir prosesi gerçeklestirmek üzere yapiiândlîllân bir cihaz hem de bir prosesin gerçeklestirilmesine yönelik talimatlara sahip bir islemci tarafIan okunabilir ortamEGbir depolama cihazlgibi) kapsayan bir cihaz olarak karakterize edilebilmektedir. AyrlEla bir islemci tarafian okunabilir ortam, talimatlara ek olarak veya bunun dogrultusunda bir uygulama tarafIian üretilen veri degerlerini depolayabilmektedir. Teknikte uzman bir kisi için asikar olacagEüzere uygulamalar, örnegin depolanabilen veya aktarlIâbiIen bilgiyi tasIiak için biçimlendirilen bir sinyal dizisi üretebilmektedir. Bilgi, örnegin, bir yöntemin gerçeklestirilmesine yönelik talimatlarEl/eya açiiZIanan uygulamalari biri ile üretilen veriyi kapsayabilmektedir. Örnegin bir sinyal, açlEIanan bir yapilândlEinanI sözdiziminin yazDB1alela veya okunmaslîila yönelik kurallarEl/eri olarak tasIiak için veya açlKlanan bir yapilândlülna taraf-an yazliân gerçek sözdizimi-degerlerini veri olarak tasIiak için biçimlendirilebilmektedir. Bu tür bir sinyal, örnegin, bir elektromanyetik dalga (örnegin spektrumun bir radyo frekans bölümünün kullanilihasm veya bir tabanbant sinyali olarak biçimlendiriIebilmektedir. Biçimlendirme, örnegin, bir veri akiglEiI kodlanmasIü/e kodlanmigl veri aklgEile taslîLlElEiE modüle edilmesini kapsayabilmektedir. Sinyalin tasligiEbiIgi, örnegin analog veya dijital bilgi olabilmektedir. Sinyal, bilindigi üzere, bir dizi farki [Kablolu veya kablosuz baglantüüzerinden aktarllâbilmektedir. Sinyal, bir islemci taraflîidan okunabilir ortamda depolanabilmektedir. Birçok uygulama açiEIanmlStE Yine de çesitli modifikasyonlarI yapüâbilecegi anlasllâcaktlü Örnegin farkllîliygulamalarI elemanlarÇUiger uygulamalarlîüiretmek için birlestirilebilmektedir, takviye edilebilmektedir, modifiye edilebilmektedir veya çiElarilâbilmektedir. Ek olarak teknikte uzman bir kisi, diger yapilârI ve proseslerin, açiKlananlar için degistirilebilecegini ve ortaya çiElan uygulamalar, aç[EIanan uygulamalar ile en azIdan büyük ölçüde aynßonucu (sonuçlarLIl elde etmek için en azükjan büyük ölçüde ayn @ekilde (sekillerde), en azlEUan büyük ölçüde aynEI fonksiyonu (fonksiyonlarDJ gerçeklestirecegini anlayacaktE Bu dogrultuda bu ve diger uygulamalar, bu uygulama tarafiEblan düsünülmektedir. TR TR TR TR TR TR TR

Claims (1)

1.
TR2019/06816T 2016-09-06 2017-08-28 Zenginleştirilmiş gerçeklik sahnesi oynatıldığında otomatik kaydırmaya yönelik yöntemler, cihazlar ve sistemler. TR201906816T4 (tr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP16306115.3A EP3291531A1 (en) 2016-09-06 2016-09-06 Methods, devices and systems for automatic zoom when playing an augmented reality scene

Publications (1)

Publication Number Publication Date
TR201906816T4 true TR201906816T4 (tr) 2019-05-21

Family

ID=56943452

Family Applications (1)

Application Number Title Priority Date Filing Date
TR2019/06816T TR201906816T4 (tr) 2016-09-06 2017-08-28 Zenginleştirilmiş gerçeklik sahnesi oynatıldığında otomatik kaydırmaya yönelik yöntemler, cihazlar ve sistemler.

Country Status (12)

Country Link
US (1) US10645298B2 (tr)
EP (2) EP3291531A1 (tr)
JP (1) JP7090410B2 (tr)
KR (1) KR102346437B1 (tr)
CN (1) CN107801045B (tr)
BR (1) BR102017019134A2 (tr)
CA (1) CA2977074A1 (tr)
ES (1) ES2726349T3 (tr)
MX (1) MX370770B (tr)
PL (1) PL3291536T3 (tr)
RU (1) RU2017131050A (tr)
TR (1) TR201906816T4 (tr)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249304B2 (en) * 2016-12-02 2022-02-15 Disney Enterprises, Inc. Augmented reality camera frustum
WO2019080047A1 (zh) * 2017-10-26 2019-05-02 腾讯科技(深圳)有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
US11029185B2 (en) * 2017-11-30 2021-06-08 Rampart Strong, Llc Tank gauge
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技(深圳)有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
EP3553630A1 (en) * 2018-04-13 2019-10-16 InterDigital CE Patent Holdings Method for assisting a positioning of a user, corresponding computer program product and device
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
CN109272444B9 (zh) * 2018-10-07 2023-06-30 朱钢 一种改善Ai智慧摄影场景优化策略的实现方法
CN109166369A (zh) * 2018-10-11 2019-01-08 龚映清 一种透明屏幕式增强现实视-触-听横屏训练系统及方法
CN109917911B (zh) * 2019-02-20 2021-12-28 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN110312142A (zh) * 2019-07-23 2019-10-08 东华大学 一种基于5g技术的ar直播系统
JP6971282B2 (ja) * 2019-08-30 2021-11-24 株式会社コロプラ プログラム、方法、および情報端末装置
CN111768659B (zh) * 2020-05-15 2022-08-30 四川科华天府科技有限公司 一种基于ar互动教学设备的变焦系统
US11115600B1 (en) * 2020-06-12 2021-09-07 Qualcomm Incorporated Dynamic field of view compensation for autofocus
KR102281584B1 (ko) * 2020-11-12 2021-07-26 주식회사 오썸피아 사용자 단말로 전망대 망원경 영상 및 증강현실 콘텐츠를 제공하는 방법, 장치, 및 시스템
CN113902883A (zh) * 2021-10-21 2022-01-07 优奈柯恩(北京)科技有限公司 用于显示头戴式显示设备主界面的方法及装置
EP4440097A4 (en) * 2021-11-24 2025-03-05 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
GB2620380A (en) * 2022-06-30 2024-01-10 Sony Interactive Entertainment Europe Ltd Method for detecting display screen boundaries
KR102681608B1 (ko) 2023-12-13 2024-07-05 주식회사 코너스 공간 내의 객체를 인식 및 추적하고 해당 공간에 대한 대응 객체를 포함하는 디지털 트윈 콘텐츠를 생성하는 방법 및 시스템
US12430709B1 (en) * 2024-05-15 2025-09-30 Microsoft Technology Licensing, Llc Automated display zoom based on movement of user

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP4920775B2 (ja) 2010-07-08 2012-04-18 株式会社スクウェア・エニックス 画像生成装置及び画像生成プログラム
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5784213B2 (ja) 2011-03-29 2015-09-24 クアルコム,インコーポレイテッド 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン
CN102214000B (zh) * 2011-06-15 2013-04-10 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10001857B2 (en) * 2015-05-13 2018-06-19 Seiko Epson Corporation Display apparatus and method of controlling display apparatus

Also Published As

Publication number Publication date
PL3291536T3 (pl) 2019-08-30
KR20180027361A (ko) 2018-03-14
US20180070019A1 (en) 2018-03-08
JP7090410B2 (ja) 2022-06-24
EP3291531A1 (en) 2018-03-07
MX370770B (es) 2020-01-03
KR102346437B1 (ko) 2022-01-05
CA2977074A1 (en) 2018-03-06
BR102017019134A2 (pt) 2018-05-02
JP2018067301A (ja) 2018-04-26
US10645298B2 (en) 2020-05-05
EP3291536A1 (en) 2018-03-07
EP3291536B1 (en) 2019-04-10
MX2017011381A (es) 2018-09-21
RU2017131050A (ru) 2019-03-04
CN107801045B (zh) 2021-05-25
ES2726349T3 (es) 2019-10-03
CN107801045A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
TR201906816T4 (tr) Zenginleştirilmiş gerçeklik sahnesi oynatıldığında otomatik kaydırmaya yönelik yöntemler, cihazlar ve sistemler.
US11282264B2 (en) Virtual reality content display method and apparatus
US10504295B2 (en) Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
JP2018139102A (ja) 没入型コンテンツ内の関心地点を決定する方法及び装置
JP6126820B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
EP4542500A1 (en) Method, apparatus, storage medium, device and program product for image processing
US12417597B2 (en) Systems and methods for augmented reality video generation
US10902554B2 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备
CN118349152A (zh) 虚拟对象的封面图的重设方法、装置、设备、介质和程序
CN117115237A (zh) 虚拟现实的位置切换方法、装置、存储介质及设备
CN120066629A (zh) 扩展现实设备的录屏方法、装置、设备、介质和程序
CN120070807A (zh) 虚拟场景的显示方法、装置、设备和存储介质
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN121284334A (zh) Xr设备中drm内容的渲染方法、装置、设备和介质
CN120070719A (zh) 三维场景重建方法、装置、设备和存储介质
CN118351261A (zh) 虚拟对象的封面图的生成方法、装置、设备、介质和程序
CN117234282A (zh) 数据处理方法、装置、电子设备、头戴设备及介质
CN119722991A (zh) 场景地图的生成方法、装置、设备和存储介质
GB2575932A (en) Method and system for providing at least a portion of content having six degrees of freedom motion