[go: up one dir, main page]

TWI797571B - 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體 - Google Patents

用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI797571B
TWI797571B TW110108388A TW110108388A TWI797571B TW I797571 B TWI797571 B TW I797571B TW 110108388 A TW110108388 A TW 110108388A TW 110108388 A TW110108388 A TW 110108388A TW I797571 B TWI797571 B TW I797571B
Authority
TW
Taiwan
Prior art keywords
traversable
image
depth map
space
visible
Prior art date
Application number
TW110108388A
Other languages
English (en)
Other versions
TW202147179A (zh
Inventor
詹姆斯 華森
麥克 大衛 佛曼
亞倫 蒙茲怕
葛布雷歐 Ｊ 布羅斯托
Original Assignee
美商尼安蒂克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商尼安蒂克公司 filed Critical 美商尼安蒂克公司
Publication of TW202147179A publication Critical patent/TW202147179A/zh
Application granted granted Critical
Publication of TWI797571B publication Critical patent/TWI797571B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Holo Graphy (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

一模型自輸入影像預測可見及被遮擋之可遍歷表面兩者之幾何形狀。可使用相機姿勢、每圖框深度及語意分割，自立體視訊序列訓練該模型以形成訓練資料，該訓練資料用來監督一影像至影像網路。在各項實施例中，將該模型應用於描繪一場景之一單一RGB影像以產生描述該場景之可遍歷空間之資訊，該資訊包含被遮擋之可遍歷空間。描述可遍歷空間之該資訊可包含可遍歷空間(可見及被遮擋兩者)及不可遍歷空間之一分割遮罩以及指示至對應於被判定為對應於可遍歷空間之各像素之可遍歷表面之一經估計深度之一深度圖。

Description

用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
所描述標的物大體上係關於機器視覺，且特定而言係關於訓練一機器學習模型以自單一影像判定一場景中之可遍歷空間。
影像問題
深度感測應用於導航及場景理解兩者中。其對於電腦化代理(例如，一街道清潔機器人或一擴增實境角色)知道如何探索可見及隱藏、看不見的世界兩者很有幫助。然而，大多數方法旨在預測相機可見之表面之幾何形狀，此在規劃機器人或擴增實境角色之路徑時用途有限。通常，此等代理之移動限於可遍歷表面，諸如草、步道及人行道。然而，諸多場景分析演算法係基於視線的，因此不偵測被場景中之物件遮掩之可遍歷表面。例如，雖然現實中之一樹在地面上具有一相對小覆蓋區，但其在一場景中可能遮掩其後方之大量可遍歷地面。預測超出視線之既有模型通常利用體素或網格對場景進行參數化，此在機器學習框架中使用可能非常昂貴。
一模型自輸入影像預測可見及被遮擋之可遍歷表面兩者之幾何形狀。可使用相機姿勢、每圖框深度及語意分割，自立體視訊序列訓 練該模型以形成訓練資料，該訓練資料用來監督一影像至影像網路。使用所揭示方法，訓練場景之空間覆蓋範圍之標準令人驚訝地低以便獲得具有實際準確性之一模型。
在各項實施例中，將該模型應用於描繪一場景之單一RGB影像以產生描述該場景之可遍歷空間之資訊，該資訊包含被遮擋之可遍歷空間(例如，被該場景中之一物件遮擋之一可遍歷表面)。描述可遍歷空間之資訊可包含表示可見可遍歷空間及可見不可遍歷空間之像素之一分割遮罩、指示至由來自相機之影像中之各像素表示之表面之一經估計深度之一深度圖、可遍歷空間(例如，可見及被遮擋兩者)及不可遍歷空間之一分割遮罩，及指示至對應於被判定為對應於可遍歷空間之各像素之可遍歷表面之一經估計深度之一深度圖。在其他應用中，此資訊可使一代理能夠知道其可在何處行走，滾動或以其他方式行進超出直接可見之表面。除對可見表面進行模型化外，該模型亦可識別其中移動或靜態物件無法遍歷之區。原本可遍歷表面之此等被佔據區稱為覆蓋區。
諸多先前方法依賴於定界框估計，該等定界框估計限於長方體物件預測。用來估計缺失之幾何形狀之其他方法需要完整、靜態訓練環境，該等環境規模較小或係合成的以便在運算上可行。相比之下，在訓練時僅給定真實世界場景之部分視圖之情況下，所揭示模型可形成隱藏表面之有價值預測。該等模型可使用可自單一、彩色影像導出之隱藏幾何形狀之一輕量表示，該等模型可使用視訊深度資料來訓練。亦可自基於移動物件之視訊或對場景之不完整觀察，透過移動物件之遮蔽，對於缺失或未知資料可遍歷或不可遍歷之空間之一預定機率及使用深度以給出額外資訊來訓練該等模型。
一些先前方法進一步使用資源密集型運算技術來預測測試時之可遍歷空間，諸如基於體素之技術。一些此等或其他先前方法亦未考慮一場景中之物件之位置，未判定相對於一輸入影像之一相機視圖之可遍歷空間，或未考慮物件移動。相比之下，所揭示模型可自一輸入影像之一視圖有效地判定可遍歷空間，此考慮測試時之物件覆蓋區及移動。
100:網路化運算環境
105:網路
110:用戶端器件/用戶端
115:遊戲資料庫
120:遊戲伺服器
125:相機總成
130:可遍歷空間估計模型
135:遊戲模組
140:定位模組
145:通用遊戲模組
150:商業遊戲模組
155:資料收集模組
160:事件模組
170:可遍歷空間估計訓練系統
175:立體視覺模組
180:訓練影像合成模組
185:訓練損失模組
190:物件覆蓋區估計模組
195:移動估計模組
200:真實世界/現實世界
210:虛擬世界
212:位置
214:位置
222:對應位置
224:對應位置
230:虛擬元素
232:虛擬物品
240:地標、地理位置或物件
250:虛擬能量
300:遊戲介面
310:顯示視窗
315:玩家資訊
320:選單
330:通信介面
340:音訊控制件
400:訓練方法/程序
405:訓練影像資料
410:目標影像/該組多視圖立體對
415:判定
420:對應源可見空間分割遮罩
425:源可見空間深度圖
430:扭曲
435:可遍歷空間深度圖/經扭曲之可遍歷空間深度圖
440:使用
445:目標可見空間分割遮罩/目標可見可遍歷空間分割遮罩/目標分割遮罩
450:目標可見空間深度圖
455:目標可遍歷空間分割遮罩/經判定之目標可遍歷空間分割遮罩
460:目標可遍歷空間深度圖
465:目標影像/左目標影像
470:可遍歷空間估計模型
475:經預測之可見空間分割遮罩/經預測輸出
480:經預測之可見可遍歷空間深度圖/經預測輸出
485:經預測之可遍歷空間分割遮罩/經預測輸出
490:經預測之可遍歷空間深度圖/經預測輸出
495:判定
500:一般程序
510:獲取
520:產生
530:產生
540:產生
550:產生
560:訓練
600:一般程序
610:接收
620:輸入
630:產生
640:產生
650:應用
700:電腦
702:處理器
704:晶片組
706:記憶體
708:儲存器件
710:鍵盤
712:圖形配接器
714:指向器件
716:網路配接器
718:顯示器
720:記憶體控制器集線器
722:I/O集線器
圖1繪示根據一或多項實施例之一網路化運算環境。
圖2描繪根據一或多項實施例之具有與真實世界平行之一地理環境之一虛擬世界之一表示。
圖3描繪根據一或多項實施例之一平行實境遊戲之一實例性遊戲介面。
圖4繪示根據一或多項實施例之用於產生訓練資料以訓練一可遍歷空間估計模型之一程序。
圖5係描述根據一或多項實施例之訓練一可遍歷空間模型之一般程序之一流程圖。
圖6係描述根據一或多項實施例之使用一可遍歷空間模型之一般程序之一流程圖。
圖7繪示根據一或多項實施例之適用於訓練或應用一可遍歷空間模型之一實例電腦系統。
圖及以下描述僅以繪示方式描述特定實施例。熟習此項技術者自以下描述將容易地認知，可在不背離所描述原理之情況下採用結構及方法之替代實施例。現在將參考若干實施例，該等實施例之實例在附圖中予以繪示。
實例性基於位置之平行實境遊戲系統
在一平行實境遊戲之背景內容中描述各項實施例，該平行實境遊戲包含與真實世界地理環境之至少一部分平行之一虛擬世界地理環境中之擴增實境內容，使得真實世界中之玩家移動及動作影響虛擬世界中之動作且反之亦然。使用本文中所提供之揭示內容，一般技術者將理解，所描述標的物適用於其中期望自影像資料判定深度資訊或可遍歷空間之其他情況。另外，基於電腦之系統之固有靈活性允許在該系統之組件之間及當中之任務及功能性之許多種可能組態、組合及劃分。例如，可使用單一運算器件或跨多個運算器件(例如，連接於一電腦網路中)實施根據本發明之態樣之系統及方法。
圖1繪示根據一或多項實施例之一網路化運算環境100。網路化運算環境100提供具有與真實世界平行之一地理環境之一虛擬世界中之玩家之互動。特定而言，可將真實世界中之一地理區域直接關聯或映射至虛擬世界中之一對應區域。一玩家可藉由移動至真實世界中之各種地理位置來在虛擬世界中四處移動。例如，可追蹤一玩家在真實世界中之位置且使用該位置來更新玩家在虛擬世界中之位置。通常，藉由找到一用戶端器件110之位置來判定玩家在真實世界中之位置，玩家透過該用戶端器件110來與虛擬世界進行互動且假定玩家在相同(或近似相同)位置處。例如，在各項實施例中，若玩家在真實世界中之位置在對應於虛擬世界中之虛擬元素之虛擬位置之真實世界位置之一臨限距離(例如，十米、二十米等)內，則玩家可與一虛擬元素進行互動。為了方便起見，足夠接近一虛擬元素以依此方式與其進行互動之一玩家被稱為在與虛擬元素對應之真實 世界位置處。另外，參考「玩家之位置」描述各項實施例，但熟習此項技術者將明白，此等參考可指代玩家之用戶端器件110之位置。
現在參考圖2，其描繪根據一項實施例之與可充當一平行實境遊戲之玩家之遊戲板之真實世界200平行之一虛擬世界210之一概念圖。如所繪示，虛擬世界210可包含與真實世界200之地理環境平行之一地理環境。特定而言，界定真實世界200中之一地理區域或空間之一座標範圍經映射至界定虛擬世界210中之一虛擬空間之一對應座標範圍。真實世界200中之座標範圍可與一城鎮、鄰里、城市、校園、場所、一國家、大洲、整個地球或其他地理區域相關聯。地理座標範圍內之各地理座標經映射至虛擬世界中之一虛擬空間中之一對應座標。
一玩家在虛擬世界210中之位置對應於玩家在真實世界200中之位置。例如，位於真實世界200中之位置212處之玩家A在虛擬世界210中具有一對應位置222。類似地，位於真實世界中之位置214處之玩家B在虛擬世界中具有一對應位置224。隨著玩家在真實世界中之一地理座標範圍內四處移動，玩家亦在界定虛擬世界210中之虛擬空間之座標範圍內四處移動。特定而言，與由玩家攜帶之一行動運算器件相關聯之一定位系統(例如，一GPS系統)可用來在一玩家在真實世界中遊歷地理座標範圍時追蹤玩家之位置。與玩家在真實世界200中之位置相關聯之資料用來更新玩家在界定虛擬世界210中之虛擬空間之對應座標範圍內之位置。以此方式，玩家可藉由簡單地在真實世界200中之對應地理座標範圍當中行進而無須在真實世界200中之特定離散位置處報到或週期性地更新位置資訊，來沿著界定虛擬世界210中之虛擬空間之座標範圍內之一連續軌跡遊歷。
基於位置之遊戲可包含要求玩家行進至散佈於虛擬世界中之各種虛擬位置處之各種虛擬元素或虛擬物件或與其等進行互動之複數個遊戲目標。一玩家可藉由在真實世界中行進至虛擬元素或物件之對應位置來行進至此等虛擬位置。例如，一定位系統可連續地追蹤玩家之位置，使得隨著玩家連續地遊歷真實世界，玩家亦連續地遊歷平行虛擬世界。接著，玩家可與特定位置處之各種虛擬元素或物件進行互動以達成或執行一或多個遊戲目標。
例如，一遊戲目標使玩家與位於虛擬世界210中之各種虛擬位置處之虛擬元素230進行互動。此等虛擬元素230可經關聯至真實世界200中之地標、地理位置或物件240。真實世界地標或物件240可為藝術品、紀念碑、大樓、企業、圖書館、博物館或其他合適的真實世界地標或物件。互動包含捕獲某種虛擬物品，主張某種虛擬物品之所有權，使用某種虛擬物品，花費某種虛擬貨幣等。為了捕獲此等虛擬元素230，一玩家行進至真實世界中關聯至虛擬元素230之地標或地理位置240且在虛擬世界210中與虛擬元素230進行互動。例如。圖2之玩家A可能必須行進至真實世界200中之一地標240以便與關聯於彼特定地標240之一虛擬元素230進行互動或捕獲關聯於彼特定地標240之一虛擬元素230。與虛擬元素230之互動可能需要真實世界中之動作，諸如拍攝一照片或驗證，獲得或擷取有關與虛擬元素230相關聯之地標或物件240之其他資訊。在其他實施例中，用於捕獲虛擬元素之不同或額外機制可能係可用的。例如，一遊戲中物品可使一玩家能夠遠端地(即，自不同於對應於虛擬元素之位置之一真實世界位置)與一虛擬元素進行互動。
遊戲目標可能要求玩家使用由玩家在基於位置之遊戲中收 集之一或多個虛擬物品。例如，玩家可在虛擬世界210行進，從而尋找可能對完成遊戲目標有用之虛擬物品(例如，武器、生物、道具或其他物品)。可藉由在真實世界200中行進至不同位置或藉由在虛擬世界210或真實世界200中完成各種動作來找到或收集此等虛擬物品。在圖2中所展示之實例中，一玩家使用虛擬物品232來捕獲一或多個虛擬元素230。特定而言，一玩家可將虛擬物品232部署於虛擬世界210中接近虛擬元素230或在虛擬元素230內之位置處。以此方式部署一或多個虛擬物品232可導致針對特定玩家或針對特定玩家之團隊/小團體捕獲虛擬元素230。
在一項特定實施方案中，一玩家可能必須蒐集虛擬能量作為平行實境遊戲之部分。如圖2中所描繪，虛擬能量250可經散佈於虛擬世界210中之不同位置處。一玩家可藉由在現實世界200中行進至虛擬能量250之對應位置來收集虛擬能量250。虛擬能量250可在遊戲中用來給虛擬物品提供力量或執行各種遊戲目標。失去所有虛擬能量250之一玩家可與遊戲斷開連接。
根據本發明之態樣，平行實境遊戲可為一大型多玩家的基於位置之遊戲，其中該遊戲中之每個參與者共用相同虛擬世界。玩家可分為不同團隊或小團體且可一起協作以達成一或多個遊戲目標，諸如捕獲一虛擬元素或主張一虛擬元素之所有權。以此方式，平行實境遊戲內在地可為鼓勵在遊戲內之玩家當中之合作之一社群遊戲。在平行實境遊戲期間，來自對手團隊之玩家可相互對抗(或有時協作以達成共同目標)。一玩家可使用虛擬物品來攻擊或阻礙對手團隊之玩家的進度。在一些情況下，鼓勵玩家聚集於真實世界位置處以進行平行實境遊戲中之合作或互動事件。在此等情況下，遊戲伺服器尋求確保玩家確實實體在場且沒有造假。
平行實境遊戲可具有各種特徵以增強及鼓勵平行實境遊戲內之遊戲玩法。例如，玩家可累積可貫穿遊戲使用之一虛擬貨幣或另一虛擬獎勵(例如，虛擬令牌、虛擬積分、虛擬材料資源等)(例如，以購買遊戲中物品，以兌換其他物品，以製作物品等)。隨著玩家完成一或多個遊戲目標且在遊戲內獲得經驗，玩家可升級至各種等級。在一些實施例中，玩家可透過遊戲中所提供之一或多個通信介面彼此進行通信。玩家亦可獲得可用來完成遊戲內之遊戲目標之增強型「力量」或虛擬物品。使用本文中所提供之揭示內容，一般技術者應理解，在不背離本發明之範疇之情況下，平行實境遊戲可包含各種其他遊戲特徵。
返回參考圖1，網路化運算環境100使用一用戶端-伺服器架構，其中一遊戲伺服器120透過一網路105與一用戶端器件110進行通信以向用戶端器件110處之玩家提供一平行實境遊戲。網路化運算環境100亦可包含其他外部系統，諸如贊助商/廣告商系統或商業系統。儘管圖1中繪示僅一個用戶端器件110，但任何數目個用戶端器件110或其他外部系統可透過網路105連接至遊戲伺服器120。此外，網路化運算環境100可含有不同或額外元件且功能性可以不同於下文所描述之一方式分佈在用戶端器件110與伺服器120之間。
一用戶端器件110可為可由一玩家用來與遊戲伺服器120介接之任何可攜式運算器件。例如，一用戶端器件110可為一無線器件、一個人數位助理(PDA)、可攜式遊戲器件、蜂巢電話、智慧型電話、平板電腦、導航系統、手持型GPS系統、可穿戴運算器件、具有一或多個處理器之一顯示器或其他此器件。在另一例項中，用戶端器件110包含一習知電腦系統，諸如一桌上型電腦或一膝上型電腦。仍然，用戶端器件110可為 具有一運算器件之一車輛。簡而言之，一用戶端器件110可為可使一玩家能夠與遊戲伺服器120進行互動之任何電腦器件或系統。作為一運算器件，用戶端器件110可包含一或多個處理器及一或多個電腦可讀儲存媒體。電腦可讀儲存媒體可儲存致使處理器執行操作之指令。用戶端器件110較佳地係可由一玩家容易地攜帶或以其他方式運輸之一可攜式運算器件，諸如一智慧型電話或平板電腦。
用戶端器件110與遊戲伺服器120進行通信，從而對遊戲伺服器120提供一實體環境之感覺資料。用戶端器件110包含擷取用戶端器件110所在之實體環境中之一場景之二維影像資料之一相機總成125。用戶端器件110亦包含一可遍歷空間估計模型130，該可遍歷空間估計模型130係例如由遊戲伺服器120訓練之一機器學習模型。在圖1中所展示之實施例中，各用戶端器件110包含諸如一遊戲模組135及一定位模組140之額外軟體組件。用戶端器件110可包含用於自一玩家接收資訊或向一玩家提供資訊之各種其他輸入/輸出器件。實例輸入/輸出器件包含一顯示螢幕、一觸控螢幕、一觸控墊、資料鍵入鍵、揚聲器及適合於語音辨識之一麥克風。用戶端器件110亦可包含用於記錄來自用戶端器件110之資料之其他各種感測器，包含但不限於移動感測器、加速度計、陀螺儀、其他慣性量測單元(IMU)、氣壓計、定位系統、溫度計、光感測器等。用戶端器件110可進一步包含用於透過網路105提供通信之一網路介面。一網路介面可包含用於與一或多個網路介接之任何合適組件，包含例如傳輸器、接收器、埠、控制器、天線或其他合適組件。
相機總成125擷取用戶端器件110所在之環境之一場景之影像資料。相機總成125可利用依不同擷取速率之具有不同色彩擷取範圍之 多種不同光電感測器。相機總成125可含有一廣角鏡頭或一攝遠鏡頭。相機總成125可經組態以擷取若干單一影像或視訊作為影像資料。相機總成125擷取影像資料且與用戶端器件110上之運算器件共用影像資料。影像資料可附加有描述影像資料之其他細節之後設資料，包含感覺資料(例如，環境之溫度、亮度)或擷取資料(例如曝光、溫暖、快門速度、焦距、擷取時間等)。相機總成125可包含可擷取影像資料之一或多個相機。在一個例項中，相機總成125包含一個相機且經組態以擷取單眼影像資料。在另一例項中，相機總成125包含兩個相機且經組態以擷取立體影像資料。在各項其他實施方案中，相機總成125包含多個相機，各相機經組態以擷取影像資料。
可遍歷空間估計模型130接收由一相機擷取之一場景之一輸入影像且基於該輸入影像輸出描述場景之可遍歷空間之資訊。如本文中所使用，可遍歷空間指代一場景中之一可遍歷表面(例如，地面)。類似地，不可遍歷空間指代一場景中無法遍歷之一表面。例如，不可遍歷空間可為一環境中之一不可遍歷表面(例如，一人、一牆壁、一不平整表面或某個其他不可遍歷物件)，或可為被一物件覆蓋區疊加之一可遍歷表面。在表示一環境之一視圖之一影像中，某個可遍歷空間在影像中可能係可見的，此被稱為可見可遍歷空間。另外或替代地，某個可遍歷空間可能被環境中之物件遮擋，此被稱為被遮擋之可遍歷空間。
在一項實施例中，由可遍歷空間估計模型130輸出之資訊包含輸入影像之一分割遮罩(其分割表示輸入影像之可見可遍歷空間之像素及表示輸入影像之可見不可遍歷空間之像素)、指示至由來自相機之輸入影像中之各像素表示之一表面之一經估計深度之一深度圖、分割對應於 可遍歷空間(例如，可見及被遮掩)之像素及對應於不可遍歷空間之像素之一分割遮罩、指示至對應於可遍歷空間之各像素之一可遍歷表面之一經估計深度之一深度圖或其等某個組合。換言之，訓練可遍歷空間估計模型130以判定描述一場景中存在被一物件遮擋之可遍歷空間之位置及自相機至被遮擋之可遍歷空間之距離(例如，若物件未阻擋相機之視線，則係輸入影像中對應於被遮擋之可遍歷空間之像素之深度)之資訊。可遍歷空間估計模型130亦可學習遮掩物件之覆蓋區。因此，使用該模型之輸出進行導航之機器人、AR角色及其他代理可計劃在遮擋物件後方通過被遮擋空間，而不太可能撞到遮擋物件，此係因為該模型亦輸出彼等物件之覆蓋區之一估計(即，被呈現為物件不可遍歷之原本可遍歷表面之部分)。
在一項實施例中，可遍歷空間估計模型130由一可遍歷空間估計訓練系統170來訓練且可由可遍歷空間估計訓練系統170來更新或調整，此在下文更詳細地論述。可由相機總成125之一相機或來自另一用戶端器件110之另一相機擷取所接收輸入影像。在一些實施例中，所接收輸入影像具有附加至影像之指定輸入影像之內參數之後設資料。一影像之內參數指代在擷取影像時相機之一或多個幾何性質，例如，在擷取影像時相機之焦距、相機之主點偏移、相機之偏斜等。利用內參數，可遍歷空間估計模型130可產生考慮內參數之一內參數矩陣。在一些實施例中，可遍歷空間估計模型130判定輸入影像是否高於一臨限解析度。若否，則可遍歷空間估計模型130可在判定描述場景之可遍歷空間之資訊之前將輸入影像上取樣至一所要解析度。可遍歷空間估計模型130輸入影像(在接收時或在上取樣之後)且判定描述場景之可遍歷空間之資訊。可在可遍歷空間估計模型130中實施機器學習演算法，以供訓練或推理。
遊戲模組135對一玩家提供一介面以參與平行實境遊戲。遊戲伺服器120透過網路105將遊戲資料傳輸至用戶端器件110以供用戶端器件110處之遊戲模組135使用以向遠離遊戲伺服器120之位置處之玩家提供遊戲之本端版本。遊戲伺服器120可包含用於透過網路105提供通信之一網路介面。一網路介面可包含用於與一或多個網路介接之任何合適組件，包含例如傳輸器、接收器、埠、控制器、天線或其他合適組件。
由用戶端器件110執行之遊戲模組135提供一玩家與平行實境遊戲之間之一介面。遊戲模組135可在與用戶端器件110相關聯之一顯示器件上呈現一使用者介面，該使用者介面顯示與遊戲相關聯之一虛擬世界(例如，呈現虛擬世界之影像)且允許一使用者在虛擬世界中進行互動以執行各種遊戲目標。在一些其他實施例中，遊戲模組135呈現來自真實世界之影像資料(例如，由相機總成125擷取)，其用來自平行實境遊戲之虛擬元素擴增。在此等實施例中，遊戲模組135可根據自用戶端器件之其他組件接收之其他資訊產生虛擬內容或調整虛擬內容。例如，遊戲模組135可根據影像資料中擷取之場景之一深度圖(例如，由可遍歷空間估計模型130判定)調整待在使用者介面上顯示之一虛擬物件。
遊戲模組135亦可控制各種其他輸出以允許一玩家與遊戲進行互動而無需玩家觀看一顯示螢幕。例如，遊戲模組135可控制允許玩家在不觀看顯示螢幕之情況下玩遊戲之各種音訊、振動或其他通知。遊戲模組135可存取自遊戲伺服器120接收之遊戲資料以向使用者提供遊戲之一準確表示。遊戲模組135可接收及處理玩家輸入且透過網路105向遊戲伺服器120提供更新。遊戲模組135亦可產生或調整待由用戶端器件110顯示之遊戲內容。例如，遊戲模組135可基於描述一場景之可遍歷空間之資 訊(例如，如由可遍歷空間估計模型130判定)產生一虛擬元素。例如，遊戲模組135可判定可遍歷空間上之場景中之一虛擬元素之一路徑。
定位模組140可為用於監控用戶端器件110之位置之任何器件或電路。例如，定位模組140可藉由使用一衛星導航定位系統(例如一GPS系統、一伽利略定位系統、全球導航衛星系統(GLONASS)、北斗衛星導航及定位系統)、一慣性導航系統、一航位推算系統，基於IP位址，藉由使用三角測量或接近蜂巢塔或Wi-Fi熱點，或用於判定位置之其他合適技術來判定實際或相對位置。定位模組140可進一步包含可輔助準確地定位用戶端器件110位置之各種其他感測器。
隨著玩家在真實世界中與用戶端器件110一起四處移動時，定位模組140追蹤玩家之位置且向遊戲模組135提供玩家位置資訊。遊戲模組135基於玩家在真實世界中之實際位置更新與遊戲相關聯之虛擬世界中之玩家位置。因此，一玩家可簡單地藉由在真實世界中攜帶或運輸用戶端器件110來與虛擬世界進行互動。特定而言，玩家在虛擬世界中之位置可對應於玩家在真實世界中之位置。遊戲模組135可透過網路105向遊戲伺服器120提供玩家位置資訊。作為回應，遊戲伺服器120可制定各種技術來驗證用戶端器件110位置以防止作弊者造假用戶端器件110位置。應理解，僅在已通知一玩家待存取玩家之位置資訊及待如何在遊戲之背景內容中利用位置資訊之後授予許可的情況下利用與該玩家相關聯之位置資訊(例如以更新虛擬世界中之玩家位置)。另外，將以保護玩家隱私之一方式儲存及維持與玩家相關聯之任何位置資訊。
遊戲伺服器120可為任何運算器件且可包含一或多個處理器及一或多個電腦可讀儲存媒體。電腦可讀儲存媒體可儲存致使處理器執 行操作之指令。遊戲伺服器120可包含一遊戲資料庫115或可與一遊戲資料庫115進行通信。遊戲資料庫115儲存在平行實境遊戲中使用以透過網路105伺服或提供至(若干)用戶端110之遊戲資料。
儲存於遊戲資料庫115中之遊戲資料可包含：(1)與平行實境遊戲中之虛擬世界相關聯之資料(例如，用來在一顯示器件上呈現虛擬世界之影像資料、虛擬世界中之位置之地理座標等)；(2)與平行實境遊戲之玩家相關聯之資料(例如，玩家設定檔，包含但不限於玩家資訊、玩家經驗等級、玩家貨幣、虛擬世界/真實世界中之當前玩家位置、玩家能量位準、玩家偏好、團隊資訊、小團體資訊等)；(3)與遊戲目標相關聯之資料(例如，與當前遊戲目標、遊戲目標狀態、過往遊戲目標、未來遊戲目標、所要遊戲目標等相關聯之資料)；(4)與虛擬世界中之虛擬元素相關聯之資料(例如虛擬元素之位置、虛擬元素之類型、與虛擬元素相關聯之遊戲目標；虛擬元素之對應現實世界位置資訊；虛擬元素之行為、虛擬元素之相關性等)；(5)與關聯至虛擬世界元素之真實世界物件、地標、位置相關聯之資料(例如，真實世界物件/地標之位置、真實世界物件/地標之描述、關聯至真實世界物件之虛擬元素之相關性等)；(6)遊戲狀態(例如，當前玩家數目、當前遊戲目標狀態、玩家排行榜等)；(7)與玩家動作/輸入相關聯之資料(例如，當前玩家位置、過往玩家位置、玩家移動、玩家輸入、玩家查詢、玩家交流等)；及(8)在平行實境遊戲之實施期間使用、相關或獲得之任何其他資料。儲存於遊戲資料庫115中之遊戲資料可由系統管理者離線或即時填充或由自系統100之使用者/玩家(例如，諸如透過網路105自一用戶端器件110)接收之資料填充。
遊戲伺服器120可經組態以自一用戶端器件110接收對遊戲 資料之請求(例如經由遠端程序呼叫(RPC))且經由網路105對彼等請求作出回應。例如，遊戲伺服器120可將遊戲資料編碼於一或多個資料檔案中且將資料檔案提供至用戶端器件110。另外，遊戲伺服器120可經組態以經由網路105自一用戶端器件110接收遊戲資料(例如玩家位置、玩家動作、玩家輸入等)。例如，用戶端器件110可經組態以週期性地將玩家輸入及其他更新發送至遊戲伺服器120，遊戲伺服器120使用該玩家輸入及其他更新來更新遊戲資料庫115中之遊戲資料以反映遊戲之任何及所有變化條件。
在所展示實施例中，伺服器120包含一通用遊戲模組145、一商業遊戲模組150、一資料收集模組155、一事件模組160及一可遍歷空間估計訓練系統170。如上文所提及，遊戲伺服器120與可為遊戲伺服器120之部分或可遠端地存取之一遊戲資料庫115進行互動(例如，遊戲資料庫115可為經由網路105存取之一分佈式資料庫)。在其他實施例中，遊戲伺服器120含有不同或額外元件。另外，功能可以不同於所描述之一方式分佈。例如，遊戲資料庫115可經整合至遊戲伺服器120中。
通用遊戲模組145代管所有玩家之平行實境遊戲且充當所有玩家之平行實境遊戲之當前狀態之權威源。作為主機，通用遊戲模組145產生遊戲內容以例如經由其等各自用戶端器件110呈現給玩家。通用遊戲模組145可在代管平行實境遊戲時存取遊戲資料庫115以擷取或儲存遊戲資料。通用遊戲模組145亦自用戶端器件110接收遊戲資料(例如，深度資訊、玩家輸入、玩家位置、玩家動作、地標資訊等)且將所接收遊戲資料併入至平行實境遊戲之所有玩家之總體平行實境遊戲中。通用遊戲模組145亦可管理透過網路105將遊戲資料遞送至用戶端器件110。通用遊戲 模組145亦可管控用戶端器件110之安全態樣，包含但不限於保全用戶端器件110與遊戲伺服器120之間的連接，從而在各種用戶端器件110之間建立連接，且驗證各種用戶端器件110之位置。
在其中包含一個商業遊戲模組150之實施例中，商業遊戲模組150可與通用遊戲模組145分離或可為通用遊戲模組145之一部分。商業遊戲模組150可管理平行實境遊戲內與真實世界中之一商業活動關聯之各種遊戲特徵之包含。例如，商業遊戲模組150可(經由一網路介面)透過網路105自諸如贊助商/廣告商、企業或其他實體之外部系統接收請求以將與商業活動關聯之遊戲特徵包含於平行實境遊戲中。接著，商業遊戲模組150可配置此等遊戲特徵在平行實境遊戲中之包含。
遊戲伺服器120可進一步包含一資料收集模組155。在其中包含一個資料收集模組155之實施例中，資料收集模組155可與通用遊戲模組145分離或可為通用遊戲模組145之一部分。資料收集模組155可管理在平行實境遊戲內與真實世界中之一資料收集活動關聯之各種遊戲特徵之包含。例如，資料收集模組155可修改儲存於遊戲資料庫115中之遊戲資料以將與資料收集活動關聯之遊戲特徵包含於平行實境遊戲中。資料收集模組155亦可依據資料收集活動分析由玩家收集之資料且提供資料以供各種平台存取。
事件模組160管理玩家對平行實境遊戲中之事件之存取。儘管為了方便起見使用術語「事件」，但應明白，此術語無需指代在一特定位置或時間之一特定事件。而是，其可指代存取控制遊戲內容之任何提供，其中一或多個存取準則用來判定玩家是否可存取彼內容。此內容可為包含具有較少存取控制或沒有存取控制之遊戲內容之一較大平行實境遊戲 之部分或可為一獨立、存取控制平行實境遊戲。
可遍歷空間估計訓練系統170訓練一可遍歷空間估計模型，例如提供至用戶端器件110之可遍歷空間估計模型130。可遍歷空間估計訓練系統170接收用於訓練可遍歷空間估計模型之影像資料。一般而言，可遍歷空間估計訓練系統170處理影像資料，將影像資料輸入至可遍歷空間估計模型中，且反覆地調整可遍歷空間估計模型之參數。在一項實施例中，可遍歷空間估計訓練系統170產生用於使用立體視訊資料訓練模型之訓練資料，此在下文參考圖4更詳細地描述。可遍歷空間估計訓練系統170可進一步界定用於可遍歷空間估計模型之一誤差臨限值，該誤差臨限值可用來判定可遍歷空間估計模型在估計描述場景之可遍歷空間之資訊時是否足夠準確。下文將進一步描述可遍歷空間估計訓練系統170之訓練。
一旦可遍歷空間估計模型經訓練，可遍歷空間估計模型便接收影像資料且輸出描述影像資料中所描繪之場景之可遍歷空間之資訊。可遍歷空間估計訓練系統170將經訓練模型提供至用戶端器件110。用戶端器件110使用經訓練模型來估計影像中所描繪之場景之可遍歷空間(例如，由該器件上之一相機擷取)。可遍歷空間估計可具有多種用途，諸如輔助呈現與真實世界進行互動之虛擬內容，輔助機器人導航，偵測自動駕駛車輛之潛在危害及類似者。
網路105可為任何類型之通信網路，諸如一區域網路(例如內聯網路)、廣域網路(例如網際網路)或其等某個組合。該網路亦可包含一用戶端器件110與遊戲伺服器120之間的一直接連接。一般而言，遊戲伺服器120與一用戶端器件110之間的通信可經由一網路介面使用任何類 型之有線或無線連接，使用多種通信協定(例如TCP/IP、HTTP、SMTP、FTP)、編碼或格式(例如HTML、XML、JSON)或保護方案(例如VPN、安全HTTP、SSL)來攜載。
本文中所論述之技術參考伺服器、資料庫、軟體應用程式及其他基於電腦之系統，以及所採取之動作及發送至此等系統與自此等系統發送之資訊。一般技術者將認知，基於電腦之系統之固有靈活性允許組件之間及當中之任務及功能性之許多種可能組態、組合及劃分。例如，可使用單一伺服器或組合地工作之多個伺服器實施本文中所論述之伺服器程序。資料庫及應用程式可在單一系統上實施或可跨多個系統分佈。分佈式組件可循序地或並行地操作。
另外，在其中本文中所論述之系統及方法存取及分析有關使用者之個人資訊或利用諸如位置資訊之個人資訊之情況下，可對使用者提供控制程式或特徵是否收集資訊及控制是否或如何自系統或其他應用程式接收內容之一機會。不收集或使用此資訊或資料，直至已向使用者提供有關待收集什麼資訊及如何使用該資訊之有意義通知。除非使用者提供同意，否則不收集或使用該資訊，使用者可隨時撤銷或修改該同意。因此，使用者可控制如何收集有關使用者之資訊及如何由應用程式或系統使用該資訊。另外，特定資訊或資料可在其被儲存或使用之前以一或多種方式處理，使得移除個人可識別資訊。例如，可處理一使用者之身份，使得無法判定該使用者之個人可識別資訊。
實例性遊戲介面
圖3描繪可在一用戶端110之顯示器上呈現作為一玩家與虛擬世界210之間的介面之部分之一遊戲介面300之一項實施例。遊戲介面 300包含可用來顯示虛擬世界210及遊戲之其他各種態樣之一顯示視窗310，諸如虛擬世界210中之玩家位置222以及虛擬元素230、虛擬物品232及虛擬能量250之位置。使用者介面300亦可顯示其他資訊，諸如遊戲資料資訊、遊戲通信、玩家資訊、用戶端位置驗證指令及與遊戲相關聯之其他資訊。例如，使用者介面可顯示玩家資訊315，諸如玩家名稱、經驗等級及其他資訊。使用者介面300可包含用於存取各種遊戲設定及與遊戲相關聯之其他資訊之一選單320。使用者介面300亦可包含實現遊戲系統與玩家之間及平行實境遊戲之一或多個玩家之間之通信之一通信介面330。
根據本發明之態樣，一玩家可藉由簡單地在真實世界中隨身攜帶一用戶端器件110來與平行實境遊戲進行互動。例如，一玩家可藉由簡單地存取與一智慧型電話上之平行實境遊戲相關聯之一應用程式且在真實世界中與智慧型電話一起四處移動來玩遊戲。在此方面，玩家無需連續地觀看一顯示螢幕上之虛擬世界之一視覺表示以便玩基於位置之遊戲。因此，使用者介面300可包含允許一使用者與遊戲進行互動之複數個非視覺元素。例如，當玩家接近遊戲中之一虛擬元素或物件時或當在平行實境遊戲中發生一重要事件時，遊戲介面可將可聽通知提供給玩家。一玩家可利用音訊控制件340控制此等可聽通知。可取決於虛擬元素或事件之類型將不同類型之可聽通知提供給使用者。可聽通知可取決於一玩家與一虛擬元素或物件之近接度而在頻率或音量上增加或減小。可將其他非視覺通知及信號提供給使用者，諸如一振動通知或其他合適通知或信號。
使用本文中所提供之揭示內容，一般技術者將明白鑑於本發明，諸多遊戲介面組態及基本功能性將係顯而易見的。本發明並非意欲於限於任何一種特定組態。
可遍歷空間估計訓練
可遍歷空間估計訓練系統170訓練可遍歷空間估計模型130。在一些實施例中，使用立體視訊資料訓練可遍歷空間估計模型130。以下段落描述一訓練方法400，其中處理立體視訊資料以產生訓練資料以訓練一影像至影像可遍歷空間估計模型。然而，其他實施例使用其他方法來產生訓練資料或可利用各種其他模型結構及架構訓練模型。例如，可遍歷空間估計訓練系統170可使用由人類檢視者標記之影像、一靜態訓練環境之影像、合成影像資料或描述一場景之幾何資訊訓練模型。
在圖1中所展示之實施例中，可遍歷空間估計訓練系統170包含一立體視覺模組175、一訓練影像合成模組180、一訓練損失模組185、一物件覆蓋區估計模組190及一移動估計模組195。在其他實施例中，可遍歷空間估計訓練系統170可包含不同或額外組件，例如，資料儲存器、回饋模組、平滑化模組等。例如，當訓練立體視覺模組175或訓練影像合成模組180之一或多個模型時，一資料儲存器可儲存訓練資料或經訓練參數。在另一實例中，一平滑化模組可處理深度圖，諸如深度圖中之平滑化深度值。
圖4繪示用於產生訓練資料以訓練一可遍歷空間估計模型之一程序400之一實施例。在圖4中所展示之實施例中，可遍歷空間估計訓練系統170訓練一可遍歷空間估計模型470以能夠判定描述由一目標影像465所描繪之一場景之可遍歷空間之資訊。在此實施例中，在給定目標影像465作為輸入之情況下，可遍歷空間估計模型470具有四個輸出通道，特別是一經預測之可見空間分割遮罩475、一經預測之可見可遍歷空間深度圖480、一經預測之可遍歷空間分割遮罩485及一經預測之可遍歷 空間深度圖490。在其他實施例中，可遍歷空間估計模型470可輸出此四個輸出通道之一子集(例如，分割遮罩485及深度圖490)，或可具有額外或另外不同的輸出通道。
為了訓練可遍歷空間估計模型470，可遍歷空間估計訓練系統170產生或擷取具有用可遍歷空間估計模型470之輸出通道之各者之一目標值標記之像素之一組訓練目標影像(例如，左目標影像465)。如圖4中所描繪，用於標記左目標影像465之像素之目標值係目標可見空間分割遮罩445、目標可見空間深度圖450、目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460之像素。
可遍歷空間估計訓練系統170可自訓練影像資料405產生該組經標記之訓練目標影像。例如，該訓練資料可包含使用一立體相機擷取之視訊資料之圖框。儘管圖4中所描繪之訓練程序係相對於訓練影像資料405之單一左目標影像465，但如此做僅出於繪示目的且熟習此項技術者將明白，可針對例如包含於訓練影像資料405中之任何數目個目標影像重複訓練程序。此外，儘管如本文中所描述般自訓練影像資料405之左影像之一視圖產生分割遮罩及深度圖，但熟習此項技術者將明白，類似技術可應用於訓練影像資料405之右影像。
立體視覺模組175及訓練影像合成模組180使用目標影像410之一組多視圖立體影像對產生用於標記一目標影像465之目標值。該組多視圖立體對410包含內含左目標影像465及右目標影像之一目標影像立體對以及各內含一左源影像及一右源影像之一組源立體影像對。該組多視圖立體對410描繪來自多個視圖之一場景。特定而言，源立體影像對之左及右源影像分別自不同於左及右目標影像之一視圖描繪場景。例如，源 立體影像對可為在使用一立體相機擷取之一視訊中之目標立體影像對之圖框之前或之後的某個時間出現之圖框，其中立體相機在擷取目標立體影像對與源立體影像對之間移動。
立體視覺模組175使用該組多視圖立體影像對410判定415左目標影像465及左源影像之可見空間深度圖及可見可遍歷空間分割遮罩。作為一實例，可見空間深度圖可包含一輸入影像中之所有像素之一深度值，該深度值表示自相機至由一像素表示之一可見表面之一距離。作為另一實例，可見可遍歷空間分割遮罩可為二元分割遮罩，其中表示可見可遍歷空間之像素具有1值且表示可見不可遍歷空間之像素具有0值。特定而言，立體視覺模組175藉由使用一或多個立體視覺模型或演算法處理該組多視圖立體影像對410來判定可見空間深度圖及分割遮罩。例如，立體視覺模組175可使用幾何立體匹配演算法(例如，估計視差圖)或立體匹配深度估計模型(例如，一金字塔立體匹配網路)判定一給定立體影像對之一左影像之可見空間深度圖。類似地，立體視覺模組175可使用各種地面分割技術(諸如一經訓練之影像至影像地面分割模型)判定可見空間分割遮罩。可遍歷空間估計訓練系統170使用針對左目標影像465判定之目標可見可遍歷空間分割遮罩445及目標可見空間深度圖450來標記左目標影像465。立體視覺模組175將左源影像之分割遮罩及深度圖提供至訓練影像合成模組180以產生目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460，如下文更詳細地描述。
訓練影像合成模組180使用該組多視圖立體影像對之左源影像之分割遮罩及深度圖產生目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460。特定而言，訓練影像合成模組180計算目標立體影像對 及源立體影像對之內參數及外參數以便判定左目標影像及左源影像之相對相機位置。一影像之內參數指代用來擷取彼影像之相機之幾何性質，例如，包含相機之焦距、相機之主點偏移、相機之偏斜。在一些情況下，針對各相機，在所有所拍攝影像之間內參數可能係恆定的或隨著相機在拍攝各種影像時調整其參數內參數可能變化。一影像之外參數指代相機在三維空間中之位置及定向。訓練影像合成模組180可使用各種相機校準或同時定位及映射(SLAM)技術來計算立體影像對之內參數及外參數，諸如ORB-SLAM2。
使用自外參數判定之相對相機位置，訓練影像合成模組180藉由將可遍歷深度值扭曲430至左目標影像465之視圖上來產生源立體影像對之各者之經扭曲之可遍歷空間深度圖435。例如，訓練影像合成模組180可將表示一可遍歷空間深度圖435中之可見可遍歷空間之深度值之像素前向扭曲、逆扭曲或以其他方式投影至左目標影像465上。訓練影像合成模組180使用一對應源可見空間分割遮罩420自一源可見空間深度圖425中之像素識別可遍歷深度值。假定源可見空間深度圖表示來自不同於左目標影像465之一視圖之場景之深度值，則一經扭曲之可遍歷空間深度圖435可包含被左目標影像465中之物件遮擋但在對應於經扭曲之可遍歷空間深度圖435之左源影像中未被遮擋之可遍歷空間之深度值。因而，經扭曲之可遍歷空間深度圖提供目標影像中表示在目標影像中不可見之可遍歷空間之像素之深度值。
訓練影像合成模組180使用440經扭曲之可遍歷空間深度圖435以便產生目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460。在一些實施例中，訓練影像合成模組180聚合經扭曲之可遍歷空間深度圖 435以便聚合來自由左源立體影像表示之視圖之各者之深度值。此聚合增加識別左目標影像465之隱藏可遍歷空間之可能性。另外，此聚合減少由於上文所描述之分割、深度或相機位置估計程序中之不準確性所致之個別經扭曲之可遍歷深度圖之不準確性。可使用各種方法聚合經扭曲之可遍歷深度圖435。在一些實施例中，若臨限數目個經扭曲之可遍歷深度圖435具有一非零深度值，則藉由將來自左目標影像465之像素指定為可遍歷來產生可遍歷空間分割遮罩455，且否則不可遍歷。例如，可使用以下方程式判定目標可遍歷空間分割遮罩455：
Figure 110108388-A0305-02-0026-1
其中S 可遍歷空間 係目標可遍歷空間分割遮罩455，J係左目標影像中之所有像素索引之集，P係該組經扭曲之可遍歷空間深度圖435，P i 係第i個經扭曲之可遍歷空間深度圖，p j 係P i 中之第j個像素，[ ]係艾弗森括號，且k係具有p j 之一非零深度值之經扭曲之可遍歷深度圖之臨限數目。
作為另一實例，可藉由對經扭曲之可遍歷深度圖435之深度值執行一或多個統計操作(諸如判定一平均或中值深度值)來產生目標可遍歷空間深度圖460。例如，可使用以下方程式判定目標可遍歷空間深度圖460：
Figure 110108388-A0305-02-0026-2
其中D 可遍歷空間 係目標可遍歷空間深度圖460，P係該組經扭曲之可遍歷空間深度圖435，且P i 係第i個經扭曲之可遍歷空間深度圖。在此情況下，目標可遍歷空間深度圖460在判定中值時可忽略深度值為0值之經扭曲之可遍歷空間深度圖。
可遍歷空間估計訓練系統170使用經判定之目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460來標記左目標影像465。
訓練損失模組185判定可遍歷空間估計訓練系統170之一訓練損失。在圖4中所展示之實施例中，訓練損失模組185藉由比較目標可見可遍歷空間分割遮罩445、目標可見空間深度圖450、目標可遍歷空間分割遮罩455及目標可遍歷空間深度圖460與可遍歷空間估計模型470之各自經預測輸出475、480、485及490來判定495一總訓練損失。可自多個訓練損失值之一組合，諸如由可遍歷空間估計模型470預測之輸出475、480、485及490之各者之訓練損失值之一組合，導出總訓練損失。例如，訓練損失模組185可藉由比較目標可遍歷空間分割遮罩455與經預測之可遍歷空間分割遮罩485來判定對經預測之可遍歷空間分割遮罩485訓練損失之一訓練損失貢獻。例如，訓練損失模組185可判定對總訓練損失之一貢獻，該貢獻增加在左目標影像465之像素被目標可遍歷空間分割遮罩460指定為可遍歷的情況下，可遍歷空間估計模型470將預測其等可遍歷之可能性。換言之，總訓練損失可鼓勵可遍歷空間估計模型470預測對應於一可遍歷空間分割遮罩中之可遍歷空間之一目標影像中之像素係可遍歷的。類似地，訓練損失模組185可藉由比較目標分割遮罩445與經預測之分割遮罩475，藉由比較目標深度圖450與經預測之深度圖480，或藉由比較目標深度圖460與經預測之深度圖490來判定個別訓練損失貢獻。可用來判定此等或其他訓練損失貢獻之實例損失函數包含交叉熵損失、鉸鏈(hinge)損失、平均絕對誤差(L1)損失、均方誤差(L2)損失或其等某個組合。
在一些實施例中，總訓練損失函數係：
Figure 110108388-A0305-02-0028-3
 其中L係總訓練損失，J係左目標影像465中之所有像素索引之集，
Figure 110108388-A0305-02-0028-9
係經預測之可見可遍歷空間分割遮罩475之第j個像素之損失值，
Figure 110108388-A0305-02-0028-27
係 經預測之可遍歷空間深度圖之第j個像素之損失值，
Figure 110108388-A0305-02-0028-23
係經預測之可 遍歷空間分割遮罩485之第j個像素之損失值，且
Figure 110108388-A0305-02-0028-10
係經預測之可遍 歷空間深度圖490之第j個像素之損失值。
可遍歷空間估計訓練系統170使用由訓練損失模組185判定之總訓練損失來更新用來判定經預測之模型輸出之可遍歷空間估計模型470之參數。例如，可遍歷空間估計訓練系統170可使用總損失值執行反向傳播以判定可遍歷空間估計模型470之參數之更新值(例如，梯度)。此外，可遍歷空間估計訓練系統170可使用多種技術將參數值應用於模型參數。例如，可遍歷空間估計訓練系統170可使用各種學習率或更新功能來應用更新值。
物件覆蓋區估計模組190判定指示對應於目標影像中之物件覆蓋區之像素之目標影像(例如，左目標影像465)之一物件覆蓋區分割遮罩。作為一實例，物件覆蓋區分割遮罩可為一二元分割遮罩，其中對應於物件覆蓋區之像素具有1值且不對應於物件覆蓋區之像素具有0值。物件覆蓋區分割遮罩可識別一目標影像中之整個物件覆蓋區或可識別物件覆蓋區之部分。例如，物件覆蓋區估計模型190可判定具有對應於一物件覆蓋區之一相對高機率之像素，諸如表示一影像中可見之一物件之一側下方之一物件覆蓋區之一部分之像素。除其他用途外，物件覆蓋區分割遮罩可用來解決由訓練影像合成模組180判定之可遍歷空間分割遮罩或深度圖之不準確性。例如，如上文所描述，由訓練影像合成模組180判定之目標可遍 歷空間分割遮罩455或深度圖460可包含不準確的深度或分割值。因而，分割遮罩455或深度圖460可指示當一像素實際上對應於不可遍歷空間(諸如由一物件覆蓋區疊加之可遍歷空間)時，該像素對應於可遍歷空間。為了使此等不準確性對訓練程序之影響最小化，可遍歷空間估計訓練系統170可調整用來標記左目標影像465之分割遮罩455或深度圖460。例如，若分割遮罩455中之像素對應於被指定為物件覆蓋區分割遮罩中之一物件覆蓋區，則可遍歷空間估計訓練系統170將該等像素指定為不可遍歷，而不管分割遮罩455中之像素最初是否被指定為可遍歷或不可遍歷。
物件覆蓋區估計模組190可使用多種技術判定一目標影像之一物件覆蓋區分割遮罩。在一項實施例中，物件覆蓋區估計模組190將目標可見空間深度圖450之像素自相機空間投影至世界空間。接著，物件覆蓋區估計模組190例如使用一隨機樣本共識(RANSAC)程序將一平面擬合至被目標可見可遍歷空間分割遮罩445指定為可遍歷之經投影點之一第一子集。接著，使被目標可見可遍歷空間分割遮罩445指定為不可遍歷之經投影點之一第二子集沿著該平面之一法線向量移位直至其等與該平面相交為止。最後，物件覆蓋區估計模組190將該平面上之點重新投影回至相機空間中且處理經重新投影點以識別對應於物件覆蓋區之點。
在一些實施例中，訓練損失模組185在判定可遍歷空間估計模型470之一總訓練損失時使用一目標影像之一物件覆蓋區分割遮罩。例如，訓練損失模組185可判定目標可遍歷空間分割遮罩455對總訓練損失之一損失貢獻，該損失貢獻增加在左目標影像465之像素被左目標影像465之一目標覆蓋區分割遮罩指定為對應於一目標覆蓋區的情況下，可遍歷空間估計模型470將預測其等可遍歷之可能性。換言之，總訓練損失可 鼓勵可遍歷空間估計模型預測對應於一物件覆蓋區分割遮罩中之物件覆蓋區之目標影像中之像素係不可遍歷的。另外或替代地，訓練損失模組185可判定一總訓練損失，該總訓練損失考量未被目標可遍歷空間分割遮罩455指定為可遍歷或未被物件覆蓋區分割遮罩指定為對應於一物件覆蓋區之像素(即，「未知像素」)。例如，訓練損失模組185可判定目標可遍歷分割遮罩455對總訓練損失之一貢獻，該貢獻鼓勵在左目標影像465之像素係未知像素的情況下，可遍歷空間估計模型470預測其等不可遍歷。在此等情況下，訓練損失模組185可使用鼓勵可遍歷空間估計模型470預測未知像素不可遍歷之一預定先驗機率值(即，一「先驗值」)判定對未知像素之一損失貢獻。
移動估計模組195估計目標影像(例如，左目標影像465)中之哪些像素表示可見移動物件以便產生目標影像之一移動物件分割遮罩。特定而言，移動物件分割遮罩指示像素是否表示可見移動物件或表示可見靜態物件。作為一實例，移動物件分割遮罩可為一二元分割遮罩，其中表示靜態物件之像素具有1值且表示移動物件之像素具有0值。在一些實施例中，訓練損失模組185使用一目標影像之一移動物件分割遮罩來移除或以其他方式忽略來自對應於經預測之可遍歷空間分割遮罩485之移動物件對總訓練損失之損失貢獻。移動估計模組195可使用各種技術來識別與左目標影像465中之移動物件相關聯之像素，諸如物件偵測、語意分割、影像處理技術或其等某個組合。在一些實施例中，移動估計模組195估計左目標影像465之像素與一相鄰左源影像之對應像素(例如，一視訊中之先前或後續圖框)之間的感應流及光學流。移動估計模組195將其中感應流及光學流相差達一臨限量之像素指定為移動物件。
在一項實施例中，使用具有以下損失函數之物件覆蓋區分割遮罩及移動物件分割遮罩判定針對經預測之可遍歷空間分割遮罩485判定之損失值：
Figure 110108388-A0305-02-0031-21
 其中
Figure 110108388-A0305-02-0031-11
係經預測之可遍歷空間分割遮罩485之第j個像素之損失值， u j 係移動物件分割遮罩之第j個像素，
Figure 110108388-A0305-02-0031-12
係經預測之可遍歷空間分割 遮罩485之第j個像素，S 可遍歷空間 係目標可遍歷空間分割遮罩455，S 物件覆蓋區 係物件覆蓋區分割遮罩，且γ係一先驗值，其中γ<1。
在相同或不同實施例中，以下損失函數用來判定可遍歷空間估計模型470之其他輸出之損失值：
Figure 110108388-A0305-02-0031-22
 其中
Figure 110108388-A0305-02-0031-13
係經預測之可見可遍歷空間分割遮罩475之第j個像素之損失 值，
Figure 110108388-A0305-02-0031-14
係經預測之可遍歷空間深度圖之第j個像素之損失值，
Figure 110108388-A0305-02-0031-19
係經預測之可遍歷空間深度圖490之第j個像素之損失值， binary_cross_entropy係二元交叉熵損失函數，
Figure 110108388-A0305-02-0031-17
係經預測之可見可遍歷 空間分割遮罩475之第j個像素，
Figure 110108388-A0305-02-0031-16
係目標可見可遍歷空間分割遮罩 445之第j個像素，
Figure 110108388-A0305-02-0031-15
係經預測之可見空間深度圖480之第j個像素， d j 可見空間 係目標可見空間深度圖450之第j個像素，
Figure 110108388-A0305-02-0031-18
係經預測之可 遍歷空間深度圖490之第j個像素，且d j 可遍歷空間 係目標可遍歷空間深度圖460之第j個像素。
在訓練一可遍歷空間估計模組之後，可遍歷空間估計訓練系統170可對可遍歷空間估計模組提供參數以接收一彩色輸入影像且基於由可遍歷空間估計訓練系統170訓練之參數產生一或多個輸出(例如，輸出475、480、485或490)。儘管為了方便起見，可遍歷空間估計訓練系統170被展示為遊戲伺服器120之部分，但上文所描述之可遍歷空間估計訓練系統170之一些或所有功能可由其他運算器件來執行且可以各種方式提供至用戶端器件110，包含作為作業系統之部分，包含於一遊戲應用程式中或按需在雲端中存取。此外，儘管圖4描繪用於產生經標記之訓練資料之程序及用於應用將經標記之訓練資料來訓練一可遍歷空間估計模型之程序兩者，但一起描繪此等程序僅出於繪示目的且熟習此項技術者將明白，此等程序中涉及之一些或所有各種步驟可在不同時間或並行地執行。
圖5係描述根據一或多項實施例之訓練一可遍歷空間估計模型之一般程序500之一流程圖。程序500產生複數個參數，在給定一輸入影像之情況下，可遍歷空間估計模型可利用該複數個參數產生可遍歷空間之一分割遮罩及一深度圖。
程序500開始於可遍歷空間估計訓練系統170獲取510包括一目標立體影像對及一或多個源立體影像對之一組合之訓練影像資料。目標立體影像對包含分別表示一場景之左及右目標視圖之一左及右目標影像。一或多個源立體影像對各包含表示不同於左及右目標視圖之場景之左及右源視圖之一左及右源影像。作為一實例案例，場景可包含自左或右目標視圖之一者或兩者遮擋可遍歷空間之一物件。在此情況下，自目標視圖 被遮擋之可遍歷空間可能自該等源視圖之一或多者可見。可自一外部器件上之一相機(例如，用戶端器件110上之相機總成125)接收訓練影像資料。在一項實施例中，網路介面160接收訓練影像資料。可遍歷空間估計訓練系統170可將訓練影像資料儲存於各種資料儲存器中，例如在一立體影像資料儲存器中。
可遍歷空間估計訓練系統170產生520源立體影像對之各者之一源影像(例如，左源影像)之一可見可遍歷空間深度圖。可見可遍歷空間深度圖指示至由源影像之像素表示之可見遍歷表面之一距離。例如，如上文所描述，立體視覺模組175可藉由產生源影像之一源可見空間深度圖及一源可見可遍歷空間分割圖來判定源影像之可見可遍歷空間深度圖。繼續上文參考510所描述之實例案例，來自一源視圖之一源影像之可見可遍歷空間深度圖(其中被遮擋之可遍歷空間係可見的)包含具有一第一深度值之一像素，該第一深度值表示至自源視圖之被遮擋之可遍歷空間之一深度。
使用源影像之可見可遍歷空間深度圖，可遍歷空間估計訓練系統170藉由將可遍歷空間深度圖扭曲至目標立體影像對之一目標影像(例如，左目標影像)上來產生530各源影像之一經扭曲之可遍歷空間深度圖。例如，如上文所描述，訓練影像合成模組180可將可遍歷空間深度圖之各者前向扭曲至目標影像之目標視圖上。繼續上文參考520所描述之實例案例，來自源視圖之源影像之經扭曲之可遍歷空間深度圖(其中被遮擋之可遍歷空間係可見的)包含具有一第二深度值之一像素，該第二深度值表示至自目標視圖被遮擋之可遍歷空間之一深度。
可遍歷空間估計訓練系統170使用經扭曲之可遍歷空間深 度圖之一或多者產生540指示目標影像之像素是否對應於可遍歷空間或不可遍歷空間之一目標分割遮罩。可遍歷空間估計訓練系統170進一步使用經扭曲之可遍歷空間深度圖之一或多者產生550指示至對應於目標影像中之可遍歷空間之像素之一可遍歷表面之一距離之一目標深度圖。例如，如上文所描述，訓練影像合成模組180可使用各種技術來判定目標分割遮罩及目標深度圖以聚合經扭曲之可遍歷空間深度圖。繼續以上參考步驟530描述之實例案例，目標分割遮罩將目標影像中對應於被遮擋之可遍歷空間之一像素指定為使用第二深度值判定之可遍歷空間。此外，目標深度圖包含具有一第三深度值之一像素，該第三深度值表示至自目標視圖被遮擋之可遍歷空間之一深度。例如，第三深度值可為跨經扭曲之可遍歷空間深度圖之相關像素之一平均深度值。
可遍歷空間估計訓練系統170使用目標影像、目標深度圖及目標分割遮罩訓練560一可遍歷空間估計模型。例如，可遍歷空間估計訓練系統170可產生一訓練資料集，該訓練資料集包含用目標深度圖及目標分割遮罩標記之目標影像。在此情況下，可遍歷空間估計訓練系統170訓練可遍歷空間估計模型以輸出訓練資料集中之一給定目標影像之一經預測之可遍歷空間分割遮罩及一經預測之可遍歷空間深度圖。在訓練期間，可遍歷空間估計訓練系統170可比較一目標影像之一經預測之分割遮罩及深度圖與目標分割遮罩及深度圖。例如，可使用一或多個損失函數來比較目標及經預測值，如上文參考訓練損失模組185所描述。基於該比較，可遍歷空間估計訓練系統170更新可遍歷空間估計模型之參數。
在一些實施例中，可遍歷空間估計訓練系統170可判定目標分割遮罩或目標深度圖之僅一者。例如，若可遍歷空間估計訓練系統 170訓練可遍歷空間估計模型以預測一可遍歷空間深度圖或一可遍歷空間分割圖之僅一者。在其他實施例中，可遍歷空間估計訓練系統170判定用於訓練可遍歷空間估計模型之額外目標輸出，諸如一目標可見可遍歷空間分割遮罩或一目標可見空間深度圖，如上文參考圖4所描述。
可遍歷空間估計模型
圖6係描述根據一或多項實施例之使用一可遍歷空間估計模型之一般程序600之一流程圖。程序600在一給定輸入影像之情況下產生一經預測之可遍歷空間分割遮罩及一經預測之可遍歷空間深度圖。程序600可由具有一經訓練之可遍歷空間估計模型之一用戶端器件(例如，用戶端器件110)來完成。用戶端器件可為通用運算器件且亦可具有一相機。在一些實施例中，在上文於圖1至圖3中所描述之平行實境遊戲中實施用戶端器件。儘管以下描述在一用戶端器件之背景內容內，但可在其他運算器件上執行程序600。
程序600包含用戶端器件接收610包含一物件之一場景之一影像。場景之影像可由作為用戶端器件之一組件或在用戶端器件外部之一相機擷取。在平行實境遊戲之背景內容中，場景可為可映射至虛擬世界中之虛擬位置之一真實世界位置。場景之影像亦可具有對應於擷取影像之相機之幾何性質之內參數。影像可為由相機擷取之單一影像。替代地，影像可為來自相機正在擷取之視訊之一圖框。
程序600包含用戶端器件將場景之影像輸入620至一經訓練之可遍歷空間估計模型中。可由可遍歷空間估計系統170例如經由圖5之程序500訓練可遍歷空間估計模型。
程序600包含用戶端器件藉由經訓練之可遍歷空間估計模 型產生630場景之一分割遮罩，其中分割遮罩之各像素具有指示像素是否對應於可遍歷空間或不可遍歷空間之一值。例如，若一像素對應於可遍歷空間，則該像素之值可為1，且否則為0。不可遍歷空間包含場景中之物件之一覆蓋區。可遍歷空間包含被輸入影像中之物件遮擋之可遍歷空間。
程序600包含用戶端器件藉由經訓練之可遍歷空間估計模型產生640對應於場景之影像之場景之一深度圖。深度圖之各像素具有一經估計之深度值，該深度值描述至場景之影像中對應於可遍歷空間之像素之可遍歷表面之一相對距離。例如，深度圖可包含對應於表示可遍歷空間之分割遮罩之各像素之一深度值。深度值可描述至場景中之可見可遍歷表面之一相對距離(例如，在輸入影像中描繪)，或可描述至場景中之一被遮擋之可遍歷表面之一相對距離(例如，被輸入影像中之物件遮擋)。
程序600包含用戶端器件應用650分割遮罩及深度圖來判定被遮擋之可遍歷空間中之一位置。例如，用戶端器件可判定供一代理遊歷通過包含被遮擋之可遍歷空間中之位置之場景之一路徑。在此情況下，代理可為一實體代理(例如，一機器人)或一虛擬代理(AR物件)。作為另一實例，用戶端器件可使用該位置來產生場景之各種虛擬內容。虛擬內容可源自例如儲存於遊戲資料庫115中之平行實境遊戲之內容。虛擬內容可為可擴增至場景之影像上之擴增實境內容。例如，產生一虛擬角色或物件，該虛擬角色或物件可經定位於被遮擋空間中之位置處或可在暸解場景之可遍歷空間及物件覆蓋區之情況下在場景中四處移動。例如，隨著虛擬內容移動至被物件所遮擋之可遍歷空間中，虛擬內容可能變得在場景之一個影像上被遮擋。類似地，隨著虛擬內容自物件後方向外移動至可見可遍歷空間上，虛擬內容可能在場景之另一影像上變得可見。作為一平行實境遊戲場 景之一實例，一虛擬角色可自一樹後方來回閃避，其中當虛擬角色之一部分在樹後方時，彼部分被樹遮擋。
按照以上實例，平行實境遊戲可提供與虛擬角色之互動作為一目標。為了與虛擬角色進行互動，移動器件之一使用者可能需要四處移動其等移動器件，同時將虛擬角色保持於相機之一視野中。隨著使用者四處移動移動器件，移動器件可連續地擷取視訊或影像資料，該視訊或影像資料可用來隨著場景隨使用者移動行動器件變化而反覆地產生場景之可遍歷空間資訊。移動器件可更新顯示器上之視訊饋送，同時亦基於經產生之可遍歷空間資訊更新虛擬角色，使得使用者將虛擬角色感知為始終在場景內適當地互動，例如，不行走穿過物件，不具有在沒有任何物件遮擋部分的情況下被切除之彼等部分等。
實例運算系統
圖7係根據一實施例之一運算器件之一實例架構。雖然圖7描繪繪示根據一實施例之用作本文中所描述之一或多個實體之部分或全部之一電腦之實體組件之一高階方塊圖，但一電腦可具有多於、少於或不同於圖7中所提供之組件之組件。儘管圖7描繪一電腦700，但該圖意欲為電腦系統中可能存在之各種特徵之功能描述，而非本文中所描述之實施方案之一結構示意圖。在實踐中，且如一般技術者所認知，單獨地展示之項目可組合且一些項目可分離。
圖7中繪示耦合至一晶片組704之至少一個處理器702。一記憶體706、一儲存器件708、一鍵盤710、一圖形配接器712、一指向器件714及一網路配接器716亦耦合至晶片組704。一顯示器718經耦合至圖形配接器712。在一項實施例中，晶片組704之功能性係由一記憶體控制 器集線器720及一I/O集線器722提供。在另一實施例中，記憶體706直接耦合至處理器702而非晶片組704。在一些實施例中，電腦700包含用於互連此等組件之一或多個通信匯流排。一或多個通信匯流排視情況包含互連及控制系統組件之間的通信之電路(有時稱為晶片組)。
儲存器件708係任何非暫時性電腦可讀儲存媒體，諸如一硬碟機、光碟唯讀記憶體(CD-ROM)、DVD或一固態記憶體器件或其他光學儲存器、盒式磁帶、磁帶、磁碟儲存器或其他磁性儲存器件、磁碟儲存器件、光碟儲存器件、快閃記憶體器件或其他非揮發性固態儲存器件。此一儲存器件708亦可被稱為持久性記憶體。指向器件714可為一滑鼠、軌跡球或其他類型之指向器件，且與鍵盤710組合使用以將資料輸入至電腦700中。圖形配接器712在顯示器718上顯示影像及其他資訊。網路配接器716將電腦700耦合至一區域或廣域網路。
記憶體706保存由處理器702使用之指令及資料。記憶體706可為非持久性記憶體，其實例包含高速隨機存取記憶體，諸如DRAM、SRAM、DDR RAM、ROM、EEPROM、快閃記憶體。
如此項技術中已知，一電腦700可具有不同於圖7中所展示之組件之組件或除圖7中所展示之組件之外的組件。另外，電腦700可能缺少特定所繪示組件。在一項實施例中，充當一伺服器之一電腦700可能缺少一鍵盤710、指向器件714、圖形配接器712或顯示器718。此外，儲存器件708可在電腦700本端或遠端(諸如體現於一儲存區域網路(SAN)內)。
如此項技術中已知，電腦700經調適以執行用於提供本文中所描述之功能性之電腦程式模組。如本文中所使用，術語「模組」指代 用來提供經指定功能性之電腦程式邏輯。因此，可以硬體、韌體或軟體實施一模組。在一項實施例中，程式模組經儲存於儲存器件708上，經加載至記憶體706中，且由處理器302來執行。
額外考量
以上描述之一些部分依據演算法程序或操作描述實施例。此等演算法描述及表示通常由熟習資料處理技術者用來將其等工作的實質有效地傳達給其他熟習此項技術者。此等操作雖然在功能上、在運算上或在邏輯上進行描述，但應被理解為由包括用於由一處理器或等效電路執行之指令、微程式碼或類似者之電腦程式來實施。此外，在不失一般性之情況下，有時將功能操作之此等配置稱為模組亦被證明係方便的。
如本文中所使用，對「一項實施例」或「一實施例」之任何引用意謂結合該實施例所描述之一特定元件、特徵、結構或特性包含於至少一項實施例中。說明書中各個地方出現之片語「在一項實施例中」不一定皆指代同一實施例。
可使用表達「經耦合」及「經連接」連同其等衍生詞描述一些實施例。應理解，此等術語並非意欲為彼此之同義詞。例如，可使用術語「經連接」描述一些實施例以指示兩個或更多個元件彼此直接實體或電接觸。在另一實例中，可使用術語「經耦合」描述一些實施例以指示兩個或更多個元件直接實體或電接觸。然而，術語「經耦合」亦可意謂兩個或更多個元件不彼此直接接觸，但仍然彼此合作或互動。該等實施例在本背景內容中不受限。
如本文中所使用，術語「包括(comprises、comprising)」、「包含(includes、including)」、「具有(has、having)」或其 等任何其他變動意欲於涵蓋一非排他性包含。例如，包括一元件清單之一程序、方法、物件或裝置不一定僅限於彼等元件，而是可包含未明確列出或此程序、方法、物件或裝置固有之其他元件。此外，除非明確相反地陳述，否則「或」指代一包含性或且非一排他性或。例如，一條件A或B由以下項之任一者滿足：A為真(或存在)及B為假(或不存在)，A為假(或不存在)及B為真(或存在)，且A及B兩者皆為真(或存在)。
另外，「一」或「一個」之使用被採用來描述實施例之元件及組件。如此做僅僅係為了方便起見且給出本發明之一般意義。本描述應被解讀為包含一個或至少一個且單數亦包含複數，除非明顯其另有意指。在值被描述為「近似」或「實質上」(或其等衍生詞)之情況下，除非另一含義自背景內容顯而易見，否則此等值應被解釋為準確之+/-10%。根據實例，「近似十」應被理解為表示「在九至十一之一範圍內」。
在閱讀本發明後，熟習此項技術者將明白用於驗證一線上服務提供者之一帳戶對應於一真實業務之一系統及一程序之又額外替代結構及功能設計。因此，雖然已闡釋及描述特定實施例及應用，但應理解，所描述標的物不限於本文中所揭示之精確構造及組件且可在所揭示方法及裝置之配置、操作及細節上進行對於熟習此項技術者而言將顯而易見之各種修改、改變及變動。保護範疇應僅受發佈之任何請求項限制。
600:一般程序
610:接收
620:輸入
630:產生
640:產生
650:應用

Claims (20)

  1. 一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在由一運算器件執行時致使該運算器件執行以下操作，包括：接收一場景之一影像，該影像包含該場景中之一物件；將該影像輸入至一經訓練模型中，該經訓練模型輸出一分割遮罩及一深度圖，該分割遮罩指示該影像之像素是否對應於可遍歷空間或不可遍歷空間，且該深度圖指示至對應於可遍歷空間之該等像素之一或多個可遍歷表面之一經估計深度，其中該不可遍歷空間包含該物件之一覆蓋區且該可遍歷空間包含被該影像中之該物件遮擋之可遍歷空間；及應用該分割遮罩及該深度圖來判定該被遮擋之可遍歷空間中之一位置。
  2. 如請求項1之電腦可讀儲存媒體，其中自該場景之該影像之一視圖表示該分割遮罩或該深度圖。
  3. 如請求項1之電腦可讀儲存媒體，其中該等操作進一步包括：針對一代理判定穿過該場景之一可遍歷路徑，該可遍歷路徑包含該被遮擋之可遍歷空間中之該位置。
  4. 如請求項1之電腦可讀儲存媒體，其中該經訓練模型進一步輸出一額外分割遮罩及一額外深度圖，該額外分割遮罩指示該等像素是否對應於可見可遍歷空間或可見不可遍歷空間，且該深度圖指示至由該等像素表示之 一或多個可見表面之一經估計深度。
  5. 如請求項1之電腦可讀儲存媒體，其中藉由一程序訓練該模型，該程序包括：獲取包含一訓練場景之一目標立體影像對及一源立體影像對之訓練影像資料，該目標立體影像對包含來自該訓練場景中遮擋該訓練場景中之一可遍歷表面之一額外物件之一目標視圖之一目標影像，該源立體影像對包含來自其中該被遮擋之可遍歷表面可見之一源視圖之一源影像；使用該源立體影像對，產生該立體影像對之該源影像之一可見可遍歷空間深度圖，該可見可遍歷空間深度圖指示該源影像中表示該被遮擋之可遍歷表面之一像素對應於可遍歷空間；藉由將該可見可遍歷空間深度圖投影至該目標視圖上來產生該立體影像對之該源影像之一經扭曲之深度圖；使用該經扭曲之深度圖，產生該目標影像之一目標分割遮罩，該目標分割遮罩指示該目標影像中表示遮擋該可遍歷表面之該額外物件之一部分之一像素對應於可遍歷空間；使用該經扭曲之深度圖，產生該目標影像之一目標可遍歷深度圖，該目標深度圖指示至該被遮擋之可遍歷表面之一深度；及使用該目標影像、該目標分割遮罩及該目標深度圖訓練該模型。
  6. 如請求項5之電腦可讀儲存媒體，其中產生該可見可遍歷空間深度圖包括：使用該源立體影像對，產生一可見可遍歷空間分割圖，該可見可遍 歷空間分割圖指示該源影像之像素是否對應於可見可遍歷空間或可見不可遍歷空間；使用該源立體影像對，產生該源影像之一可見空間深度圖，該可見空間深度圖指示至由該源影像之該等像素表示之一或多個可見表面之一經估計深度；及自該源影像之該可見可遍歷空間分割圖及該可見空間深度圖產生該可見可遍歷空間深度圖。
  7. 如請求項5之電腦可讀儲存媒體，其中該訓練影像資料進一步包含一額外源立體影像對，該額外源立體影像對包含來自其中該被遮擋之可遍歷表面可見之一額外源視圖之一額外源影像，且其中訓練該模型進一步包括：使用該額外源立體影像對，產生該額外立體影像對之該額外源影像之一額外可見可遍歷空間深度圖，該額外可見可遍歷空間深度圖指示該額外源影像中表示該被遮擋之可遍歷表面之一額外像素對應於可遍歷空間；藉由將該額外可見可遍歷空間深度圖投影至該目標視圖上來產生該額外立體影像對之該額外源影像之一額外經扭曲之深度圖；及藉由聚合該經扭曲之深度圖及該額外經扭曲之深度圖來產生該目標影像之該目標分割遮罩及該目標深度圖。
  8. 如請求項5之電腦可讀儲存媒體，其中訓練該模型包括：將該目標影像輸入至該模型中，該模型輸出該目標影像之一經預測之可遍歷空間分割遮罩及一經預測之可遍歷空間深度圖； 藉由比較該經預測之可遍歷空間分割遮罩與該目標分割遮罩來判定一第一訓練損失值；藉由比較該經預測之可遍歷空間深度圖與該目標深度圖來判定一第二訓練損失值；及使用該等第一及第二訓練損失值更新該模型之參數。
  9. 如請求項8之電腦可讀儲存媒體，其進一步包括：產生該目標影像之一物件覆蓋區分割遮罩，該物件覆蓋區分割遮罩指示該目標影像中表示該額外物件之該部分之該像素對應於該額外物件之一覆蓋區；及在判定該第一訓練損失值之前，使用該物件覆蓋區分割遮罩修改該目標分割遮罩，該修改包含指示該目標影像中表示該額外物件之該部分之該像素係不可遍歷的。
  10. 如請求項9之電腦可讀儲存媒體，其中判定該第一訓練損失值包括：回應於該可遍歷空間分割遮罩指示該目標影像中之像素對應於可遍歷空間，判定對該目標影像中之該等像素之該第一訓練損失值之一損失貢獻，該損失貢獻鼓勵該模型預測該目標影像中之該等像素係可遍歷的；及回應於該物件覆蓋區分割遮罩指示該目標影像中之像素對應於該額外物件之該覆蓋區，判定該目標影像中之該等像素對該第一訓練損失值之一損失貢獻，該損失貢獻鼓勵該模型預測該目標影像中之該等像素係不可遍歷的。
  11. 如請求項8之電腦可讀儲存媒體，其中訓練該模型進一步包括：產生該目標影像之一移動物件分割遮罩，該移動物件分割遮罩指示該目標影像中之像素是否表示可見移動物件或可見靜態物件；及回應於該移動物件分割遮罩指示該目標影像中之像素對應於該移動物件分割遮罩中之移動物件，在判定該等第一及第二損失值時忽略該目標影像中之該等像素。
  12. 如請求項5之電腦可讀儲存媒體，其中該訓練影像資料包含立體視訊資料，且該源立體影像對對應於在對應於該目標立體影像對之該立體視訊資料之圖框之前或之後出現之該立體視訊資料之圖框。
  13. 一種電腦實施方法，其包括：接收一場景之一影像，該影像包含該場景中之一物件；將該影像輸入至一經訓練模型中，該經訓練模型輸出一分割遮罩及一深度圖，該分割遮罩指示該影像之像素是否對應於可遍歷空間或不可遍歷空間，且該深度圖指示至對應於可遍歷空間之該等像素之一或多個可遍歷表面之一經估計深度，其中該不可遍歷空間包含該物件之一覆蓋區且該可遍歷空間包含被該影像中之該物件遮擋之可遍歷空間；及應用該分割遮罩及該深度圖來判定該被遮擋之可遍歷空間中之一位置。
  14. 如請求項13之方法，其進一步包括：針對一代理判定穿過該場景之一可遍歷路徑，該可遍歷路徑包含該 被遮擋之可遍歷空間中之該位置。
  15. 如請求項13之方法，其中藉由一程序訓練該模型，該程序包括：獲取包含一訓練場景之一目標立體影像對及一源立體影像對之訓練影像資料，該目標立體影像對包含來自該訓練場景中遮擋該訓練場景中之一可遍歷表面之一額外物件之一目標視圖之一目標影像，該源立體影像對包含來自其中該被遮擋之可遍歷表面可見之一源視圖之一源影像；使用該源立體影像對，產生該立體影像對之該源影像之一可見可遍歷空間深度圖，該可見可遍歷空間深度圖指示該源影像中表示該被遮擋之可遍歷表面之一像素對應於可遍歷空間；藉由將該可見可遍歷空間深度圖投影至該目標視圖上來產生該立體影像對之該源影像之一經扭曲之深度圖；使用該經扭曲之深度圖，產生該目標影像之一目標分割遮罩，該目標分割遮罩指示該目標影像中表示遮擋該可遍歷表面之該額外物件之一部分之一像素對應於可遍歷空間；使用該經扭曲之深度圖，產生該目標影像之一目標可遍歷深度圖，該目標深度圖指示至該被遮擋之可遍歷表面之一深度；及使用該目標影像、該目標分割遮罩及該目標深度圖訓練該模型。
  16. 如請求項15之方法，其中產生該可見可遍歷空間深度圖包括：使用該源立體影像對，產生一可見可遍歷空間分割圖，該可見可遍歷空間分割圖指示該源影像之像素是否對應於可見可遍歷空間或可見不可遍歷空間； 使用該源立體影像對，產生該源影像之一可見空間深度圖，該可見空間深度圖指示至由該源影像之該等像素表示之一或多個可見表面之一經估計深度；及自該源影像之該可見可遍歷空間分割圖及該可見空間深度圖產生該可見可遍歷空間深度圖。
  17. 如請求項15之方法，其中該訓練影像資料進一步包含一額外源立體影像對，該額外源立體影像對包含來自其中該被遮擋之可遍歷表面可見之一額外源視圖之一額外源影像，且其中訓練該模型進一步包括：使用該額外源立體影像對，產生該額外立體影像對之該額外源影像之一額外可見可遍歷空間深度圖，該額外可見可遍歷空間深度圖指示該額外源影像中表示該被遮擋之可遍歷表面之一額外像素對應於可遍歷空間；藉由將該額外可見可遍歷空間深度圖投影至該目標視圖上來產生該額外立體影像對之該額外源影像之一額外經扭曲之深度圖；及藉由聚合該經扭曲之深度圖及該額外經扭曲之深度圖來產生該目標影像之該目標分割遮罩及該目標深度圖。
  18. 如請求項15之方法，其中訓練該模型包括：將該目標影像輸入至該模型中，該模型輸出該目標影像之一經預測之可遍歷空間分割遮罩及一經預測之可遍歷空間深度圖；藉由比較該經預測之可遍歷空間分割遮罩與該目標分割遮罩來判定一第一訓練損失值；藉由比較該經預測之可遍歷空間深度圖與該目標深度圖來判定一第 二訓練損失值；及使用該等第一及第二訓練損失值更新該模型之參數。
  19. 如請求項18之方法，其進一步包括：產生該目標影像之一物件覆蓋區分割遮罩，該物件覆蓋區分割遮罩指示該目標影像中表示該額外物件之該部分之該像素對應於該額外物件之一覆蓋區；及在判定該第一訓練損失值之前，使用該物件覆蓋區分割遮罩修改該目標分割遮罩，該修改包含指示該目標影像中表示該額外物件之該部分之該像素係不可遍歷的。
  20. 一種非暫時性電腦可讀儲存媒體，其儲存：一可遍歷空間估計模型，其藉由一程序來製造，該程序包括：獲取包含一訓練場景之一目標立體影像對及一源立體影像對之訓練影像資料，該目標立體影像對包含來自該訓練場景中遮擋該訓練場景中之一可遍歷表面之一額外物件之一目標視圖之一目標影像，該源立體影像對包含來自其中該被遮擋之可遍歷表面可見之一源視圖之一源影像；使用該源立體影像對，產生該立體影像對之該源影像之一可見可遍歷空間深度圖，該可見可遍歷空間深度圖指示該源影像中表示該被遮擋之可遍歷表面之一像素對應於可遍歷空間；藉由將該可見可遍歷空間深度圖投影至該目標視圖上來產生該立體影像對之該源影像之一經扭曲之深度圖； 使用該經扭曲之深度圖，產生該目標影像之一目標分割遮罩，該目標分割遮罩指示該目標影像中表示遮擋該可遍歷表面之該額外物件之一部分之一像素對應於可遍歷空間；使用該經扭曲之深度圖，產生該目標影像之一目標可遍歷深度圖，該目標深度圖指示至該被遮擋之可遍歷表面之一深度；及使用該目標影像、該目標分割遮罩及該目標深度圖訓練該可遍歷空間估計模型。
TW110108388A 2020-03-10 2021-03-09 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體 TWI797571B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062987849P 2020-03-10 2020-03-10
US62/987,849 2020-03-10
US17/193,878 2021-03-05
US17/193,878 US11741675B2 (en) 2020-03-10 2021-03-05 Determining traversable space from single images

Publications (2)

Publication Number Publication Date
TW202147179A TW202147179A (zh) 2021-12-16
TWI797571B true TWI797571B (zh) 2023-04-01

Family

ID=77665508

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108388A TWI797571B (zh) 2020-03-10 2021-03-09 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體

Country Status (9)

Country Link
US (2) US11741675B2 (zh)
EP (1) EP4118618B1 (zh)
JP (1) JP7763183B2 (zh)
KR (1) KR102540594B1 (zh)
CN (1) CN115485718A (zh)
AU (1) AU2021235397B2 (zh)
CA (1) CA3175003C (zh)
TW (1) TWI797571B (zh)
WO (1) WO2021181267A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4654577A3 (en) * 2019-04-01 2026-01-07 Google LLC Techniques to capture and edit dynamic depth images
FR3106659B1 (fr) * 2020-01-23 2023-07-28 Second Bridge Inc Carte numérique pour la navigation
US11741675B2 (en) * 2020-03-10 2023-08-29 Niantic, Inc. Determining traversable space from single images
US20230260240A1 (en) * 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US12310283B2 (en) * 2021-05-25 2025-05-27 Scythe Robotics, Inc. Method and apparatus for modeling an environment proximate an autonomous system
EP4407974A4 (en) * 2021-09-21 2025-01-08 Sony Group Corporation INFORMATION PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US11636658B1 (en) * 2022-05-04 2023-04-25 Google Llc Dynamic augmented reality overlay display
US20240394839A1 (en) * 2023-05-23 2024-11-28 Disney Enterprises, Inc. Artistically controllable stereo conversion
TWI854919B (zh) * 2023-12-13 2024-09-01 中華電信股份有限公司 虛擬或現實場景之人工智慧內容生成系統、方法及其電腦可讀媒介
CN118334592B (zh) * 2024-06-13 2024-09-10 中铁四局集团有限公司 图像检测方法、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855408B2 (en) * 2011-11-30 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth information of image
CN107407567A (zh) * 2015-03-18 2017-11-28 微软技术许可有限责任公司 增强现实导航
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
US20200054939A1 (en) * 2012-07-31 2020-02-20 Niantic, Inc. Placement of Virtual Elements in a Virtual World Associated with a Location-Based Parallel Reality Game

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
US10977662B2 (en) * 2014-04-28 2021-04-13 RetailNext, Inc. Methods and systems for simulating agent behavior in a virtual environment
US9798943B2 (en) * 2014-06-09 2017-10-24 I.R.I.S. Optical character recognition method
US10602126B2 (en) 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
JP7329298B2 (ja) 2016-10-11 2023-08-18 モービルアイ ビジョン テクノロジーズ リミテッド 検出された障壁に基づく車両のナビゲーション
KR101982298B1 (ko) 2016-11-24 2019-05-24 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
WO2018123641A1 (ja) 2016-12-27 2018-07-05 日立オートモティブシステムズ株式会社 走行可能領域検出装置及び走行支援システム
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10929987B2 (en) * 2017-08-16 2021-02-23 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
US10678256B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
US11448508B2 (en) * 2017-10-13 2022-09-20 Kohl's, Inc. Systems and methods for autonomous generation of maps
KR102506959B1 (ko) * 2018-05-17 2023-03-07 나이앤틱, 인크. 깊이 추정 시스템의 자가 감독 훈련
KR102192899B1 (ko) 2018-08-16 2020-12-18 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
CN109215080B (zh) * 2018-09-25 2020-08-11 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
US11017586B2 (en) * 2019-04-18 2021-05-25 Adobe Inc. 3D motion effect from a 2D image
WO2021097126A1 (en) * 2019-11-12 2021-05-20 Geomagical Labs, Inc. Method and system for scene image modification
US11741675B2 (en) * 2020-03-10 2023-08-29 Niantic, Inc. Determining traversable space from single images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855408B2 (en) * 2011-11-30 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth information of image
US20200054939A1 (en) * 2012-07-31 2020-02-20 Niantic, Inc. Placement of Virtual Elements in a Virtual World Associated with a Location-Based Parallel Reality Game
CN107407567A (zh) * 2015-03-18 2017-11-28 微软技术许可有限责任公司 增强现实导航
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法

Also Published As

Publication number Publication date
EP4118618A4 (en) 2024-04-10
US20230360339A1 (en) 2023-11-09
JP2023517661A (ja) 2023-04-26
US11741675B2 (en) 2023-08-29
TW202147179A (zh) 2021-12-16
AU2021235397B2 (en) 2023-08-31
KR102540594B1 (ko) 2023-06-08
CA3175003C (en) 2023-08-01
US20210287385A1 (en) 2021-09-16
EP4118618B1 (en) 2025-05-07
EP4118618A1 (en) 2023-01-18
CN115485718A (zh) 2022-12-16
KR20220143957A (ko) 2022-10-25
AU2021235397A1 (en) 2022-11-03
WO2021181267A1 (en) 2021-09-16
JP7763183B2 (ja) 2025-10-31
CA3175003A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
CN112805748B (zh) 使用深度提示对深度估计模型的自我监督训练
TWI797571B (zh) 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
TWI837557B (zh) 用於自監督多圖框單眼深度估計模型之電腦實施方法及非暫時性電腦可讀儲存媒體
US12159358B2 (en) High-speed real-time scene reconstruction from input image data
US12073601B2 (en) Determining visual overlap of images by using box embeddings