[go: up one dir, main page]

TWI691209B - 基於增強實境的視頻處理方法、裝置及電子設備 - Google Patents

基於增強實境的視頻處理方法、裝置及電子設備 Download PDF

Info

Publication number
TWI691209B
TWI691209B TW107132054A TW107132054A TWI691209B TW I691209 B TWI691209 B TW I691209B TW 107132054 A TW107132054 A TW 107132054A TW 107132054 A TW107132054 A TW 107132054A TW I691209 B TWI691209 B TW I691209B
Authority
TW
Taiwan
Prior art keywords
video frame
video
target object
picture
background
Prior art date
Application number
TW107132054A
Other languages
English (en)
Other versions
TW201924317A (zh
Inventor
袁飛虎
余龍飛
劉歡
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201924317A publication Critical patent/TW201924317A/zh
Application granted granted Critical
Publication of TWI691209B publication Critical patent/TWI691209B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本說明書提供一種基於增強實境的視頻處理方法、裝置及電子設備，該方案在用戶拍攝真實環境時，可以從拍攝畫面中識別出用戶可能感興趣的目標對象，進而查找該目標對象所對應的視頻檔案。透過將該視頻檔案的背景部分處理為透明後，在用戶所拍攝的視頻畫面上可以合成該視頻檔案，使得用戶所看到的拍攝畫面上還包含有視頻檔案中的非透明的前景部分，從而具有較好的視覺效果和增強實境效果。

Description

基於增強實境的視頻處理方法、裝置及電子設備
本說明書係關於增強實境(Augmented Reality，AR)技術領域，尤其關於基於增強實境的視頻處理方法、裝置及電子設備。
AR是一種在設備攝像模組所拍攝畫面上添加虛擬模型的技術，這種技術可以將真實的環境和虛擬的模型疊加到了同一個畫面而同時存在，從而給與用戶超越現實的感官體驗。
為克服相關技術中存在的問題，本說明書提供了基於增強實境的視頻處理方法、裝置及電子設備。 　　根據本說明書實施例的第一態樣，提供一種基於增強實境的視頻處理方法，所述方法包括： 　　獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象； 　　查找與所述目標對象對應的視頻檔案； 　　針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明； 　　確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　可選的，所述視頻檔案為指定背景顏色的視頻檔案； 　　所述識別出所述視頻幀的前景部分和背景部分，包括： 　　對比所述指定背景顏色的顏色向量以及所述視頻幀的像素點的顏色向量，識別出所述視頻幀的前景部分和背景部分。 　　可選的，針對不帶alpha通道的視頻檔案，所述將所述視頻幀的背景部分處理為透明，包括： 　　根據前景部分對應的像素點和背景部分對應的像素點，為所述視頻幀的像素點配置alpha通道值，使配置alpha通道值後的視頻幀的背景部分為透明。 　　可選的，所述針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明的步驟由圖形處理器執行。 　　可選的，所述方法還包括： 　　獲取與所述目標對象對應的虛擬組件； 　　所述確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，包括： 　　分別確定所述前景部分和所述虛擬組件在當前所拍攝畫面的位置後，將所述處理後的視頻幀和所述虛擬組件與當前所拍攝畫面合成。 　　可選的，所述目標對象包括目標商戶預先提供的商戶相關圖像； 　　所述從所述拍攝畫面中識別出目標對象，包括： 　　將所述拍攝畫面和所述商戶相關圖像進行對比，根據對比結果識別從所述拍攝畫面中識別出所述目標對象。 　　根據本說明書實施例的第二態樣，提供一種基於增強實境的視頻處理裝置，所述裝置包括： 　　識別模組，用於：獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象； 　　查找模組，用於：查找與所述目標對象對應的視頻檔案； 　　處理模組，用於：針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明； 　　合成模組，用於：確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　可選的，所述視頻檔案為指定背景顏色的視頻檔案； 　　所述識別模組，還用於： 　　對比所述指定背景顏色的顏色向量以及所述視頻幀的像素點的顏色向量，識別出所述視頻幀的前景部分和背景部分。 　　可選的，針對不帶alpha通道的視頻檔案，所述處理模組，還用於： 　　根據前景部分對應的像素點和背景部分對應的像素點，為所述視頻幀的像素點配置alpha通道值，使配置alpha通道值後的視頻幀的背景部分為透明。 　　可選的，所述處理模組運行於圖形處理器中。 　　可選的，所述裝置還包括： 　　獲取模組，用於：獲取與所述目標對象對應的虛擬組件； 　　所述合成模組，還用於： 　　分別確定所述前景部分和所述虛擬組件在當前所拍攝畫面的位置後，將所述處理後的視頻幀和所述虛擬組件與當前所拍攝畫面合成。 　　可選的，所述目標對象包括目標商戶預先提供的商戶相關圖像； 　　所述識別模組，還用於： 　　將所述拍攝畫面和所述商戶相關圖像進行對比，根據對比結果識別從所述拍攝畫面中識別出所述目標對象。 　　根據本說明書實施例的第三態樣，提供一種電子設備，包括： 　　處理器； 　　用於儲存處理器可執行指令的記憶體； 　　其中，所述處理器被配置為： 　　獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象； 　　查找與所述目標對象對應的視頻檔案； 　　針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明； 　　確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　本說明書實施例提供的技術方案可以包括以下有益效果： 　　本說明書實施例中提出了一種基於增強實境的視頻處理方案，在用戶拍攝真實環境時，可以從拍攝畫面中識別出用戶感興趣的目標對象，進而查找該目標對象所對應的視頻檔案。透過將該視頻檔案的背景部分處理為透明後，在用戶所拍攝的視頻畫面上可以合成該視頻檔案，使得用戶所看到的拍攝畫面上還包含有視頻檔案中的非透明的前景部分，從而具有較好的視覺效果和增強實境效果。 　　應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本說明書。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些態樣相一致的裝置和方法的例子。 　　在本說明書使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出專案的任何或所有可能組合。 　　應當理解，儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本說明書範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“回應於確定”。 　　增強實境(Augmented Reality，簡稱AR)技術，是一種將真實世界資訊和虛擬世界資訊無縫集成的新技術，該技術可以透過電腦技術，將虛擬的資訊應用到真實世界，真實環境和虛擬物體即時地疊加到了同一個畫面或空間同時存在。 　　如圖1A所示，是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理方法的應用場景圖，圖1A中用戶所持有的智慧手機內置有攝像模組，用戶可以持該智慧手機拍攝真實環境畫面，所拍攝的真實環境畫面中可能具有用戶感興趣的目標對象，該目標對象可能提供有用戶感興趣的視頻。以商場等應用場景為例，商戶可能拍攝有包含其商品的視頻檔案，或者是拍攝有包含該商品代言人的視頻。用戶若拍攝到該商戶的畫面，用戶可能具有查閱商品或商品代言人的需求。 　　基於此，本說明書實施例中提出了一種基於增強實境的視頻處理方案，在用戶拍攝真實環境時，可以從拍攝畫面中識別出用戶可能感興趣的目標對象，進而查找該目標對象所對應的視頻檔案。透過將該視頻檔案的背景部分處理為透明後，在用戶所拍攝的視頻畫面上可以合成該視頻檔案，使得用戶所看到的拍攝畫面上還包含有視頻檔案中的非透明的前景部分，從而具有較好的增強實境效果和視覺效果。接下來對本說明書實施例進行詳細說明。 　　如圖1B所示，圖1B是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理方法的流程圖，可應用於電子設備中，包括以下步驟： 　　在步驟101中，獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象。 　　在步驟102中，查找與所述目標對象對應的視頻檔案。 　　在步驟103中，針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明。 　　在步驟104中，確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　其中，所述設備可以是具有拍攝功能的電子設備，例如可以是智慧手機、平板電腦、個人數位助理、AR眼鏡或AR頭盔等。本說明書實施例方案可以應用在多種場景中，而在不同應用場景下，本說明書實施例的目標對象可以指代多種不同的對象。舉例來說，本說明書實施例的方案可以應用在AR服務商所提供的產品中，目標對象可以由AR服務商預先指定，例如在春節假日，目標對象可以是“福”字圖像，當用戶持有的智慧設備安裝有該AR服務商所提供的產品，用戶持智慧設備拍攝的畫面中識別出“福”字圖像，AR服務商可以提供相應的視頻檔案，例如明星祝福視頻等等，透過對視頻檔案進行背景透明化處理後再與拍攝畫面合成，用戶可以在智慧設備上查閱到明星祝福。 　　在其他例子中，還可以應用於商戶場景，則目標對象可以包括目標商戶預先提供的商戶相關圖像，例如該商戶的商品圖像或者是商戶標識圖像等等。針對商戶的需要，商戶可以提供商品說明視頻、商品宣傳視頻或商品代言人視頻等等視頻檔案，用戶持智慧設備拍攝的畫面中識別出商戶的商品或商戶標識後，透過對視頻檔案進行背景透明化處理後再與拍攝畫面合成，用戶可以在智慧設備上查閱到商品說明、商品宣傳或商品代言人等等。 　　可以理解，以上所描述的應用場景僅僅是示意性的，本說明書所提供的視頻處理方案並不局限於上面已經描述的場景，實際應用中可以根據需要靈活地將本說明書方案應用在多種場景中。 　　其中，設備的攝像模組在拍攝時所產生的資料可以理解為視頻幀序列，這些視頻幀序列會持續產生並提供給設備的顯示模組，由顯示模組以每秒N幀的速度顯示每一幀畫面。其中，在獲取拍攝畫面時，設備可以獲取一幀視頻幀，也可以獲取多幀連續的視頻幀，或者是獲取由多幀視頻幀所構成的視頻檔案。 　　對於獲取的拍攝畫面，可以採用多種識別方法從拍攝畫面中識別出目標對象。舉例來說，可以採用圖像識別演算法，例如基於SIFT(Scale-invariant feature transform)/ SURF(Speed Up Robust Features)特徵的圖像識別演算法、基於Haar(Haar-like features)特徵的圖像識別演算法或基於廣義霍夫變換的圖像識別演算法等等，實際應用中可以根據需要靈活選取圖像識別演算法，本說明書對此不作限定。 　　對於提供有目標對象的相關圖像的情況，如應用於商戶場景，商戶提供有商戶相關圖像，所述從所述拍攝畫面中識別出目標對象，包括： 　　將所述拍攝畫面和所述商戶相關圖像進行對比，根據對比結果識別從所述拍攝畫面中識別出所述目標對象。 　　作為一個例子，對比的過程可以是提取商戶相關圖像的圖像特徵，以及提取拍攝畫面的圖像特徵，透過對比圖像特徵的方式，可以判斷所述拍攝畫面中是否包含商戶相關圖像，進而對比結果從所述拍攝畫面中識別出所述目標對象。 　　可選的，本說明實施例可以預先建立目標對象與視頻檔案的對應關係，在從拍攝畫面中識別出目標對象後，可以根據預先建立的對應關係查找到目標對象所對應的視頻檔案。針對視頻檔案，實際應用中某些視頻檔案的視頻幀自帶有alpha通道(阿爾法通道是一個8位元的灰度通道，該通道用256級灰度來記錄圖像中的透明度資訊，定義透明、不透明和半透明區域，其中白表示不透明，黑表示透明，灰表示半透明)，如MOV格式(QuickTime影片格式，由Apple公司開發的一種音頻或視頻檔案案格式)的視頻檔案或AVI(Audio Video Interleaved，音頻視頻交錯格式)格式的視頻檔案等，此類視頻檔案通常資料量較大。視頻檔案也包括不帶有alpha通道的視頻檔案，如採用H264編碼的mp4格式的視頻檔案。 　　採用視頻檔案的方式，其具有較好的壓縮率，並且資料量較小，可以實現較快速的傳輸。並且，在進行視頻合成時，可以保證視頻檔案中的音頻部分不受合成的影響，在後續播放時視頻幀與音頻播放能夠同步。 　　視頻幀中通常可以區分出前景部分和背景部分。前景是指畫面中位於主體之前以至靠近攝像機鏡頭的主體。背景是指位於主體之後遠離攝像機的目標。本說明書實施例中，前景部分作為需要展示給用戶的部分，需要合成至拍攝畫面中，而背景部分作為不需要展示給用戶的部分，本說明書實施例進行透明化處理，亦即是將原始的視頻檔案處理為背景透明的視頻檔案。 　　在一些例子中，若視頻檔案的拍攝方利用單一背景顏色拍攝出視頻檔案，在進行透明化處理前，可以獲取視頻檔案的拍攝方所指定的背景顏色，透過識別視頻幀中與該指定背景顏色不同顏色的像素點，則可以區分出視頻幀中的前景部分和背景部分。 　　在一個可選的實現方式中，為了實現快速的背景透明化處理，所述視頻檔案為指定背景顏色的視頻檔案；該指定背景顏色可以根據需要而靈活確定，例如綠色或藍色等。 　　透過指定背景顏色的視頻檔案，所述識別出所述視頻幀的前景部分和背景部分，可以包括： 　　對比所述指定背景顏色的顏色向量以及所述視頻幀的像素點的顏色向量，識別出所述視頻幀的前景部分和背景部分。 　　視頻檔案提供方可以根據需要確定該指定背景顏色，拍攝和提供該指定背景顏色的視頻檔案，因此，透過對比視頻幀中各個像素點的顏色向量，以及背景顏色的顏色向量，即可快速地識別出視頻幀的前景部分和背景部分。 　　若拍攝方不是利用單一背景顏色拍攝視頻檔案，還可以採用其他方式區分前景部分和背景部分。例如，可以透過直方圖計算視頻檔案中第一幀圖像的顏色向量而確定背景部分，也可以採用Alpha Matting技術進行前景和背景的區分，之後，再將背景部分進行透明化。 　　對於自帶alpha通道的視頻檔案，可以在區分出前景部分和背景部分後，修改背景部分的alpha通道值，使背景部分透明化。針對不帶alpha通道的視頻檔案，所述將所述視頻幀的背景部分處理為透明，包括： 　　根據前景部分對應的像素點和背景部分對應的像素點，為所述視頻幀的像素點配置alpha通道值，使配置alpha通道值後的視頻幀的背景部分為透明。 　　透過上述方式使每個像素點攜帶alpha通道值，可以快速地對視頻幀的背景部分進行透明化，也不會對視頻檔案原有的音頻部分進行干擾。 　　需要說明的是，上述處理過程可以由服務端預先處理，也可以是設備在即時的渲染過程中將背景部分透明化，以達到去除背景部分的目的。在一個可選的實現方式中，可以採用GPU(Graphics Processing Unit，圖形處理器)來快速的處理視頻幀。其中，GPU能將計算設備所需要的顯示資訊進行轉換驅動，並向顯示幕提供行掃描信號，控制顯示幕的正確顯示，是連接顯示幕和核心處理晶片的重要元件。採用GPU的方式進行處理，可以處理尺寸較大的視頻幀，可以到達即時效果，同時記憶體佔用也相對較低，在AR場景下的渲染可以達到較好的速度。 　　在獲得背景透明化的視頻幀後，可以將背景透明化的視頻幀與拍攝畫面進行合成，從而獲得合成後的視頻幀，該合成後的視頻幀可以渲染在設備上的顯示幕上，用戶因此可以觀看到渲染有視頻的拍攝畫面。可選的，在進行合成前，背景透明化的視頻幀可以進行其他相關處理，在某些例子中，可以根據需要對前景部分旋轉、縮放或拉伸等，在其他例子中，還可以進行三維處理，例如根據所需要呈現的三維效果，確定三維空間平面，將處理後的視頻幀渲染至三維空間平面中，使前景部分實現某些三維效果，例如帶有陰影效果、帶有景深效果等等。 　　在一個可選的實現方式中，為了進一步提高方案的增強實境效果，本說明書實施例還可以在拍攝畫面上增加虛擬組件，其中，該虛擬組件可以是靜態形式，也可以是動態形式，在動態情況下，該虛擬組件的運動狀態可以是設備根據設定的運動規則而變化，也根據從拍攝畫面中識別出的某些目標的變化而調整運動狀態等等多種方式。具體的，虛擬組件的構建可以結合需要而靈活設置，本實施例對比不作限定。在涉及虛擬組件的情況下，本說明實施例方法還可包括： 　　獲取與所述目標對象對應的虛擬組件； 　　所述確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，包括： 　　分別確定所述前景部分和所述虛擬組件在當前所拍攝畫面的位置後，將所述處理後的視頻幀和所述虛擬組件與當前所拍攝畫面合成。 　　由此可見，透過某些虛擬組件，在合成時，虛擬組件可以渲染在合成的視頻幀上，從而提高增強實境效果。 　　接下來再透過一實施例詳細說明本說明書所提供的基於增強實境的視頻處理方案。如圖2所述，是本說明根據一示例性實施例示出的一種基於增強實境的視頻處理示意圖。本實施例中以應用於商戶場景為例進行說明，AR服務商可以向用戶提供具有AR功能的APP(application，應用程式)，用戶可安裝於電子設備中。 　　商戶方可以向AR服務商提供其拍攝的視頻檔案，該視頻檔案涉及商戶方的商品及品牌。本說明實施例採用視頻檔案，在傳輸時可以有較高的壓縮率，所需要的流量較小，並且在應用於AR場景時能保證即時渲染的過程中音視頻同步。該視頻檔案可以是不帶有alpha通道值的視頻檔案，此類視頻檔案易於拍攝，且資料量較小、傳送速率較快。進一步的，為了更為快速地實現視頻處理，AR服務商可以指定背景顏色，由商戶方提供該指定背景顏色的視頻檔案，亦即是視頻檔案的背景部分是單一顏色。另一方面，商戶方還可以向AR服務商提供商戶相關圖像，以用於APP獲取到用戶所拍攝畫面時，從畫面中識別出商戶方。 　　AR服務商可以獲取各個商戶方所提供的視頻檔案和商戶相關圖像，並建立三者的對應關係。 　　圖2中用戶所持有的智慧設備內置有攝像模組，用戶可以持該智慧手機拍攝真實環境畫面。該智慧設備安裝有AR服務商提供所提供的APP，並可以執行如下方案： 識別商戶： 　　透過設備所拍攝畫面，通過將拍攝畫面與各個商戶視頻通過的商戶相關圖像進行對比，識別出拍攝畫面包含有哪個商戶所提供的商戶相關圖像。 讀取視頻檔案及配置： 　　根據所識別出的商戶，查找對應的視頻檔案，並獲取該視頻檔案的背景顏色。 讀取視頻幀： 　　讀取視頻檔案，將視頻檔案解碼為視頻幀，視頻幀可以是RGB格式的資料，並傳給GPU。 　　使用GPU計算完整的alpha通道： 　　i. 針對每一視頻幀，對視頻幀中每個像素轉成YCrCb(YUV顏色編碼)格式，計算出每個像素點的顏色向量：
Figure 02_image001
ii. 用同樣的方法計算出來該指定背景顏色的顏色向量 　　iii. 計算每個像素點的顏色向量與指定背景顏色的顏色向量的距離 　　iv. 先採用Clamping(一種將數值限制在一個區間的演算法，超出邊界時採用邊界值)限定距離值到區間中，再對結果採用Hermite(一種平滑的插值演算法)插值，將插值結果作為每個像素點的alpha值。 合成處理： 　　在配置有alpha值後，視頻幀的背景部分即被透明化，而前景部分保持不變。此時獲得的視頻幀可以理解為帶alpha通道的透明紋理。根據需要，視頻檔案還可以進行其他相關處理，在某些例子中，可以根據需要對前景部分旋轉、縮放或拉伸等，在其他例子中，還可以進行三維處理，例如根據所需要呈現的三維效果，確定三維空間平面，將處理後的視頻幀渲染至三維空間平面中，使前景部分實現某些三維效果，例如帶有陰影效果、帶有景深效果等等。 　　最後，將攝像模組拍攝畫面與透明化處理後的視頻幀進行alpha合成，從而達到視頻檔案中的前景部分與攝像模組所拍攝的真實環境畫面融合的目的，可選的，商戶方還可以提供虛擬組件需求，AR服務商可以配置某些虛擬組件，在合成時，就虛擬組件渲染在合成的視頻幀上，從而提高增強實境效果。 　　與前述基於增強實境的視頻處理方法的實施例相對應，本說明書還提供了基於增強實境的視頻處理裝置及其所應用的電子設備的實施例。 　　本說明書基於增強實境的視頻處理裝置的實施例可以應用在電子設備上。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在基於增強實境的視頻處理的處理器將非易失性記憶體中對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言，如圖3所示，為本說明書基於增強實境的視頻處理裝置所在電子設備的一種硬體結構圖，除了圖3所示的處理器310、記憶體330、網路介面320、以及非易失性記憶體340之外，實施例中裝置331所在的電子設備，通常根據該電子設備的實際功能，還可以包括其他硬體，對此不再贅述。 　　如圖4所示，圖4是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理裝置的框圖，所述裝置包括： 　　識別模組41，用於：獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象； 　　查找模組42，用於：查找與所述目標對象對應的視頻檔案； 　　處理模組43，用於：針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明； 　　合成模組44，用於：確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　可選的，所述視頻檔案為指定背景顏色的視頻檔案； 　　所述識別模組，還用於： 　　對比所述指定背景顏色的顏色向量以及所述視頻幀的像素點的顏色向量，識別出所述視頻幀的前景部分和背景部分。 　　可選的，針對不帶alpha通道的視頻檔案，所述處理模組，還用於： 　　根據前景部分對應的像素點和背景部分對應的像素點，為所述視頻幀的像素點配置alpha通道值，使配置alpha通道值後的視頻幀的背景部分為透明。 　　可選的，所述處理模組運行於圖形處理器中。 　　可選的，所述裝置還包括： 　　獲取模組，用於：獲取與所述目標對象對應的虛擬組件； 　　所述合成模組，還用於： 　　分別確定所述前景部分和所述虛擬組件在當前所拍攝畫面的位置後，將所述處理後的視頻幀和所述虛擬組件與當前所拍攝畫面合成。 　　可選的，所述目標對象包括目標商戶預先提供的商戶相關圖像； 　　所述識別模組，還用於： 　　將所述拍攝畫面和所述商戶相關圖像進行對比，根據對比結果識別從所述拍攝畫面中識別出所述目標對象。 　　相應地，本說明實施例還提供一種電子設備，包括： 　　處理器； 　　用於儲存處理器可執行指令的記憶體； 　　其中，所述處理器被配置為： 　　獲取設備所拍攝畫面，從所述拍攝畫面中識別出目標對象； 　　查找與所述目標對象對應的視頻檔案； 　　針對所述視頻檔案的視頻幀，識別出所述視頻幀的前景部分和背景部分，並將所述視頻幀的背景部分處理為透明； 　　確定所述前景部分在當前所拍攝畫面的位置後，將所述處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。 　　上述裝置中各個模組的功能和作用的實現過程具體詳見上述方法中對應步驟的實現過程，在此不再贅述。 　　對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理模組，即可以位於一個地方，或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。 　　上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多工處理和並行處理也是可以的或者可能是有利的。 　　本領域技術人員在考慮說明書及實踐這裡說明書的發明後，將容易想到本說明書的其它實施方案。本說明書旨在涵蓋本說明書的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未說明書的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本說明書的真正範圍和精神由下面的申請專利範圍指出。 　　應當理解的是，本說明書並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的申請專利範圍來限制。 　　以上所述僅為本說明書的較佳實施例而已，並不用以限制本說明書，凡在本說明書的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書保護的範圍之內。
310‧‧‧處理器320‧‧‧網路介面330‧‧‧記憶體331‧‧‧基於增強實境的視頻處理裝置340‧‧‧非易失性記憶體41‧‧‧識別模組42‧‧‧查找模組43‧‧‧處理模組44‧‧‧合成模組
此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本說明書的實施例，並與說明書一起用於解釋本說明書的原理。 　　圖1A是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理方法的應用場景圖。 　　圖1B是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理方法的流程圖。 　　圖2是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理示意圖。 　　圖3是本說明書實施例基於增強實境的視頻處理裝置所在電子設備的一種硬體結構圖。 　　圖4是本說明書根據一示例性實施例示出的一種基於增強實境的視頻處理裝置的框圖。

Claims (9)

  1. 一種基於增強實境的視頻處理方法，該方法包括：獲取設備所拍攝畫面，從該拍攝畫面中識別出目標對象；查找與該目標對象對應的視頻檔案；針對該視頻檔案的視頻幀，識別出該視頻幀的前景部分和背景部分，並將該視頻幀的背景部分進行透明化處理；其中，針對不帶alpha通道的視頻檔案，該透明化處理由電子設備的圖形處理器執行，該圖形處理器用於為該視頻幀中的像素點配置alpha通道值，使該視頻幀中背景部分的像素點配置有表徵透明的alpha通道值；確定該前景部分在當前所拍攝畫面的位置後，將該處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。
  2. 根據請求項1所述的方法，該視頻檔案為指定背景顏色的視頻檔案；所述識別出該視頻幀的前景部分和背景部分，包括：對比該指定背景顏色的顏色向量以及該視頻幀的像素點的顏色向量，識別出該視頻幀的前景部分和背景部分。
  3. 根據請求項1所述的方法，該方法還包括：獲取與該目標對象對應的虛擬組件； 所述確定該前景部分在當前所拍攝畫面的位置後，將該處理後的視頻幀與當前所拍攝畫面合成，包括：分別確定該前景部分和該虛擬組件在當前所拍攝畫面的位置後，將該處理後的視頻幀和該虛擬組件與當前所拍攝畫面合成。
  4. 根據請求項1所述的方法，該目標對象包括目標商戶預先提供的商戶相關圖像；所述從該拍攝畫面中識別出目標對象，包括：將該拍攝畫面和該商戶相關圖像進行對比，根據對比結果識別從該拍攝畫面中識別出該目標對象。
  5. 一種基於增強實境的視頻處理裝置，該裝置包括：識別模組，用於：獲取設備所拍攝畫面，從該拍攝畫面中識別出目標對象；查找模組，用於：查找與該目標對象對應的視頻檔案；處理模組，用於：針對該視頻檔案的視頻幀，識別出該視頻幀的前景部分和背景部分，並將該視頻幀的背景部分進行透明化處理；其中，針對不帶alpha通道的視頻檔案，該透明化處理由電子設備的圖形處理器執行，該圖形處理器用於為該視頻幀中的像素點配置alpha通道值，使該視頻幀中背景部分的像素點配置有表徵透明的alpha通道值； 合成模組，用於：確定該前景部分在當前所拍攝畫面的位置後，將該處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。
  6. 根據請求項5所述的裝置，該視頻檔案為指定背景顏色的視頻檔案；該識別模組，還用於：對比該指定背景顏色的顏色向量以及該視頻幀的像素點的顏色向量，識別出該視頻幀的前景部分和背景部分。
  7. 根據請求項5所述的裝置，該裝置還包括：獲取模組，用於：獲取與該目標對象對應的虛擬組件；該合成模組，還用於：分別確定該前景部分和該虛擬組件在當前所拍攝畫面的位置後，將該處理後的視頻幀和該虛擬組件與當前所拍攝畫面合成。
  8. 根據請求項5所述的裝置，該目標對象包括目標商戶預先提供的商戶相關圖像；該識別模組，還用於：將該拍攝畫面和該商戶相關圖像進行對比，根據對比結果識別從該拍攝畫面中識別出該目標對象。
  9. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，該處理器被配置為：獲取設備所拍攝畫面，從該拍攝畫面中識別出目標對象；查找與該目標對象對應的視頻檔案；針對該視頻檔案的視頻幀，識別出該視頻幀的前景部分和背景部分，並將該視頻幀的背景部分進行透明化處理；其中，該處理器包括圖形處理器，針對不帶alpha通道的視頻檔案，該圖形處理器被配置為執行該透明化處理，包括：為該視頻幀中的像素點配置alpha通道值，使該視頻幀中背景部分的像素點配置有表徵透明的alpha通道值；確定該前景部分在當前所拍攝畫面的位置後，將該處理後的視頻幀與當前所拍攝畫面合成，獲得合成後的視頻幀。
TW107132054A 2017-11-15 2018-09-12 基於增強實境的視頻處理方法、裝置及電子設備 TWI691209B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711129714.2 2017-11-15
CN201711129714.2A CN107920202B (zh) 2017-11-15 2017-11-15 基于增强现实的视频处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
TW201924317A TW201924317A (zh) 2019-06-16
TWI691209B true TWI691209B (zh) 2020-04-11

Family

ID=61896352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132054A TWI691209B (zh) 2017-11-15 2018-09-12 基於增強實境的視頻處理方法、裝置及電子設備

Country Status (6)

Country Link
US (1) US11039088B2 (zh)
EP (1) EP3681144B1 (zh)
CN (1) CN107920202B (zh)
SG (1) SG11202004036SA (zh)
TW (1) TWI691209B (zh)
WO (1) WO2019095830A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920202B (zh) 2017-11-15 2020-02-21 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备
CN110139170B (zh) * 2019-04-08 2022-03-29 顺丰科技有限公司 视频贺卡生成方法、装置、系统、设备及存储介质
CN110856033B (zh) * 2019-12-05 2021-12-10 米哈游科技（上海）有限公司 一种对象显示方法、装置、终端及存储介质
CN112037227B (zh) 2020-09-09 2024-02-20 脸萌有限公司 视频拍摄方法、装置、设备及存储介质
CN112055247B (zh) * 2020-09-11 2022-07-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112055246B (zh) * 2020-09-11 2022-09-30 北京爱奇艺科技有限公司 一种视频处理方法、装置、系统及存储介质
CN115086686A (zh) * 2021-03-11 2022-09-20 北京有竹居网络技术有限公司 视频处理方法及相关装置
CN114529624B (zh) * 2022-02-17 2025-07-25 浙江核新同花顺网络信息股份有限公司 一种图像色彩匹配方法、系统及图像生成方法和系统
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559713A (zh) * 2013-11-10 2014-02-05 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
JP2014211879A (ja) * 2014-05-21 2014-11-13 株式会社バンダイ 携帯端末装置、端末プログラム、拡張現実感システム、および玩具
CN106204426A (zh) * 2016-06-30 2016-12-07 广州华多网络科技有限公司 一种视频图像处理方法和装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子（中国）研发中心 一种前景区域确定方法和装置
CN106664376A (zh) * 2014-06-10 2017-05-10 2Mee 有限公司 增强现实设备和方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384912A (en) 1987-10-30 1995-01-24 New Microtime Inc. Real time video image processing system
US5469536A (en) 1992-02-25 1995-11-21 Imageware Software, Inc. Image editing system including masking capability
US5335293A (en) * 1992-06-16 1994-08-02 Key Technology, Inc. Product inspection method and apparatus
US6020931A (en) 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6215505B1 (en) 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
AU1115001A (en) 1999-10-22 2001-05-08 Activesky, Inc. An object oriented video system
US6667774B2 (en) 2001-11-02 2003-12-23 Imatte, Inc. Method and apparatus for the automatic generation of subject to background transition area boundary lines and subject shadow retention
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6906719B2 (en) * 2002-10-12 2005-06-14 International Business Machines Corporation System and method for content-based querying using video compression format
CA2622744C (en) 2005-09-16 2014-09-16 Flixor, Inc. Personalizing a video
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8294823B2 (en) * 2006-08-04 2012-10-23 Apple Inc. Video communication systems and methods
US8315466B2 (en) 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
RU2460233C2 (ru) 2007-12-17 2012-08-27 Инклуду Холдинг Ас Система вставки видео в режиме реального времени
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
GB0809631D0 (en) 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
KR101160224B1 (ko) * 2010-04-26 2012-06-26 팬터로그인터액티브 주식회사 증강 현실 제공 장치 및 방법
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
US8823807B2 (en) * 2011-12-09 2014-09-02 Robert Schinker Methods and apparatus for enhanced reality messaging
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
WO2014063724A1 (en) * 2012-10-22 2014-05-01 Longsand Limited Collaborative augmented reality
WO2014107681A1 (en) * 2013-01-04 2014-07-10 Awyse, Inc. System and method for providing augmented reality on mobile devices
WO2014182508A1 (en) * 2013-05-06 2014-11-13 Yoostar Entertainment Group, Inc. Audio-video compositing and effects
US20150178930A1 (en) 2013-12-20 2015-06-25 Qualcomm Incorporated Systems, methods, and apparatus for generating metadata relating to spatial regions of non-uniform size
CN104574311B (zh) 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
CN105184838A (zh) 2015-09-21 2015-12-23 深圳市金立通信设备有限公司 一种图片处理方法及终端
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置
TWI616843B (zh) 2016-09-12 2018-03-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
CN107920202B (zh) * 2017-11-15 2020-02-21 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559713A (zh) * 2013-11-10 2014-02-05 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
JP2014211879A (ja) * 2014-05-21 2014-11-13 株式会社バンダイ 携帯端末装置、端末プログラム、拡張現実感システム、および玩具
CN106664376A (zh) * 2014-06-10 2017-05-10 2Mee 有限公司 增强现实设备和方法
CN106204426A (zh) * 2016-06-30 2016-12-07 广州华多网络科技有限公司 一种视频图像处理方法和装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子（中国）研发中心 一种前景区域确定方法和装置

Also Published As

Publication number Publication date
EP3681144A1 (en) 2020-07-15
CN107920202B (zh) 2020-02-21
US11039088B2 (en) 2021-06-15
SG11202004036SA (en) 2020-05-28
TW201924317A (zh) 2019-06-16
CN107920202A (zh) 2018-04-17
EP3681144A4 (en) 2020-08-19
EP3681144B1 (en) 2022-02-16
US20200213532A1 (en) 2020-07-02
WO2019095830A1 (zh) 2019-05-23

Similar Documents

Publication Publication Date Title
TWI691209B (zh) 基於增強實境的視頻處理方法、裝置及電子設備
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN111225150A (zh) 插帧处理方法及相关产品
US9426385B2 (en) Image processing based on scene recognition
CN110177216B (zh) 图像处理方法、装置、移动终端以及存储介质
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
US11812154B2 (en) Method, apparatus and system for video processing
EP3776480A1 (en) Method and apparatus for generating augmented reality images
US20240394893A1 (en) Segmentation with monocular depth estimation
US20220207848A1 (en) Method and apparatus for generating three dimensional images
TWI578782B (zh) 基於場景辨識的影像處理
CN110266955A (zh) 图像处理方法、装置、电子设备以及存储介质
Guo et al. Low-light color imaging via cross-camera synthesis
CN117097983A (zh) 图像处理方法及装置
HK1253984A1 (zh) 基於增强现实的视频处理方法、装置及电子设备
CN113012015A (zh) 水印添加方法、装置、设备及存储介质
HK1253984B (zh) 基於增强现实的视频处理方法、装置及电子设备
KR102239877B1 (ko) 3차원 vr 콘텐츠 제작 시스템
WO2024263352A1 (en) Computer system for preprocessing video stream at requested video data rate parameter
True et al. GPU-based realtime system for cinematic virtual reality production

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees