[go: up one dir, main page]

TWI701941B - 圖像處理方法及裝置、電子設備及儲存介質 - Google Patents

圖像處理方法及裝置、電子設備及儲存介質 Download PDF

Info

Publication number
TWI701941B
TWI701941B TW108143268A TW108143268A TWI701941B TW I701941 B TWI701941 B TW I701941B TW 108143268 A TW108143268 A TW 108143268A TW 108143268 A TW108143268 A TW 108143268A TW I701941 B TWI701941 B TW I701941B
Authority
TW
Taiwan
Prior art keywords
coordinates
image
coordinate system
coordinate
virtual
Prior art date
Application number
TW108143268A
Other languages
English (en)
Other versions
TW202025719A (zh
Inventor
鄭聰瑤
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202025719A publication Critical patent/TW202025719A/zh
Application granted granted Critical
Publication of TWI701941B publication Critical patent/TWI701941B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本申請實施例提供一種圖像處理方法及裝置、電子設備及儲存介質。所述方法包括：獲取目標對象的2D圖像；根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所述第一關鍵點為所述目標對象的第一局部在所述2D圖像中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；將所述相對座標投影到虛擬三維空間內並獲得與所述相對座標對應的3D座標，其中，所述3D座標用於控制受控設備上目標對象座標變換。

Description

圖像處理方法及裝置、電子設備及儲存 介質
本申請關於資訊技術領域，尤其關於一種圖像處理方法及裝置、電子設備及儲存介質。
隨著資訊技術的發展，出現了3D視頻和3D體感遊戲等基於所述3D座標的交互。3D座標相對於2D座標多了一個方向的座標值，如此，3D座標比2D座標能夠具有多一個維度的交互。
例如，採集用戶在3D空間內的移動，並轉換為對遊戲角色在前後、左右、上下等三個相互垂直方向上的控制。若採用2D座標來控制，使用者可能需要輸入至少兩個操作，如此，簡化了用戶控制，提升了用戶體驗。
通常這種基於所述3D座標的交互，需要相應的3D設備，例如，使用者需要佩戴檢測其在三維空間內運動的3D體感設備(可穿戴設備)；或者，需要利用3D攝影頭來採集用戶在3D空間內的移動。不管是通過3D體感設備還 是3D攝影頭來確定用戶在3D空間內的移動，硬體成本相對較高。
有鑑於此，本申請實施例期望提供一種圖像處理方法及裝置、電子設備及儲存介質。
本申請的技術方案是如下這樣實現的。
一種圖像處理方法，包括：
獲取目標對象的2D圖像；
根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所述第一關鍵點為所述目標對象的第一局部在所述2D圖像中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；
基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；
將所述相對座標投影到虛擬三維空間內並獲得與所述相對座標對應的3D座標，其中，所述3D座標用於控制上目標對象座標變換。
一種圖像處理裝置，包括：
第一獲取模組，配置為獲取目標對象的2D圖像；
第二獲取模組，配置為根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所 述第一關鍵點為所述目標對象的第一局部在所述2D圖像中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；
第一確定模組，配置為基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；
投影模組，配置為將所述相對座標投影到虛擬三維空間內並獲得與所述相對座標對應的3D座標，其中，所述3D座標用於控制受控設備上目標對象座標變換。
一種電子設備，包括：
記憶體；
處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現前述任意技術方案提供的圖像處理方法。
一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被處理器執行後，能夠實現前述任意技術方案提供的圖像處理方法。
一種電腦程式，所述電腦程式被處理器執行後，能夠實現前述任意技術方案提供的圖像處理方法。
本申請實施例提供的技術方案，直接利用2D圖像中目標對象的第一局部的第一關鍵點和第二局部的第二關鍵點之間的相對座標，轉換到虛擬三維空間內，從而得到相對座標所對應的3D座標；利用這種3D座標與受控設備進 行交互；而不用3D人體感應設備來採集3D座標，簡化了基於3D座標進行交互的硬體結構，節省了硬體成本。
110‧‧‧第一獲取模組
120‧‧‧第二獲取模組
130‧‧‧第一確定模組
140‧‧‧投影模組
圖1為本申請實施例提供的第一種圖像處理方法的流程示意圖；
圖2為本申請實施例提供的一種視錐的示意圖；
圖3為本申請實施例提供的一種相對座標的確定流程示意圖；
圖4為本申請實施例提供的第二種圖像處理方法的流程示意圖；
圖5A為本申請實施例提供的一種顯示效果示意圖；
圖5B為本申請實施例提供的另一種顯示效果示意圖；
圖6為本申請實施例提供的一種圖像處理裝置的方塊圖；
圖7為本申請實施例提供的一種電子設備的結構示意圖。
以下結合說明書附圖及具體實施例對本申請的技術方案做進一步的詳細闡述。
如圖1所示，本實施例提供一種圖像處理方法，包括：
步驟S110：獲取目標對象的2D圖像；
步驟S120：根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所述第一關鍵點為所述目標對象的第一局部在所述2D圖像中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；
步驟S130：基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；
步驟S140：將所述相對座標投影到虛擬三維空間內並獲得與所述相對座標對應的3D座標；其中，所述3D座標用於控制受控設備執行預定操作。此處的預定操作包括但不限於受控設備上目標對象的座標變換。
在本實施例中，獲取的目標對象的2D(two-dimensional)圖像，此處的2D圖像可以用任意一個2D攝影頭採集的圖像。例如，利用普通RGB的攝影頭採集的RGB圖像，或者，YUV圖像；再例如，所述2D圖像還可為BGRA格式的2D圖像。在本實施例中，可以利用位於受控設備上的單目攝影頭就可以完成所述2D圖像的採集。或者，該單目攝影頭還可以是與所述受控設備連接的攝影頭。該攝影頭的採集區域和所述受控設備的觀看區域至少部分重疊。例如，所述受控設備為智慧電視等遊戲裝置，遊戲裝置包括顯示幕，能夠觀看到所述顯示幕的區域為所述觀看區 域，而所述採集區域為攝影頭能夠採集到的區域。較佳者，所述攝影頭的採集區域與所述觀看區域重疊。
在本實施例中，所述步驟S110獲取2D圖像可包括：利用二維(2D)攝影頭採集2D圖像，或者，從採集設備接收2D圖像。
所述目標對象可為：人體的手部和軀幹部分。所述2D圖像可為包含有人體的手部和軀幹部分的成像。例如，所述第一局部為所述人體的手部，所述第二局部為所述軀幹部分。再例如，所述第一局部可為眼睛的眼珠，所述第二局部可為整個眼睛。再例如，所述第一局部可為人體的腳部，第二局部可為人體的軀幹。
在一些實施例中，在所述2D圖像中所述第一局部的成像面積小於所述第二局部在所述2D圖像中的成像面積。
在本實施例中，所述第一2D座標和第二2D座標均可為在第一2D座標系中的座標值。例如，所述第一2D座標系可為所述2D圖像所在平面構成的2D座標系。
在步驟S130中，結合第一2D座標和第二2D座標確定出表徵第一關鍵點與第二關鍵點之間相對位置的相對座標。然後將該相對座標投影到虛擬三維空間內。該虛擬三維空間可為預設的三維空間，得到該相對座標在虛擬三維空間內的3D座標。該3D座標可以用於與顯示介面相關的基於所述3D座標的交互。
所述虛擬三維空間可為各種類型的虛擬三維空間，該虛擬三維空間的座標範圍可以從負無窮大一直到正無窮大。在該虛擬三維空間內可以設置有虛擬攝影機。圖2所示為一種虛擬攝影機的視角所對應的視錐。該虛擬攝影機在本實施例中可為所述2D圖像的物理攝影機在虛擬三維空間內的映射。所述視錐可包括：近夾面、頂面、右面及在圖2中未標注的左面等。在本實施例中，所述虛擬三維空間的虛擬視點可位於所述近夾面上，例如，所述虛擬視點位於所述近夾面的中心點。根據如圖2所示的視錐，可以將第一關鍵點相對於第二關鍵點的相對座標(2D座標)轉換到虛擬三維空間內得到所述第一關鍵點在三維空間內相對於第二關鍵點的3D(three-dimensional)座標。
所述近夾面又可以稱之為：近剪裁平面；為虛擬三維空間中靠近虛擬視點的一個平面，包含所述虛擬視點的起始平面。在所述虛擬三維空間中從所述近夾面逐步向遠方延伸。
所述基於所述3D座標的交互為：根據目標對象兩個時刻在虛擬三維空間內的座標變換進行操作控制。例如，以遊戲角色的控制為例，所述基於所述3D座標的交互包括：
基於所述第一關鍵點在前後兩個時刻在虛擬三維空間內三個座標軸上的變化量或變化率，控制遊戲角色在對應的三個座標軸上的參數。例如，以遊戲角色的移動控制為例，遊戲角色在三維空間內移動，可以前後移動、左右移動及上 下跳動。用戶的手部相對於軀幹的相對座標轉換到三維空間內之後，根據兩個時刻相對座標轉換到虛擬三維空間內的座標變換量或變化率，分別控制遊戲角色前後移動、左右移動及上下跳動。具體如，將相對座標投影到虛擬三維空間內的x軸上的座標，用於控制遊戲角色前後移動，將相對座標投影到虛擬三維空間內y軸上的座標，用於控制遊戲角色的左右移動，將相對座標投影到虛擬三維空間內的z軸上的座標，用於控制遊戲角色上下跳動的高度。
在一些實施例中，顯示介面內的顯示圖像至少可以分為：背景圖層及前景圖層，可以根據當前3D座標在虛擬三維空間上z軸座標位置，確定出該3D座標是控制背景圖層上的圖形元素變換或執行對應的回應操作，還是控制前景圖層上的圖形元素變換或執行對應的回應操作。
在另一些實施例中，顯示介面內的顯示圖像還可以分為：背景圖層、前景圖層位於背景圖層和前景圖層之間的一個或多個中間圖層。同樣地，根據當前得到的3D座標中z軸的座標值，確定3D座標所作用的圖層；再結合3D座標在x軸和y軸的座標值，確定3D座標所作用的是該圖層中的哪一個圖形元素，從而進一步控制被3D座標所作用的圖形元素的變換或執行對應的回應操作。
當然以上，僅是對根據3D座標進行基於所述3D座標的交互的舉例，具體的實現方式有很多種，不局限於上述任意一種。
所述虛擬三維空間可為預先定義的一個三維空間。具體如，根據所述採集2D圖像的採集參數，預先定義了虛擬三維空間。所述虛擬三維空間可包括：虛擬成像平面及虛擬視點構成。所述虛擬視點與所述虛擬成像平面之間的垂直距離可根據所述採集參數中的焦距來確定。在一些實施例中，所述虛擬成像平面的尺寸可根據受控設備的控制平面的尺寸來確定。例如，所述虛擬成像平面的尺寸與所述受控設備的控制平面的尺寸正相關。該控制平面可等於接收基於所述3D座標的交互的顯示介面的尺寸。
如此，在本實施例中，通過相對座標投影到虛擬三維空間內，就可以模擬獲得了基於深度攝影頭或者3D體感設備得到3D座標進行基於所述3D座標的交互的控制效果，直接沿用2D攝影頭即可，由於通常2D攝影頭的硬體成本比3D體感設備或3D攝影頭低，直接沿用2D攝影頭顯然降低了基於所述3D座標的交互的成本，且實現了基於3D座標的交互。故在一些實施例中，所述方法還包括：基於所述3D座標與受控設備進行交互，該交互可包括：使用者與受控設備之間的交互。所述3D座標可視作用戶輸入從而使得控制受控設備執行特定的操作，實現使用者與受控設備之間的交互。
故在一些實施例中，所述方法還包括：基於所述第一關鍵點在前後兩個時刻在虛擬三維空間內三個座標軸上的變化量或變化率，控制受控設備上目標對象的座標變換。
在一些實施例中，所述步驟S120可包括：獲取所述第一關鍵點在所述2D圖像所對應的第一2D座標系內所述第一2D座標，並獲取所述第二關鍵點在所述第一2D座標系內的所述第二2D座標。即所述第一2D座標和第二2D座標都是基於第一2D座標系確定的。
在一些實施例中，所述步驟S130可包括：根據所述第二2D座標，構建第二2D座標系；將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
具體地如，如圖3所示，所述步驟S130可包括：
步驟S131：根據所述第二2D座標，構建第二2D座標系；
步驟S132：根據所述2D圖像和所述第二局部在所述第一2D座標系中的尺寸，確定從第一2D座標系映射到所述第二2D座標系的轉換參數；其中，所述轉換參數，用於確定所述相對座標。
在一些實施例中，所述步驟S130還可包括：
步驟S133：基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
在本實施例中，所述第二局部的第二關鍵點至少兩個，例如，所述第二關鍵點可為第二局部成像的外輪廓點。根據所述第二關鍵點的座標可以構建一個第二2D座標系。該第二2D座標系的原點可為多個所述第二關鍵點連接形成的外輪廓的中心點。
在本申請實施例中，所述第一2D座標系和所述第二2D座標系都是有邊界的座標系。
在確定出所述第一2D座標系和所述第二2D座標系之後，就可以根據兩個2D座標系的尺寸和/或中心座標，得到第一2D座標系內的座標映射到第二2D座標系內的轉換參數。
基於該轉換參數，就可以直接將所述第一2D座標映射到所述第二2D座標系，得到所述第三2D座標。例如，該第三2D座標為第一2D座標映射到第二2D座標系之後的座標。
在一些實施例中，所述步驟S132可包括：
確定所述2D圖像在第一方向上的第一尺寸，確定所述第二局部在第一方向上的第二尺寸；
確定所述第一尺寸及所述第二尺寸之間的第一比值；
基於所述第一比值確定所述轉換參數。
在另一些實施例中，所述步驟S132還可包括：
確定所述2D圖像在第二方向上的第三尺寸，確定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直於所述第一方向；
根據所述第三尺寸與所述第四尺寸之間的第二比值；
結合所述第一比值和所述第二比值，確定所述第一2D座標系和所述第二2D座標系之間的轉換參數。
例如，所述第一比值可為：所述第一2D座標系和所述第二2D座標系在第一方向上的轉換比值；所述第二比值可為：所述第一2D座標系和所述第二2D座標系在第二方向上的轉換比值。
在本實施例中，若所述第一方向為x軸所在的方向，則第二方向為y軸所在的方向；若所述第一方向為y軸所在的方向，則第二方向為x軸所在的方向。
在本實施例中，所述轉換參數包括兩個轉換比值，分別是第一方向上第一尺寸和第二尺寸得到第一比值，和第二方向上第三尺寸與第四尺寸之間的第二比值。
在一些實施例中，所述步驟S132可包括：
利用如下函數關係，確定所述轉換參數：
Figure 108143268-A0101-12-0012-1
其中，cam w 為所述第一尺寸；torso w 為所述第三尺寸；cam h 為所述第二尺寸；torso h 為所述第四尺寸；K為所述第一2D座標映射到第二2D座標系在所述第一方向上的轉換參數；S為所述第一2D座標映射到第二2D座標系在所述第二方向上的轉換參數。
所述cam w 在2D圖像第一方向上兩個邊緣之間的距離。cam h 為2D圖像第二方向上兩個邊緣之間的距離。第一方向和第二方向相互垂直。
所述K即為前述第一比值；所述S即為前述第二比值。在一些實施例中，所述轉換參數除了所述第一比值和所述第二比值以外，還可以引入調整因數，例如，所述調整因數包括：第一調整因數和/或第二調整因數。所述調整因數可包括：加權因數和/或比例因數。若所述調整因數為比例因數，則所述轉換參數可為：所述第一比值和/或第二比值與比例 因數的乘積。若所述調整因數為加權因數，則所述轉換參數可為：所述第一比值和/或第二比值與加權因數的加權和。
在一些實施例中，所述步驟S134可包括：基於所述轉換參數及所述第一2D座標系的中心座標，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。在一定程度上，所述第三2D座標可以表示所述第一局部相對於所述第二局部的位置。
具體地如，所述步驟S134可包括：利用如下函數關係確定所述第三2D座標：
(x 3,y 3)=((x 1-x t )*K+x i ,(y 1-y t )*S+y i )公式(2)
(x 3,y 3)為所述第三2D座標；(x 1,y 1)為所述第一2D座標；(x t ,y t )為所述第二局部的中心點在所述第一2D座標系內的座標。
在本實施例中，x均表示第一方向上的座標值；y為表示第二方向上的座標值。
在一些實施例中，所述步驟S140可包括：
對所述第三2D座標進行歸一化處理得到第四2D座標；
結合所述第四2D座標及所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
在一些實施例中，可以直接對第三2D座標進行投影，以將第三2D座標投影到虛擬成像平面內。在本實施例中，為了方便計算，會對第三2D座標進行歸一化處理，在歸一化處理之後再投影到虛擬成像平面內。
在本實施例中，虛擬視點與虛擬成像平面之間的距離可為已知的距離。
在進行歸一化處理時，可以基於2D圖像的尺寸來進行，也可以是基於某一個預先定義的尺寸來確定。所述歸一化處理的方式有多種，通過歸一化處理，減少不同採集時刻採集的2D圖像的第三2D座標變化過大導致的資料處理不便的現象，簡化了後續的資料處理。
在一些實施例中，所述對所述第三2D座標進行歸一化處理得到第四2D座標，包括：結合所述第二局部的尺寸及所述第二2D座標系的中心座標，對所述第三2D座標進行歸一化處理得到所述第四2D座標。
例如，所述結合所述第二局部的尺寸及所述第二2D座標系的中心座標，對所述第三2D座標進行歸一化處理得到所述第四2D座標，包括：
(x 4,y 4)=[((x 1-x t )*K+x i )/torso w ,(1-((y 1-y t )*S+y i ))/torso h ]公式(3)
其中，(x 4,y 4)為所述第四2D座標；(x 1,y 1)為所述第一2D座標；(x t ,y t )為所述第二局部的中心點在所述第一2D座標系內的座標；(x i ,y i )為所述2D圖像的中心點在所述第一2D座標系內的座標。所述2D圖像通常為矩形的，此處的2D圖像的中心點為矩形的中心點。torso w 為所述2D圖像在第一方向上的尺寸；torso h 為所述2D圖像在第二方向上的尺寸；K為所述第一2D座標映射到第二2D座標系在所述第一方向上的轉換參數；S為所述第一2D座標映射到第二2D座標系在所述第二方向上的轉換參數；所述第一方向垂直於所述第二方向。
由於第二2D座標系的中心座標值為：(0.5*torsow，0.5*torsoh)。故所述第四2D座標的求解函數可如下所示：
Figure 108143268-A0101-12-0015-2
在一些實施例中，所述結合所述第四2D座標及所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標，包括：結合所述第四2D座標、所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離及縮放比例，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標；具體地如，可利用如下函數關係，確定所述3D座標：
(x 4*dds,y 4*dds,d)公式(5)
其中，x4為所述第四2D座標在第一方向上的座標值；y4為所述第四2D座標在第二方向上的座標值；dds為縮放比例；d為所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離。
在本實施例中，所述縮放比例可為預先確定的靜態值，也可以是動態根據被採集對象(例如，被採集用戶)距離攝影頭的距離確定的。
在一些實施例中，所述方法還包括：
確定所述2D圖像上所述目標對象的數目M及每個所述目標對象在所述2D圖像上的2D圖像區域；
所述步驟S120可包括：
根據所述2D圖像區域，獲得每一個所述目標對象的所述第一關鍵點的第一2D座標和所述第二關鍵點的第二2D座標，以獲得M組所述3D座標。
例如，通過輪廓檢測等處理，例如，人臉檢測可以檢測出一個2D圖像中有多少個控制用戶在，然後基於每一個控制用戶得到對應的3D座標。
例如，若在一個2D圖像中檢測到3個用戶的成像，則需要分別獲得3個使用者在該2D圖像內的圖像區域，然後基於3個用戶的手部和軀幹部分的關鍵點的2D座標，並通過步驟S130至步驟S150的執行，可以得到3個用戶分別對應虛擬三維空間內的3D座標。
在一些實施例中，如圖4所示，所述方法包括：
步驟S210：在第一顯示區域內顯示基於所述3D座標的控制效果；
步驟S220：在與所述第一顯示區域對應的第二顯示區域內顯示所述2D圖像。
為了提升使用者體驗，方便使用者根據第一顯示區域和第二顯示區域的內容，修正自己的動作，會在第一顯示區域顯示控制效果，而第二區域顯示所述2D圖像。
在一些實施例中，所述第一顯示區域和所述第二顯示區域可以對應不同的顯示幕，例如，第一顯示區域可 對應於第一顯示幕，第二顯示區域可對應於第二顯示幕；所述第一顯示幕和第二顯示幕並列設置。
在另一些實施例中，所述第一顯示區域和第二顯示區域可為同一個顯示幕的不同顯示區域。所述第一顯示區域和所述第二顯示區域可為並列設置的兩個顯示區域。
如圖5A所示，在第一顯示區域內顯示有控制效果的圖像，並在與第一顯示區域並列的第二顯示區域內顯示有2D圖像。在一些實施例中，第二顯示區域顯示的2D圖像為當前即時採集的2D圖像或者2D視頻中當前即時採集的視頻幀。
在一些實施例中，所述在與所述第一顯示區域對應的第二顯示區域內顯示所述2D圖像，包括：
根據所述第一2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第一關鍵點的第一指代圖形；和/或，
根據所述第二2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第二關鍵點的第二指代圖形。
在一些實施例中，第一指代圖形是疊加顯示在所述第一關鍵點上的，通過第一指代圖形的顯示，可以突出顯示所述第一關鍵點的位置。例如，所述第一指代圖像使用的色彩和/或亮度等顯示參數區分於所述目標對象其他部分成像的色彩和/或亮度等顯示參數。
在另一些實施例中，所述第二指代圖形同樣是疊加顯示在所述第二關鍵點上的，如此，方便使用者根據第一指代圖形和第二指代圖形從視覺上判斷出自身的第一局 部和第二局部之間的相對位置關係，從而後續有針對性的調整。
例如，所述第二指代圖形使用的色彩和/或亮度等顯示參數區分於所述目標對象其他部分成像的色彩和/或亮度等顯示參數。
在一些實施例中，為了區分所述第一指代圖形和所述第二指代圖形，所述第一指代圖形和所述第二指代圖形的顯示參數不同，方便使用者通過視覺效果簡便進行區分，提升用戶體驗。
在還有一些實施例中，所述方法還包括：
生成關聯指示圖形，其中，所述關聯指示圖形的一端指向所述第一指代圖形，所述第二關聯指示圖形的另一端指向所述受控設備上受控元素。
該受控元素可包括：受控設備上顯示的遊戲對象或游標等受控對象。
如圖5B所示，在第二顯示區域顯示的2D圖像上還顯示有第一指代圖形和/或第二指代圖形。並在第一顯示區域和第二顯示區域上共同顯示有關聯指示圖形。
如圖6所示，本實施例提供一種圖像處理裝置，包括：
第一獲取模組110，配置為獲取目標對象的2D圖像；
第二獲取模組120，配置為根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所述第一關鍵點為所述目標對象的第一局部在所述2D圖像 中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；
第一確定模組130，配置為基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；
投影模組140，配置為將所述相對座標投影到虛擬三維空間內並獲得與所述相對座標對應的3D座標，其中，所述3D座標用於控制受控設備執行預定操作。此處的預定操作包括但不限於受控設備上目標對象的座標變換。
在一些實施例中，所述第一獲取模組110、第二獲取模組120、第一確定模組130及投影模組140可為程式模組，所述程式模組被處理器執行後，能夠實現上述各個模組的功能。
在另一些實施例中，所述第一獲取模組110、第二獲取模組120、第一確定模組130及投影模組140可為軟硬結合模組，該軟硬結合模組可包括：各種可程式設計陣列；例如，複雜可程式設計陣列或者現場可程式設計陣列。
在還有一些實施例中，所述第一獲取模組110、第二獲取模組120、第一確定模組130及投影模組140可為純硬體模組，該純硬體模組可為專用積體電路。
在一些實施例中，所述第一2D座標和所述第二2D座標為位於第一2D座標系內的2D座標。
在一些實施例中，所述第二獲取模組120，配置為獲取所述第一關鍵點在所述2D圖像所對應的第一2D座 標系內所述第一2D座標，並獲取所述第二關鍵點在所述第一2D座標系內的所述第二2D座標；
所述第一確定模組130，配置為根據所述第二2D座標，構建第二2D座標系；將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
在另一些實施例中，所述第一確定模組130，還配置為根據所述2D圖像和所述第二局部在所述第一2D座標系中的尺寸，確定從第一2D座標系映射到所述第二2D座標系的轉換參數；基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
在一些實施例中，所述第一確定模組130，配置為確定所述2D圖像在第一方向上的第一尺寸以及所述第二局部在第一方向上的第二尺寸；確定所述第一尺寸及所述第二尺寸之間的第一比值；根據所述第一比值，確定所述第一方向上的轉換參數。
在另一些實施例中，所述第一確定模組130，還配置為確定所述2D圖像在第二方向上的第三尺寸以及所述第二局部在第二方向上的第四尺寸；根據所述第二尺寸與所述第三尺寸之間的第二比值；根據所述第二比值確定第二方向上的轉換參數。在一些實施例中，所述第二方向可以垂直於所述第一方向。
所述基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標，包括：結合所 述第一方向和所述第二方向上的轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
在一些實施例中，所述第一確定模組130，具體用於利用如下函數關係，確定所述轉換參數：
Figure 108143268-A0101-12-0021-3
其中，cam w 為所述第一尺寸；torso w 為所述第三尺寸；cam h 為所述第二尺寸；torso h 為所述第四尺寸；K為所述第一2D座標映射到第二2D座標系在所述第一方向上的轉換參數；S為所述第一2D座標映射到第二2D座標系在所述第二方向上的轉換參數。
在一些實施例中，所述第一確定模組130，配置為利用如下函數關係確定所述第三2D座標： (x3,y3)=((x1-xt)*K+xi,(y1-yt)*S+yi)
(x 3,y 3)為所述第三2D座標；(x 1,y 1)為所述第一2D座標；(x t ,y t )為所述第二局部的中心點在所述第一2D座標系內的座標。
在一些實施例中，所述投影模組140，配置為對相對座標進行歸一化處理得到第四2D座標；結合所述第四2D座標及所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
在一些實施例中，所述投影模組140，配置為結合所述第二局部的尺寸及所述第二2D座標系的中心座標，對所述相對座標進行歸一化處理得到所述第四2D座標。
在一些實施例中，所述投影模組140，配置為結合所述第四2D座標、所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離及縮放比例，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
在一些實施例中，所述投影模組140，可配置為基於以下函數關係確定所述3D座標：
(x 4,y 4)=[((x 1-x t )*K+x i )/torso w ,(1-((y 1-y t )*S+y i ))/torso h ]公式(2)
其中，(x 1,y 1)為所述第一2D座標；(x t ,y t )為所述第二局部的中心點在所述第一2D座標系內的座標；(x i ,y i )為所述2D圖像的中心點在所述第一2D座標系內的座標；torso w 為所述2D圖像在第一方向上的尺寸；torso h 為所述2D圖像在第二方向上的尺寸；K為所述第一2D座標映射到第二2D座標系在所述第一方向上的轉換參數；S為所述第一2D座標映射到第二2D座標系在所述第二方向上的轉換參數；所述第一方向垂直於所述第二方向。
在一些實施例中，所述投影模組140，配置為結合所述第四2D座標、所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離及縮放比例，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
進一步地，所述投影模組140，可配置為利用如下函數關係，確定所述3D座標：
(x 4*dds,y 4*dds,d)公式(5)
其中，x4為所述第四2D座標在第一方向上的座標值；y4為所述第四2D座標在第二方向上的座標值；dds為縮放比例；d為所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離。
在一些實施例中，所述裝置還包括：
第二確定模組，配置為確定所述2D圖像上所述目標對象的數目M及所述目標對象在所述2D圖像上的2D圖像區域；
所述第二獲取模組120，配置為根據每個目標對象的所述2D圖像區域，獲得所述每個目標對象的所述第一關鍵點的第一2D座標和所述第二關鍵點的第二2D座標，以獲得M組所述3D座標。
在一些實施例中，所述裝置包括：
第一顯示模組，配置為在第一顯示區域內顯示基於所述3D座標的控制效果；
第二顯示模組，配置為在與所述第一顯示區域對應的第二顯示區域內顯示所述2D圖像。
在一些實施例中，所述第二顯示模組，還配置為根據所述第一2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第一關鍵點的第一指代圖形；和/或，根據所述第二2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第二關鍵點的第二指代圖形。
在一些實施例中，所述裝置還包括：
控制模組，配置為基於所述第一關鍵點在前後兩個時刻在虛擬三維空間內三個座標軸上的變化量或變化率，控制受控設備上目標對象的座標變換。
以下結合上述任意實施例提供一個具體示例：
示例1：
本示例提供一種圖像處理方法包括：
即時識別人體姿勢關鍵點，通過公式與演算法實現無需手握或穿戴設備的在虛擬環境中做出精度較高的操作。
讀取臉部識別模型與人體姿勢關鍵點識別模型並建立相對應控制碼，同時配置追蹤參數。
打開視頻流，每一幀將當前幀轉換為BGRA格式，並根據需要進行翻轉，資料流程存為帶有時間戳記的對象。
通過人臉控制碼檢測當前幀並得到人臉識別結果及人臉數量，此結果協助人體姿勢(human pose)關鍵點追蹤。
檢測當前幀的人體姿勢，並通過追蹤控制碼追蹤即時人體關鍵點。
得到人體姿勢關鍵點後定位到手部關鍵點，從而得到手部位於攝影頭識別圖像中的像素點。該手部關鍵點為前述第一關鍵點，具體如，該手部關鍵點具體可為手腕關鍵點。
此處假設手部將成為之後的操作游標。
通過同樣方式定位人體肩膀關鍵點及腰部關鍵點，計算出身體中心位置的像素座標。人體肩部關鍵點及腰部關鍵點可為軀幹關鍵點，為前述實施例中提到的第二關鍵點。
以圖片正中心為原點重新標定上述座標，以用於後期三維轉換。
設定人體上半身為參照，求出場景與人體的相對係數。
為了使姿勢操控系統保持不同場景中穩定的表現，即無論用戶在鏡頭中任何方位或者離鏡頭多遠，都能達到同樣的操控效果，我們使用操縱游標與身體中心的相對位置。
通過相對係數與重新標定的手部座標、身體中心座標計算出手部相對於身體的新座標。
保留新座標與識別空間，即攝影頭圖像尺寸的X和Y比例。
在虛擬三維空間中生成需要投影操作空間，計算出觀察點和接收操作物體的距離D，通過X、Y和D將視點座標轉為操作游標在三維空間中的座標。
如存在虛擬操作平面，則取操作游標座標的x和y值，代入透視投影和螢幕映射公式得到操作螢幕空間中的像素點。
可以應用到多個用戶多個游標同時操作。
假設攝影機所採集的2D圖像對應的第一2D座標系中左下角為(0,0)且右上角為(cam w ,cam h )；
假設手部關鍵點在2D圖像所對應的第一2D座標系內的座標為：(x1,y1)；
假設軀幹中心點在第一2D座標系內的座標為：(x t ,y t )；
假設2D圖像的中心點在第一2D座標系內的座標為：(x i ,y i )。
則存在轉換參數如下：所述轉換參數：
Figure 108143268-A0305-02-0028-1
手部關鍵點轉換到軀幹所對應的第二2D座標系內的轉換函數可如下：(x3,y3)=((x1-xt)* K+xi,(y1-yt)* S+yi) 公式(6)。
若攝影機所採集的2D圖像對應的第一2D座標系中左下角為(0,0)且右上角為(cam w ,cam h )；則手部關鍵點轉換到軀幹所對應的第二2D座標系內的轉換函數可如下：(x 3,y 3)=((x 1-x t )* K+x i ,(y t -y 1)* S+y i )公式(6)。
綜合之後，手部關鍵點轉換到軀幹所對應的第二2D座標系內的轉換函數可為：(hand-torso)*(cam/torse)+cam-center；其中，hand表示手部關鍵點在第一2D座標系內的座標；torso表示軀幹關鍵點在第一2D座標系內的座標；cam-center為2D圖像對應的第一2D座標的中心座標。
在歸一化的處理過程中，可以引入縮放比例，所述縮放比例的取值範圍可為1至3之間，也可以是1.5至2之間。
在三維虛擬空間內可以根據構建的三維虛擬空間得到如下座標：
虛擬視點的座標；(x c ,y c ,z c )
虛擬控制平面的座標：(x j ,y j ,z j )
d為(x c ,y c ,z c )與(x j ,y j ,z j )之間距離。
通過歸一化處理之後，將得到歸一化後的第四2D座標為：(x 4,y 4)=[(x 1-x t )* cam w +0.5,0.5-(y 1-y t )* cam h ] 公式(7)。
而轉換到虛擬三維空間內的3D座標可為：
Figure 108143268-A0305-02-0029-2
如圖7所示，本申請實施例提供了一種圖像處理設備，包括：記憶體，用於儲存資訊；處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令，能夠實現前述一個或多個技術方案提供的圖像處理方法，例如，如圖1、圖3及圖4所示的方法中的一個或多個。
該記憶體可為各種類型的記憶體，可為隨機記憶體、唯讀記憶體、快閃記憶體等。所述記憶體可用於資訊儲存，例如，儲存電腦可執行指令等。所述電腦可執行指令可為各種程式指令，例如，目的程式指令和/或來源程式指令等。
所述處理器可為各種類型的處理器，例如，中央處理器、微處理器、數位訊號處理器、可程式設計陣列、數位訊號處理器、專用積體電路或圖像處理器等。
所述處理器可以通過匯流排與所述記憶體連接。所述匯流排可為積體電路匯流排等。
在一些實施例中，所述終端設備還可包括：通信介面，該通信介面可包括：網路介面、例如，局域網介面、收發天線等。所述通信介面同樣與所述處理器連接，能夠用於資訊收發。
在一些實施例中，所述圖像處理設備還包括攝影頭，該攝影頭可為2D攝影頭，可以採集2D圖像。
在一些實施例中，所述終端設備還包括人機交互介面，例如，所述人機交互介面可包括各種輸入輸出設備，例如，鍵盤、觸控式螢幕等。
本申請實施例提供了一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行代碼；所述電腦可執行代碼被執行後，能夠實現前述一個或多個技術方案提供的圖像處理方法，例如，如圖1、圖3及圖4所示的方法中的一個或多個。
所述儲存介質包括：移動儲存裝置、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以儲存程式碼的介質。所述儲存介質可為非瞬間儲存介質。
本申請實施例提供一種電腦程式產品，所述程式產品包括電腦可執行指令；所述電腦可執行指令被執行後，能夠實現前述任意實施提供的圖像處理方法，例如，如圖1、圖3及圖4所示的方法中的一個或多個。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上 所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能單元可以全部集成在一個處理模組中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動儲存裝置、唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述申請專利範圍的保護範圍為準。
圖1代表圖為流程圖，無元件符號說明。

Claims (16)

  1. 一種圖像處理方法，包括：獲取目標對象的2D圖像，其中，所述2D圖像是通過單目攝影頭採集得到的；根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，其中，所述第一關鍵點為所述目標對象的第一局部在所述2D圖像中的成像點；所述第二關鍵點為所述目標對象的第二局部在所述2D圖像中的成像點；基於第一2D座標及所述第二2D座標，確定相對座標，其中，所述相對座標用於表徵所述第一局部和所述第二局部之間的相對位置；將所述相對座標投影到虛擬三維空間內，獲得與所述相對座標對應的3D座標，其中，所述3D座標用於控制受控設備上目標對象座標變換。
  2. 根據請求項1所述的方法，其中，所述第一2D座標和所述第二2D座標為位於第一2D座標系內的2D座標。
  3. 根據請求項2所述的方法，其中，所述基於第一2D座標及所述第二2D座標，確定相對座標，包括：根據所述第二2D座標，構建第二2D座標系；將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標； 根據第三2D座標確定所述相對座標。
  4. 根據請求項3所述的方法，其中，所述將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標，包括：根據所述2D圖像和所述第二局部在所述第一2D座標系中的尺寸，確定從所述第一2D座標系映射到所述第二2D座標系的轉換參數；基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
  5. 根據請求項4所述的方法，其中，所述根據所述2D圖像和所述第二局部在所述第一2D座標系中的尺寸，確定從第一2D座標系映射到所述第二2D座標系的轉換參數，包括：確定所述2D圖像在第一方向上的第一尺寸以及所述第二局部在所述第一方向上的第二尺寸；確定所述第一尺寸及所述第二尺寸之間的第一比值；根據所述第一比值，確定所述第一方向上的轉換參數。
  6. 根據請求項5所述的方法，其中，所述根據所述2D圖像和所述第二局部在所述第一2D座標系中的尺寸，確定從第一2D座標系映射到所述第二2D座標系的轉換參數，還包括：確定所述2D圖像在第二方向上的第三尺寸以及所述第二局部在所述第二方向上的第四尺寸；確定所述第三尺寸與所述第四尺寸之間的第二比值； 根據所述第二比值，確定所述第二方向上的轉換參數；所述基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標，包括：結合所述第一方向和所述第二方向上的轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
  7. 根據請求項4至6任一項所述的方法，其中，所述基於所述轉換參數，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標，包括：基於所述轉換參數及所述第一2D座標系的中心座標，將所述第一2D座標映射到所述第二2D座標系，獲得第三2D座標。
  8. 根據請求項3至6任一項所述的方法，其中，所述將所述相對座標投影到虛擬三維空間內，獲得與所述相對座標對應的3D座標，包括：對所述相對座標進行歸一化處理，得到第四2D座標；結合所述第四2D座標及所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
  9. 根據請求項8所述的方法，其中，所述對所述相對座標進行歸一化處理得到第四2D座標，包括： 結合所述第二局部的尺寸及所述第二2D座標系的中心座標，對所述相對座標進行歸一化處理，得到所述第四2D座標。
  10. 根據請求項8所述的方法，其中，所述結合所述第四2D座標及所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標，包括：結合所述第四2D座標、所述虛擬三維空間內虛擬視點到虛擬成像平面內的距離及縮放比例，確定所述第一關鍵點投影到所述虛擬三維空間內的3D座標。
  11. 根據請求項1至6任一項所述的方法，所述方法還包括：確定所述目標對象的數目M及每個目標對象在所述2D圖像的2D圖像區域，所述M為大於1的整數；所述根據所述2D圖像，獲取第一關鍵點的第一2D座標和第二關鍵點的第二2D座標，包括：根據每個目標對象的所述2D圖像區域，獲得所述每個目標對象的所述第一關鍵點的第一2D座標和所述第二關鍵點的第二2D座標，以獲得M組所述3D座標。
  12. 根據請求項1至6任一項所述的方法，所述方法還包括：在第一顯示區域內顯示基於所述3D座標的控制效果；在與所述第一顯示區域對應的第二顯示區域內顯示所述2D圖像。
  13. 根據請求項12所述的方法，其中，所述在與所述第一顯示區域對應的第二顯示區域內顯示所述2D圖像，包括：根據所述第一2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第一關鍵點的第一指代圖形，所述第一指代圖形是疊加顯示在所述第一關鍵點上的圖像；和/或，根據所述第二2D座標，在所述第二顯示區域內顯示的所述2D圖像上顯示所述第二關鍵點的第二指代圖形，所述第二指代圖形是疊加顯示在所述第二關鍵點上的圖像。
  14. 根據請求項1至6任一項所述的方法，所述方法還包括：基於所述第一關鍵點在前後兩個時刻在虛擬三維空間內三個座標軸上的變化量或變化率，控制受控設備上目標對象的座標變換。
  15. 一種電子設備，包括：記憶體；處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現請求項1至14任一項所述的方法。
  16. 一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被處理器執行後，能夠實現請求項1至14任一項所述的方法。
TW108143268A 2018-12-21 2019-11-27 圖像處理方法及裝置、電子設備及儲存介質 TWI701941B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811572680.9A CN111353930B (zh) 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质
CN201811572680.9 2018-12-21

Publications (2)

Publication Number Publication Date
TW202025719A TW202025719A (zh) 2020-07-01
TWI701941B true TWI701941B (zh) 2020-08-11

Family

ID=71100233

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143268A TWI701941B (zh) 2018-12-21 2019-11-27 圖像處理方法及裝置、電子設備及儲存介質

Country Status (7)

Country Link
US (1) US20210012530A1 (zh)
JP (1) JP7026825B2 (zh)
KR (1) KR102461232B1 (zh)
CN (1) CN111353930B (zh)
SG (1) SG11202010312QA (zh)
TW (1) TWI701941B (zh)
WO (1) WO2020124976A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109675315B (zh) * 2018-12-27 2021-01-26 网易（杭州）网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
KR20220018760A (ko) 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
CN111985384B (zh) * 2020-08-14 2024-09-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN111973984B (zh) * 2020-09-10 2024-07-09 网易（杭州）网络有限公司 虚拟场景的坐标控制方法、装置、电子设备及存储介质
CN112465890B (zh) * 2020-11-24 2024-11-08 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
US11461975B2 (en) * 2020-12-03 2022-10-04 Realsee (Beijing) Technology Co., Ltd. Method and apparatus for generating guidance among viewpoints in a scene
TWI793764B (zh) * 2021-09-14 2023-02-21 大陸商北京集創北方科技股份有限公司 屏下光學指紋鏡頭位置補償方法、屏下光學指紋採集裝置及資訊處理裝置
CN114756919A (zh) * 2021-12-29 2022-07-15 每平每屋(上海)科技有限公司 数据处理方法、家装设计方法、设备及存储介质
CN114849238B (zh) * 2022-06-02 2023-04-07 北京新唐思创教育科技有限公司 动画执行方法、装置、设备及介质
CN116821254A (zh) * 2023-06-28 2023-09-29 上海隧道工程有限公司 基于Canvas API的盾构施工图前端显示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US20130167092A1 (en) * 2011-12-21 2013-06-27 Sunjin Yu Electronic device having 3-dimensional display and method of operating thereof
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
US8917240B2 (en) * 2009-06-01 2014-12-23 Microsoft Corporation Virtual desktop coordinate transformation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8571351B2 (en) 2012-06-03 2013-10-29 Tianzhi Yang Evaluating mapping between spatial point sets
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
CN104240289B (zh) * 2014-07-16 2017-05-03 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
CN104778720B (zh) * 2015-05-07 2018-01-16 东南大学 一种基于空间不变特性的快速体积测量方法
CN106559660B (zh) 2015-09-29 2018-09-07 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置
US20220036646A1 (en) * 2017-11-30 2022-02-03 Shenzhen Keya Medical Technology Corporation Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic image
CN108648280B (zh) * 2018-04-25 2023-03-31 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质
CN109191507B (zh) * 2018-08-24 2019-11-05 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN110909580B (zh) * 2018-09-18 2022-06-10 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN110248148B (zh) * 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US8917240B2 (en) * 2009-06-01 2014-12-23 Microsoft Corporation Virtual desktop coordinate transformation
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US20130167092A1 (en) * 2011-12-21 2013-06-27 Sunjin Yu Electronic device having 3-dimensional display and method of operating thereof
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle

Also Published As

Publication number Publication date
KR20200138349A (ko) 2020-12-09
US20210012530A1 (en) 2021-01-14
WO2020124976A1 (zh) 2020-06-25
CN111353930B (zh) 2022-05-24
CN111353930A (zh) 2020-06-30
SG11202010312QA (en) 2020-11-27
TW202025719A (zh) 2020-07-01
JP2021520577A (ja) 2021-08-19
KR102461232B1 (ko) 2022-10-28
JP7026825B2 (ja) 2022-02-28

Similar Documents

Publication Publication Date Title
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
EP3804328B1 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US11620792B2 (en) Fast hand meshing for dynamic occlusion
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN114245908A (zh) 用深度信息快速3d重建
CN106873778A (zh) 一种应用的运行控制方法、装置和虚拟现实设备
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
CN108090463A (zh) 对象控制方法、装置、存储介质和计算机设备
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US20130187852A1 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
CN111651031B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
CN107145822A (zh) 偏离深度相机的用户体感交互标定的方法和系统
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114093020B (zh) 动作捕捉方法、装置、电子设备及存储介质
CN118556254A (zh) 图像渲染方法、装置及电子设备
WO2014008438A1 (en) Systems and methods for tracking user postures and motions to control display of and navigate panoramas
CN109685881B (zh) 一种体绘制方法、装置及智能设备
HK40023070A (zh) 数据处理方法及装置、电子设备及存储介质