[go: up one dir, main page]

TWI722703B - 投影設備與投影校正方法 - Google Patents

投影設備與投影校正方法 Download PDF

Info

Publication number
TWI722703B
TWI722703B TW108144913A TW108144913A TWI722703B TW I722703 B TWI722703 B TW I722703B TW 108144913 A TW108144913 A TW 108144913A TW 108144913 A TW108144913 A TW 108144913A TW I722703 B TWI722703 B TW I722703B
Authority
TW
Taiwan
Prior art keywords
information
projection
point cloud
item
patent application
Prior art date
Application number
TW108144913A
Other languages
English (en)
Other versions
TW202122904A (zh
Inventor
甘凱翔
陳柏戎
陳俊元
郭建春
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108144913A priority Critical patent/TWI722703B/zh
Priority to CN201911373189.8A priority patent/CN113038096B/zh
Priority to US16/828,902 priority patent/US11549805B2/en
Application granted granted Critical
Publication of TWI722703B publication Critical patent/TWI722703B/zh
Publication of TW202122904A publication Critical patent/TW202122904A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種投影設備，包括投影裝置、取像裝置與處理裝置。投影裝置投射可逆結構光碼至表面上。取像裝置對被投射可逆結構光碼的表面進行取像，並取得影像資料。處理裝置耦接投影裝置及取像裝置，接收影像資料，並依據影像資料產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。

Description

投影設備與投影校正方法
本發明關於一種投影設備與投影校正方法。
由於技術的發展演進，結構光三維掃描相機(Structured-light 3D scanner)逐漸被使用者所使用。一般來說，結構光三維掃描相機的成本主要取決於其內設置的投影機。目前，就市面上來說，結構光三維掃描相機所使用的投影機為數位光處理(digital light processing,DLP)投影機、掃描式振鏡投影機等。
掃描式振鏡投影機的成本較數位光處理投影機的成本低，然而，雖然掃描式振鏡投影機的成本較低，但是掃描式振鏡投影機所產生之數位光會有射線偏移的現象，使得掃描式振鏡投影機之投射出現變形，進而影響產出的三維點雲之精確度。因此，如何有效改善點雲資訊的品質及降低硬體成本將成為一重要議題。
本發明提供一種投影設備與投影校正方法，藉以有效地得到射線偏移量，以改善點雲資訊的品質及降低硬體的使用成本。
本發明提供一種投影設備，包括投影裝置、取像裝置與處理裝置。投影裝置投射可逆結構光碼至表面上。取像裝置對被投射可逆結構光碼的表面進行取像，並取得影像資料。處理裝置耦接投影裝置及取像裝置，接收影像資料，並依據影像資料進行解碼以產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。
本發明另提供一種投影設備的投影校正方法，包括下列步驟。透過投影裝置，投射可逆結構光碼至表面上。透過取像裝置，對被投射可逆結構光碼的表面進行取像，並取得影像資料。透過處理裝置，接收影像資料，並依據影像資料進行解碼以產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。
本發明所揭露之投影設備與投影校正方法，透過投影裝置投射可逆結構光碼至表面上，且透過取像裝置被投射可逆結構光碼的表面進行取像，並取得影像資料，以及透過處理裝置接收影像資料，並依據影像資料進行解碼以產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。如此一來，可以有效地得到對應投影裝置之射線偏移量，以改善點雲資訊的品質及降低硬體的使用成本。
100:投影設備
110:投影裝置
120:取像裝置
130:處理裝置
150:表面
310:像素點
S402~S406、S502~S506、S602~S606、S702:步驟
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
第1圖為依據本發明之一實施例之投影設備的示意圖。
第2圖為依據本發明之一實施例之可逆結構光碼之投影的示意圖。
第3圖為依據本發明之一實施例之像素點與像素偏移量的對應關係示意圖。
第4圖為依據本發明之一實施例之投影設備的投影校正方法的流程圖。
第5圖為第4圖之步驟S406的詳細流程圖。
第6圖為依據本發明之另一實施例之投影設備的投影校正方法的流程圖。
本說明書的技術用語參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
在以下所列舉的各實施例中，將以相同的標號代表相同或相似的元件或組件。
第1圖為依據本發明之一實施例之投影設備的示意圖。在本實施例中，投影設備100可適用於三維(three-dimension,3D)相機、手機、平板電腦、筆記型電腦等，但不用於限制本發明之應用。請參考第1圖，投影設備100包括投影裝置110、取像裝置120與處理裝置130。
投影裝置110投射可逆結構光碼至表面150上。在本實施例中，投影裝置110例如為掃描式振鏡(micro electro mechanical systems mirror,MEMS mirror)投影機。另外，可逆結構光碼例如為格雷條紋光碼，亦即可逆結構光碼是利用格雷碼進行編碼，其經投影後呈現如第2圖所示。但本發明實施例不限於此，可逆結構光碼也可以利用其他方式進行編碼，例如二進碼十進數(binary-coded decimal,BCD)碼、餘3-BCD碼等等，都可達到相同的效果。需要注意的是，第2圖所示是投影裝置110未經校正的情況下之投影結果。
此外，在一實施例中，可逆結構光例如包括透過結構光編碼資訊取得三維(3D)深度資訊。在另一實施例中，可逆結構光編碼資訊也可由三維深度資訊反推回結構光光斑來取得。
在一些實施例中，上述表面150例如為標準件的表面，其中標準件可以為實體的物件，例如特定規格之配件，或現有之物件如桌子、屏幕或塊規等。另外，標準件的尺寸例如為已知的。在一些實施例中，上述表面150也可以是地面或牆壁的表面。另外， 可逆結構光碼投射於地面或牆壁之表面的尺寸或範圍例如也為已知的。
取像裝置120對被投射可逆結構光碼的表面150進行取像，並取得影像資料。前述取像裝置120所取得之影像資料例如為二維(two-dimension,2D)影像資料。在本實施例中，取像裝置120例如為電荷耦合元件(charge coupled device,CCD)或其他具有取像功能的攝影機。
處理裝置130耦接投影裝置110與取像裝置120。處理裝置130接收影像資料，並依據影像資料產生三維點雲資訊。進一步來說，處理裝置130例如依據立體視覺三角測距法對影像資料進行計算，以得到對應表面150的深度信息，進而產生對應影像資料的三維點雲資訊。接著，處理裝置130依據三維點雲資訊及對應表面150之三維資訊進行運算，以取得對應投影裝置110之射線偏移資訊。如此一來，本實施例可有效地取得對應投影裝置110之射線偏移資訊，以便進一步校正該投影裝置110並改善點雲資訊的品質。
在一些實施例中，使用者可預先將對應表面150之三維資訊儲存於投影設備100的一儲存裝置(圖未示)，例如記憶體或硬碟等。在一些實施例中，使用者也可透過取像裝置120對表面150進行取像，並取得對應表面150的影像資料。
接著，處理裝置130可以對影像資料進行處理，以取得對應表面150之三維資訊，並將對應表面150之三維資訊儲存於投影設備100的一儲存裝置(圖未示)。在本實施例中，對應表面150 之三維資訊例如包括表面150之每一位置的三維座標資訊，具體來說可以是在表面150上每一位置之X軸的值、Y軸的值以及Z軸的值。
進一步來說，在處理裝置130接收取像裝置120所產生之影像資料後，處理裝置130可以對影像資料進行解碼。也就是說，處理裝置130可以透過格雷碼的解碼方式以及立體視覺三角測距法，對影像資料中的可逆結構光碼進行解碼，以產生三維點雲資訊。並且，此三維點雲資訊可以包括影像資料中多個像素的三維座標資訊，亦即影像資料中之每一個像素所對應之X軸的值、Y軸的值及Z軸的值。
另外，處理裝置130也會取得表面150之三維資訊。例如，處理裝置130由投影設備100之儲存裝置(圖未示)中取得表面150之三維資訊，亦即表面150之每一位置所對應之座標(X軸的值、Y軸的值及Z軸的值)。補充說明的是，該取像裝置120可以對該表面150的部分區域進行取像，此情況下該影像資料僅涵括對應於該表面150之部分區域，因此處理裝置130可依據影像資料中涵括的對應該表面150之區域範圍，取用區域範圍中的座標，也就是依運算需求只取用該表面150之局部的三維資訊。
接著，處理裝置130會依據三維點雲資訊與表面150之三維資訊，以取得深度誤差資訊。舉例來說，處理裝置130可以將三維點雲資訊減去表面150之三維資訊，以取得深度誤差資訊。具體來說，深度誤差資訊即是三維點雲資訊之Z軸的值與表面150對應之三維資訊之Z軸的值之間的差。
在本實施例中，深度誤差資訊之運算例如透過如下式(1)：△Z (x,y)=Z A(x,y)-Z R(x,y) (1)
其中，(x,y)是表示表面150上之二維座標，△Z(x,y)為深度誤差資訊，Z A(x,y)為三維點雲資訊，Z R(x,y)為表面150之三維資訊。在本實施例中，處理裝置130可以透過式(1)，將表面150上點(x,y)對應之三維點雲資訊之Z軸的值減去表面150上點(x,y)之三維資訊之Z軸的值。也就是說，處理裝置130計算該表面150上座標(x,y)之區域所對應之像素點之三維點雲資訊(也就是Z A(x,y))，與該表面150上座標(x,y)之三維資訊之Z軸的值(也就是Z R(x,y))，以得到對應每一像素點的深度誤差資訊(也就是△Z (x,y))。
接著，處理裝置130可依據深度誤差資訊、三維點雲資訊與補償深資訊度進行運算，以取得投影誤差資訊。進一步來說，處理裝置130可以先依據深度誤差資訊、三維點雲資訊與數筆補償深度資訊進行運算，以取得對應每一像素點的像素偏移量。具體來說，補償深度資訊即是該投影設備110之投影座標利用像素偏移量補償後之座標點之深度值，像素偏移量即是補償深度資訊的像素補償量；再計算補償深度資訊與三維點雲資訊之間的數筆補償深度差，最小化補償深度差與深度誤差資訊間的差距，以取得最佳的像素偏移量；也就是依據該深度誤差資訊與補償深度差間之差距之最小者，選擇最小差距對應的該些像素偏移量中之一。
在本實施例中，決定每一像素點的像素偏移量之演算法例如式(2)：
Figure 108144913-A0305-02-0010-1
其中，C (x,y)為對應取像裝置120的影像座標，
Figure 108144913-A0305-02-0010-2
為對應投影裝置110的影像座標，
Figure 108144913-A0305-02-0010-3
為三維點雲資訊之深度值，
Figure 108144913-A0305-02-0010-6
為補償深度資訊，(i,j)為該投影裝置110在投影座標上X軸方向及Y軸方向的像素偏移量(如第3圖所示)，
Figure 108144913-A0305-02-0010-5
為補償深度差，(x,y)是表示該表面150上之點座標，(x C ,y C )是表示取像裝置120取得之影像資料的點座標(也就是經由C (x,y)轉換)，
Figure 108144913-A0305-02-0010-7
則是將取像裝置120取得之影像資料的點座標(也就是(x C ,y C ))轉換為投影裝置110投影之資料座標，P(*)為一運算子並且是依據二維座標資料運算取得三維座標資訊。
舉例來說，假設以該表面150上座標(1,1)為例，即座標(x,y)=(1,1)，並且該表面150之座標點(x,y)=(1,1)經由取像裝置120對該表面150取像之影像資料中對應之座標點表示為座標(x C ,y C )=(1,1)，再進一步由該取像裝置120之座標點(x C ,y C )轉為投影裝置110之座標點
Figure 108144913-A0305-02-0010-8
，本實施例中以
Figure 108144913-A0305-02-0010-9
的像素點310為例說明，即像素點310對應座標
Figure 108144913-A0305-02-0010-10
；接著處理裝置130依據對應投影裝置110之座標
Figure 108144913-A0305-02-0010-11
的像素點及441個像素偏移量(i,j)，以產生441個偏移後之像素點之座標，即偏移了(1,0)、(2,0)...、(10,0)、(0,1)、(0,2)...、(0,10)、...(10,10)、(-1,0)、...、(-10,0)、...、 (-10,10)、(0,-1)、...、(0,-10)、...、(-10,-10)、...、(10,-10)之像素點之座標，也就是
Figure 108144913-A0305-02-0011-12
，如第3圖所示。另外，由於像素點310為基準點，因此像素點310偏移了(0,0)之像素點之座標。
接著，由於已運算取得△Z (1,1)且P(C (1,1),G (1,1))為已知的，處理裝置130可以透過式(2)進行運算，以由上述441個像素偏移量中選擇出一個可使對應座標(1,1)之式(2)之數值最小者。以像素偏移量(i,j)=(0,5)為例說明，也就是在像素偏移量為(0,5)的情況下，使對應座標(x,y)=(1,1)之式(2)之數值為最小值，則判斷像素偏移量(0,5)便可作為該投影裝置110之投影座標
Figure 108144913-A0305-02-0011-13
之像素點的像素偏移量。而其餘座標之像素點所對應之像素偏移量的計算方式可參考如上實施例的說明，故在此不再贅述。
在式(2)中，-10
Figure 108144913-A0305-02-0011-25
i
Figure 108144913-A0305-02-0011-26
10與-10
Figure 108144913-A0305-02-0011-27
j
Figure 108144913-A0305-02-0011-29
10的設定僅為本發明實施例的一種實施範例，不用於限制本發明實施例。使用者以可視其需求調整式(2)之i與j的範圍，都可達到相同的效果。例如，-5
Figure 108144913-A0305-02-0011-31
i
Figure 108144913-A0305-02-0011-32
5與-5
Figure 108144913-A0305-02-0011-34
j
Figure 108144913-A0305-02-0011-35
5、-3
Figure 108144913-A0305-02-0011-36
i
Figure 108144913-A0305-02-0011-37
3與-3
Figure 108144913-A0305-02-0011-38
j
Figure 108144913-A0305-02-0011-39
3、-6
Figure 108144913-A0305-02-0011-40
i
Figure 108144913-A0305-02-0011-41
6與-6
Figure 108144913-A0305-02-0011-42
j
Figure 108144913-A0305-02-0011-43
6、-8
Figure 108144913-A0305-02-0011-44
i
Figure 108144913-A0305-02-0011-45
8與-8
Figure 108144913-A0305-02-0011-46
j
Figure 108144913-A0305-02-0011-47
8等。其餘i與j的範圍則類推。另外，調整後之i與j的範圍的實施方式可參考如上實施例的說明，故在此不再贅述。
此外，在本實施例中，
Figure 108144913-A0305-02-0011-15
之運算可例如透過如下式(3)：
Figure 108144913-A0305-02-0011-14
其中，C (x,y)為對應取像裝置120的座標，
Figure 108144913-A0305-02-0012-16
為對應投影裝置110的座標，Normal Vector=投影裝置110之X軸的座標向量×V P ，
Figure 108144913-A0305-02-0012-17
，L 0為對應取像裝置120之影像資料的中心座標，並定義L=V C -L 0，
Figure 108144913-A0305-02-0012-18
，P 0為投影裝置110的中心座標。
接著，處理裝置130可以將對應該投影裝置110之每一像素點座標
Figure 108144913-A0305-02-0012-19
的像素偏移量(例如
Figure 108144913-A0305-02-0012-20
之像素點的像素偏移量(0,5))與一轉換比例進行運算，以取得投影誤差資訊。在本實施例中，投影誤差資訊之運算例如透過如下式(4)：△d (x,y)=(i,j)×Pd (4)
其中，△d (x,y)為投影誤差資訊，(i,j)為像素偏移量，Pd為像素與長度間的轉換比例(例如一個像素轉換成幾公分，單位為cm/pixel)。具體來說，投影誤差資訊即是投影裝置110實際投射之可逆結構光碼與理想之可逆結構光碼之X軸方向與Y軸方向的差距。
在處理裝置130取得投影誤差資訊後，處理裝置130可以依據投影誤差資訊與投影距離進行運算，以取得對應投影裝置110的射線偏移資訊。在本實施例中，對應投影裝置110的射線偏移資訊之運算例如透過如下式(5)：
Figure 108144913-A0305-02-0012-22
其中，θ(x,y)是射線偏移資訊、d(x,y)是投影誤差資訊及h是投影距離(例如投影裝置110與表面150之間的距離)。另外，在一些實施例中，投影距離可以預先儲存於投影設備100的儲存裝置中。
在一些實施例中，投影設備100也可設置一測距裝置。並且，在取得對應投影裝置110之射線偏移量的運算之前，投影設備100可以透過測距裝置測量投影裝置110與表面之間的距離，以產生一測距資訊，並將測距資訊傳送至處理裝置130，使處理裝置130取得測距資訊對應的投影距離，並將投影距離儲存於投影設備100的儲存裝置中。
進一步來說，在處理裝置130取得對應投影裝置110之射線偏移資訊後，處理裝置130可依據上述射線偏移資訊，對投影裝置110進行校正，使得投影裝置110所投射之可逆結構光碼更為精確，以降低投影裝置110的射線偏移量，並提高三維點雲資訊的品質。
第4圖為依據本發明之一實施例之投影設備的投影校正方法的流程圖。在步驟S402中，透過投影裝置，投射可逆結構光碼至表面上。在步驟S404中，透過取像裝置，對被投射可逆結構光碼的表面進行取像，並取得影像資料。在步驟S406中，透過處理裝置，接收影像資料，並依據影像資料進行解碼以產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。
在本實施例中，上述可逆結構光碼為格雷條紋光碼。另外，上述投影裝置為掃描式振鏡投影機。此外，上述表面為標準件的表面。再者，射線偏移資訊之運算透過式(5)。
第5圖為第4圖之步驟S406的詳細流程圖。在步驟S502中，依據三維點雲資訊與對應表面之三維資訊進行運算，以取得深度誤差資訊。在步驟S504中，依據深度誤差資訊、三維點雲資訊與數筆補償深度資訊進行運算，以取得投影誤差資訊。在步驟S506中，依據投影誤差資訊與投影距離進行運算，以取得射線偏移資訊。在本實施例中，射線偏移資訊之運算透過式(5)。
第6圖為第4圖之步驟S406的另一詳細流程圖。在本實施例中，步驟S502、S506與第5圖之步驟S502、S506相同，可參考第5圖之實施例的說明，故在此不再贅述。在步驟S602中，經由處理裝置依據數個像素偏移量運算取得數筆補償深度資訊。在步驟S604中，經由處理裝置運算三維點雲資訊與補償深度資訊間的數筆補償深度差。在步驟S606中，經由處理裝置依據深度誤差資訊與補償深度差間之差距之最小者，選擇最小差距對應的像素偏移量中之一，並依據選擇的像素偏移量運算投影誤差資訊。在本實施例中，投影誤差資訊之運算透過式(4)，且射線偏移資訊之運算透過式(5)。
第7圖為依據本發明之另一實施例之投影設備的投影校正方法的流程圖。在本實施例中，步驟S402~S406與第4圖之步驟S402~S406相同，可參考第4圖之實施例的說明，故在此不再贅述。
在步驟S702中，依據射線偏移資訊校正投影裝置。在本實施例中，上述可逆結構光碼為格雷條紋光碼。另外，上述投影裝置為掃描式振鏡投影機。此外，上述表面為標準件的表面。再者，上述射線偏移資訊之運算透過式(5)。
綜上所述，本發明所揭露之投影設備與投影校正方法，透過投影裝置投射可逆結構光碼至表面上，且透過取像裝置對被投射可逆結構光碼的表面進行取像，並取得影像資料，以及透過處理裝置接收影像資料，並依據影像資料產生三維點雲資訊，且依據三維點雲資訊及對應表面之三維資訊進行運算，以取得對應投影裝置之射線偏移資訊。如此一來，可以有效地得到對應投影裝置之射線偏移量，以改善點雲資訊的品質及降低硬體的使用成本。
另外，本實施例的處理裝置還可進一步依據射線偏移資訊對投影裝置進行校正，使得投影裝置所投射之可逆結構光碼更為精確，以降低投影裝置的射線偏移量，並提高三維點雲資訊的品質，進而在兼顧點雲資訊品質的情況下，降低整體硬體成本。
補充說明的是，在一些實施例中，該處理裝置可以是一或多個之單核處理器或多核處理器結合記憶體，並經由軟/韌體驅動運作。
本發明雖以實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:投影設備
110:投影裝置
120:取像裝置
130:處理裝置
150:表面

Claims (20)

  1. 一種投影設備，包括：一振鏡式投影裝置，投射一可逆結構光碼至一表面上；一取像裝置，對被投射該可逆結構光碼的該表面進行取像，並取得一影像資料；以及一處理裝置，耦接該振鏡式投影裝置及該取像裝置，接收該影像資料，並經配置以執行依據該影像資料進行解碼以產生一三維點雲資訊，且依據該三維點雲資訊、對應該表面之一三維資訊、數筆補償深度資訊及一投影距離進行運算，以取得對應該振鏡式投影裝置之一射線偏移資訊。
  2. 如申請專利範圍第1項所述之投影設備，其中該處理裝置經配置更執行依據該三維點雲資訊與對應該表面之該三維資訊進行運算，以取得一深度誤差資訊，且依據該深度誤差資訊、該三維點雲資訊與該些補償深度資訊進行運算，以取得一投影誤差資訊，並依據該投影誤差資訊與該投影距離進行運算，以取得該射線偏移資訊。
  3. 如申請專利範圍第2項所述之投影設備，其中該射線偏移資訊之運算透過如下式：
    Figure 108144913-A0305-02-0017-23
     其中，θ(x,y)是該射線偏移資訊，d(x,y)是該投影誤差資訊，h是該投影距離。
  4. 如申請專利範圍第2項所述之投影設備，其中該處理裝置經配置更執行依據數個像素偏移量運算取得該些補償深度資訊。
  5. 如申請專利範圍第4項所述之投影設備，其中該處理裝置經配置更執行運算該三維點雲資訊與該些補償深度資訊間的數筆補償深度差，並依據該深度誤差資訊與該些補償深度差間之差距之最小者，選擇最小差距對應的該些像素偏移量中之一，並依據選擇的該像素偏移量運算該投影誤差資訊。
  6. 如申請專利範圍第5項所述之投影設備，其中該投影誤差資訊之運算透過如下式：△d (x,y)=(i,j)×Pd其中，△d (x,y)是該投影誤差資訊，(i,j)是像素偏移量，Pd是像素與長度間的轉換比例。
  7. 如申請專利範圍第1項所述之投影設備，其中該可逆結構光碼為一格雷條紋光碼。
  8. 如申請專利範圍第1項所述之投影設備，其中該振鏡式投影裝置為一掃描式振鏡投影機。
  9. 如申請專利範圍第1項所述之投影設備，其中該表面為一標準件的表面。
  10. 如申請專利範圍第1項所述之投影設備，其中該處理裝置更依據該射線偏移資訊校正該振鏡式投影裝置。
  11. 一種投影校正方法，包括： 透過一振鏡式投影裝置，投射一可逆結構光碼至一表面上；透過一取像裝置，對被投射該可逆結構光碼的該表面進行取像，並取得一影像資料；以及透過一處理裝置，接收該影像資料，並依據該影像資料進行解碼以產生一三維點雲資訊，且依據該三維點雲資訊、對應該表面之一三維資訊、數筆補償深度資訊及一投影距離進行運算，以取得對應該振鏡式投影裝置之一射線偏移資訊。
  12. 如申請專利範圍第11項所述之投影校正方法，其中透過該處理裝置，接收該影像資料，並依據該影像資料進行解碼以產生該三維點雲資訊，且依據該三維點雲資訊、對應該表面之該三維資訊、該些補償深度資訊及該投影距離進行運算，以取得對應該振鏡式投影裝置之該射線偏移資訊的步驟還包括：依據該三維點雲資訊與對應該表面之該三維資訊進行運算，以取得一深度誤差資訊；依據該深度誤差資訊、該三維點雲資訊與該些補償深度資訊進行運算，以取得一投影誤差資訊；以及依據該投影誤差資訊與該投影距離進行運算，以取得該射線偏移資訊。
  13. 如申請專利範圍第12項所述之投影校正方法，其中該射線偏移資訊之運算透過如下式：
    Figure 108144913-A0305-02-0019-24
     其中，θ(x,y)是該射線偏移資訊、d(x,y)是該投影誤差資訊及h是該投影距離。
  14. 如申請專利範圍第12項所述之投影校正方法，其中透過該處理裝置，接收該影像資料，並依據該影像資料進行解碼以產生該三維點雲資訊，且依據該三維點雲資訊及對應該表面之該三維資訊進行運算，以取得對應該振鏡式投影裝置之該射線偏移資訊的步驟還包括：經由該處理裝置依據數個像素偏移量運算取得該些補償深度資訊。
  15. 如申請專利範圍第13項所述之投影校正方法，其中依據該深度誤差資訊、該三維點雲資訊與該些補償深度資訊進行運算，以取得該投影誤差資訊的步驟包括：經由該處理裝置運算該三維點雲資訊與該些補償深度資訊間的數筆補償深度差；以及經由該處理裝置依據該深度誤差資訊與該些補償深度差間之差距之最小者，選擇最小差距對應的該些像素偏移量中之一，並依據選擇的該像素偏移量運算該投影誤差資訊。
  16. 如申請專利範圍第15項所述之投影校正方法，其中該投影誤差資訊之運算透過如下式：△d (x,y)=(i,j)×Pd其中，△d (x,y)是該投影誤差資訊，(i,j)是像素偏移量，Pd是像素與長度間的轉換比例。
  17. 如申請專利範圍第11項所述之投影校正方法，其中該可逆結構光碼為一格雷條紋光碼。
  18. 如申請專利範圍第11項所述之投影校正方法，其中該振鏡式投影裝置為一掃描式振鏡投影機。
  19. 如申請專利範圍第11項所述之投影校正方法，其中該表面為一標準件的表面。
  20. 如申請專利範圍第11項所述之投影校正方法，更包括：依據該射線偏移資訊校正該振鏡式投影裝置。
TW108144913A 2019-12-09 2019-12-09 投影設備與投影校正方法 TWI722703B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108144913A TWI722703B (zh) 2019-12-09 2019-12-09 投影設備與投影校正方法
CN201911373189.8A CN113038096B (zh) 2019-12-09 2019-12-27 投影设备与投影校正方法
US16/828,902 US11549805B2 (en) 2019-12-09 2020-03-24 Projecting apparatus and projecting calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108144913A TWI722703B (zh) 2019-12-09 2019-12-09 投影設備與投影校正方法

Publications (2)

Publication Number Publication Date
TWI722703B true TWI722703B (zh) 2021-03-21
TW202122904A TW202122904A (zh) 2021-06-16

Family

ID=76036137

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144913A TWI722703B (zh) 2019-12-09 2019-12-09 投影設備與投影校正方法

Country Status (3)

Country Link
US (1) US11549805B2 (zh)
CN (1) CN113038096B (zh)
TW (1) TWI722703B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115136602B (zh) * 2020-02-06 2025-02-25 交互数字Vc控股公司 具有多个测量结果的3d点云增强
CN111524238B (zh) * 2020-04-23 2022-02-01 南京航空航天大学 一种基于编码点驱动的三维点云变形方法
CN114332191A (zh) * 2021-11-29 2022-04-12 盛景智能科技(嘉兴)有限公司 三维点云误差补偿方法及装置
CN115115788B (zh) * 2022-08-12 2023-11-03 梅卡曼德（北京）机器人科技有限公司 三维重建方法、装置及电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201621811A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
US20190353767A1 (en) * 2016-11-17 2019-11-21 Trinamix Gmbh Detector for optically detecting at least one object

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975361B2 (en) * 2000-02-22 2005-12-13 Minolta Co., Ltd. Imaging system, two-dimensional photographing device and three-dimensional measuring device
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US7773827B2 (en) * 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
GB0615956D0 (en) * 2006-08-11 2006-09-20 Univ Heriot Watt Optical imaging of physical objects
US8172407B2 (en) * 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
CN102175179A (zh) 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US10008007B2 (en) * 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
EP3014332A4 (en) 2013-06-28 2017-01-25 Intel Corporation Mems scanning mirror light pattern generation
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US9305345B2 (en) * 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
DE102016105405B4 (de) 2015-03-25 2017-07-20 EXTEND3D GmbH Verfahren und eine Vorrichtungsanordnung zur hochgenauen, (semi-)automatischen in-situ-Kalibrierung und -Registrierung eines Projektor-Kamera-Systems zu einem Bauteil
US10203499B2 (en) * 2015-08-24 2019-02-12 Finisar Corporation Image projection system
CN105551039B (zh) * 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
AU2015275255A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Multi-projector alignment refinement
DE102015122842B4 (de) * 2015-12-27 2019-02-07 Faro Technologies, Inc. Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte
US10009585B2 (en) 2016-01-04 2018-06-26 Microvision, Inc. MEMS scan controlled keystone and distortion correction
CN105809668B (zh) 2016-01-15 2018-10-02 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
CN109212510B (zh) * 2017-07-04 2021-04-23 百度在线网络技术（北京）有限公司 用于测量多线激光雷达的角分辨率的方法和装置
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN107462184B (zh) 2017-08-15 2019-01-22 东南大学 一种结构光三维测量系统的参数重标定方法及其设备
US10681318B2 (en) * 2017-11-14 2020-06-09 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and slope-based correction
GB2569656B (en) * 2017-12-22 2020-07-22 Zivid Labs As Method and system for generating a three-dimensional image of an object
CN110300292B (zh) * 2018-03-22 2021-11-19 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US11971961B2 (en) * 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors
EP3682424B1 (en) * 2018-11-23 2021-02-17 Brainlab AG Relative pose determination of non-overlapping cameras
US11512946B2 (en) * 2020-02-17 2022-11-29 Purdue Research Foundation Method and system for automatic focusing for high-resolution structured light 3D imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201621811A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
US20190353767A1 (en) * 2016-11-17 2019-11-21 Trinamix Gmbh Detector for optically detecting at least one object
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
CN107607040B (zh) 2017-08-11 2020-01-14 天津大学 一种适用于强反射表面的三维扫描测量装置及方法

Also Published As

Publication number Publication date
US20210172732A1 (en) 2021-06-10
US11549805B2 (en) 2023-01-10
TW202122904A (zh) 2021-06-16
CN113038096B (zh) 2023-05-02
CN113038096A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
TWI722703B (zh) 投影設備與投影校正方法
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN109714536B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
US10027950B2 (en) Calibration of a three-dimensional acquisition system
CN103988048B (zh) 在空间编码幻灯片图像上的模式的对准方法和系统
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
KR102093622B1 (ko) 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치
US9696613B2 (en) Image processing apparatus, projector and image processing method
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
CN108260360B (zh) 场景深度计算方法、装置及终端
CN116363226A (zh) 一种实时的多相机多投影仪3d成像处理方法及装置
JP2016217833A (ja) 画像処理システム及び画像処理方法
CN106878697A (zh) 一种拍摄方法及其成像方法、装置和设备
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP2017032280A (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
CN114666558B (zh) 投影画面清晰度的检测方法、装置、存储介质及投影设备
JP5996233B2 (ja) 画像撮像装置
JP2014160998A (ja) 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
WO2016194576A1 (ja) 情報処理装置および方法
KR20180083245A (ko) 멀티 카메라의 정보 처리 장치 및 방법
CN113418472A (zh) 三维测量方法和系统
CN120107371B (zh) 成像装置的标定方法、设备、存储介质及产品
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치