TW201101812A - Derivation of 3D information from single camera and movement sensors - Google Patents

Description

201101812 六、發明說明： 【發明所屬之技彳軒，域】 發明的技術領域 本發明係有關從單一照相機及多個動作感測器導出3D 資訊的技術。 發明的技術背景 〇 Ik著手持式電子裝置的技術演進，目前可把各種不同類 型的功能結合到一單一裝置中，且該等裝置的尺寸外型也 變得越小。該等裝置可具有延伸的處理功率、虛擬鍵盤、 — 驗蜂巢式電話與網關路服務的無線連結、以及照相機 等等。尤其，照相機已經成為越來越受到歡迎的添加方案， 但包括在该等裝置中的照相機典型地受限於低解析度快照 以及簡短視訊鏡頭。該等裝置的小型、輕量、以及可攜式 需求使得無法把較複雜的用途包括在照相機中。例如，可 〇 肖著彳4實體上分離的位置拍攝相同物件的二張照片來致能 3D照相術，進而給予相同場景的稍稍不同視覺觀點。用於 «亥種立體成像演繹法的技術典型地需要正確地知悉從拍攝 該等二張照片之二個位置的相對幾何學。尤其，使該等二 個照相機位置分離的距離以及光軸的收斂角度是從該等影 像摘取出深度資訊的基本資訊。習知技術典型地需要二台 照相機從相對於彼此的剛性固定位置同時拍攝照片，其可 &需要費用較高以及令人困㈣設定方式。此種方法對小 型以及相料昂貴的铸式裝置來說並不切實際。 201101812 【發明内容】 發明的概要說明 依據本發明的-實施例，係特地提出一種設備，其包 3·-照相機’其用以在„第_時間從—第—位置拍攝— 物件的一第—照片，並且用以在一第二時間從-第二位置 拍攝遠物件的一第二照片；耗合至該照相機的一動作測量 裝置4動作測$裝置用以判定該照相機針對該等第—與 第二照片在角度方向上的改變、以及該照相機在該等第: 與第二位置間在線性位置上的改變；以及一處理裝置其 用以根據該角度方向上的該等改變以及該線性位置上的該 等改變，狀有關該物件相料該照相_三維資訊。 圖式簡單說明 可參照用以展不出本發明實施例的下列圖式與發明詳 細說明而了解本發明的某些實施例。在圖式中： 第1圖展示出根據本發明一實施例之一種具有内建式 照相機的多功能手持式使用者裝置。 第2A圖與第2B圖展示出根據本發明一實施例之—種 用以參照線性與角度動作的框架。 第3圖展示出根據本發明一實施例之一種在不同時間 從不同位置拍攝相同物件之二張照片的照相機。 第4圖展示出根據本發明—實施例的—種影像，該影像 描繪出處於一偏離中心位置的一物件。 第5圖以流程圖展示出根據本發明—實施例之—種使用 單一照相機來提供—物件之3D資訊的方法。 201101812 L 万包】 較佳實施例的詳細說明 在以下的詳細說明中 可了解的是，不需要料.出夕種特疋的細節。然而， 个而要該轉^㈣可 其他事例中，並不詳細地說明已知的電路、《明。在 術，以避免模糊本發明的焦點。 〜構、以及技 Ο ❹ 所提及的'、—實施例"、:1實施例"、、'範例,，'、 知例料係表示所述的本發明實施例可 夕種實 徵、結構、或特性，但並非每種實施例皆包括特定特 結構、或特性。再者，某些 Μ特疋特徵、 所述的某些或全部贿，或者可科備任^^他實施例 在本發明的說明以及申請專利範圍中，=特徵。 ''耗合"與''連接"用語以及其變化形式。應該了解;!所謂的 用語並非作為彼此的同義 了解的疋，該等 使用''連接"來表示二個或 之，在特定實施例中，可 接觸1合"可表示來表二件直接物理性或電性地 作或者互動，外财㈣更多個元件彼此互相合 以社/ 可直接物理性或電性地接觸。 用下丨圍中使用地，除非另外詳細說明之外，使 、十，一歹1开劇''第—的"、''第二的"、、'第三的"等等來描 述一共同物件的方式僅表示提及相同物件的不同實例，而 非思指如此描述的該等物件必須有一定的順序，不管是時 間上、空間上、排序上、或是其他方式。 可把本《明的各種不同實施例實行於硬體、城與軟體 中之或其任何組合中。亦可把本發明實行為包含在一電 201101812 腦 可讀媒體中或上面的指令， 讀取且執行時可令本發明所述的_ 或多個處理器 體可包括用以健存呈一或多台電月::進仃。-電腦可讀媒 的任何機構。例如，—電 /⑼取之—形式之資訊 體，例如但不㈣.# ^媒體可包括—有形儲存媒 叫磁碟物體 等。 #賴體，㈣記憶體裝置等 本發明的各種不同實施例令—單_照相機練著在不 =從不同位置拍攝相同場景的二張照片並且:該昭相 機移動到,昭片夕pq ΛΑ 丁 η 唯陳 置來導出-或多個物件的三 f 線性動作感測器可絲狀該照相機已在昭 二之間移動了多遠，進而提供用於分離距離的—基線。角 度動作感測器可用來判定該照相機在方向上的改變，進而 提供所需的收斂角度。儘管該種位置與角度資訊可能不如 -台剛性安置照相機所得狀資訊—般地準確，此種準確 性對許多制程式來說已經足夠，幼較於較笨重方式來 說，已經能實質上降低成本與大小。 動作感測器可有各種不同形式。例如，三個位於彼此垂 直角度的線性動作加速度計可提供三維空間的加速資訊， 此資訊可被轉換成三維空間的線性動作資訊，並且可依次 地被轉換成三維空間的位置性資訊。相似地，角度動作加 速度計可提供有關三條正交軸的轉動加速資訊，此資訊可 被轉換成二維空間中角度方向的一改變。可以使具有人理 準確性的加速度計較不昂貴且在外型尺寸上較為輕巧，尤 201101812 其是如果它們僅需在短時間内提供測量結果。 從該等二張照片導出的資訊可用於各種 但不限於： ]方式，例如 υ可判定出在場景中—或多個物件的照相機對物件距 離0 2) 該多個物件的照相機對物件距離可用來導出該等物 件與該照城及/或其彼此之Fa1之相對輯的—層疊式描 Ο 述。 3) 藉著拍攝周邊區域的—連串照片，可以自動地㈣ 整個區域的-3D地圖。依據線性與角度測量裝置的長期準 綠性’此動作可能可以簡單地藉著在舰域中移動並且拍 攝照片’來產生-大面積區域的地圖，只要各張照片與至 少-張其他照片共同具有至少—物件，以便能進料當的 三角測量計算。 第1圖展示出根據本發明一實施例之-種具有内建式 照相機的多功能手持式使用者裝置。裝置m展示出顯示 器120以及照相機鏡頭130。該照相機的剩餘部份，^ —處理器、記憶體、無線電廣播、與其他硬體和敕體功能， 可包含在《置中，且並未在此圖式中顯示出來。用以判 定動作與方向的裝置，包括機械部件、電路、以及軟體， 可位於該照相機的外部，但物理性地且電性軸合至該照 相機。雖然係把所展示的裝f 11()解說為具有—特定形 狀、比例、以及外觀，此種解說僅為舉利用，且本發明的 實施例並衫限於此種特定實態。在某㈣施例中， 201101812 裝置110可主要地為一照相機裝置，而没有過多個額外功 能。在某些實施例中’裝置；U0可為一種多功能裝置，而 具有許多與S亥照相機無關的其他功能。為了方便展示的目 的，係把顯示器120與照相機鏡頭13〇展示為位於該裝置 的相同側邊，但在許多實施例中，該鏡頭可位於該裝置上 與該顯示器相對的側邊，以使該顯示器可作為一取景器以 供使用者使用。 第2A圖與帛2B圖展示出根據本發明_實施例之一種 用以參照線性與角度動作的框架。假設有3條彼此垂直轴 X、Y與Z ’ f 2A ®展示出如何把線性動作解說為沿著各 軸的一線性向量，而第2B圖展示出如何把角度動作解說為 繞著各轴的一轉動動作。整體來說，該等6個動作度可描 述一物件（例如，一照相機）在三維空間中的任何位置性或 轉動性動作。然而，該XYZ框架可相對於該照相機而改變， 相較於用於該周邊區域的一 XYZ框架。例如，如果動作感 測器’例如加速度計，係剛性地安設在該照相機上，提供 該等感測器之一參照的該等χγΖ軸將來自該照相機的參考 點’且該等XYZ軸將隨著該照相機轉動而轉動。但如果所 需的動作資訊為相對於位於該照相機外部之一固定參照的 動作’例如地面，該改變中内部XYZ參照可能需要被轉換 成相對不可移動的外部XYZ參照。幸運地，用於該種轉換 方式的演繹法是已知的，且將不在以下作進一步的詳細說 明。 一種用於測量動作的技術是使用於相對於該照相機之 201101812 一固定定向耦合至該照相機的加速度計。當該照相機從一 位置移動到另〜個位置時，三個線性加速度計，其測量軸 各與該等三條X、γ與z軸中之一平行，可檢測該等三個範 圍中的線性加速度。假設該照相機的初始速度以及位置是 已知的（例如’從位於一已知位置的停止點開始），該等加 速度計所檢測到的加速度可用來計算沿著各軸的速度，其 可依次地用來計算在一給定時點的一位置改變。因為地心 引力可被檢測為於垂直方向的加速度，可從計算結果中去 除地心引力。如果該照相機在進行一項測量動作時並未處 於一水平位置，該X及/或丫加速度計可·檢測到地心引力的 一因素’且亦可從該等計算結果中去除此因素。 相似地’三個角度加速度計，其轉動軸各與該等三條X、 Y與Z軸中之一平行，可用來檢測該照相機在三個範圍中 的轉動加速度（即，可使該照相機轉動而指向任何方向）， 獨立於該線性動作。此可被轉換成角度速度，且隨後被轉 換成角度位置。 因為測篁加速度的一微小錯誤就會導致速度與位置的 連續性漸增錯誤，可能需要定期地校準該等加速度計。例 如，如果假設在拍攝該第一照片時，該照相機為靜止的， 便可把該時點的加速度計讀取結果假設為代表一靜態照相 機，且僅有來自該等讀取結果的改變才會被解釋為一項動 作指示。 可使用其他技術來檢測移動動作。例如，一全球定位系 統（G P S)可用來在任何給定時間相對於地球座標而定位該 9 201101812 照相機，且可因此直接地判定出不同照片的位置資訊。一 電子羅盤可用來判定在任何給定時間中該照相機所指向的 方向，亦相對於地球座標，並且可直接地從該羅盤判定出 不同照片之光軸的方向性資訊。在某些實施例中，可能合 要求使用者在要拍攝照片時，盡他/她所能的把該照相機置 於水平位置（例如，可在該照相機上備置一氣泡水平儀，或 根據備置在該相機上之一電子傾斜感測器的一指示），以使 線性感測器的數字降低為2 (X與Y水平感測器），並且使 方向性感測器的數字降低為1 (繞著該垂直Z軸）。如果使 用一電子傾斜感測器，它可對該照相機提供水平資訊以 防止在該照相機並未處於水平狀況時就拍攝照片，或者提 供校正資訊以補償拍攝相片時照相機未處於水平狀況所造 成的結果。在某些實施例中，可從外部來源把位置性及/或 方向性貧訊輸入到該照相機，例如由該使用者，或者由利 用不屬於本發明範圍内的方法來判定此資訊並且無線地傳 輸該資訊到該照相機之動作檢測系統的一本地定位器系 統。在某些實施例中，可備置視覺性指示器，以協助使用 者於右手邊方向轉動該照相機。例如，觀景螢幕中的一指 Γ (例如，箭碩、圓圈、歪斜方塊等）可對使用者展示出 要於那個方向轉動該照相機(左/右及/或上/下）’以視覺性 地取传该第二照片中的所欲物件。在某些實施例中，可使 用°亥等各種不同技術雜合(例如，針對線性移動使用GPS 座紅，且針對轉動式移動使用角度加速度計）。在某些實施 Λ ’’、、相機可具有其可得之該等多種技術中的多項技 10 201101812 或者透過人工選擇的方式 第3圖展示出根據本發明—每 月只鈿例之—種在不同時間 從不同位置拍攝相同物件之二張昭 浓…月的照相機。在所展示

的貝例中’照相機30拍攝物件A與物件日的—第一照片， 而該照相機的光轴（即，該照相機所指向的方向等於該照 片的中心）指向方向1。物件A與物件B針_於此光軸的方 向係以虛線展示。在把照相機3〇㈣到該第二位置之後， 照相機30拍攝物件A與物件b的穿 干B的一第二照片，而該照相機 的光軸指向方向2。如此圖式所+ Λ所不’可使該照相機在該等 第-與第二位置之間以某種間接路徑移動。實際上，在最 終計算過程巾’重要的是料第―與第二位置而非在其 間遵循的路徑，但在某些實施例中，—複雜路徑可能會使 判定該第二位置的程序複雜化。 如可見地，在此實财，該等物件巾沒餘—個直接地 位於照片的中央，但可根據該照相_光轴以及該物件針 對該光軸而出現在該照）ί巾的位置，從賴相機計算出各 個物件的方向。第4圖展示出根據本發明—實施例的—種 影像，該影像描繪出處於-偏離中心位置的„_物件。該昭 相機的光軸將位於所拍攝之任何照片的争心，如第4 °圖; 示。如果物件Α位於該影像中的偏離中心位置，可容易地 把介於該絲以及該物件位於該影像令之位置之間 差異'〇!’轉換成與該光㈣—角度差異，其衫該物件與該 11 201101812 照相機的實體轉為何，應該是相_。絲圍、d,展示出 -水平差異’但如果需要的話’亦可利用相似方式判定出 一垂直差異。 因此，可藉著取得該照相機指向之方向，並且根據該物 件j該照片中的佈置來鑛财向，而從各個照相機位置 冲算出各個物件的方向。假設在本發明說明中，該照相機 針對二張照片使用相同的視野(例如，不在該等第二 照片之間進行拉近拉遠動作），因此二張照片之影像中的= 相同位置將提供相同的角度差異。如果使用不同的視野， 可能必須使用不同的轉換值來計算各個照片的角度差显。 但如果在二張照片中該物件係與該光軸校準，並^要進 行偏t中叫計算動作。在該種狀況中，在該等第-^ -知片之間進行-光學拉近拉遠動作是 為不管視野為何，該光轴將是相同的。 接又的，因 各種不同實施例亦可具有其他 處所述的特徵之外。例如，在某些實施例中:：二= 機處於水平位置及Μ穩定的，否_= 一照片。在某些實施例中， 一去拍攝 到位於近處的一第二位置，且：吏用，照相機移動 穩定的，該照相機便可自動地拍攝該第H在某^ 施例中，在移動到該第二位置且拍攝相同物件的物件= 照片之前’可在各個位置拍攝數張不同照片，^ 中在一不同物件上。可如上面針斟二張照片解說的相同: 式來對待相同物件的各個照片組。 万 12 201101812 根據從該照相機到各個物件的位置改變以及方 狀況，可以針對物件Aik 變 不同3D 中的各個物件來計算各種 -位置〜… 圖式中’該第二照相機位置比該第 #近於。亥物件’且亦 例中，如果-物件在—㈣^ 差異。在某些貫施 m ^ 在張照片中顯示出的大小不同於在另 Ο ❹ 離:：丨:不出的大小，該等相對大小可協助計算出距 ==至少計算出相_離資訊根 , 亦可汁异出其他幾何關係性。 第5 _流_展㈣根據本制—實施例之一種使 用早一照相機來提供一物件之 聊中，在某些實施例中，外序了貝;1 掘的方法。在流程圖 序可於刼作510中藉著校 準4位置與方向感測器而開始，必要的話。如果_作 感測動作係由加速度計來進行，可能需要針對該第一位置 ，立:零速度讀取值，不管是在操作52〇中拍攝該第—昭 片之前或者之後，或者同時間。如果沒有東西需要校準Γ =跳過操作训，且可藉著在操作聊中拍攝該第一 來開始此程序。隨後，在操作53〇中，可使該照移動 第二位置，其中將拍攝下該第二照片。依據所使用的 算=類型，在㈣洲中，可在移動過程中監看並且計 异違線性及/或轉動性動作(例如，針對加速度計） 簡單地在拍攝下該第二照片時判定出該第二位 如’針對GPS及/或羅盤讀取值）。在操作55〇中將 下該第二照片。根據位置資訊的改變以及方向性資訊的改 艾可以在插作560中計算出各種不同類型的扣資訊， 13 201101812 且此資訊可用於各種不同用途。 以上的發明說明僅用於描述用途而不具限制性。對熟知 技藝者來說，將有多種變化方案。該等變化方案係意圖包 括在本發明的各種不同實施例中，且該等實施例僅受到申 請專利範圍的界定。 I：圖式簡單說明3 第1圖展示出根據本發明一實施例之一種具有内建式 照相機的多功能手持式使用者裝置。 第2A圖與第2B圖展示出根據本發明一實施例之一種 用以參照線性與角度動作的框架。 第3圖展示出根據本發明一實施例之一種在不同時間 從不同位置拍攝相同物件之二張照片的照相機。 第4圖展示出根據本發明一實施例的一種影像，該影像 描繪出處於一偏離中心位置的一物件。 第5圖以流程圖展示出根據本發明一實施例之一種使用 單一照相機來提供一物件之3D資訊的方法。 【主要元件符號說明】 110···多功能手持式使用者裝置 120···顯示器 130···照相機鏡頭 30…照相機 500…方法 510〜560…操作/步驟 14

Claims (1)

1. 201101812 七、申請專利範圍： t —種設備，其包含： —照相機，其用以在一第一時間從一第一位置拍攝一物 件的一第一照片，並且用以在一第二時間從—第二位置 拍攝該物件的一第二照片； 耦合至該照相機的一動作測量裝置，該動作測量裝置用 以判定該照相機針對該等第一與第二照片在角度方向

   上的改變、以及該照相機在該等第一與第二位置間在線 性位置上的改變；以及 —處理裝置，其用以根據該角度方向上的該等改變以及 該線性位置上的鱗改變，狀#_物件相對於該照 相機的三維資訊。 2·如申請專利第W之設備，其中該動作測量裝置包 含多個線性加速度計。 3_如申請專利範圍第丄項之設備，其中該動作 含至少一角度加速度計。 4·如申請柄制第0之設備，其巾__量裝置包 含用以判定該等第一與第二位置間之線性距離的一全 球定位系統。 5 如申請專·圍第！項之設備，其中該動作測量裝置包 含用以判定該照相機在該等第一與第二照片間在角度 方向上之一改變的一方向性羅盤。 6· 種方法，其包含下列步驟： 15 201101812 以一照相機在一第—時間從一第一位置拍攝一物件的 一第一照片； 使該照相機從該第一位置移動到一第二位置； 以該照相機在一第二時間從該第二位置拍攝該物件的 一弟·一照片；以及 由與該照相機福合的多個電子裝置，判定該等第一與第 ,位置間的-線性距離、以及該照相機之—光軸在該等 弟與第一時間之間的一角度改變。 7. 如申請專利範圍第6項之方法，其另包含根據該線性距 離以及該角度改變，判定該物件相對於該等第一與第二 位置的一位置。 8. 如申請專利範圍第6項之方法，其中該判衫驟包含： 沿著多《錄«加速度，料仪該魏距離；以及 Γ繞著至少—轉動軸㈣度加速度，明定該角度改 變。 9. ^請專利範圍第6項之方法’其中該批步驟包含在 白攝該第一照片之前把該照相機設置呈水平第一欠，且 第二照片之前把該照相機設置呈水平第 10. 如申凊專利範圍第6項之方法，其中判定 該步驟，包含部分地根據該物件在該第-照^的= 置而針對該第-照片判定該物件的-角度方向 a 分地根據該物件在該第二昭 且部 …乃T的一位置而針 二照片判定該物件的-角度方向。 情㈣ 16

   201101812 u·如申請專利範圍第6項之 兮牛 、法，其中判定該線性距離的 〜驟使用-全球定㈣絲判定該等第一與第 置。 =專利細6項之方法，其中判定該角度改變的 Z 含❹—羅盤來判定針對該絲在該第-時 竭以及在該第二時間的方向。 13_ —種物品，其包含： =有，令的-電腦可讀儲存媒體，該等指令受一或多個 處理器執行時將致使下觸作進行： 判定出用則ό攝-物狀—第―"之—照相機之 一光軸的一第一位置以及一第—方向； 判定出用以拍攝該物件之—第二"之該照相機之 該光軸的一第二位置以及一第二方向；以及 1疋出β等第-與第二位置間的—線性距離以及該 等第-與第二位置間之該光軸的一角度改變。 14·如申請專利範圍第13項之物品，其另包含下列操作: 根據該線性距離以及該角度改變，判定該物件相對於該 等第一與第二位置的一位置。 15_如申請相範圍第13項之物品，其巾狀該線性距離 的該操作，包含沿著多條垂直軸測量加速度。 士申明專利範圍第13項之物品’其中判定該線性距離 的該操作’包含以一全球定位系統(GPS)系統判定該等 第一與第二位置。 17 201101812 17. 如申請專利範圍第13項之物品，其中判定該光軸之角 度改變的該操作，包含測量繞著至少一轉動軸的角度加 速度。 18. 如申請專利範圍第13項之物品，其中判定該角度改變 的該操作，包含根據該物件在該第一照片中的一位置來 針對該第一照片判定該物件的一角度方向，並且根據該 物件在該第二照片中的一位置來針對該第二照片判定 該物件的一角度方向。 19·如申請專利範圍第13項之物品，其中判定該線性距離 的該操作，包含使用一全球定位系統來判定該等第一與 第二位置。 20.如申請專利範圍第13項之物品，其中判定該角度改變 的該操作，包含使用一電子羅盤來判定該光轴針對該第 一照片以及針對該第二照片的一方向。 18