TW297985B - - Google Patents

Description

經濟部中央橾準局貝工消費合作社印装 4 ϋ 9 <3 5 Α7 _Β7五、發明説明（1 ) 曼明領域 '本發明關於廣義的視頻會議，更特定於視頻會議系統及 技術，，此技術提供每一位觀眾與遠端被觀看者影像之間的 視線接觸9 發明背景 視頻會議系統的主要目的之一是提供遠端人物彼此互動 的有效媒介。進行任何會議時，基本的是能看到不同的與 會人員龙與之互動。所以視頻會議系統必須滿足的最重要 的要求之一就是視覺。同樣也要看到會議中誰正在注視著 誰。 所有的視韻會議系統在每一端都使用至少一部終端機和 至少一台照相機以顯示遠端開會者以及取得區域開會者的 影像。視頻會議系統中現行的這些設備配置一直有個問題 發生，稱作"視差效應"，使得説話者以及他或她的説話對 象亦即遠端的收看者之間沒有視線接觸。基本上，這個效 應是因爲照相機對於終端機與收看者的位置所產生。 圖1説明了視差效應。見圖1中，每個開會者Α與Β看著各 自的顯示器_12與14，各個顯示器具有展現另一位開會者影 像的視窗。伴同每個顯示器的是視頻相機以擷取相關收視 身的影像。每台相機可以放在隨同的顯示器的上方、下方 、或左右任一方。圖1顯示的先前技藝系統中，相機16與 18分別直接置於顯示器12與14的上面。角度Θ表示相機16 與顯示器12對收視者A的夹角。因爲開會者A直接凝視著開 會者B的顯像’而非相機16，所以A的顯像看起來是注視著 -4- 本紙浪尺度通用中國國家標準（CNS ) A4規格（210x297公麓） (請先閱讀背面之注意事項再填寫本頁) 丨裝. 訂 • m · 經濟部中央標準局貝工消費合作杜印製 A7 __B7____ 五、發明説明（2 ) 下方。視差效應也對開會者B的顯像有類似的影響。 •熟悉本技藝的人將可確定，如果盡量把相機與終端機放 的很靠近，便能夠減少視差效應。事實上，先前消除視差 效應的努力便是依靠把相機直接放在特製的顯示螢幕後面 。例如，1977年十月十八日頒給p〇ieier等人的美國專利 No. 4,054,908便是將觀賞者的影像透過傾斜的反射板反射 到相機鏡頭。觀賞者透過反射板上的窗口收看顯示器螢幕 。但是因爲讚了洞的板子上有窗口的存在，多少造成觀賞 者的困擾。也有人提出利用電子晶體螢幕，可以在某個頻 率下在不透明與透明狀態之間變換，此頻率足夠讓觀賞者 的影像在透明狀態時到達相機，並在不透明的反射狀態時 展示顯像。其缺點是這種閃爍的螢幕中顯示的影像有令人 無法接受的低亮度。且螢幕構造與相關的驅動線路都造價 筇貴。 已經有人提出所謂的虛擬空間視頻會議系統，嘗試提供 全視覺面向並且傳達三個或更多與會人員之間的空間關係 。這樣的系統中，每一端的監視器與相機對的數量便和遠 端與會人員的總數有關，並且在每一端，每個開會者 對應的監視器相機對的相對位置是固定的。圖2畫出這—類 黑的示範系統。每一位收看主體（A，B，c與D)坐在相關房 間（1，2，3或4)的旋轉椅上，伴有三台電視監視器代表其 他三位"實際面向"的開會者。這樣子，比如説觀赏主體（a) 坐在1號房裡的旋轉椅上，並有三台電視監視器代表三個" 實際面向”的開會者(B，C，與D)。每個房間裡的監視器/ 本紙張尺度適用中國國家標準（CNS ) A4規洛（21〇χ297公釐 (請先閱讀背面之注意事項再填寫本頁) 丨裝 訂- 經濟部中央標準局員工消費合作社印製 A7 •___；_____B7 五、發明説明（3 ) 相機對的安排，完全依照每位開會者的位置，就如同他們 都坐在同一張方桌旁邊。這些相機的信號通過視頻開關單 元，透過動態分配網路傳到相關的目的監視器中。 圖2的虚擬空間系統提供給三個或更多開會者能夠看到再 會議中誰正注視著誰。但是開會者之間的視線接觸還是要 靠前面討論到的鑽洞或半反射螢幕裝置來達成。甚者，需 要更多的視頻頻道來提供所需的開會者空間配置，意味著 需要大量的傳輸頻寬。 發明簡述 本發明的系統與處理運用了即時影像分析與處理技術， 對展示給遠端觀赏者的影像提供有意義的頭部方位與/或視 線接觸而克服前述的缺點。根據本發明建構的視頻會議系 統包括：每一會議室中至少有一具視頻電話，此視頻電話包 含產生視頻信號的視頻相機，此視頻信號代表一申的區域 開會者影像圖格；以及影像接收器來顯示至少一位遠端開 會者的影像圖格。影像接收器、視頻相機、以及區域開會 者的眼睛定義了視差角。視頻會議系統還包括圖格產生系 統’回應衿視頻信號以分析區域開會者的影像圖格並產生 一串相關的視差補償圖格。分別代表每一串視差補償圖格 '的信號傳送到相關的影像接收器，提供每—位區域開會者 與相關的遠端開會者顯像之間的視線接觸。 如果有超過兩個開會者參與，圖格產生裝置會分析每個 輸入景> 像圖格的頭部位置，並依需要重新定位，以提供出 席感測。例如，每個影像接收器可以在一個分離視窗的顯 本紙浃尺度適用中國國家標準（CNS ) A4规格（210X297公釐） (請先閱讀背面之注意事項再填寫本頁) -裝 訂- 經濟部中央標準局員工消費合作社印製 A7 B7 五、發明説明（4 ) 不器中展現兩個遠端開會者。每個輸入影像圖格映射到三 度空間的橢圓體頭部模型，再旋轉一預定的角度以得到適 當的凝視方向，並且重點概括成二度空間的重建影像圖格 °然後將代表重建影像圖格的信號送到適當的遠端影像接 收器。如此’根據本發明，每位開會者便可以辨別出會議 中誰注視著誰。 本發明其他的特性從以下細節的説明益結合附圖可以更 加清楚。但要明白，附圖只作爲説明用，並非定義本發明 的限制，本發明的定義需參考附綠的申請專利範圍。 圖示簡述 附圖中，相似的參考字母在許多圖案中代表相似的元件： 圖1畫出傳統的單人相機（SPC)視頻會議系統的運作； 圖2畫出傳統的虛擬空間視頻會議系統； 圖3 Α是根據本發明説明的具體實施例建造的視頻會議系 統方塊圖； 圖3B是圖3A視頻會議系統的正視圖； 圖4是搜尋表的圖形表示，此表可以根據本發明所使用的 眼睛合成技_術提供像素値； 圖5的流程圖畫出創新的影像分析及處理技術的步驟，此 庚驟具有根據本發明所提供的視差修正； . 圖6爲説明視頻會議系統作業的正視圖，此系統根據本發 明提供三位開會者的出席感測；以及 圖7的流程圖畫出修改過的影像分析及處理技術，此技術 在圖5系統的操作中執行視差修正與頭部重定位以產生出席 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公，董） (請先閱讀背面之注意事項再填寫本頁) 丨裝. 訂 經濟部中央標準局員工消費合作杜印製 五、發明説明（ 感測。 詳細説明 本發明具體實施例所建構的會議系統2〇。 二傳會議的每位開會者觀看著個別的顯示 器22與24 0母個顯示器可以公 分°】成—個或更多視窗以顯示 相關數量的遠端開會者影傻。也丨i ^ — 像例如’可能有兩個會議地點 而母一地點有—位開會者。诘嫌 ^這樣子，圖3 A中，開會者A與 B分別置身於相關的會議地 霄峨地點26與2§中，並且分別顯示在 顯示器22與24上。 圖3Αί出的具體實施例中，開會者八與8的影像一開始 分別由視頻相機30與32攝得。相機3〇與32的類比輸出信 號以傳統的方式轉換成數位形式，經過預先處理，並且編 碼降低位元率以便在電傳通訊網路（未畫出）上或透過電傳 通訊網路傳輸。執行前述信號處理功能的系統與技術是周 知的’並不算構成本發明的新穎部份；因此，相信不需要 詳述此技術而在此省略。 繼續參閲圖3Α ’可以看到每個相機送來的數位化視頻信 號並非直接傳到相關的目的顯示器上。而是爲了現在要解 釋的目的，相機30與32的輸出送到適當的處理裝置34，例 为高處理速度的電腦。基本上，處理裝置34提供即時把收 到的原始輸入視頻一個圖格接著一個圖格做分祈^，並且修 改每給輸入圖格的影像以恢復顯示影像跟觀察者之間的視 線接觸。修改過的圖格接著即時傳送到適當的目的顯示器 -8- 本紙張尺度適用中國國家標準（cNS ) A4規格（21〇χ297公釐） I--1----{-裝-----：—訂------^ i (請先閱讀背面之注意事項再填寫本頁) 經濟部中央橾準局員工消費合作杜印製 A7 __：_____B7 __ 五、發明说明（6) 如前面參考圖1中討論過的，將相機直接置於顯示器上面 造成相機、觀察者A的眼睛、以及開會者B的顯像之間形成 一個視差負度Θ。圖3B裡面重複了相機、顯示器與觀察者 的安排。雖然畫出來的每台相機都位於相關的顯示器上方 ’但熟悉本技藝者能輕易暸解相機也可以擺在顯示器的下 方或者左右任何一邊。根據本發明，處理裝置34執行視差 修正。爲達成此目的，首先必須先決定視差角Θ。 爲了增加精確度，有許多方法可以用來決定視差角Θ。 圖3 A與3 B的具體實施例中，只有兩個開會者的影像需要修 改’每個開會者都筆直往前看，假定忽略A與b的移動，則 可以根據相機與顯示器的相對位置決定固定的角度Θ。或 者，假定A顯示器上的B影像移動不大，則可以分析相機a 所攝取的影像以決定需要對A的影像修正多少才能讓它面向 正前方。需要修正的角度多少’標示爲0，可以用具有靜 態或隨時間變化之特定機率分佈的隨機變數來模擬。假設 大部份時間A都注視著B的影像，則視差角θ的式子可以寫 成具有期望値0，亦即E[0]。 若用前述的不移動假設，則只需要訂出每個影像圖格中 眼睛的位置，再修改圖格以修正視差角Θ。從數位化的影 典中找出臉部容貌如眼睛、鼻子與嘴巴的特徵抽取技術已 是眾知，故不在此細述。類似地，修改這種影像裡局部區 域的技術也是熟悉本技藝者所周知的。任何情況下，因爲 眼睛只佔據整個臉部或影像的一小部份，所以只要運用簡 單的合成眼睛便可達成讓眼睛轉向前看的工作。眼晴合成 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公帑） (請先閱讀背面之注意事項再填寫本頁) -裝- 訂

Vi? <3ί> Α7 Β7 經濟部中央標準局員工消費合作社印製 五、發明説明（7 ) 的可行性有賴人類觀察者對於眼睛這樣相對狹小區域之鏡 像雜訊的天然容忍度。關於這一點，要注意相機與顯示器 的相對位置會影響眼睛合成演算法的複雜度以及所得結果 的品質。特別是，眼瞼的位置受到注視方向的垂直成分影 響很大，所以如果眼睛需要垂直移動，則G的顯像也一樣 ，眼瞼也需修改以避免知覺上的不協調《若相機位於顯示 器的旁邊，則眼瞼不需改變，因爲眼睛是合成的。因此， 特別偏好將相機置於顯示器的旁邊。 爲了合成眼睛的影像，程式需決定周圍眼瞼的邊界。眼 瞼主要與眼白相鄰，但經常也在頂端及底端與眼珠相鄰。 此邊界内的整個區域都要合成。如果主體與相機距離太遠（ 使得攝取的影像中眼睛很小），則提供跟觀察者視線接觸所 需的瞳孔位置，可以僅在正確的位置上加一個大小適中的 黑色圓圈區域便能達成。 如果主體與相機/監視器夠接近，則可以在眼晴輪廓内亦 即介於上下眼險之間的每個像素位置產生全新的明暗値。 除了眼晴的輪廓以外，還利用五個額外的參數來合成新眼 睛：曈孔中y的兩個座標、虹膜半徑、虹膜灰階、以及眼白 的$階。邊界偵測法可得到簡單的邊界表示：包含某範圍内 灼每一個γ値對應一個最小與最大的虹膜X座標。基本的眼 睛，縱演算法中會計算虹膜的明暗度，類似地在限白邊界 決疋過程中會计算眼白灰度與眼睛輪廉。例如，可以根據 參數混成函數的方法來執行眼睛合成，此方法中，虹膜的 直位與雙万眼對眼的距離成正比。當主體移動靠近或遠離 (請先閲讀背面之注意事項再填寫本頁) 丨裝· 訂. -10-

經濟部中央標準局員工消費合作杜印製 A7 --:__：_ ^B7 五、發明説明（8 ) 相機時，眼對眼的距離可提供適當的大小依據。 •如上面所討論的，固定的角度θ可以根據相機與顯示器 的相對位置來決定。例如，相機可以置於顯示器的一侧並 與顯示器同高。爲達本發明的㈣，可以假設使用者注視 著顯示器而非其他地方。這樣，如果使用者注視其他地方 ’則合成的影像將不再與觀看者維持眼晴接觸。以這種方 式來安排相機與顯示器的話，虹膜與瞳孔可以水平移動幾 何相關的距離，不含垂直移動。移動的距離與眼對眼的距 離成反比。例如，合成演算法可以設計來計算到合成瞳孔 中心有多少修正縱橫尺寸比例的水平像素。根據此距離與 合成虹膜半徑的比例所得到的搜尋表可以供應虹膜層次與 眼白層次的混合係數：1代表虹膜層次而〇代表眼白層次，兩 者間以線性混合。圖4畫出搜尋表的圖形表示。大於i的項 目產生同樣比較暗的虹膜。熟悉本技藝的人將瞭解，以上 述方式合成的眼睛將缺乏反射的聚光，而這正是賦予眼晴 深邃及輪廓的印象。如此，可能需要以傳統方式在影像中 加上這種聚光。利用摩托羅拉88000尺18(：處理器對單—輸 入視頻圖格-執行前述的影像分析及處理操作時，會花i 177 毫秒找出瞳孔與眼白邊緣的位置，〇· i ?6毫秒對邊界做後 爲理，1.670毫秒合成新的眼睛，以及1453毫秒產生即時 影像與文字顯示。當然，處理器的時間對影像平面上的眼 睛影像是敏感的。但是，即使極度靠近，仍然可以在一個 圖格的時段内，在具有合成眼晴的圖格上產生一個修改的 圖格。結果，便可以即時產生一連串的視差補償影像圖格 本紙張尺度適用中國國家標隼（CNS ) Λ4規格（2ι〇Χ 297公釐） , ^ I裝-----'--訂------ί』 (請先閱讀背面之注意事項再填寫本頁) 經濟部中央標準局貞工消費合作社印装 A7 ____B7 五、發明説明（9 ) 而方便地提供視線接觸給視頻會議系統的使用者而不會犧 牲圖格率》 若A與B都移動的話便不能利用前述的假設。若需要補償 精確的視差角Θ，則需要偵測a的眼睛位置與顯示器2 4上B 的眼睛位置。任何適當的影像分析技術都可以用來偵測眼 晴位置以達成本發明的目標。只利用文中説明的例子，在 類神經資訊處理系統（NIPS)(1994)之六個先驅技術中， S_ Baluja與D. A. Pomerleau的論文"利用人工類神經網路的 無干擾凝視追蹤"中説明了利用無干擾凝視迫蹤技術以獲得 眼晴位置資訊。要注意的是無干擾凝視技術比較好，這樣 每位開會者都可以自由地移動他或她的頭部。 基本上，凝視追蹤的目的是要從主體的眼睛外觀中判斷 主键正在看哪裡。爲了計算相機與眼睛相對位置的移動， 首先要找出每個影像圖格中的眼睛位置。典型的作法是， 從主體臉部的影像中尋找固定光源的鏡面反射，以求出兩 眼中某一眼的位置。雖然可以用任何適當的光源來達成本 發明的目的，但較好的是—種無干擾的紅外線光源，因爲 它提供易於_偵測的反射圖形而不會讓觀看者產生困擾或其 他造成觀看者不舒服。影像中的鏡面反射通常可以從—塊 夹常暗的區域所包圍的小亮區分辨出來。可以利用反射位 置來限制下一圖格中對眼睛的搜尋。取出包園反射區的視 窗，並在此視窗中找出眼睛影像的位置。找到了瞳孔的中 心並且計算光反射相對於曈孔中心的位置。由上述的相對 位置資訊來決定凝視方向。例如，當觀察者看著光源時， -12- 本纸張尺度適用中國國家樣準（CNS ) Α4規格（210X297公釐） (請先閱讀背面之注意事項再填寫本頁) -裝· 、ν'β- 經濟部中央標準局員工消費合作社印製 A7 __：__B7_ 五、發明説明（10) 鏡面反射便位於瞳孔影像的中央。若觀察者看著光源上方 ‘，則鏡面反射會接近瞳孔影像的底端邊緣。若觀察者看著 光源左方’則鏡面反射會接近瞳孔影像的右邊，於此類推 0 在圖3 A與3 B的例子系統中，固定光源3 6置於相機3 2的 上方以便在開會者A的影像上使用凝視追蹤技術。類似的光 源（未畫出）置於相機30上方。熟悉本技藝者將輕易暸解， 如上面討論的凝視偵測技術提供了有關眼睛相對於光源之 方向的有用資訊。此資訊可以用來決定視差角，但不在此 解釋。特別是，最好參見圖3B，光源36、開會者八、以及 開會者B的顯像定義出角度θ i，而光源％、開會者A、以及相 機32定義出角度Θ2。求出^與02的差便可以算出視差角0。 一旦求出視差角後，便可以上述同樣的方法執行以產生並 傳送修改過的影像圖格。 圖5顯示在圖3 a與33畫出的視頻會議系統中，執行視差 修正的一串範例步驟。雖然將討論的是有關處理單一開會 者的影像，但可輕易明白，同樣的影像分析與處理步驟可 同時對所有-的開會者進行。任何情況下，處理裝置接收 開會者A的數位化視頻圖格（步驟4〇)，並執行容貌特徵抽 典以找出影像中的眼睛位置（步驟42)。步驟44中，在影像 上執行凝視偵測以偵測主體注視著相對於相機的方向:求 出視差角（步驟46)，並產生修改的影像圖格（步驟48)，修 改的影像圏格中，瞳孔的位置以及，若合適的話，虹膜都 會符合跟開會者B視線接觸所需的位置。然後將修改過的影 -13- 本纸張尺度適用中國國家標準（CNS ) M規格（21Qx297公着） ---r-----^丨裝-----^--訂------f | (請先閱讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作杜印製 A7 __;_______ B7 五、發明説明（n) 像圖格傳送到開會者B正觀看的顯示器22(步驟。前述 的步驟是即時地並且對每個視頻信號輸入都是一個圏 著一個圖格地執行，所以可提供顯像跟個別開會者之間的 視線接觸。 當多於兩個會議地點以及/或者開會者參與時，必須談到 除了提供開會者彼此視線接觸所需之外的額外考量，以便 在視頻會議系統中保存會議實沉的景象與感覺。特別是， 如上面已經討論過的，讓每一位開會者看到誰正在跟誰講 話也很重要。這樣，根據本發明所敎導的，利用即時影像 分析與處理技術來重新定位頭部影像，同時也提供開會者 視線接觸。 圖6再次畫出根據本發明建構的視頻會議系統6〇，且類 似於圖3 A中的系統20。但圖6説明的系統已經修改以提供 三個不同會議地點之三位開會者A、B1c之間的會議。所 以系統6 0包含了三個個別的顯示器6 2、6 4、和6 6，以及 三個相關的相機6 8、70、和72。光源放在每台相機的上方 ’迢裡只畫出一個光源並且以冗概括表示。每個顯示器分 割成兩個視-窗，每個視窗展示兩位遠端的開會者。和前面 討論過的一樣，每台相機送來的視頻信號都經過數位化、 戽理後並傳到如處理裝置74的處理裝置。 就圖6中所畫的視頻電傳會議而言，a正跟b説話。在實 際的會議中，A會注視著B，而B與C會注視著Αβ若沒有本 發明額外影像處理的話，每一位開會者會正面對著他或她 的顯TF器，但展示給其他開會者的各自的影像將不會維持 f -裝-----:丨訂------r沐 (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（ CNS )八4規格（210X297公;^ ) 1 14 - 經濟部中央榡準局員工消費合作社印製 A7 B7 五、發明説明（12) 相關的頭部方位《爲了得到圖6中的適當方位，需要執行各 难影像分析與處理，如現在所要説明的。 當A注視著顯示器62上B的視窗時，A應該看到B與C的 影像面對著正前方（即面對A)。因爲B和C正面對他們自己 的相機，所以只要對他們的眼睛位置做視差誤差修正β這 種誤差修正可以利用任何與圖3 Α及3 Β説明的技術來執行。 在顯示器64上，B應該看到A的影像面對正前方，而c的影 像面對A的影像。雖然在顯示器64上只要對A的影像作視差 誤差修正，但C的影像需要重新定位以獲致圖6中的位置。 類似地，顯示器66中，C應該看到A和B互相對看。這樣， A與B的影像至少都需要做頭部重定位以得到圖6畫出的位 置。 圖7的流程圖畫出根據本發明具體實施例所執行的頭部重 定位及視差修正的作業。處理裝置74接收例如開會者(：之 會議開會者的數位化視頻圖格（步驟80)，並執行影像特徵 抽取以找出影像中的眼睛位置（步驟_82)。步碟84中，對景ί 像執行凝視偵測以賴測主體相對於相機的注視方向。例如 當開會者C注視開會者Α時，相機<72攝得開會者〇的眼晴影 像裡，光源76之鏡面反射將位發曈孔中央的右上方。士 片討論的，可以從相機72與顯示器66的固定位置資<中^計 算出視差角^步驟86)。但更重要的是，相對於瞳孔中^ 的鏡面反射位置可以用來偵測正在觀察的開會者正在看< 麼影像（步驟88)。這個例子中，收到的開會者〇影像中^ 鏡面反射的位置位於曈孔中心的右方，铉音地— 項恧呀'耆C正注視著 (請先閲讀背面之注意事項再填寫本頁)

•15· A7 __；____B7 五、發明説明（13 ) 左方，亦即正注視者開會者A。 ‘ 一旦知道每一位會議開會者正在看哪個顯示視窗以後， 便執付影像處理來產生個別修正後而適用於每—個目的顯 示器的影像圖格。如果只要做視差修正，如步驟88中所決 疋的’便產生第一圖格以便傳送到適當的顯示器（步壤9〇) 。圖6畫出的例子中，一個經過視差修正而且是c的直視影 像之圖格會送到顯示器62上〇但是因爲需要重新定位c的 頭部以便讓開會者Β得知C的面向，所以現在必須執行許多 額外的處理步驟。 經濟部中央標準局員工消費合作社印製 (請先閱讀背面之注意事項再填寫本頁) 每個圖格的臉部影像以紋路映射到三度空間（3-D)的頭部 模型（步驟92)。例如，用簡單的橢圓體頭部模型可達此目 的。當然’熟悉本技藝者將輕易明白也可以使用更複雜的 3-D模型，端視加諸於該特定應用的處理能力與執行速度 限制而定。利用額外的例子，可以用K Aizawa、Η. Harashima與T. Saito在論文"以模型爲基礎的人物臉部分析 合成影像編碼系統"所揭示的線條圖格模型，發表在信號處 理影像通訊Vol. 1，No.2，1989年10月，第139-152頁。 任何情形中，產生的三度空間紋路模型在適當的方向旋轉 預定的角度π (步驟94)，而橢圓體模型的紋路投射回到2D 灼視覺平面以產生修改後的影像（步驟9 6 )。然後將這樣產 生的影像傳送到適當的目的顯示器，如步驟9 8味示。圖6 畫出的例子中，送到顯示器64的C影像向右旋轉90。而面 對開會者Α的顯影方向。影像C的眼珠可以用類似的方法獨 互模擬或利用上述的純視差修正的相關技術加以合成。 -16- 本紙張尺度適用中國國家標準（CMS ) A4規格（210X 297公釐） A7 B7 ~ - - 五、發明説明（14 除了視頻編碼以外，還可以在會議地點，利用前處理咬 後處理方式執行視差修正以及/或相部重定位H種 凊況中較佳的是在原始影像信號編碼之前執行影像分析 ，使得不會在分析前漏失重大的影像資訊。但是，根據本 發明所修正的影像，則可以在任何地方執行合成。在前處 理的情形裡，影像先經過數位化、分析、合成/處理、編碼 、再傳送。因爲不同處理過的影像必須送給不同的開會者 ，所以需要相當大的傳輸頻寬。在後處理的情形裡，影像 分析所獲得的每位開會者視差角及頭部方位資訊會跟编碼 後的視頻信號一起傳送。然後可以在接收者那一端或者某 一集中地點執行合成。 雖然已經顯示、説明、並且指出本發明應用於較佳具體 實施例的基礎的嶄新特性，但要瞭解，熟悉本技藝者可以 對本發明的形式與細節作各種省略、取代以及修改，而仍 不離本發明的精神。所以其概念只能由附上的申請專利範 圍中所做的説明加以限制。 —^—.-----f -¾衣-----^—订.------^ %· (請先閱讀背面之注意事項再填寫本買) 經濟部中央標準局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS ) A4規格（2丨0X297公釐） ______1

Claims (1)

1. 申請專利範圍 ABCD 正充/rn i.*· -'It - 0 /γ\ 1. 一種在數個遠端會議室之間建立視頻會議的方法， 會議室包括至少-位開會者、—台視頻相機、^ 影像接收器，該影像接收器、視頻相機、與每 開會者的眼睛定義了每一位開會者的視差角，其 驟如下： ’ '用第二視頻相機（32)產生—代表―連串第_開會者（A 之輸入影像圖格的視頻信號； ’ 即時分析該輸入的開會者影像圖格以決定每個 的視差角Θ; ^ 產生一串相關的視差補償影像圖格；以及 將一代表一串視差補償影像圖格的信號傳送到第二開 會者（B)觀看的影像接收器（22)，其中在第二開會者跟第 一開會者顯像之間提供視線接觸。 2_如申請專利範圍第丨項的方法，其中該分析步驟包括在第 一開會者的影像中定位第一開會者瞳孔内對固定光源的 鏡面反射位置。 ' 3.如申請專利範園第2項的方法，其中該分析步驟尚包括測 量鏡面反射距離瞳孔中心的位置。 經濟部中央標準局貝工消費合作社印装 "{装-- (請先閲讀背面之注意事項再填寫本頁) 訂· 4 .如申请專利範圍第i項的方法，其中該產生步驟包括從輸 入開會者影像圖格中，合成每一視差補償影像圖格的^ 少一部份。 5 .如申請專利範園第1項的方法，其中於該測量步驟中亦獲 得該第一開會者的凝视方向，而且其中該產生步驟更^ 括將每個輸入開會者影像圖格以紋路映射到三度空間 本紙張尺度逋用中國國家榡準（CNS ) a4規格（210X297公釐） 經濟部中央標準局員工消費合作社印製 A8 B8 C8 ____ D8 六、申請專利範圍 橢圓體臉郅模型，並重定位該臉部模型以如該凝視方向 獲取所選擇的一臉部方位。 6 . —種連接數個遠端會議室之視頻會議系統，其中每個房 間包括數個開會者裡面的至少一位開會者，其特徵爲： 每一房間（26，28)至少有一台視頻電話，此視頻電話 包含一視頻相機（3 2 )以產生代表一第一開會者（A)影像圖 格的一串視頻信號，以及一影像接收器（2 4 )以顯示至少 一第二開會者（B)影像圖格，而該影像接收器、視頻相機 、和第一開會者的眼睛定義一個視差角Θ ; 一圖格產生裝置（34)，此裝置回應於視頻信號以分析 第一開會者的輸入影像圖格，並產生一串相關的第—開 會者視差補償影像圖格；以及 諸裝置，以傳送代表一 _該視差補償圖格的一信號給 至少一台遠端影像接收器（22)，並且至少在第二開會者 跟第一開會者的顯像之間提供視線接觸。 7 ·如申請專利範圍第6項的系統，其中每個房間有一固定光 源（36) ’以在每個房間内的開會者眼睛裡產生鏡面反射 〇 8 ·如申請專利範圍第7項的系統，其中該圖格產生裝置（3 4 ) 對輸入開會者影像圖格作分析，並且偵測第一開會者的 凝視方向。 9 .如申請專利範圍第8項的系統，其中該圖格產生裝置（3 4 ) 產生第二影像圖格以傳送給至少一位第三開會者，該圖 格產生裝置回應於一偵測到的凝視方向，並將每個輸入 -2- 本紙張適用中國國家樣準（CNS ) (210χ297公釐） ---- --------{袈-- (請先閲讀背面之注意事項再填寫本頁) 訂' A8 B8 C8 ______D8 六、申請專利範圍 開會者影像圖格以紋路映射到三度空間的橢圓體臉部模 型’且重新定位臉部模型以如偵測到的凝視方向取得所 選擇的臉部方位。 10.如申請專利範圍第9項的系統，其中該傳送裝置（3 4)用來 將第一 _代表第一開會者的視差修正影像圖格，傳送給 第二開會者旁邊的影像接收器，並將代表第—開會者的 第二串凝視方向補償影像圖格傳送給第三開會者旁邊的 影像接收器，因而在第一、第二、與第三開會者之間提 供出席感測。 (請先閲讀背面之注意事項鼻填寫本寅) 策. U: 經濟部中央梯隼局貝工消費合作社印製 本紙張尺度適用；國國家標準（CNS ) A4規格（210X297公釐）