TWI364725B - Video processing method and video processing system - Google Patents

Description

九、發明說明: 【發明所屬之技術領域】 本發明係有關於影像處理，尤指一種自對應較大視角範圍之影 像為料中擷取出對應較小視角範圍之複數個部分影像資料來產生 —合成景W象資料的影像處理方法與影像處理系統。 【先前技術】 _ h著網路$發展，視訊會議纟統廣泛地利帛在企業與遠距教學 中，不論開會地點分散世界各地皆可透過視訊會議系統的使用來進 仃有效溝通。飾，雜参與會議的人鮮不只—人，若希望能在開 會時同時看到所有與會者的表情、動作，由於影像搁取裝置(例如： 網路攝影機)本身的視角問題，一般影像摘取裝置僅能操取一場景 或僅以-個與會者為目標的影職料。為了同時得到複數個與會 者為目標的影像資料以進行如面對面般有效率的視訊會氣習知的 鲁作法則是分別提供每-個與會者一個網路攝影機，如此一來，便可 得到以個別與會者為目標賴取到的影像資料，然而，此一作法不 但造成開會時的成本，亦造成傳輸上系統資源不必要的浪費(亦即 需傳輸大量的影像資料)。因此，亟需一種可同時操取複數個景 料之新穎視訊會議系統來使與會者之間進行更有效率的溝通。 【發明内容】 本發明的目的之-係在於提供一種自對應較大視角範圍之影像

丄/厶J 資料中齡_雜小則制之概㈣ 合成影像m⑽彡诚理找與縣輪彡心猶 種衫像處理方法。該影 根據本發明之-實施例,本發縣揭露一 像處理方法包含有:儲存一影像資料，其係對應一特定視角範圍於 之該特刪崎選擇複數個目標物件;以及 卿綱⑽紙―_像資料來產 於該特定視角範圍。卩#像讀觸叙—制範圍均小 此外’根據本發明之一實施例，本發明另揭露一種影像處理系 理系統包含有—儲存震置與—處理模組。該儲存裝 子4祕，影像資料係對應—特定視減圍。該處理 才且係_於存裝置，肋_影像資制對應之鱗定視角 範圍中選擇複數個目標物件，並依據每-目標物件於該影像資料中 :對應之-部分域資料來產生_合成影像資料。每-部分影像 #料所對應之-視減_小_特定視角範圍。 【實施方式】 —在說明書及後續的巾請專概圍當中制了某些詞彙來指稱 ^疋的7L件。所屬領域巾具有通常知識者應可理解，硬體製造商可 能相不_名詞來稱呼同—個元件。本賴#及後續的申請專 利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功 區分的準則。在通篇說明書及後續的請求相當 」係為一開放式的用語，故應解釋成「包含但不 尋接」一詞在此係包含任何直接及間接的電氣連 能上的差異來作為區分的準則 中所提及的「包含」係為一開 限定於」。此外,「耦接 接手丰又，因此，若文中描述一第一裝置祕於一第二裝置，則代表該 第裝置可直接電氣連接於該第二裝置，或者透過其他裝置或連接 手^又間接地電氣連接至該第二裝置。 請參閱第1圖，第i圖為本發明影像處理系統1〇的概要 鲁（generalized)示意圖。影像處理系統1〇包含有一處理模組η、一 儲存裝置14、一實體影像擷取裝置(Physicd vide。capturing device)16 video capturing deViCe)18。請注意，虛擬影像擷取裝置的健猶為_說明之用， 並非用以作為本發明的限制，亦即，可依據需求來適當地建立出虛 擬影像操取裝置，此外，虛擬影像擷取裝置的建立可透過任何可行 的方式，例如獨立的應用程式或者與作業系統有關的獨立機制，換 鲁言之，本發明並未舰於虛擬影像掘取裝置的建立方式。實體影像 .擷取裝置16會擷取對應一特定視角範圍之-場景(scene)以產生一 影像貧料，並將影像資料&儲存至儲存裝置14，接著，處理砸 Π便會自儲存裝置14所暫存之影像#料^所對應的特定視 圍中選出複數個目標物件，並依據每一目標物件於該影像資料中所 對應之部分影像資料(每-部分影像資料所對應之視角範圍均小於 影像資料Dm所#應的锆金i目4 . '

7 置W而輸出至需要合成影像資料的元件或裝置。請注意，第 1圖所示之處理模組丨2可由硬體、軟體或者兩者之搭配來加以實 現，即任何可實現處理模組12之所需功能的架構均屬本發明的 的。為了更加清楚地贿本發明之技麟徵，以下透過—個由處 理器t行f彡魅織雜絲實現處職組12之魏的範例來說 明。請注意，後續所揭露4實關僅作為_說明之用，並非用以作 為本發明的限制條件。 睛一併參_ 2圖與第3圖，第2圖為依據本發明之一實施例 所繪示之影像處_統的舰方塊示_，而第3娜會示影 107、經過—全景處理後之初步修正影像資料應以及合成 二像貝料111的不意圖。本實施例中，影像處理系統1〇1係包含有 丨处理器1。3、-儲存裝置1()5、_實體影像摘取裝置ιΐ3以及至 =一虛擬影像擷取裝置115。請注意，虛擬影像掘取裝置的個數僅 =範例說明之用，並非用以作為本發明的限制，亦即，可依據需求 ，當地建立出虛擬影像娜裝置。處理請係被_來執行 =制應用程式109以實現第1圖所示之處理模組12的功能， 二’如第^圖所不，儲存裝置1G5输於處理器戰且包含至少一 及存單70 m、—第二儲存單元118、—第三儲存單元119以 四儲存單元121，用來分別儲存擷取自實體影像擷取裝置 」之影像資料⑽、經過—全景處理後之初步修正影像資料⑽、 控制應用程式1〇9以及合成影像資料⑴。第一儲存單元 第一儲存單凡118、(第三儲存單元119以及第四儲存單元121 可由揮發性儲存元件(例如動態隨機存取記憶體)、非揮發性儲存元 件(例如快閃記憶體或硬碟)或兩者組合來加以實作，此外，第一儲存 早7L 117、第二儲存單元118、第三儲存單元119以及第四儲存單 元121可整合於同一儲存元件中，亦可分別獨立設置於不同儲存元 件中，換言之，本實施例中，儲存裝置105係泛指儲存影像資料1〇7、 初步修正影像資料1G8、影像控制應用程式109以及合成影像資料 111之儲存空間。 一本實施例1K合成影像資料111(如第3圖之圖(B)所示)會被顯 不於-使用者介面(user interface，矶輝中並具有四個子畫面分 初步修正影像資料中四個被選定之目標物件所對應之 。㈣影像資料，如帛3圖所示，每一目標物件所對應之部份影像資 料的視魄圍均小於影像龍1G7(如第3圖之圖(A)所示)所對應 =原始視舰圍H步來說，每—部分影像#料所對應之視/ 已圍於-對角線方向上的視角均小於影像資料阳所涵 所對應之特定視角範圍於該對角線方向上的視角。请、、主意所撰1 卿瓣梅蝴作目標物 表發做_紅下，第3财係明單_形來代 前之影像資料107中的物件、經過全景處理後之 ’夕〜像=貝料108中的物件以及合成影像眘粗ηι 士 物件，亦即，第3圖所示之物件的形狀與大小僅作為辈的目標 而非本發物顧。桃_請物 1364725 •式1〇9來將初步修正影像資料108轉換為合成影像資料lu以作 為虛擬影像擷取設備115的輸出，其中初步修正影像資料1〇8係為 影像資料107經過一全景處理後之影像，其細節將於後詳述。 • 請參考S 4圖，第4 ®為本發郷像纽方法之—實施例的流 程圖。請注意，假若可獲得大致上相同的結果，則本發明影像處理方 去的步驟不-定要遵照第4圖所示之流程來依序執行。本發明影 像處理方法係包含以下步驟. 步騍302:使用-實體影像練設備來掏取一場景(scene)以產生— 影像資料，其中該實體影像擷取設備係採用一廣角鏡頭 或一魚眼鏡頭以便擷取到對應較大視角範圍的場景； 步驟303:_影像資料進行—全景處理以得到較適合人眼觀察但 仍有扭曲現象之一初步修正影像資料； 步驟耻於_步修正影像㈣所對應之該場景巾選擇複數個目 鲁 標物件； ^驟胤依據每—目標物件於該初步修正影像資料所對應之一部 分影像資料來進行一反扭曲(d_p)處理，以分別產生 : 一子晝面(處理後之部分影像資料)； ^驟m分卿整該等子畫面之參數以產生相對應之調整後的子 畫面； '驟m將該複數個調整後之子畫面重新組合成—合成影像資料 1364725 步驟312:以該合成影像資料作為虛擬影像操取設備之輸出。 -底下係詳細說明第2圖所示之影像處理系統1〇1執行第*圖所 示之方法的細節。首先，實體影賴取單元113_定場景進行拍 ^以產生-影像資料1〇7(步驟简，其中影像資料1〇7係被儲存於 第-儲存單元117。本實施例中，實體影像擷取單元ιΐ3之鏡頭係 採用-廣角鏡頭或-魚眼鏡頭(舉例來說，第3圖之圖(A)所繪示的 例子是代表由魚眼鏡頭所擷取之影像資料)，然而，此僅作為範例說 明之用，並非是本發明的限制條件。 由於廣舰職腿於鮮鏡肖(view㈣狀於人眼，而 魚眼鏡職距飾並且制接近.鱗於的_，因此當採 用一廣角鏡頭或'#、眼鏡頭作為實體影像擷取設備ιΐ3的鏡頭時， 會造成影像資料107的幾何扭曲(亦即影像資料1〇7係為一幾何扭 曲影像)，此時處理器103所執行的影像控制應用程式109可藉由對 影像資料1〇7進行-全景處理以得到較適合人眼觀察但仍有扭曲 ，象之-初步修正影像資料⑽(步驟狗，並且可自動載入反扭曲 參數或朗者伟罐對應於鏡翻紅視錄圍，以便對初步修 正β像資料108所被選取之每一目標物件於初步修正影像資料 108中所對應之一部分影像資料來分別進行一反扭曲(Aw⑽處理 (步=狗。關於如何進行反扭物之技術_業所知，故不在 絲述。摊控制顧程式1G9亦可針對不同鏡頭擺放位置來作 綱方向的調整，然而，任一與影像處理相關之矯正方式均可被影 1364725 精神且落在本發明之 像控制應帛郎1G9所細，均符合本發明之 範_内。 使用者了’f實㈣中’處理$ 1G3執行影像控制細程式109以讓 使用者可經由使用者介面2〇2來自初步修正影像 綱峨物維蝴步細)，讀，處理器。 步終It/臟制應用程式109便會依據每一目標物件於初 畫呵處部分影料料來分別產生-子 者介Lm)以顯示於第3圓之圓_示之使用 生之子佥實施财，目標物件的她為4,因此所產 動指自標—料料祕使用者手 嶋件選擇設定，舉例來二==物件選擇操作的 滿足時進行目__糊墙 仃一位移偵測(m〇ti〇n det ，、 、4 8執 初步修正姆_1__=^觸自=^：滿足，以便自 當初步修正料魏⑽觸叙縣巾=目=2(3, =:rr，，辨識來：= 否滿足，續“步修正影像資料⑽所 目標物件(例如，當初步修正影像資義心 臉輪廓的物物 12 何^〜rt’在本發明的其它實施例中，初步修正影像資料108之任 條件一標物❹ 晝面接並者將 調整該等子晝面之參數來產生相對應之調整後的子 103所t 使用者介面2〇2之右半部(步驟挪）。處理器 者分別針^^像控制應用程式1〇9提供使用者介面202以供使用 數係H 畫面來進行複數個參數之手動調整，其中該等参 '〜有.鏡態、鏡頭方向、投影鶴、補差點猶 。舉雕說，處理請執行影像控細程請 nL輕各個子畫面所對應之部分影料料之視舰圍以產 之，部分影像資料。請注意，分別針對每—子畫面所對應 :二像資料來進行進—步調整(例如視角範圍微調)的操作並 由使用者手動指定調整的設定，亦可採料統自動 的方式來加以實作。 ㈣第取晴所示，影像控咖程式1G9將複數個處 理後的子晝面(亦即處理後的部分影像資料)重新組合以合成出對 應-張新的畫面的合成影像資料ln，並將其寫入 ⑵中射合成影像資料⑴係被顯示於使用者介面2〇2之子^ 部。此外，處理器1〇3所執行的影像控制應用程式1〇9另會將 影像資料hi作為虛擬影細取設備115之輸出。本發明之一° 施例中，所選取的目標物件為—場景中所出現的人員(例如一視訊 13 1364725 、、會議的與會者)，而虛擬影像掏取設備115可供即時通訊程式(例 、如:MSN或所呼叫使用，因此即時通訊料便自虛擬影像擷 取設備115讀取合成影像資料ηι並據以進行視訊顯示。 請注意，雖然在此實施例中，影像控制應用程式119係選取相 目標物件來產生合成影像資料1U ”然而，在本發明另_實施例中，影 像控制應贿式m亦可贿據上述顧與實際狀況來選取更多 或更少個目標物件來產生合成影像資料U1。 換言之，本發_像處理綠與械系統由實際縣娜設備 113獲得影像資料107之後，會對影像資料1〇7進行適當處理(例如 =景處理、反㈣處理、子畫面參數罐等)以便產生所要的合成 影像資料111，而所執行之影像處理方式與順序可依據實際需求來 加以動態設定。 • /此外，第4圖所示之流程中，進行全景處理的操作(例如步驟303) 係為選擇性的(optional)步驟，因此，可依據實作上的考量或使用者 的需求來選擇性地省略第4圖所示之_中的步驟观，而修改後 ’的流_可_地制自對應較大視舰圍之影像龍中榻取出 -對驗小彻之魏個部分影像請來產生-合成 的目的，而此-設計變化赤符合本發明的精神而落於本發明的範嘴 之中。 14 ‘ 上所述，本發明储供—種自對絲大視肖細之影像資料 ^ :擷:出對應較小視角範圍之複數個部分影像資料來產生-合成 〜像二料的f罐處理方法與影像處理系統，可以更有效率及更精確 地於二像#料巾決定出所需要的複數個目標物件，並據以合成特定 =的影像，更進—步而言，運用本發明實施例中所描述的技術，可以 k f使用者所f要的影像資料，如此—來，不但可以減少影像對系 負原的佔用’更可以減少溝通上的成本，舉例而言，在進行網路會 議時，=本發財施例中所描述的技術，可以僅使用-個實際影 像擷2 π備(例如具有廣角鏡頭或魚眼鏡頭的攝影機)便可於處理 2之〜像貝料所對應的同一張影像中獲得複數個與會者的晝面，並 /月楚地觀察到與會者的表情以便進行更有效的溝通，亦即透過本發 明影像處理方式作更有效的溝通。 請注意，本發明的實施例中所描述的技術及原理係可應用於各 種不同的影像處理模組中，包括影像娜裝置(例如網路相機）、影 •像顯示裝置(例如電腦螢幕)或其他襄置，任何熟習此技藝者只要在 理解本發明所揭露的實施例之操作方式及顧之後，即有能力將本 發明應用於其他相類似的技術領域當中;又，任何熟習電子電路設 汁、訊號處理或影像處理的人士在了解本發明實施例的運作原理 之後，當可依據各種硬體電路設計或軟體程式編輯的原理來實現本 土月所揭露之屋生虛擬影像擷取設備的影像處理系統及相關方 法。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍 所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。 【圖式簡單說明】 第1圖為本發明影像處理系統的概要示意圖。 本發明影像處理模㈣統之—實施例的功能方塊示意圖。 3圖㈣、_全景驗狀妙修 以及合 成影像資料的示意圖。 第4圖為本發明影像處理方法之-實施例的流程圖。 1364725 【主要元件符號說明】 10、101 影像處理系統 12 處理模組 14、105 103 16、113 18 > 115 φ 107 108 109 111 117 118 119 120 202 儲存裝置 處理器 實體影像擷取裝置 虛擬影像擷取裝置 影像資料 初步修正影像資料 影像控制應用程式 合成影像資料 第一儲存單元 第二儲存單元 第三儲存單元 第四儲存單元 使用者介面 17

Claims (1)

1. >申請專利範圍 100年12月16日修正替換頁 •—種影像處理方法，包含有： 儲存一影像資料，其係對應一特定視角範圍；

   於該影像Μ所對紅雜定視域财選擇複數個目標物件; 依據每-目標物件於該影像㈣中所對應之—部分影像資料來 產生單—合成影像資料，其中每—部分影像所對應之一 視角範圍均小於該特定視角範圍;以及 傳輸該單-合成影像㈣至至少—虛擬影_取裝置。 2. 如申請專利範圍第丨項所述之影像處理方法，另包含有： 透過-實體影像掏取設備來操取對應該特定視角範圍之一場景 (咖e)以產生棘像輒其巾該實體影像触設備之鏡頭 係採用一廣角鏡頭或一魚眼鏡頭。 對^㈣2項所4之影像處理方法，其巾該影像資料係 及二貫體影像擷取設備之鏡頭所造成之—幾何扭曲影像，以 该處理後之影像資料的步驟包含有. 根t目爾㈣_獅物她亍一反扭曲 =φ)處理以產生—處理後之部分影像資料;以及 合成影像t::件所對應之該處理後之部分影像資料來產生該 I8 f25 •如申請專利範圍第3項所述之 ，之該峨 對^輸進行-蝴理以得到―初步修爾資料;以 個目標物件7廣^枓㈣應之該狀視角範圍f選出該複數 5. 2^=項所叙卿勒她合成影 目標物件所對應之一部 執行-視角範圍調整操作來調整至少一 分影像資料的視角範圍;以及 資料 合成每-目標物件之該部分録麟來產生該合成影像 利範圍第5項所述之影像處理方法射該視綱調 —呆的則細娜奴係為纽自動指定或伽者手 疋0 如申請專利麵第1項所述之影像處理方法，其中選擇該複數個 目標物件的步驟包含有· 執二一目標物件選擇操作以自該影像資料所賴之該特定視角 範，t選擇該複數個目標物件，其中該目標物件選擇操作的 目心物件轉設定係為纽自動指定或使用者手動指定。 物，㈣目购 作4—觸發條件滿麟進行目標物件的自動選擇。 所述之影像處理方法，其中該_件選 特定視角ΪΓΓ來判斷該觸發條件是否滿足,並於該 地找出移動中的移動中的物件時會滿足該觸發條件而自動 動中的物件來作為一目標物件。 10選範圍第8項所述之影像處理方法，其中該目標物件 該特定視二Γ臉部辨識來判斷該觸發條件是否滿足，並於 而自動心場:=有人臉輪廓的物件時滿足該觸發條件 找出％景中具有人臉輪廓的物件來作為一目標物件。 項所述之影像處理方法，其中每一部分影 之該視角範圍於-對角線方向上的視角均小於該 特疋視角I㈣於該對鎌方向上的視角。 12. 種影像處理系統，包含有: 1存裝置，儲存—影像㈣，該影像資料係對應 圍;以及 处理模組，輕接於該儲存裝置，用以於該影像資料所對應之該 20 100年12月16日修正替換頁 特定視角圍中選擇複數個目標物件，並依據每一目標物件 於0亥影像貧料中所對應之一部分影像資料來產生單一合成影 像貝料，其巾每—部分影像#料所對應之—視角範圍均小於 ’特定視角㈣，^•該單—合成影像資料用以被傳輪至至少 一虛擬影像擷取裝置。 3二申請專利範圍第丨2項所述之影像處理紙另包含有： 貧體影像棟取設備，用以娜對應該特定視角範圍之一場景 產生贼像輒其”實體麟錄設備之鏡^ 仏知用一廣角鏡頭或一魚眼鏡頭。 14 =_帛丨3摘狀麵理蛾財 '讀應該實f!f彡像齡設叙鏡頭 ，貝科 ::模—標物件所對㈣來 八反扭曲(de_P)處理以產生一處理後之部分、來 •^^:::影像處―該― :處理模組係自該初：=:=:;!料， 把圍令選出該複數個目標物件。 〜之挪定視角 2/ 100年12月16日修正替換頁 >·如申請專利範圍第丨2項所述之影像處理系統，其中該處理模組 另執行-視角範圍調整操作來調整至少—目標物件所對岸之— 部綠像資料的視角範圍，接著合成每一目標物件之該部分影 像資料來產生該合成影像資料。 •如申Μ專利乾圍第I6項所述之影像處理系統，其中該視角範圍 =操作的視角範圍調整設定係為系統自動指定或使用者手動 才曰定。 .如申睛專鄕㈣12項所述之影像處理系統，其中該處理模址 雜行-目標物件選擇操作以自該影像資料所對應之該特定視 角範圍中娜該複數個目標物件，以及該目標物件選擇操作的 目標物件選擇設定料线自動料錢用者手動指定。 #如申請專利範圍第丨8項所述之影像處理系統，其中該目標物件 奋擇操作的目標物件選擇設定係為系統自動指定，以及該目標 物件選擇操作會於—觸發條件滿足時進行目標物件的自動選 擇。 吸如申請專利範圍第19項所述之影像處理系統，其中該目標物件 =擇钻作ίτ、執行一位移偵測來判斷該觸發條件是否滿足，並於 痛定視料UJ巾出現移動巾的物件時會滿足關發條件而自 動地找出_种的物件來作為-目標物件。 21 100年12月16日修正替換頁 目標物件 22.

   ㈣丨9娜爾4_，㈣目標物件 該特定懸 __來讀該觸發條件是否滿足，並於 “^角_中出現具有人臉輪廓_件時滿足_發條件 Π力地找出場景中具有人臉輪廓的物件來作為一 、 如申凊專利範圍第]2項所述之影像處理系統，其中每—部分影 像資料所對應之該視角範圍於一對角線方向上的視角均小於該 特定視角範圍於該對角線方向上的視角。

   23