TWI439121B - 影像處理模組及用於二維影像／三維影像轉換及圖框速率轉換的影像處理方法 - Google Patents

Description

影像處理模組及用於二維影像/三維影像轉換及圖框速率轉換的影像處理方法

本發明是有關於一種影像處理模組及其影像處理方法，且特別是有關於利用深度資訊及動態資訊轉換二維影像至三維影像及轉換顯示影像的圖框速度。

近年來，隨著光電與半導體技術的演進，帶動了平面顯示器(例如液晶顯示器(liquid crystal display,LCD))之蓬勃發展。以液晶顯示器為例，由於液晶顯示器基於其具有高空間利用效率、低消耗功率、無輻射以及低電磁干擾等優越特性，使得其成為市場之主流。

為了提高液晶顯示器的畫質，部分廠商會提高液晶顯示器的圖框速率，而圖框速率的提高為依據多個原始影像產生多個中間影像並安插這些中間影像在這些原始影像之間。在產生這些中間影像前，會對這些原始影像進行動態估測，以取得這些原始影像中每一區塊對應的動態向量。接著，依據每一區塊的動態向量偵測原始影像中的物件，通常位於同一物件中的區域具有同樣動態向量，並且物件沿這些原始影像中的移動軌跡以產生這些中間影像。

此外，在立體顯示器已成為現代顯示器的主流的情況下，如何將二維影像轉換為立體影像已為業者研究的重點。一般而言，將二維影像轉換為包括左眼影像及右眼影像的一組立體影像的方法中，通常需要先找到對應的深度圖，而對應的深度圖包含會二維影像中所有區域/像素的深度值。此深度值可依據區域/像素的色彩及/或亮度來決定。而位於前景及背景的物件一般透過二維影像中各區域的深度值來偵測，並且接著依據深度值找出物件位於前景/背景，通常位於同一物件的區域具有相同深度值。最後，依據深度圖及二維影像產生一組三維影像。

然而，在這些原始影像的物件移動不明顯時，這些原始影像中每一區塊的動態向量會較低，以致於無法正確偵測出物件。進一步來說，移動的物件的邊緣區域的動態向量無法正確的偵測，以致於影像插入的準確度。並且，當移動的物件的色彩或亮度與背景/相鄰的物件的色彩或亮度接近時，物件的深度值會與背景/相鄰的物件的深度值近似相同，更致使物件偵測不正確及導致產生不正確的一組三維影像。因此，必須提出一種模組/方法來提升二維/三維影像轉換及圖框速度轉換的準確度。

依據上述，本發明提供一種影像處理模組及其影像處理方法，其可依據深度資訊及動態資訊來偵測物件，並據此提高物件偵測的準確率。

本發明的一實施例提出一種影像處理模組，包括深度取得單元、動態估測單元及動態補償單元。深度取得單元接收多個原始影像，並用以偵測每一原始影像的深度資訊。動態估測單元接收這些原始影像並耦接深度取得單元，動態估測單元用以偵測每一原始影像的動態資訊。當影像處理模組處於標準模式時，動態估測單元依據偵測到的每一原始影像的深度資訊調整每一原始影像的動態資訊。動態補償單元依據這些原始影像及調整後之每一原始影像的動態資訊執行影像插入及輸出多個顯示影像。

在本發明之一實施例中，當影像處理模組處於影像轉換模式時，深度取得單元依據每一原始影像的動態資訊調整每一原始影像的深度資訊，並且依據這些原始影像及調整後的每一原始影像的深度資訊輸出一組立體影像。

在本發明之一實施例中，深度取得單元包括深度產生單元、深度調整器及深度影像繪圖單元。深度產生單元接收這些原始影像，並用以偵測每一原始影像的深度資訊。深度調整器接收每一原始影像的深度資訊及動態資訊。當影像處理模組處於影像轉換模式時，深度調整器依據每一原始影像的動態資訊調整每一原始影像的深度資訊。深度影像繪圖單元耦接深度調整器及接收這些原始影像。當影像處理模組處於影像轉換模式時，影像繪圖單元依據調整後之每一原始影像的深度資訊及每一原始影像輸出每一原始影像的一組立體影像。

本發明實施例提出一種影像處理方法，適用於一影像處理模組。影像處理方法包括下列步驟。接收多個原始影像。偵測每一原始影像的深度資訊。偵測每一原始影像的動態資訊。當影像處理模組處於標準模式時，依據每一原始影像的深度資訊調整每一原始影像的動態資訊，執行影像插入，並依據這些原始影像及調整後之每一原始影像的動態資訊輸出多個顯示影像。

在本發明之一實施例中，影像處理方法更包括：當影像處理模組處於一影像轉換模式時，依據每一原始影像的動態資訊調整每一原始影像的深度資訊，並依據每一原始影像及調整後的每一原始影像的深度資訊輸出每一原始影像的一組立體影像。

在本發明之一實施例中，上述之每一組立體影像分別包括至少一左眼影像及至少一右眼影像。

在本發明之一實施例中，這些立體影像為依據一深度影像繪圖方法所產生。

在本發明之一實施例中，當影像處理模組處於影像轉換模式時，這些原始影像分別為二維影像。

在本發明之一實施例中，這些顯示影像包括這些原始影像及多個插入影像。

基於上述，本發明實施例的影像處理模組及其影像處理方法，當影像處理模組處於標準模式時，會依據每一原始影像的深度資訊調整每一原始影像的動態資訊，以依據調整後之每一原始影像的動態資訊偵測物件，並經動態補償後輸出多個顯示影像。因此，藉由每一原始影像的深度資訊與動態資訊相互參照並作對應的調整，可提高物件偵測的準確度。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1為依據本發明一實施例的影像處理模組的示意圖。請參照圖1，在本實施例中，影像處理模組100包括深度取得單元110、動態估測單元120及動態補償單元130。深度取得單元110接收多個原始影像OI，並用以偵測每一原始影像OI的深度資訊D。每一原始影像OI的深度資訊D可以是每一原始影像OI的深度影像/圖的全部或部分。動態估測單元120接收這些原始影像OI並耦接深度取得單元110，以及用以偵測每一原始影像OI的動態資訊MI。每一原始影像OI的動態資訊MI可以是每一原始影像OI的動態向量/圖的全部或部分。詳細來說，這些原始影像的每一區域具有一動態向量，而動態向量可依據動態估測演算法來得到，例如區塊比對演算法(Block Matching Algorithm)。並且，上述區域可以為小至一像素。

當影像處理模組100處於標準模式時(即點狀虛線所示)，動態估測單元120會接收來自深度取得單元110的每一原始影像OI的深度資訊D。並且，動態估測單元120產生每一原始影像OI的動態資訊MI，並依據每一原始影像OI的深度資訊D調整每一原始影像OI的動態資訊MI，以輸出調整後之動態資訊MI’。以同一張原始影像OI而言，假設原始影像OI的深度資訊D的分佈狀態(即依據同樣深度值形成的區域的分佈位置)不同於其動態資訊MI的分佈狀態(即依據同樣動態向量形成的區域的分佈位置)，接著調整動態資訊MI中差異區塊的動態向量，以使動態資訊MI’的分佈狀態近似於其深度資訊D的分佈狀態。

動態補償單元130接收這些原始影像OI及調整後之每一原始影像OI的動態資訊MI’，並依據調整後之每一原始影像OI的動態資訊MI’偵測/切割出每一張原始影像OI上的至少一物件(即具有同樣動態向量的多個區域被視為一物件)。接著，動態補償單元130依據調整後的每一原始影像OI的動態資訊MI’執行影像插入以產生至少一插入影像。然後，動態補償單元130輸出多個顯示影像DI。這些顯示影像DI的數量可以為數倍(如2倍或3倍)於這些原始影像OI，而倍數為決定於顯示器的圖框速率與畫面輸入頻率的比值。

並且，這些顯示影像DI會包括這些原始影像OI及多個插入影像(即經動態補償後產生用以插入於這些原始影像OI之間的衍生影像)，其中這些插入影像會分別配置於對應的原始影像之後。例如，當圖框速率為120 Hz且畫面輸入頻率為60 Hz時，則插入影像的數量會等於(即1倍於)這些原始影像OI的數量，且每一秒中這些顯示面畫DI的數量會2倍於這些原始影像OI；當圖框速率為180 Hz且畫面輸入頻率為60Hz時，則插入影像的數量會2倍於這些原始影像OI的數量，且每一秒中這些顯示面畫DI的數量會3倍於這些原始影像OI。

在本實施例中，依據每一原始影像OI的深度資訊D調整每一原始影像OI的動態資訊MI等同於依據利用每一原始影像OI的深度資訊D所偵測到的物件調整/改善利用每一原始影像OI的動態資訊MI所偵測到的物件。詳細來說，原始影像OI的移動物件的邊緣區域的動態向量通常會不準確/混亂，而不準確/混亂的動態向量造成插入影像的不準確。

圖2A及圖2B分別為依據本發明一實施例的原始影像的深度資訊及動態資訊的示意圖。請參照圖2A及圖2B，在本實施例中，圖2A為原始影像OI的深度資訊示意圖，圖2B為原始影像OI的動態資訊示意圖，其中原始影像OI分別多個區塊。並且，深度取得單元110及動態估測單元120(繪示於圖1)會分別偵測每一區塊的深度值(即深度資訊)及動態向量(即動態資訊)。但是，在本發明其他實施例中，可以偵測每一像素的深度值及動態向量，本發明不以此為限。在此，為了圖示的簡潔，圖2A及圖2B只標示部分區塊的深度值及動態向量以配合稍後的說明。

如圖2B所示，假設包含車子240及駕駛250的大部分區塊的動態向量為相同(如動態向量)，但包含車子240及駕駛250的邊緣區塊的動態向量為混亂的。在本實施例中，若單純參照圖2B的動態資訊可能無法準確的偵測出車子240及駕駛250(即物件)。在本實施例中，若包含車子240及駕駛250的區塊的動態向量假設為相同，則車子240及駕駛250會被視為同一物件。為了正確的偵測出物件，可參照圖2A所示的深度資訊。依照圖2A，深度值為180、210及230的區域包含車子240及駕駛250，因此可將圖2B中包含車子240及駕駛250的動態資訊會調整為相似或相同，亦即可將包含車子240及駕駛250的邊緣區塊的動態向量調整為接近動態向量，藉此可提高偵測車子240及駕駛250的準確度。此外，深度值可以為0~255(即8位元)，而物件具有深度值255表示為最近的物件。反之。物件具有深度值0表示為最遠的物件。

此外，影像處理模組處100可切換為影像轉換模式，以將二維影像轉換為立體影像(即三維影像)。當影像處理模組100處於影像轉換模式時(即點線交錯的虛線所示)，深度取得單元110產生每一原始影像OI的深度資訊D，並依據每一原始影像的動態資訊MI調整每一原始影像OI的深度資訊D，以偵測這些原始影像OI中的物件及調整物件的區域對應的深度值。接著，深度取得單元110可依據每一原始影像OI及調整後的每一原始影像OI的深度資訊D’輸出每一原始影像OI的一組立體影像SI(如圖3所示)。動態補償單元130會依序傳送這些每一組立體影像SI，其中每一組立體影像SI可依據深度影像繪圖法來產生，並且每一組立體影像SI可以分別為包括一左眼影像及一右眼影像。

在本實施例中，依據每一原始影像OI的動態資訊MI調整每一原始影像OI的深度資訊D等同於依據利用每一原始影像OI的動態資訊MI所偵測到的物件調整利用每一原始影像OI的深度資訊D所偵測到的物件。

請再參照圖2A及圖2B，假設圖2A中包含車子240的區塊的深度值不同，並且包含車子240的區塊的深度值不同於包含駕駛250的區塊的深度值。在本實施例中，若單純參照圖2A的深度值，由於彼此不規則的深度關係，則車子240的車體、輪胎及駕駛250可能被視為不同物件，以致於車子240的車體、輪胎及駕駛250於左眼影像中及右眼影像中對應的位移量會不相同。因此，可參照圖2B所示動態資訊。依照圖2B，動態向量為的區域為包含車子240的車體、輪胎及駕駛250的區域。因此，可將包含車子240的車體、輪胎及駕駛250的區塊的深度值會調整為相似或相同。亦即，可將包含駕駛250的區塊的深度值180調整為深度值225，將包含車子240的輪胎的區塊的深度值210調整為深度值227。

圖3為圖1依據本發明一實施例的深度取得單元的示意圖。請參照圖1及圖3，深度取得單元110包括深度產生單元111、深度調整器112及深度影像繪圖單元113。深度產生單元111接收這些原始影像OI，並用以偵測每一原始影像OI的深度資訊D。當影像處理模組100處於標準模式時，深度產生單元111輸出每一原始影像OI的深度資訊D至動態估測單元120。當影像處理模組100處於影像轉換模式時，深度產生單元111輸出每一原始影像OI的深度資訊D至深度調整器112，深度調整器接收深度資訊D及來自動態估測單元120的每一原始影像OI的動態資訊MI。並且，深度調整器112依據每一原始影像OI的動態資訊MI調整每一原始影像OI的深度資訊D，而調整後之每一原始影像OI的深度資訊D’輸出至深度影像繪圖單元113。

深度影像繪圖單元113耦接深度調整器112及接收這些原始影像OI。當影像處理模組100處於標準模式時，深度影像繪圖單元113會關閉。當影像處理模組100處於影像轉換模式時，深度影像繪圖單元113會接收到調整後之每一原始影像OI的深度資訊D’，藉此深度影像繪圖單元113會依據每一原始影像OI及調整後之每一原始影像OI的深度資訊D’輸出一組立體影像SI。在其他實施例中，深度調整器112可整合於深度產生單元111中。

依據上述，可將影像處理模組100的動作彙整為一影像處理方法。圖4為依據本發明一實施例的影像處理方法的示意圖。請參照圖4，在本實施例中，會接收多個原始影像(步驟S410)。接著，偵測每一原始影像的深度資訊(步驟S420)及偵測每一原始影像的動態資訊(步驟S430)。當影像處理模組處於標準模式時，依據偵測到的每一原始影像的深度資訊調整每一原始影像的動態資訊，執行影像插入，並依據每一原始影像及調整後之每一原始影像的動態資訊輸出多個顯示影像(步驟S440)。

當影像處理模組處於影像轉換模式時，依據每一原始影像的動態資訊調整每一原始影像的深度資訊，並依據每一原始影像及調整後的每一原始影像的深度資訊輸出每一原始影像的一組立體影像(步驟S450)。其中，由於上述步驟的細節可參照影像處理模組的說明而推測出，在此則不再贅述。

綜上所述，在本發明實施例的影像處理模組及其影像處理方法中，當影像處理模組處於標準模式時，會依據每一原始影像的深度資訊調整每一原始影像的深度資訊，以依據調整後之每一原始影像的動態資訊偵測物件，並經動態補償後輸出多個顯示影像。當影像處理模組處於影像轉換模式時，會依據每一原始影像的動態資訊調整每一原始影像的深度資訊，以依據調整後之每一原始影像的深度資訊偵測物件，並據此輸出多組立體影像。因此，藉由每一原始影像的深度資訊與深度資訊相互參照，並作對應的調整，可提高物件偵測的準確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧影像處理模組

110‧‧‧深度取得單元

111‧‧‧深度產生單元

112‧‧‧深度調整器

113‧‧‧深度影像繪圖單元

120‧‧‧動態估測單元

130‧‧‧動態補償單元

240‧‧‧車子

250‧‧‧駕駛

DI‧‧‧顯示影像

D、D’‧‧‧深度資訊

MI、MI’‧‧‧動態資訊

OI‧‧‧原始影像

SI‧‧‧立體影像

S410、S420、S430、S440、S450‧‧‧步驟

圖1為依據本發明一實施例的影像處理模組的示意圖。

圖2A及圖2B分別為依據本發明一實施例的原始影像的深度資訊及動態資訊的示意圖。

圖3為圖1依據本發明一實施例的深度取得單元的示意圖。

圖4為依據本發明一實施例的影像處理方法的示意圖。

100．．．影像處理模組

110．．．深度取得單元

120．．．動態估測單元

130．．．動態補償單元

DI．．．顯示影像

D．．．深度資訊

MI、MI’．．．動態資訊

OI．．．原始影像

SI．．．立體影像

Claims (12)

1. 一種影像處理模組，包括：一深度取得單元，接收多個原始影像，用以偵測每一該些原始影像的深度資訊；一動態估測單元，接收該些原始影像並耦接該深度取得單元，用以偵測每一該些原始影像的動態資訊；以及一動態補償單元；其中該動態估測單元依據偵測到的每一該些原始影像的深度資訊調整每一該些原始影像的動態資訊，該動態補償單元依據每一該些原始影像及調整後之每一該些原始影像的動態資訊執行一影像插入及輸出多個顯示影像，其中該深度取得單元產生每一該些原始影像的多個像素的深度資訊，該動態估測單元產生每一該些原始影像的該些像素的動態資訊，以偵測至少一物件及依據每一該些原始影像的該些像素的深度資訊調整偵測到的該物件的邊緣像素的動態資訊與該物件的內部像素的動態資訊為相同。
2. 如申請專利範圍第1項所述之影像處理模組，其中該些顯示影像包括該些原始影像及多個插入影像。
3. 一種影像處理模組，包括：一深度取得單元，接收多個原始影像，用以偵測每一該些原始影像的深度資訊；一動態估測單元，接收該些原始影像並耦接該深度取得單元，用以偵測每一該些原始影像的動態資訊；以及一動態補償單元； 其中該深度取得單元依據每一該些原始影像的動態資訊調整每一該些原始影像的深度資訊，並且依據每一該些原始影像及調整後之每一該些原始影像的深度資訊輸出每一該些原始影像的一組立體影像，其中該深度取得單元產生每一該些原始影像的多個像素的深度資訊，該動態估測單元產生每一該些原始影像的該些像素的動態資訊，以偵測至少一物件及依據每一該些原始影像的該些像素的動態資訊調整具有相同的動態資訊的內部像素的該些物件具有相同的深度資訊。
4. 如申請專利範圍第3項所述之影像處理模組，其中該組立體影像分別為包括至少一左眼影像及至少一右眼影像。
5. 如申請專利範圍第3項所述之影像處理模組，其中該深度取得單元包括：一深度產生單元，接收該些原始影像，用以偵測每一該些原始影像的深度資訊；一深度調整器，接收每一該些原始影像的深度資訊及動態資訊，當該影像處理模組處於一影像轉換模式時，該深度調整單元依據每一該些原始影像的動態資訊調整每一該些原始影像的深度資訊；以及一深度影像繪圖單元，耦接該深度調整器及接收該些原始影像，當該影像處理模組處於該影像轉換模式時，深度影像繪圖單元依據調整後之每一該些原始影像的深度資訊及每一該些原始影像輸出每一該些原始影像的該組立體 影像。
6. 如申請專利範圍第3項所述之影像處理模組，其中當該影像處理模組處於一影像轉換模式時，該些原始影像分別為一二維影像。
7. 一種影像處理方法，適用於一影像處理模組，包括：接收多個原始影像；偵測每一該些原始影像的多個像素的深度資訊；偵測每一該些原始影像的該些像素的動態資訊；當該影像處理模組處於一標準模式時，依據每一該些原始影像的該些像素的深度資訊偵測至少一物件，依據每一該些原始影像的該些像素的深度資訊調整每一該些原始影像中該物件的邊緣像素的動態資訊與該物件的內部像素的動態資訊為相同，執行一影像插入，並依據每一該些原始影像及調整後之每一該些原始影像的動態資訊輸出多個顯示影像。
8. 如申請專利範圍第7項所述之影像處理方法，更包括：當該影像處理模組處於一影像轉換模式時，依據每一該些原始影像的動態資訊調整每一該些原始影像的深度資訊，並依據每一該些原始影像及調整後的每一該些原始影像的深度資訊輸出每一該些原始影像的一組立體影像。
9. 如申請專利範圍第8項所述之影像處理方法，其中該組立體影像分別為包括一左眼影像及一右眼影像。
10. 如申請專利範圍第9項所述之影像處理方法，其 中該組立體影像為依據一深度影像繪圖方法所產生。
11. 如申請專利範圍第8項所述之影像處理方法，其中當該影像處理模組處於該影像轉換模式時，該些原始影像分別為一二維影像。
12. 如申請專利範圍第7項所述之影像處理方法，其中該些顯示影像包括該些原始影像及多個插入影像。