TWI462567B

TWI462567B - 三維處理電路及處理方法

Info

Publication number: TWI462567B
Application number: TW99119823A
Authority: TW
Inventors: Hsu Jung Tung; Chia Wei Yu
Original assignee: Realtek Semiconductor Corp
Priority date: 2010-06-18
Filing date: 2010-06-18
Publication date: 2014-11-21
Also published as: TW201201565A; US9123177B2; US20110310095A1

Description

三維處理電路及處理方法

本發明係有關一種三維影像的處理電路及處理方法，尤其是關於一種根據影像深度決定螢幕上顯示(On-Screen display;OSD)位置的三維影像處理電路及方法。

三維(3D)影像可經由深度計算、雙鏡頭錄影或是其他方式產生，在2D的平面上加上場景深度，觀賞者佩帶特殊的3D眼鏡後，即可以觀賞到具有3D效果之影像，提供更完整的視覺享受。但是螢幕上顯示(On-Screen display；OSD)資訊，例如字幕，一般是外加的資訊，換言之，OSD本身並無深度的訊息。習知的OSD顯示方式有二種，圖一A及圖一B以字幕為例，繪示習知處理方式。

圖一A展示一種習知的三維(3D)影像重點10a及字幕11a的動作情形。字幕11a未做任何跟深度有關的處理，所以在立體影像中，雙眼看到字幕11a的位置相同，在視覺上的效應，相當於文字在螢幕實際空間的位置。但是字幕11a又需顯示在畫面的最上層以供觀看，造成在觀賞時，出現有如”較遠處的影像，遮住近處影像”的狀況，如圖一A右上角之示意圖，這種違反日常生活經驗的怪異情形，在觀賞3D影像，例如3D電影時，會造成觀賞者的不適。

圖一B展示另一種習知的3D影像10b及其字幕11b的動作情形。字幕11b的位置固定在整個3D影像的深度最小處，實際看起來雖仍會遮住其他物體，但這種方式較符合日常生活經驗，看起來不會有怪異的感覺。然而，以3D電影為例，在3D影像重點10b有時不在深度較淺的前方，而是在較深處，這時觀賞者在觀賞位於遠處的焦點時，又需觀賞固定在最近處的字幕11b，換言之，觀賞者需要不斷調整雙眼注視的焦距，長久下來會讓眼睛疲勞。

本發明之目的之一，在於提供一種三維影像處理方法，改善習知三維處理電路及處理方法中的缺陷，以減輕觀賞者的負擔。

本發明之目的之一，在於提供一種三維影像處理裝置。

本發明提出一種三維影像處理電路，用以處理一原始三維影像以產生一三維影像，其包含：一影像分析裝置，分析該原始三維影像以取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度；一螢幕上顯示(OSD)決定裝置，耦合於該影像分析裝置，根據該重點深度決定一OSD位置，據以產生一具有深度之OSD；以及一疊加裝置，耦合該OSD決定裝置，疊加該原始三維影像及該具有深度之OSD，產生該三維影像。

本發明亦提供了一種三維影像處理方法，用以處理一原始三維影像以產生一三維影像，該方法包含以下步驟：接收一原始三維影像；分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度；根據該重點深度決定一OSD位置，據以產生一具有深度之OSD；以及疊加該原始三維影像及該具有深度之OSD，產生該三維影像。

圖二係根據本發明之三維影像處理電路一實施例的方塊圖。該三維處理電路20接收一原始三維影像，影像分析裝置21根據該原始三維影像，找出該原始三維影像的重點深度。影像分析裝置21可藉由多種方式實現，例如偵測該原始三維影像的銳利度、色彩飽和度，或根據該原始三維影像中物件的移動速度，以獲知該原始三維影像的重點深度，據以決定OSD的深度而產生三維影像。本實施例以偵測該原始三維影像中之主要移動物件為例，決定出重點深度。在一實施例中，以在該原始三維影像中的主要移動物件，例如在一靜止場景中移動的人物，以該人物做為重點資訊並據以輸出重點深度。在另一實施例中，則是在快速移動的畫面背景中，找出與該畫面背景相對靜止的物件，例如奔馳中的汽車，以該汽車做為重點資訊並據以輸出重點深度。決定出重點深度後，OSD決定裝置22根據該重點深度，決定OSD(例如字幕)的深度，並根據該原始三維影像的影像格式，計算產生適合該影像格式之具有深度資訊的OSD，再由疊加裝置23將該具有深度資訊的OSD疊加至該原始三維影像中，產生具有可變深度OSD的三維影像。如此一來，該可變深度的OSD將跟隨著影像中的重點，人眼在觀賞3D影像時，便不需在影像重點和OSD間不斷調整視覺的焦距，減輕觀賞者的負擔。在本實施例中，OSD係為一字幕，該字幕可由一OSD分離裝置(圖中未示)自原始三維影像中分離出來，再提供給OSD決定裝置22進行後續處理。在其他實施例中，OSD可為一控制選單，通常由顯示器的OSD產生器(OSD generator)產生，此時的OSD則由該OSD產生器直接提供給OSD決定裝置22。本發明所屬領域具通常知識者應瞭解OSD的來源可依影像來源或所應用之裝置而有各種變化，在此不加以詳述。

圖三係根據本發明之三維影像處理電路另一實施例的方塊圖。三維處理電路30接收一原始三維影像，影像分析裝置31分析該原始三維影像，找出該原始三維影像的重點資訊，並據以輸出一重點深度，在決定出重點深度後，OSD決定裝置32根據該重點深度，決定OSD的深度，並根據該原始三維影像的影像格式，計算產生適合該影像格式之具有深度資訊的OSD，再由疊加裝置33將該具有深度的OSD疊加至該原始三維影像中，產生具有可變深度OSD的三維影像。此外，本實施例更包括一延遲裝置34，耦接該疊加裝置33，將該原始三維影像經過一適當的延遲後，再提供給該疊加裝置33，以使影像和OSD適當地相疊加，產生三維影像。

圖四係根據本發明之影像分析裝置一實施例的方塊圖。影像分析裝置4可包括一銳利度判斷裝置41，用以偵測該原始三維影像中銳利度最高的區域、一動態偵測裝置42，係偵測該原始三維影像中與快速移動的畫面背景相對的一靜止物件或一主要移動物件，以及一飽和度判斷裝置43，用以偵測該原始三維影像中色彩飽和度最高的區域。例如，一般影片或照片中銳利度最高的區域，通常即為該影片或照片中的重點區域；或是影片中的主要移動物件，或與快速移動的畫面背景相對的一靜止物件，通常為該影片的重點區域；又如影片或照片中色彩飽和度最高的區域亦常是該影片或照片中的重點區域，本實施例提出之影像分析裝置40藉由銳利度判斷、動態偵測以及飽和度判斷產生出第一、第二和第三重點資訊，再經由權重電路44對該第一、第二和第三重點資訊做權重計算，以決定該原始三維影像的重點深度。除了銳利度、動態偵測與飽和度判斷等方法之外，還有多種方式可判斷出三維影像的重點資訊，熟習本發明技術領域者當知，依照本發明揭露之內容做出各種組合是可能的，在其他實施例中可根據實際的設計與需求，執行與增加其他不同類型的判斷與偵測等機制，在僅使用一種判斷或偵測裝置(例如本實施例中銳利度判斷裝置41、動態偵測裝置42或飽和度判斷裝置43)的實施例中，權重電路可以被省略。當該原始三維影像過於複雜或其內容改變而導致不易判斷時(例如卡通)，影像分析裝置40先對該原始三維影像作不同類型的分析(例如銳利度分析、色彩飽和度分析與移動分析等等)，再由權重電路44將影像分析裝置40所作的這些分析結果做權重計算而決定該重點深度，以使決定出的重點深度更加精確。

圖五係根據本發明之OSD決定裝置一實施例的方塊圖。OSD決定裝置50包括一OSD深度計算裝置51與一OSD圖像計算裝置52，OSD深度計算裝置51耦接影像分析裝置，並接收其所輸出的重點深度，據以計算決定出OSD的深度。該OSD深度可根據使用者的喜好與該三維影像的特性，設置在該三維影像重點的前方、前緣或是中間。OSD圖像計算裝置52耦接該OSD深度計算裝置51，根據OSD深度計算裝置51決定出的OSD深度以及該原始三維影像的格式，計算產生適合該原始三維影像格式之具有深度資訊的OSD，再將該具有深度資訊的OSD提供給疊加裝置。

目前三維影像主要分為場景(Scene)加上深度(Depth)，以及以雙攝影機拍攝，其影像資訊包含左右眼的兩種格式。因此，OSD圖像計算單元42根據不同的輸入格式，計算出適當的OSD資訊。例如若該原始三維影像的格式為場景及深度時，便直接根據該OSD深度計算產生該具有深度的OSD，並將該原始三維影像與該具有深度的OSD相疊加。若該原始三維影像係為包括一左眼影像與一右眼影像之格式時，則根據該重點深度分別計算出左右眼影像所需的不同OSD深度位置，再加以疊加，該疊加完成產生之左右眼影像被人眼接收後，人腦即根據左右眼接收到的影像位置，組合出具有深度之視覺影像。

較佳的，將該OSD設計係為半透明，以使該OSD對三維影像中其他物件的影響降到最低。

變化地，將該OSD設置於該重點資訊週邊，使該OSD更緊密地跟隨該三維影像中的重點。

圖六係根據本發明之三維影像處理方法一實施例的流程圖，該方法包含以下步驟：s601接收一原始三維影像；s602分析該原始三維影像以取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度；s603根據該重點深度決定一OSD位置，據以產生一具有深度之OSD；以及s604疊加該原始三維影像及該具有深度之OSD，產生該三維影像。

較佳的，該步驟s604更包含一延遲步驟，將該原始三維影像經過一延遲後，再與該具有深度之OSD相疊加以產生該三維影像。

透過上述之實施例，觀賞者可依據個人喜好將字幕深度設定為貼在3D影像重點的最上層、略前方與中間，如本說明書之圖七、八與九所示。圖七係顯示應用本發明將字幕深度設定為貼在3D影像重點的最上層的一實施例。於本實施例，當觀賞者設定字幕71設定在3D影像重點70最上層時，不論該3D影像重點70近於或遠於人眼，則字幕71將根據3D影像重點70的位置自動調整至3D影像重點70最上層。因此，觀賞者不需要調整雙眼注視的焦距，以減輕眼睛疲勞。

同樣地，圖八係顯示應用本發明將字幕深度設定為在3D影像重點的略前方的一實施例。於本實施例，當觀賞者設定字幕81設定在3D影像重點80略前方時，不論3D影像重點80如何改變其位置，則字幕81將會根據3D影像重點80的位置自動調整至3D影像重點80的略前方。

同樣地，圖九係顯示應用本發明將字幕深度設定在3D影像重點的中間的一實施例。於本實施例，當觀賞者設定字幕91設定在3D影像重點90略前方時，不論3D影像重點90如何改變其位置，則字幕91將會根據3D影像重點90的位置自動調整至3D影像重點90的中間。唯以上所述者，僅為本發明之範例實施態樣爾，當不能以之限定本發明所實施之範圍。即大凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬於本發明專利涵蓋之範圍內，謹請　貴審查委員明鑑，並祈惠准，是所至禱。

10a/b．．．三維(3D)影像重點

11a/b．．．字幕

20．．．三維處理電路

21．．．影像分析裝置

22．．．OSD決定裝置

23．．．疊加裝置

30．．．三維處理電路

31．．．影像分析裝置

32．．．OSD決定裝置

33．．．疊加裝置

34．．．延遲裝置

40．．．影像分析裝置

41．．．銳利度判斷裝置

42．．．動態偵測裝置

43．．．飽和度判斷裝置

44．．．權重電路

50．．．OSD決定裝置

51．．．OSD深度計算裝置

52．．．OSD圖像計算裝置

70．．．三維(3D)影像重點

71．．．字幕

80．．．三維(3D)影像重點

81．．．字幕

90．．．三維(3D)影像重點

91．．．字幕

圖一A係習知三維影像及其字幕間一動作情形的示意圖；

圖一B係習知的三維影像及其字幕間另一動作情形的示意圖；

圖二係根據本發明之三維處理電路一實施例示意圖；

圖三係根據本發明之三維處理電路另一實施例的示意圖；

圖四係根據本發明之影像分析裝置一實施例的方塊圖；

圖五係為根據本發明之OSD決定裝置一實施例的方塊圖；

圖六係根據本發明之三維影像處理方法一實施例之示意圖；

圖七係顯示應用本發明將字幕深度設定為貼在3D影像重點的最上層的一實施例；

圖八係顯示應用本發明將字幕深度設定為在3D影像重點的略前方的一實施例；以及

圖九係顯示應用本發明將字幕深度設定在3D影像重點的中間的一實施例。

20．．．三維處理電路

21．．．影像分析裝置

22．．．OSD決定裝置

23．．．疊加裝置

Claims

一種三維影像處理電路，用以處理一原始三維影像以產生一三維影像，其包含：一影像分析裝置，分析該原始三維影像以取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度；一螢幕上顯示(OSD)決定裝置，耦合於該影像分析裝置，根據該重點深度決定一OSD位置，據以產生一具有深度之OSD；以及一疊加裝置，耦合該OSD決定裝置，疊加該原始三維影像及該具有深度之OSD，產生該三維影像；其中，該重點深度係根據該原始三維影像的銳利度、色彩飽和度，或根據該原始三維影像中物件的移動速度而產生。
如申請專利範圍第1項之三維處理電路，更包括：一延遲裝置，耦接該疊加裝置，將該原始三維影像經過一延遲後，再提供給該疊加裝置。
如申請專利範圍第1項之三維處理電路，其中該OSD決定裝置更包括：一OSD深度計算裝置，耦接該影像分析裝置，根據該重點深度決定一OSD深度；以及一OSD圖像計算裝置，耦接該OSD深度計算裝置，根據該OSD深度以及該原始三維影像的格式，計算產生該具有深度的OSD。
如申請專利範圍第1項之三維處理電路，其中該影像分析裝置更包括：一銳利度判斷裝置，用以判斷該原始三維影像中銳利度最高的區域，以產生該重點資訊。
如申請專利範圍第1項之三維處理電路，其中該影像分析裝置更包括一動態偵測裝置，偵測該原始三維影像中與快速移動的畫面背景相對的一靜止物件，以產生該重點資訊。
如申請專利範圍第1項之三維處理電路，其中該影像分析裝置更包括一動態偵測裝置，偵測該原始三維影像中一主要移動物件，以產生該重點資訊。
如申請專利範圍第1項之三維處理電路，其中該影像分析裝置更包括一飽和度判斷裝置，用以判斷該原始三維影像中飽和度最高的區域，以產生該重點資訊。
如申請專利範圍第1項之三維處理電路，其中該影像分析裝置更包括：一銳利度判斷裝置，用以偵測該原始三維影像中銳利度最高的區域，以產生一第一重點資訊；一動態偵測裝置，偵測該原始三維影像中，與快速移動的畫面背景相對的一靜止物件或一主要移動物件，以產生一第二重點資訊；一飽和度判斷裝置，用以偵測該原始三維影像中飽和度最高的區域，以產生一第三重點資訊；以及一權重電路，耦接該銳利度判斷裝置、動態偵測裝置以及該飽和度判斷裝置，根據該第一、第二及第三重點資訊進行權重計算而決定出該重點深度。
如申請專利範圍第1項之三維處理電路，其中該OSD 為字幕。
如申請專利範圍第1項之三維處理電路，其中該OSD為半透明。
如申請專利範圍第1項之三維處理電路，其中該OSD係設置於該重點資訊週邊。
如申請專利範圍第3項之三維處理電路，其中該OSD深度計算裝置根據該重點深度將該OSD深度設置在該重點深度的前方、前緣或是中間。
一種三維影像處理方法，用以處理一原始三維影像以產生一三維影像，該方法包含以下步驟：接收一原始三維影像；分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度；根據該重點深度決定一OSD位置，據以產生一具有深度之OSD；以及疊加該原始三維影像及該具有深度之OSD，產生該三維影像；其中，該重點深度係根據該原始三維影像的銳利度、色彩飽和度，或根據該原始三維影像中物件的移動速度而產生。
如申請專利範圍第13項之方法，其中該疊加該原始三維影像及具有深度之OSD之步驟更包含將該原始三維影像經過一延遲後，與該具有深度之OSD疊加。
如申請專利範圍第13項之方法，其中該根據該重點深度決定一OSD位置，據以產生一具有深度之OSD的步驟包括：根據該重點深度決定一OSD深度；以及根據該OSD深度以及該原始三維影像的格式，計算產生該具有深度的OSD。
如申請專利範圍第13項之方法，其中該分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度的步驟包括偵測該原始三維影像中一主要移動物件以產生該重點資訊。
如申請專利範圍第13項之方法，其中該分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度的步驟包括偵測該原始三維影像中，與快速移動的畫面背景相對的一靜止物件以產生該重點資訊。
如申請專利範圍第13項之方法，其中該分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度的步驟包括偵測銳利度最高的區域以產生該重點資訊。
如申請專利範圍第13項之方法，其中該分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度的步驟包括偵測飽和度最高的區域以產生該重點資訊。
如申請專利範圍第13項之方法，其中該分析該原始三維影像，取得該原始三維影像的重點資訊，並根據該重點資訊輸出一重點深度的步驟包括：偵測該原始三維影像中銳利度最高的區域，以產生一第一重點資訊；偵測該原始三維影像中，與快速移動的畫面背景相對的一靜止物件或一主要移動物件，以產生一第二重點資訊；偵測該原始三維影像中飽和度最高的區域，以產生一第三重點資訊；以及根據該第一、第二及第三重點資訊進行權重計算而決定出該重點深度。
如申請專利範圍第13項之方法，其中該OSD為一字幕。
如申請專利範圍第15項之方法，其中該根據該重點深度決定一OSD深度的步驟包括將該OSD深度設置在該三維影像重點的前方、前緣或是中間。