TWI788909B

TWI788909B - 影像處理裝置與方法

Info

Publication number: TWI788909B
Application number: TW110124999A
Authority: TW
Inventors: 王稚杰; 范姜智順
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2023-01-01
Also published as: TW202304215A; US12400447B2; US20230009556A1

Abstract

一種影像處理方法，包含：偵測影像幀輸入序列中每一影像幀連續出現的次數，其中影像幀輸入序列包含依序輸入的至少一第一影像幀與至少一第二影像幀，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料；依據至少一第一影像幀連續出現的第一次數決定第一查找表，其中第一查找表指示出多組補償運算；及依據至少一第二影像幀連續出現的第二次數採用該些組補償運算之中的第一組補償運算，以處理至少一第一影像幀之影像資料。

Description

影像處理裝置與方法

本發明是關於一種影像處理裝置與方法，特別是關於一種處理節奏(cadence)的影像處理裝置與方法。

當影像訊號的節奏(cadence)固定時，顯示系統可以對應該節奏來調整影像訊號中至少一些幀的影像資料，再將調整後的影像訊號輸出以達到較好的觀看品質。然而，當影像訊號的節奏變動時，顯示系統調整影像資料的方式無法及時地對應至變動後的節奏，因此在輸出的影像訊號上可能產生卡頓或跳格，降低觀看的品質。因此，要如減少變換節奏衍生出的缺點已成為本領域極欲解決的問題之一。

本發明揭露一種影像處理方法，包含下列步驟：偵測影像幀輸入序列中每一影像幀連續出現的次數，其中影像幀輸入序列包含依序輸入的至少一第一影像幀與至少一第二影像幀，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料；依據至少一第一影像幀連續出現的第一次數決定第一查找表，其中第一查找表指示出多組補償運算；及依據至少一第二影像幀連續出現的第二次數採用該些組補償運算之中的第一組補償運算，以處理至少一第一影像幀之影像資料。

本發明揭露一種影像處理裝置，包含偵測器及資料處理器。偵測器用以偵測影像幀輸入序列中每一影像幀連續出現的次數。影像幀輸入序列包含依序輸入的至少一第一影像幀與至少一第二影像幀，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料。資料處理器用以依據至少一第一影像幀連續出現的第一次數決定第一查找表。第一查找表指示出多組補償運算，及資料處理器更用以依據至少一第二影像幀連續出現的第二次數採用該些組補償運算之中的第一組補償運算，以處理至少一第一影像幀之影像資料。

相較於習知技術，本發明的影像處理裝置與方法依序地偵測接收的影像訊號中每一幀重複的次數，並依據偵測到的次數對應地調整該些幀的影像資料，以提高輸出影像的流暢度，增進觀看品質。

圖1為依據本發明一些實施例，影像處理裝置10的示意圖。影像處理裝置10包含偵測器11、暫存器12、資料處理器13與顯示器14。影像處理裝置10用來接收影像訊號SV，並依據影像訊號SV中影像幀的重複次數來調整影像訊號SV以產生顯示訊號SD，最後利用顯示器14將顯示訊號SD顯示。

影像訊號SV包含依序輸入的多個影像幀。換言之，影像訊號SV由一影像幀輸入序列組成。影像幀輸入序列包含多組重複的影像幀。例如由圖2所示，影像幀輸入序列依序為影像幀A1、影像幀A2、影像幀B1、影像幀B2、影像幀B3、影像幀C1、影像幀C2、影像幀C3、影像幀D1與影像幀D2(為易於表達，於後分別以A1、A2、B1、B2、B3、C1、C2、C3、D1與D2表示)，其中A1與A2具有相同的影像資料。類似地，B1~B3、C1~C3與D1~D2分別具有相同的影像資料。示於圖2的影像幀輸入序列僅為示例，本發明不限於此，影像幀輸入序列亦可為包含各種重複次數的多組影像幀。

偵測器11用以接收影像幀輸入序列以偵測具有相同影像資料的該些影像幀的重複次數，並將偵測到的次數寫入暫存器12中。以圖2為例，偵測器11偵測到與A1有相同資影像資料且連續輸入的影像幀有A2。具有相同的影像資料的A1與A2重複了兩次，因此偵測器11偵測到對應A1與A2的次數為2，並將2寫入暫存器12中。同理，偵測器11分別將3、3、2寫入暫存器12中以對應B1~B3、C1~C3與D1~D2。

在一些實施例中，偵測器11用以測量每一影像幀的平均亮度以偵測上述重複次數。當兩個相鄰的影像幀各自的平均亮度大體上相同時，偵測器11判斷該兩個相鄰的影像幀為具有相同影像資料的兩個相鄰影像幀。當兩個相鄰的影像幀各自平均亮度不同時，偵測器11判斷該兩個相鄰的影像幀為具有不同影像資料的兩個相鄰影像幀。

在一些實施例中，暫存器12為佇列暫存器或先入先出(FIFO)暫存器，其包含儲存單元N1~N4。在圖2所示的例子中，暫存器12依序將2、3、3、2存入儲存單元N1~N4。暫存器12的儲存單元N1~N4的數量僅為示例，本發明不限於此。

資料處理器13用以依據偵測器11偵測到的重複次數對應地調整影像訊號SV。當次數2、3、3、2分別被存入儲存單元N1~N4時，A1~A2、B1~B3、C1~C3與D1~D2分別對應儲存單元N1~N4的次數。

資料處理器13依據儲存單元N1~N4儲存的次數來調整A1~A2、B1~B3、C1~C3及/或D1~D2。資料處理器13包含記憶體131，用以儲存多個查找表LT1~LT3(請同時參考圖3)，其中該些查找表LT1~LT3分別用以指示多組補償運算MC11~MC13、MC21~MC23、MC31~MC33。該些查找表LT1~LT3中的每個分別對應不同的第一索引值i1，每個查找表LT1~LT3更對應多個不同的第二索引值i2。資料處理器13依據儲存單元N1~N4儲存的次數與該些第一索引值i1決定該些查找表LT1~LT3中之一者後，再依據在該決定的查找表中的該些第二索引值i2決定該些補償運算中之一者，來調整A1~A2、B1~B3、C1~C3及/或D1~D2。

在一些實施例中，當資料處理器13完成處理某組重複出現的影像幀之後，暫存器12中儲存對應重複次數的儲存單元被清除。例如，當資料處理器13完成處理A1~A2之後，暫存器12中儲存單元N1中的資料被清除。

依據圖2，以資料處理器13處理B1~B3為例，在一些實施例中，資料處理器13依據儲存單元N2與N3儲存的次數來決定要使用哪一查找表中的哪一組補償運算來處理B1~B3。首先，與B1~B3對應的重複次數為3並儲存在儲存單元N2中，資料處理器13讀取儲存單元N2後，將第一索引值i1為3的查找表LT3決定為欲使用的查找表。接著，資料處理器13讀取儲存單元N3(重複次數為3)，並採用查找表LT3中第二索引值i2為3所對應的補償運算MC33來處理B1~B3。換言之，資料處理器13首先決定出與儲存單元N2儲存的次數匹配的第一索引值i1對應的查找表T3，接著在決定出與儲存單元N3儲存的次數匹配的第二索引值i2對應的補償運算MC33。

在一些實施例中，補償運算MC11~MC13相互不同，補償運算MC21~MC23相互不同，及補償運算MC31~MC33相互不同。不同的補償運算代表不同的影像處理方式。B1~B3的重複次數為3及C1~C3的重複次數為3，資料處理器13選用查找表LT3中的補償運算MC33來處理B1~B3；以及C1~C3的重複次數為3及D1~D2的重複次數為2，資料處理器13選用查找表LT3中的補償運算MC32來處理C1~C3。因為C1~C3的重複次數(3)不同於D1~D2的重複次數(2)，所以資料處理器13處理B1~B3之方式不同於處理C1~C3的方式。換言之，影像訊號SV被資料處理器13處理的方式與正被處理的具有相同影像資料的影像幀的重複次數以及與接下要被處理的具有相同影像資料的影像幀的重複次數有關。

在一些實施例中，記憶體131所儲存的查找表LT1~LT3的數量有限，因此當偵測到的影像幀的重複次數超過該些第一索引值i1中的一最大索引值(在圖3的實施例中最大的第一索引值i1為3)時，資料處理器13採用對應該些第一索引值i1中的最大索引值的查找表(在圖3的實施例中為查找表LT3)來處理影像幀。

在一些實施例中，每個查找表LT1~LT3中包含的補償運算的數量有限，因此當偵測到的影像幀的重複次數超過該些第二索引值i2中的一最大索引值(在圖3的實施例中最大的第一索引值i2為3)時，資料處理器13採用對應該些第二索引值i2中的最大索引值的查找表(在圖3的實施例中為補償運算MC13、MC23或MC33)來處理影像幀。

在一些實施例中，資料處理器13依據補償運算MC33處理B1、B2與B3。請再參考圖3，當第一索引值i1的值為N時，對應的該些補償運算分別包含N個運算係數。資料處理器13用以採用N個運算係數分別處理在N個時間點各自接收的影像幀的影像資料。例如，資料處理器13採用補償運算MC33中的3個運算係數分別處理在3個不同時間點分別接收的B1、B2、B3。

在其他實施例中，資料處理器13依據補償運算MC33僅處理B3。在替代的實施例中，資料處理器13依據補償運算MC33僅處理B2、B3。

在現有技術中，當影像訊號的節奏已知時，顯示系統僅對影像訊號提供固定的調整方式，例如插幀的操作。然而，當影像訊號的節奏改變時或頻繁切換以致於類似沒有節奏的情形時，顯示系統還是使用固定的調整方式來處理影像訊號。在此情形下，處理後的影像訊號容易出現某些幀的資料被覆蓋而產生掉張的狀態(例如圖4的右半部中虛線框所示的情形)。因此，在觀看這樣的訊號會產生較大卡頓或跳格。

相較於現有技術，本發明實施例偵測影像訊號SV中每一影像幀的重複次數，再依據每組具有相同影像資料的影像幀的重複次數來選擇對應的補償運算以產生補償後的顯示訊號SD。因為選擇的補償運算對應於測影像訊號SV中快速變換的重複次數，因此顯示訊號SD較為平順且連續(例如圖4的左半部所示的情形)，具有較少的卡頓，觀看品質較佳。

也就是說，本發明所提供之影像處理方案可將具有相同影像資料且連續出現的影像幀視為一組影像幀，並依據該組影像幀中連續出現的影像幀的個數來決定與補償運算相關的查找表。接下來，本發明所提供之影像處理方案可依據緊接於該組影像幀之後的另一組影像幀中連續出現的影像幀的個數，從查找表選取一組補償運算，據以調整該組影像幀中至少一影像幀的影像資料。

參考圖5。圖5為本發明其他些實施例中，影像處理方法50的流程圖。在一些實施例中，圖1的影像處理裝置10利用影像處理方法50來處理影像訊號SV。更具體來說，圖1的影像處理裝置10利用影像處理方法50來增加輸出的顯示訊號SD的流暢度。影像處理方法50包含步驟S51，步驟S52與步驟S53。為了易於理解，影像處理方法50沿用圖1~圖3中的參考符號來說明。此外，影像處理方法50不以步驟S51~S53為限。在更進一步的實施例中，影像處理方法50亦包含透過圖1~圖3中影像處裡裝置10及上述關於影像處理裝置10的操作所敘述的步驟。

在步驟S51中，偵測影像幀輸入序列(如圖2所示A1~A2、B1~B3、C1~C3、D1~D2)中每一影像幀連續出現的次數，其中影像幀輸入序列包含依序輸入的至少一第一影像幀(例如為B1~B3)與至少一第二影像幀(例如為C1~C3)，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料。在步驟S52中，據該至少一第一影像幀連續出現的一第一次數決定一第一查找表(例如為查找表LT3)，該第一查找表指示出複數組補償運算(例如為MC31、MC32、MC33)。在步驟S53中，依據該至少一第二影像幀連續出現的一第二次數採用該複數組補償運算之中的一第一組補償運算(例如為MC33)，以處理該至少一第一影像幀之影像資料。

上文的敘述簡要地提出了本發明某些實施例之特徵，而使得本發明所屬技術領域具有通常知識者能夠更全面地理解本發明內容的多種態樣。本發明所屬技術領域具有通常知識者當可明瞭，其可輕易地利用本發明內容作為基礎，來設計或更動其他製程與結構，以實現與此處該之實施方式相同的目的和/或達到相同的優點。本發明所屬技術領域具有通常知識者應當明白，這些均等的實施方式仍屬於本發明內容之精神與範圍，且其可進行各種變更、替代與更動，而不會悖離本發明內容之精神與範圍。

10:類比數位轉換器

11:偵測器

12:暫存器

13:資料處理器

131:記憶體

14:顯示器

SV:影像訊號

SD:顯示訊號

A1:影像幀

A2:影像幀

B1:影像幀

B2:影像幀

B3:影像幀

C1:影像幀

C2:影像幀

C3:影像幀

D1:影像幀

D2:影像幀

N1:儲存單元

N2:儲存單元

N3:儲存單元

N4:儲存單元

LT1:查找表

LT2:查找表

LT3:查找表

i1:第一索引值

i2:第二索引值

MC11:補償運算

MC12:補償運算

MC13:補償運算

MC21:補償運算

MC22:補償運算

MC23:補償運算

MC31:補償運算

MC32:補償運算

MC33:補償運算

50:影像處理方法

S51:步驟

S52:步驟

S53:步驟

在閱讀了下文實施方式以及附隨圖式時，能夠最佳地理解本發明的多種態樣。應注意到，依據本領域的標準作業習慣，圖中的各種特徵並未依比例繪製。事實上，為了能夠清楚地進行描述，可能會刻意地放大或縮小某些特徵的尺寸。圖1為本發明一些實施例中，影像處理裝置的示意圖。圖2為本發明其他些實施例中，影像處理裝置的示意圖。圖3為本發明其他些實施例中，查找表的示意圖。圖4為本發明其他些實施例中，影像幀輸出的時序圖。圖5為本發明其他些實施例中，影像處理方法的流程圖。

50:影像處理方法

S51:步驟

S52:步驟

S53:步驟

Claims

一種影像處理方法，包含：偵測一影像幀輸入序列中每一影像幀連續出現的次數以判斷該影像幀輸入序列的一節奏(cadence)，其中該影像幀輸入序列包含依序輸入的至少一第一影像幀與至少一第二影像幀，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料；依據該至少一第一影像幀連續出現的一第一次數決定一第一查找表，該第一查找表指示出複數組補償運算；及依據該至少一第二影像幀連續出現的一第二次數採用該複數組補償運算之中的一第一組補償運算，以處理該至少一第一影像幀之影像資料，其中偵測該影像幀輸入序列中每一影像幀連續出現的次數以判斷該影像幀輸入序列的該節奏的步驟包含：依序測量每一影像幀的平均亮度；及依據每兩個相鄰影像幀各自的平均亮度，判斷該兩個相鄰影像幀是否為具有同一影像資料的兩個相鄰影像幀。
如請求項1中的影像處理方法，其中該第一次數為N次，該第一組補償運算包含N個運算係數；處理該至少一第一影像幀之影像資料的步驟包含：採用該N個運算係數，以分別處理在N個時間點各自接收的該至少一第一影像幀之影像資料。
如請求項1中的影像處理方法，其中依據該至少一第一影像幀連續出現的該第一次數決定該第一查找表的步驟包含：提供複數個查找表，其中該些查找表分別對應於不同的複數個第一索引值；依據該第一次數從該些查找表之中選取該第一查找表，其中該第一查找表的第一索引值與該第一次數相匹配。
如請求項3中的影像處理方法，其中依據該第一次數從該些查找表之中選取該第一查找表的步驟包含：當該第一次數到達該些第一索引值之中的一最大索引值時，將該最大索引值相對應的查找表選為該第一查找表。
如請求項1中的影像處理方法，依據該至少一第二影像幀連續出現的該第二次數採用該第一組補償運算以處理該至少一第一影像幀之影像資料的步驟包含：提供複數組補償運算，其中該複數組補償運算分別對應於不同的複數個第二索引值；以及依據該第二次數從該複數組補償運算之中選取該第一組補償運算，其中該第一組補償運算的第二索引值與該第二次數相匹配。
一種影像處理裝置，包含：一偵測器，用以偵測一影像幀輸入序列中每一影像幀連續出現的次數以判斷該影像幀輸入序列的一節奏，其中該影像幀輸入序列包含依序輸入的至少一第一影像幀與至少一第二影像幀，每一第一影像幀之影像資料不同於每一第二影像幀之影像資料；及一資料處理器，用以依據該至少一第一影像幀連續出現的一第一次數決定一第一查找表，其中該第一查找表指示出複數組補償運算，及該資料處理器更用以依據該至少一第二影像幀連續出現的一第二次數採用該複數組補償運算之中的一第一組補償運算，以處理該至少一第一影像幀之影像資料，其中該偵測器更用以依序測量每一影像幀的平均亮度，並依據每兩個相鄰影像幀各自的平均亮度，判斷該兩個相鄰影像幀是否為具有同一影像資料的兩個相鄰影像幀。
如請求項6中的影像處理裝置，其中當該第一次數為N次時，該第一組補償運算包含N個運算係數，及該資料處理器用以採用該N個組運算係數，以分別處理在N個時間點各自接收的該至少一第一影像幀之影像資料。
如請求項6中的影像處理裝置，其中該資料處理器包含一記憶體用以儲存複數個查找表，其中該些查找表分別對應於不同的複數個第一索引值，及該資料處理器更用以依據該第一次數從該些查找表之中選取該第一查找表，其中該第一查找表的第一索引值與該第一次數相匹配。
如請求項8中的影像處理裝置，其中當該第一次數到達該些第一索引值之中的一最大索引值時，該資料處理器用以將該最大索引值相對應的查找表選為該第一查找表。
如請求項6中的影像處理裝置，其中該第一查找表用以提供複數組補償運算，其中該些組補償運算分別對應於不同的複數個第二索引值，及該資料處理器更用以依據該第二次數從該些組補償運算之中選取該第一組補償運算，其中該第一組補償運算的第二索引值與該第二次數相匹配。