TWI786497B

TWI786497B - 影像輸出裝置、影像接收裝置及影像傳輸方法

Info

Publication number: TWI786497B
Application number: TW109145582A
Authority: TW
Inventors: 王璽榜
Original assignee: 宏正自動科技股份有限公司
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2022-12-11
Also published as: CN114666518B; US20220201159A1; CN114666518A; US11622061B2; TW202226147A

Abstract

本揭露提出一種影像輸出裝置、影像接收裝置及影像傳輸方法。影像傳輸方法包括：由影像輸出裝置轉換來源影像為擴增影像，其中來源影像包含M個來源像素，擴增影像包含N個擴增像素；由影像接收裝置接收擴增影像；以及轉換擴增影像為來源影像。其中，M小於N。

Description

影像輸出裝置、影像接收裝置及影像傳輸方法

本揭露是有關於一種影像輸出裝置、影像接收裝置及影像傳輸方法，且特別是有關於一種轉換包括輔助信息的影像的影像輸出裝置、影像接收裝置及影像傳輸方法。

現今電視台或影音創作者為了增加影像的豐富度，會讓演出者位於虛擬攝影棚中的綠色屏幕前，透過影像處理系統將綠色屏幕去除，並置換為欲加入的背景、圖像、字幕等資訊，藉此混合成虛擬背景後以產生輸出影像。其中，影像處理系統將綠色屏幕去除的方式是透過演算法判斷是否為綠色，進而將對應的各輔助信息進行編碼，即可達到將綠色屏幕透明化，如此即可將演出者的背景置換為虛擬背景。

在此過程中，具有輔助信息的影像會被編碼成為影像串流，且對應的接收器會解碼影像串流並產生輸出影像。現有的編碼方法會因為壓縮而存在著畫面細節丟失或顏色限制等問題。因此，如何在具有輔助信息的影像的轉換過程保留全部的細節是本領域技術人員應致力的目標。

有鑑於此，本揭露提供一種影像輸出裝置、影像接收裝置及影像傳輸方法，在具有輔助信息的影像的轉換過程保留全部的細節。

本揭露提出一種影像輸出裝置，包含處理單元及影像輸出埠。處理單元將來源影像轉換為擴增影像。來源影像包含M個來源像素。擴增影像包含N個擴增像素。影像輸出埠耦接處理單元並輸出擴增影像。其中，M小於N。

本揭露提出一種影像接收裝置，包含影像輸入埠及處理單元。影像輸入埠接收擴增影像。擴增影像包含N擴增像素。處理單元耦接影像輸入埠並將擴增影像轉換為來源影像。來源影像包含M來源像素。其中，M小於N。

本揭露提出一種影像傳輸方法，包括：由影像輸出裝置轉換來源影像為擴增影像，其中來源影像包含M個來源像素，擴增影像包含N個擴增像素；由影像接收裝置接收擴增影像；以及轉換擴增影像為來源影像。其中，M小於N。

基於上述，本揭露的影像輸出裝置、影像接收裝置及影像傳輸方法會將來源影像轉換為擴增影像，並傳輸擴增影像，再將擴增影像轉換回來源影像。來源影像包含M個來源像素且擴增影像包含N擴增像素，其中M小於N。

圖1為根據本揭露一實施例的影像傳輸系統的方塊圖。圖2為根據本揭露一實施例的影像傳輸方法的流程圖。

請參照圖1及圖2，本揭露一實施例的影像傳輸系統100包括影像輸出裝置110及影像接收裝置120，影像接收裝置120耦接到影像輸出裝置110。影像輸出裝置110包括影像輸入埠111、處理單元112及影像輸出埠113，處理單元112耦接影像輸入埠111及影像輸出埠113之間。影像接收裝置120包括影像輸入埠121、處理單元122及影像輸出埠123，處理單元122耦接影像輸入埠121及影像輸出埠123之間，其中，影像輸出埠113耦接於影像輸入埠121。

在另一實施例中，影像輸出裝置110可不包括影像輸入埠111。在另一實施例中，影像接收裝置120可不包括影像輸出埠123。

其中，影像輸入埠111、影像輸出埠113、影像輸入埠121及影像輸出埠123可以是高畫質多媒體介面(High Definition Multimedia Interface， HDMI)、顯示接口(Display Port，DP)、數位視訊介面(Digital Visual Interface，DVI)、影像圖形陣列(Video Graphics Array，VGA)、序列周邊介面(Serial Peripheral Interface，SPI)或其他類似傳輸介面，本發明並非以此為限制。

其中，處理單元112及處理單元122可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合，本發明並非以此為限制。

在一實施例中，影像輸出裝置110的處理單元112轉換來源影像10為擴增影像20，其中來源影像10包含M個來源像素且擴增影像20包含N個擴增像素且M小於N(如步驟S201所示)。各來源像素包含輔助信息，且擴增像素的部分者不包含輔助信息。接著，影像輸出裝置110的影像輸出埠113輸出擴增影像20(如步驟S202所示)。具體來說，來源影像10的各來源像素中分別具有多個影像資訊，且各來源像素中的多個影像資訊中之一者為輔助信息。

於一實施例中，輔助信息可包括透明度信息、影像資訊信息等至少其中之一。其中，影像資訊信息可以為影像附加資訊（如圖層資訊、攝影機參數或其他與影像相關的訊息）、使用者輸入資訊（如觸控操作、游標操作等電子裝置的操控訊息等）或其他相關等資訊。舉例來說，圖層資訊是可應用在互動內容的傳輸，讓觀看者透過接收端的電子裝置自行決定欲顯示的內容，可增加觀看者的互動感；另，亦可傳輸攝影機參數至接收端的電子裝置，可供電子裝置於影像拼接、立體影像製作等做影像合成的應用，其中用以校正球面像差、光圈快門等光學特性讓影像先達到預期的一致性，再進行後續的合成作業，藉此可以讓電子裝置免於先判斷影像偏差的作業；另，傳輸使用者輸入資訊（如觸控操作或鼠標操作）至電子裝置是可讓多設備之間可協同工作、或達到以上游機器控制下游機器的情境下的應用。

於一實施例中，各來源像素的該些影像資訊中除了包含有輔助信息之外，其餘影像資訊可為紅色像素信息、綠色像素信息、藍色像素信息、黃色像素信息、白色像素信息、黑色像素信息或其他有關影像像素信息之任意組合，本發明並非以此為限制。各擴增像素中分別具有多個影像資訊，該些影像資訊可為紅色像素信息、綠色像素信息、藍色像素信息、黃色像素信息、白色像素信息、黑色像素信息、輔助信息或其他有關影像像素信息之任意組合，本發明並非以此為限制。

值得注意的是，來源影像10可由影像輸出裝置110所儲存或由影像輸出裝置110的處理單元112產生。來源影像10也可由影像輸出裝置110通過影像輸入埠111從影像輸出裝置110的外部接收。本發明不對影像輸出裝置110的處理單元112如何獲得來源影像10作出限制。

在影像輸出裝置110輸出擴增影像20之後，影像接收裝置120的影像輸入埠121接收擴增影像20(如步驟S203所示)，並透過處理單元122轉換擴增影像20為來源影像10(如步驟S204所示)。

圖3為根據本揭露一實施例的來源影像及擴增影像之間轉換的示意圖。

請參照圖1及圖3，影像輸出裝置110的處理單元112將來源影像10中依序排列的M個來源像素sp(1)~sp(M)轉換為擴增影像20中的N個擴增像素ap(1)~ap(N)。其中，每個來源像素sp(1)~sp(M)都包括x個影像資訊，每個擴增像素ap(1)~ap(N)都包括y個影像資訊。於此，可以得知M*x=N*y且M小於N之等式，意即來源影像10中的總影像資訊數等於擴增影像20的總影像資訊數。類似地，影像接收裝置120的處理單元112可將擴增影像20中依序排列的N個擴增像素ap(1)~ap(N)轉換為來源影像10中的M個來源像素sp(1)~sp(M)。於此，每個來源像素sp(1)~sp(M)的x個影像資訊中都包括輔助信息，且部分擴增像素ap(1)~ap(N)的y個影像資訊中不包括輔助信息。

舉例來說，影像輸出裝置110的處理單元112可將依序排列的來源影像10的3個來源像素sp(1)~sp(3)轉換為4個擴增像素ap(1)~ap(4)。每個來源像素sp(1)~sp(3)都包括4個影像資訊且每個擴增像素ap(1)~ap(4)都包括3個影像資訊。也就是說，當M=3且N=4時，x=4且y=3，因此M*x=N*y。換言之，處理單元112收到的來源影像10包含3個依序排列的來源像素sp(1)~sp(3)，且此來源像素sp(1)~sp(3)中的每一個都包含4個影像資訊。於此，處理單元112會以3個影像資訊為一組來重新組合來源影像10中依序排列的12個影像資訊，藉此轉換出4個擴增像素ap(1)~ap(4)，且各擴增像素ap(1)~ap(4)都包含有3個影像資訊，其中部分擴增像素是不包含輔助信息。

類似地，影像接收裝置120的處理單元122可將依序排列的4個擴增像素ap(1)~ap(4)轉換為3個來源像素sp(1)~sp(3)。於此，每個來源像素sp(1)~sp(3)的4個影像資訊中都包括輔助信息，且依照此轉換方式，可使得部分擴增像素ap(1)~ap(4)的3個影像資訊中不包括輔助信息。

圖4為根據本揭露又一實施例的來源影像及擴增影像之間轉換的示意圖。

請參照圖1及圖4，當影像輸出裝置110的處理單元112將來源影像10轉換為擴增影像20時，來源影像10的第a個來源像素sp(a)中的第b個影像資訊info(b)會對應到擴增影像20中的第c個擴增像素ap(c)中的第d個影像資訊info(d)，其中(a-1)*x+b=(c-1)*y+d。類似地，當影像接收裝置120的處理單元122將擴增影像20轉換為來源影像10時，擴增影像20中的第c個擴增像素ap(c)中的第d個影像資訊info(d)會對應到來源影像10的第a個來源像素sp(a)中的第b個影像資訊info(b)，其中(c-1)*y+d=(a-1)*x+b。也就是說，來源影像10的每個像素的每個影像資訊會一對一的對應到擴增影像20的每個像素的每個影像資訊。

舉例來說，影像輸出裝置110的處理單元112將來源影像10的3個來源像素的轉換為擴增影像20的4個擴增像素，其中各來源像素包括4個影像資訊，各擴增像素包括3個影像資訊。來源影像10的第3個來源像素sp(3)中的第2個影像資訊info(2)會對應到擴增影像20中的第4個擴增像素ap(4)中的第1個影像資訊info(1)。在此範例中，a=3，b=2，c=4，d=1，x=4，y=3且(3-1)*4+2=(4-1)*3+1。

圖5為根據本揭露一實施例的來源像素及擴增像素的示意圖。

於此，以一例子作說明，請參照圖1及圖5，當來源影像10轉換為擴增影像20或擴增影像20轉換為來源影像10時，每個來源像素511~513都包含輔助信息A、紅色像素信息R、綠色像素信息G及藍色像素信息B。擴增像素521~524的兩相鄰之間分別包含部分的輔助信息A、紅色像素信息R、綠色像素信息G及藍色像素信息B，且各擴增像素521~524的兩相鄰之間的影像資訊之組合互為不同。舉例來說，擴增像素521包含「輔助信息A、紅色像素信息R、綠色像素信息G」，擴增像素522包含「藍色像素信息B、輔助信息A、紅色像素信息R」，也就是說兩相鄰的擴增像素521及擴增像素522的影像資訊之組合互為不同，且擴增像素521及擴增像素522只包含輔助信息A、紅色像素信息R、綠色像素信息G及藍色像素信息B的一部分。

舉例來說，通過將來源影像10的每三個來源像素轉換為擴增影像20的四個擴增像素，影像輸出裝置110的處理單元112可將解析度為1920×1080的來源影像10轉換為解析度為2560×1080的擴增影像20，且影像接收裝置120的處理單元122可將解析度為2560×1080的擴增影像20轉換回解析度為1920×1080的來源影像10。如此一來，在轉換過程中可利用較大的頻寬來保留來源影像10的所有細節資訊而不會產生影像資訊丟失的情況。

綜上所述，本揭露的影像輸出裝置、影像接收裝置及影像傳輸方法會將來源影像轉換為擴增影像，且影像接收裝置將擴增影像轉換回來源影像。來源影像包含M個來源像素且擴增影像包含N擴增像素，其中M小於N。本揭露的影像傳輸方法可在將來源影像轉換成擴增影像的過程中保留所有影像細節資訊而不會產生影像資訊丟失的情況。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:影像傳輸系統 10:來源影像 20:擴增影像 110:影像輸出裝置 111:影像輸入埠 112:處理單元 113:影像輸出埠 120:影像接收裝置 121:影像輸入埠 122:處理單元 123:影像輸出埠 S201~S202:影像傳輸方法的步驟 sp(1)~sp(M):來源像素 ap(1)~ap(N):擴增像素 info(1)~info(x):影像資訊 info(1)~info(y):影像資訊 511~513:來源像素 521~524:擴增像素 A:輔助信息 R:紅色像素信息 G:綠色像素信息 B:藍色像素信息

圖1為根據本揭露一實施例的影像傳輸系統的方塊圖。圖2為根據本揭露一實施例的影像傳輸方法的流程圖。圖3為根據本揭露一實施例的來源影像及擴增影像之間轉換的示意圖。圖4為根據本揭露又一實施例的來源影像及擴增影像之間轉換的示意圖。圖5為根據本揭露一實施例的來源像素及擴增像素的示意圖。

100:影像傳輸系統

10:來源影像

20:擴增影像

110:影像輸出裝置

111:影像輸入埠

112:處理單元

113:影像輸出埠

120:影像接收裝置

121:影像輸入埠

122:處理單元

123:影像輸出埠

Claims

一種影像輸出裝置，包含：一處理單元，將一來源影像轉換為一擴增影像，該來源影像包含M個來源像素，該擴增影像包含N個擴增像素；以及一影像輸出埠，耦接該處理單元，輸出該擴增影像；其中，M小於N，其中該處理單元將依序排列的M個該些來源像素轉換為N個該些擴增像素，各該來源像素包括x個影像資訊，且各該擴增像素包括y個影像資訊，其中M*x=N*y。
如申請專利範圍第1項所述的影像輸出裝置，其中該來源影像的第a個來源像素中的第b個影像資訊對應到該擴增影像中的第c個擴增像素中的第d個影像資訊，其中(a-1)*x+b=(c-1)*y+d。
如申請專利範圍第1項所述的影像輸出裝置，其中該些擴增像素的兩相鄰之間分別包含部分的該來源像素的該些影像資訊，各該擴增像素的兩相鄰之間的該些影像資訊之組合互為不同。
如申請專利範圍第1項所述的影像輸出裝置，其中各該來源像素包含一輔助信息，部分的該些擴增像素不包含該輔助信息。
如申請專利範圍第4項所述的影像輸出裝置，其中該些影像資訊包含該輔助信息、一紅色像素信息、一綠色像素信息及一藍色像素信息，各該擴增像素包含該輔助信息、該紅色像素信息、該綠色像素信息及該藍色像素信息的其中之三。
如申請專利範圍第1項所述的影像輸出裝置，更包括：一影像輸入埠，耦接該處理單元並接收該來源影像。
一種影像接收裝置，包含：一影像輸入埠，接收一擴增影像，該擴增影像包含N個擴增像素；以及一處理單元，耦接該影像輸入埠，將該擴增影像轉換為一來源影像，該來源影像包含M個來源像素；其中，M小於N，其中該處理單元將依序排列的該擴增影像的N個該些擴增像素轉換為M個該些來源像素，各該擴增像素包括y個影像資訊，且各該來源像素包括x個影像資訊，其中N*y=M*x。
如申請專利範圍第7項所述的影像接收裝置，其中該來源影像的第a個來源像素中的第b個影像資訊對應到該擴增影像中的第c個擴增像素中的第d個影像資訊，其中(a-1)*x+b=(c-1)*y+d。
如申請專利範圍第7項所述的影像接收裝置，其中該些擴增像素的兩相鄰之間分別包含部分的該來源像素的該些影像資訊，各該擴增像素的兩相鄰之間的該些影像資訊之排列組合互為不同。
如申請專利範圍第7項所述的影像接收裝置，各該來源像素包含一輔助信息，部分的該些擴增像素不包含該輔助信息。
如申請專利範圍第10項所述的影像接收裝置，其中該些影像資訊包含該輔助信息、一紅色像素信息、一綠色像素信息及一藍色像素信息，各該擴增像素包含該輔助信息、該紅色像素信息、該綠色像素信息及該藍色像素信息的其中之三。
如申請專利範圍第7項所述的影像接收裝置，更包括：一影像輸出埠，耦接該處理單元，該影像輸出埠接收並輸出該來源影像。
一種影像傳輸方法，包含：由一影像輸出裝置轉換一來源影像為一擴增影像，其中該來源影像包含M個來源像素，該擴增影像包含N個擴增像素；由一影像接收裝置接收該擴增影像；以及由該影像接收裝置轉換該擴增影像為該來源影像；其中，M小於N，其中轉換該來源影像為該擴增影像的步驟包含：將依序排列的該來源影像的M個該些來源像素轉換為N個該些擴增像素，各該來源像素包括x個影像資訊，且各該擴增像素包括y個影像資訊，其中M*x=N*y。
如申請專利範圍第13項所述的影像傳輸方法，其中該來源影像的第a個來源像素中的第b個影像資訊對應到該擴增影像中的第c個擴增像素中的第d個影像資訊，其中(a-1)*x+b=(c-1)*y+d。
如申請專利範圍第13項所述的影像傳輸方法，其中該些擴增像素的兩相鄰之間分別包含部分的該來源像素的該些影像資訊，各該擴增像素的兩相鄰之間的該些影像資訊之排列組合互為不同。
如申請專利範圍第13項所述的影像傳輸方法，其中各該來源像素包含一輔助信息，部分的該些擴增像素不包含該輔助信息。
如申請專利範圍第16項所述的影像傳輸方法，其中該些影像資訊包含該輔助信息、一紅色像素信息、一綠色像素信息及一藍色像素信息，各該擴增像素包含該輔助信息、該紅色像素信息、該綠色像素信息及該藍色像素信息的其中之三。