TWI796075B

TWI796075B - 影像處理系統及視訊串流的處理方法

Info

Publication number: TWI796075B
Application number: TW111100227A
Authority: TW
Inventors: 林文翔; 林笙源; 蔡米萊
Original assignee: 創惟科技股份有限公司
Priority date: 2021-07-02
Filing date: 2022-01-04
Publication date: 2023-03-11
Also published as: TWI824321B; TW202303517A; TW202303512A

Abstract

本發明實施例提供一種影像處理系統及視訊串流的處理方法。依據參數取得第一影像。對第一影像進行形變校正程序，並產生第二影像。對第二影像進行識別偵測程序，並產生偵測結果。依據偵測結果產生控制資訊。依據控制資訊調整參數，並產生第三影像。輸出第二影像與第三影像。藉此，可透過雙影像輸出增進後續應用。

Description

影像處理系統及視訊串流的處理方法

本發明是有關於一種影像處理技術，且特別是有關於一種影像處理系統及視訊串流的處理方法。

在習知技術中，雖然裝載廣角透鏡或魚眼(fisheye)透鏡的相機可擷取具有較廣視角(Field of View，FoV)的影像，但影像邊緣可能彎曲且形成不自然的外觀表現。廣角或魚眼影像的失真情況可能造成其內容難以辨識，更可能讓使用者的眼睛感到不適。

習知的魚眼(fisheye)或是廣角攝影機(camera)會將全景影像(panoramic image)傳送到一個運算能力較強的後端(back-end)系統(例如主機或是電腦)，一併處理反扭曲(de-warping)、偵測(detection)和反扭曲影像(dewarped image)的顯示。然而，後端裝置的複雜度高，且攝影機的應用情境受限。

有鑑於此，本發明實施例提供一種影像處理系統及視訊串流的處理方法，可產生雙視頻串流，以分別供偵測及顯示應用。

本發明實施例的視訊串流的處理方法包括(但不僅限於)下列步驟：依據參數取得第一影像。對第一影像進行形變校正程序，並產生第二影像。對第二影像進行識別偵測程序，並產生偵測結果。依據偵測結果產生控制資訊。依據控制資訊調整參數，並產生第三影像。輸出第二影像與第三影像。

本發明實施例的影像處理系統包括(但不僅限於)控制器。控制器經配置用以依據參數取得第一影像，對第一影像進行形變校正程序並產生第二影像，依據控制資訊調整參數並產生第三影像，且輸出第二影像與第三影像。控制資訊是依據對第二影像進行識別偵測程序所產生的偵測結果所產生的。

基於上述，依據本發明實施例的影像處理系統及視訊串流的處理方法，形變校正程序可產生分別供兩視訊串流承載的兩種影像，並據以供不同後端應用使用。藉此，可有效分工，並提升架構的彈性度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的影像處理系統1的元件方塊圖。請參照圖1，影像處理系統1包括(但不僅限於)影像擷取裝置10、控制器30、後端裝置50及顯示裝置60。

影像擷取裝置10可以是相機、攝影機、監視器或相似功能的裝置。影像擷取裝置10可包括(但不僅限於)透鏡11及影像感測器15 (例如，電荷耦合裝置(Charge Coupled Device，CCD)或互補式金氧半導體(Complementary Metal-Oxide-Semiconductor，CMOS)等)。在一實施例中，可透過透鏡11及影像感測器15擷取影像。例如，光線經過透鏡11成像在影像感測器15上。

在一些實施例中，影像擷取裝置10的規格(例如，取像光圈、倍率、焦距、取像可視角度、影像感測器15的大小等)及其數量可依據實際需求而調整。例如，透鏡11為魚眼或廣角透鏡，並據以產生魚眼影像或廣角影像。

控制器30可透過相機介面、I2C及/或其他傳輸介面耦接影像擷取裝置10。控制器30包括(但不僅限於)記憶體31、傳輸介面32、33、34及運算單元39。

記憶體31可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體31用以儲存程式碼、軟體模組、組態配置、資料或檔案。

傳輸介面32、33、34可以是相機介面、I2C或其他傳輸介面。例如，傳輸介面32為I2C介面，傳輸介面33為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)，且傳輸介面34為通用序列匯流排(Universal Serial Bus，USB)介面。又例如，傳輸介面33為數位平行匯流排(Digital Parallel Bus，DPS)介面, 低電壓差分訊號(Low-Voltage Differential Signalling，LVDS)介面、高速串列像數(High-Speed Serial Pixel，HiSPi)介面或V-by-One介面。在一實施例中，傳輸介面32、33、34用以連接外部裝置。例如，傳輸介面32、33連接後端裝置50，且傳輸介面34連接顯示裝置60。

運算單元39耦接記憶體31及傳輸介面32、33、34。運算單元39可以是影像處理器或圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在一實施例中，運算單元39用以執行控制器30的所有或部份作業，且可載入並執行記憶體31所儲存的各程式碼、軟體模組、檔案及資料。

後端裝置50及顯示裝置60可以是桌上型電腦、筆記型電腦、伺服器、智慧型手機或平板電腦。在一實施例中，後端裝置50用以對影像計算及/或偵測。在一實施例中，顯示裝置60用以顯示影像。在一些實施例中，後端裝置50及/或顯示裝置60的功能可實現在微控制器、晶片、SoC或系統上。

圖2是依據本發明另一實施例的影像處理系統2的元件方塊圖。請參照圖2，本實施例之控制器30’與圖1的控制器30不同之處在於，控制器30’包括傳輸介面35，且運算單元39耦接傳輸介面35。傳輸介面35可以是USB介面，並提供端點(endpoint)36、37、38。值得一提的是，本實施例之端點(endpoint)36、37、38是用以連接後端裝置70，其中端點36、37且用以連接後端裝置70的處理器71，而端點38用以連接後端裝置70的影像單元72。

後端裝置70可以是桌上型電腦、筆記型電腦、伺服器、智慧型手機或平板電腦。處理器71可以是影像處理器或GPU，或是其他可程式化之一般用途或特殊用途的微處理器、數位信號處理器(Digital、可程式化控制器、現場可程式化邏輯閘陣列、特殊應用積體電路或其他類似元件或上述元件的組合。影像單元72可以是用於影像輸出/顯示/播放的處理電路或控制電路。

下文中，將搭配影像處理系統1或影像處理系統2中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖3是依據本發明一實施例的視訊串流的處理方法的流程圖。請參照圖3，控制器30、30’依據參數取得來自第一影像(步驟S310)。參數包括反扭曲(de-wrapping)、左右轉動(pan)、傾斜(tilt)、縮放(zoom)、旋轉(rotation)、平移(shift)及/或視角(Field of View，FoV)調整的設定參數。在一實施例中，參數是用於影像擷取裝置10或其他外部影像擷取裝置進行影像擷取作業所用的設定參數。例如，控制器30、30’可發送指令或訊息給影像擷取裝置10或其他外部影像擷取裝置，且這指令或訊息相關於設定參數。例如，改變影像擷取範圍。影像擷取裝置10或其他外部影像擷取裝置可依據設定參數進行影像擷取作業，以取得影像。

在一實施例中，控制器30、30’取得來自影像擷取裝置10的第一影像。具體而言，第一影像是透過影像擷取裝置10或其他外部影像擷取裝置對一個或更多個目標物拍攝所得的影像。在一實施例中，目標物是人類的身體。在一些實施例中，第一影像是針對人類的上半身(例如，腰部、肩膀或胸部以上)。在其他實施例中，目標物可能是各類型生物體或非生物體。控制器30、30’可經由相機介面及/或I2C取得影像擷取裝置10所擷取的第一影像。

控制器30、30’對第一影像進行形變校正程序，並產生第二影像(步驟S330)。形變校正程序用於調整第一影像中的形變。在一實施例中，形變校正程序可以是反扭曲、左右轉動、傾斜(tilt)、縮放、旋轉、平移及/或視角調整。

在一實施例中，影像感測器15可輸出第一影像的原始資料(raw data)(例如，多個原色的感測強度)至控制器30、30’。控制器30、30’可依據影像訊號處理(Image Signal Processing，ISP)程序處理原始資料，並輸出可視全彩影像至形變校正程序。

在另一實施例中，影像感測器15可輸出第一影像的明度-色度-濃度(YUV)或其他顏色編碼資料至控制器30、30’。控制器30、30’可忽略或禁能ISP程序在這顏色編碼資料的處理(即，對顏色編碼資料略過ISP程序)，並直接對顏色編碼資料進行形變校正程序。

在一實施例中，第一影像為廣角影像或魚眼影像，控制器30、30’可透過形變校正程序產生反扭曲(dewarped)的全景圖(panoramic image)(即，第二影像)。這全景圖可供後續針對一個或更多個目標物的偵測所用。例如，全景圖可用於偵測人臉、手勢或人體部位。在另一實施例中，控制器30、30’可對第一影像在任一軸向上的視角轉向、在全部或部分區域的縮放、在全部或部分區域的平移及/或調整視角大小，以產生第二影像。

在一實施例中，控制器30可經由傳輸介面33傳送第二影像至後端裝置50，而控制器30’可經由端點37傳送第二影像至後端裝置70的處理器71。例如，控制器30、30’可透過第一視訊串流VS1輸出第二影像。

後端裝置50或處理器71對第二影像進行識別偵測程序(或稱物件偵測程序)，並產生偵測結果(步驟S330)。識別偵測程序例如是確定第二影像中對應於目標物(例如，人、動物、非生物體或其部位的物件)的一個或更多感興趣區域(Region of Interest，RoI)(或是定界框(bounding box)、或矩形框(bounding rectangle))或代表點(pinot)(可能位於目標物的輪廓、中心或其上任何位置)，進而辨識目標物的類型(例如，人類、男性或女性、狗或貓、桌或椅等)。

在一實施例中，偵測結果相關於第二影像中的一個或更多感興趣區域(Region of Interest，RoI)(或是定界框(bounding box)、或矩形框(bounding rectangle))。例如，識別偵測程序可確定第二影像中對應於目標物的感興趣區域，且這感興趣區域框選全部或部分的目標物。

後端裝置50或處理器71依據偵測結果產生控制資訊CI(步驟S340)。控制資訊相關於第二影像的偵測結果。偵測結果例如是辨識第二影像中的一個或更多個人臉、手勢、人體部位或其他目標物(即，物件偵測)，又例如是判斷一個或更多個目標物的位置/運動(即，物件追蹤)。在一實施例中，控制資訊是基於偵測結果並針對形變校正程序的參數調整。例如，人臉在影像中的位置用於設定形變校正程序中的視角轉向角度。又例如，人臉在影像中的大小用於設定形變校正程序中的區域放大倍率。

在一實施例中，後端裝置50可經由傳輸介面32傳送控制資訊CI至控制器30，而處理器71可經由端點36傳送控制資訊CI至控制器30’。

控制器30、30’依據控制資訊調整參數，並產生第三影像(步驟S350)。例如，控制器30、30’依據控制資訊產生影像擷取裝置10的設定參數相關的指令或訊息，並據以透過影像擷取裝置10再次擷取第一影像。在一實施例中，控制器30、30’取得再次擷取的第一影像，並依據控制資訊CI透過形變校正程序調整第一影像，並產生第三影像。

在一實施例中，第三影像包括一個或更多個視窗。即，第三影像被劃分成一個或更多的視窗。控制器30、30’可編排一個或更多個感興趣區域到這些視窗。例如，控制器30、30’將全景圖中的感興趣區域縮放至符合指定視窗的大小，並將經縮放的感興趣區域(透過諸如左右轉動、傾斜、旋轉、平移及/或視角調整)位移至這視窗。

舉例而言，圖4是一範例說明多視窗預覽。請參照圖4，控制器30、30’將第三影像TIM(如圖下方所示)劃分成三個視窗TW1,TW2,TW3。其中，視窗TW3是擷取自第一影像SIM(如圖上方所示)的四位人物，且視窗TW1,TW2僅分別擷取自第一影像SIM中的一位人物。

在一實施例中，控制器30、30’可透過形變校正程序同時或分時輸出第二影像及第三影像。例如，控制器30、30’可依據第一張第二影像的偵測結果產生第一張第三影像。接著，控制器30、30’可輸出第二影像及第三影像(步驟S360)。舉例來說，控制器30、30’是透過分時多工依序產生第二影像及第三影像。更進一步而言，控制器30、30’產生第一張第二影像之後，接續依據這張第二影像的偵測結果產生第三影像。另外，本發明之控制器30、30’可同時或分時輸出第二影像及第三影像，本文在此對輸出時機不做任何限制。

在一實施例中，控制器30、30’可透過第一視訊串流VS1輸出第二影像，並透過第二視訊串流VS2輸出第三影像。具體而言，這第二視訊串流不同於第一視訊串流。第一視訊串流VS1承載第二影像，且第二視訊串流VS2承載第三影像。也就是說，控制器30、30’可提供雙視訊串流的輸出。此外，依據運算速度，這兩個視訊串流可同時或不同時輸出至外部裝置。

在一實施例中，以圖1的架構為例，運算單元39透過傳輸介面33輸出第一視訊串流VS1，透過傳輸介面34輸出第二視訊串流VS2，且透過傳輸介面32輸入控制資訊CI。例如，MIPI輸出第一視訊串流VS1，USB介面的一個端點輸出第二視訊串流VS2，且I2C介面輸入控制資訊CI。

在另一實施例中，以圖2的架構為例，運算單元39透過傳輸介面35的端點37輸出第一視訊串流VS1，透過端點38輸出第二視訊串流VS2，且透過端點36輸入控制資訊CI。例如，USB介面的兩個端點輸出第一視訊串流VS1及第二視訊串流VS2，且另一個端點輸入控制資訊CI。

第一視訊串流VS1及第二視訊串流VS2的應用可能不同。圖5 是依據本發明一實施例的雙視訊串流的應用的流程圖。請一併參照圖1與圖5，在一實施例中，第一視訊串流VS1輸出至後端裝置50，且後端裝置50對第一視訊串流VS1進行識別偵測程序(即，對第二影像計算及偵測)(步驟S510)，以產生偵測結果。這識別偵測程序可以是前述物件偵測及/或追蹤。此外，後端裝置50可依據偵測結果產生控制資訊CI。須說明的是，偵測結果及控制資訊CI可參照步驟S330、S340的說明，於此不再贅述。後端裝置50可進一步透過回饋控制資訊CI給控制器30、30’，使控制器30、30’可依據控制資訊CI產生第三影像。相似地，在圖2的實施架構中，則是由後端裝置70之處理器71進一步透過回饋控制資訊CI給控制器30’，使控制器30’可依據控制資訊CI產生第三影像。

在一實施例中，第二視訊串流VS2輸出至顯示裝置60，且顯示裝置60透過顯示程序顯示第二視訊串流VS2所乘載的第三影像(即，影像預覽)(步驟S550)。以圖4為例，第三影像TIM用於多視窗預覽及顯示。須說明的是，USB的UVC(USB video device class or UVC)所提供的同步(Isochronous)模式及bulk模式可供顯示裝置60即時顯示第三影像。然而，本發明實施例仍可採用其他即時視訊輸出的相關協定。

綜上所述，在本發明實施例的影像處理系統及視訊串流的處理方法中，提供雙視訊串流(dual video streaming)。一個視訊串流(video streaming)可供人臉、手勢或是人體部位的偵測，並據以控制另一個視訊串流提供反扭曲的感興趣多區域的影像(dewarped multiple regions of interest image)顯示。

本發明實施例提供彈性的架構，且應用面廣泛(例如，可應用在不同種類的視訊相關產品)。本發明實施例的系統可有效分工。例如，後端或電腦系統可負責人臉、手勢或是人體部位的偵測，且顯示裝置或系統可負責反扭曲感興趣多區域的影像顯示。藉此，一般攝影機(camera)的製造廠可輕易地升級產品成魚眼或是廣角攝影機，且提供諸如人臉、手勢或是人體部位的多目標(multi-target)偵測和追蹤的功能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1、2:影像處理系統 10: 影像擷取裝置 11:透鏡 15:影像感測器 30、30’:控制器 31:記憶體 39:處理器 32、33、34、35:傳輸介面 36、37、38:端點 50、70:後端裝置 60:顯示裝置 71:處理器 72:影像單元 VS1:第一視訊串流 VS2:第二視訊串流 CI:控制資訊 S310~S360、S510~S550:步驟 TW1~TW3:視窗 SIM:第一影像 TIM:第三影像

圖1是依據本發明一實施例的影像處理系統的元件方塊圖。圖2是依據本發明另一實施例的影像處理系統的元件方塊圖。圖3是依據本發明一實施例的視訊串流的處理方法的流程圖。圖4是一範例說明多視窗預覽。圖5是依據本發明一實施例的雙視訊串流的應用的流程圖。

S310~S360:步驟

Claims

一種視訊串流的處理方法，包括：依據一參數取得一第一影像；對該第一影像進行一形變校正程序，並產生一第二影像；對該第二影像進行一識別偵測程序，並產生一偵測結果；依據該偵測結果產生一控制資訊；依據該控制資訊調整該參數；依據調整的參數再次取得該第一影像；依據該控制資訊透過該形變校正程序調整該第一影像，並產生一第三影像；以及輸出該第二影像與該第三影像。
如請求項1所述的視訊串流的處理方法，包括：自一影像擷取裝置取得該第一影像；依據一影像訊號處理(Image Signal Processing，ISP)程序對該第一影像進行該形變校正程序，以產生該第二影像，其中該形變校正程序用於調整該第一影像中的形變；依據該控制資訊透過該形變校正程序產生該第三影像；以及同時輸出該第二影像與該第三影像，其中透過一第一視訊串流輸出該第二影像，並透過一第二視訊串流輸出該第三影像，其中該第二視訊串流不同於該第一視訊串流。
如請求項2所述的視訊串流的處理方法，更包括：透過該形變校正程序同時產生該第二影像及該第三影像。
如請求項2所述的視訊串流的處理方法，更包括：透過一後端裝置對該第一視訊串流進行該識別偵測程序，以產生該偵測結果，其中該偵測結果相關於該第二影像中的至少一感興趣區域(Region of Interest，RoI)。
如請求項4所述的視訊串流的處理方法，更包括：編排該至少一感興趣區域到至少一視窗，其中該第三影像包括該至少一視窗；以及透過一顯示裝置顯示該第三影像。
如請求項2所述的視訊串流的處理方法，其中透過該第一視訊串流輸出該第二影像並透過該第二視訊串流輸出該第三影像包括：透過一行動產業處理器介面(Mobile Industry Processor Interface，MIPI)輸出該第一視訊串流，並透過一通用序列匯流排(Universal Serial Bus，USB)輸出該第二視訊串流。
如請求項2所述的視訊串流的處理方法，其中透過該第一視訊串流輸出該第二影像並透過該第二視訊串流輸出該第三影像包括：透過一USB介面的二端點(endpoints)分別輸出該第一視訊串流及該第二視訊串流。
如請求項7所述的視訊串流的處理方法，更包括：透過該USB介面的另一端點輸入該控制資訊。
如請求項2所述的視訊串流的處理方法，其中該形變校正程序包括反扭曲(de-wrapping)、左右轉動(pan)、傾斜(tilt)、縮放(zoom)、旋轉(rotation)、平移(shift)及視角(Field of View，FoV)調整中的至少一者，而該參數包括反扭曲、左右轉動、傾斜、縮放、旋轉、平移及視角調整中的至少一者的設定參數。
如請求項1所述的視訊串流的處理方法，其中該第一影像為廣角影像或魚眼影像，且該第二影像為反扭曲(dewarped)的全景圖。
一種影像處理系統，包括：一控制器，經配置用以：依據一參數取得一第一影像；對該第一影像進行一形變校正程序，並產生一第二影像；依據一控制資訊調整該參數，其中該控制資訊是依據對該第二影像進行一識別偵測程序所產生的一偵測結果所產生的；依據調整的參數再次取得該第一影像；依據該控制資訊透過該形變校正程序調整該第一影像，並產生一第三影像；以及輸出該第二影像與該第三影像。
如請求項11所述的影像處理系統，更包括：一影像擷取裝置，耦接該控制器，包括一透鏡及一影像感測器，並用以透過該透鏡及該影像感測器擷取一第一影像，其中該控制器更用以：自一影像擷取裝置取得該第一影像；依據一影像訊號處理程序對該第一影像進行一形變校正程序，以產生該第二影像，其中該形變校正程序用於調整該第一影像中的形變；依據該控制資訊透過該形變校正程序產生該第三影像；以及同時輸出該第二影像與該第三影像，其中透過一第一視訊串流輸出該第二影像，並透過一第二視訊串流輸出該第三影像，其中該第二視訊串流不同於該第一視訊串流。
如請求項12所述的影像處理系統，其中該控制器更用以：透過該形變校正程序同時產生該第二影像及該第三影像。
如請求項12所述的影像處理系統，更包括：一後端裝置，耦接該控制器，並用以對該第一視訊串流進行該識別偵測程序，以產生該偵測結果，其中該偵測結果相關於該第二影像中的至少一感興趣區域。
如請求項14所述的影像處理系統，其中該偵測結果相關於該第二影像中的至少一感興趣區域，且該影像處理系統更包括：一顯示裝置，耦接該控制器，其中該控制器更用以：編排該至少一感興趣區域到至少一視窗，其中該第三影像包括該至少一視窗；以及透過該顯示裝置顯示該第三影像。
如請求項12所述的影像處理系統，其中該控制器包括：一行動產業處理器介面，用以輸出該第一視訊串流；以及一通用序列匯流排(USB)，用以輸出該第二視訊串流。
如請求項12所述的影像處理系統，其中該控制器包括：一USB介面，包括二端點並分別用以輸出該第一視訊串流及該第二視訊串流。
如請求項17所述的影像處理系統，其中該USB介面更包括：另一端點，用以輸入該控制資訊。
如請求項12所述的影像處理系統，其中該形變校正程序包括反扭曲、左右轉動、傾斜、縮放、旋轉、平移及視角調整中的至少一者，而該參數包括反扭曲、左右轉動、傾斜、縮放、旋轉、平移及視角調整中的至少一者的設定參數。
如請求項11所述的影像處理系統，其中該第一影像為廣角影像或魚眼影像，且該第二影像為反扭曲的全景圖。