TWI692731B - 物件位置判斷電路 - Google Patents

Abstract

本發明揭露一種物件位置判斷電路，其包含有一接收電路以及一偵測電路。在該物件位置判斷電路的操作中，該接收電路接收一影像訊號；以及該偵測電路偵測一物件在該影像訊號之一第N個圖框中的位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數。

Description

物件位置判斷電路

本發明係有關於影像處理，尤指一種判斷影像中特定物件位置的電路。

在目前的人臉辨識系統中，係使用深度學習或類神經網路(Neural Network)的方式來對影像進行分析處理以辨識出人臉在影像中位置。然而，由於深度學習的人工智慧模組需要較高運算量，因此在影像資料內容較大的情形下，可能會超出人工智慧模組的負擔，或是工程師需要設計具有更高能力的人工智慧模組，因而增加了設計與製造上的成本。

因此，本發明的目的之一在於提出一種物件位置判斷電路，其可以根據先前圖框的偵測結果，以僅對後續圖框的一部分區域進行物件位置偵測，以降低人工智慧模組的負擔。

在本發明的一個實施例中，揭露了一種物件位置判斷電路，其包含有一接收電路以及一偵測電路。在該物件位置判斷電路的操作中，該接收電路接收一影像訊號；以及該偵測電路偵測一物件在該影像訊號之一第N個圖框中的 位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數。

在本發明的另一個實施例中，揭露了一種包含一物件位置判斷電路以及一影像處理電路的電路架構。該物件位置判斷電路包含一接收電路、一偵測電路以及一輸出電路，其中該接收電路接收一影像訊號；以及該偵測電路偵測一物件在該影像訊號之一第N個圖框中的位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數；以及該輸出電路分別輸出該第N個圖框以及該第(N+M)個圖框中的一座標範圍以作為該物件的位置。該影像處理電路用以接收該影像訊號，並根據該第N個圖框以及該第(N+M)個圖框中的該座標範圍以對該影像訊號進行處理，以產生多個輸出影像至一顯示面板並顯示於其上。

110:影像處理電路

120:物件位置判斷電路

122:接收電路

124:偵測電路

128:輸出電路

130:顯示面板

610、620、630:座標範圍

622、632:區域

700~708:步驟

Din:影像訊號

I0~I10:圖框

I5’~I9’:圖框的一部份區域

F4~F10:位置資訊

第1圖為根據本發明一實施例之電子裝置的示意圖。

第2圖為根據本發明一實施例之物件位置判斷電路之操作的時序圖。

第3圖為根據本發明一第一實施例之物件偵測操作示意圖。

第4圖為根據本發明一第二實施例之物件偵測操作示意圖。

第5圖為根據本發明一第三實施例之物件偵測操作示意圖。

第6圖為影像處理電路根據物件位置資訊來進行影像處理的示意圖。

第7圖為根據本發明一實施例之影像處理方法的流程圖。

第1圖為根據本發明一實施例之電子裝置的示意圖。如第1圖所示，電子裝置包含了一影像處理電路110、一物件位置判斷電路120以及一顯示面板130，其中物件位置判斷電路120包含了一接收電路122、一偵測電路124以及一輸出電路128。在本實施例中，影像處理電路110以及物件位置判斷電路120可以被整合在一單晶片中，且電子裝置可以是任何包含顯示面板的電子裝置，例如桌上型電腦、筆記型電腦、或是行動裝置等等。

在電子裝置的操作中，影像處理電路110係用來接收一影像訊號Din並產生多個輸出影像(圖框)至顯示面板130並顯示於其上。同時地，物件位置判斷電路120根據影像訊號Din的內容來判斷一物件(例如，人臉)在影像訊號Din之多個圖框中的位置，並產生物件位置資訊(例如，物件在每一個圖框的區域座標)給影像處理電路110，以供影像處理電路110對影像訊號Din進行處理。然而，由於判斷影像中的物件位置是採用深度學習或類神經網路的方式來進行，其需要很高的運算量，因此物件位置判斷電路120的處理能力並無法對每一個圖框即時的都進行物件位置的偵測判斷(例如，物件位置判斷電路120處理一個完整圖框的時間可能等於顯示面板130顯示4~5個圖框的時間)，因此在本實施例中物件位置判斷電路120僅根據圖框中的一部分區域來進行物件位置偵測，以在符合物件位置判斷電路120之處理能力的情形下，仍然可以提供足夠的物件位置資訊供影像處理電路110使用。

具體來說，請同時參考第1、2圖，其中第2圖為根據本發明一實施例之物件位置判斷電路120之操作的時序圖。如第2圖所示，本實施例係假設物件 位置判斷電路120處理一個完整圖框的時間約等於顯示面板130顯示4~5個圖框的時間，因此，在影像處理電路110接收圖框I0~I3並加以處理的過程中，偵測電路124跳過圖框I0~I3，並直接對圖框I4的整個內容進行物件位置偵測，以決定出物件在圖框I4中的位置，並輸出一座標範圍以作為物件在圖框I4中的位置資訊F4。接著，圖框I5~I8中至少其一根據物件在圖框I4中的位置資訊F4(亦即，上述的該座標範圍)，以決定出圖框I5~I8中該至少其一的一部分區域，且偵測電路124僅對該部分區域進行偵測以判斷物件在圖框I5~I8中該至少其一的位置。在本實施例中，偵測電路124係至少產生物件在圖框I8中的位置資訊F8，且偵測電路124接著根據物件在圖框I8中的位置資訊F8以決定出圖框I9的一部分區域I9’，且偵測電路124僅對部分區域I9’進行偵測以判斷物件在圖框I9的位置。

在本實施例中，偵測電路124可以根據物件在圖框I4中的大小或是所佔的比例，來決定是否對圖框I5~I7的至少其一進行物件偵測或是直接略過圖框I5~I7。舉例來說，參考第3圖所示的第一個實施例，假設物件在圖框I4中的大小或是所佔的比例低於一臨界值，則偵測電路124可以對圖框I5~I8中每一者都進行物件偵測以產生物件位置資訊。詳細來說，偵測電路124可以根據圖框I4的物件偵測結果(位置資訊F4)以選擇圖框I5的一部分區域I5’進行物件偵測(其餘區域不進行物件偵測)，根據圖框I5的物件偵測結果(位置資訊F5)以選擇圖框I6的一部分區域I6’進行物件偵測(其餘區域不進行物件偵測)，根據圖框I6的物件偵測結果(位置資訊F6)以選擇圖框I7的一部分區域I7’進行物件偵測(其餘區域不進行物件偵測)，根據圖框I7的物件偵測結果(位置資訊F7)以選擇圖框I8的一部分區域I8’進行物件偵測(其餘區域不進行物件偵測)，以及根據圖框I8的物件偵測結果(位置資訊F8)以選擇圖框I9的一部分區域I9’進行物件偵測(其餘區域不進行物件偵測)...以此類推。在本實施例中，考慮到物件的移動，圖框I6~I9中的每一者所選 擇並進行物件偵測的區域不小於前一個圖框所選擇並進行物件偵測的區域，舉例來說，圖框I5~I8可以選擇一圖框大小之10%的區域進行物件偵測，而圖框I9可以選擇一圖框大小之50%的區域進行物件偵測。

參考第4圖所示的第二個實施例，假設物件在圖框I4中的大小或是所佔的比例高於一臨界值，則偵測電路124可以僅對圖框I7~I8進行物件偵測以產生物件位置資訊F7、F8，而圖框I5、I6則不進行本實施例所述之物件偵測。詳細來說，偵測電路124可以根據圖框I4的物件偵測結果(位置資訊F4)以選擇圖框I7的一部分區域I7’進行物件偵測(其餘區域不進行物件偵測)，根據圖框I7的物件偵測結果(位置資訊F7)以選擇圖框I8的一部分區域I8’進行物件偵測(其餘區域不進行物件偵測)，以及根據圖框I8的物件偵測結果(位置資訊F8)以選擇圖框I9的一部分區域進行物件偵測(其餘區域不進行物件偵測)...以此類推。在本實施例中，考慮到物件的移動，圖框I8~I9中的每一者所選擇並進行物件偵測的區域不小於前一個圖框所選擇並進行物件偵測的區域，舉例來說，圖框I7~I8可以選擇一圖框大小之20%的區域進行物件偵測，而圖框I9可以選擇大約一圖框大小之50%的區域進行物件偵測。

參考第5圖所示的第三個實施例，假設物件在圖框I4中的大小或是所佔的比例過高，則偵測電路124可以僅對圖框I8進行物件偵測以產生物件位置資訊F8，而圖框I5~I7則不進行本實施例所述之物件偵測。詳細來說，偵測電路124可以根據圖框I4的物件偵測結果(位置資訊F4)以選擇圖框I8的一部分區域I8’進行物件偵測(其餘區域不進行物件偵測)，以及根據圖框I8的物件偵測結果(位置資訊F8)以選擇圖框I9的一部分區域進行物件偵測(其餘區域不進行物件偵測)...以此類推。在本實施例中，考慮到物件的移動，圖框I9所選擇並進行物件偵測的區 域不小於前一個圖框所選擇並進行物件偵測的區域，舉例來說，圖框I8可以選擇一圖框大小之40%的區域進行物件偵測，而圖框I9可以選擇大約一圖框大小之50%的區域進行物件偵測。

偵測電路124對於圖框I10~I14的物件偵測操作類似以上實施例之圖框I5~I9，亦即圖框I10~I13中至少其一根據物件在圖框I9中的位置資訊F9，以決定出圖框I10~I13中該至少其一的一部分區域，且偵測電路124僅對該部分區域進行偵測以判斷物件在圖框I10~I13中該至少其一的位置。在本實施例中，偵測電路124係至少產生物件在圖框I13中的位置資訊，且偵測電路124接著根據物件在圖框I13中的位置資訊以決定出圖框I14的一部分區域，且偵測電路124僅對該部分區域進行偵測以判斷物件在圖框I14的位置...以此類推。

回到第2圖，圖框I0~I10係依序由影像處理電路110進行處理後傳送至顯示面板130進行播放，因此物件位置判斷電路120可以在圖框I0由影像處理電路110進行處理時對圖框I4進行物件位置的偵測，並暫存物件在圖框I4中的位置資訊F4，且物件位置判斷電路120在圖框I4由影像處理電路110進行處理時依序對圖框I5~I8進行物件位置的偵測，以將物件在圖框I5~I8中的位置資訊F5~F8傳送給影像處理電路110，以供影像處理電路110根據這些位置資訊來對影像處理電路110進行處理。此外，考量到物件的移動，圖框I9會選擇比較大的區域以進行物件偵測，故物件位置判斷電路120可以在圖框I7由影像處理電路110進行處理時對圖框I9的一部分區域I9’進行物件位置的偵測，並將物件在圖框I9中的位置資訊F9傳送給影像處理電路110以供進行處理。

透過以上實施例所述，由於圖框I5~I9都只有一部分區域需要進行物 件偵測，因此，偵測電路124可以在符合深度學習或類神經網路之運算能力的情形下對每一個圖框或是大部分圖框進行物件偵測判斷，以更有效地完成物件偵測操作。

在一實施例中，影像處理電路110可以根據來自物件位置判斷電路120的物件位置資訊，以在圖框上加上一圖樣以標註該物件。以第6圖為例來作為說明，假設所偵測的物件是人臉，則物件位置判斷電路120傳送圖框I4的物件偵測結果(亦即，圖示的座標範圍610)給影像處理電路110以作為物件的位置資訊，且影像處理電路110在圖框I4上加上一矩形框以標註物件的位置。接著，物件位置判斷電路120根據座標範圍610以自圖框I5選擇一區域622以進行物件偵測，其中區域622包含了座標範圍610，且在一實施例中區域622與座標範圍610具有相同的中心位置(中心座標)；物件位置判斷電路120接著傳送圖框I5的物件偵測結果(亦即，圖示的座標範圍620)給影像處理電路110以作為物件的位置資訊，且影像處理電路110在圖框I5上加上一矩形框以標註物件的位置。接著，物件位置判斷電路120根據座標範圍620以自圖框I6選擇一區域632以進行物件偵測，其中區域632包含了座標範圍620，且在一實施例中區域632與座標範圍620具有相同的中心位置(中心座標)；物件位置判斷電路120接著傳送圖框I6的物件偵測結果(亦即，圖示的座標範圍630)給影像處理電路110以作為物件的位置資訊，且影像處理電路110在圖框I6上加上一矩形框以標註物件的位置。

在另一實施例中，影像處理電路110可以根據來自物件位置判斷電路120的物件位置資訊，以對圖框內的不同區域採用不同的影像處理方式。舉例來說，以第6圖為例，針對圖框I4，影像處理電路120可以對對區域610內的人臉部分採用第一種影像處理方式(例如，對比度、色彩調整...等等)，並對區域610以 外的部分採用第二種影像處理方式。同理，針對圖框I5、I6，影像處理電路120可以對對區域620、630內的人臉部分採用第一種影像處理方式(例如，對比度、色彩調整...等等)，並對區域620、630以外的部分採用第二種影像處理方式。

第7圖為根據本發明一實施例之影像處理方法的流程圖。參考以上所揭露的內容，影像處理方法的流程如下所述。

步驟700：流程開始。

步驟702：接收一影像訊號。

步驟704：偵測一物件在該影像訊號之一第N個圖框中的位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數。

步驟706：分別輸出該第N個圖框以及該第(N+M)個圖框中的一座標範圍以作為該物件的位置。

步驟708：根據該第N個圖框以及該第(N+M)個圖框中的該座標範圍以對該影像訊號進行處理，以產生多個輸出影像至一顯示面板並顯示於其上。

簡要歸納本發明，在本發明的電路及影像處理方法中，透過僅針對圖框的部分區域進行物件偵測，可以讓偵測電路在符合深度學習或類神經網路之運算能力的情形下對每一個圖框或是大部分圖框進行物件偵測判斷，以更有效地完成物件偵測操作並降低電路在影像辨識上的負擔。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

110:影像處理電路

120:物件位置判斷電路

122:接收電路

124:偵測電路

128:輸出電路

130:顯示面板

Din:影像訊號

Claims (10)

1. 一種物件位置判斷電路，包含有：一接收電路，用以接收一影像訊號；以及一偵測電路，耦接於該接收電路，用以偵測一物件在該影像訊號之一第N個圖框中的位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數。
2. 如申請專利範圍第1項所述之物件位置判斷電路，其中該偵測電路根據該物件在該第N個圖框中的大小或是所佔的比例，以決定出該第(N+M)個圖框中該部分區域的大小。
3. 如申請專利範圍第2項所述之物件位置判斷電路，其中該偵測電路根據該物件在該第N個圖框中的大小或是所佔的比例，以決定出M的數值。
4. 如申請專利範圍第3項所述之物件位置判斷電路，其中當該物件在該第N個圖框中的大小或是所佔的比例小於一臨界值時，M為1；以及當該物件在該第N個圖框中的大小或是所佔的比例不小於該臨界值時，M為大於1的正整數。
5. 如申請專利範圍第4項所述之物件位置判斷電路，其中當該物件在該第N個圖框中的大小或是所佔的比例不小於該臨界值時，該偵測電路不會偵測該物件在該影像訊號之一第(N+1)個圖框中的位置。
6. 如申請專利範圍第1項所述之物件位置判斷電路，其中該偵測電路根據該物件在該第(N+M)個圖框中的位置以決定出該影像訊號之一第(N+M+K)個圖框中的一部分區域，並僅對該第(N+M+K)個圖框的該部分區域進行偵測以判斷該物件在該第(N+M+K)個圖框中的位置，其中K為一正整數。
7. 如申請專利範圍第6項所述之物件位置判斷電路，其中該第(N+M+K)個圖框的該部分區域大於該第(N+M)個圖框的該部分區域。
8. 一種應用在包含一顯示面板之電子裝置中的電路，包含有：一物件位置判斷電路，包含有：一接收電路，用以接收一影像訊號；一偵測電路，耦接於該接收電路，用以偵測一物件在該影像訊號之一第N個圖框中的位置，以及根據該物件在該第N個圖框中的位置以決定出該影像訊號之一第(N+M)個圖框中的一部分區域，並僅對該部分區域進行偵測以判斷該物件在該第(N+M)個圖框中的位置，其中N、M為一正整數；以及一輸出電路，用以分別輸出該第N個圖框以及該第(N+M)個圖框中的一座標範圍以作為該物件的位置；以及一影像處理電路，耦接於該物件位置判斷電路，用以接收該影像訊號，並根據該第N個圖框以及該第(N+M)個圖框中的該座標範圍以對該影像訊號進行處理，以產生多個輸出影像至該顯示面板並顯示於其上。
9. 如申請專利範圍第8項所述之電路，其中該影像處理電路根據該第N 個圖框中的該座標範圍以在該第N個圖框上加上一圖樣以標註該物件，並根據該第(N+M)個圖框中的該座標範圍以在該第(N+M)個圖框上加上該圖樣以標註該物件，以產生該輸出影像至該顯示面板並顯示於其上。
10. 如申請專利範圍第8項所述之電路，其中該影像處理電路對該第N個圖框中的該座標範圍內進行不同於其他區域的影像處理方式，並對該第(N+M)個圖框中的該座標範圍內進行不同於其他區域的影像處理方式，以產生該輸出影像至該顯示面板並顯示於其上。

Images