[go: up one dir, main page]

TWI820341B - 影像追蹤及顯示方法 - Google Patents

影像追蹤及顯示方法 Download PDF

Info

Publication number
TWI820341B
TWI820341B TW109123845A TW109123845A TWI820341B TW I820341 B TWI820341 B TW I820341B TW 109123845 A TW109123845 A TW 109123845A TW 109123845 A TW109123845 A TW 109123845A TW I820341 B TWI820341 B TW I820341B
Authority
TW
Taiwan
Prior art keywords
image
display
trigger
bounding box
camera lens
Prior art date
Application number
TW109123845A
Other languages
English (en)
Other versions
TW202205850A (zh
Inventor
張森喬
吳明德
蔡茗光
Original Assignee
圓展科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 圓展科技股份有限公司 filed Critical 圓展科技股份有限公司
Priority to TW109123845A priority Critical patent/TWI820341B/zh
Publication of TW202205850A publication Critical patent/TW202205850A/zh
Application granted granted Critical
Publication of TWI820341B publication Critical patent/TWI820341B/zh

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種影像追蹤及顯示方法包括一變動偵測程序係判斷一可變觸發區域對應之一影像是否存在一目標的數量增減；一顯示畫面變更程序係當變動偵測程序之結果為「是」，則調整攝像鏡頭擷取對應於一觸發邊界框範圍內之影像，並將影像輸出至一顯示器；一穩定偵測程序係判斷觸發邊界框對應之影像之一變動參數是否小於等於一預設變動值；一目標偵測程序係對觸發邊界框對應之影像進行一目標偵測，並產生一影像顯示框；一影像調整程序係將影像顯示框範圍對應之影像輸出至顯示器。據此，影像追蹤及顯示方法可以減少顯示畫面的變動。

Description

影像追蹤及顯示方法
本發明係關於一種影像處理方法，特別關於一種影像追蹤及顯示方法。
由於網路技術的成熟，會議的舉行方式也由傳統面對面的型態轉變為遠距離的視訊型態。視訊會議除了足夠以及穩定的網路頻寬能夠提供穩定的影音訊號之外，讓鏡頭能夠將與會者完整的呈現在顯示畫面中，也是一般的視訊會議所需要的效果。如此一來，雙方的與會人員才能得知有哪些人員參與會議。
另外，由於攝像技術的進步，具有電動平移傾斜變焦(PTZ)功能的攝影機也普遍的使用於視訊會議中，以藉由調整攝影機平移角、傾斜角以及焦距來擷取視訊會議中的各種影像。
在習知的一種影像追蹤技術中，系統是利用人臉偵測技術來判斷會議空間裡的人員分布，而將所有與會人員的影像畫面傳送至顯示器上，並顯示之。其具體作法係在偵測到攝像鏡頭的取景範圍內有人臉的增加、移動或減少時，則即時調整顯示器所顯示的畫面，以令與會者獲得與會人員的數量及動態。
然而，上述的習知做法由於是針對人臉偵測，因此與會人員的動作，例如擺動、轉頭、側臉或移動位置...等，皆可能觸發偵測追蹤機制。如此將會造成顯示的畫面一直在變動。
因此，如何解決上述因不斷追蹤人臉而造成顯示畫面頻繁變動，實屬當前重要課題之一。
有鑑於上述課題，本發明之一目的是提供一種影像追蹤及顯示方法，能夠使得顯示器所顯示的即時影像具有較為穩定的效果。
為達上述目的，本發明提供一種影像追蹤及顯示方法，其係與一攝像鏡頭及一顯示器配合應用。攝像鏡頭係連續擷取一影像，且根據影像對應設定有一觸發邊界框以及一可變觸發區域。影像追蹤及顯示方法包括一變動偵測程序、一顯示畫面變更程序、一穩定偵測程序、一目標偵測程序以及一影像調整程序。變動偵測程序係判斷可變觸發區域對應之影像是否存在一目標的數量增減。顯示畫面變更程序係當變動偵測程序之結果為「是」，則調整攝像鏡頭擷取對應於觸發邊界框範圍內之影像，並將影像輸出至顯示器。穩定偵測程序係判斷觸發邊界框對應之影像之一變動參數是否小於等於一預設變動值。目標偵測程序係對觸發邊界框對應之影像進行一目標偵測，並產生一影像顯示框。影像調整程序係將影像顯示框範圍對應之影像輸出至顯示器。
於一實施例中，其中影像調整程序執行完畢後更重新執行變動偵測程序。
於一實施例中，其中影像調整程序更包含根據影像顯示框調整攝像鏡頭之一變焦倍率、一平移角度、一傾斜角度及其組合。
於一實施例中，其中於該變動偵測程序之前更包括一初始目標偵測程序以及一初始影像調整程序。初始目標偵測程序係對觸發邊界框對應之影像進行一初始目標偵測，並產生一初始影像顯示框。初始影像調整程序係將初始影像顯示框範圍對應之影像輸出至顯示器。
於一實施例中，其中觸發邊界框係對應於攝像鏡頭之一最廣焦距，或係小於攝像鏡頭之最廣焦距的一自行定義範圍。
於一實施例中，其中目標偵測程序係透過一人形偵測技術而執行。
承上所述，本發明之一種影像追蹤及顯示方法係在發現影像中目標的數量出現變化時，隨即將顯示器的影像轉變為對應於觸發邊界框所對應之影像，並在影像內之目標動作趨於穩定之後逐漸調整至適當的影像顯示框所對應的影像。據此，顯示 器所顯示之影像只有在偵測到可變觸發區域中的目標數量變化時才會變更輸出影像的大小，其餘的穩定狀態下，顯示器顯示的影像不會一直處於調整或變動的狀態。因此，當影像追蹤及顯示方法應用於視訊會議時，可以讓與會者在會議過程中所觀察到的影像是較穩定的。
11:攝像鏡頭
12:顯示器
20:會議室
F01:影像顯示框
F02:觸發邊界框
A01:可變觸發區域
P01~P07:程序
〔圖1〕係顯示與本發明之影像追蹤及顯示方法配合應用之一環境示意圖。
〔圖2〕係顯示本發明之影像追蹤及顯示方法對於影像框選的一示意圖。
〔圖3〕係顯示本發明較佳實施例之影像追蹤及顯示方法之一流程示意圖。
〔圖4A〕至〔圖4C〕係顯示對應於本發明之影像追蹤及顯示方法之各程序中，對於影像框選的示意圖。
為了使所屬技術領域中具有通常知識者能瞭解本發明的內容，並可據以實現本發明的內容，茲配合適當實施例及圖式說明如下，其中相同的元件將以相同的元件符號加以說明。
請參照圖1所示，本發明之一種影像追蹤及顯示方法係與一攝像鏡頭11及一顯示器12配合應用。本實施例係以應用於一視訊會議的影像追蹤及顯示方法為例說明，因此攝像鏡頭11與顯示器12亦屬於視訊會議系統之一部分。攝像鏡頭11係設置於一會議室20的前方，並朝向會議室20內部而連續擷取一影像，顯示器12可顯示攝像鏡頭11所擷取之影像，同時也可顯示由遠端所輸出的影像。於本實施例中，攝像鏡頭11係為具有電動平移傾斜變焦(PTZ)功能的攝像鏡頭，其可調整鏡頭的變焦倍率、平移角度以及傾斜角度。
請同時參照圖1及圖2所示，視訊會議系統根據影像對應設定有一影像顯示框F01、一觸發邊界框F02以及一可變觸發 區域A01。其中，影像顯示框F01中的影像係用以顯示於顯示器12，其可由攝像鏡頭11以光學變焦倍率搭配馬達調整平移或傾斜角度，以擷取對應的影像，亦可藉由數位PTZ技術而選擇之。觸發邊界框F02係可為攝像鏡頭11最廣角的視野邊界，亦可為使用者透過視訊會議系統自行定義的一個區域範圍，進一步說明之，當攝像鏡頭11的焦距過廣而使得會議室中包括天花板等，不會有人出現的區域都在鏡頭視野範圍中時，即可由使用者自行定義觸發邊界框F02的涵蓋範圍。本實施例之觸發邊界框F02係以攝像鏡頭11最廣角的視野邊界為例。
以下，請參照圖3並且配合上述所示，以說明本發明之一種影像追蹤及顯示方法。影像追蹤及顯示方法包括一初始目標偵測程序P01、一初始影像調整程序P02、一變動偵測程序P03、一顯示畫面變更程序P04、一穩定偵測程序P05、一目標偵測程序P06以及一影像調整程序P07。
在啟動視訊會議系統之後，首先會執行初始目標偵測程序P01。請同時參照圖3與圖4A，初始目標偵測程序P01係對觸發邊界框F02對應之影像進行一初始目標偵測，並產生一初始影像顯示框F01。其中，初始目標偵測係偵測觸發邊界框F02對應之影像中是否存在有人，並且辨識其分布位置。在辨識之後則對應於人與分布位置而產生初始影像顯示框F01。
於此，所謂的目標係可為系統預設或是由使用者自行設定。本實施例係以視訊會議為範例，故目標係為系統預設之「人形」。要特別說明的是，在其他應用中，目標亦可為交通工具或動物等，而不限定於人。於本實施例中，人形偵測係以人工智慧(AI)硬體，其例如選用R-FCN(Region-based Fully Convolutional Network)、SSD(single shot multibox detector)或YOLOv2等模組而據以實現。
另外，值得一提的是，在產生初始影像顯示框F01之後，倘若初始影像顯示框F01之比例與顯示器之顯示比例不相符時，更包括對變形的影像進行補償處理。
初始影像調整程序P02係將初始影像顯示框F01範圍對應之影像輸出至顯示器。於此，初始影像顯示框F01範圍對應之影像可藉由物理性的調整攝像鏡頭之機構而擷取之，亦可藉由數位演算的方式擷取之。本實施例中，初始影像顯示框F01範圍對應之影像係藉由調整攝像鏡頭之變焦倍率、平移角度以及傾斜角度而獲得該影像，並將擷取到的影像持續輸出至顯示器。在本實施例中，還包括確認攝像鏡頭之變焦倍率、平移角度以及傾斜角度是否調整至定位，當處於持續調整的狀態時則持續執行確認動作，而當確定調整完畢後則進行下一個程序。
於此要在說明的是，上述的初始影像顯示框F01即相當於後續將會提及的影像顯示框，初始的用詞僅代表係為系統開啟時所執行的首次做動而言。
請同時參照圖3與圖4B，變動偵測程序P03係判斷可變觸發區域A01對應之影像是否存在一目標的數量增減變化。於此，可變觸發區域A01係介於影像顯示框F01與觸發邊界框F02之間的區域範圍，而變動偵測程序P03則係判斷是否有人員進出可變觸發區域A01。換言之，其係基於人形於可變觸發區域A01的數量變化而產生判斷結果。由於判斷依據是基於「人形」，因此變化的面積必須大於一臨界值，如此一來，可以避免因為轉頭或擺動等較小的動作而造成誤判的情況產生。於本實施例中，當可變觸發區域A01未存在目標數量的變化時，則持續執行變動偵測程序P03。
顯示畫面變更程序P04係當變動偵測程序P03之結果為「是」，則調整攝像鏡頭擷取對應於觸發邊界框F02範圍內之影像，並將影像輸出至顯示器。於此，所謂的變動偵測程序P03之結果為「是」即是表示有人員進出會議室，而造成人數的增減，而此時攝像鏡頭將調整為擷取對應於觸發邊界框F02範圍內之影像。於本實施例中，這個調整過程可以是瞬間切換。藉由將顯示畫面調整為廣角的狀態可以讓與會者得知會議室中發生的變化，對於進入會議室的人員可以藉由顯示器的畫面得知攝像鏡頭的視野涵蓋區域，而可選擇適當的位置就座。
穩定偵測程序P05係判斷觸發邊界框F02對應之影像之一變動參數是否小於等於一預設變動值。於此，係可選擇利用幀間差分演算法(Frame difference)、侵蝕演算法(erison)或膨脹演算法(dilation)而得到人員的變動是否趨於穩定。於本實施例中，係以幀間差分演算法為例，其係利用連續影像的前後幀(frame)畫面進行像素差異分析而得到變動參數。當變動參數大於預設變動值係可代表人員尚在移動中，而當變動參數小於預設變動值則可代表人員已經離開會議室(消失於畫面)或是已經穩定就座。並且在確定人員已經穩定的狀況下，接著進行以下程序。
接著，請同時參照圖3與圖4C，目標偵測程序P06係對觸發邊界框F02對應之影像進行一目標偵測，並產生一影像顯示框F01。於此，目標偵測程序P06係與前述的初始目標偵測程序P01相似，其差異可能在於因為影像中的人數不同，而將會改變影像顯示框F01的大小，進而會改變顯示於顯示器上的影像。要特別說明的是，由於影像顯示框F01的大小範圍會根據目標數量的不同而改變，換言之，可變觸發區域A01的範圍亦將隨之變化。
影像調整程序P07係將影像顯示框F01範圍對應之影像輸出至顯示器。於此，影像調整程序P07係與前述的初始影像調整程序P02相似，於此則不再加以贅述。另外，在影像調整程序P07執行完畢後，將會再次執行變動偵測程序P03以成為迴圈。
綜上所述，本發明之一種影像追蹤及顯示方法係在發現影像中目標的數量出現變化時，隨即將顯示器的影像轉變為對應於觸發邊界框所對應之影像，並在影像內之目標動作趨於穩定之後逐漸調整至適當的影像顯示框所對應的影像。據此，顯示器所顯示之影像只有在偵測到可變觸發區域中的目標數量變化時才會變更輸出影像的大小，其餘的穩定狀態下，顯示器顯示的影像不會一直處於調整或變動的狀態。因此，當影像追蹤及顯示方法應用於視訊會議時，可以讓與會者在會議過程中所觀察到的影像是較穩定的。
以上所述僅為舉例性，而非為限制性者。任何未脫 離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
P01~P07:程序

Claims (8)

  1. 一種影像追蹤及顯示方法，係與一攝像鏡頭及一顯示器配合應用，該攝像鏡頭係連續擷取一影像，該影像對應設定有一觸發邊界框以及一可變觸發區域，包含：
    一變動偵測程序，其判斷該可變觸發區域對應之該影像是否存在一目標的數量增減；
    一顯示畫面變更程序，當該變動偵測程序之結果為「是」，則調整該攝像鏡頭擷取對應於該觸發邊界框範圍內之該影像，並將該影像輸出至該顯示器；
    一穩定偵測程序，判斷該觸發邊界框對應之該影像之一變動參數是否小於等於一預設變動值；
    一目標偵測程序，對該觸發邊界框對應之該影像進行一目標偵測，並產生一影像顯示框；以及
    一影像調整程序，係將該影像顯示框範圍對應之該影像輸出至該顯示器。
  2. 如請求項1所述之影像追蹤及顯示方法，其中該影像調整程序完成後更重新執行該變動偵測程序。
  3. 如請求項1所述之影像追蹤及顯示方法，其中該影像調整程序更包含根據該影像顯示框調整該攝像鏡頭之一變焦倍率、一平移角度、一傾斜角度及其組合。
  4. 如請求項1所述之影像追蹤及顯示方法，其中於該變動偵測程序之前更包含：
    一初始目標偵測程序，對該觸發邊界框對應之該影像進行一初始目標偵測，並產生一初始影像顯示框；以及
    一初始影像調整程序，係將該初始影像顯示框範圍對應之該影像輸出至該顯示器。
  5. 如請求項1所述之影像追蹤及顯示方法，其中該觸發邊界框係對應於該攝像鏡頭之一最廣焦距。
  6. 如請求項1所述之影像追蹤及顯示方法，其中該觸發邊界框之大小係小於該攝像鏡頭之一最廣焦距。
  7. 如請求項1所述之影像追蹤及顯示方法，其中該目標偵測程序係藉由一人形偵測技術而進行。
  8. 如請求項1所述之影像追蹤及顯示方法，其中該可變觸發區域係介於該觸發邊界框與該影像顯示框之間的區域。
TW109123845A 2020-07-15 2020-07-15 影像追蹤及顯示方法 TWI820341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109123845A TWI820341B (zh) 2020-07-15 2020-07-15 影像追蹤及顯示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109123845A TWI820341B (zh) 2020-07-15 2020-07-15 影像追蹤及顯示方法

Publications (2)

Publication Number Publication Date
TW202205850A TW202205850A (zh) 2022-02-01
TWI820341B true TWI820341B (zh) 2023-11-01

Family

ID=81323730

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123845A TWI820341B (zh) 2020-07-15 2020-07-15 影像追蹤及顯示方法

Country Status (1)

Country Link
TW (1) TWI820341B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI888137B (zh) * 2024-05-15 2025-06-21 圓展科技股份有限公司 避障拍攝系統及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245532A1 (en) * 2009-03-26 2010-09-30 Kurtz Andrew F Automated videography based communications
TW201246942A (en) * 2011-04-11 2012-11-16 Intel Corp Object of interest based image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245532A1 (en) * 2009-03-26 2010-09-30 Kurtz Andrew F Automated videography based communications
TW201246942A (en) * 2011-04-11 2012-11-16 Intel Corp Object of interest based image processing

Also Published As

Publication number Publication date
TW202205850A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
US11350029B1 (en) Apparatus and method of detecting and displaying video conferencing groups
JP3792901B2 (ja) カメラ制御システム及びその制御方法
US7843499B2 (en) Image capturing system employing different angle cameras on a common rotation axis and method for same
JP4140591B2 (ja) 撮像システム及び撮像方法
US11172158B2 (en) System and method for augmented video production workflow
KR20050051575A (ko) 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
CN103780837B (zh) 一种运动检测和定位拍摄的方法及其装置
EP4075794A1 (en) Region of interest based adjustment of camera parameters in a teleconferencing environment
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
CN101699862A (zh) Ptz摄像机获取感兴趣区域高分辨率图像的方法
JP2010533416A (ja) 自動的カメラ制御方法とシステム
WO2011082185A1 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
CN105812736A (zh) 自调节式云台摄像头远程智能控制系统及其控制方法
TWI530180B (zh) 連動式攝影系統及其多攝影機的控制方法
JP2011091546A (ja) 侵入物検知システム
CN105915802A (zh) 一种转动式摄影机的拍摄范围设定调整方法
CN101404725A (zh) 摄像机、摄像机组、摄像机组的控制方法、装置及系统
WO2009066988A2 (en) Device and method for a surveillance system
TWI820341B (zh) 影像追蹤及顯示方法
CN204697218U (zh) 一种考场监控系统
CN109120847A (zh) 一种图像获取设备的控制方法及装置
TWI537885B (zh) 監控方法與監控系統
JP2000341574A (ja) カメラ装置及びカメラ制御システム
US8860780B1 (en) Automatic pivoting in a wide-angle video camera