[go: up one dir, main page]

TWI889927B - 基於相機動作產生替代影像訊框 - Google Patents

基於相機動作產生替代影像訊框

Info

Publication number
TWI889927B
TWI889927B TW110139292A TW110139292A TWI889927B TW I889927 B TWI889927 B TW I889927B TW 110139292 A TW110139292 A TW 110139292A TW 110139292 A TW110139292 A TW 110139292A TW I889927 B TWI889927 B TW I889927B
Authority
TW
Taiwan
Prior art keywords
image frame
frame
video
image
stream
Prior art date
Application number
TW110139292A
Other languages
English (en)
Other versions
TW202226813A (zh
Inventor
維克多 艾德帕姆
嵩 袁
拉斐爾 泰勒
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202226813A publication Critical patent/TW202226813A/zh
Application granted granted Critical
Publication of TWI889927B publication Critical patent/TWI889927B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示用於處理由一相機系統捕捉之一影像訊框串流之方法及設備，包含電腦程式產品。當來自該影像訊框串流之一影像訊框被丟棄時，判定一當前相機移動。產生該經丟棄影像訊框之一替代影像訊框。該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量。編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處。

Description

基於相機動作產生替代影像訊框
本發明係關於影像資料之處理，且更明確言之係關於處理由一相機系統捕捉之一影像訊框串流。
搖攝、傾斜、變焦(Pan, Tilt, Zoom) (PTZ)相機係許多現代監視系統之一主要部分。此等相機在執行一PTZ動作時，尤其在運行分析應用以及諸如一隱私遮罩之其他某物時，通常在重CPU負載下，且同時瞬時位元率亦較高。此使得由相機捕捉之影像訊框系列中之一或多個影像訊框有可能在相機中之某一位置處被丟棄。
現今，最佳控制丟棄係產生一重複影像訊框且停止對該重複影像訊框之某一處理，但大多數應用程式仍將處理影像訊框，從而使CPU負載保持較高。當在一顯示器上觀看經捕捉視訊時，在一PTZ動作期間重複一影像訊框產生PTZ動作中之一明顯中斷。重複一影像訊框亦增加PTZ控制器之延時。因此，需要用於處置自一影像訊框串流丟棄之影像訊框之更佳機制。
美國專利第5,973,733號描述一種用於穩定用一視訊攝影機製作之一場景之一視訊記錄的系統。該視訊記錄包含視訊及音訊資料。系統包含用於將源視訊資料儲存為循序訊框之源訊框儲存器。系統亦包含一處理器，該處理器用於運行分析一影像中之動作向量以偵測在記錄期間發生之攝影機移動的一動作估計演算法，及用於修改視訊資料以補償攝影機移動。另外，系統包含用於將經修改視訊資料儲存為複數個循序訊框之目的地訊框儲存器。
美國專利公開案第2016/269639號描述一種編輯視訊以改良視訊片段(video footage)之表觀穩定性之方法。在此方法中，藉由在於個別視訊訊框內捕捉之一影像周圍添加一邊界且根據在兩個連續訊框之間計算之一移動向量之一負值調整連續視訊訊框之相對位置來改良視訊影像之表觀穩定性。
歐洲專利第1 377 036號描述一種自動視訊增強系統及用於自動增強視訊之方法。自動化視訊增強方法使用訊框對訊框動作估計作為視訊增強之基礎。動作估計包含全域動作(諸如相機動作)之運算及局部動作(諸如像素動作)之運算。自動化視訊增強方法包含產生全域對準變換，產生光流向量，及使用此等全域對準變換及光流向量來增強視訊。本發明亦包含使用訊框對訊框動作估計之視訊處理及增強技術。此等技術包含一去交錯程序、一去雜訊程序，及執行阻尼及鎖定穩定兩者之一扭曲穩定程序。
根據一第一態樣，本發明係關於一種在一相機系統中執行之用於處理在一相機移動期間捕捉之一影像訊框串流的方法。該方法包含： ● 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段內完成對該影像訊框之所有操作而被丟棄時，判定一當前相機移動； ● 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量；及 ● 編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處。
用於產生替代影像訊框之當前相機移動描述相機系統及明確言之相機系統之一影像捕捉部分自最後一個經編碼訊框以來(即，自最後一個經編碼影像訊框之一起始位置至經丟棄影像訊框之一結束位置)已如何移動，及亦可描述起始位置與結束位置之間的一軌跡。瞭解當前相機移動使得可判定一或多個動作向量且自此等動作向量產生近似表示經丟棄影像訊框之內容之一替代影像訊框。接著，將該替代影像訊框插入於經丟棄影像訊框之位置處。因此，視訊可保持「活躍(alive)」及回應性，從而使延時保持較低且使視訊保持平穩，同時亦減小相機系統上之負載，藉此降低進一步影像訊框丟棄之風險。此外，此方法可應用於預防性地進行之有意影像訊框丟棄及作為具有過高之一運算負載之相機之結果的無意影像訊框丟棄兩者。使用此方法之另一優點係位元率之降低，此係因為影像之間存在較小變化，且在運算資源方面，產生替代影像訊框及將替代影像訊框插入至經編碼影像訊框串流中非常便宜(通常比再編碼相同影像訊框便宜)。
根據一項實施例，當前相機移動係基於來自以下之一或多者之讀數進行判定：相機系統中之一陀螺儀及一馬達。陀螺儀及相機讀數被連續地記載於相機系統中之一快取區中且因此可容易獲得以用於動作向量計算目的。此外，讀數通常具有高粒度，即，通常每影像訊框存在至少一個讀數且有時遠多於此，從而使得容易獲得用於整個影像訊框或一影像訊框之部分之動作向量之計算的資料。
根據一項實施例，藉由比較當前陀螺儀及馬達讀數與一先前影像訊框之對應陀螺儀及馬達讀數來判定當前相機移動。藉由瞭解記錄一先前影像訊框之時間，可擷取對應陀螺儀及/或馬達讀數且與當前讀數進行比較，此給出一當前相機移動。此提供計算替代影像訊框之動作向量之一快速且運算上高效之方式。
根據一項實施例，先前影像訊框係最近的先前影像訊框。使用對應於最近的先前影像訊框之陀螺儀及馬達位置改良動作向量計算之準確度，因為其使用「最新」相機動作資料。
根據一項實施例，一或多個動作向量包括整個替代影像訊框之一單一全域動作向量。具有整個影像訊框之一單一動作向量導致一非常低成本的動作向量計算，此尤其在具有低運算能力或其中頻寬有限之相機系統或其他類型之成像系統中可為期望的。
根據一項實施例，動作向量包括複數個動作向量，該複數個動作向量之各者表示被包括在替代影像訊框中之一像素區塊之動作。一相機之動作(例如，相機系統之影像捕捉部分之動作)可以變化方式影響一影像訊框之不同部分，例如，在一PTZ動作中，隅角區塊可與影像訊框之中心中之區塊不同地移動。為補償此現象，當產生替代影像訊框時，可較佳地針對被包括在由替代影像訊框所參考之影像訊框中之不同像素區塊計算不同動作向量，以便為一操作者創造一平穩觀看及相機控制體驗，且提供無影像訊框被丟棄之「感覺」。然而，與針對整個替代影像訊框運算一單一全域動作向量時相比，此亦需要更多運算資源。
根據一項實施例，複數個動作向量表示被包括在替代影像訊框中之一或多個所關注部分之動作。可存在其中在先前影像訊框與經丟棄影像訊框之間沒有變化或變化很小之情形。例如，影像訊框中所描繪之大部分場景可展示變化不大(若有的話)之一牆壁、一藍天或一類似環境，且可能僅存在為使用者所關注之影像訊框之一小部分。在此一情景中，計算靜止部分之動作向量將幾乎沒有意義，且代替性地，可藉由僅計算影像之所關注部分之動作向量而節省運算資源。什麼被視為「所關注」及此部分有多大可取決於當前特定設置根據具體情況(on a case by case basis)進行決定。
根據一項實施例，方法進一步包括調整一或多個後續影像訊框之資料，使得替代影像訊框不被該一或多個後續影像訊框用作一參考影像訊框。由於替代影像訊框係一人工影像訊框，故重要的是在處理影像資料時，後續影像訊框不參考替代影像訊框。因此，調整後續影像訊框中之參考資料使得其指向在替代影像訊框之前之一影像訊框。
根據一項實施例，替代影像訊框係以下之一者：一向前預測影像訊框(P訊框)及雙向預測影像訊框(B訊框)。P訊框及B訊框分別為在視訊處理中廣泛使用之習知影像訊框類型。使用此等類型之影像訊框能夠將本發明與現有系統及標準輕鬆整合。
根據一項實施例，相機系統係以下之一者：一搖攝傾斜變焦(PTZ)相機及一身體佩戴式相機(BWC)。此等係在各種類型之監視設置中使用之兩種常見類型之相機系統。在此等內容背景中使用本發明增加本發明之多功能性。
根據一項實施例，影像訊框串流係影像訊框之一即時取景(live view)串流，且方法進一步包括：同時捕捉影像訊框之一記錄串流，其中影像訊框之該記錄串流不包含任何替代影像訊框。即，影像訊框之即時串流可含有替代影像訊框，此為觀看影像訊框串流之一使用者創造一愉快體驗。同時，可記錄一第二影像訊框串流，其中容許影像訊框丟棄且不產生替代影像訊框，且當具有即時、平穩視圖不那麼重要時，此第二影像訊框串流可用於後續儲存或鑑識目的。
根據一項實施例，替代影像訊框係含有預先計算之動作向量之一經編碼影像訊框。作為計算替代影像訊框之動作向量之一替代例，可存在「預先計算」之替代影像訊框，使得代替在一影像訊框被丟棄時計算動作向量，可簡單基於經判定相機移動自一程式庫擷取具有預先計算之動作向量之一經編碼影像訊框。此可進一步顯著減小相機之運算負載，且可在具有較低運算能力之情形中尤其有用。
根據一項實施例，主動地丟棄影像訊框以降低一影像訊框之一無意丟棄之風險。如上文所提及，有時故意丟棄一影像訊框以防止影像訊框之意外丟棄可為有利的。根據本發明之方法容許影像訊框之此主動丟棄，藉此與由於一運算過載而發生影像訊框丟棄時相比，增加本發明之多功能性且容許影像訊框之更受控丟棄。
根據一第二態樣，本發明係關於一種相機系統。該相機系統包含一影像捕捉部分、一影像處理管線及一編碼器。該影像捕捉部分經組態以在一相機移動期間捕捉一影像訊框串流。該影像處理管線經組態以： ● 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段內完成對該影像訊框之所有操作而被丟棄時，判定一當前相機移動； ● 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量。
編碼器經組態以編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處。
系統優點對應於方法之優點且可類似地變化。
根據一第三態樣，本發明係關於一種用於處理由一相機系統在一相機移動期間捕捉之一影像訊框串流之電腦程式。該電腦程式產品包括具有與其一起體現之程式指令之一電腦可讀儲存媒體，其中該電腦可讀儲存媒體本身並非一暫時信號。該等程式指令可由一處理器執行以執行包括以下之一方法： ● 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段內完成對該影像訊框之所有操作而被丟棄時，判定一當前相機移動； ● 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括僅基於該經判定當前相機移動估計之一或多個動作向量；及 ● 編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處。
電腦程式涉及對應於方法之優點之優點且可類似地變化。
在下文隨附圖式及描述中闡述本發明之一或多項實施例之細節。將自描述及圖式以及自發明申請專利範圍明白本發明之其他特徵及優點。
概述
如上文所描述，本發明之各項實施例之一個目標係提供用於處置自一影像訊框串流丟棄之一或多個影像訊框之經改良技術。此等技術可應用於多種內容背景中。兩種較常見實例包含搖攝傾斜變焦(PTZ)相機及身體佩戴式相機(BWC)，但甚至可存在出於各種原因(例如，若其等經受搖晃)而經歷影像訊框丟棄之固定相機系統。本文中將藉由實例且關於PTZ相機及PTZ動作來描述本發明，因為此等係易於理解之概念。然而，應認識到，相同原理可應用於BWC或其他類型之相機系統，且本文中提出之實例不應被解釋為限於特定類型之相機或成像系統。
當一影像訊框在一PTZ動作(即，一影像捕捉部分之一PTZ動作)期間被丟棄時，記載經估計動作且針對經丟棄影像訊框產生一替代影像訊框。替代影像訊框包含參考一先前影像訊框估計且僅基於經估計PTZ動作之一或多個動作向量。例如，可自來自記錄影像捕捉部分之PTZ動作之一相機陀螺儀的讀數或自來自控制影像捕捉部分之PTZ動作之馬達的資料來估計PTZ動作。替代影像訊框通常編碼為參考一先前影像訊框之一P訊框。編碼影像訊框串流中之剩餘影像訊框，且將替代影像訊框插入於經編碼影像訊框串流中之經丟棄影像訊框之位置處。此容許視訊仍然「活躍(alive)」且回應性，從而使延時保持較低且使視訊保持平穩，同時亦減小相機系統上之負載，藉此降低進一步影像訊框丟棄之風險。現將藉由實例且參考圖式來描述本發明之各項實施例。
圖1展示其中可實施本發明之各項實施例之一例示性環境100之一示意圖。如圖1中可見，由一相機系統108捕捉具有一人104及一樹106之一場景102。為了促進此描述之易讀性，相機系統108有時在本文中將被簡稱為一「相機」，但再次應注意，許多類型之相機系統108落在發明申請專利範圍之範疇內，諸如PTZ相機、固定相機、身體佩戴式相機(BWC)等。進一步應注意，場景102之此描述僅為用於闡釋性目的之一過分簡單化之視圖。一場景102可在更一般意義上被描述為任何三維實體空間，其大小及形狀係由記錄場景之一相機之視野定義。
在圖2中更詳細繪示之相機系統108具有包括一鏡頭110及一影像感測器112之一影像捕捉部分109。鏡頭110捕捉場景102且將其投影至影像感測器112上。影像感測器112捕捉一起形成一視訊串流之一系列影像。相機系統108進一步包括一影像處理管線202及一編碼器204 (該兩者將在下文進一步詳細描述)。影像處理管線202及編碼器204可被包括在相機系統108之一影像處理及編碼部分205中。在一些實施例中，影像處理及編碼部分205可配置為與影像捕捉部分109共同定位。在一些替代實施例中，其可配置為與影像捕捉部分109分開但與影像捕捉部分109有線或無線通信。影像捕捉部分109以及影像處理及編碼部分205可配置於例如一單一單元中或兩個分開單元中，使得由影像捕捉部分109捕捉之影像係由影像處理及編碼部分205處理及編碼。因此，即使相機系統108在圖2中被繪示為一單一單元，但應理解，相機系統108之部分可配置於分開單元處，可能配置成彼此相距一定距離。影像處理管線202自影像感測器112取得信號且在將影像資料發送至編碼器204之前執行各種類型之影像處理操作，編碼器204將視訊串流編碼成適於經由一網路傳輸至一使用者之一格式。在圖1中，經編碼視訊係經由一無線電鏈路116無線傳輸至一有線網路118，且最終傳輸至連接至網路118之一用戶端120，但當然，存在可使用之無線及有線傳輸模型之許多組合。圖2中繪示之相機系統108亦包含用於使相機系統108移動(即，特別是使影像捕捉部分109移動)之一或多個馬達206，及用於判定相機系統之一位置(即，影像捕捉部分109之位置)之一或多個陀螺儀208。一或多個馬達206及/或一或多個陀螺儀208可被包括於影像捕捉部分109中或配置於影像捕捉部分109處以便控制及判定影像捕捉部分109之移動。如先前所提及，此移動在本發明中被稱為相機移動。
用戶端120具有一顯示螢幕，一使用者可在該顯示螢幕處觀看來自相機之影像視訊串流。通常，用戶端120亦用於控制相機108，例如，由使用者在用戶端120處發出PTZ控制命令。例如，一使用者可指示相機在場景102之一特定細節上放大，或若人104開始移動遠離樹106則追蹤她。當控制相機時，重要的是延時儘可能低，即，使用者體驗到相機儘可能「回應」於其等控制命令。
然而，如上文所描述，在一相機移動期間，相機常常歸因於若干因素而經歷一高運算負載。如上文所描述，PTZ相機在執行一PTZ動作時，尤其在運行分析應用以及諸如一隱私遮罩之其他某物時，通常在重CPU負載下，且同時瞬時位元率亦較高。當相機無法在一經分配時段內完成對影像訊框之所有所需操作時，相機上之運算負載較高。當無法在一經分配時段內完成對一影像訊框之所有操作時，該影像訊框被有意地抑或無意地丟棄。當IPP 202歸因於相機移動期間之高運算負載而無法在經分配時段內完成對影像訊框之所有所需處理操作時，情況可如此。如下文所例示，由IPP 202執行之處理操作可包括雜訊濾波、失真校正、全域及/或局部色調映射、變換、平場校正、覆疊(例如，隱私遮罩)之施加，及執行物件偵測及/或物件辨識之分析應用。例如，在無法在經分配時段內完成之一隱私遮罩操作之情況下，相較於在無任何隱私遮罩或僅具有一部分繪製之隱私遮罩之情況下保持影像訊框，丟棄影像訊框通常為一較佳選擇。作為另一實例，倘若歸因於高運算負載而無法在經分配時段內完成雜訊濾波、失真校正、全域及/或局部色調映射、變換及/或平場校正，則相較於在無雜訊濾波、失真校正、全域及/或局部色調映射、變換及/或平場校正之情況下保持影像訊框，丟棄影像訊框可為較佳的，此係因為保持此一影像訊框將有可能對視訊串流之外觀產生負面影響。此例示影像訊框之有意丟棄以避免一特定負面影響。然而，如上文所提及，丟棄可為無意的。因此，影像訊框可歸因於運算負載對於IPP 202而言過高而無法在經分配時段內完成所有所需操作而被無意丟棄。例如，一些所需操作(諸如執行物件偵測或物件辨識之分析應用操作)需要特定量之可用運算/處理資源以便對影像訊框執行物件偵測或物件辨識，且若IPP 202上之運算負載過高(例如，歸因於相機移動)，則IPP 202之可用運算/處理資源可小於完成分析應用操作所需之特定量之可用運算/處理資源。因此，IPP 202可能不具有足以在經分配時段內完成所有所需操作之可用運算/處理資源，且因此影像訊框被丟棄。無關於丟棄是否為有意或無意，丟棄一影像訊框造成向使用者展示之串流中之一中斷，且產生觀看不太愉快且亦具有一較高延時感(其等兩者皆為非所要體驗)之一視訊串流。
因此，為了減少此等及其他問題，在一項實施例中，用一替代影像訊框替換一影像訊框串流中之一經丟棄影像訊框，如現將參考圖3進行描述，圖3係用於處理一影像訊框串流之一方法300之一流程圖。如圖3中可見，方法藉由以一習知方式處理一影像訊框串流(步驟302)而開始。現將參考圖2簡要描述此習知處理，圖2係展示根據一項實施例之用於捕捉及處理影像之一相機系統108的選定組件之一方塊圖。
如圖2中所展示，相機系統108包含在一影像感測器112上對場景102進行成像之一鏡頭110。在可能執行各種操作(通常為由相機系統108之一或多個單元(未展示)，諸如一濾波單元、一解馬賽克及一色彩校正單元進行之濾波、解馬賽克及色彩校正)之後，將所得影像轉送至一影像處理管線(IPP) 202。應注意，在一些實施例中，色彩校正可在IPP 202中完成。
在IPP 202中，對影像執行進一步處理。此進一步處理可包含雜訊濾波(用於消除空間及/或時間雜訊)、失真校正(用於消除例如桶形失真之效應)、全域及/或局部色調映射(例如，實現對含有廣範圍之強度之場景的成像)、變換(例如，旋轉)、平場校正(例如，用於移除漸暈效應)、覆疊(例如，隱私遮罩、說明文字等)之施加。IPP 202亦可與執行物件偵測、物件辨識、警報等之一分析引擎(未展示)相關聯。
在影像IPP 202之後，可將影像轉送至一編碼器204，其中資訊根據一編碼協定進行編碼且經由網路118轉送至接收用戶端120。應注意，圖2中所繪示之相機108亦包含許多其他組件(諸如處理器、記憶體等)，該等其他組件在習知相機系統中係常見的且其目的及操作為一般技術者所熟知。為清楚起見，已自圖2之繪示及描述省略此等組件。存在若干習知視訊編碼格式。與本發明之各項實施例一起運作之一些常見視訊編碼格式包含：高效率視訊寫碼(HEVC)，亦被稱為H.265及MPEG-H Part 2；先進視訊寫碼(AVC)，亦被稱為H.264及MPEG-4 Part 10；多功能視訊寫碼(VVC)，亦被稱為H.266、MPEG-I Part 3及未來視訊寫碼(FVC)；VP9、VP10及AOMedia Video 1 (AV1)，僅舉一些實例。此等視訊編碼格式規定依據框內(intra)影像訊框及框間(inter)影像訊框實施之時間視訊壓縮。如先前所提及，框內影像訊框亦可被稱為I影像訊框，且框間影像訊框可為預測影像訊框(所謂的P訊框)或雙向預測影像訊框(所謂的B訊框)。一I影像訊框可被描述為僅使用待編碼之影像訊框中之資訊進行編碼的一影像訊框。此外，I訊框係自針對待編碼之影像訊框捕捉之所有影像資料計算。因此，I訊框有時亦被稱為一全影像訊框。
P訊框係基於來自先前編碼之影像訊框之資訊以及目前編碼之影像訊框之資訊。B訊框係基於來自先前及視情況稍後編碼之影像訊框之資訊以及目前編碼之影像訊框之資訊。即，一框間影像訊框可被描述為利用先前(及視情況稍後)影像訊框中之時間冗餘資訊。實施此類型之編解碼器(壓縮標準)之一編碼器通常產生一I影像訊框，其後接著預定數目個框間影像訊框(例如，P訊框及/或B訊框)，且接著為一新I影像訊框其後接著相同數目個框間影像訊框。一I訊框後接著若干框間影像訊框之此序列之長度通常被稱為一圖像群(GOP)長度。對於一些壓縮標準(諸如H.265)，可在編碼期間調整GOP長度。
現參考圖3，在步驟302中之正常處理期間，存在影像訊框之持續監測以偵測影像訊框串流中之一影像訊框是否已被丟棄(步驟304)。若尚無影像訊框被丟棄，則正常處理繼續。然而，若在步驟304中發現一影像訊框已被丟棄，則基於相機移動產生一替代影像訊框(步驟306)。如上文所提及，來自影像訊框串流之影像訊框可歸因於無法在一經分配時段內完成對該影像訊框之所有操作(例如，所有所需操作)而被丟棄。當歸因於相機系統108在一相機移動期間經歷一高運算負載而無法在經分配時段內完成對來自影像訊框串流之影像訊框之所有所需操作時，情況可如此。
在一項實施例中，藉由創建一P訊框來產生替代影像訊框，該P訊框參考一先前影像訊框且包含自PTZ相機之動作(例如，影像捕捉部分之動作)人工產生之動作向量。除用於使PTZ相機移動之馬達206之外，相機108中通常亦存在一或多個陀螺儀208。來自馬達206及陀螺儀208之位置讀數係連續地儲存於相機108中之一快取區中，頻率為每秒60次至600次。此使得可使影像訊框捕捉時間與PTZ相機108 (例如，影像捕捉部分109)之位置讀數相關。例如，在具有每秒60次位置量測及一60 FPS (每秒訊框數)捕捉率之較低端，相機快取區中將存在各影像訊框之一個位置讀數，且在具有每秒600次位置量測及一60 FPS捕捉率之較高端，各影像訊框可與10個位置讀數相關，此將容許估計在經丟棄影像訊框之影像訊框捕捉時相機之位置(例如，影像捕捉部分之位置)之甚至更佳準確度。
因此，藉由讀取在一影像訊框被丟棄時PTZ相機108之一當前位置(例如，影像捕捉部分109之一當前位置)，且參考相機快取區中之先前影像訊框之經儲存位置，可判定描述先前影像訊框與當前經丟棄影像訊框之間之動作的一或多個動作向量。此等動作向量可用於產生一替代影像訊框，該替代影像訊框可插入至經編碼影像訊框串流中經丟棄影像訊框之位置處。此給予一使用者一連續、平穩相機移動而無任何中斷之外觀。可以不同方式產生一或多個動作向量。
如一般技術者熟知，常見的是將一影像訊框劃分成不同區塊且在一區塊層級上執行影像處理。在影像中之區塊之移動變化之意義上，一PTZ移動通常「偏斜」。例如，隅角區塊可與影像之中心中之區塊不同地移動。因此，在一第一實施例中，在一逐區塊基礎上進行處理且針對各區塊判定一個別動作向量。在一第二實施例中，針對整個影像訊框判定一全域動作向量。雖然第一實施例可產生一更佳使用者體驗，但其在位元率方面亦具有一較高成本，此係因為需要處理更多資訊，且因此取決於當前情境，第二實施例有時可能更有用。
應注意，亦存在介於第一實施例與第二實施例之間的「混合實施例」。例如，可將一影像劃分成四個或九個影像塊(tile)，且可針對各影像塊判定一動作向量。可存在一些情形，其中「所關注」之某物僅在影像塊之一者中發生(例如，一物件係展示於影像塊之一者中且剩餘八個影像塊展示藍天或一實心牆壁等)。在此一情景中，可藉由僅針對所關注影像塊計算一動作向量且不處理看起來不變之八個影像塊而進一步節省運算資源。在另一變化形態中，可針對一個區塊(例如，向上10個像素及向左15個像素)決定一動作向量，且可指示相機將所有緊鄰區塊設定為具有相同動作向量。因此，一般技術者可設想許多變動。
由於替代影像訊框係一人工影像訊框，故重要的是在編碼影像訊框串流中之後續影像訊框之影像資訊時，該等後續影像訊框不使用替代影像訊框作為一參考。因此，緊接在經丟棄影像訊框之前之影像訊框(即，最近的先前影像訊框)被保持為用於後續影像訊框之一參考。此可以若干方式進行。例如，在一項實施例中，替代影像訊框在其標頭中具有指示其係一「請勿用於參考影像訊框」之相關聯後設資料或資料。在使用H.264壓縮之另一實施例中，可將QP值設定為51以指示影像訊框係一替代影像訊框。應注意，雖然此實例使用最近的先前影像訊框，但亦可使用任何較舊的影像訊框作為一參考影像訊框。然而，在大多數情形中，在時間上最接近經丟棄影像之影像訊框將為具有最相關內容之影像訊框，且因此係較佳使用之一影像訊框。
一旦已產生替代影像訊框，便將其插入於經編碼影像訊框串流中之經丟棄影像訊框之位置處(步驟308)。接著，判定是否存在任何更多影像訊框供處理(步驟310)。若是，則正常影像處理在步驟302中繼續，如上文所描述。若不存在更多影像訊框供處理(例如，若相機108關閉或進入睡眠狀態)，則程序結束。
應注意，在上述實例中，影像訊框可出於有意及無意原因兩者而被從串流丟棄。例如，一影像訊框丟棄之一有意原因可為，若一頻寬監測器指示所使用之頻寬如此高以至於除非減小相機上之運算負載，否則存在影像訊框丟棄之一風險。一有意影像訊框丟棄之另一實例可為，可能存在應具有一較高優先級之一第二影像訊框串流，等。當相機上之負載簡直過高以至於相機無法成功地處置影像處理之所有步驟時，可發生如上文所描述之無意影像訊框丟棄。 結論意見
應注意，雖然上述實例專注於使用P訊框，但本發明之相同一般原理適用於可參考GOP中之向前及向後兩者之B訊框。然而，相較於P訊框，B訊框通常具有較高記憶體需求，因此在大多數情況中，使用P訊框將為較佳的。進一步應注意，當影像訊框串流中存在數個替代影像訊框時，並非所有替代影像訊框皆需要具有相同類型且可能存在P訊框及B訊框之任何混合。
再者，上述實例涉及具有一單一馬達206之PTZ相機。然而，應認識到，相同一般原理亦可擴展至含有多個影像感測器及其中各影像感測器具有其自身之馬達206的相機。
此外，雖然上述實例中之動作向量之運算參考緊接在經丟棄影像訊框之前之影像訊框，但沒有什麼阻止參考影像訊框串流中之一甚至更早影像訊框來判定動作向量。然而，參考與經丟棄影像訊框相距數個步長之一影像訊框可能潛在地導致具有不太準確的動作向量及藉此較差品質之一替代影像訊框，因此從一實際角度來看，參考緊接在前之影像訊框可為較佳的。
上述實例已依據PTZ相機呈現，但應注意，相同原理亦可應用於其他相機，諸如身體佩戴式相機(BWC)或經受強振動且其中影像訊框被丟棄之風險增加的任何相機。
在一些實施例中，亦可存在「預先計算」之替代影像訊框，使得代替在一影像訊框被丟棄時計算動作向量，可簡單基於經判定相機移動自一程式庫擷取具有預先計算之動作向量之一經編碼影像訊框。此可進一步顯著減小相機之運算負載，且可在具有較低運算能力之情形中尤其有用。
亦存在其中將上述技術應用於一「即時串流」(即，一使用者正在他或她的顯示螢幕上觀看之串流)中，但其中未將替代影像訊框添加至實際鑑識串流(即，經記錄及經保存以供未來參考之串流)的實施例。因此，一般技術者可設想許多變動。
本文中所揭示之相機系統及方法可實施為軟體、韌體、硬體或其等之一組合。在一硬體實施方案中，在上述描述中提及之功能單元或組件之間的任務劃分並不一定對應於至實體單元中之劃分；恰相反，一個實體組件可執行多個功能性，且一個任務可由數個實體組件協作實行。
特定組件或所有組件可實施為由一數位信號處理器或微處理器執行之軟體，或實施為硬體或一特定應用積體電路。此軟體可分佈於可包括電腦儲存媒體(或非暫時性媒體)及通信媒體(或暫時性媒體)之電腦可讀媒體上。如熟習此項技術者熟知，術語電腦儲存媒體包含以任何方法或技術實施之用於儲存資訊(諸如電腦可讀指令、資料結構、程式模組或其他資料)之揮發性及非揮發性、可移除及不可移除媒體兩者。電腦儲存媒體包含但不限於RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存器、卡式磁帶、磁帶、磁碟儲存器或其他磁性儲存裝置，或可用於儲存所要資訊且可由一電腦存取之任何其他媒體。
圖中之流程圖及方塊圖繪示根據本發明之各項實施例之系統、方法及電腦程式產品之可行實施方案之架構、功能性及操作。在此方面，流程圖或方塊圖中之各方塊可表示包括用於實施(若干)指定邏輯功能之一或多個可執行指令之一模組、片段或指令部分。在一些替代實施方案中，方塊中所提及之功能可不按圖中所提及之順序發生。例如，取決於所涉及之功能性，連續展示之兩個方塊可事實上實質同時執行，或該等方塊有時可按相反順序執行。亦將注意，方塊圖及/或流程圖繪示之各方塊以及方塊圖及/或流程圖繪示中之方塊之組合可藉由執行指定功能或動作或實行專用硬體及電腦指令之組合的專用基於硬體之系統來實施。
將瞭解，熟習此項技術者可以許多方式修改上述實施例且仍使用如上文實施例中展示之本發明之優點。因此，本發明不應限於所展示實施例而應僅由隨附發明申請專利範圍定義。另外，如熟習此項技術者理解，可組合所展示實施例。
100:環境 102:場景 104:人 106:樹 108:相機系統/相機 109:影像捕捉部分 110:鏡頭 112:影像感測器 116:無線電鏈路 118:有線網路/網路 120:用戶端 202:影像處理管線(IPP) 204:編碼器 205:影像處理及編碼部分 206:馬達 208:陀螺儀 300:方法 302:步驟 304:步驟 306:步驟 308:步驟 310:步驟
圖1係展示根據一項實施例之其中可應用本發明之各種方法及系統的一例示性環境100之一示意圖。
圖2係展示根據一項實施例之在圖1中繪示之相機系統108之一詳細視圖的一方塊圖。
圖3係展示根據一項實施例之用於處理一影像訊框串流之一方法之一流程圖。
在各個圖式中，相同元件符號指示相同元件。
300:方法
302:步驟
304:步驟
306:步驟
308:步驟
310:步驟

Claims (13)

  1. 一種在一相機系統中執行之用於處理在一相機移動期間捕捉之一影像訊框串流(stream of image frames)之方法，該方法包括： 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段(allotted time period)內完成對該影像訊框之所有操作而從該影像訊框串流被丟棄(drop)時，判定一當前相機移動，其中該經丟棄之影像訊框在該影像訊框串流中不再為可用； 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量； 編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處；及 調整針對一或多個後續影像訊框之參考資料，使得針對該一或多個後續影像訊框之該參考資料不指向該替代影像訊框用作一參考影像訊框。
  2. 如請求項1之方法，其中該當前相機移動係基於來自以下之一或多者之讀數進行判定：該相機系統中之一陀螺儀及一馬達。
  3. 如請求項2之方法，其中藉由比較當前陀螺儀及馬達讀數與一先前影像訊框之對應陀螺儀及馬達讀數來判定該當前相機移動。
  4. 如請求項3之方法，其中該先前影像訊框係最近的先前影像訊框。
  5. 如請求項1之方法，其中該一或多個動作向量包括該整個替代影像訊框之一單一全域動作向量。
  6. 如請求項1之方法，其中該等動作向量包括複數個動作向量，該複數個動作向量之各者表示該替代影像訊框中之一像素區塊之動作。
  7. 如請求項6之方法，其中該複數個動作向量表示該替代影像訊框中之一或多個所關注部分之該動作。
  8. 如請求項1之方法，其中該替代影像訊框係以下之一者：一向前預測影像訊框，P影像訊框，及雙向預測影像訊框，B影像訊框。
  9. 如請求項1之方法，其中該相機系統係以下之一者：一搖攝傾斜變焦PTZ相機及一身體佩戴式相機BWC。
  10. 如請求項1之方法，其中該影像訊框串流係影像訊框之一即時取景串流，且其中該方法進一步包括：同時捕捉影像訊框之一記錄串流，其中影像訊框之該記錄串流不包含任何替代影像訊框。
  11. 如請求項1之方法，其進一步包括主動地丟棄該影像訊框以防止該影像訊框在歸因於無法在一經分配時段內完成該影像訊框上的所有操作下而被丟棄。
  12. 一種相機系統，其包括： 一影像捕捉部分，其經組態以在一相機移動期間捕捉一影像訊框串流； 一影像處理管線，其經組態以： 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段內完成對該影像訊框之所有操作而從該影像訊框串流被丟棄時，判定一當前相機移動，其中該經丟棄之影像訊框在該影像訊框串流中不再為可用； 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量；及 一編碼器，其經組態以編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處，及調整針對一或多個後續影像訊框之參考資料，使得針對該一或多個後續影像訊框之該參考資料不指向該替代影像訊框用作一參考影像訊框。
  13. 一種用於處理由一相機系統在一相機移動期間捕捉之一影像訊框串流之電腦程式產品，該電腦程式產品包括具有與其一起體現之程式指令之一電腦可讀儲存媒體，其中該電腦可讀儲存媒體本身並非一暫時性信號，該等程式指令可由一處理器執行以執行包括以下之一方法： 當來自該影像訊框串流之一影像訊框歸因於無法在一經分配時段內完成對該影像訊框之所有操作而從該影像訊框串流被丟棄時，判定一當前相機移動，其中該經丟棄之影像訊框在該影像訊框串流中不再為可用； 產生該經丟棄影像訊框之一替代影像訊框，其中該替代影像訊框包括對一先前影像訊框之一參考且包含僅基於該經判定當前相機移動估計之一或多個動作向量； 編碼該影像訊框串流中之剩餘影像訊框且將該替代影像訊框插入於該經編碼影像訊框串流中之該經丟棄影像訊框之位置處；及 調整針對一或多個後續影像訊框之參考資料，使得針對該一或多個後續影像訊框之該參考資料不指向該替代影像訊框用作一參考影像訊框。
TW110139292A 2020-10-23 2021-10-22 基於相機動作產生替代影像訊框 TWI889927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20203624.0A EP3989530A1 (en) 2020-10-23 2020-10-23 Generating substitute image frames based on camera motion
EP20203624.0 2020-10-23

Publications (2)

Publication Number Publication Date
TW202226813A TW202226813A (zh) 2022-07-01
TWI889927B true TWI889927B (zh) 2025-07-11

Family

ID=73014326

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110139292A TWI889927B (zh) 2020-10-23 2021-10-22 基於相機動作產生替代影像訊框

Country Status (6)

Country Link
US (1) US12047690B2 (zh)
EP (1) EP3989530A1 (zh)
JP (1) JP7650217B2 (zh)
KR (1) KR102828890B1 (zh)
CN (1) CN114500787A (zh)
TW (1) TWI889927B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7618507B2 (ja) * 2021-05-28 2025-01-21 キヤノン株式会社 情報処理装置、システム、情報処理方法、及びプログラム
JP7674521B2 (ja) 2022-05-02 2025-05-09 エルジー エナジー ソリューション リミテッド ガス排出部材、及びそれを備える二次電池
KR102706391B1 (ko) 2022-10-05 2024-09-13 한국철도기술연구원 다중 센서에서 획득한 데이터의 동기화 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141166A1 (en) * 2007-11-22 2009-06-04 Samsung Electronics Co., Ltd. Selective error concealment method and apparatus for moving picture frame
US20110292287A1 (en) * 2003-03-20 2011-12-01 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
US20170344114A1 (en) * 2010-02-28 2017-11-30 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20200314461A1 (en) * 2016-07-07 2020-10-01 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JP2003061112A (ja) 2001-08-20 2003-02-28 Univ Waseda カメラワーク検出装置およびカメラワーク検出方法
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US9426414B2 (en) 2007-12-10 2016-08-23 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
KR101467875B1 (ko) * 2008-09-04 2014-12-02 삼성전자주식회사 프레임 레이트의 가변화 설정이 가능한 디지털 카메라 및 그 제어방법
JP2011030065A (ja) 2009-07-28 2011-02-10 Sanyo Electric Co Ltd 撮像装置
JP5617270B2 (ja) * 2010-02-16 2014-11-05 富士通株式会社 動画再生装置、動画処理方法、および動画処理プログラム
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
EP2599310B1 (en) 2010-07-30 2018-04-04 Thomson Licensing Method and apparatus for measuring video quality
KR101736793B1 (ko) 2010-12-29 2017-05-30 삼성전자주식회사 비디오 프레임 인코딩 장치, 그것의 인코딩 방법 및 그것을 포함하는 비디오 신호 송수신 시스템의 동작 방법
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
JP6231816B2 (ja) 2013-08-20 2017-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム並びに記憶媒体
US9525821B2 (en) * 2015-03-09 2016-12-20 Microsoft Technology Licensing, Llc Video stabilization
US20170085740A1 (en) * 2015-05-21 2017-03-23 InvenSense, Incorporated Systems and methods for storing images and sensor data
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines
EP3474225B1 (en) * 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292287A1 (en) * 2003-03-20 2011-12-01 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
US20090141166A1 (en) * 2007-11-22 2009-06-04 Samsung Electronics Co., Ltd. Selective error concealment method and apparatus for moving picture frame
US20170344114A1 (en) * 2010-02-28 2017-11-30 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20200314461A1 (en) * 2016-07-07 2020-10-01 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content

Also Published As

Publication number Publication date
US20220132030A1 (en) 2022-04-28
JP7650217B2 (ja) 2025-03-24
EP3989530A1 (en) 2022-04-27
JP2022069409A (ja) 2022-05-11
TW202226813A (zh) 2022-07-01
KR20220054204A (ko) 2022-05-02
CN114500787A (zh) 2022-05-13
US12047690B2 (en) 2024-07-23
KR102828890B1 (ko) 2025-07-04

Similar Documents

Publication Publication Date Title
TWI889927B (zh) 基於相機動作產生替代影像訊框
JP2010199656A (ja) 動画撮像装置
JP4687807B2 (ja) 動画記録装置、及び動画像の傾き補正方法、プログラム
US20120262598A1 (en) Image signal processing apparatus
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
US9066100B2 (en) Image coding apparatus and image coding method
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
JP2007036615A (ja) カメラ制御装置及び監視システム
JP4895016B2 (ja) 撮像装置
JP6070424B2 (ja) 撮影装置、撮影方法及び撮影プログラム
US8155185B2 (en) Image coding apparatus and method
JP2005175974A (ja) 撮像装置
JP2012023768A (ja) 撮像装置
JP2008141354A (ja) 画像符号化装置および撮像装置
JP2004180345A (ja) 撮影画像記録装置
JP4700992B2 (ja) 画像処理装置
JP5049386B2 (ja) 動画像符号化装置および動画像復号装置
JP2009081727A (ja) 画像符号化装置及びその制御方法、プログラム
JP5825976B2 (ja) 符号化装置及び方法
KR20240084469A (ko) 비디오 시퀀스를 프루닝하는 방법 및 장치
JP2009253675A (ja) 再生装置および方法、プログラム
JP2019075685A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2006166255A (ja) 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置
JP2006217158A (ja) 画像符号化装置及び撮像装置
JPH0865565A (ja) 撮像記録装置