[go: up one dir, main page]

TWI743402B - 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器 - Google Patents

用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器 Download PDF

Info

Publication number
TWI743402B
TWI743402B TW107135486A TW107135486A TWI743402B TW I743402 B TWI743402 B TW I743402B TW 107135486 A TW107135486 A TW 107135486A TW 107135486 A TW107135486 A TW 107135486A TW I743402 B TWI743402 B TW I743402B
Authority
TW
Taiwan
Prior art keywords
frame
image data
image
encoding
video
Prior art date
Application number
TW107135486A
Other languages
English (en)
Other versions
TW201924352A (zh
Inventor
維克多 艾德帕姆
漢普斯 林森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201924352A publication Critical patent/TW201924352A/zh
Application granted granted Critical
Publication of TWI743402B publication Critical patent/TWI743402B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之方法及編碼器。本發明提供一種方法，其包括以下步驟：接收由一視訊擷取裝置擷取之第一影像資料；使用該第一影像資料作為一第一輔助訊框之影像資料；將該第一輔助訊框編碼為一框內訊框；及將一第一訊框編碼為參考該第一輔助訊框之一框間訊框，其中該第一訊框之運動向量表示待應用於該第一影像資料之一第一影像變換。

Description

用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器
本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之方法及編碼器。
視訊擷取裝置或視訊攝影機用於擷取數位影像或訊框之一串流，其可在轉移至一顯示器以被展示或由(例如)一軟體進一步處理之前被編碼及解碼。歸因於視訊擷取裝置之光學系統之缺陷或限制，編碼數位影像會展示幾何失真。一非所要失真之另一實例可由視訊擷取裝置之振動引起。此等類型之失真不利於監視，其中操作者之工作或來自一視訊分析軟體之輸出之品質可取決於解碼視訊串流之品質。
現今，諸多監視系統允許在編碼視訊串流之前複變換擷取視訊串流中之數位影像。此等複變換之實例包含拼接、去扭曲、數位搖攝-傾斜-變焦(DPTZ)、電子影像穩定(EIS)、桶形失真校正(BDC)等等。此等變換需要特殊硬體且係諸如記憶體頻寬之監視系統資源上之一重負載。作為一副效應，此等變換可移除擷取數位影像之原始視場之部分以及數位影像之失真部分。
因此，需要在此背景內進行改良。
因此，鑑於上文，本發明之一目的係克服或至少緩解上文所討論之問題。特定言之，一目的係提供一種編碼方法及編碼器，其在需要複變換一視訊串流之擷取訊框時減少視訊擷取系統之資源上之負載且促進原始擷取影像資料之取得。
根據本發明之一第一態樣，上述目的由一種用於在一視訊編碼格式中編碼一視訊串流之方法達成，其中該視訊編碼格式支援將一輔助訊框包含於該編碼視訊串流中，該輔助訊框由該編碼視訊串流中之另一訊框參考且包括與該另一訊框互補之影像資料，其中該輔助訊框之該影像資料不意欲在解碼該編碼視訊串流時被展示，而是與該另一訊框之資料用於達成待展示之影像資料，該方法包括以下步驟： 接收由一視訊擷取裝置擷取之第一影像資料； 使用該第一影像資料作為一第一輔助訊框之影像資料； 將該第一輔助訊框編碼為一框內訊框；及 將一第一訊框編碼為參考該第一輔助訊框之一框間訊框，其中該第一訊框之運動向量表示待應用於該第一影像資料之一第一影像變換。
一輔助訊框一般意謂與編碼視訊串流中之另一訊框(亦稱為一主影像)互補之一影像資料之儲存體。換言之，該另一訊框參考輔助訊框。輔助訊框可以各種形式用於輔助顯示與其互補但通常本身不被顯示之訊框。輔助訊框亦可指稱輔助影像、輔助影像項目、非顯示訊框、輔助圖片等等。一輔助訊框之已知應用包含將其用於一α平面或一深度圖。
因此，第一訊框(及以下第二訊框、第三訊框等等)亦可稱為主影像或主訊框。
「第一訊框之運動向量表示待應用於第一影像資料之一第一影像變換」(及第二訊框、第三訊框等等之類似表達)一般意謂運動向量在通常連續影像變換中取樣特定座標之影像變換。取樣座標通常由用於第一訊框之(若干)巨集區塊大小判定，如下文將進一步闡釋。
在(例如) H.265編碼標準(及諸如Google's VP10之其他較新編碼標準)內，一訊框可被標記為「不顯示」，其意謂訊框將不顯示給使用者。在(例如) H.265中，標記可藉由將片段標頭中之pic_output_flag設定為假且將SEI標頭中之no_display旗標設定為真來完成。
發明者已認識到，此等輔助訊框可與參考輔助訊框之訊框一起用於儲存與複影像變換相關之資料以及正常編碼/壓縮資料以提供一視訊串流之一高效率編碼，其中需要複影像變換原始影像資料(如由視訊擷取裝置擷取)。就本實施例而言，無需在編碼程序開始之前預處理原始影像資料(例如用於桶形失真校正或其類似者)，其減少(例如)視訊擷取裝置之資源上之負載且無需一硬體或軟體執行此一預處理步驟。
本實施例可具有之另一優點係：編碼視訊串流可由支援由編碼器使用之視訊編碼格式之一標準視訊串流解碼器解碼，因為上述方法遵循此視訊編碼格式之標準。另一優點可為：由於輔助訊框之影像資料係由視訊擷取裝置擷取之原始影像資料，所以此資料包含於編碼視訊串流中且稍後可視需要由一客製解碼器取得。
根據一些實施例中，該方法進一步包括以下步驟：接收由該視訊擷取裝置擷取之第二影像資料；將該第二輔助訊框編碼為參考該第一輔助訊框之一框間訊框，其中基於該第二影像資料與該第一影像資料之間的比較來進行該第二輔助訊框之該編碼；及將一第二訊框編碼為參考該第二輔助訊框之一框間訊框，其中該第二訊框之運動向量表示待應用於該第二影像資料之一第二影像變換。
一些視訊壓縮標準(諸如本文所描述之視訊編碼格式)指定根據框內訊框(例如I訊框)及框間訊框(例如P訊框或B訊框)所實施之時間視訊壓縮。一框內訊框基本上為僅使用待編碼之影像訊框中之資訊來編碼之一影像訊框。再者，自針對待編碼之影像訊框所擷取之所有影像資料計算框內訊框。因此，框內訊框有時指稱一全訊框。框間訊框(亦指稱預測訊框或差動訊框)係基於來自先前(及視情況稍後)編碼影像訊框之資訊以及當前編碼訊框之資訊，即，框間訊框可被描述為利用先前(及視情況稍後)影像訊框中之時間冗餘資訊。實施此類型之編解碼器(壓縮標準)之編碼器通常產生一框內訊框後接預定數目個框間訊框及接著一新框內訊框後接相同數目個框間訊框。一框內訊框後接數個框間訊框之此序列之長度通常指稱組圖長度(GOP長度)。針對例如H.265之一些壓縮標準，可在編碼期間調整GOP長度。
就本實施例而言，該第二輔助訊框之編碼利用時間視訊壓縮。因此，該第二輔助訊框之編碼利用先前第一輔助訊框中之時間冗餘資訊。因此，該編碼第二輔助訊框可含有與該第一輔助訊框之影像資料(即，第一影像資料)及描述不存在於該第一輔助訊框中之影像內容之影像資料有關之該第二影像資料之運動向量位移及預測誤差(亦指稱殘值)兩者。
應注意，上文所揭示之實施例可依一反覆方式實施，其意謂可根據界定GOP長度對由視訊擷取裝置擷取之第三影像資料、第四影像資料等等重複實施例。此後，可開始一框內訊框後接數個框間訊框之一新序列，如熟習技術者所瞭解。
根據一些實施例，該第二影像變換等於該第一影像變換。當編碼該第二訊框時，此實施例可具有之優點係：該第二訊框之該等運動向量可等於該第一訊框之該等運動向量且因此無需被再次判定/計算。因此，可降低編碼程序之複雜性。例如，在一些實施例中，編碼該第二訊框之步驟包括複製該第一訊框及使該第一訊框之副本參考該第二輔助訊框。在其他實施例中，複製該第一訊框之該等運動向量且將其用作為該第二訊框之運動向量。在其中預計算該第一訊框及該第二訊框之該等運動向量之又一實施例中，分別編碼該第一訊框及該第二訊框之步驟包括取得該等預計算運動向量(例如來自該編碼器之一記憶體或連接至該編碼器之一裝置之一記憶體)。由於該第一影像變換及該第二影像變換相等(例如歸因於該視訊記錄裝置之一恆定透鏡失真)，所以可預計算一特定視訊記錄裝置之運動向量且將其用於由該特定視訊記錄裝置記錄之所有影像資料。
根據一些實施例，該第一影像變換及該第二影像變換至少部分抵消由該視訊記錄裝置之一透鏡引起之該第一影像資料及該第二影像資料之失真。此失真之實例可為桶形失真、針墊失真、觸鬚失真及由該視訊記錄裝置之一廣角透鏡引起之失真。在此實施例中，該第一影像變換及該第二影像變換通常相等，但可(例如)歸因於該視訊擷取裝置之影像感測器之功能之不一致性而出現小差異。在一些實施例中，此等不一致性可忽略不計且假定該第一影像變換及該第二影像變換相等。
根據一些實施例，該第二影像變換不同於該第一影像變換。此增加編碼方法之靈活性。
根據一些實施例，該第一影像變換及該第二影像變換係關於以下列表之一者：電子影像穩定(EIS)，及數位搖攝-傾斜-變焦(DPTZ)。
根據一些實施例，編碼該第一訊框之步驟包括以下步驟：判定待應用於該第一影像資料之一第一影像變換；及藉由根據該第一訊框之該等運動向量之一判定巨集區塊大小取樣該第一影像變換來計算表示該第一影像變換的運動向量。當然，此實施例亦可被應用於該第二訊框、該第三訊框等等。在此實施例中，依一均勻方式，在整個影像區域上取樣該影像變換，這可降低取樣程序的複雜性。
根據一些實施例，編碼該第一訊框之步驟包括以下步驟：判定待應用於該第一影像資料之一第一影像變換；及藉由根據該第一訊框之該等運動向量之複數個判定巨集區塊大小取樣該第一影像變換來計算表示該第一影像變換的運動向量。當然，此實施例亦可被應用於該第二訊框、該第三訊框等等。在此實施例中，依一非均勻方式，在整個影像區域上取樣該影像變換，這可增加取樣程序的靈活性及適應性(基於(例如)該影像變換的性質)。
根據一些實施例，該視訊編碼格式係以下列表之一者：高效率影像檔案格式、進階視訊編碼、H.264、高效率視訊編碼、H.265、H.266、VP9、VP10，及AV1。然而，應注意，本發明涵蓋本文所描述之支援輔助訊框的任何視訊編碼格式。
根據本發明之一第二態樣，藉由一電腦程式產品來達成上述目的，該電腦程式產品包括具有電腦碼指令之一電腦可讀媒體，該電腦碼指令經調適以在由具有處理能力之一裝置執行時，實施第一態樣之方法。
根據一第三態樣，藉由一編碼器來達成上述目的，該編碼器經調適以在一視訊編碼格式中編碼由一視訊擷取裝置擷取之一視訊串流，其中該視訊編碼格式支援將一輔助訊框包含於該編碼視訊串流中，該輔助訊框係由該編碼視訊串流中之另一訊框參考，且包括該另一訊框互補之影像資料，其中該輔助訊框之該影像資料不意欲在解碼該編碼視訊串流時被展示，而是與該另一訊框之資料一起用於達成待展示的影像資料，其中該編碼器經進一步調適以： 接收由該視訊擷取裝置擷取之第一影像資料； 使用該第一影像資料作為一第一輔助訊框之影像資料； 將該第一輔助訊框編碼為一框內訊框； 將一第一訊框編碼為參考該第一輔助訊框之框間訊框，其中該第一訊框之運動向量表示待應用於該第一影像資料之一第一影像變換。
第二態樣及第三態樣可大體上具有相同於第一態樣之特徵及優點。應進一步注意，除非另有明確說明，否則本發明係關於特徵之所有可能組合。
現將在下文參考附圖來更完全描述本發明，附圖中展示本發明之實施例。將在操作期間描述本文所揭示之系統及裝置。
本發明旨在對支援將一輔助訊框包含於編碼視訊串流中之一視訊編碼格式提供處置一編碼器中之影像資料之複變換之一新方式。此等複變換之實例包含用於(至少部分)抵消由擷取影像資料之一視訊擷取裝置之一透鏡引起之影像資料之失真之變換。在幾何光學中，失真係自直線投影(其中一場景中之直線在一影像中保持筆直之一投影)之一偏差。圖1中例示此失真，其中展示稱為桶形失真之一失真類型。將場景102簡化為一直線網格。當攝影機104擷取場景時，輸出或影像資料106看起來像網格已被映射為像一球(或桶)。由視訊擷取裝置106之透鏡引起之其他類型之類似失真包含針墊失真、觸鬚失真及由視訊擷取裝置之一廣角透鏡(魚眼透鏡)引起之失真。此等類型之失真通常為靜止的，其意謂一第一擷取訊框(或影像)將依相同於一稍後擷取訊框之方式失真。然而，失真之一些小差異可歸因於(例如)視訊擷取裝置104之影像感測器之功能之不一致性而發生。
在先前技術中，透鏡失真或下文將詳述之其他類型之失真通常藉由特殊硬體來減輕，該特殊硬體在編碼程序開始之前將失真影像資料106變換回類似於擷取場景之場景。此方式不僅占用大量資源，且亦會導致部分擷取場景丟失。
圖2依舉例方式展示失真影像資料106與原始場景102之間的一映射方案202。映射方案202中之一箭頭之長度及方向表示箭頭之原點處之像素/巨集區塊應如何經移動以抵消由視訊擷取裝置104之透鏡引起之失真。應注意，圖2中之映射方案202並不完整。
圖3至圖4將針對根據圖1之實例使擷取場景失真(即，桶形失真)之一攝影機系統來例示用於在支援將一輔助訊框包含於編碼視訊串流中之一視訊編碼格式中編碼一視訊串流之一方法之實施例。此實例可被容易地轉移至其他類型之透鏡失真。
圖3展示由導致一視訊串流304a至304d之一視訊擷取裝置104擷取之一場景302，其中視訊串流304a至304d之擷取影像資料已歸因於視訊擷取裝置之透鏡而經受桶形失真。圖3之下部分展示由視訊擷取裝置104擷取之一第一影像資料(或訊框、影像等等) 304a之編碼，其中根據本發明來進行桶形失真校正(BDC)。
編碼器306接收第一影像資料304a。第一影像資料304a用作為接著編碼為一框內訊框之一第一輔助訊框308a之影像資料。編碼器亦編碼參考第一輔助訊框308a之一第一訊框310a。如上文所描述，當稍後解碼第一訊框310a時，第一輔助訊框308a之影像資料(即，第一影像資料304a)將與第一訊框310a之資料互補。將第一訊框310a編碼為參考輔助訊框308a之一框間訊框。藉由使用關於將應用於第一影像資料304a之影像變換(影像變換方程式等等)之資訊(在此情況中係桶形失真校正)來判定第一訊框310a之運動向量(由圖3之第一訊框310a中之箭頭示意性繪示)以使第一影像資料304a視需要呈現，其中運動向量310表示影像變換。
可依諸多方式判定第一訊框310a (第二訊框、第三訊框等等)之運動向量。根據一些實施例，藉由判定待應用於第一影像資料之一第一影像影像變換(在此情況中係反相桶形失真)且計算表示第一影像變換之運動向量(藉由根據第一訊框之運動向量之一判定巨集區塊大小來取樣第一影像變換)來判定運動向量。例如，若影像變換導致一特定像素將向右移動5個像素且向下移動3個像素，則基於取樣大小(巨集區塊大小)及相鄰像素之變換來判定此像素之實際移動。根據其他實施例，複數個巨集區塊大小用於取樣，其中用於映射方案之一特定區域之巨集區塊大小取決於影像變換如何看起來像針對該對應區域。例如，巨集區塊大小可自16×16變動為4×4。此實施例將降低運動向量之位元率之成本，且可依一高效率方式針對高度不規則之影像變換之局部區域使用多數位元，且針對其中變換更均勻之局部區域使用較少位元。
為進一步降低運動向量之位元率之成本，可使取樣更稀疏(增加巨集區塊之大小)以使解碼器內插於所接收之運動向量之間以計算一較小巨集區塊之運動向量以達成輔助訊框中之影像資料之一較平滑變換。此可藉由使一內插參數包含於編碼位元串流中或設定一框間訊框之一標頭中之一旗標等等來達成。
根據其他實施例，基於輔助訊框中影像資料之對應區域的詳細度來進行取樣影像變換以達成運動向量。例如，針對包括一高直線度(可使用任何適合邊緣偵測演算法來判定)之影像資料中之一局部區域，影像變換中之對應區域需要一較密集取樣(較小巨集區塊大小)。具有一較低線度之區域可採用一較稀疏取樣。
可藉由(例如)最近相鄰取樣、雙線性取樣，或雙立方取樣來完成取樣。此等兩個實施例可在其中由視訊擷取裝置104擷取之影像資料之失真可隨時間改變之情況中為有利的，且提供計算運動向量之一靈活方式。
根據一些實施例，預計算第一訊框310a之運動向量。在圖3之實例中，可預先獲知由視訊記錄裝置104之透鏡引起的桶形失真。在此情況中，可預計算抵消桶形失真(因此提供BDC)之運動向量，且(例如)將其儲存於可由編碼器存取之記憶體中。在此情況中，編碼第一訊框310a之步驟包括取得預計算運動向量及使用此等預計算運動向量作為第一訊框310a之運動向量。此實施例提供一不太複雜且節省時間之編碼程序。
如上文所描述，本發明之一優點係支援由編碼器使用之視訊編碼格式(例如H.265)之一標準解碼器可根據圖3來解碼一視訊串流。解碼器將第一訊框310a之運動向量應用於第一輔助訊框308a之失真影像資料，以達成第一輔助訊框308a之影像資料的BDC，且因此最終導致類似於擷取場景302的場景。再者，由於第一輔助訊框308之影像資料係由視訊擷取裝置104擷取的原始影像資料，所以此資料可稍後視需要由一客製解碼器取得。例如，此可有利於監視，其中由視訊擷取裝置104擷取之原始影像資料的部分在BDC期間被移除，但此等移除部分可潛在地包含受關注資訊。
圖4展示圖3中所描述之方法之一延伸，其中由編碼器306編碼視訊串流之所有四個擷取影像訊框(影像資料) 304a至304d。在圖4中，如圖3中所描述般編碼第一影像資料304a，以達成一編碼第一訊框310a及一編碼第一輔助訊框308a。在編碼第一影像資料304a之後，編碼器306接收由視訊擷取裝置104擷取之第二影像資料304b。將第二輔助訊框308b有利地編碼為參考第一輔助訊框308a之一框間訊框(例如P訊框)，以利用先前影像訊框(在此情況中係第一輔助訊框308a)中之時間冗餘資訊。因此，根據一些實施例，基於第二影像資料304b與第一影像資料304a之間的比較來進行第二輔助訊框的編碼。在圖4中，編碼第二輔助訊框308b係由運動向量示意性表示，但描述影像內容的影像資料並不存在於第一輔助訊框的影像資料304a中，而是存在於第二影像資料304b中，且/或預測誤差(亦指稱殘值)當然亦可係包含於編碼第二輔助訊框308b中。
根據其他實施例，亦將第二輔助訊框308b編碼為一I訊框。
編碼器306繼續將一第二訊框310b編碼為參考第二輔助訊框308b之一框間訊框，其中第二訊框310b之運動向量表示待應用於第二影像資料304b之一第二影像變換。如上文所描述，待應用於第二影像資料304b之影像變換可相同於待應用於第一影像資料304a之影像變換(例如BDC)。在此情況中，編碼第二訊框310b之步驟可包括複製第一訊框310a及使第一訊框之副本參考第二輔助訊框308b。此可提供一高效率及低複雜性編碼程序。根據其他實施例，如上文所描述般預計算第二訊框310b之運動向量，且編碼第二訊框310b之步驟包括取得預計算運動向量。當然，亦可單獨計算(如上文所描述)第二訊框310b之運動向量，如下文將結合圖6進一步描述。
在圖3中，使用於第二影像資料304b之上述編碼程序針對一第三影像資料304c反覆。如上文所描述，可藉由設定編碼器306之組圖長度(GOP長度)來判定後接一框內編碼輔助訊框之框間編碼輔助訊框之數目。在此情況中，GOP長度界定兩個全影像(I訊框、框內訊框)之間的距離係2。
第四影像資料304d再次採用上文結合圖3所描述之編碼程序以因此導致一框內編碼第四輔助訊框308d。
在圖4中，括號內之數字描述編碼輔助訊框308 (AF)及「常規」訊框310 (RF)包含於一編碼視訊串流中之順序。就圖4之實例而言，順序係：AF1 308a、RF1 310a、AF2 308b、RF2 310b、AF3 308c、RF3 310c、AF4 308d、RF4 310d。
圖5至圖6描述需要應用於由視訊擷取裝置104擷取之影像資料504a至504b之另一類型之影像變換。在圖5至圖6之實例中，應用電子影像穩定(EIS)。此需要(例如)安裝於一暴露位置中(諸如在一繁忙道路旁之一高路燈桿或一路牌上)之一監視攝影機。在此情況中，攝影機會因大風或通過交通而搖動。如圖5之上部分中所繪示，場景502中之主體(其未在垂直方向上移動)在垂直方向上移動於第一擷取影像資料504a與第二擷取影像資料504b之間，若未應用EIS，則其會使視訊模糊。
圖5之下部分中展示第一影像資料504a之編碼程序。在此情況中，除需要在編碼時計算運動向量之外，編碼程序與針對圖3中之第一影像資料304a所描述之編碼程序無差異。可使用由Axis Communications開發之EIS演算法或熟習技術者已知之任何其他適合演算法來計算需要被用於達成EIS之影像變換。接著，可藉由取樣影像變換來判定運動向量，如上文所描述。
圖6展示由編碼器306針對兩個擷取影像資料504a至504b所執行之編碼程序。如圖6中所繪示，第一影像訊框602a之運動向量不同於第二影像訊框602b之運動向量。換言之，第一影像變換及第二影像變換不同。在此情況中，第一影像變換及第二影像變換係關於EIS，但諸如數位搖攝-傾斜-變焦(DPTZ)之其他影像變換同樣可行。除此之外，編碼程序類似於結合圖4所描述之編碼程序。
因此，編碼器306經調適以編碼視訊串流304a至304d、504a至504b，如上文所描述。編碼器306可直接提供於視訊擷取裝置104中或有線或無線連接至視訊擷取裝置104以接收視訊串流304a至304d、504a至504b之影像資料。編碼器306可包括或連接至用於取得預計算運動向量之一記憶體。編碼器306可包括用於計算影像變換及/或來自一影像變換之取樣運動向量之一處理單元。替代地或另外，編碼器可經調適以自經調適以自計算/判定影像變換及/或運動向量之一單獨計算單元接收此等影像變換及/或運動向量。編碼器通常包括用於編碼接收影像資料(如上文所描述)之一或若干處理單元(例如一CPU)。CPU可(例如)經調適以運行自一電腦可讀儲存媒體安裝之一軟體，其中指令經調適以在由CPU執行時實施上述實施例之任何者之編碼方法。編碼器可經進一步調適以(經由(例如)網際網路)將編碼視訊串流無線或有線傳輸至經調適以解碼編碼視訊串流之一解碼器。
上文所揭示之系統(例如編碼器306)及方法可實施為軟體、韌體、硬體或其等之一組合。在一硬體實施方案中，以上描述中所涉及之功能單元或組件之間的任務劃分未必對應於實體單元劃分；相反地，一實體組件可具有多個功能性，且一任務可由若干實體組件合作實施。特定組件或所有組件可實施為由一數位信號處理器或微處理器執行之軟體，或實施為硬體或一專用積體電路。此軟體可分佈於電腦可讀媒體上，該電腦可讀媒體可包括電腦儲存媒體(或非暫時性媒體)及通信媒體(或暫時性媒體)。如熟習技術者所熟知，術語「電腦儲存媒體」包含在任何方法或技術中實施以用於儲存諸如電腦可讀指令、資料結構、程式模組或其他資料之資訊之揮發性及非揮發性之可抽換及不可抽換兩種媒體。電腦儲存媒體包含(但不限於) RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存器、卡式磁帶、磁帶、磁碟儲存器或其他磁性儲存裝置或可用於儲存所要資訊且可由一電腦存取之任何其他媒體。
應瞭解，熟習技術者可依諸多方式修改上述實施例且仍使用上述實施例中所展示之本發明之優點。例如，可依任何適合方式改變編碼輔助訊框及與輔助訊框互補之訊框之順序。例如，可在將與編碼輔助訊框交錯之參考輔助訊框之框間編碼訊框包含於編碼視訊串流中之前首先編碼一GOP內之所有輔助訊框。另外，需要將至少部分抵消由視訊記錄裝置之一透鏡引起之影像資料之失真之一影像變換(例如BCD)及(若干)其他影像變換(例如EIS)兩者應用於一特定影像資料。因此，本發明不應受限於所展示之實施例，而是應僅由隨附申請專利範圍界定。另外，熟習技術者應瞭解，可組合所展示之實施例。
102‧‧‧場景104‧‧‧攝影機/視訊擷取裝置/視訊記錄裝置106‧‧‧失真影像資料202‧‧‧映射方案302‧‧‧場景304a至304d‧‧‧視訊串流306‧‧‧編碼器308‧‧‧輔助訊框308a‧‧‧第一輔助訊框308b‧‧‧第二輔助訊框308c‧‧‧第三輔助訊框308d‧‧‧第四輔助訊框310‧‧‧運動向量/「常規」訊框310a‧‧‧第一訊框310b‧‧‧第二訊框310c‧‧‧第三訊框310d‧‧‧第四訊框502‧‧‧場景504a‧‧‧第一擷取影像資料504b‧‧‧第二擷取影像資料602a‧‧‧第一影像訊框602b‧‧‧第二影像訊框
參考附圖，將透過本發明之較佳實施例之以下繪示性及非限制性詳細描述來較佳理解本發明之上述及額外目的、特徵及優點，其中相同元件符號將用於類似元件，其中： 圖1示意性地繪示由一視訊擷取裝置之一透鏡引起之影像資料之失真之一實例； 圖2示意性地繪示經計算以抵消圖1之影像資料之失真之運動向量； 圖3示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第一實施例； 圖4示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第二實施例； 圖5示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第三實施例； 圖6示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第四實施例。
104‧‧‧攝影機/視訊擷取裝置/視訊記錄裝置
302‧‧‧場景
304a至304d‧‧‧視訊串流
306‧‧‧編碼器
308a‧‧‧第一輔助訊框
310a‧‧‧第一訊框

Claims (20)

  1. 一種用於在一視訊編碼格式中編碼一視訊串流之方法，其包含於該編碼視訊串流中之一輔助訊框，該輔助訊框係由該編碼視訊串流中之另一訊框參考，且包括與該另一訊框互補之影像資料，該方法包括以下步驟：接收第一影像資料，該第一影像資料係由一視訊擷取裝置擷取之原始影像資料(raw image data)；使用該第一影像資料作為一第一輔助訊框之影像資料，其中該第一輔助訊框被標記(tagged)為不對一使用者顯示之一非顯示訊框；將該第一輔助訊框編碼為一框內訊框(intra frame)；及將一第一訊框編碼為參考該第一輔助訊框之一框間訊框，其包括：判定待應用於該第一影像資料之一第一影像變換；及藉由根據該第一訊框之該等運動向量之一判定巨集區塊大小取樣該第一影像變換來計算表示該第一影像變換的運動向量，其中該第一訊框之資料僅包含該等運動向量而並未包含殘值(residual values)，其中該第一訊框之該等運動向量被設定以表示待應用於該第一影像資料之該第一影像變換。
  2. 如請求項1之方法，進一步包括以下步驟：接收第二影像資料，該第二影像資料係由該視訊擷取裝置擷取之原始影像資料；將一第二輔助訊框編碼為參考該第一輔助訊框之一框間訊框(inter frame)，其中基於該第二影像資料與該第一影像資料之間的比較來進行該 第二輔助訊框的該編碼；及將一第二訊框編碼為參考該第二輔助訊框之一框間訊框，其中該第二訊框之資料僅包含運動向量而不包含殘值，其中該第二訊框之運動向量被設定以表示待應用於該第二影像資料之一第二影像變換。
  3. 如請求項2之方法，其中該第二影像變換等於該第一影像變換。
  4. 如請求項2之方法，其中該第一影像變換及該第二影像變換不同。
  5. 如請求項2之方法，其中該第一影像變換及該第二影像變換至少部分抵消(neuralize)由該視訊記錄裝置之一透鏡引起之該第一影像資料及該第二影像資料的失真。
  6. 如請求項5之方法，其中該失真係以下列表之一者：桶形失真、針墊(pincushion)失真、觸鬚(mustache)失真，及由該視訊記錄裝置之一廣角透鏡引起的失真。
  7. 如請求項3之方法，其中編碼該第二訊框之步驟包括：複製該第一訊框；及使該第一訊框之該副本參考該第二輔助訊框。
  8. 如請求項2之方法，其中該第一影像變換及該第二影像變換係關於以下列表之一者：電子影像穩定及數位搖攝-傾斜-變焦(DPTZ)。
  9. 如請求項1之方法，其中根據該第一訊框之該等運動向量之複數個判定巨集區塊大小取樣該第一影像變換。
  10. 如請求項3之方法，其中預計算該第一訊框及該第二訊框之該等運動向量，分別編碼該第一訊框及該第二訊框之步驟包括取得該等預計算運動向量。
  11. 如請求項1之方法，其中該視訊編碼格式係以下列表之一者：高效率影像檔案格式、進階視訊編碼、H.264、高效率視訊編碼、H.265、H.266、VP9、VP10，及AV1。
  12. 一種電腦可讀儲存媒體，其記錄具有指令之一程式，該等指令經調適以在由具有處理能力之一裝置執行時，實施如請求項1之方法。
  13. 一種編碼器，其經調適以在一視訊編碼格式中編碼由一視訊擷取裝置擷取之一視訊串流，其包含於該編碼視訊串流中，該輔助訊框係由該編碼視訊串流中之另一訊框參考，且包括與該另一訊框互補之影像資料，其中該編碼器經進一步調適以：接收第一影像資料，該第一影像資料係由該視訊擷取裝置擷取的原始影像資料；使用該第一影像資料作為一第一輔助訊框的影像資料，其中該第一輔助訊框被標記為不對一使用者顯示之一非顯示訊框；將該第一輔助訊框編碼為一框內訊框；及 將一第一訊框編碼為參考該第一輔助訊框之一框間訊框，其包含：判定待應用於該第一影像資料之一第一影像變換；及藉由根據該第一訊框之該等運動向量之一判定巨集區塊大小取樣該第一影像變換來計算表示該第一影像變換的運動向量，其中及該第一訊框之資料僅包含該等運動向量而並未包含殘值，其中該第一訊框之該等運動向量被設定以表示待應用於該第一影像資料之該第一影像變換。
  14. 如請求項13之編碼器，其中該編碼器進一步調適以：接收第二影像資料，該第二影像資料係由該視訊擷取裝置擷取之原始影像資料；將一第二輔助訊框編碼為參考該第一輔助訊框之一框間訊框，其中基於該第二影像資料與該第一影像資料之間的比較來進行該第二輔助訊框的該編碼；及將一第二訊框編碼為參考該第二輔助訊框之一框間訊框，其中該第二訊框之資料僅包含運動向量而不包含殘值，其中該第二訊框之運動向量被設定以表示待應用於該第二影像資料之一第二影像變換。
  15. 如請求項14之編碼器，其中該第二影像變換等於該第一影像變換。
  16. 如請求項14之編碼器，其中該第一影像變換及該第二影像變換不同。
  17. 如請求項14之編碼器，其中該第一影像變換及該第二影像變換至少 部分抵消(neutralize)由該視訊記錄裝置之一透鏡引起之該第一影像資料及該第二影像資料的失真。
  18. 如請求項17之編碼器，其中該失真係以下列表之一者：桶形失真(barrel distortion)、針墊(pincushion)失真、觸鬚失真，及由該視訊記錄裝置之一廣角透鏡引起的失真。
  19. 如請求項15之編碼器，其中編碼該第二訊框之步驟包括：複製該第一訊框；及使該第一訊框之該副本參考該第二輔助訊框。
  20. 如請求項13之編碼器，其中根據該第一訊框之該等運動向量之複數個判定巨集區塊大小取樣該第一影像變換。
TW107135486A 2017-10-18 2018-10-09 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器 TWI743402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17197036.1A EP3474548A1 (en) 2017-10-18 2017-10-18 Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
EP17197036.1 2017-10-18
??17197036.1 2017-10-18

Publications (2)

Publication Number Publication Date
TW201924352A TW201924352A (zh) 2019-06-16
TWI743402B true TWI743402B (zh) 2021-10-21

Family

ID=60186021

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107135486A TWI743402B (zh) 2017-10-18 2018-10-09 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器

Country Status (6)

Country Link
US (1) US10798418B2 (zh)
EP (1) EP3474548A1 (zh)
JP (1) JP6975121B2 (zh)
KR (1) KR102161888B1 (zh)
CN (1) CN109688413B (zh)
TW (1) TWI743402B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745706B1 (en) * 2019-05-29 2021-06-30 Axis AB System and method for video processing with picture stabilization and predictive compression
US10951902B2 (en) * 2019-06-12 2021-03-16 Rovi Guides, Inc. Systems and methods for multiple bit rate content encoding
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3796652B1 (en) * 2019-09-23 2022-05-18 Axis AB Video encoding method and method for reducing file size of encoded video
CN111131857A (zh) * 2019-12-31 2020-05-08 北京金山云网络技术有限公司 图像压缩方法、装置及电子设备
US12413749B2 (en) * 2022-07-14 2025-09-09 Nvidia Corporation Exploiting redundant bit combinations in a compressed representation of an image
EP4443874A1 (en) 2023-04-03 2024-10-09 Axis AB Encoding of video stream during changing camera field-of-view
EP4542993A1 (en) 2023-10-18 2025-04-23 Axis AB Video stream encoding both overview and region-of-interest(s) of a scene

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028132A1 (en) * 2001-10-17 2004-02-12 Shinya Kadono Miving picture encoding method and moving picture decoding method
US20040076234A1 (en) * 1998-12-28 2004-04-22 Yolanda Prieto Method and apparatus for implementing wavelet filters in a digital system
US20040190617A1 (en) * 2003-03-28 2004-09-30 Microsoft Corporation Accelerating video decoding using a graphics processing unit
US20100036964A1 (en) * 2006-10-02 2010-02-11 Mats Cedervall Multi-media management
US20110228848A1 (en) * 2010-03-21 2011-09-22 Human Monitoring Ltd. Intra video image compression and decompression
US20110298942A1 (en) * 2009-02-23 2011-12-08 Panasonic Corporation Video image pickup device
US20120093222A1 (en) * 2007-09-07 2012-04-19 Alexander Zheludkov Real-time video coding/decoding
US20140321545A1 (en) * 2011-12-19 2014-10-30 Huawei Technologies Co., Ltd. Video Encoding Method and Device
US20150271356A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method
US20170013233A1 (en) * 2015-07-08 2017-01-12 Google Inc. Single-stream transmission method for multi-user video conferencing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62299187A (ja) * 1986-06-18 1987-12-26 Fujitsu Ltd 動画像符号化処理方式
CA2208950A1 (en) 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6414992B1 (en) 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
US6795585B1 (en) * 1999-07-16 2004-09-21 Eastman Kodak Company Representing digital images in a plurality of image processing states
US6775407B1 (en) * 2000-08-02 2004-08-10 Eastman Kodak Company Producing a final modified digital image using a source digital image and a difference digital image
US7706626B2 (en) * 2005-12-20 2010-04-27 Carestream Health, Inc. Digital image reconstruction using inverse spatial filtering
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
JP5154361B2 (ja) 2008-10-20 2013-02-27 三星電子株式会社 撮像装置及び撮像装置の制御方法
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
WO2013111551A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
JP6539580B2 (ja) * 2015-12-28 2019-07-03 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体
EP3429204B1 (en) * 2016-03-07 2020-04-15 Sony Corporation Encoding device and encoding method
US20180130022A1 (en) * 2016-11-04 2018-05-10 Ihab Ayoub Message management system and method
EP3396952B1 (en) * 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
US10728573B2 (en) * 2017-09-08 2020-07-28 Qualcomm Incorporated Motion compensated boundary pixel padding
EP3499870B1 (en) * 2017-12-14 2023-08-23 Axis AB Efficient blending using encoder
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076234A1 (en) * 1998-12-28 2004-04-22 Yolanda Prieto Method and apparatus for implementing wavelet filters in a digital system
US20040028132A1 (en) * 2001-10-17 2004-02-12 Shinya Kadono Miving picture encoding method and moving picture decoding method
US20040190617A1 (en) * 2003-03-28 2004-09-30 Microsoft Corporation Accelerating video decoding using a graphics processing unit
US20100036964A1 (en) * 2006-10-02 2010-02-11 Mats Cedervall Multi-media management
US20120093222A1 (en) * 2007-09-07 2012-04-19 Alexander Zheludkov Real-time video coding/decoding
US20110298942A1 (en) * 2009-02-23 2011-12-08 Panasonic Corporation Video image pickup device
US20110228848A1 (en) * 2010-03-21 2011-09-22 Human Monitoring Ltd. Intra video image compression and decompression
US20140321545A1 (en) * 2011-12-19 2014-10-30 Huawei Technologies Co., Ltd. Video Encoding Method and Device
US20150271356A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method
US20170013233A1 (en) * 2015-07-08 2017-01-12 Google Inc. Single-stream transmission method for multi-user video conferencing

Also Published As

Publication number Publication date
JP2019097157A (ja) 2019-06-20
US10798418B2 (en) 2020-10-06
KR20190043465A (ko) 2019-04-26
KR102161888B1 (ko) 2020-10-05
US20190116382A1 (en) 2019-04-18
EP3474548A1 (en) 2019-04-24
JP6975121B2 (ja) 2021-12-01
TW201924352A (zh) 2019-06-16
CN109688413A (zh) 2019-04-26
CN109688413B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
TWI743402B (zh) 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法和編碼器
CN102326391B (zh) 多视点图像编码装置及方法、多视点图像译码装置及方法
CN102308584B (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置
US10616592B2 (en) Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
US12262115B2 (en) Methods and apparatus for electronic image stabilization based on a lens polynomial
KR102162856B1 (ko) 비디오 모션 보상을 위한 장치 및 방법
JP2008193458A (ja) カメラ画像圧縮処理装置及び圧縮処理方法
JP2019021968A (ja) 画像符号化装置及びその制御方法
CN112241735A (zh) 一种图像处理方法、装置及系统
JP6209026B2 (ja) 画像符号化装置及びその制御方法
JP2009302697A (ja) 撮像システム、撮像装置、撮像レンズ、歪み補正方法及びプログラム
JP5006633B2 (ja) 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
JP6539580B2 (ja) インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体
JP2023030585A (ja) 画像符号化装置及び方法及びプログラム
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JP4720626B2 (ja) 画像処理システム、画像処理方法及びプログラム
EP4294010B1 (en) Camera system and method for encoding two video image frames captured by a respective one of two image sensors
JP6942504B2 (ja) 符号化装置、撮像装置、符号化方法、及びプログラム
JP2026009634A (ja) 符号化装置、符号化方法、及びコンピュータプログラム
JP2013042216A (ja) 画像処理装置およびその制御方法
CN116248888A (zh) 视频标注方法、装置和存储介质
JP2021044706A (ja) 画像符号化装置及びその制御方法及びプログラム