[go: up one dir, main page]

KR101407832B1 - 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법 - Google Patents

다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법 Download PDF

Info

Publication number
KR101407832B1
KR101407832B1 KR1020120144177A KR20120144177A KR101407832B1 KR 101407832 B1 KR101407832 B1 KR 101407832B1 KR 1020120144177 A KR1020120144177 A KR 1020120144177A KR 20120144177 A KR20120144177 A KR 20120144177A KR 101407832 B1 KR101407832 B1 KR 101407832B1
Authority
KR
South Korea
Prior art keywords
reference frames
macroblock
coded
intra
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120144177A
Other languages
English (en)
Inventor
변재영
강희선
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020120144177A priority Critical patent/KR101407832B1/ko
Priority to US14/651,057 priority patent/US9986262B2/en
Priority to PCT/KR2013/002454 priority patent/WO2014092249A1/ko
Application granted granted Critical
Publication of KR101407832B1 publication Critical patent/KR101407832B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 기존의 압축 효율 향상을 위해 사용되는 다수 참조 프레임 사용 기법의 문제점인 에러의 확산 취약성을 줄여 에러 네트워크 환경에서 보다 효율적이면서 신뢰성 있는 비디오 스트리밍 서비스를 위한 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법에 관한 것으로서, 본 발명에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법은, 부호화되기 위한 매크로블록의 참조 매크로블록을 검색하기 위해 다수의 참조 프레임 각각에서 움직임 예측(motion estimation)이 개별적으로 수행되는 단계와, 상기 움직임 예측에 의해 검색된 참조 매크로블록 영역 및 참조 프레임의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 간의 일치 정도가 확인되는 단계와, 상기 다수의 참조 프레임 각각에서 검색된 참조 매크로블록들 중 참조 프레임의 상기 인트라 코딩된 매크로블록(Intra-coded MB)과 상대적으로 가장 일치되는 참조 매크로블록의 움직임 벡터(MV: Motion Vector)가 선택되는 단계를 포함하여 구성된다.

Description

다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법{Error resilient reference selection for Video Codec using multiple reference frames}
본 발명은 영상 코덱의 참조 프레임 선택 기법에 관한 것으로서, 특히 기존의 압축 효율 향상을 위해 사용되는 다수 참조 프레임 사용 기법의 문제점인 에러의 확산에 대한 취약성을 줄여 에러 네트워크 환경에서 보다 효율적이면서 신뢰성 있는 비디오 스트리밍 서비스를 위한 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법에 관한 것이다.
일반적으로 영상 부호화기는 효율적인 영상 압축을 위해 중복(redundancy)을 제거하고 영상 프레임 간 매크로블록 단위의 움직임 예측(motion estimation)을 수행한다. 따라서, 이전에 부호화된 영역으로부터 중복된 부분을 참조하여 부호화하므로 데이터의 크기를 줄일 수 있지만, 영상 전송 과정에서 해당 영역이 손실될 경우 손실된 프레임 뿐만 아니라 손실된 영역을 참조하게 되는 이후의 다수 프레임들에도 영향이 미친다.
그리고 상기와 같은 영향을 에러 채널에서 줄이기 위해 에러 리질리언스(error resilience) 코딩이 필요하며, 가장 강력한 에러 리질리언스 코딩인 랜덤 인트라 리프레쉬(RIR: Random Intra Refresh, 이하 “RIR”이라 함) 기법이 많이 사용된다.
하지만, 상기 RIR에 의한 매크로블록 리프레쉬 사용이 가능한 H.264/AVC(H.264는 ITU-T에서 제안한 H.26x 영상 표준의 일종이며, 통상 H.264/AVC 혹은 AVC/H.264, H.264/MPEG-4 AVC, MPEG-4/H.264 AVC라고 부른다. MPEG측에서는 MPEG-4 part 10의 명칭인 AVC라고 부르고 있다)와 같은 다수 참조 프레임 기반의 영상 코덱의 경우 오히려 에러 리질리언스 효과가 떨어지는 현상이 발생되며, 이는 논문『M. G. S. Moiron, I. Ali and M. Fleury, “Limitations of multiple reference frames with cyclic intra-refresh line for h.264/avc,” ELECTRONIC LETTERS, vol. 47, pp. 103104, January 2011.』에서 논해지고 있다.
상기와 같이 다수 참조 프레임을 사용하는 코덱의 에러 취약 현상을 H.264/AVC를 이용하여 개략적인 설명과 함께 이하에서 부연한다.
H.264/AVC는 최근 널리 사용되고 있는 영상 코덱으로서, 이러한 H.264/AVC 표준은 VCL(Video Coding Layer)과 NAL(Network Abstraction Layer)의 분리된 두 계층으로 구성된다.
VCL은 동영상 부호화 처리에 관한 기술요소들을 지원하고 있고, NAL은 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있다. VCL에서 생성한 부호화 데이터는 네트워크 환경에서 NAL 단위로 RTP(Real-time Transport Protocol) 패킷화되어 전송되고, 수신된 RTP 패킷은 수신단의 복호기에 의해 영상으로 복원된다. RTP 패킷은 무선 네트워크와 같은 채널 에러가 발생할 수 있는 환경에서 일부 손실된 위험이 있는데, 이 경우 수신단의 복호기는 영상의 온전한 복원 또는 완전한 복원을 할 수 없게 된다.
H.264/AVC의 부호화기는 채널 에러에 의해 일부 데이터가 손실된 상태에서 수신단의 복호기를 통한 영상 복원 시 발생되는 영상의 화질 열화를 줄일 수 있도록, 선 처리를 수행하는 에러 리질리언스(error resilience) 기법들을 지원하고 있고, 또한 복호기는 에러에 의해 일부 데이터가 손실되었을 때 지속적으로 영상을 복원할 수 있도록, 후 처리를 수행하는 에러 은닉 기법들을 지원하고 있다.
그리고 H.264/AVC 표준의 부호화기는 압축 효율을 높이기 위해 다수의 참조 프레임을 사용한 움직임 예측을 수행한다. 시간 t의 프레임 Ft를 부호화 할 때 이전 프레임 Ft - 1 뿐만 아니라 Ft -n과 Ft +n 사이의 임의의 프레임들로부터 최적의 블록을 선택할 수 있기 때문에 높을 효율을 가지는 움직임 예측을 구현할 수 있다. 이는 복수 참조 프레임을 사용함으로써 움직이는 물체에 의해 가려져 보이지 않는 배경 등도 다른 시간 상의 프레임으로부터 예측할 수 있는 것에 기인한다.
그리고 이렇게 움직임 예측을 이용하여 부호화된 영상은 복호기에서 움직임 보상을 통해 참조 프레임으로부터 영상 데이터를 참조하여 복원된다.
여기서 무선 네트워크와 같은 에러가 발생할 수 있는 환경에서 영상 데이터가 일부 손실될 경우, 손실된 영역을 참조하여 움직임 보상을 수행하는 다른 프레임에도 영향을 미치는 에러 확산 현상이 발생된다.
H.264/AVC 표준 역시 이와 같은 에러의 확산을 막기 위해 RIR 기법을 지원한다. 즉, 각 프레임을 부호화할 때, 일부 매크로블록들은 움직임 예측을 수행하지 않고 독립적으로 부호화시킴으로써, 해당 영역은 복호화할 때 움직임 보상을 수행하지 않아 에러의 확산을 막는다. 참조 프레임으로 하나의 이전 프레임을 사용할 경우 해당 프레임이 손실되더라도 이후 프레임의 인트라 리프레쉬 영역은 정상 복원되며, 그 이후의 프레임은 다시 정상 복원된 영역을 참조하게 되므로 에러는 신속하게 복원된다.
그러나, 다수의 참조 프레임을 사용하면 주기적 인트라 리프레쉬 데이터를 삽입하여도 에러는 신속하게 복원되지 않을 수 있다. 이전 프레임 Ft -1에서 손실이 발생할 경우 Ft의 일부 영역은 인트라 리프레쉬 데이터에 의해 복원이 될 것이지만, 이후 프레임 Ft +1에서 Ft가 아닌 Ft -1로부터 다시 움직임 보상을 수행할 경우 복원되었던 영역이 다시 손실될 수 있기 때문이다. 따라서 다수의 참조 프레임을 사용하여 부호화할 경우, 압축 효율은 증가하지만 네트워크 환경에서 영상을 전송하는 과정에서 데이터가 일부 손실될 경우 영상의 화질 열화는 더 심해지게 된다.
도 1을 참조하면, 도 1은 다수 참조 프레임(Multiple Reference Frame:MRF)과 RIR 기법을 사용하는 영상 코덱에서, 압축 영상 데이터가 일부 손상되었을 때 나타나는 현상 및 이를 보완하기 위해 제시한 방법을 예시한 것이다.
(a)의 경우 먼저, 손상 영역(11a)이 있는 P-프레임(11: P-frame: Picture frame, 편의상 제1 P-프레임이라 하며 이어지는 P-프레임들에 대해 순차적으로 제2 P-프레임 내지 제n P-프레임이라 한다)을 통해 제2 P-프레임(12)의 특정 인터 코딩된 매크로블록(12b: Inter-coded MB)이 영상 보정되며, 이때 제1 P-프레임(11)의 손상 영역(11a)에 포함된 인터 코딩된 매크로블록(11b)에 의해 제2 P-프레임(12)에 포함된 특정 인터 코딩된 매크로블록(12b)의 영상 보정이 이루어지므로 정상적인 영상 보정이 이루어지지 못한다.
또한, 이와 같이 정상적으로 영상 보정되지 못한 제2 P-프레임(12)의 특정 인터 코딩된 매크로블록(12b)이 제4 P-프레임(14)에 포함된 특정 인터 코딩된 매크로블록(14b)의 영상 보정에 사용됨에 따라, 제4 P-프레임(14)의 해당 코딩된 매크로블록(14b) 역시 정상적인 영상 보정을 하지 못한다. 한편, 제3 P-프레임(13)은 인트라 코딩된 매크로블록(13b: Intra-coded MB)에 의해 제3 P-프레임(13) 자체 내에서 영상 보정이 되는 것을 예시한 것이다.
그리고 (b)의 경우는 먼저, 손상 영역(21a)이 있는 제1 P-프레임(21)을 통해 제2 P-프레임(22)의 특정 인터 코딩된 매크로블록(22b)이 영상 보정되며, 이때 제1 P-프레임(21)의 손상 영역(21a)에 포함된 인터 코딩된 매크로블록(21b)에 의해 제2 P-프레임(22)에 포함된 특정 인터 코딩된 매크로블록(22b)의 영상 보정이 이루어지므로 정상적인 영상 보정이 이루어지지 못한다.
그러나, 제3 P-프레임(23)은 인트라 코딩된 매크로블록(23b)에 의해 제3 P-프레임(23) 자체 내에서 영상 보정이 이루어지며, 제4 P-프레임(24)은 그에 포함된 특정 인터 코딩된 매크로블록(24b)의 영상 보정에 제3 P-프레임(23)의 상기 인트라 코딩된 매크로블록(23b)이 사용되는 경우를 예시한 것으로서, 다시 말해 제 4 P-프레임(24)의 특정 인터 코딩된 매크로블록(24b)의 영상 보정에 인트라 코딩된 매크로블록(23b)이 사용되므로 에러 확산이 차단된 영상 보정이 이루어진다.
한국공개특허 제2005-0089457(2005.09.08), “동영상 복호화 시 에러 은닉 방법” 한국등록특허 제1032017호(2011.04.22),“무선 비디오 통신에서 에러 리질리언스 알고리즘의 방법 및 장치”
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 기존의 압축 효율 향상을 위해 사용되는 다수 참조 프레임 사용 기법의 문제점인 에러의 확산을 줄여 에러에 취약한 네트워크 환경에서 보다 효율적이면서 신뢰성 있는 비디오 스트리밍 서비스를 위한 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 제공하는데 목적이 있다.
또한, 본 발명은 다수 참조 기법을 사용하면서 주기적 인트라 리프레쉬 기법의 에러 복원력을 향상시킬 수 있는 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법은, 부호화되기 위한 매크로블록의 참조 매크로블록을 검색하기 위해 다수의 참조 프레임 각각에서 움직임 예측(motion estimation)이 개별적으로 수행되는 단계(a)와, 상기 움직임 예측에 의해 검색된 참조 매크로블록 영역의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 간의 일치 정도가 확인되는 단계(b)와, 상기 다수의 참조 프레임 각각에서 검색된 참조 매크로블록들 중 부호화되는 프레임의 상기 인트라 코딩된 매크로블록(Intra-coded MB)과 상대적으로 가장 일치되는 참조 매크로블록의 움직임 벡터(MV: Motion Vector)가 선택되는 단계(c)를 포함하여 구성된다.
또한, 상기 단계(b)는 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 각각의 가리키는 위치가 저장되는 과정 및 각 움직임 벡터(MV)의 가리키는 영역과 상기 인트라 코딩된 매크로블록(Intra-coded MB) 영역의 위치가 비교되어 두 영역의 일치 정도가 계산되는 과정을 포함하는 것을 특징으로 한다. 여기서, 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 각각의 가리키는 영역 및 상기 인트라 코디드 매크로블록(Intra-coded MB) 영역 간에 일치 정도가 계산되는 과정은 매크로블록의 크기 및 화소 수를 기준으로 두 영역 간 일치 정도인 갱신률이 계산되는 과정일 수 있다.
또한, 상기 단계(c)는 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV)들이 함께 가지고 있는 갱신률이 비교되어 가장 높은 값의 갱신률을 갖는 움직임 벡터(MV)가 선택되는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 단계(c)는 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 모두의 상기 갱신률이 사전 설정된 최소값 이하인 경우 이전 부호화 시의 움직임 벡터 결정 모드를 통해 움직임 벡터(MV)가 결정되는 과정을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 기존의 압축 효율 향상을 위해 사용되는 다수 참조 프레임 사용 기법의 문제점인 에러의 확산이 줄어 에러에 취약한 네트워크 환경에서 보다 효율적이면서 신뢰성 있는 비디오 스트리밍 서비스를 제공할 수 있다.
또한, 다수 참조 프레임 기법을 사용하면서도 주기적 인트라 리프레쉬 기법의 에러 복원력을 향상시킬 수 있다.
도 1은 다수 참조 프레임과 RIR 기법을 사용하는 영상 코덱에서 압축 영상 데이터의 일부 손상 시 발생되는 현상 및 그 보완을 위한 제안방법을 예시한 도면
도 2는 본 발명의 일 실시 예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 보인 흐름도
도 3은 본 발명의 일 실시 예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법에 의해서 움직임 벡터가 검색 및 결정되는 과정을 예시한 도면
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 보인 흐름도이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법은, 단계(S110)에서 다수의 참조 프레임 각각에서 움직임 예측이 개별 수행된다. 즉, 부호화되기 위한 매크로블록(MB: Macro Block, or Macroblock)의 참조 매크로블록을 검색하기 위해 다수의 참조 프레임 각각에서 움직임 예측(motion estimation)이 개별적으로 수행된다.
이어서, 단계(S120)에서 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 각각의 가리키는 위치가 저장된 후, 단계(S130)에서는 참조 프레임의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 및 참조 프레임들로부터 개별 검색된 움직임 벡터(MV)들 각각의 가리키는 영역 간 일치 정도가 계산된다. 이하의 설명에서 상기 부호화되는 해당 프레임의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 및 참조 프레임들로부터 개별 검색된 움직임 벡터(MV)들 각각의 가리키는 영역 간 일치 정도에 대해 갱신률(refresh ratio)이라는 용어를 사용키로 한다.
또한, 단계(S130)에서 갱신률의 계산은 매크로블록의 크기 및 화소 수를 기준으로 상기 참조 프레임의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 및 참조 프레임들로부터 개별 검색된 움직임 벡터(MV)들 각각의 가리키는 영역의 일치 정도를 계산하게 된다.
이어서, 단계(S140)에서는 단계(S130)을 통해 계산된 갱신률이 사전 설정된 최소값 이하인지 여부를 판단한다.
이어서, 단계(S150)에서는 단계(S140)을 통해 계산된 갱신률이 사전 설정된 최소값 이상인 경우, 참조 프레임들로부터 개별 검색된 움직임 벡터(MV)들이 함께 가지고 있는 갱신률이 비교된다.
이어서, 단계(S160)에서는 단계(S150)을 통해 비교되는 갱신률 중 가장 높은 값의 갱신율을 갖는 움직임 벡터(MV)가 선택된다.
한편, 단계(S140)에서 단계(S130)을 통해 계산된 갱신률이 사전 설정된 최소값 이하인 경우, 단계(S170)에서 이전 부호화 시의 움직임 벡터 결정 모드를 통해 움직임 벡터(MV)가 결정된다.
도 3은 본 발명의 일 실시예에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법에 의해서 움직임 벡터(MV)가 검색 및 결정되는 과정을 예시한 것이다.
도시된 바와 같이, 다수 참조 프레임의 각 프레임은 랜덤 인트라 리프레쉬(RIR: Random Intra Refresh) 기법에 의해서 임의의 위치에 인트라 부호화된 매크로블록(Intra-coded MB)을 포함하고 있다. 그리고 부호화기의 움직임 예측 과정에서 최적의 참조 영역을 검색한 뒤 해당 영역이 인트라 부호화 영역과 일치하는 정도를 계산하여 최적의 움직임 벡터(MV)를 결정하며, 이때 다수 참조 프레임을 사용하는 부호화기인 경우, 여러 참조 프레임으로부터 각각 최적의 움직임 벡터(MV)를 찾게 되는데, 이 중 부분적 혹은 전체적으로 인트라 부호화된 매크로블록과 가장 일치하는 매크로블록의 위치를 최종 움직임 벡터(MV)로 결정하게 한다. 즉, 인트라 부호화된 영역을 움직임 예측 시 우선 선택하게 하여 영상이 전송 과정에서 일부 손실되더라도 손실 영역의 참조에 의한 에러의 확산을 줄일 수 있게 하는 것이다.
상술한 도 2 및 도 3을 참조한 실시 예를 통하여 알 수 있는 바와 같이, 본 발명에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법은, 기존의 압축 효율 향상을 위해 사용되는 다수 참조 프레임 사용 기법의 문제점인 에러의 확산이 줄어 에러에 취약한 네트워크 환경에서 보다 효율적이면서 신뢰성 있는 비디오 스트리밍 서비스를 제공할 수 있게 한다.
또한, 본 발명에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법은, 다수 참조 프레임 기법을 사용하면서도 주기적 인트라 리프레쉬 기법의 에러 복원력을 향상시킬 수 있게 한다.
이상에서 설명한 것은 본 발명에 따른 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시 예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (5)

  1. (a) 부호화되기 위한 매크로블록의 참조 매크로블록을 검색하기 위해 다수의 참조 프레임 각각에서 움직임 예측(motion estimation)이 개별적으로 수행되는 단계;
    (b) 상기 참조 프레임들로부터 개별 검색된 움직임 벡터(MV)들 각각의 가리키는 영역 및 부호화되는 해당 프레임의 인트라 코딩된 매크로블록(Intra-coded MB) 영역 간의 일치 정도를 나타내는 갱신률이 확인되는 단계;
    (c) 상기 다수의 참조 프레임 각각에서 검색된 참조 매크로블록들 중 부호화되는 프레임의 상기 인트라 코디드 매크로블록(Intra-coded MB)과 상대적으로 가장 일치되는 참조 매크로블록의 움직임 벡터(MV: Motion Vector)가 선택되되, 상기 다수의 참조프레임으로부터 개별 검색된 움직임 벡터(MV) 모두의 상기 갱신률이 사전 설정된 최소값 이하인 경우 이전 부호화 시의 움직임 벡터 결정 모드를 통해 움직임 벡터(MV)가 결정되는 단계를 포함하는 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는, 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 각각의 가리키는 위치가 저장되는 과정 및 각 움직임 벡터(MV)의 가리키는 영역과 상기 인트라 코딩된 매크로블록(Intra-coded MB) 영역의 위치가 비교되어 두 영역의 일치 정도가 계산되는 과정을 포함하는 것을 특징으로 하는 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법.
  3. 제 2 항에 있어서,
    상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV) 각각의 가리키는 영역 및 상기 인트라 코딩된 매크로블록(Intra-coded MB) 영역 간에 일치 정도가 계산되는 과정은 매크로블록의 크기 및 화소 수를 기준으로 두 영역 간 일치 정도인 갱신률이 계산되는 과정인 것을 특징으로 하는 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법.
  4. 제 3 항에 있어서,
    상기 (C) 단계는, 상기 다수의 참조 프레임으로부터 개별 검색된 움직임 벡터(MV)들이 함께 가지고 있는 갱신률이 비교되어 가장 높은 값의 갱신률을 갖는 움직임 벡터(MV)가 선택되는 과정을 포함하는 것을 특징으로 하는 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법.
  5. 삭제
KR1020120144177A 2012-12-12 2012-12-12 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법 Expired - Fee Related KR101407832B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120144177A KR101407832B1 (ko) 2012-12-12 2012-12-12 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법
US14/651,057 US9986262B2 (en) 2012-12-12 2013-03-25 Reference frame selection technique for error resilience of video codec using multiple reference frames
PCT/KR2013/002454 WO2014092249A1 (ko) 2012-12-12 2013-03-25 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144177A KR101407832B1 (ko) 2012-12-12 2012-12-12 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Publications (1)

Publication Number Publication Date
KR101407832B1 true KR101407832B1 (ko) 2014-06-18

Family

ID=50934518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144177A Expired - Fee Related KR101407832B1 (ko) 2012-12-12 2012-12-12 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Country Status (3)

Country Link
US (1) US9986262B2 (ko)
KR (1) KR101407832B1 (ko)
WO (1) WO2014092249A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691748B1 (ko) 2015-08-07 2017-01-02 조선대학교산학협력단 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303544B (zh) * 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
US10567781B2 (en) * 2018-05-01 2020-02-18 Agora Lab, Inc. Progressive I-slice reference for packet loss resilient video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
KR20090094595A (ko) * 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060078289A (ko) * 2004-12-31 2006-07-05 엠큐브웍스(주) 동영상 데이터의 인코딩을 위한 다중 참조 프레임 운영 방법
US7747921B2 (en) * 2005-08-05 2010-06-29 Sony Corporation Systems and methods for transmitting data over lossy networks
KR100711204B1 (ko) * 2006-06-26 2007-04-24 한국전자통신연구원 선택적 에러 은닉 장치 및 방법
KR20110050283A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
US9124757B2 (en) 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
WO2013030456A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
KR20090094595A (ko) * 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691748B1 (ko) 2015-08-07 2017-01-02 조선대학교산학협력단 에러에 강인한 영상 전송을 위한 네트워크 인지 기반의 참조 프레임 제어 시스템 및 그 방법

Also Published As

Publication number Publication date
US20160080775A1 (en) 2016-03-17
US9986262B2 (en) 2018-05-29
WO2014092249A1 (ko) 2014-06-19

Similar Documents

Publication Publication Date Title
TWI401972B (zh) 時間性錯誤隱藏方法
CN100394802C (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
KR100762812B1 (ko) 비디오 에러 은닉 방법
US8743970B2 (en) Video decoding with error detection and concealment
US20120294360A1 (en) Channel switch frame
WO2003007495A1 (en) A method and device for suspecting errors and recovering macroblock data in video coding
JP2009284518A (ja) ビデオ符号化方法
CN106464886A (zh) 视频中的画面的鲁棒编码和解码
US9031127B2 (en) Video coding
JP4020883B2 (ja) 動画像復号装置
KR101407832B1 (ko) 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법
Carreira et al. Dynamic motion vector refreshing for enhanced error resilience in HEVC
Zhao et al. SSIM-based error-resilient rate-distortion optimization of H. 264/AVC video coding for wireless streaming
JP4432582B2 (ja) 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム
US20050195903A1 (en) Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications
Carreira et al. Selective motion vector redundancies for improved error resilience in HEVC
KR101307682B1 (ko) Ｈ.264／ａｖｃ 베이스라인 프로파일에서의 ｒｄｏ에 기반한 움직임 벡터 숨김 정보 삽입을 이용한 에러 검출 방법
US20120213283A1 (en) Method of decoding a sequence of encoded digital images
CN110278436A (zh) 图像帧差错隐藏方法及装置
US20190132592A1 (en) Golden-frame group structure design using stillness detection
KR100564967B1 (ko) 동영상 디코더 및 이를 이용한 디코딩 방법
Alajel et al. Error resilience performance evaluation of H. 264 I-frame and JPWL for wireless image transmission
CN101931819B (zh) 时间性错误隐藏方法
KR101507243B1 (ko) 오류 은닉 기법의 선택적 적용을 이용하는 svc의 복호화 방법 및 이를 이용한 svc의 복호화 시스템
KR100590328B1 (ko) 동영상 디코더 및 이를 이용한 디코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20190610

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20190610

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000