[go: up one dir, main page]

KR102800978B1 - 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 - Google Patents

서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR102800978B1
KR102800978B1 KR1020190010111A KR20190010111A KR102800978B1 KR 102800978 B1 KR102800978 B1 KR 102800978B1 KR 1020190010111 A KR1020190010111 A KR 1020190010111A KR 20190010111 A KR20190010111 A KR 20190010111A KR 102800978 B1 KR102800978 B1 KR 102800978B1
Authority
KR
South Korea
Prior art keywords
motion vector
control point
point motion
current block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190010111A
Other languages
English (en)
Other versions
KR20190090728A (ko
Inventor
고건중
손주형
김동철
곽진삼
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190090728A publication Critical patent/KR20190090728A/ko
Priority to KR1020250051827A priority Critical patent/KR20250057765A/ko
Application granted granted Critical
Publication of KR102800978B1 publication Critical patent/KR102800978B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치가 개시된다. 더욱 구체적으로, 비디오 신호의 처리 방법에 있어서, 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 단계; 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들을 이용하여 현재 블록의 각 서브블록의 모션 벡터를 획득하는 단계; 상기 각 서브블록의 모션 벡터를 이용하여 상기 현재 블록의 각 서브블록의 예측자를 획득하는 단계; 상기 각 서브블록의 예측자를 조합하여 상기 현재 블록의 예측자를 획득하는 단계; 및 상기 현재 블록의 예측자를 이용하여 상기 현재 블록을 복원하는 단계를 포함하는 비디오 신호 처리 방법 및 이를 이용한 비디오 신호 처리 장치가 개시된다.

Description

서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING A VIDEO SIGNAL USING SUBBLOCK-BASED MOTION COMPENSATION}
본 발명은 서브블록 기반의 모션 보상을 이용한 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 복수의 컨트롤 포인트 모션 벡터를 이용하여 현재 블록을 예측하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명은 비디오 신호의 코딩 효율을 높이기 위한 목적을 가지고 있다.
또한, 본 발명은 종래의 병진 운동뿐만 아니라 줌 인/아웃, 회전 및 기타 불규칙적인 운동들에 대한 모션 보상을 효율적으로 수행하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 비디오 신호 처리 장치 및 비디오 신호 처리 방법을 제공한다.
먼저 본 발명의 실시예에 따르면, 비디오 신호의 처리 방법에 있어서, 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 단계, 상기 컨트롤 포인트 모션 벡터 세트는 현재 블록의 특정 컨트롤 포인트들에 각각 대응하는 적어도 2개의 컨트롤 포인트 모션 벡터들을 포함함; 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들을 이용하여 현재 블록의 각 서브블록의 모션 벡터를 획득하는 단계; 상기 각 서브블록의 모션 벡터를 이용하여 상기 현재 블록의 각 서브블록의 예측자를 획득하는 단계; 상기 각 서브블록의 예측자를 조합하여 상기 현재 블록의 예측자를 획득하는 단계; 및 상기 현재 블록의 예측자를 이용하여 상기 현재 블록을 복원하는 단계를 포함하되, 상기 컨트롤 포인트 모션 벡터 세트를 획득하는 단계는: 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 모션 벡터 정보 세트를 지시하는 지시자를 획득하는 단계; 및 상기 지시자가 지시하는 모션 벡터 정보 세트를 참조하여 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들을 획득하는 단계를 포함하는 비디오 신호 처리 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 비디오 신호 처리 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하되, 상기 컨트롤 포인트 모션 벡터 세트는 현재 블록의 특정 컨트롤 포인트들에 각각 대응하는 적어도 2개의 컨트롤 포인트 모션 벡터들을 포함하고, 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들을 이용하여 현재 블록의 각 서브블록의 모션 벡터를 획득하고, 상기 각 서브블록의 모션 벡터를 이용하여 상기 현재 블록의 각 서브블록의 예측자를 획득하고, 상기 각 서브블록의 예측자를 조합하여 상기 현재 블록의 예측자를 획득하고, 상기 현재 블록의 예측자를 이용하여 상기 현재 블록을 복원하되, 상기 프로세서는, 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 모션 벡터 정보 세트를 지시하는 지시자를 획득하고, 상기 지시자가 지시하는 모션 벡터 정보 세트를 참조하여 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들을 획득하는 비디오 신호 처리 장치가 제공된다.
상기 컨트롤 포인트 모션 벡터 세트를 획득하는 단계는: 하나 이상의 모션 벡터 정보 세트 후보로 구성된 후보 리스트를 생성하는 단계를 더 포함하고, 상기 컨트롤 포인트 모션 벡터들은 상기 후보 리스트 중 상기 지시자에 기초하여 선택된 모션 벡터 정보 세트를 참조하여 획득된다.
상기 모션 벡터 정보 세트 후보는 현재 블록의 좌측 주변 블록의 컨트롤 포인트 모션 벡터들로부터 유도된 제1 후보와, 현재 블록의 상측 주변 블록의 컨트롤 포인트 모션 벡터들로부터 유도된 제2 후보를 포함한다.
상기 좌측 주변 블록은 현재 블록의 하좌측 모서리에 인접한 블록을 포함하며, 상기 상측 주변 블록은 현재 블록의 상좌측 모서리에 인접한 블록 또는 현재 블록의 상우측 모서리에 인접한 블록을 포함한다.
상기 모션 벡터 정보 세트 후보는 3개의 컨트롤 포인트 모션 벡터들로 구성된 제3 후보를 포함하되, 상기 3개의 컨트롤 포인트 모션 벡터들 중 적어도 일부는 주변 블록들의 모션 벡터들로부터 유도되며, 상기 제3 후보는 현재 블록의 상좌측 모서리에 대응하는 제1 컨트롤 포인트 모션 벡터, 현재 블록의 상우측 모서리에 대응하는 제2 컨트롤 포인트 모션 벡터 및 현재 블록의 하좌측 모서리에 대응하는 제3 컨트롤 포인트 모션 벡터로 구성된다.
상기 제3 후보는, 상기 제1 컨트롤 포인트 모션 벡터 및 제2 컨트롤 포인트 모션 벡터가 각각 주변 블록의 모션 벡터로부터 유도되고, 상기 제3 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 제2 컨트롤 포인트 모션 벡터를 기초로 계산되는 모션 벡터 정보 세트를 포함한다.
상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상좌측 모서리에 인접한 블록의 모션 벡터로부터 유도되고, 상기 제2 컨트롤 포인트 모션 벡터는 현재 블록의 상우측 모서리에 인접한 블록의 모션 벡터로부터 유도된다.
상기 모션 벡터 정보 세트 후보는 주변 블록들의 모션 벡터들로부터 유도된 2개의 컨트롤 포인트 모션 벡터들로 구성된 제4 후보를 포함하며, 상기 제4 후보는, 현재 블록의 상좌측 모서리에 대응하는 제1 컨트롤 포인트 모션 벡터 및 현재 블록의 상우측 모서리에 대응하는 제2 컨트롤 포인트 모션 벡터로 구성된 모션 벡터 정보 세트와, 현재 블록의 상좌측 모서리에 대응하는 제1 컨트롤 포인트 모션 벡터 및 현재 블록의 하좌측 모서리에 대응하는 제3 컨트롤 포인트 모션 벡터로 구성된 모션 벡터 정보 세트를 포함한다.
상기 지시자는 현재 블록의 복수의 주변 블록들 중 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조되는 주변 블록(들)의 위치 정보를 나타낸다.
본 발명의 실시예에 따르면 비디오 신호의 코딩 효율이 높아질 수 있다.
또한, 본 발명의 실시예에 따르면 서브블록 기반의 모션 보상을 이용하여 다양한 형태의 운동들에 대한 모션 보상이 효율적으로 수행될 수 있다.
또한, 본 발명의 실시예에 따르면 서브블록 별 모션 벡터를 획득하기 위해 참조되는 모션 벡터 정보 세트가 효율적으로 시그널링 될 수 있다.
도 1은 본 발명의 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5는 본 발명의 실시예에 따른 인터 예측을 도시한다.
도 6은 본 발명의 일 실시예에 따른 어파인 모션 보상을 도시한다.
도 7은 4-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다.
도 8은 서브블록 기반의 어파인 모션 보상 방법의 일 실시예를 도시한다.
도 9 및 도 10은 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 본 발명의 실시예들을 도시한다.
도 11은 6-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다.
도 12는 어파인 모션 보상을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 다른 실시예를 도시한다.
도 13은 지역 탐색이 조합된 어파인 모션 보상 방법을 도시한다.
도 14는 본 발명의 일 실시예에 따른 템플릿 매칭 방법을 도시한다.
도 15 내지 도 19는 지역 탐색이 조합된 어파인 모션 보상 방법의 세부 실시예들을 도시한다.
도 20은 본 발명의 추가적인 실시예에 따른 어파인 모션 보상 방법을 도시한다.
도 21은 본 발명의 일 실시예에 따른 서브블록 기반의 시간적 모션 벡터 예측을 도시한다.
도 22 내지 도 27은 서브블록 기반의 시간적 모션 벡터 예측의 세부 실시예들을 도시한다.
도 28은 본 발명의 실시예에 따른 적응적 루프 필터를 도시한다.
도 29는 본 발명의 일 실시예에 따른 필터링 프로세스를 도시한다.
도 30은 본 발명의 다른 실시예에 따른 필터링 프로세스를 도시한다.
도 31은 본 발명의 추가적인 실시예에 따른 필터 모양을 도시한다.
도 32는 본 발명의 추가적인 실시예에 따른 샘플 특성 계산 방법을 도시한다.
도 33은 본 발명의 추가적인 실시예에 따른 필터 계수 재사용 방법을 도시한다.
도 34은 본 발명의 또 다른 실시예에 따른 필터링 프로세스를 도시한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 혹은 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 혹은 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 루마(luma) 성분과 크로마(chroma) 성분을 모두 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 루마 성분 및 크로마 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 혹은 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)는 참조 영역에 대한 모션 정보(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 엔트로피 코딩부(160)로 전달한다. 모션 보상부(154b)는 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상을 수행한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 엔트로피 코딩부(160)로 전달한다.
엔트로피 코딩부(160)는 양자화된 변환 계수, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리 된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등과 같은 상위 레벨 세트의 RBSP(Raw Byte Sequence Payload)를 통해 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측자(predictor)와 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측만을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측과 인터 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플 값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 명세서에서, 샘플 및 샘플 값은 각각 픽셀 및 픽셀 값을 가리킬 수 있다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계선에 인접한 샘플들 및/또는 상측 경계선에 인접한 샘플들일 수 있다. 다른 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계선으로부터 기 설정된 거리 이내에 인접한 샘플들 및/또는 현재 블록의 상측 경계선으로부터 기 설정된 거리 이내에 인접한 샘플들일 수 있다. 인트라 예측부(252)는 현재 블록의 인트라 예측 모드에 기초하여 참조 샘플들을 결정하고, 결정된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 현재 블록의 인트라 예측 모드는 별도로 시그널링 되는 인덱스(예, 인트라 예측 모드 인덱스, MPM 인덱스 등)를 통해 결정될 수 있다. MPM 인덱스가 시그널링 되는 경우, 인트라 예측부(252)는 주변 블록에 적용된 인트라 예측 모드 또는 기 설정된 인트라 예측 모드를 사용하여 인트라 예측을 수행할 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보(참조 픽쳐 인덱스, 모션 벡터 정보 등)을 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 루마 신호에 대하여 8-탭 보간 필터가, 크로마 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 모션 정보를 이용하여 예측하는 모션 보상(motion compensation)을 수행한다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측자, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 루마(luma) 샘플들의 NXN 블록과, 이에 대응하는 크로마(chroma) 샘플들의 2개의 블록들로 구성된다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. 코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 혹은 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(혹은, 직사각형 블록)은 수직 코딩 유닛(혹은, 수직 블록)과 수평 코딩 유닛(혹은, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 혹은 수직 분할의 2진(binary, 바이너리) 혹은 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 너무 크지 않으면, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및 변환의 단위로 사용된다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라미터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'qt_split_flag', 멀티-타입 트리 노드의 분할 여부를 지시하는 플래그 'mtt_split_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT_node' 별로 'qt_split_flag'가 시그널링된다. 'qt_split_flag'의 값이 1일 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'qt_split_flag'의 값이 0일 경우 해당 노드는 쿼드 트리의 리프 노드 'QT_leaf_node'가 된다.
각각의 쿼드 트리 리프 노드 'QT_leaf_node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 멀티-타입 트리 구조에서는 각각의 노드 'MTT_node' 별로 'mtt_split_flag'가 시그널링된다. 'mtt_split_flag'의 값이 1일 경우 해당 노드는 복수의 직사각형 노드들로 분할되며, 'mtt_split_flag'의 값이 0일 경우 해당 노드는 멀티-타입 트리의 리프 노드 'MTT_leaf_node'가 된다. 멀티-타입 트리 노드 'MTT_node'가 복수의 직사각형 노드들로 분할될 경우(즉, 'mtt_split_flag'의 값이 1일 경우), 노드 'MTT_node'를 위한 'mtt_split_vertical_flag' 및 'mtt_split_binary_flag'가 추가로 시그널링 될 수 있다. 'mtt_split_vertical_flag'의 값이 1일 경우 노드 'MTT_node'의 수직 분할이 지시되며, 'mtt_split_vertical_flag'의 값이 0일 경우 노드 'MTT_node'의 수평 분할이 지시된다. 또한, 'mtt_split_binary_flag'의 값이 1일 경우 노드 'MTT_node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_binary_flag'의 값이 0일 경우 노드 'MTT_node'는 3개의 직사각형 노드들로 분할된다.
도 5는 본 발명의 실시예에 따른 인터 예측을 도시한다. 전술한 바와 같이, 디코더는 복호화된 다른 픽쳐의 복원된 샘플들을 참조하여 현재 블록을 예측한다. 도 5를 참조하면, 디코더는 현재 블록(32)의 모션 정보에 기초하여 참조 픽쳐 내의 참조 블록(42)을 획득한다. 이때, 모션 정보는 참조 픽쳐 인덱스 및 모션 벡터(50)를 포함할 수 있다. 참조 픽쳐 인덱스는 참조 픽쳐 리스트에서 현재 블록의 참조 픽쳐를 지시한다. 또한, 모션 벡터(50)는 현재 픽쳐 내에서의 현재 블록(32)의 좌표값과 참조 픽쳐 내에서의 참조 블록(42)의 좌표값 간의 오프셋을 나타낸다. 디코더는 참조 블록(42)의 샘플 값들에 기초하여 현재 블록(32)의 예측자를 획득하고, 상기 예측자를 이용하여 현재 블록(32)을 복원한다.
한편, 본 발명의 실시예에 따르면 서브블록 기반의 모션 보상이 사용될 수 있다. 즉, 현재 블록(32)은 복수의 서브블록들로 분할되며, 각 서브블록 별로 독립된 모션 벡터가 사용될 수 있다. 따라서, 현재 블록(32) 내에서 각 서브블록은 서로 다른 참조 블록을 이용하여 예측될 수 있다. 일 실시예에 따르면, 서브블록은 4X4 또는 8X8과 같이 기 설정된 크기를 가질 수 있다. 디코더는 각 서브블록의 모션 벡터를 이용하여 현재 블록(32)의 각 서브블록의 예측자를 획득한다. 각 서브블록의 예측자를 조합하여 현재 블록(32)의 예측자가 획득될 수 있으며, 디코더는 이와 같이 획득된 현재 블록(32)의 예측자를 이용하여 현재 블록(32)을 복원할 수 있다.
본 발명의 실시예에 따르면, 다양한 방법의 서브블록 기반 모션 보상이 수행될 수 있다. 서브블록 기반의 모션 보상은 어파인(affine) 모델 기반의 모션 보상(이하, 어파인 모션 보상 혹은 어파인 모션 예측)과 서브블록 기반의 시간적 모션 벡터 예측(Subblock-based Temporal Motion Vector Prediction, SbTMVP)을 포함할 수 있다. 이하, 각 도면을 참조로 어파인 모션 보상과 SbTMVP의 다양한 실시예들을 서술하도록 한다.
도 6은 본 발명의 일 실시예에 따른 어파인 모션 보상을 도시한다. 기존의 인터 예측 방법에 따르면, 현재 블록에 대한 L0 예측 및 L1 예측 별로 오직 하나의 모션 벡터를 사용하여 인터 예측이 수행되므로, 병진 운동(translation motion)의 예측에 최적화 되었다. 그러나 줌 인/아웃, 회전 및 기타 불규칙적인 운동들에 대한 모션 보상을 효율적으로 수행하기 위해서는 다양한 모양과 크기의 참조 블록(44)이 사용될 필요가 있다.
도 6을 참조하면, 어파인 모션 보상에서는 현재 블록(34)과 다른 크기, 모양 및/또는 방향을 갖는 참조 블록(44)을 이용하여 현재 블록(34)의 예측이 수행될 수 있다. 즉, 참조 블록(44)은 비-직사각형 형태를 가질 수 있으며, 현재 블록(34) 보다 크기가 크거나 작을 수 있다. 참조 블록(44)은 현재 블록(34)에 어파인 변환을 수행하여 획득될 수 있다. 어파인 변환은 3개의 컨트롤 포인트 모션 벡터(Control Point Motion Vector, CPMV)를 이용하는 6-파라미터 어파인 변환과, 2개의 컨트롤 포인트 모션 벡터를 이용하는 4-파라미터 어파인 변환을 포함할 수 있다. 이에 대한 구체적인 실시예는 후술하도록 한다.
도 7은 4-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다. 어파인 변환의 연산량 및 시그널링 오버헤드를 줄이기 위해, 기 설정된 개수의 컨트롤 포인트 모션 벡터(CPMV)들을 사용하여 어파인 모션 예측이 수행될 수 있다. 컨트롤 포인트 모션 벡터(CPMV)는 현재 블록의 특정 컨트롤 포인트(혹은, 샘플 위치)에 대응하는 모션 벡터이다. 특정 컨트롤 포인트는 현재 블록의 모서리들 중 적어도 하나를 포함할 수 있다. 본 발명의 실시예에서는, 현재 블록의 상좌측 모서리에 대응하는 CPMV를 v0(혹은, 제1 CPMV)로, 현재 블록의 상우측 모서리에 대응하는 CPMV를 v1(혹은, 제2 CPMV)으로, 현재 블록의 하좌측 모서리에 대응하는 CPMV를 v2(혹은, 제3 CPMV)로 각각 지칭한다. 어파인 모션 예측을 위해 적어도 2개의 CPMV들을 포함하는 CPMV 세트가 사용될 수 있다.
도 7의 실시예에 따르면, v0와 v1을 사용하여 4-파라미터 어파인 모션 예측이 수행될 수 있다. 실선으로 표시된 현재 블록(36)은 점선으로 표시된 위치의 참조 블록(46)을 이용하여 예측될 수 있다. 현재 블록(36)의 각 샘플은 어파인 변환을 통해 서로 다른 참조 샘플로 매핑될 수 있다. 더욱 구체적으로, 현재 블록(36)의 샘플 위치 (x, y)에서의 모션 벡터(vx, vy)는 아래 수학식 1에 의해 유도될 수 있다.
Figure 112019009383287-pat00001
여기서, (v0x, v0y)는 현재 블록(36)의 상좌측 모서리에 대응하는 제1 CPMV이며, (v1x, v1y)는 현재 블록의 상우측 모서리에 대응하는 제2 CPMV이다. 또한, w는 현재 블록(36)의 너비이다.
도 8은 서브블록 기반의 어파인 모션 보상 방법의 일 실시예를 도시한다. 전술한 바와 같이, 어파인 모션 변환을 이용하면 현재 블록의 각 샘플 위치에서의 모션 벡터(즉, 모션 벡터 필드)가 유도될 수 있다. 그러나 연산량을 줄이기 위해, 본 발명의 실시예에 따르면 서브블록 기반의 어파인 모션 보상이 수행될 수 있다. 도 8에 도시된 바와 같이, 현재 블록은 복수의 서브블록들을 포함할 수 있으며, 각 서브블록의 대표 모션 벡터가 CPMV 세트에 기초하여 획득된다. 일 실시예에 따르면, 각 서브블록의 대표 모션 벡터는 해당 서브블록의 가운데 샘플 위치에 대응하는 모션 벡터일 수 있다. 추가적인 실시예에 따르면, 서브블록의 모션 벡터에는 일반적인 모션 벡터보다 정확도가 높은 모션 벡터가 사용될 수 있다. 이를 위해, 모션 보상 보간 필터가 적용될 수 있다.
어파인 모션 보상이 수행되는 서브블록의 크기는 다양한 방법으로 설정될 수 있다. 본 발명의 일 실시예에 따르면, 서브블록은 4X4 또는 8X8과 같이 기 설정된 크기를 가질 수 있다. 본 발명의 다른 실시예에 따르면, 서브블록의 크기 MXN은 아래 수학식 2에 의해 결정될 수 있다.
Figure 112019009383287-pat00002
여기서, w는 현재 블록의 너비이고, MvPre는 모션 벡터의 분수 단위 정확도이다. (v2x, v2y)는 현재 블록의 하좌측 모서리에 대응하는 제3 CPMV이며, 일 실시예에 따르면 수학식 1에 의해 계산될 수 있다. max(a, b)는 a와 b 중 더 큰 값을 반환하는 함수이며, abs(x)는 x의 절대값을 반환하는 함수이다. 또한, clip3(x, y, z)는 z<x인 경우 x를 반환하고, z>y인 경우 y를 반환하며, 그 외의 경우 z를 반환하는 함수이다.
디코더는 CPMV 세트의 CPMV들을 이용하여 현재 블록의 각 서브블록의 모션 벡터를 획득한다. 또한, 디코더는 각 서브블록의 모션 벡터를 이용하여 각 서브블록의 예측자를 획득하고, 각 서브블록의 예측자를 조합하여 현재 블록의 예측자를 획득한다. 디코더는 이와 같이 획득된 현재 블록의 예측자를 이용하여 현재 블록을 복원할 수 있다.
도 9 및 도 10은 현재 블록의 예측을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 본 발명의 실시예들을 도시한다. 본 발명의 실시예에 따르면, 현재 블록의 예측을 위한 CPMV 세트는 다양한 방법으로 획득될 수 있다. 더욱 구체적으로, 현재 블록의 예측을 위한 CPMV 세트는 하나 이상의 주변 블록들의 모션 벡터 정보 세트를 참조하여 획득될 수 있다. 본 발명의 실시예에서, 모션 벡터 정보는 해당 블록의 모션 벡터를 가리키거나, 해당 블록의 CPMV를 가리킬 수 있다. 또한, 모션 벡터 정보 세트는 하나 이상의 블록들의 모션 벡터 정보의 집합을 가리킨다. 주변 블록은 현재 블록의 기 설정된 주변 위치를 포함하는 블록을 가리킬 수 있다. 이때, 주변 블록은 기 설정된 주변 위치를 포함하는 코딩 유닛이거나, 상기 주변 위치를 포함하는 기 설정된 단위(예, 4X4, 8X8)의 영역일 수 있다.
현재 블록의 CPMV들을 유도하기 위해 참조할 수 있는 복수의 후보들이 존재할 수 있다. 따라서, 현재 블록의 CPMV들을 유도하기 위해 참조할 주변 블록에 대한 정보가 별도로 시그널링 될 수 있다. 본 발명의 일 실시예에 따르면, 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 상기 지시자는 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조할 주변 블록(들)의 모션 벡터 정보 세트를 지시할 수 있다. 디코더는 상기 지시자를 획득하고, 지시자가 지시하는 주변 블록(들)의 모션 벡터 정보 세트를 참조하여 현재 블록을 위한 CPMV 세트의 각 CPMV를 획득할 수 있다. 더욱 구체적인 실시예에 따르면, 디코더는 하나 이상의 모션 벡터 정보 세트 후보로 구성된 후보 리스트를 생성할 수 있다. 후보 리스트를 구성하는 각각의 모션 벡터 정보 세트 후보는 현재 블록의 모션 벡터 정보를 유도하기 위해 사용 가능한 주변 블록의 모션 벡터 세트이다. 이때, 지시자는 후보 리스트 중에서 어느 하나의 모션 벡터 정보 세트를 지시하는 인덱스일 수 있다. 현재 블록의 CPMV들은 후보 리스트 중에서 상기 지시자(즉, 인덱스)에 기초하여 선택된 모션 벡터 정보 세트를 참조하여 획득될 수 있다. 이하, 현재 블록의 모션 벡터 정보(혹은, CPMV 세트) 유도를 위한 후보 리스트에 포함될 수 있는 모션 벡터 정보 세트 후보의 다양한 실시예들에 대해 서술하도록 한다.
도 9는 현재 블록의 CPMV 세트를 획득하는 일 실시예를 도시한다. 도 9의 실시예에서는 현재 블록의 CPMV 세트가 2개의 CPMV 즉, v0와 v1을 포함하는 것으로 가정한다. 본 발명의 일 실시예에 따르면, 현재 블록의 CPMV는 해당 포인트에 인접한 주변 블록의 모션 벡터로부터 유도될 수 있다. 도 9를 참조하면, v0는 해당 포인트에 인접한 주변 블록들 A, B 및 C 중 어느 하나의 모션 벡터로부터 유도될 수 있고, v1은 해당 포인트에 인접한 주변 블록들 D 및 E 중 어느 하나의 모션 벡터로부터 유도될 수 있다. 주변 블록들 A, B, C, D 및 E의 모션 벡터를 각각 vA, vB, vC, vD 및 vE라 할 때, 후보 리스트에 포함될 수 있는 모션 벡터 정보 세트는 다음 수학식 3과 같이 유도될 수 있다.
Figure 112019009383287-pat00003
즉, vA, vB, vC 중에서 선택된 v0와, vD, vE 중에서 선택된 v1으로 구성된 (v0, v1) 쌍이 획득될 수 있다. 이때, v0는 현재 블록의 상좌측 모서리에 인접한 블록의 모션 벡터로부터 유도되고, v1은 현재 블록의 상우측 모서리에 인접한 블록의 모션 벡터로부터 유도된다. 추가적인 실시예에 따르면, 현재 블록의 POC(Picture Order Count), 주변 블록의 참조 픽쳐의 POC, 및 현재 블록의 참조 픽쳐의 POC에 기초하여 모션 벡터 스케일링이 수행될 수 있다.
이와 같이 획득된 모션 벡터 정보 세트 후보를 포함하는 후보 리스트가 생성될 수 있으며, 후보 리스트 중 어느 하나의 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 본 발명의 추가적인 실시예에 따르면, 후보 리스트에는 다른 방식의 인터 예측을 위한 모션 벡터 정보 세트 후보가 포함될 수도 있다. 예를 들면, 후보 리스트는 서브블록 기반의 시간적 모션 벡터 예측(SbTMVP)을 위한 모션 벡터 정보 세트 후보를 포함할 수 있다.
디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트에 기초하여 현재 블록의 CPMV들을 유도할 수 있다. 일 실시예에 따르면, 디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트의 모션 벡터들을 별도의 모션 벡터 차분값 없이 현재 블록의 CPMV로 사용함으로 어파인 병합 예측을 수행할 수 있다. 다른 실시예에 따르면, 디코더는 현재 블록의 CPMV를 위한 별도의 모션 벡터 차분값을 획득할 수 있다. 디코더는 후보 리스트에서 획득된 모션 벡터 정보 세트의 모션 벡터를 상기 모션 벡터 차분값과 합산하여 현재 블록의 CPMV를 획득할 수 있다. 디코더가 현재 블록의 어파인 모션 보상을 위해 별도의 모션 벡터 차분값을 사용할지 여부를 지시하는 플래그 또는 인덱스가 별도로 시그널링 될 수 있다.
도 10은 현재 블록의 CPMV 세트를 획득하는 다른 실시예를 도시한다. 본 발명의 다른 실시예에 따르면, 현재 블록의 CPMV는 어파인 모션 보상이 수행된 주변 블록의 모션 벡터 정보 즉, 주변 블록의 CPMV 또는 모션 벡터로부터 유도될 수 있다. 이때, 주변 블록은 현재 블록의 좌측 주변 블록과 현재 블록의 상측 주변 블록을 포함할 수 있다. 도 10(a)을 참조하면, 좌측 주변 블록은 현재 블록의 하좌측 모서리에 인접한 블록들 즉, 좌측 블록 A 및 하좌측 블록 D를 포함한다. 또한, 상측 주변 블록은 현재 블록의 상좌측 모서리에 인접한 블록 즉, 상좌측 블록 E와, 현재 블록의 상우측 모서리에 인접한 블록들 즉, 상측 블록 B 및 상우측 블록 C를 포함한다. 디코더는 기 설정된 순서대로 주변 블록이 어파인 모션 보상이 수행되었는지 확인한다. 어파인 모션 보상이 수행된 주변 블록이 발견되면, 디코더는 해당 주변 블록의 CPMV 세트(혹은, 모션 벡터)를 이용하여 현재 블록의 CPMV 세트를 획득한다. 도 10(b)의 실시예를 참조하면, 좌측 블록 A의 CPMV 세트가 현재 블록의 CPMV 세트를 유도하는데 사용될 수 있다. 즉, 좌측 블록 A의 CPMV 세트 (v2, v3, v4)에 기초하여 현재 블록의 CPMV 세트 (v0, v1)이 획득될 수 있다.
본 발명의 실시예에 따르면, 현재 블록의 CPMV를 유도하기 위해 참조할 주변 블록에 대한 정보가 별도로 시그널링 될 수 있다. 이때, 현재 블록의 주변 블록들의 CPMV 세트들은 기 설정된 순서에 따라 전술한 후보 리스트를 구성하는 모션 벡터 정보 세트 후보가 될 수 있다. 더욱 구체적으로, 모션 벡터 정보 세트 후보는 현재 블록의 좌측 주변 블록의 CPMV들(혹은, 모션 벡터)로부터 유도된 제1 후보와, 현재 블록의 상측 주변 블록의 CPMV들(혹은, 모션 벡터)로부터 유도된 제2 후보를 포함할 수 있다. 이때, 좌측 주변 블록은 현재 블록의 하좌측 모서리에 인접한 블록이며, 상측 주변 블록은 현재 블록의 상좌측 모서리에 인접한 블록 또는 현재 블록의 상우측 모서리에 인접한 블록이다. 이와 같이 획득된 모션 벡터 정보 세트 후보를 포함하는 후보 리스트가 생성될 수 있으며, 후보 리스트 중 어느 하나의 모션 벡터 정보 세트를 지시하는 지시자가 시그널링 될 수 있다. 일 실시예에 따르면, 상기 지시자는 현재 블록의 각 서브블록의 모션 벡터를 유도하기 위해 참조되는 주변 블록(들)의 위치 정보를 나타낼 수 있다. 디코더는 지시자가 지시하는 주변 블록의 CPMV 세트(혹은, 모션 벡터)를 참조하여 현재 블록의 CPMV 세트를 획득할 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록의 CPMV는 해당 포인트에서 가까운 주변 블록의 CPMV에 기초하여 유도될 수 있다. 예를 들어, v0는 좌측 주변 블록의 CPMV를 참조하여 획득되고, v1은 상측 주변 블록의 CPMV를 참조하여 획득될 수 있다. 또는, v0는 주변 블록 A, D 또는 E의 CPMV를 참조하여 획득되고, v1은 주변 블록 B 또는 C의 CPMV를 참조하여 획득될 수 있다.
도 11은 6-파라미터 어파인 모션 보상 방법의 일 실시예를 도시한다. 더욱 복잡한 모션에 대한 정확한 예측을 위해, 3개 이상의 CPMV를 사용한 어파인 모션 예측이 수행될 수 있다. 도 11을 참조하면, 6-파라미터 어파인 모션 보상은 3개의 CPMV 즉, v0, v1 및 v2를 이용하여 수행될 수 있다. 여기서, v0는 현재 블록의 상좌측 모서리에 대응하는 CPMV이고, v1은 현재 블록의 상우측 모서리에 대응하는 CPMV이며, v2는 현재 블록의 하좌측 모서리에 대응하는 CPMV이다. 현재 블록의 각 서브블록의 모션 벡터는 상기 v0, v1 및 v2에 기초하여 계산될 수 있다.
6-파라미터 어파인 모델에서 각각의 CPMV는 서로 다른 방법으로 획득될 수 있다. 각각의 CPMV는 명시적으로 시그널링되거나, 주변 블록의 모션 벡터 정보로부터 유도되거나, 현재 블록의 다른 CPMV로부터 계산될 수 있다. 더욱 구체적인 실시예로, 3개의 CPMV들 중 적어도 일부는 주변 블록들의 모션 벡터들로부터 유도되고, 나머지 CPMV는 현재 블록의 다른 CPMV들로부터 계산될 수 있다. 예를 들어, v0가 현재 블록의 상좌측 모서리에 인접한 블록의 모션 벡터로부터 유도되고, v1이 현재 블록의 상우측 모서리에 인접한 블록의 모션 벡터로부터 유도되는 반면에, v2는 v0와 v1을 기초로 계산될 수 있다. 일 실시예에 따르면, v2는 v0와 v1의 차이값에 기초하여 결정될 수 있다. 이와 같이 획득된 CPMV들은 전술한 모션 벡터 정보 세트 후보를 구성할 수 있다.
도 12는 어파인 모션 보상을 위한 컨트롤 포인트 모션 벡터 세트를 획득하는 다른 실시예를 도시한다. 본 발명의 다른 실시예에 따르면, 현재 블록의 어파인 모션 보상을 위한 모션 벡터 정보 세트 후보는 v0, v1 및 v2 중에서 선택된 2개의 CPMV들로 구성될 수 있다. 더욱 구체적으로, 상기 모션 벡터 정보 세트 후보는 v0 및 v1으로 구성된 모션 벡터 정보 세트와, v0 및 v2로 구성된 모션 벡터 정보 세트를 포함할 수 있다. 모션 벡터 정보 세트 후보를 구성하는 각각의 CPMV는 주변 블록의 모션 벡터로부터 유도된다. 이때, v0 및 v1으로 구성된 모션 벡터 정보 세트 후보와 v0 및 v2로 구성된 모션 벡터 정보 세트 후보 중 어느 세트를 참조하여 어파인 모션 보상이 수행될 지는 전술한 지시자를 통해 시그널링 될 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록 내의 각 서브블록별로 서로 다른 모션 벡터 정보 세트가 사용될 수 있다. 예를 들어, 특정 서브블록의 모션 벡터를 획득하기 위해서는 v0와 v1이 사용될 수 있으며, 다른 서브블록의 모션 벡터를 획득하기 위해서는 v0와 v2가 사용될 수 있다. 각 서브블록의 모션 벡터를 획득하기 위해 어떤 CPMV 세트가 사용될 지는, 현재 블록 내에서의 해당 서브블록의 위치 또는 해당 서브블록과 각 CPMV의 거리 등에 기초하여 결정될 수 있다.
도 13은 지역 탐색이 조합된 어파인 모션 보상 방법을 도시한다. 어파인 모션 예측이 수행될 경우, CPMV는 현재 블록의 특정 컨트롤 포인트 (혹은, 샘플 위치)에 대응하는 모션 벡터이므로 해당 위치에서 떨어진 서브블록의 모션 벡터는 정확도가 떨어질 수 있다. 이를 해결하기 위해, 본 발명의 실시예에 따르면 어파인 모션 예측이 수행된 후에 지역 탐색이 추가로 수행될 수 있다. 지역 탐색은 각 서브블록에 대해서 수행될 수 있다. 지역 탐색은 현재 서브블록에 대한 더 정확한 모션 벡터를 찾거나 현재 서브블록과 더 유사한 참조 서브블록을 찾는 과정이다.
도 13을 참조하면, 현재 블록(60)에 대한 어파인 모션 예측이 수행되어 현재 블록의 각 서브블록의 모션 벡터가 화살표로 표시된 것과 같이 획득될 수 있다. 현재 서브블록(62)의 참조 서브블록(72)은 어파인 모션 예측에 의해 획득된 해당 서브블록의 모션 벡터에 기초하여 획득될 수 있다. 이때, 참조 서브블록(72)으로부터 기 설정된 범위(80) 내에서 지역 탐색을 추가적으로 수행하여, 현재 서브블록(62)과 더욱 유사한 블록을 찾을 수 있다. 기 설정된 범위(80)는 몇 가지 단계로 설정될 수 있다. 또한, 지역 탐색 기법을 적용하는 것은 추가적인 연산량을 요구할 수 있으므로, 지역 탐색을 사용할지 여부를 지시하는 별도의 플래그가 시그널링 될 수 있다.
지역 탐색은 다양한 방법에 의해 수행될 수 있다. 예를 들어, 지역 탐색을 위해 양측 매칭(bilateral matching), 템플릿 매칭(template matching) 등이 사용될 수 있다. 양측 매칭은 모션 궤도를 따라 2개 이상의 참조 픽쳐의 2개 이상의 참조 블록으로부터 현재 블록을 추정하는 방법이다. 한편, 템플릿 매칭에 대한 구체적인 실시예는 도 14를 참조로 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 템플릿 매칭 방법을 도시한다. 현재 블록 또는 서브블록과 유사한 참조 블록을 찾기 위해 템플릿 매칭이 수행될 수 있다. 템플릿 매칭을 위해, 현재 서브블록(62) 주변의 기 설정된 영역이 템플릿으로 설정될 수 있다. 디코더는 설정된 템플릿과 가장 유사한 영역을 참조 픽쳐에서 찾는다. 가장 유사한 영역이 찾아지면, 템플릿과 현재 서브블록(62) 간의 상대적 위치에 기초하여, 가장 유사한 영역으로부터 참조 서브블록(72)이 결정될 수 있다. 본 발명의 실시예에 따르면, 이와 같은 템플릿 매칭은 어파인 모션 예측에 의해 획득된 현재 서브블록(62)의 제1 참조 서브블록으로부터 기 설정된 범위(80) 내에서 수행될 수 있다.
도 14의 실시예에서는 템플릿이 현재 (서브)블록의 좌측과 상측에 존재하는 것으로 도시 되었지만, 템플릿의 위치는 이에 한정되지 않는다. 다만, 디코더에서 현재 (서브)블록의 템플릿은 복원이 완료된 부분 이어야 하기 때문에, 템플릿은 현재 픽쳐의 디코딩 방향을 고려하여 결정될 수 있다.
도 15 내지 도 19는 지역 탐색이 조합된 어파인 모션 보상 방법의 세부 실시예들을 도시한다. 각 도면의 실시예에서, 이전 도면의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 15는 지역 탐색이 조합된 어파인 모션 보상 방법의 제1 실시예를 도시한다. 본 발명의 제1 실시예에 따르면, 지역 탐색을 위한 기 설정된 범위(81, 83)는 서브블록(64, 66) 별로 다르게 설정될 수 있다. 더욱 구체적으로, 모션 벡터의 정확도가 높을 것으로 추정되는 서브블록에 대해서는 좁은 범위에서 지역 탐색이 수행되거나 지역 탐색이 스킵될 수 있다. 또한, 모션 벡터의 정확도가 낮을 것으로 추정되는 서브블록에 대해서는 넓은 범위에서 지역 탐색이 수행될 수 있다. 각 서브블록(64, 66)에 대한 지역 탐색이 수행되는 기 설정된 범위(81, 83)는 현재 블록 내에서 각 서브블록(64, 66)의 위치에 종속될 수 있다.
도 15를 참조하면, 현재 블록의 제1 서브블록(64)에 대한 참조 서브블록(74)을 찾기 위한 기 설정된 범위(81)는 현재 블록의 제2 서브블록(66)에 대한 참조 서브블록(76)을 찾기 위한 기 설정된 범위(83)와 다를 수 있다. 어파인 모션 예측이 현재 블록의 상좌측 모서리에 대응하는 CPMV인 v0와 현재 블록의 상우측 모서리에 대응하는 CPMV인 v1에 기초하여 수행되면, 해당 위치들에서 떨어진 현재 블록의 바닥 쪽 서브블록의 모션 벡터 정확도가 떨어질 수 있다. 따라서, 해당 서브블록에 대해 더 넓은 범위의 지역 탐색이 수행될 수 있다. 다른 실시예에 따르면, 현재 블록을 위한 CPMV 세트가 어파인 모션 보상이 수행된 주변 블록의 CPMV 세트로부터 유도된 경우, 해당 주변 블록과 떨어진 위치의 서브블록에 대해 더 넓은 범위의 지역 탐색이 수행될 수 있다.
도 16은 지역 탐색이 조합된 어파인 모션 보상 방법의 제2 실시예를 도시한다. 본 발명의 제2 실시예에 따르면, 어파인 모션 예측이 수행된 후 현재 블록의 특정 서브블록에 대하여 지역 탐색이 수행될 수 있으며, 지역 탐색을 통해 획득된 오프셋(혹은, 정제값)을 다른 서브블록의 모션 벡터를 정제하는데 사용할 수 있다. 도 16을 참조하면, 어파인 모션 예측이 수행된 후, 현재 블록의 제1 서브블록(64)에 대한 참조 서브블록(74)을 찾기 위해 기 설정된 범위(81) 내에서 지역 탐색이 추가로 수행될 수 있다. 지역 탐색을 수행하여 제1 서브블록(64)의 최종 참조 서브블록이 초기 참조 서브블록으로부터 변경된 경우, 최종 참조 서브블록의 위치와 초기 참조 서브블록의 위치 간의 오프셋이 정제값으로 획득될 수 있다. 디코더는 획득된 정제값을 이용하여 다른 서브블록의 모션 벡터를 보정할 수 있다. 즉, 현재 블록의 제2 서브블록(66)의 참조 서브블록은 어파인 모션 예측을 통해 획득된 초기 참조 서브블록(76)으로부터 상기 정제값에 기초하여 최종 참조 서브블록(78)으로 변경될 수 있다. 이와 같은 방법을 통해, 지역 탐색 적용에 따른 연산량을 줄일 수 있다.
도 17은 지역 탐색이 조합된 어파인 모션 보상 방법의 제3 실시예를 도시한다. 본 발명의 제3 실시예에 따르면, 어파인 모션 예측이 수행된 후 현재 블록의 특정 서브블록에 대하여 지역 탐색이 수행될 수 있으며, 지역 탐색을 통해 획득된 특정 서브블록의 최종 모션 벡터를 기초로 다른 서브블록의 모션 벡터가 획득될 수 있다. 도 17을 참조하면, 어파인 모션 예측이 수행된 후, 현재 블록의 제1 서브블록(64)에 대한 참조 서브블록(74)을 찾기 위해 기 설정된 범위(81) 내에서 지역 탐색이 추가로 수행될 수 있다. 지역 탐색을 수행하여 제1 서브블록(64)의 최종 모션 벡터는 초기 모션 벡터로부터 변경될 수 있다. 디코더는 획득된 제1 서브블록(64)의 최종 모션 벡터를 이용하여 제2 서브블록(65)의 모션 벡터를 획득할 수 있다. 일 실시예에 따르면, 제2 서브블록(65)의 모션 벡터는 제1 서브블록(64)의 최종 모션 벡터와 현재 블록의 CPMV에 기초하여 획득될 수 있다. 이와 같이, 특정 서브블록에 대하여 보정된 모션 벡터를 다른 서브블록의 모션 벡터 획득에 사용함으로, 서브블록 별로 더욱 정확한 모션 벡터를 획득할 수 있다.
도 18은 지역 탐색이 조합된 어파인 모션 보상 방법의 제4 실시예를 도시한다. 전술한 바와 같이, 3개 이상의 CPMV를 사용한 어파인 모션 예측이 수행될 수 있다. 그러나 어파인 모션 예측을 위한 CPMV 개수가 많아지면 시그널링 부담이 늘어날 수 있다. 따라서, 본 발명의 실시예에 따르면, CPMV 세트의 적어도 일부 CPMV들은 주변 블록들의 모션들로부터 유도되고, 나머지 CPMV는 현재 블록의 다른 CPMV들로부터 계산될 수 있다. 이때, 현재 블록의 다른 CPMV로부터 계산된 CPMV의 정확도를 높이기 위해 추가적인 지역 탐색을 수행하여 정제된 CPMV를 획득할 수 있다.
도 18을 참조하면, 현재 블록의 CPMV 세트에 포함된 CPMV들 v0, v1 및 v2 중에서, v2는 v0와 v1을 기초로 계산될 수 있다. 만약 v2를 서브블록의 모션 벡터를 구하는 데에 그대로 사용하면 v0와 v1만을 사용하여 서브블록의 모션 벡터를 구하는 경우의 부정확함이 남아있을 수 있으므로, 추가적인 지역 탐색이 수행될 수 있다. 일 실시예에 따르면, v2에 대응하는 위치와 가장 가까운 서브블록(66)에 대한 지역 탐색이 수행될 수 있다. 즉, 참조 서브블록(76)으로부터 기 설정된 범위(83) 내에서 지역 탐색을 추가적으로 수행하여, 정제된 CPMV인 v2'가 획득될 수 있다. 디코더는 현재 블록의 서브블록(68)의 모션 벡터를 획득하기 위해 정제된 CPMV v2'를 사용할 수 있다. 즉, 서브블록(68)의 모션 벡터는 v2', v0 및 v1에 기초하여 계산된다.
본 발명의 추가적인 실시예에 따르면, 더욱 정확한 모션 벡터 계산을 위해 다수의 CPMV들에 대한 정제가 수행될 수 있다. 예를 들어, 다수의 CPMV들 각각에 대응하는 위치에 인접한 서브블록에 대한 지역 탐색이 수행될 수 있다. 한편, CPMV의 계산 및 정제 순서에 따라 기존의 템플릿, 예를 들면 도 14의 실시예에서 설명된 모양의 템플릿이 존재하지 않는 서브블록이 발생할 수 있다. 도 18의 실시예에서 v2에 대한 정제를 서브블록(66)에 대한 템플릿 매칭으로 수행하고자 할 때, 서브블록(66)의 상측 주변 샘플들의 디코딩이 완료되지 않을 수 있다. 따라서, 이 경우 기존과 다른 모양의 템플릿이 사용될 수 있다. 서브블록의 템플릿으로는 이미 복원된 영역이 사용될 수 있다. 예를 들어, 서브블록(66)의 템플릿으로는 이미 복원된 좌측 주변 샘플들이 사용될 수 있다. 본 발명의 다른 실시예에 따르면, 템플릿을 만들기 위해 필요한 영역만 v0 및 v1을 이용하여 먼저 디코딩될 수 있다. 예를 들어, 도 18의 실시예에서 현재 블록의 좌측 서브블록들을 v0 및 v1을 이용하여 먼저 디코딩함으로, v2의 정제를 위해 서브블록(66)에 대한 템플릿이 획득될 수 있다.
도 19는 지역 탐색이 조합된 어파인 모션 보상 방법의 제5 실시예를 도시한다. 지역 탐색을 수행하기 위한 템플릿은 현재 서브블록(62)의 주변 샘플들을 이용하여 생성될 수 있다. 이때, 현재 서브블록(62)의 주변 샘플들도 현재 서브블록(62)과 유사한 움직임을 가질 수 있다. 도 19를 참조하면, 현재 픽쳐의 현재 블록(60)은 참조 픽쳐의 참조 블록(70)을 통해 예측 되고, 현재 서브블록(62)의 참조 서브블록(72)은 참조 픽쳐에서의 지역 탐색에 의해 정제될 수 있다. 이때, 현재 블록(60)이 참조 블록(70)으로 어파인 변환되는 것처럼, 현재 서브블록(62)의 템플릿 영역에도 어파인 변환이 필요할 수 있다. 따라서, 본 발명의 실시예에 따르면, 현재 서브블록(62)의 지역 탐색을 수행하기 위해, 어파인 변환이 수행된 템플릿(85)이 사용될 수 있다. 템플릿의 어파인 변환은 현재 블록의 CPMV들 중 적어도 일부에 기초하여 수행될 수 있다. 또한, 템플릿의 어파인 변환 과정에서 템플릿의 서브샘플링, 보간 또는 외삽 등의 동작이 수행될 수 있다.
도 20은 본 발명의 추가적인 실시예에 따른 어파인 모션 보상 방법을 도시한다. 본 발명의 추가적인 실시예에 따르면, 현재 블록의 각 서브블록 별로 모션 벡터를 획득하기 위해 사용되는 CPMV가 다를 수 있다. 도 20의 실시예에서, v0(즉, 제1 CPMV) 및 v1(즉, 제2 CPMV)은 이전 실시예들과 동일하며, v21은 현재 블록의 하좌측 모서리에 대응하는 제3 CPMV이다. 또한, v22는 v0에 대응하는 위치와 v21에 대응하는 위치 사이의 위치에 대응하는 제4 CPMV이다. 본 발명의 실시예에 따르면, 현재 블록 내에서 제1 서브블록(67)의 모션 벡터는 v0, v1 및 v22에 기초하여 계산되고, 제2 서브블록(69)의 모션 벡터는 v0, v1 및 v21에 기초하여 계산될 수 있다. 특히, 현재 블록이 정사각형이 아닌 블록일 경우에 이와 같이 서로 다른 CPMV 세트를 이용한 서브블록의 모션 벡터 예측이 수행될 수 있다. 한편, 도 20의 실시예에서 v21은 해당 위치(즉, 현재 블록의 하좌측 모서리)에 인접한 블록의 모션 벡터 정보로부터 획득될 수 있으며, v22은 해당 위치(즉, 현재 블록의 상좌측 모서리와 하좌측 모서리의 사이 지점)에 인접한 블록의 모션 벡터 정보로부터 획득될 수 있다.
도 21은 본 발명의 일 실시예에 따른 서브블록 기반의 시간적 모션 벡터 예측을 도시한다. 본 발명의 실시예에서, 서브블록 기반의 시간적 모션 벡터 예측(Subblock-based Temporal Motion Vector Prediction, SbTMVP)은 진보된 시간적 모션 벡터 예측(Advanced Temporal Motion Vector Prediction, ATMVP)로도 지칭될 수 있다.
시간적 모션 벡터 예측(TMVP)이 수행될 경우, 디코더는 현재 블록의 코로케이티드(collocated) 블록의 시간적 모션 벡터를 이용하여 현재 블록의 모션 벡터를 예측한다. 그러나 SbTMVP가 수행될 경우, 디코더는 코로케이티드 블록의 시간적 모션 벡터를 가져오기 전에 모션 시프트를 적용하여 병합 후보 블록을 획득한다. 여기서 모션 시프트 정보는 현재 블록의 공간적 이웃 블록 중 하나의 모션 벡터로부터 획득될 수 있다. 디코더는 현재 블록의 주변 블록들을 순차적으로 탐색하여 모션 시프트 정보가 획득될 주변 블록을 결정한다. 본 발명의 실시예에 따르면, 모션 시프트 정보를 획득하기 위해 탐색할 주변 블록들은 현재 블록의 좌측 인접 블록 및 상측 인접 블록 중 적어도 하나를 포함할 수 있다. 예를 들어, 주변 블록은 현재 블록에 인접한 좌측 블록(L), 상측 블록(A), 하좌측 블록(BL), 상우측 블록(AR) 또는 상좌측 블록(AL) 중 적어도 하나를 포함할 수 있으며, 상기 열거된 순서로 탐색이 수행될 수 있다. 다만, 본 발명은 이에 한정되지 않는다. 예를 들어, 모션 시프트 정보를 획득하기 위해 탐색할 주변 블록은 현재 블록의 좌측 블록(L)과 하좌측 블록(BL)을 포함할 수 있다. 디코더는 주변 블록에서 획득된 모션 시프트 정보에 기초하여 현재 블록의 병합 후보 블록을 획득한다.
병합 후보 블록은 NXN의 서브블록들로 구분될 수 있다. 디코더는 병합 후보 블록의 각 서브블록의 모션 벡터를 추출한다. 이때, 해당 병합 후보 블록에서 각 샘플 위치에 따라 서로 다른 모션 벡터가 사용되었을 수 있으므로, 각 서브블록의 중심 위치에 대응하는 모션 벡터가 추출될 수 있다. 도 21의 실시예에서는, 임의의 제1 병합 후보 블록의 서브블록들을 각각 M1B1, M1B2, M1B3 및 M1B4로 표시하였으며, 각 서브블록의 중심 위치에 대응하는 모션 벡터를 각각 MV_M1B1, MV_M1B2, MV_M1B3, MV_M1B4로 표시하였다. 해당 병합 후보 블록의 서브블록들에 모두 인터 예측이 수행되었고, 각 서브블록들이 모두 동일한 모션 벡터를 갖지 않으면, 해당 병합 후보 블록이 병합 블록으로 최종 결정된다. 만약 해당 병합 후보 블록의 서브블록들 중 하나 이상에 인트라 예측이 수행되었거나, 각 서브블록들이 모두 동일한 모션 벡터를 갖는다면, 해당 병합 후보 블록은 병합 블록으로 사용될 수 없다. 디코더는 다음 순서의 주변 블록을 탐색하여 SbTMVP에 사용될 수 있는 병합 후보 블록을 찾는다. 이와 같이 결정된 병합 블록을 기초로 SbTMVP가 수행될 수 있다. 상기 과정은 인코더와 디코더에서 동일하게 수행될 수 있으므로, 병합 블록을 획득하기 위한 주변 블록에 대한 정보는 별도로 시그널링되지 않을 수 있다.
SbTMVP에 사용될 병합 블록이 결정된 경우, 디코더는 해당 병합 블록의 각 서브블록들의 모션 벡터를 추출하여 현재 블록의 대응되는 각 서브블록의 모션 벡터를 예측한다. 현재 블록의 각 서브블록의 모션 벡터를 이용하여 각 서브블록의 예측자가 획득되며, 각 서브블록의 예측자를 조합하여 현재 블록의 예측자가 획득된다. 도 21의 실시예에서는 현재 블록 내의 NXN 서브블록들을 각각 CB1, CB2, CB3 및 CB4로 표시하였다. 각 서브블록(즉, CB1, CB2, CB3 및 CB4)은 대응되는 병합 서브블록(즉, M1B1, M1B2, M1B3 및 M1B4)의 모션 벡터를 이용하여 해당 서브블록의 예측자를 획득한다.
도 22 내지 도 27은 서브블록 기반의 시간적 모션 벡터 예측의 세부 실시예들을 도시한다. 각 도면의 실시예에서, 이전 도면의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 22는 SbTMVP를 이용한 인터 예측의 제1 실시예를 도시한다. 도 22(a)는 병합 후보 서브블록의 신호값과 해당 병합 후보 서브블록의 모션 벡터에 기초한 참조 서브블록의 신호값을 함께 사용하여 현재 서브블록을 구성하는 실시예를 도시한다. 또한, 도 22(b)는 병합 후보 서브블록의 신호값과 해당 병합 후보 서브블록의 모션 벡터에 기초한 참조 서브블록의 신호값을 택일적으로 사용하여 현재 서브블록을 구성하는 실시예를 도시한다.
먼저 도 22(a)를 참조하면, 현재 서브블록 CB1의 예측 블록은 현재 블록의 병합 후보 블록에서 대응되는 서브블록 M1B1의 신호값과, 해당 서브블록 M1B1의 모션 벡터에 기초하여 참조되는 참조 블록 RB1의 신호값 모두를 고려하여 생성될 수 있다. 이때, 서브블록 M1B1의 신호값과 참조 블록 RB1의 신호값 사이에 균등한 가중치를 적용하여 현재 서브블록 CB1의 예측 블록이 생성될 수 있다. 다른 실시예에 따르면, 각 참조 블록과 현재 블록 간의 POC 거리를 기반으로 비균등한 가중치를 적용하여 현재 서브블록 CB1의 예측 블록이 생성될 수 있다.
다음으로 도 22(b)를 참조하면, 현재 서브블록 CB1의 예측 블록은 현재 블록의 병합 후보 블록에서 대응되는 서브블록 M1B1의 신호값과, 해당 서브블록 M1B1의 모션 벡터에 기초하여 참조되는 참조 블록 RB1의 신호값 증 어느 하나에 기초하여 생성될 수 있다. 이때, 서브블록 M1B1의 신호값과 참조 블록 RB1의 신호값 중 어느 것을 선택할지 결정하기 위해 템플릿 매칭이 수행될 수 있다. 즉, 디코더는 현재 서브블록 CB1 주변의 샘플들로 구성된 템플릿 CB_Template을 서브블록 M1B1 주변의 샘플들로 구성된 템플릿 M1B1_Template 및 참조 블록 RB1 주변의 샘플들로 구성된 템플릿 RB1_Template과 상호 비교하고, 템플릿 간의 값 차이가 적은 블록을 참조하여 현재 블록의 예측 블록을 생성할 수 있다.
도 23은 SbTMVP를 이용한 인터 예측의 제2 실시예를 도시한다. 본 발명의 제2 실시예에 따르면, SbTMVP를 수행할 때 각 서브블록 별로 인터 예측 및 인트라 예측을 동적으로 사용하여 예측 서브블록이 생성될 수 있다. 종래에는 병합 후보 블록 내의 서브블록들 중 적어도 일부에 인트라 예측이 수행된 경우, 해당 병합 후보 블록은 SbTMVP에 사용될 수 없었다. 그러나 본 발명의 실시예에 따르면, 병합 후보 블록 내에서 임의의 개수의 서브블록들에 인트라 예측이 수행된 경우에도 해당 병합 후보 블록이 SbTMVP에 사용될 수 있다.
먼저, 도 23(a)의 실시예를 참조하면 현재 블록의 서브블록들인 CB1, CB2, CB3 및 CB4에 각각 대응되는 병합 후보 서브블록들 M1B1, M1B2, M1B3 및 M1B4 중 마지막 서브블록 M1B4에 인트라 예측이 수행되었다. 이때, 서브블록들 CB1, CB2 및 CB3의 예측 블록은 각각 인터 예측이 수행된 병합 후보 서브블록 M1B1, M1B2 및 M1B3의 모션 벡터를 사용하여 획득된다. 한편, 서브블록 CB4의 예측 블록은 병합 후보 서브블록 M1B4의 인트라 예측에 사용된 인트라 예측 모드 값을 참조하여 획득될 수 있다. 한편, 도 23(b)의 실시예를 참조하면 서브블록 CB4의 예측 블록은 해당 병합 후보 서브블록 M1B4의 주변 서브블록들 M1B1, M1B2 및 M1B3에서 사용된 모션 벡터들 MV_M1B1, MV_M1B2 및 MV_M1B3의 전부 또는 일부를 사용하여 획득될 수 있다.
도 24는 SbTMVP를 이용한 인터 예측의 제3 실시예를 도시한다. 본 발명의 제3 실시예에 따르면, 현재 블록에 SbTMVP를 수행하기 위해 다수의 병합 후보 블록들 중에서 가장 적합한 병합 블록이 선택될 수 있다. 도 24를 참조하면, 임의의 제1 병합 후보 블록의 서브블록들을 각각 M1B1, M1B2, M1B3 및 M1B4로 표시하였으며, 임의의 제2 병합 후보 블록의 서브블록들을 각각 M2B1, M2B2, M2B3 및 M2B4로 표시하였다. 종래의 경우, 제1 병합 후보 블록의 서브블록들에 모두 인터 예측이 수행되었고, 각 서브블록들이 모두 동일한 모션 벡터를 갖지 않으면, 해당 병합 후보 블록을 기초로 SbTMVP가 수행될 수 있다. 그러나 다수의 병합 후보 블록들이 위의 조건을 만족할 경우, 디코더는 다수의 병합 후보 블록들 중 가장 적합한 병합 후보 블록을 선택하여 SbTMVP를 수행할 수 있다.
더욱 구체적으로, 가장 적합한 병합 후보 블록을 결정하기 위해 템플릿 매칭이 수행될 수 있다. 즉, 디코더는 현재 블록 주변의 샘플들로 구성된 템플릿 CB_Template을 제1 병합 후보 블록 주변의 샘플들로 구성된 템플릿 M1_Template 및 제2 병합 후보 블록 주변의 샘플들로 구성된 템플릿 M2_Template과 상호 비교하고, 템플릿 간의 값 차이가 적은 후보 블록을 현재 블록의 병합 블록으로 결정하여 SbTMVP를 수행할 수 있다. 이때, 템플릿 간의 값 차이는 SAD(Sum of Absolute Difference) 또는 SATD(Sum of Absolute Transform Difference)를 통해 계산될 수 있다.
도 25는 SbTMVP를 이용한 인터 예측의 제4 실시예를 도시한다. 본 발명의 제4 실시예는 현재 블록에 SbTMVP를 수행하기 위해 다수의 병합 후보 블록들 중에서 가장 적합한 병합 블록을 선택하는 다른 방법을 제시한다. 도 25의 실시예에서는 제1 병합 후보 블록의 서브블록들 M1B1 및 M1B3와 제2 병합 후보 블록의 서브블록 M2B3에 인트라 예측이 수행되었다. 이 경우 병합 후보 블록이 특정 조건을 만족하는 경우 현재 블록의 SbTMVP에 사용될 수 있다.
첫째로, 각 병합 후보 블록 내에서 인트라 예측이 수행된 서브블록의 개수와 인터 예측이 수행된 서브블록의 개수 간의 비율에 기초하여 해당 병합 후보 블록이 현재 블록의 SbTMVP에 사용될 수 있는지 여부가 결정될 수 있다. 도 25의 실시예에서, 제1 병합 후보 블록에서는 총 4개의 서브블록들 중 2개의 서브블록에 인트라 예측이 수행되었고, 제2 병합 후보 블록에서는 총 4개의 서브블록들 중 1개의 서브블록에 인트라 예측이 수행되었다. 따라서, 기 설정된 비율을 만족하는 제2 병합 후보 블록이 SbTMVP에 사용되는 병합 블록으로 결정될 수 있다.
둘째로, 각 병합 후보 블록 내에서 인트라 예측이 수행된 서브블록의 위치가 특정 조건을 만족하는지 여부에 기초하여 해당 병합 후보 블록이 현재 블록의 SbTMVP에 사용될 수 있는지 여부가 결정될 수 있다. 예를 들어, 인트라 예측이 수행된 서브블록이 특정 위치(예를 들어, 병합 후보 블록 내에서 중간 영역 또는 하단 우측 영역)에 존재하는 경우, 해당 병합 후보 블록은 SbTMVP에 사용될 수 있다. 또한, 인트라 예측이 수행된 서브블록이 인터 예측이 수행된 서브블록들로 둘러싸인 경우, 해당 병합 후보 블록은 SbTMVP에 사용될 수 있다.
도 26은 SbTMVP를 이용한 인터 예측의 제5 실시예를 도시한다. 전술한 바와 같이, 병합 후보 블록의 서브블록들에 모두 인터 예측이 수행되었고, 각 서브블록들이 모두 동일한 모션 벡터를 갖지 않으면, 해당 병합 후보 블록을 기초로 SbTMVP가 수행될 수 있다. 그러나 본 발명의 제5 실시예에 따르면, 위의 조건이 만족되지 않는 경우에도, 병합 후보 블록이 SbTMVP에 사용될 수 있다.
더욱 구체적으로, 디코더는 전술한 순서에 따라 제1 병합 후보 블록을 찾는다. 도 26의 실시예에서, 제1 병합 후보 블록의 서브블록 M1B1, M1B3 및 M1B4에는 인터 예측이 수행되었고, 서브블록 B1B2에는 인트라 예측이 수행되었다. 따라서, 디코더는 제1 병합 후보 블록의 서브블록들 중 인터 예측이 수행된 서브블록 M1B1, M1B3 및 M1B4의 모션 벡터를 이용하여 현재 블록의 서브블록 CB1, CB3 및 CB4 각각의 예측 블록을 획득한다. 현재 블록의 서브블록 CB2의 예측 블록이 획득되지 않았으므로, 디코더는 전술한 순서에 따라 제2 병합 후보 블록을 찾는다. 제2 병합 후보 블록에서 상기 서브블록 CB2에 대응하는 병합 후보 서브블록 M2B2에 인터 예측이 수행된 경우, 서브블록 M2B2의 모션 벡터를 이용하여 현재 블록의 서브블록 CB2의 예측 블록이 획득될 수 있다. 이와 같이, 본 발명의 제5 실시예에 따르면 하나 이상의 병합 후보 블록들에서 인터 예측이 수행된 서브블록들을 순차적으로 참조하여 현재 블록의 예측 블록이 구성될 수 있다.
도 27은 SbTMVP를 이용한 인터 예측의 제6 실시예를 도시한다. 본 발명의 제6 실시예에 따르면, 현재 블록에 SbTMVP를 수행하기 위해 다수의 병합 후보 블록들의 모션 벡터들이 함께 사용될 수 있다. 더욱 구체적으로, 도 27의 실시예에서 제1 병합 후보 블록과 제2 병합 후보 블록이 모두 SbTMVP에 사용될 조건을 만족하는 경우, 현재 블록의 각각의 서브블록의 예측 블록은 대응하는 복수의 병합 후보 서브블록들의 모션 벡터들을 함께 이용하여 획득될 수 있다. 예를 들어, 현재 서브블록 CB1의 모션 벡터는 대응하는 병합 후보 서브블록들 M1B1과 M2B1의 모션 벡터들 MV_M1B1 및 MV_M2B1을 조합하여 획득될 수 있다. 이때, 모션 벡터 MV_M1B1과 모션 벡터 MV_M2B1 사이에 균등한 가중치를 적용하여 현재 서브블록 CB1의 모션 벡터가 생성될 수 있다. 다른 실시예에 따르면, 각 참조 블록과 현재 블록 간의 POC 거리를 기반으로 비균등한 가중치를 적용하여 현재 서브블록 CB1의 모션 벡터가 생성될 수 있다.
도 28은 본 발명의 실시예에 따른 적응적 루프 필터를 도시한다. 전술한 바와 같이, 인코더 및 디코더의 필터링부는 복원된 픽쳐의 품질 개선을 위해 필터링 연산을 수행한다. 필터링부를 통해 필터링된 픽쳐는 복호 픽쳐 버퍼에 저장된다. 이때, 인코더 또는 디코더의 루프 안에 있는 필터를 인-루프(in-loop) 필터라고 한다. 또한, 필터링 대상 샘플들의 특성에 따라 서로 다른 인-루프 필터를 적용하는 적응적 루프 필터(Adaptive Loop Filter, ALF)가 사용될 수 있다. 예를 들어, 하나 이상의 구배(gradient), 방향성(directionality) 또는 액티비티(activity)에 따라서 인-루프 필터가 적용될 수 있다. 또한, 필터링 대상 샘플들의 특성에 따라 필터 모양, 필터 길이, 필터 계수들, 동일한 필터가 적용되는 범위 등이 변경될 수 있다.
본 발명의 실시예에 따르면, 적응적 루프 필터는 다양한 모양의 필터들을 포함할 수 있으며, 디코더는 이를 적응적으로 적용할 수 있다. 예를 들어, 필터 모양은 정사각형, 다이아몬드, 직사각형, 원형 등을 포함할 수 있다. 또한, 적응적 루프 필터는 다수의 크기의 필터들을 포함할 수 있다. 여기서, 필터의 크기는 특정 샘플을 필터링할 때 고려되는 주변 샘플들의 범위를 가리킨다. 또한, 동일한 필터 모양 및 크기에 대하여, 적응적 루프 필터를 구성하는 다수의 필터 계수 세트가 존재할 수 있다. 디코더는 이와 같이 구성된 다수의 필터들 중 어느 하나를 적응적으로 적용할 수 있다.
도 28을 참조하면, 적응적 루프 필터는 3가지 다이아몬드 모양을 가질 수 있다. 도 28에서 가작 작은 사각형 각각은 하나 이상의 샘플에 대응되고, 사각형 내에 명시된 값은 필터 계수를 나타낸다. 도시된 바와 같이, 적응적 루프 필터는 5X5 다이아몬드 모양(즉, 도 28(a)), 7X7 다이아몬드 모양(즉, 도 28(b)) 및 9X9 다이아몬드 모양(즉, 도 28(c))를 포함할 수 있다. 각각의 필터를 구성하는 필터 계수 세트는 서로 다른 필터 계수들로 구성될 수 있다. 또는, 각각의 필터를 구성하는 필터 계수 세트의 적어도 일부 필터 계수들은 중복된 값을 가질 수 있다.
본 발명의 실시예에 따르면, 루마 성분과 크로마 성분에 대해 서로 다른 모양의 적응적 루프 필터가 적용될 수 있다. 예를 들어, 루마 성분에는 도 28에 도시된 3가지 모양의 필터 모두가 적용될 수 있고, 크로마 성분에는 1가지 모양의 필터, 예를 들면 5X5 다이아몬드 모양의 필터만 적용될 수 있다. 다른 실시예에 따르면, 각각의 필터 모양에 대해서 적용 가능한 필터 계수 세트가 루마 성분과 크로마 성분에 대해 다를 수 있다. 본 발명의 실시예에 따르면, 디코더에서 사용될 필터 모양에 대한 정보는 별도로 시그널링 될 수 있다. 이때, 시그널링이 적용되는 범위는 픽쳐, 타일(혹은 슬라이스), CTU 또는 CU일 수 있다. 디코더는 시그널링 된 필터 모양에 대응하는 필터 계수 세트를 이용하여 필터링을 수행할 수 있다.
적응적 루프 필터의 필터링 과정은 필터링 대상 샘플과 주변 샘플들 간의 가중치 합산으로 수행될 수 있다. 더욱 구체적으로, 적응적 루프 필터의 필터링 과정은 아래 수학식 4와 같이 표현될 수 있다.
Figure 112019009383287-pat00004
여기서, R(i+k, j+l)은 좌표 (i+k, j+l) 위치의 샘플을 나타내고, R'(i, j) 필터링된 샘플을 나타낸다. 또한, L은 필터 길이, f(k, l)은 좌표 (k, l)에 대응하는 필터 계수를 나타낸다. 상기 필터링 과정에 의해 필터링 대상 샘플 R(i, j)는 필터링된 샘플 R'(i, j)로 보정된다.
도 28(a)를 참조하면, 상기 수학식 4에 기초하여 샘플 C6가 필터링될 수 있다. 이때, 필터링된 샘플은 도시된 필터의 각 사각형에 대응하는 위치의 샘플 값을 해당 사각형의 필터 계수(즉, C0~C6 중 어느 하나)와 곱한 값을 합산한 값에 기초하여 획득된다.
이하, 적응적 루프 필터를 적용하기 위한 구배(gradient) 및 방향성의 계산 방법을 설명하도록 한다. 본 발명의 실시예에 따르면 구배는 값의 변화, 도함수(derivative), 가속도 등을 의미할 수 있다. 또한 방향성은 값의 움직임이 있는지 여부, 또는 어느 방향으로 움직임이 있는지 등의 정보를 나타낼 수 있다. 예를 들면, 방향성은 구배에 따라 결정되는 것이 가능하다. 본 발명의 실시예에 따르면, 구배는 수직 방향, 수평 방향, 2개의 대각선 방향 등에 대해 계산될 수 있다. 또한, 구배의 계산시 1-D 라플라시안(Laplacian)이 이용될 수 있다.
본 발명의 실시예에 따르면, 수직 방향, 수평 방향 및 2개의 대각선 방향에 대한 구배 gv, gh, gd1 및 gd2는 아래 수학식 5와 같이 계산될 수 있다.
Figure 112019009383287-pat00005
여기서, R(i, j)는 (i, j) 위치의 복원된 샘플 값이s다. 좌표 값 (i, j)는 특정 범위의 대표값일 수 있다. 즉, 구배, 방향성 등을 계산할 때, 특정 범위의 대표 좌표 (i, j)가 선택될 수 있다. 예를 들어, 2X2 블록의 상좌측 좌표가 해당 블록의 (i, j) 값으로 사용될 수 있다.
수학식 5를 참조하면, Vk,l, Hk,l, D1k,l, D2k,l이 (k, l)의 샘플 값과 양쪽 주변 샘플들의 값을 이용해서 계산될 수 있다. 즉, Vk,l는 수직 방향의 샘플 값 변화량, Hk,l는 수평 방향의 샘플 값 변화량, D1k,l은 제1 대각선 방향의 샘플 값 변화량, D2k,l은 제2 대각선 방향의 샘플 값 변화량을 각각 나타낸다. 이때, 구배 gv, gh, gd1 및 gd2는 기 설정된 범위에 대하여 Vk,l, Hk,l, D1k,l, D2k,l을 각각 합산한 값으로 계산될 수 있다. 수학식 5에 따르면, Vk,l, Hk,l, D1k,l, D2k,l을 계산할 때 사용되는 샘플들이 샘플 순서대로 값의 변화가 작거나 일정하면 구배가 작게 된다. 반면에, Vk,l, Hk,l, D1k,l, D2k,l을 계산할 때 사용되는 샘플들이 샘플 순서대로 값의 변화가 크면 구배가 크게 된다. 따라서, 특정 방향에 대한 구배가 크면 해당 방향으로 일정하지 않은 변화가 일어나거나 움직임이 크다고 할 수 있다. 본 발명의 실시예에 따르면, (i, j) 위치의 구배를 계산하기 위한 기 설정된 범위는 (i, j)의 x좌표 및 y좌표 각각에 대해 -2부터 +3까지의 오프셋을 적용한 범위일 수 있다.
한편, 전술한 방법에 따라 계산된 구배에 기초하여 방향성이 판단될 수 있다. 먼저, 구배 gv와 gh 중 큰 값과 작은 값을 각각 gmax h,v 및 gmin h,v로 표현할 수 있다. 또한, 구배 gd1와 gd2 중 큰 값과 작은 값을 각각 gmax d1,d2 및 gmin d1,d2로 표현할 수 있다. 방향성(D)은 전체적으로 움직임이 적은 것, 특정 방향으로 움직임이 큰 것, 특정 방향으로 움직임이 작은 것 등으로 구분될 수 있다. 예를 들어, 방향성(D)은 전체적으로 움직임이 적은 것, 수평 방향이나 수직 방향으로 움직임이 큰 것, 수평 방향이나 수직 방향으로 움직임이 작은 것, 대각선 방향으로 움직임이 큰 것, 대각선 방향으로 움직임이 작은 것 등으로 구분될 수 있다.
일 실시예에 따르면, 다음 단계들을 통해 방향성(D)이 분류될 수 있다. 이때 t1과 t2는 기 설정된 임계값이다.
단계 1: gmax h,v <= t1*gmin h,v 이고, gmax d1,d2 <= t1*gmin d1,d2 이면 D는 0이다. 이는 수평 방향 또는 수직 방향의 움직임이 적고, 2개의 대각선 방향의 움직임이 적은 것을 나타낼 수 있다. 또한, 이는 전체적으로 움직임이 적은 것을 나타낼 수 있다.
단계 2: gmax h,v/gmin h,v > gmax d1,d2/gmin d1,d2 이면, 단계 3으로 가고, 그렇지 않으면 단계 4로 간다. 단계 3으로 가는 것은 수평 방향 또는 수직 방향의 움직임이 2개의 대각선의 움직임보다 큰 것을 나타낼 수 있다. 과정 4로 가는 것은 2개의 대각선의 움직임이 수평 방향 또는 수직 방향의 움직임보다 큰 것을 나타낼 수 있다.
단계 3: gmax h,v > t2*gmin h,v 이면 D는 2이고, 그렇지 않으면 D는 1이다. D가 2인 것은 수평 방향의 움직임이 수직 방향의 움직임보다 많이 크거나, 반대로 수직 방향의 움직임이 수평 방향의 움직임보다 많이 큰 것을 나타낼 수 있다. 또한, D가 1인 것은 수평 방향의 움직임과 수직 방향의 움직임이 크게 차이 나지 않음을 나타낼 수 있다.
단계 4: gmax d1,d2 > t2*gmin d1,d2 이면 D는 4일 수 있고, 그렇지 않으면 D는 3일 수 있다. D가 4인 것은 2개의 대각선 방향의 움직임의 차이가 큰 것을 나타내고, D가 3인 것은 2개의 대각선 방향의 움직임의 차이가 크지 않은 것을 나타낼 수 있다.
이하, 적응적 루프 필터를 적용하기 위한 액티비티(activity)의 계산 방법을 설명하도록 한다. 액티비티는 특정 방향성을 나타내는 것이 아니라 특정 범위의 전체적인 움직임을 나타내는 값일 수 있다. 본 발명의 실시예에서 액티비티 A는 다음 수학식 6과 같이 계산될 수 있다.
Figure 112019009383287-pat00006
즉, 액티비티 A는 전술한 수직 방향의 샘플 값 변화량 Vk,l와, 수평 방향의 샘플 값 변화량 Hk,l을 기 설정된 범위에서 합산한 값으로 계산될 수 있다. 일 실시예에 따르면, 액티비티는 양자화되어 사용될 수 있다. 즉, 액티비티 A가 양자화된 A'가 사용될 수 있으며, A'는 0 내지 4 사이의 정수일 수 있다.
본 발명의 실시예에 따르면, 샘플 또는 샘플 범위를 특성에 따라 분류할 수 있다. 적응적 루프 필터는 상기 분류(즉, 클래스)에 따라 서로 다른 필터를 적용할 수 있다. 샘플 또는 샘플 범위는 전술한 방향성 또는 액티비티에 기초하여 분류될 수 있다. 이때, 샘플 범위는 2X2 블록일 수 있으나, 본 발명은 이에 한정되지 않는다. 일 실시예에 따르면, 방향성 D와 액티비티 A'를 기초로 다음 수학식 7과 같이 클래스 인덱스 C가 결정될 수 있다.
Figure 112019009383287-pat00007
이하, 본 발명의 일 실시예에 따른 필터 계수들의 기하학적 변환 방법을 설명하도록 한다. 인코더 및 디코더에서 적용 가능한 다수의 필터들 중 각 샘플에 대해 가장 적절한 필터가 사용되는 것이 바람직하다. 그러나 디코더에는 원본 영상이 없기 때문에 가장 적절한 필터를 판단하기 어려우며, 인코더 및 디코더 간의 약속에 의해 디코더는 필터를 선택해야 한다. 따라서 인코더는 필터 정보를 디코더에 전달할 수 있는데, 이 필터 정보 전달에 시그널링 오버헤드가 발생할 수 있다. 따라서 인코더는 제한된 필터 정보를 전달하고, 디코더는 수신된 필터 정보를 변형해서 사용하거나 저장된 필터 정보를 변형해서 사용할 수 있다. 필터 정보를 변형해서 사용하는 것의 한 예로, 아래 수학식 8과 같은 기하학적 변환 방법이 있다. 기하학적 변환은 특정 필터 모양에서 필터 계수들의 위치를 바꾸어 주는 연산이다.
Figure 112019009383287-pat00008
수학식 8을 참조하면, 기하학적 변환은 대각선 플립(diagonal flipping), 수직 플립(vertical flipping), 회전 등을 포함할 수 있다. K는 필터 크기이고, k와 l은 필터 계수들의 좌표를 나타낸다. k와 l은 0 내지 K-1의 값이고, (0, 0)이 상단 좌측 코너, (K-1, K-1)이 하단 우측 코너이다.
본 발명의 실시예에 따르면, 기하학적 변환이 수행된 필터 계수들을 이용하여 수학식 4에 따른 필터링이 수행될 수 있다. 기하학적 변환을 통해, 다양한 필터를 적은 시그널링으로 구현할 수 있다. 또한, 특정 움직임 특성(즉, 구배, 방향성, 액티비티)에 적합한 필터 계수 세트가 기하학적 변환을 통해 다른 움직임 특성에 적합한 필터 계수 세트로 변형될 수 있다. 예를 들어, 수직 움직임에 적합한 필터 계수들이 기하학적 변환을 통해 대각선 움직임에 적합한 계수들로 변형될 수 있다.
본 발명의 일 실시예에 따르면 기하학적 변환은 구배에 의해 결정될 수 있다. 예를 들어, gd2 < gd1 이고 gh < gv 이면 기하학적 변환이 수행되지 않을 수 있다. 또한, gd2< gd1 이고 gv < gh 이면 대각선 플립이 수행될 수 있다. 또한 gd1 < gd2이고 gh < gv이면 수직 플립이 수행될 수 있다. 또한, gd1 < gd2이고 gv < gh 이면 회전이 수행될 수 있다. 이때 회전은 시계 방향 회전 또는 반시계 방향 회전일 수 있다.
이하, 본 발명의 일 실시예에 따른 필터 파라미터 시그널링 방법을 설명하도록 한다. 필터 파라미터는 픽쳐 레벨, 타일 레벨(또는, 슬라이스 레벨), CTU 레벨, CU 레벨 등으로 시그널링 될 수 있다. 시그널링 오버헤드를 줄이기 위해, 필터 파라미터는 픽쳐 레벨 또는 타일 레벨(또는, 슬라이스 레벨)로 시그널링 될 수 있다. 필터 계수들이 필터 파라미터로서 시그널링 될 수 있다. 일 실시예에 따르면, 시그널링 오버헤드를 줄이기 위해 다르게 서로 다른 클래스에 대해 공통의 필터 계수들이 사용될 수 있다(즉, 병합). 또한, 디코더에 저장된 필터 계수들이 재사용될 수도 있다. 예를 들어, 참조 픽쳐의 필터링을 위해 저장된 필터 계수 세트가 현재 픽쳐의 필터링을 위해 사용될 수 있다. 이를 위해, 필터 계수들을 참조하기 위한 참조 픽쳐 인덱스가 시그널링 될 수 있다.
다른 실시예에 따르면, 필터 계수들의 재사용, 시간적 예측 등을 위해 FIFO(first-in-first-out)으로 필터 계수 세트가 관리될 수 있다. 또한, 시간적 확장성(scalability)를 지원하기 위해 다중 후보 리스트가 유지될 수 있다. 이때 필터 계수 세트에 시간적 계층 인덱스가 할당될 수 있다. 또 다른 실시예에 따르면, 시그널링 오버헤드를 줄이기 위해, 시그널링 되는 필터 계수 세트 이외에 고정된 필터들이 유지될 수 있다. 고정된 필터를 사용하는 경우, 인코더 및 디코더는 필터 계수들의 송수신 없이 필터 인덱스를 송수신할 수 있다. 시그널링 되는 필터 계수 세트와 고정된 필터가 모두 사용될 수 있는 경우, 고정된 필터가 사용되는지 여부를 나타내는 플래그와 필터 인덱스가 전송될 수 있다.
또한, 인-루프 필터 또는 적응적 루프 필터가 사용되는지 여부, 어떠한 필터가 사용되는지에 대한 정보가 루마 성분과 크로마 성분에 대해 서로 다른 레벨로 지시될 수 있다. 예를 들어, 루마 성분에 대해 더 세부적인 필터링 프로세스를 적용하기 위해, 루마 성분에 대한 시그널링 레벨이 크로마 성분에 대한 시그널링 레벨보다 작을 수 있다. 즉, 루마 성분에 대해서는 CU 단위로 필터링 프로세스가 제어되고, 크로마 성분에 대해서는 픽쳐 단위로 필터링 프로세스가 제어될 수 있다.
도 29는 본 발명의 일 실시예에 따른 필터링 프로세스를 도시한다. 본 발명의 일 실시예에 따르면, 전술한 클래스, 구배, 방향성 및/또는 액티비티(이하, 샘플 특성)를 계산하는 범위와 필터 모양이 일치하지 않을 수 있다. 예를 들어, 필터 모양(또는, 필터 길이)는 다양할 수 있지만, 샘플 특성의 계산이 기 설정된 범위에서 수행되는 경우 이들 간의 불일치가 발생할 수 있다. 도 29를 참조하면, 샘플 특성의 계산이 수행되는 기 설정된 범위는 6X6의 영역(점선으로 표시됨)이지만, 적응적 루프 필터는 5X5 다이아몬드 모양(즉, 도 29(a)), 7X7 다이아몬드 모양(즉, 도 29(b)), 또는 9X9 다이아몬드 모양(즉, 도 29(c))을 가질 수 있다. 이때, 5X5 다이아몬드 모양의 적응적 루프 필터는 기 설정된 범위에 의해 커버 되지만, 7X7 다이아몬드 모양과 9X9 다이아몬드 모양의 적응적 루프 필터들은 기 설정된 범위에 의해 커버되지 않는다. 따라서, 클래스에는 사용되지만 필터링에는 사용되지 않는 샘플, 클래스에는 사용되지 않지만 필터링에는 사용되는 샘플이 각각 발생할 수 있다. 이와 같은 불일치가 발생할 경우, 분류 과정이 필터 모양에 의해 필터링 되는 샘플에 영향을 주는 범위의 특성을 잘 표현하지 못하게 되어, 적응적 루프 필터의 성능이 저하될 수 있다.
도 30은 본 발명의 다른 실시예에 따른 필터링 프로세스를 도시한다. 전술한 문제점을 해결하기 위해, 샘플 특성의 계산을 위한 기 설정된 범위는 필터 모양(또는, 필터 길이)에 종속적으로 결정될 수 있다. 즉, 기 설정된 범위는 더 큰 필터가 사용될수록 더 큰 값으로 설정될 수 있다. 예를 들어, 수직 방향, 수평 방향 및 2개의 대각선 방향에 대한 구배 gv, gh, gd1 및 gd2는 아래 수학식 9와 같이 계산될 수 있다.
Figure 112019009383287-pat00009
또한, 액티비티 A는 다음 수학식 10과 같이 계산될 수 있다.
Figure 112019009383287-pat00010
여기서, L은 필터 길이이다.
전술한 수학식 5와 수학식 6의 실시예에서는 샘플 값 변화량 Vk,l, Hk,l, D1k,l 및 D2k,l을 계산하기 위한 기 설정된 범위가 (i, j)의 x좌표 및 y좌표 각각에 대해 -2부터 +3까지의 오프셋을 적용한 범위로 고정되었다. 그러나 수학식 9 및 수학식 10의 실시예에 따르면, 기 설정된 범위는 필터 길이 L에 기초한 함수 f1(L) 및 f2(L)에 의해 가변적으로 결정될 수 있다. 즉, 기 설정된 범위는 (i, j)의 x좌표 및 y좌표 각각에 대해 -f1(L)부터 +f2(L)까지의 오프셋을 적용한 범위로 결정된다. 일 실시예에 따르면, f1(L)은 floor(L/2)이고, f2(L)은 (floor(L/2)+1)일 수 있다(여기서, L은 5, 7 또는 9).
도 30을 참조하면, 샘플 특성의 계산이 수행되는 기 설정된 범위는 필터 모양에 따라 가변할 수 있다. 따라서, 5X5 다이아몬드 모양(즉, 도 30(a)), 7X7 다이아몬드 모양(즉, 도 30(b)), 및 9X9 다이아몬드 모양(즉, 도 30(c)) 모두의 경우 적응적 루프 필터가 기 설정된 범위에 의해 커버될 수 있다.
도 31은 본 발명의 추가적인 실시예에 따른 필터 모양을 도시한다. 전술한 실시예들에 따르면, 샘플 특성의 계산이 수행되는 기 설정된 범위는 정사각형이고, 필터는 다이아몬드 모양이기 때문에 계산을 위한 참조 영역과 필터링이 수행되는 참조 영역간의 불일치가 발생한다. 따라서, 본 발명의 추가적인 실시예에 따르면, 필터 모양과 계산 참조 영역을 일치시키기 위해, 필터 모양과 계산 참조 영역이 모두 정사각형 모양으로 정의되거나 모두 다이아몬드 모양으로 정의될 수 있다. 도 31을 참조하면, 필터 모양과 계산 참조 영역이 모두 정사각형 모양으로 정의될 수 있다. 이때, 필터는 3X3 정사각형 모양(즉, 도 31(a)), 5X5 정사각형 모양(즉, 도 31(b)), 7X7 정사각형 모양(즉, 도 31(c)), 또는 9X9 정사각형 모양(즉, 도 31(d))을 가질 수 있다.
도 32는 본 발명의 추가적인 실시예에 따른 샘플 특성 계산 방법을 도시한다. 전술한 실시예들에서는 샘플 특성 계산을 위해 샘플 값 변화량이 4가지 방향 즉, 수평 방향, 수직 방향, 제1 대각선 방향(D1) 및 제2 대각선 방향(D2)에 대해 수행되었다. 그러나 본 발명의 추가적인 실시예에 따르면, 상기 4가지 방향 이외에 추가적인 방향에 대해서도 샘플 특성이 계산될 수 있다. 이에 따라, 방향성 및 클래스가 더욱 여러가지로 정의될 수 있으며, 샘플 및 샘플 범위의 특성에 더욱 적합한 인-루프 필터링이 수행될 수 있다.
도 32를 참조하면, 각 사각형은 샘플을 나타내며 샘플 특성 계산을 위해 추가되는 방향은 D3, D4 및 D5로 표시되었다. 기존의 4가지 방향에 대한 샘플 특성 계산은 정수 샘플에 대해 수행되었으나, 추가적인 각도에서의 샘플 특성 계산을 위해 정수 샘플 사이의 보간 된 값이 사용될 수 있다. 다른 실시예에 따르면, 연속된 위치의 샘플들이 아닌 떨어진 위치의 샘플들을 사용하여 추가적인 각도에서의 샘플 특성이 계산될 수 있다. 예를 들어, (1, 1) 위치의 샘플 특성 계산을 위해 (0, -1), (2, 3) 위치의 샘플들을 사용함으로 새로운 각도(예, D5)에서의 샘플 특성 정보가 획득될 수 있다.
또 다른 실시예에 따르면, 다수의 임계값을 사용한 구배 비교를 통해 방향성을 더욱 다양화할 수 있다. 예를 들어, 전술한 방향성(D)을 분류하는 과정에서 더 많은 임계값을 사용하여 방향성(D)의 클래스를 세분화 할 수 있다. 이와 같이, 추가적인 방향들이 샘플 특성 계산을 위해 사용됨에 따라 수학식 8의 실시예에서도 추가적인 방향의 기하학적 변환이 사용될 수 있다. 예를 들어, D3, D4 및 D5 각도에 대한 플립, 90도 이외의 각도에 대한 회전 등이 정의될 수 있다. 이때, 필터 계수들 또는 샘플 값의 보간, 패딩 과정이 추가될 수 있다.
도 33은 본 발명의 추가적인 실시예에 따른 필터 계수 재사용 방법을 도시한다. 전술한 바와 같이, 필터 계수들의 시그널링 오버헤드를 줄이기 위해 참조 픽쳐에 적용된 필터 계수들이 재사용될 수 있다. 이러한 과정은 픽쳐 레벨에서 수행될 수 있다. 즉, 현재 픽쳐 전체가 하나의 참조 픽쳐로부터 획득된 필터 계수들을 재사용할 수 있다. 이러한 경우 현재 픽쳐에서 다양한 필터가 사용되기 어려울 수 있다. 따라서 본 발명의 일 실시예에 따르면 블록 별로 서로 다른 참조 픽쳐의 필터 계수들을 재사용할 수 있다. 이때, 다수의 참조 픽쳐들 중 해당 블록의 예측에 이용되는 참조 픽쳐의 필터 계수들이 재사용될 수 있다. 즉, 현재 블록에서 재사용되는 필터 계수들은 현재 블록의 참조 픽쳐 인덱스에 기초하여 획득될 수 있다. 이를 통해, 필터 계수 재사용을 위한 별도의 참조 픽쳐 인덱스를 지시하는 시그널링 오버헤드를 줄일 수 있다.
더욱 구체적으로, 참조 픽쳐에서 수행된 구배 및 액티비티의 계산 결과가 현재 블록을 위해 재사용될 수 있다. 또는, 참조 픽쳐에서 계산된 클래스 결과가 현재 블록을 위해 재사용될 수 있다. 이때, 참조 픽쳐에서의 참조 블록과 현재 블록은 유사할 것이므로, 참조 블록의 구배, 액티비티, 및 클래스 결과가 현재 블록을 위해 사용될 수 있다.
도 34은 본 발명의 또 다른 실시예에 따른 필터링 프로세스를 도시한다. 본 발명의 일 실시예에 따르면, 방향성, 클래스 또는 필터 계수들을 결정할 때, 디코딩 과정의 다른 정보가 참조될 수 있다. 예를 들어, 방향성, 클래스 또는 필터 계수들은 현재 블록의 인트라 예측 모드를 참조하여 결정될 수 있다. 또한, 적응적 루프 필터를 적용할 때 현재 블록의 인트라 예측 모드를 참조하여 구배, 방향성, 클래스의 계산을 일부 생략할 수 있다.
먼저, 도 34(a)를 참조하면 현재 블록의 인트라 예측 모드는 각도 모드일 수 있다. 이러한 경우, 해당 각도 방향으로 샘플 값들이 유사할 가능성이 높다. 따라서, 현재 블록의 인트라 예측 모드가 각도 모드인 경우 해당 각도 방향과 수직인 방향 혹은 해당 각도 방향과 수직인 방향에 가까운 방향으로의 구배가 크다고 결정될 수 있다. 또는, 해당 각도 방향과 수직인 방향 혹은 해당 각도 방향과 수직인 방향에 가까운 방향으로의 방향성이 있다고 결정될 수 있다. 따라서, 현재 블록의 구배, 방향성, 클래스 계산 등이 생략될 수 있고, 이에 기초하여 기하학적 변환을 어떻게 할지 선택할 수 있다.
다음으로, 도 34(b)를 참조하면 현재 블록의 인트라 예측 모드는 평면 모드 또는 DC 모드일 수 있다. 이러한 경우, 각도 모드와 달리 특정 방향으로의 방향성이 적을 가능성이 높다. 따라서, 현재 블록의 인트라 예측 모드가 평면 모드 또는 DC 모드인 경우(즉, 인트라 예측 모드가 각도 모드가 아닌 경우), 모든 방향으로 구배가 크지 않다고 결정될 수 있다. 따라서, 현재 블록의 구배, 방향성, 클래스 계산 등이 생략될 수 있고, 이에 기초하여 기하학적 변환을 어떻게 할지 선택할 수 있다. 예를 들어, 이러한 경우 방향성이 없으므로 기하학적 변환이 수행되지 않을 수 있다.
전술한 도 34의 실시예에 따른 필터링 방법은 현재 블록의 크기가 기 설정된 크기인 경우로 한정될 수 있다. 또한, 이러한 방법이 적용되는 영역은 인트라 예측의 참조 샘플과 가까운 부분으로 한정될 수 있다. 인트라 예측에서 인트라 예측 모드는 참조 샘플과 가까운 부분의 특징을 더 잘 나타낼 수 있기 때문이다.
본 발명의 추가적인 실시예에 따르면, 크로마 성분에 대한 적응적 루프 필터를 적용할 때 루마 성분에 대한 적응적 루프 필터 정보를 참조할 수 있다. 이것은 루마 성분와 크로마 성분 간에 유사성이 있기 때문이다. 이때 참조하는 정보들은 필터 모양, 클래스, 필터 계수 등을 포함할 수 있다. 이와 같이 정보를 참조함에 따라 해당 정보에 대한 시그널링을 줄일 수 있다. 예를 들어, 전술한 실시예에서는 루마 성분에 대해 3가지 필터 모양 중에서 선택된 필터가 사용되고, 크로마 성분에 대해서는 하나의 필터 모양이 고정적으로 사용되었다. 그러나 본 발명의 추가적인 실시예에 따르면, 크로마 성분에 대한 필터 모양은 루마 성분의 필터 모양을 따라갈 수 있고, 이때 크로마 성분에 대한 필터 모양을 시그널링 하지 않을 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (18)

  1. 장치에 의해 비디오 신호를 디코딩하기 위한 방법에 있어서,
    컨트롤 포인트 모션 벡터 세트 후보들 중에서 컨트롤 포인트 모션 벡터 세트를 선택하기 위한 지시자를 획득하는 단계,
    상기 컨트롤 포인트 모션 벡터 세트 후보들은 제1 컨트롤 포인트 모션 벡터 세트, 제2 컨트롤 포인트 모션 벡터 세트, 및 제3 컨트롤 포인트 모션 벡터 세트를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터 세트는 제1 컨트롤 포인트 모션 벡터, 제2 컨트롤 포인트 모션 벡터, 및 제3 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제2 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터, 상기 제2 컨트롤 포인트 모션 벡터, 및 제4 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상단 좌측 코너에 대응하고,
    상기 제2 컨트롤 포인트 모션 벡터는 상기 현재 블록의 상단 우측 코너에 대응하고,
    상기 제3 컨트롤 포인트 모션 벡터는 상기 현재 블록의 하단 좌측 코너에 대응하고,
    상기 제4 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 상기 제2 컨트롤 포인트 모션 벡터 간의 차이에 기초하여 결정되고;
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들에 기초하여 상기 현재 블록의 서브블록의 모션 벡터를 획득하는 단계; 및
    상기 현재 블록의 서브블록의 모션 벡터에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 컨트롤 포인트 모션 벡터 세트 후보들을 포함하는 후보 리스트를 생성하는 단계를 더 포함하고,
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트는 상기 후보 리스트 중 상기 지시자에 기초하여 선택되는, 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 제3 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터 및 제5 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제5 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터 및 상기 제3 컨트롤 포인트 모션 벡터에 기초하여 결정되는, 방법.
  9. 삭제
  10. 비디오 신호를 디코딩하기 위한 장치에 있어서,
    상기 장치는 프로세서를 포함하며,
    상기 프로세서는,
    컨트롤 포인트 모션 벡터 세트 후보들 중에서 컨트롤 포인트 모션 벡터 세트를 선택하기 위한 지시자를 획득하고,
    상기 컨트롤 포인트 모션 벡터 세트 후보들은 제1 컨트롤 포인트 모션 벡터 세트, 제2 컨트롤 포인트 모션 벡터 세트, 및 제3 컨트롤 포인트 모션 벡터 세트를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터 세트는 제1 컨트롤 포인트 모션 벡터, 제2 컨트롤 포인트 모션 벡터, 및 제3 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제2 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터, 상기 제2 컨트롤 포인트 모션 벡터, 및 제4 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상단 좌측 코너에 대응하고,
    상기 제2 컨트롤 포인트 모션 벡터는 상기 현재 블록의 상단 우측 코너에 대응하고,
    상기 제3 컨트롤 포인트 모션 벡터는 상기 현재 블록의 하단 좌측 코너에 대응하고,
    상기 제4 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 상기 제2 컨트롤 포인트 모션 벡터 간의 차이에 기초하여 결정되고;
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들에 기초하여 상기 현재 블록의 서브블록의 모션 벡터를 획득하고; 및
    상기 현재 블록의 서브블록의 모션 벡터에 기초하여 상기 현재 블록을 복원하도록 구성되는, 장치.
  11. 장치에 의해 비디오 신호를 인코딩하기 위한 방법에 있어서,
    디코딩 방법을 이용하여 디코딩되는 비트스트림을 획득하는 단계를 포함하되,
    상기 디코딩 방법은,
    컨트롤 포인트 모션 벡터 세트 후보들 중에서 컨트롤 포인트 모션 벡터 세트를 선택하기 위한 지시자를 획득하는 단계,
    상기 컨트롤 포인트 모션 벡터 세트 후보들은 제1 컨트롤 포인트 모션 벡터 세트, 제2 컨트롤 포인트 모션 벡터 세트, 및 제3 컨트롤 포인트 모션 벡터 세트를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터 세트는 제1 컨트롤 포인트 모션 벡터, 제2 컨트롤 포인트 모션 벡터, 및 제3 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제2 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터, 상기 제2 컨트롤 포인트 모션 벡터, 및 제4 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상단 좌측 코너에 대응하고,
    상기 제2 컨트롤 포인트 모션 벡터는 상기 현재 블록의 상단 우측 코너에 대응하고,
    상기 제3 컨트롤 포인트 모션 벡터는 상기 현재 블록의 하단 좌측 코너에 대응하고,
    상기 제4 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 상기 제2 컨트롤 포인트 모션 벡터 간의 차이에 기초하여 결정되고;
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들에 기초하여 상기 현재 블록의 서브블록의 모션 벡터를 획득하는 단계; 및
    상기 현재 블록의 서브블록의 모션 벡터에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 방법.
  12. 비디오 신호를 인코딩하기 위한 장치에 있어서,
    상기 장치는 프로세서를 포함하고,
    상기 프로세서는 디코딩 방법을 이용하여 디코딩되는 비트스트림을 획득하도록 구성되며,
    상기 디코딩 방법은,
    컨트롤 포인트 모션 벡터 세트 후보들 중에서 컨트롤 포인트 모션 벡터 세트를 선택하기 위한 지시자를 획득하는 단계,
    상기 컨트롤 포인트 모션 벡터 세트 후보들은 제1 컨트롤 포인트 모션 벡터 세트, 제2 컨트롤 포인트 모션 벡터 세트, 및 제3 컨트롤 포인트 모션 벡터 세트를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터 세트는 제1 컨트롤 포인트 모션 벡터, 제2 컨트롤 포인트 모션 벡터, 및 제3 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제2 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터, 상기 제2 컨트롤 포인트 모션 벡터, 및 제4 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상단 좌측 코너에 대응하고,
    상기 제2 컨트롤 포인트 모션 벡터는 상기 현재 블록의 상단 우측 코너에 대응하고,
    상기 제3 컨트롤 포인트 모션 벡터는 상기 현재 블록의 하단 좌측 코너에 대응하고,
    상기 제4 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 상기 제2 컨트롤 포인트 모션 벡터 간의 차이에 기초하여 결정되고;
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들에 기초하여 상기 현재 블록의 서브블록의 모션 벡터를 획득하는 단계; 및
    상기 현재 블록의 서브블록의 모션 벡터에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 장치.
  13. 디코딩 방법에 의해 디코딩되는 비트스트림을 저장하는 비일시적 컴퓨터 판독가능한 매체에 있어서,
    상기 디코딩 방법은,
    컨트롤 포인트 모션 벡터 세트 후보들 중에서 컨트롤 포인트 모션 벡터 세트를 선택하기 위한 지시자를 획득하는 단계,
    상기 컨트롤 포인트 모션 벡터 세트 후보들은 제1 컨트롤 포인트 모션 벡터 세트, 제2 컨트롤 포인트 모션 벡터 세트, 및 제3 컨트롤 포인트 모션 벡터 세트를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터 세트는 제1 컨트롤 포인트 모션 벡터, 제2 컨트롤 포인트 모션 벡터, 및 제3 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제2 컨트롤 포인트 모션 벡터 세트는 상기 제1 컨트롤 포인트 모션 벡터, 상기 제2 컨트롤 포인트 모션 벡터, 및 제4 컨트롤 포인트 모션 벡터를 포함하고,
    상기 제1 컨트롤 포인트 모션 벡터는 현재 블록의 상단 좌측 코너에 대응하고,
    상기 제2 컨트롤 포인트 모션 벡터는 상기 현재 블록의 상단 우측 코너에 대응하고,
    상기 제3 컨트롤 포인트 모션 벡터는 상기 현재 블록의 하단 좌측 코너에 대응하고,
    상기 제4 컨트롤 포인트 모션 벡터는 상기 제1 컨트롤 포인트 모션 벡터와 상기 제2 컨트롤 포인트 모션 벡터 간의 차이에 기초하여 결정되고;
    상기 지시자에 의해 지시된 상기 컨트롤 포인트 모션 벡터 세트의 컨트롤 포인트 모션 벡터들에 기초하여 상기 현재 블록의 서브블록의 모션 벡터를 획득하는 단계; 및
    상기 현재 블록의 서브블록의 모션 벡터에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020190010111A 2018-01-25 2019-01-25 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 Active KR102800978B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020250051827A KR20250057765A (ko) 2018-01-25 2025-04-21 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020180009657 2018-01-25
KR20180009657 2018-01-25
KR20180024881 2018-02-28
KR1020180024881 2018-02-28
KR20180024956 2018-03-01
KR1020180024956 2018-03-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020250051827A Division KR20250057765A (ko) 2018-01-25 2025-04-21 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190090728A KR20190090728A (ko) 2019-08-02
KR102800978B1 true KR102800978B1 (ko) 2025-04-30

Family

ID=67394598

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190010111A Active KR102800978B1 (ko) 2018-01-25 2019-01-25 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
KR1020250051827A Pending KR20250057765A (ko) 2018-01-25 2025-04-21 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020250051827A Pending KR20250057765A (ko) 2018-01-25 2025-04-21 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치

Country Status (4)

Country Link
US (3) US11570443B2 (ko)
KR (2) KR102800978B1 (ko)
CN (5) CN118042154A (ko)
WO (1) WO2019147079A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084510A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Adaptive control point selection for affine coding
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
JP7386883B2 (ja) 2019-02-27 2023-11-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） サブペル動きベクトルしきい値を使用するデブロッキング
US11910024B2 (en) * 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
CN119383359A (zh) * 2019-03-26 2025-01-28 Lg 电子株式会社 基于mpm列表的帧内预测方法及其设备
US11432002B2 (en) * 2019-07-08 2022-08-30 Hyundai Motor Company Method and apparatus for encoding and decoding video using inter-prediction
JP7481430B2 (ja) * 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
US11223840B2 (en) * 2019-08-19 2022-01-11 Tencent America LLC Method and apparatus for video coding
CN110740317B (zh) 2019-09-18 2021-10-15 浙江大华技术股份有限公司 子块运动预测、编码方法、编码器及存储装置
EP4054192A4 (en) * 2019-10-31 2023-12-20 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO CODING METHOD AND APPARATUS FOR PERFORMING INTER PREDICTION ACCORDING TO AN AFFINE MODEL
EP4082202A4 (en) * 2019-12-24 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. MOTION ESTIMATION AREA FOR MERGER CANDIDATES
CN114071157A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
US11290736B1 (en) * 2021-01-13 2022-03-29 Lemon Inc. Techniques for decoding or coding images based on multiple intra-prediction modes
US11936877B2 (en) 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
BR112023020254A2 (pt) * 2021-04-12 2023-11-21 Qualcomm Inc Correspondência de modelo baseado em predição afim para codificação de vídeo
EP4437725A1 (en) * 2021-11-25 2024-10-02 InterDigital CE Patent Holdings, SAS Method and device for picture encoding and decoding
KR20240124974A (ko) * 2021-12-15 2024-08-19 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법
EP4552328A1 (en) * 2022-07-05 2025-05-14 Alibaba (China) Co., Ltd. Decoder-side motion vector refinement for affine motion compensation
CN120814231A (zh) * 2023-03-02 2025-10-17 抖音视界有限公司 用于视频处理的方法、装置和介质
US20240314342A1 (en) * 2023-03-17 2024-09-19 Qualcomm Incorporated Cascading and parallel processing of affine dmvr video coding tools
CN120883619A (zh) * 2023-04-03 2025-10-31 北京达佳互联信息技术有限公司 用于经滤波的帧内块复制的方法和设备
KR20250006739A (ko) * 2023-07-04 2025-01-13 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590511B1 (ko) * 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101857801B1 (ko) * 2010-01-19 2018-05-14 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US9609349B2 (en) * 2010-12-14 2017-03-28 M & K Holdings Inc. Apparatus for decoding a moving picture
JP5477340B2 (ja) * 2011-05-31 2014-04-23 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
CN107635140B (zh) * 2011-09-09 2020-12-08 株式会社Kt 用于解码视频信号的方法
US20130301727A1 (en) 2012-05-14 2013-11-14 Qualcomm Incorporated Programmable and scalable integer search for video encoding
WO2015141977A1 (ko) * 2014-03-20 2015-09-24 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
MY190198A (en) 2015-03-10 2022-04-04 Huawei Tech Co Ltd Picture prediction method and related apparatus
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
KR20180028513A (ko) 2015-08-04 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN108886618A (zh) * 2016-03-24 2018-11-23 Lg 电子株式会社 视频编码系统中的帧间预测方法和装置
KR102715635B1 (ko) * 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
ES2699749B2 (es) 2016-07-05 2020-07-06 Kt Corp Método y aparato para procesar una señal de vídeo
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
EP3422720A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Multiple predictor candidates for motion compensation
EP3468196A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Methods and apparatuses for video encoding and video decoding
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
JP2019118101A (ja) * 2017-12-13 2019-07-18 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ビデオコーディング方法及びその画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al. Algorithm Description of Joint Exploration Test Model 3, Joint Video exploration Team(JVET), JVET-C1001_v1, 2016-07-02, pp. 1-35
Yao-Jen Chang et al., CE4-related: Simplification of Affine merge common codebase, Joint Video exploration Team(JVET), JVET-L0390r3, 2018-10-07, pp.1-4

Also Published As

Publication number Publication date
WO2019147079A1 (ko) 2019-08-01
US20250047863A1 (en) 2025-02-06
CN118042152A (zh) 2024-05-14
CN118042154A (zh) 2024-05-14
CN111656783B (zh) 2024-03-08
US12149702B2 (en) 2024-11-19
CN118042153A (zh) 2024-05-14
CN111656783A (zh) 2020-09-11
US20210051329A1 (en) 2021-02-18
CN118042151A (zh) 2024-05-14
KR20250057765A (ko) 2025-04-29
US20230140112A1 (en) 2023-05-04
US11570443B2 (en) 2023-01-31
KR20190090728A (ko) 2019-08-02

Similar Documents

Publication Publication Date Title
KR102800978B1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
KR102784515B1 (ko) 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
US12101501B2 (en) Video signal processing method and apparatus using adaptive motion vector resolution
KR102708052B1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
KR20210149759A (ko) 적응적 모션 벡터 해상도를 이용한 비디오 신호 처리 방법 및 장치
CN113039788A (zh) 视频信号编码/解码方法以及用于所述方法的设备
KR20210058971A (ko) 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
KR20230144426A (ko) 영상 부호화/복호화 방법 및 장치
KR20240156306A (ko) 영상 부호화/복호화 방법 및 장치
CN119999206A (zh) 图像编码/解码方法和存储比特流的记录介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601