[go: up one dir, main page]

KR102876168B1 - Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치 - Google Patents

Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치

Info

Publication number
KR102876168B1
KR102876168B1 KR1020190137125A KR20190137125A KR102876168B1 KR 102876168 B1 KR102876168 B1 KR 102876168B1 KR 1020190137125 A KR1020190137125 A KR 1020190137125A KR 20190137125 A KR20190137125 A KR 20190137125A KR 102876168 B1 KR102876168 B1 KR 102876168B1
Authority
KR
South Korea
Prior art keywords
mode
prediction mode
signal
chrominance signal
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190137125A
Other languages
English (en)
Other versions
KR20210051628A (ko
Inventor
정진우
김용환
간저릭 간호약
허진강
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190137125A priority Critical patent/KR102876168B1/ko
Publication of KR20210051628A publication Critical patent/KR20210051628A/ko
Application granted granted Critical
Publication of KR102876168B1 publication Critical patent/KR102876168B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

색차 신호 인트라 모드 결정을 부호화 성능의 저하 없이 고속화하기 위한 방안으로, 밝기 신호와 색차 신호의 상관 관계를 사용하여 밝기 신호 모드의 정보를 색차 신호의 모드 결정에 사용하는 AV1 부호화 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 색차 신호 예측 모드 결정 방법은 AV1 부호화를 위한 색차 신호 예측 모드 결정 방법에 있어서, 현재 예측 블록의 밝기 신호에 대한 예측 모드를 결정하는 단계; 결정된 밝기 신호의 예측 모드에 기반하여, 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하는 단계; 현재 예측 블록의 특징을 기반으로, 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하는 단계; 및 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 단계;를 포함한다.
이에 의해, 밝기 신호와 색차 신호의 상관 관계를 사용하여 밝기 신호 모드의 정보를 색차 신호의 모드 결정에 사용함으로써, 색차 신호 인트라 모드 결정을 부호화 성능의 저하 없이 고속화할 수 있어, 궁극적으로 AV1 부호화 속도를 향상시킬 수 있게 된다.

Description

AV1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치{Fast Chroma Prediction Mode Decision Method and Apparatus based on Luma Prediction Mode for AV1 Intra Coding}
본 발명은 AV1 코덱 관련 기술에 관한 것으로, 더욱 상세하게는 AV1 고속 부호화를 위해 고속으로 색차 신호의 예측 모드를 결정하는 방법 및 장치에 관한 것이다.
1. AV1 개요
2018년 3월 28일 AOMedia (Alliance for Open Media)는 무료로 사용할 수 있는 AV1 (AOMedia Video Codec 1.0) 규격을 발표하였다. AOMedia는 비디오 압축 및 웹 전달 표준에 대한 시장 요구를 충족시키기 위해 미디어 기술을 정의하고 개발하기 위해 2015년에 구성되었다. AOMedia 회원은 Apple, Amazon, AMD, Arm, Broadcom, Facebook, Google, Hulu, Intel, IBM, Microsoft, Netflix, NVIDIA, Realtek, Sigma 등이 있다. AV1은 종전의 동영상 압축 표준 기술인 HEVC에 비교하여 동일 화질 대비 약 30%의 높은 압축 성능을 보여줌으로써 초고화질 영상의 효율적인 관리가 가능해졌다. 또한 하드웨어 계산 기능의 예측 가능 요구사항, 최대 유연성 및 확장성을 제공한다.
AV1의 압축 성능은 다음과 같이 새로 추가된 압축 기능으로부터 온다. AV1은 128x128 블록 크기부터 4x4 블록 크기 단위까지로 블록 정보를 나눌 수 있고 총 9가지의 블록 형태 모양을 제공한다. AV1은 인트라 예측을 위해서 56개의 방향성 예측, 확장된 Smooth 예측, Paeth 예측, Recursive 필터링 예측, Chorma predicted from Luma (CfL) 등이 존재한다. 인터 예측을 위해서는 확장된 참조 프레임, Dynamic 시공간 움직임 벡터 참조, Overappled block motion compensation (OBMC), warped motion 보상, wedge (웨지) 예측 등을 제공한다. 이외에도 constrained Directional Enhancement Filter (CDEF), Loop Restoration filter (LRF), Frame super resolution 기법 등이 적용되었다. 이와 같이 압축률을 극대화하기 위하여 복잡하고 정밀한 기법을 많이 포함하였기 때문에 부호화 복잡도가 큰 폭으로 증가하였다. 따라서 실제 상용 부호화기에서 부호화를 수행하기 위해서는, 압축 효율과 화질을 유지하면서 부호화 복잡도를 줄일 필요가 있다.
2. 종래기술: 고속 AV1 색차 신호의 인트라 모드 결정 방법
(1) AV1 색차 신호의 인트라 예측 모드
일반적으로 영상 데이터는 밝기 (Luminance) 신호와 색차 (Chroma) 신호로 나누어져 부호화된다. 밝기 신호는 고주파 대역을 많이 포함하고 사람에게 민감함으로 원본 영상의 해상도를 유지하는데 반하여 색차 신호의 경우 고주파가 상대적으로 적고 사람에게 덜 민감함으로 서브샘플링하여 주로 사용된다.
이런 특징 때문에 H.264나 HEVC와 같은 종래의 비디오 코덱에서는 색차 신호의 경우 밝기 신호에 비해 간단한 예측 방법을 사용하여 압축을 수행한다. 예를 들어 H.264의 경우에는 밝기 신호는 9개의 인트라 예측 모드를 가지고 있는데 반하여 색차 신호는 4개의 인트라 예측 모드를 가지고 있으며, HEVC에서는 밝기 신호는 35개의 예측 모드를 가지고 있는데 반하여 색차 신호는 5개의 예측 모드를 가지고 있다.
그러나 AV1에서는 색차 신호의 압축 효율을 증가시키기 위해 밝기 신호와 색차 신호의 인트라 예측 방법을 거의 동일하게 사용하였다. 도 1은 AV1의 밝기 신호 및 색차 신호에 대한 인트라 예측 모드를 보여준다. 도 1에서 살펴보면 색차 신호는 INTRA_FILTER 모드를 제외한 모든 모드에 대하여 예측 모드를 사용할 수 있으며, CfL의 경우 색차 신호만 선택할 수 있다. 따라서 소수의 색차 신호 인트라 모드를 갖는 기존 코덱 대비 AV1 인코더에서는 색차 신호의 인트라 예측 모드를 선택하는 것에 많은 복잡도가 요구된다.
(2) 종래의 색차 신호 인트라 모드 결정 방법
H.264나 HEVC 같은 경우 색차 신호의 인트라 예측 모드의 수는 밝기 신호의 예측 모드 수에 비해 현저히 적다. 따라서 대부분의 고속 모드 결정 알고리즘은 밝기 신호에 집중되어 개발되어져 왔다. 또한 밝기 신호와 색차 신호의 예측 모드 종류가 다르기 때문에 둘 간의 상관 관계를 사용하여 색차 신호의 예측 모드를 고속으로 결정하기 어렵다.
AV1 참조 소프트웨어에서 제공하는 색차 신호의 인트라 예측 모드를 결정하기 위한 종래의 방법은 AV1의 도 1의 모든 색차 신호 인트라 모드에 대하여 각각의 비용을 산출한 후 최소의 비용을 갖는 모드를 최적의 모드로 선택한다. 참조 소프트웨어에서는 색차 신호 인트라 모드를 고속으로 결정하기 위한 기술도 포함하는데 특정 블록 크기에서는 특정 모드를 사용하지 않는 기술이다. 예를 들어 예측 블록 크기가 32x32 이상일 경우에는 Horizontal, Vertical, CfL 에 대해서만 비용을 산출하고 이 중 최소 비용을 갖는 모드를 최적의 모드로 선택한다.
기존의 고속 알고리즘은 실험에 기반하여 특정 모드를 제외함으로써 고속화를 달성하였다. 그러나 영상의 특징이나 QP등을 고속화에 반영하지 못하였고 그로 인하여 고속 결정의 효율이 저하되는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 색차 신호 인트라 모드 결정을 부호화 성능의 저하 없이 고속화하기 위한 방안으로, 밝기 신호와 색차 신호의 상관 관계를 사용하여 밝기 신호 모드의 정보를 색차 신호의 모드 결정에 사용하는 AV1 부호화 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 색차 신호 예측 모드 결정 방법은 AV1 부호화를 위한 색차 신호 예측 모드 결정 방법에 있어서, 현재 예측 블록의 밝기 신호에 대한 예측 모드를 결정하는 단계; 결정된 밝기 신호의 예측 모드에 기반하여, 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하는 단계; 현재 예측 블록의 특징을 기반으로, 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하는 단계; 및 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 단계;를 포함한다.
선택 단계는, 밝기 신호의 예측 모드와 색차 신호의 예측 모드의 상관관계를 기초로, 초기 후보 모드들을 선택하는 것일 수 있다.
선택 단계는, 밝기 신호의 예측 모드가 방향성 예측 모드일 경우, 동일한 방향에 대한 방향 모드를 초기 후보 모드로 추가하는 것일 수 있다.
선택 단계는, 밝기 신호의 예측 모드에 상관 없이, 색차 신호의 DC 모드, SMOOTH 모드 및 CfL 모드를 초기 후보 모드들에 포함시키는 것일 수 있다.
산출 단계는, 밝기 신호의 예측 모드가 방향성 예측 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하는 것일 수 있다.
산출 단계는, 현재 예측 블록의 복잡도를 기반으로, 후보 모드에서 CfL 모드를 제거하는 것일 수 있다.
복잡도는, 현재 예측 블록의 분산으로 결정되며, 현재 예측 블록의 복잡도를 판단하기 위한 임계치는, 현재 예측 블록의 크기와 QP에 의해 결정될 수 있다.
임계치는, QP에 비례하고, 현재 예측 블록의 크기에 반비례할 수 있다.
산출 단계는, 밝기 신호의 예측 모드가 PAETH 또는 INTRA_FILTER 모드이면, 후보 모드에 PAETH 모드를 추가하는 것일 수 있다.
본 발명의 다른 측면에 따르면, AV1 부호화를 수행할 영상을 입력받는 입력부; 입력된 영상에서 현재 예측 블록의 밝기 신호에 대한 예측 모드를 결정하고, 결정된 밝기 신호의 예측 모드에 기반하여 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하며, 현재 예측 블록의 특징을 기반으로 선택된 초기 후보 모드들을 조정하여 최종 후보 모드들을 산출하고, 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 프로세서;를 포함하는 것을 특징으로 하는 AV1 부호화 장치가 제공된다.
본 발명의 또다른 측면에 따르면, AV1 부호화를 위한 색차 신호 예측 모드 결정 방법에 있어서, 현재 예측 블록의 밝기 신호의 예측 모드에 기반하여, 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하는 단계; 현재 예측 블록의 특징을 기반으로, 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하는 단계; 및 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 단계;를 포함하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법이 제공된다.
본 발명의 또다른 측면에 따르면, AV1 부호화를 수행할 영상을 입력받는 입력부; 입력된 영상에서 현재 예측 블록의 밝기 신호의 예측 모드에 기반하여 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하고, 현재 예측 블록의 특징을 기반으로 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하며, 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 프로세서;를 포함하는 것을 특징으로 하는 색차 신호 예측 모드 결정 장치가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 밝기 신호와 색차 신호의 상관 관계를 사용하여 밝기 신호 모드의 정보를 색차 신호의 모드 결정에 사용함으로써, 색차 신호 인트라 모드 결정을 부호화 성능의 저하 없이 고속화할 수 있어, 궁극적으로 AV1 부호화 속도를 향상시킬 수 있게 된다.
도 1: AV1의 밝기 신호 및 색차 신호에 대한 인트라 예측 모드
도 2: 고속 색차 신호 인트라 예측 모드 결정 방법
도 3 : 밝기 신호의 방향성 예측 모드에 따른 색차 신호 예측 모드의 분포
도 4 : 밝기 신호의 비 방향성 예측 모드에 따른 색차 신호 예측 모드의 분포
도 5 : 주방향 모드와 부방향 모드 예시
도 6 : 색차 신호 인트라 예측 모드 후보 결정
도 7 : AV1 부호화 장치
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 밝기 신호의 예측 모드와 색차 신호의 상관관계를 사용하여 색차 신호의 모드를 결정한다.
일반적으로 밝기 신호와 색차 신호는 어느 정도 상관관계를 가지고 있는 것으로 알려져 있고 이를 활용한 다양한 방법들이 존재한다. 예를 들어 AV1의 CfL 기법은 밝기 신호로부터 색차 신호를 예측하는 기법이다.
따라서 본 발명의 실시예에서는 먼저 밝기 신호의 인트라 예측 모드를 산출한 후, 이를 기반으로 색차 신호의 인트라 예측 모드를 산출하는 방식을 제시한다. 또한 CfL 모드의 사용 유무를 고속으로 결정할 수 있는 방법을 아울러 제시하도록 한다.
도 2는 본 발명의 일 실시예에 따른 고속 색차 신호 인트라 예측 모드 결정 방법을 보여준다.
밝기 신호 인트라 예측 모드 결정 단계(S110)에서는 현재 예측 블록의 밝기 신호에 대한 인트라 예측 모드를 결정한다.
일반적인 부호화기는 밝기 신호에 대한 인트라 예측 모드를 먼저 결정하고 그 후 색차 신호의 인트라 예측 모드가 결정되어 지므로 대부분의 부호화기에 본 발명의 실시예가 적용될 수 있다. 밝기 신호 인트라 예측 모드 결정 단계(S110)의 출력은 현재 블록의 밝기 신호 인트라 예측 모드이다.
색차 신호 인트라 예측 모드 후보 선택 단계(S130)에서는 밝기 신호 인트라 예측 모드에 기반 하여 색차 신호 인트라 예측 모드를 위한 초기 후보 모드를 선택한다.
색차 신호 인트라 예측 모드 후보 재조정 단계(S150)에서는 영상의 특징에 기반하여 초기 후보 모드에 특정 후보 모드를 추가하거나 제거하는 단계이다. 이 단계를 거치면 색차 신호를 위한 최종 후보 모드들이 결정된다.
마지막 단계인 색차 신호 인트라 예측 모드 결정 단계(S170)에서는 전 단계에서 산출된 후보 모드들 중에서 최종적으로 한 개의 최적 모드를 선택한다.
다음에서는 각각 단계에 대한 보다 상세하게 설명한다.
밝기 신호 인트라 예측 모드 결정 단계(S110)는 밝기 신호에 대한 인트라 예측 모드를 결정하는 단계이다.
밝기 신호는 다양한 예측 모드를 가지고 있고, 율-왜곡 최적화 (Rate-Distortion Optimization) 기법 등 최적의 모드를 선택하는 다양한 기법 등을 이용할 수 있다.
본 발명의 실시예에서 색차 신호 모드를 결정하기 위해서는 밝기 신호 예측 모드가 요구되고 따라서 밝기 신호에 대한 예측 모드는 색차 신호 모드를 결정하기 전에 산출되어야 한다.
색차 신호 인트라 예측 모드 후보 선택 단계(S130)(이하 '후보 선택 단계(S130)')는 밝기 신호 예측 모드에 기반 하여 색차 신호의 후보 모드를 예측한다.
전술 하였듯이 밝기 신호와 색차 신호는 어느 정도의 상관 관계를 지니고 있다. 이 사실에 기반하여 밝기 신호의 인트라 예측 모드와 색차 신호의 인트라 예측 모드의 상관 관계를 조사하였다.
상관 관계는 밝기 신호의 인트라 예측 모드가 방향성 예측 모드일 때와 방향성 예측 모드가 아닐 때로 나누어서 조사하였다. 방향성 예측 모드란 인트라 예측을 수행할 때 방향성을 이용하여 예측을 수행하는 것으로 H (Horizontal), V (Vertical), D45 (Direction), D135, D113, D157, D203, D67 모드가 이에 해당한다. 비 방향성 예측 모드는 DC나 SMOOTH 등 예측 방향에 뚜렷한 방향이 없을 때를 의미하며 본 발명의 실시예서에서는 SMOOTH, SMOOTH_H, SMOOTH_V, PAETH, INTRA_FILTER (DC, V, H, D157, PAETH)를 포함시켰다.
도 3은 밝기 신호 예측 모드가 방향성 모드일 때 밝기 신호와 색차 신호 예측 모드에 대한 상관 관계를 보여준다.
도 3의 각 선의 색상은 밝기 신호의 예측 모드를 나타내며, 밝기 신호의 예측 모드에 대하여 색차 신호의 예측 모드가 선택 될 확률을 나타낸다. 예를 들어 파란색 선은 밝기 신호의 예측 모드 중 H 모드를 의미하며, 밝기 신호가 H 모드를 가질 때 색차 신호의 예측 모드가 H 모드일 확률은 0.5임을 보여 준다. 다른 예로 노란색 선은 밝기 신호가 D135 모드를 의미하며, 밝기 신호가 D135 모드이면 색차 신호가 D135 모드를 가질 확률은 0.4 이다. 이와 같이 밝기 신호가 방향성 모드일 때 색차 신호 모드의 분포를 살펴보면 다음과 같다.
1) 밝기 신호 예측 모드의 방향과 색차 신호의 예측 방향이 다를 확률은 매우 낮다.
2) 밝기 신호 예측 모드에 상관없이 색차 신호가 DC, SMOOTH, CfL이 선택될 확률이 높다.
도 4는 밝기 신호의 비 방향성 모드 일 때 밝기 신호와 색차 신호 예측 모드에 대한 상관 관계를 보여준다. 도 3과 마찬가지로 도 4의 각 선의 색상은 밝기 신호의 예측 모드를 나타내며, 밝기 신호의 예측 모드에 대하여 색차 신호의 예측 모드가 선택 될 확률을 나타낸다. 도 4의 분포를 분석하면 다음과 같다.
1) 밝기 신호 예측 모드에 상관없이 색차 신호가 DC, SMOOTH, CfL이 선택될 확률이 높다.
2)밝기 신호의 예측 모드가 PAETH 모드와 INTRA_FILTER일 경우 색차 신호의 예측 모드가 PAETH 모드가 선택될 확률이 높다.
위의 분석으로부터 다음과 같은 방법을 유도할 수 있다. 밝기 신호의 예측 모드에 상관없이 색차 신호의 DC, SMOOTH, CfL 모드는 기본 모드로 항상 후보 모드에 포함한다. 밝기 신호의 예측 모드가 방향성 예측 모드일 경우, 동일한 방향에 대한 방향 모드만을 후보 모드로 추가한다. 이는 다음과 같은 수식으로 표현할 수 있다.
(수식 1)
(수식2)
(수식3)
후보 선택 단계(S130)의 출력은 (수식3)의 가 된다.
색차신호 인트라 예측 모드 후보 재조정 단계(S150) (이하, '후보 재조정 단계(S150)')는 위에서 결정된 후보 셋을 재조정하는 단계이다.
본 발명의 실시예에서 후보 셋 재조정이라 함은 기본 모드에서 특정 후보 모드를 추가하거나 또는 제거하는 것을 의미한다. 특정 후보 모드의 추가는 방향성 모드의 부방향 (delta angle)에 기반하여 이루어진다.
AV1의 방향성 예측은 주방향인 H, V, D45, D135, D113, D157, D203,D67의 8개 예측 모드와 각각의 주방향 예측 모드에 대하여 6개의 부방향 모드가 존재한다. 따라서 한 개의 주방향 모드당 6개의 부방향 모드가 존재하므로 주방향 모드당 7개의 방향 예측이 가능하다. 8개의 주방향이 있으므로 총 56가지 방향의 예측 모드가 존재한다.
도 5는 주방향 모드와 부방향 모드의 예시를 보여준다. D1과 D2의 주방향 모드 사이에 D1의 부방향 모드 3개 (D1+1, D1+2, D1+3) D2의 부방향 모드 3개 (D2-3, D2-2, D2-1)가 존재한다.
본 발명의 실시예에서는 만약 밝기 신호 예측 모드가 방향성 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하도록 한다. 예를 들어 도 5에서 밝기 신호의 예측 모드가 D1+2 이면 이와 가장 가까운 주방향 모드는 D2이다. 따라서 D2도 후보 모드에 추가한다. 마찬가지로 밝기 신호의 예측 모드가 D2-3, 이면 이와 가장 가까운 주방향 모드는 D1이다. 이 경우에는 D1을 후보 모드에 추가한다.
후보 재조정 단계(S150)에서는 특정 모드를 제거할 수 있다. 그에 대한 예시로 CfL 모드를 제거하는 방법은 다음과 같다. CfL 모드를 부호화하기 위해서는 cfl_alpha_signs, cfl_alpha_u, cfl_alpha_v 의 3가지 파라미터를 부호화해야 한다. 따라서 평탄한 영역을 CfL로 부호화할 경우 추가적으로 3 파라미터를 더 부호화해야 하기 때문에 비효율적이다. 따라서 CfL 모드는 복잡한 영역에만 선택될 확률이 높으므로 평탄한 영역에서는 CfL 모드를 후보 모드에서 제거하도록 한다.
영역의 복잡도를 판단하기 위하여 블록 분산을 이용하도록 한다. 블록 분산 (block variance)은 밝기 신호의 분산이나 색차 신호의 분산으로 산출될 수 있다. 블록 분산이란 현재 부호화하려는 블록의 분산을 의미하며 밝기 신호의 색차 신호의 분산은 U의 분산과 V의 분산을 각각 구한 후 더하여 사용한다. 만약 현재 블록의 분산이 특정 임계치보다 작으면 이 블록은 평탄한 영역으로 판단됨으로 CfL을 후보 모드에서 제거하도록 한다.
CfL을 위한 임계치는 블록 크기와 QP에 의해 결정된다. CfL을 위한 모드 결정은 (수식4)의 Rate Distortion (RD) cost 식에 의해 결정된다. (수식4)에서 는 원영상과 CfL로 부호화/복호화 하였을 때의 복원 영상 사이에 발생하는 왜곡(Distortion)을 의미하며 (수식5)와 같이 정의할 수 있다. RcfL은 CfL로 부호화 하였을 때 발생되는 비트의 합을 의미한다. λ는 라그랑지안 멀티플라이어(Lagrangian multiplier)로 양자화 파라미터(Quantization parameter)와 연관된 파라미터로 (수식6)과 같은 관계를 갖는다.
(수식4)
(수식5)
(수식6)
Org(x,y)는 원영상을 의미하며 는 CfL로 부호화/복호화 하였을 때 생성되는 복원 영상이다. (수식4)의 RcfL은 (수식7)과 같이 나타낼 수 있다.
(수식7)
Ruv_mode는 CfL 모드를 부호화하는 비트로 DC, Smooth, H등의 색차 신호의 인트라 예측 모드를 부호화하는 비트이다. CfL 모드를 부호화하기 위해서는 전술했던 것처럼 cfl_alpha_signs, cfl_alpha_u, cfl_alpha_v를 부호화해야 하고 Rcfl_alpha_signs, Rcfl_alpha_u, Rcfl_alpha_v는 각각 세 가지 파라미터를 부호화하기 위한 비트를 나타낸다. Rresidual은 원영상과 예측 신호의 차인 잔여 신호를 부호화하기 위한 비트이다. λ는 QP2에 비례함으로 QP가 증가할수록 3가지 CfL의 파라미터를 부호화하기 위한 비용이 높아져 CfL이 선택될 확률이 낮아진다.
또한 블록이 커질수록 CfL의 3가지 파라미터에 대한 비용이 작은 블록에 비해 상대적으로 적어진다. 따라서 블록 분산을 위한 임계치는 (수식8)과 같이 QP에 비례하여 커지고 블록의 크기가 커질수록 작아진다. (수식8)의 C는 상수로 블록 분산이 밝기 신호 또는 색차 신호인지에 따라 정해진다.
(수식8)
최종적으로 블록 분산인 VARBlock가 QP와 블록 크기에 의해 결정되어진 ThresCfl(QP,Bsize) 보다 작으면 CfL 모드는 후보 모드에서 제외된다.
(수식9)
밝기 신호의 모드가 PAETH 또는 INTRA_FILTER (recusive intra) 모드이면 후보 모드에 PAETH 모드를 추가한다. 도 5는 본 발명의 색차 신호의 인트라 예측 모드를 위한 후보 모드 결정을 위한 상세 과정을 보여준다.
구체적으로 후보 모드가 초기화 되면(S151), 현재 예측 블록의 분산으로 결정되는 복잡도가 현재 예측 블록의 크기와 QP에 의해 결정되는 임계치를 비교한다(S153).
비교 결과 복잡도가 임계치 미만이면, 즉, 평탄 영역이면(S155-Y), 후보 모드에서 CfL 모드를 제거한다(S155). 반면 비교 결과 복잡도가 임계치 이상이면, 즉, 복잡한 영역이면(S155-N), 후보 모드에 CfL 모드를 유지한다.
그리고 밝기 신호의 예측 모드가 방향성 예측 모드이면(S157-Y), 방향성 모드를 후보 모드에 추가한다(S159). 나아가 밝기 신호의 예측 모드에 부방향 모드가 있으면(S161-Y), 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가한다(S163).
한편, 밝기 신호의 예측 모드가 방향성 예측 모드가 아닌 경우(S157-N), 밝기 신호의 예측 모드가 PAETH 또는 INTRA_FILTER 모드이면(S165-Y), 후보 모드에 PAETH 모드를 추가한다(S167).
이를 통해, 색차 신호 예측 모드의 최종 후보들이 산출된다(S169).
최종적으로 색차 신호 예측 모드는 DC, Smooth 모드는 항상 포함되며 방향성 모드는 최소 0개에서 2개까지 포함될 수 있다. CfL 모드는 영상의 특성에 따라 포함될 수도 있고 안 될 수도 있으며, PAETH 모드는 밝기 신호의 예측 모드에 따라 포함될 수도 있고 안 될 수도 있다. PAETH 모드와 방향성 모드는 동시에 포함되지 않으므로, 최종 후보 모드는 최소 5개에서 최소 2개까지 선택될 수 있다.
마지막 단계인 색차 신호 인트라 예측 모드 결정 단계(이하, '예측 모드 결정 단계(S170)')는 전 단계에서 얻어진 최종 후보 모드에서 최소의 RD cost를 가지는 모드를 최적의 모드로 선택한다.
후보 모드 중에 최적의 모드를 선택하는 것을 RDO (Rate-Distortion Optimization) 방법에 한정하지 않는다. 전술했듯이 방향성 모드는 주방향과 부방향으로 구성되어 있고, 후보 모드는 주방향만을 포함한다. 만약 후보 모드 중에 방향성 모드가 있으면, 예측 모드 결정 단계(S170)에서는 색차 신호를 위한 부방향을 다시 결정하도록 한다.
지금까지 밝기 신호와 색차 신호와의 관계와 블록의 특징에 기반하여 고속으로 색차 신호의 인트라 예측 모드 결정을 수행하는 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
AV1 색차 신호의 인트라 모드를 고속으로 결정하기 위해 영상의 특징을 반영하지 않고 일괄적으로 특정 모드를 배제하여 부호화 효율이 저하되었던 기존 방식과 달리, 본 발명의 실시예에 따르면 밝기 신호와 색차 신호의 상관 관계를 사용하여 밝기 신호 모드의 정보를 색차 신호의 모드 결정에 사용함으로써 고속화에 따른 부호화 성능의 저하를 방지할 수 있게 된다.
도 7은 본 발명의 실시예에 따른 AV1 부호화 장치의 하드웨어 구조를 나타낸 블록도이다. 본 발명의 실시예에 따른 AV1 부호화 장치는, 도 7에 도시된 바와 같이, 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함한다.
입력부(210)는 외부 저장매체, 외부 기기, 통신망 등을 통해 영상 데이터를 입력받는 수단이고, 프로세서(220)는 입력된 영상에 대해 AV1 인트라 부호화를 수행한다.
AV1 인트라 부호화를 수행함에 있어 프로세서(220)는 전술한 색차 신호 예측 모드 결정 방법을 이용한다. 저장부(240)는 프로세서(220)가 부호화를 수행함에 있어 필요한 저장공간을 제공하는 내부 저장매체이다.
출력부(230)는 프로세서(220)에서 부호화된 영상을 외부 저장매체, 외부 기기, 통신망 등으로 출력한다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 입력부
120 : 프로세서
130 : 출력부
140 : 저장부

Claims (12)

  1. AV1 부호화를 위한 색차 신호 예측 모드 결정 방법에 있어서,
    현재 예측 블록의 밝기 신호에 대한 예측 모드를 결정하는 단계;
    결정된 밝기 신호의 예측 모드에 기반하여, 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하는 단계;
    현재 예측 블록의 특징을 기반으로, 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하는 단계; 및
    산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 단계;를 포함하고,
    산출 단계는,
    밝기 신호의 예측 모드가 방향성 예측 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  2. 청구항 1에 있어서,
    선택 단계는,
    밝기 신호의 예측 모드와 색차 신호의 예측 모드의 상관관계를 기초로, 초기 후보 모드들을 선택하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  3. 청구항 2에 있어서,
    선택 단계는,
    밝기 신호의 예측 모드가 방향성 예측 모드일 경우, 동일한 방향에 대한 방향 모드를 초기 후보 모드로 추가하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  4. 청구항 3에 있어서,
    선택 단계는,
    밝기 신호의 예측 모드에 상관 없이, 색차 신호의 DC 모드, SMOOTH 모드 및 CfL 모드를 초기 후보 모드들에 포함시키는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    산출 단계는,
    현재 예측 블록의 복잡도를 기반으로, 후보 모드에서 CfL 모드를 제거하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  7. 청구항 6에 있어서,
    복잡도는,
    현재 예측 블록의 분산으로 결정되며,
    현재 예측 블록의 복잡도를 판단하기 위한 임계치는,
    현재 예측 블록의 크기와 QP에 의해 결정되는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  8. 청구항 7에 있어서,
    임계치는,
    QP에 비례하고, 현재 예측 블록의 크기에 반비례하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  9. 청구항 1에 있어서,
    산출 단계는,
    밝기 신호의 예측 모드가 PAETH 또는 INTRA_FILTER 모드이면, 후보 모드에 PAETH 모드를 추가하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  10. AV1 부호화를 수행할 영상을 입력받는 입력부;
    입력된 영상에서 현재 예측 블록의 밝기 신호에 대한 예측 모드를 결정하고, 결정된 밝기 신호의 예측 모드에 기반하여 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하며, 현재 예측 블록의 특징을 기반으로 선택된 초기 후보 모드들을 조정하여 최종 후보 모드들을 산출하고, 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 프로세서;를 포함하고,
    프로세서는,
    밝기 신호의 예측 모드가 방향성 예측 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하는 것을 특징으로 하는 AV1 부호화 장치.
  11. AV1 부호화를 위한 색차 신호 예측 모드 결정 방법에 있어서,
    현재 예측 블록의 밝기 신호의 예측 모드에 기반하여, 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하는 단계;
    현재 예측 블록의 특징을 기반으로, 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하는 단계; 및
    산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 단계;를 포함하고,
    산출 단계는,
    밝기 신호의 예측 모드가 방향성 예측 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하는 것을 특징으로 하는 색차 신호 예측 모드 결정 방법.
  12. AV1 부호화를 수행할 영상을 입력받는 입력부;
    입력된 영상에서 현재 예측 블록의 밝기 신호의 예측 모드에 기반하여 현재 예측 블록의 색차 신호에 대한 예측 모드의 초기 후보 모드들을 선택하고, 현재 예측 블록의 특징을 기반으로 선택된 초기 후보 모드들을 조정하여, 최종 후보 모드들을 산출하며, 산출된 최종 후보 모드들 중에서 하나의 최적 모드를 색차 신호의 예측 모드로 결정하는 프로세서;를 포함하고,
    프로세서는,
    밝기 신호의 예측 모드가 방향성 예측 모드이고 부방향이 0이 아니면, 밝기 신호의 예측 모드와 인접한 주방향을 후보 모드에 추가하는 것을 특징으로 하는 색차 신호 예측 모드 결정 장치.
KR1020190137125A 2019-10-31 2019-10-31 Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치 Active KR102876168B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137125A KR102876168B1 (ko) 2019-10-31 2019-10-31 Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137125A KR102876168B1 (ko) 2019-10-31 2019-10-31 Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210051628A KR20210051628A (ko) 2021-05-10
KR102876168B1 true KR102876168B1 (ko) 2025-10-24

Family

ID=75917689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137125A Active KR102876168B1 (ko) 2019-10-31 2019-10-31 Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102876168B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025135613A1 (ko) * 2023-12-19 2025-06-26 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY180607A (en) * 2010-12-23 2020-12-03 Samsung Electronics Co Ltd Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit

Also Published As

Publication number Publication date
KR20210051628A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
RU2709797C1 (ru) Квантование цветности в кодировании видеосигналов
US10542273B2 (en) Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
KR102845344B1 (ko) 영상 코딩에서 매트릭스 기반의 인트라 예측을 위한 변환
US9967572B2 (en) Determining intra prediction mode of image coding unit and image decoding unit
CN107197256B (zh) 用于对图像的序列进行编码和解码的方法和装置
KR100965703B1 (ko) 비디오를 인코딩 및 디코딩하기 위한 방법 및 하나 이상의 컴퓨터로 하여금 비디오를 디코딩하기 위한 방법을 수행하게 하는 컴퓨터 실행가능 명령어가 저장된 하나 이상의 컴퓨터 판독가능 매체
CN107454405B (zh) 包括图像编码方法和图像解码方法的图像显示方法
US8326065B2 (en) Method and apparatus for encoding image data including generation of bit streams
US20210203990A1 (en) Video decoding method and apparatus by chroma-multi-transform, and video encoding method and apparatus by chroma-multi-transform
KR102845346B1 (ko) 인트라 예측 기반 영상 코딩에서의 변환
US20050147165A1 (en) Prediction encoding apparatus, prediction encoding method, and computer readable recording medium thereof
KR102813325B1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩
KR102727887B1 (ko) 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
KR101733735B1 (ko) 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
KR102724946B1 (ko) 크로마 양자화 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
KR20250030973A (ko) 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
KR20210114062A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR102876168B1 (ko) Av1 인트라 부호화를 위한 밝기 신호 예측 모드 기반 색차 신호 예측 모드의 고속 결정 방법 및 장치
KR20110070823A (ko) 비디오 부호화/복호화 방법 및 장치
US20240298037A1 (en) Cross-component sample adaptive offset
KR102876132B1 (ko) Av1 부호화를 위한 고속 부호화 방법 및 장치
KR20230145002A (ko) 화면 간 예측을 이용한 영상 복호화 방법 및 장치
KR102720196B1 (ko) 크로마 양자화 파라미터 테이블을 사용하는 영상 디코딩 방법 및 그 장치
JP2013102305A (ja) 画像復号装置、画像復号方法、プログラム及び画像符号化装置
KR102586198B1 (ko) 화면 간 예측을 이용한 영상 복호화 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)