[go: up one dir, main page]

KR100987921B1 - 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법. - Google Patents

선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법. Download PDF

Info

Publication number
KR100987921B1
KR100987921B1 KR1020080137815A KR20080137815A KR100987921B1 KR 100987921 B1 KR100987921 B1 KR 100987921B1 KR 1020080137815 A KR1020080137815 A KR 1020080137815A KR 20080137815 A KR20080137815 A KR 20080137815A KR 100987921 B1 KR100987921 B1 KR 100987921B1
Authority
KR
South Korea
Prior art keywords
motion
blur
filter
prediction
search region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080137815A
Other languages
English (en)
Other versions
KR20100079361A (ko
Inventor
안재덕
김성훈
김인권
Original Assignee
갤럭시아커뮤니케이션즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 갤럭시아커뮤니케이션즈 주식회사 filed Critical 갤럭시아커뮤니케이션즈 주식회사
Priority to KR1020080137815A priority Critical patent/KR100987921B1/ko
Publication of KR20100079361A publication Critical patent/KR20100079361A/ko
Application granted granted Critical
Publication of KR100987921B1 publication Critical patent/KR100987921B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 예측을 통해 움직임 보상을 구현하기 위한 동영상 코덱(CODEC)의 참조영상(Reference Frame) 생성방법에 관한 것이다.
동영상기기로 촬영한 결과영상의 각 프레임은 카메라의 초당 프레임수(FPS) 및 셔터스피드와 촬영기기의 움직임 또는 손떨림등 외부적인 요인 또는 촬영하는 사물의 움직임 등으로 인해 상당수의 프레임에 일정한 방향의 모션 블러(Motion-Blur)가 발생한다. 이러한 영상에 대해 움직임 예측을 수행할 때 참조영상에는 모션블러링이 발생하고 입력영상에는 모션블러링이 생기지 않은 경우 또는 참조영상에는 모션 블러링이 없고 입력 영상에 모션 블러링이 있는 경우에 차영상 값이 크게 되므로 압축 효율이 높지 않은 결과를 가져온다.
본 발명에서는 참조영상(Reference Frame)에 고의적인 모션블러(Motion Blur)와 모션디블러(Motion Deblur)필터를 수행한 추가적인 여러 참조영상들을 만들고 본래의 참조영상과 추가된 여러 참조 영상중 움직임 예측 수행 시 차영상 데이터가 적은 참조영상을 최종 참조 프레임으로 선택함으로써 압축 효율을 높일 수 있도록 한 것이다.
부호화, 복호화, 동영상, 움직임보상, 움직임예측, 참조영상

Description

선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.{Block based Motion-Search Area Rate Distortion Optimization using Motion Blur/Deblur post filter}
본 발명은 블록단위로 움직임 예측을 통해 움직임 보상을 구현하기 위한 동영상 코덱(CODEC)의 움직임 검색영역(Motion Search) 생성방법에 관한 것으로, 더욱 상세하게는 기존의 움직임 예측에서 사용되는 움직임 검색영역을 기존의 움직임 검색영역 외에 카메라 등 영상 입력장치의 움직임이나 사물의 움직임 등에 의해서 생기는 모션블러잡음(motion blur noise)을 첨가한 움직임 검색영역과 제거한 움직임 검색영역을 추가로 만들어서 여러개의 움직임 검색영역 중 효율이 더 좋은 움직임 검색영역을 선택하게 하여 동영상 코덱의 압축효율을 높일 수 있도록 하는 방법에 관한 것이다.
일반적으로 움직임 예측을 통한 움직임 보상방법이 적용되는 동영상 부호화기는 다음의 도 1에서와 같이,
입력되는 영상과 움직임 보상된 영상신호와의 차신호를 구하기 위한 감산 기(10)와, 상기 감산기(10)에서 구해진 차신호를 소정의 정해진 함수에 따라 변환시키는 변환부(transform)(20)와, 변환부(20)에서 변환된 영상신호를 양자화시키는 양자화부(Quantization)(30)와, 양자화부(30)에서 양자화된 영상정보를 부호화하는 부호화부(entropy coding)(40)와, 양자화부(30)에서 양자화된 영상신호를 역으로 신호처리하여 움직임 보상을 수행하는 움직임 보상수단으로 구성되며,
움직임보상수단은 양자화부(30)에서 양자화된 영상신호를 역양자화하는 역양자화부(Inverse Quantization)(50)와 변환부(20)에서 변환된 신호를 역으로 되돌리는 변환을 수행하는 역변환부(60)와, 움직임 보상된 영상을 가산하여 역변환부(60)에서 변환된 영상으로부터 복원된 영상을 생성하기 위한 가산기(70)와, 프레임메모리(80)와, 이전 영상 또는 입력되는 미래영상과의 참조영상으로부터 움직임을 예측하여 모션벡터(mosion vector)를 생성하는 움직임예측부(90)와, 움직임예측부(90)로부터 생성된 모션벡터를 이용하여 움직임을 보상하기 위한 움직임 보상부(100)를 포함하여 구성된다.
일반적인 동영상 부호화 방법은 영상 한 장 단위로 인트라프레임(Intra-frame)과 인터프레임(Inter-frame)으로 분류 되고, 인트라 프레임에서는 인트라 매크로 블록 코딩을 하고, 인터 프레임에서는 인트라 매크로 블록과 인터 매크로 블록 중 더 좋은 효율의 매크로 블록을 선택하게 된다.
인터매크로블록 코딩은 현재 입력된 영상의 이전 또는 이후 영상에서 움직임 검색영역을 가져와서 움직임 예측(motion estimation)을 수행하여 그 차영상(residual frame)을 변환(transform) 및 양자화(Quantization), 엔트로피 코딩의 순서대로 부호화함으로써, 압축효율을 높인다.
다음 영상이 참조영상을 필요로 할 경우에는 엔트로피 코딩 전 역양자화(Inverse Quantization)및 역변환(Inverse Transform)을 통해 복원영상(Recontructed frame)을 생성하고, 이를 참조영상으로 활용한다.
그리고 H.264인 경우에는 역변환부(60)의 이후로 디블로킹 필터(deblocking filter)를 구성하여 보다 선명한 참조영상을 구할 수 있도록 한다.
여기서, 변환부(20)는 MPEG4 part2 의 경우 변환에 DCT(Discrete Cosine Transform)가 사용 되며 부호화부(40)의 엔트로피 코딩으로는 VLC(Variable Length Coding)를 사용한다.
H.264/AVC의 경우 변환에 Integer Transform이 사용되며 엔트로피 코딩으로 CAVLC 또는 CABAC을 사용한다. 또한 Deblocking filter를 사용하기도 한다.
일반적으로 동영상기기로 촬영한 결과영상의 각 프레임은 카메라의 초당 프레임수(FPS) 및 셔터스피드와 촬영기기의 움직임 또는 손떨림등 외부적인 요인 또는 촬영하는 사물의 움직임 등으로 인해 상당수의 프레임에 일정한 방향의 모션 블러(Motion-Blur)이 영상 전체에 대해 모션블러링이 발생할 수도 있고, 어떠한 특정 부분에만 생길 수도 있는 바, 이러한 현상에 대한 대처방안이 없기 때문에 동영상 압축 효율은 떨어지게 된다.
동영상 기기로 촬영 시 촬영 기기의 움직임 또는 촬영대상의 움직임 등 외부 적인 원인에 의해 영상의 모션 블러링이 발생한다. 그러나 이 모션 블러링도 전체 영상에서 생길 수가 있고 어떤 특정부분에서만 생길 수도 있다.
그러므로 동영상 부호화의 단위인 블록 단위로 움직임 검색영역에 대해서 모션블러필터(Motion Blur Filter)와 모션디블러필터(Motion Deblur Filter)를 통해 필터링을 수행하여 블록 단위로 여러개의 움직임 검색영역을 만들어 주어 영상전체로 수행하는 것 보다 더 높은 압축 효율을 얻고자 하는 데 그 목적이 있는 것이다.
이를 위하여 본 발명은,
참조영상을 이용한 움직임 예측을 수행하는 동영상 부호화기에 있어서,
본래 움직임 예측을 위한 블록단위 움직임 검색영역에 대해 움직임의 정도 및 각도에 따라 추가적인 참조영상의 움직임 검색영역을 생성하기 위한 하나 이상의 다수개로 구성되는 모션블러 필터 및 모션 디블러 필터와, 상기 모션블러 필터 및 모션 디블러필터 각각에 대해 구성되는 프레임 메모리와, 미리 설정된 프로그램 모드에 의하여 정해진 블러모드에 따라서 모션블러 필터 및 모션 디블러필터를 선택하여 본래의 움직임 검색영역에 대하여 추가적인 블러모드 움직임 검색영역을 생성하는 검색영역 생성제어수단과, 생성된 움직임 검색영역과 새롭게 추가된 움직임 검색영역들에 대해 각각 움직임 예측을 수행하고, 그 움직임 예측과정의 비용을 산출하여 움직임 보상에 적용될 블러모드를 선택하는 움직임예측 및 모드선택제어수단과, 움직임예측 및 모드선택제어부로부터 선택된 블러모드에 따라 움직임 보상을 수행하는 움직임 보상수단을 포함하여 구성되는 것을 특징으로 한다.
이와 같은 본 발명 부호기의 움직임 예측 및 보상과정은,
본래 참조영상에 대해 움직임의 정도 및 각도에 따라 추가적인 검색영역을 생성하기 위하여 미리 설정된 프로그램 모드에 의하여 정해진 블러모드에 따라서 모션 블러 필터 및 디블러 필터를 선택하는 블러 모드 선택과정과, 선택된 모션 블러 필터 및 디블러 필터에 의한 움직임 검색영역을 생성하는 필터링 과정과, 본래 움직임 검색영역과 상기 필터링 과정을 통해 생성된 움직임 검색영역들에 대해 움직임을 예측하는 과정과, 움직임 예측 후에 발생하는 비용을 비교하여 최소값을 가지는 블러 모드를 선택하여 움직임을 보상하는 움직임 보상과정을 포함하여 이루어지는 것을 특징으로 한다.
한편, 본 발명은,
움직임 보상을 수행하는 동영상 복호화기에 있어서,
복호화된 영상신호로부터 블러모드정보를 추출하여, 그 추출된 블러모드 정보에 따라서 모션 블러 필터 또는 모션 디블러 필터를 선택하여 움직임 검색영역을 생성 제어하는 필터 선택제어수단과, 움직임 검색영역을 생성하기 위하여 하나 이상의 다수개로 구성되는 모션 블러 필터 및 모션 디블러 필터와, 상기 모션 블러 필터 및 모션 디블러 필터 각각에 대한 프레임 메모리와 복호화된 영상신호로부터 추출된 모션 움직임 정보와 생성된 움직임 검색영역에 따라서 움직임을 보상하는 움직임 보상수단을 포함하여 구성되는 것을 특징으로 한다.
이러한 본 발명 복호기의 움직임 보상과정은,
복호화된 영상신호로부터 블러모드를 추출하는 과정과, 추출된 블러모드 정보에 따라서 모션 블러 필터 또는 디블러 필터를 통해 움직임 검색영역을 생성하는 과정과, 생성된 움직임 검색영역에 따라서 움직임을 보상하는 과정을 포함하여 이루어지는 것을 특징으로 한다.
본 발명은 현재 동영상 코덱에서 시간적 중복성(Temporal redundancy)을 줄이기 위해 사용되는 움직임 예측 및 보상에서 쓰이는 참조영상 대부분에 존재하는 모션블러 현상을 블록 단위의 참조영상의 움직임 검색영역에 대해 가감하여 영상 전체에 대하여 모션 블러 현상의 가감을 해준 것보다 보다 더 많은 시간적 중복성을 줄임으로써, 비트 생성량을 효과적으로 줄여 부호기의 압축효율을 증대시켜준다.
본 발명은 위에 예를 든 MPEG4, H.264/AVC의 경우에만 국한된 것이 아니라 모든 인터 예측을 수행하는 동영상 코덱에 대해 적용 가능한 알고리즘으로써 변환에 있어서 DCT외에 Wavelet, 엔트로피 코딩에 있어서도 다양한 알고리즘을 가진 코덱 모두에 대해 적용 가능하다.
먼저 본 발명 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축 부호화장치를 첨부된 도 2에 도시된 실시 예를 참조하여 중복되는 부분에 대해서는 동일부호로 처리하여 설명하면 다음과 같다.
입력되는 영상과 움직임 보상된 영상신호와의 차신호를 구하기 위한 감산 기(10)와, 상기 감산기(10)에서 구해진 차신호를 소정의 정해진 함수에 따라 변환시키는 변환부(transform)(20)와, 변환부(20)에서 변환된 영상신호를 양자화시키는 양자화부(Quantization)(30)와, 양자화부(30)에서 양자화된 영상정보를 부호화하는 부호화부(entropy coding)(40)와, 양자화부(30)에서 양자화된 영상신호를 역으로 신호처리하여 움직임 보상을 수행하는 움직임 보상수단으로 구성되며,
움직임보상수단은 양자화부(30)에서 양자화된 영상신호를 역양자화하는 역양자화부(Inverse Quantization)(50)와 변환부(20)에서 변환된 신호를 역으로 되돌리는 변환을 수행하는 역변환부(60)와, 움직임 보상된 영상을 가산시켜 역변환부(60)로부터 변환된 영상으로부터 복원영상을 생성시키기 위한 가산기(70)와, 프레임메모리(80)와, 역변환부(60)를 통해 역변환된 본래 참조영상의 블록단위 움직임 검색영역에 대해 움직임 정도 및 각도에 따라 추가적인 움직임 검색영역을 생성하기 위한 하나 이상의 다수개로 구성되는 모션블러 필터(110) 및 모션 디블러 필터(120)와, 상기 모션블러 필터(110) 및 모션 디블러필터(120) 각각에 대해 구성되는 블러프레임메모리(130) 및 디블러프레임메모리(140)와, 정해진 블러모드에 따라서 모션블러 필터(110) 및 모션 디블러필터(120)를 선택하여 움직임 검색영역을 생성하는 움직임 검색영역 생성제어부(150)와, 블러프레임메모리(130) 및 디블러프레임메모리(140)로부터 받아들인 생성된 움직임 검색영역들과 프레임메모리(80)로 부터 받아들인 본래 참조영상의 움직임 검색영역들 모두에 대해 움직임 예측을 수행하고 그 움직임 예측과정의 비용을 산출하여 움직임 보상에 적용될 모드를 선택하는 움직임예측 및 모드선택제어부(90')와, 움직임예측 및 모드선택제어부(90')로부터 선 택된 모드에 따라 움직임 보상을 수행하는 움직임 보상부(100')부를 포함하여 구성된다.
이와 같은 본 발명의 동작과정을 상세히 설명하면 다음과 같다.
종래 배경기술에서도 밝힌 바와 같이,
영상 한 장 단위로 인트라프레임과 인터프레임으로 분류되고 인트라 프레임에서는 인트라 매크로 블록 코딩을 하고, 인터프레임에서는 인트라 매크로 블록과 인터매크로블록 중 더 좋은 효율의 매크로 블록을 선택하게 된다.
인터매크로블록 코딩은 현재 입력된 영상의 이전 또는 이후 영상에서 참조영상으로 하여, 참조영상으로 부터 움직임 검색영역을 가져와서 움직임 예측을 수행하여 그 차영상(Residual Frame)을 변환(Transform) 및 양자화(Quantization), 엔트로피 코딩의 순서대로 부호화함으로써 압축효율을 높인다.
이때, 본 발명에서는 움직임을 예측하고 움직임을 보상하는 과정에서, 참조영상 에서 나타날 수 있는 모션 블러링에 의해 압축효율이 떨어질 수 있는 점을 감안하여 참조영상의 블록단위로 움직임 검색영역에 대하여 고의적인 모션블러와 모션디블러필터링을 수행하여 추가적인 블록단위로 여러개의 추가적인 움직임 검색영역을 만들어 주어 본래의 움직임 검색영역을 포함하여 움직임을 예측하여 차 영상 데이터가 적은 움직임 검색영역에 대한 움직임 예측값을 통해 움직임 보상이 이루어질 수 있도록 한 것이다.
이는 모션 블러링이 전체 영상에서 나타나거나 또한 어떠한 특정한 부분에서만 발생할 수 있는 점을 감안하여 참조영상 전체가 아닌 동영상 부호화 단위인 블 록단위의 움직임 검색영역에 대해서 모션 블러와 모션 디블러 필터링을 수행 하도록 하여 압축 효율을 높일 수 있도록 한 것이다.
움직임 검색영역 생성제어부(150)에서는 내부에 설정된 프로그램 모드에 따라서 모션블러필터(110) 및 모션 디블러필터(120)를 선택하여 블러모드를 생성하게 된다.
블러모드 정보에는 움직임 크기(길이,강도), 움직임 방향, 필터의 종류정보로 구성되어 있고, n개의 모션블러필터(110)와 m개의 모션디블러필터(120)를 선택하여 (n+m)개의 블러모드를 생성하게 된다.
상기 움직임 크기(길이, 강도)는 필터에 사용될 필터 탭 개수를 정하는 것이고, 움직임 방향은 가로인지 세로인지 대각선인지 등의 필터탭의 방향을 말하며(360도 전방향 지원가능), 필터의 종류정보는 필터탭에 따른 uniform 필터를 사용할이지 PSF(Point Spread Function)필터를 사용할 지 등의 정보를 나타내는 것입니다.
역변환부(60)를 거쳐 복원된 영상은 프레임메모리(80)를 통해 모션 블러필터(110) 및 모션디블러필터(120)에 전달되고, 상기에서와 같이 선택된 모션블러필터(110) 및 모션 디블러필터(120)를 통해 필터링되어 복원된 영상의 블록단위 움직임 검색영역에 대하여 다수개의 움직임 검색영상이 만들어지게 된다.
이후, 움직임 예측 및 모드선택부(90')에서는 프레임 메모리(80), 모션블러필터(110) 및 모션디블러필터(120)에 의해 필터링되어 저장된 블러프레임메모리(130) 및 디블러프레임메모리(140)으로부터 전달되는 각 움직임 검색영역에 대하여 움직임을 예측하고, 각 수행단계의 비용(cost)을 산출하여 최적의 모드를 선택하도록 한다.
도 3은 상기와 같은 참조영상을 이용한 움직임 예측과정을 나타낸 것이다.
본래 참조영상의 움직임 검색영역에 대해 움직임의 크기(길이,강도), 움직임의 방향에 따라 추가적인 움직임 검색영역을 생성하기 위한 모션 블러 필터 및 모션 디블러 필터를 선택하는 블러 모드 선택과정과, 선택된 블러 모드에 따른 모션 블러 필터 및 모션 디블러 필터에 의한 움직임 검색영역들을 생성하는 필터링 과정과, 본래 움직임 검색영역과 상기 필터링 과정을 통해 생성된 움직임 검색영역들에 대해 움직임을 예측하는 과정과, 움직임 예측 후에 발생하는 비용을 비교하여 최소값을 가지는 블러모드를 선택하여 움직임을 보상하는 움직임 보상과정을 포함하여 이루어진다.
블러모드생성에 있어서, 움직임 검색영역 생성제어부(150)에서는 본래 움직임 검색영역에 대하여 움직임 크기(강도, 길이), 움직임방향, 필터의 종류를 설정하여 모션블러필터(100)에는 n개의 모드를 설정하고, 모션디블러필터(120)에는 m개의 모드를 설정한다.
설정된 n개의 모드로 각각 모드별 블러가 첨가된 움직임 검색영역을 만들어내고, m개의 모드로 각각 모드별 블러가 제거된 움직임 검색영역을 만든다.
움직임 예측 및 모드선택제어부(90')에서는 기존의 움직임 검색영역과 함께 n+m+1개의 움직임 예측을 수행하고, 각 수행단계의 비용(cost)을 산출하여 적은 비 용의 모드를 최적의 모드로 선택하도록 한다.
도 4는 본 발명 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축복호화 장치의 구성을 나타낸 것이다.
입력된 스트림에 대하여 엔트로피 디코딩(entropy decoding)을 수행하는 복호화부(200)와, 복호화부(200)로부터 복호화된 영상신호에 대하여 역양자화를 수행하는 역양자화부(210)와, 역양자화된 영상신호에 대하여 부호화과정에서의 변환과정을 역으로 수행하는 역변환부(220)와, 움직임 보상된 영상을 가산시켜 복원영상을 생성시키는 가산기(230)와, 복호화부(200)를 통해 복호화된 영상신호로부터 블러모드 정보를 추출하고, 그 추출된 정보를 이용하여 모션블러필터(250) 또는 모션디블러필터(260)를 선택 제어하여 움직임 검색영역을 생성하는 필터 선택제어부(240)와, 움직임 검색영역을 생성하기 위한 하나 이상의 다수개로 구성되는 모션블러 필터(250) 및 모션 디블러 필터(260)와, 모션블러 필터(250) 및 모션 디블러필터(260) 각각에 대한 다수개의 프레임메모리(270)와, 각 프레임메모리(270)로부터 전달되는 움직임 검색영역으로 움직임을 보상하는 움직임보상부(280)를 포함하여 구성된다.
이와 같은 본 발명 복호화기는 본 발명 부호화기로부터 부호화된 영상신호에 대하여 부호화과정을 통해 입력된 블러모드 정보를 추출하여 그 추출된 정보를 통해 참조영상을 생성하여 움직임 보상이 이루어질 수 있도록 하는 것을 특징으로 한다.
그 과정은, 복호화된 영상신호로부터 블러모드를 추출하는 과정과, 추출된 블러모드 정보에 따라서 모션 블러 필터 또는 디블러 필터를 통해 움직임 검색영역을 생성하는 과정과, 생성된 움직임 검색영역에 따라서 움직임을 보상하는 과정을 포함하여 이루어진다.
복호화기는 입력된 스트림을 복호화부(200)에서 엔트로피 디코딩을 수행하여 복호화시키고, 이를 역양자화, 역변환시켜 움직임 보상된 영상으로부터 복원영상을 구성시킨다.
이때, 필터 선택제어부(240)에서는 복호화된 영상신호로부터 입력되어있는 블러모드정보를 추출한다.
블러모드정보는 부호화기와 약속된 형태로 북호화기 내부에 존재하고, 추출된 블러모드정보로부터 모션 블러 필터링을 할지 모션 디블러필터링을 수행할 지를 선택하고, 움직임의 크기(길이,강도), 방향(각도), 필터의 종류에 대한 정보를 얻는다.
이의 정보로부터 필터 선택제어부(240)에서는 복호화된 참조영상의 움직임 검색영역에 대해 모션블러필터링 또는 모션 디블러필터링을 수행하여 모션블러잡음이 첨가되거나, 제거되는 새로운 참조영상을 얻어 움직임 보상부(280)에 제공한다.
움직임 보상부(280)에서는 이러한 참조영상을 이용하여 움직임 보상을 수행한다.
도 1은 일반적인 동영상 부호기의 구성을 나타낸 블록도.
도 2는 본 발명 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치의 구성을 나타낸 블록도.
도 3은 본 발명 움직임 보상을 위한 선택적 움직임 검색영역 결정방법의 과정을 나타낸 도면.
도 4는 본 발명 본 발명 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치의 구성을 나타낸 블록도.

Claims (7)

  1. 움직임 예측을 통한 움직임 보상방법이 적용되는 동영상 부호화기에 있어서,
    본래 움직임 예측을 위한 블록단위 움직임 검색영역에 대해 추가적인 움직임 검색영역을 생성하기 위한 하나 이상의 다수개로 구성되는 모션블러 필터 및 모션 디블러 필터와, 상기 모션블러 필터 및 모션 디블러필터 각각에 대해 구성되는 프레임 메모리와, 미리 설정된 프로그램 모드에 의하여 정해진 블러모드에 따라서 모션블러 필터 및 모션 디블러필터를 선택하여 본래의 움직임 검색영역에 대하여 추가적인 블러모드 움직임 검색영역을 생성하는 움직임 검색영역 생성제어수단과, 생성된 움직임 검색영역과 새롭게 추가된 움직임 검색영역들에 대해 각각 움직임 예측을 수행하고, 그 움직임 예측과정의 비용을 산출하여 움직임 보상에 적용될 블러모드를 선택하는 움직임예측 및 모드선택제어수단과, 움직임예측 및 모드선택제어부로부터 선택된 블러모드에 따라 움직임 보상을 수행하는 움직임 보상수단을 포함하여 구성되는 것을 특징으로 하는 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치.
  2. 제 1항에 있어서, 상기 움직임 검색영역 생성 제어수단내에 설정되는 블러모드는 움직임의 크기(길이,강도), 움직임 방향, 필터의 종류 정보를 포함하는 것을 특징으로 하는 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치.
  3. 움직임을 예측하고 예측된 움직임에 따라 움직임을 보상하는 압축부호화장치의 움직임 예측 및 움직임 보상과정에 있어서,
    본래 참조영상에 대해 움직임의 정도 및 각도에 따라 추가적인 움직임 검색영역을 생성하기 위하여 미리 설정된 프로그램 모드에 의하여 정해진 블러모드에 따라서 모션 블러 필터 및 디블러 필터를 선택하는 블러 모드 선택과정과, 선택된 모션 블러 필터 및 디블러 필터에 의하여 움직임 검색영역을 생성하는 필터링 과정과, 본래 참조영상의 움직임 검색영역과 상기 필터링 과정을 통해 생성된 움직임 검색영역들에 대해 움직임을 예측하는 과정과, 움직임 예측 후에 발생하는 비용을 비교하여 최소값을 가지는 블러 모드를 선택하여 움직임을 보상하는 움직임 보상과정을 포함하여 이루어지는 것을 특징으로 하는 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
  4. 제 3항에 있어서, 상기 블러모드 선택과정에 있어서, 블러모드는 움직임의 크기(길이,강도), 움직임의 방향, 필터의 종류 정보를 포함하는 것을 특징으로 하는 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
  5. 움직임 보상을 수행하는 동영상 복호화기에 있어서,
    복호화된 영상신호로부터 블러모드정보를 추출하여, 그 추출된 블러모드 정보에 따라서 모션 블러 필터 또는 모션 디블러 필터를 선택하여 움직임 검색영역을 생성 제어하는 필터 선택제어수단과, 움직임 검색영역을 생성하기 위하여 하나 이 상의 다수개로 구성되는 모션 블러 필터 및 모션 디블러 필터와, 상기 모션 블러 필터 및 모션 디블러 필터 각각에 대한 프레임 메모리와 생성된 움직임 검색영역에 따라서 움직임을 보상하는 움직임 보상수단을 포함하여 구성되는 것을 특징으로 하는 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축복호화장치.
  6. 제 5항에 있어서, 상기 블러모드 정보는 움직임의 크기(길이,강도), 움직임 방향, 필터의 종류 정보를 포함하는 것을 특징으로 하는 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축복호화장치.
  7. 움직임 예측 및 보상기법이 적용되는 압축부호 및 복호화 장치에 있어서,
    본래 움직임 예측을 위한 블록단위 움직임 검색영역에 대해 하나 이상의 다수개 모션블러 필터 및 모션 디블러 필터를 구성하여, 추가적인 움직임 검색영역을 생성하고, 생성된 움직임 검색영역과 새롭게 추가된 움직임 검색영역들에 대해 각각 움직임 예측을 수행하고, 그 움직임 예측과정의 비용을 산출하여 움직임 보상에 적용될 움직임 예측 값을 선택하여 움직임 보상을 수행하여 동영상을 압축부호화하고,
    하나 이상의 다수 개 모션블러 필터 및 모션 디블러 필터를 구성하고, 압축 부호화된 영상으로부터 모션 블러 또는 모션 디블러에 대한 필터정보를 추출하고, 그 추출된 정보에 따라서 상기 모션블러 필터 또는 모션 디블러 필터를 선택하여 움직임 검색영역을 생성하고 이로부터 움직임을 보상하여 동영상을 복호화하는 것을 특징으로 하는 선택적 움직임 검색영영을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화 및 복호화 장치.
KR1020080137815A 2008-12-31 2008-12-31 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법. Expired - Fee Related KR100987921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080137815A KR100987921B1 (ko) 2008-12-31 2008-12-31 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080137815A KR100987921B1 (ko) 2008-12-31 2008-12-31 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.

Publications (2)

Publication Number Publication Date
KR20100079361A KR20100079361A (ko) 2010-07-08
KR100987921B1 true KR100987921B1 (ko) 2010-10-18

Family

ID=42640466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080137815A Expired - Fee Related KR100987921B1 (ko) 2008-12-31 2008-12-31 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.

Country Status (1)

Country Link
KR (1) KR100987921B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145763A1 (ko) * 2010-05-20 2011-11-24 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법
KR20220133440A (ko) 2021-03-25 2022-10-05 한정남 동영상 압축 및 복호 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013009099A2 (ko) 2011-07-12 2013-01-17 삼성전자 주식회사 블러 처리 장치 및 방법
KR101396838B1 (ko) * 2013-01-24 2014-05-19 전자부품연구원 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
KR102284126B1 (ko) 2019-12-19 2021-07-30 삼성전기주식회사 카메라 모듈

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008010929A2 (en) 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
KR100835662B1 (ko) 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
KR100835661B1 (ko) 2006-12-07 2008-06-09 부산대학교 산학협력단 다수 필터 결정법을 이용한 동영상 압축 부호화 장치 및방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008010929A2 (en) 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
KR100835662B1 (ko) 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
KR100835661B1 (ko) 2006-12-07 2008-06-09 부산대학교 산학협력단 다수 필터 결정법을 이용한 동영상 압축 부호화 장치 및방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145763A1 (ko) * 2010-05-20 2011-11-24 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법
KR20220133440A (ko) 2021-03-25 2022-10-05 한정남 동영상 압축 및 복호 장치

Also Published As

Publication number Publication date
KR20100079361A (ko) 2010-07-08

Similar Documents

Publication Publication Date Title
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR101482896B1 (ko) 최적화된 디블록킹 필터
TWI477154B (zh) 用於編碼數位視訊資料之方法及數位視訊編碼器系統
KR20150009578A (ko) 비디오 인코딩을 위한 모션 센서 보조 레이트 제어
JP5043874B2 (ja) 画像データのイントラ予測符号化方法
KR101615643B1 (ko) 픽처들의 압축
KR100987921B1 (ko) 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP4690966B2 (ja) 動画像符号化装置
JP5100572B2 (ja) 符号化装置
JP5598199B2 (ja) 動画像符号化装置
KR100987922B1 (ko) 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법
JP5800077B2 (ja) 動画像復号方法
WO2011145763A1 (ko) 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20110067648A (ko) 영상 부호화/복호화 방법 및 이를 수행하는 장치
CN104796725A (zh) 具有帧内预测预处理的视频编码器及与其一起使用的方法
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치
JP4926912B2 (ja) 映像符号化装置及び方法
JP2010166275A (ja) 画像符号化装置
US20130064302A1 (en) Video compression coding device and decoding device applied with motion compensation technique using selective reference frame, and method for determining selective reference frame for motion compensation
JP4561701B2 (ja) 動画像符号化装置
JP5943757B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20131008

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20151007

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20191007

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20221009

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20221009

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000