RS60125B1 - Postupak dekodovanja slika - Google Patents

Description

Opis

Oblast pronalaska

[0001] Ovaj pronalazak se generalno odnosi na oblast obrade slika, preciznije, na kodovanje i dekodovanje digitalnih slika i sekvenci digitalnih slika.

[0002] Stoga se pronalazak, pre svega, može primeniti na video kodovanje koje se primenjuje u aktuelnim video koderima (MPEG, H.264, itd.) ili na one koji će uslediti (ITU-T/VCEG (H.265) ili ISO/MPEG (HEVC).

Pozadina pronalaska

[0003] Aktuelni video koderi (MPEG, H.264, ...) koriste prikaz video sekvence pomoću blokova. Slike se dele na makroblokove, svaki makroblok je i sam podeljen na blokove, a svaki blok, ili makroblok se koduje predikcijom unutar slika ili između slika. Stoga su neke slike kodovane prostornom predikcijom (predikcija intra), dok su druge slike kodovane vremenskom predikcijom (predikcija inter) u odnosu na jednu ili više referentnih slika kodovanih - dekodovanih pomoću kompenzacije pokreta, koja je poznata stručnjacima iz ove oblasti.

[0004] Za svaki blok se koduje reziduelni blok, koji se još naziva i ostatak predikcije, koji odgovara originalnom bloku umanjenom za predikciju. Reziduelni blokovi se transformišu pomoću transformacije tipa diskretna kosinusna transformacija (DCT), zatim se kvantizuju pomoću kvantizacije tipa, na primer, skalarne kvantizacije. Koeficijenti, neki pozitivni, a neki negativni, dobijaju se po završetku etape kvantizacije. Oni se zatim očitavaju, generalno, po cik-cak putanji (kao u standardu JPEG), što omogućava eksploataciju velikog broja koeficijenata jednakih nuli u visokim frekvencijama. Nakon pomenutog skeniranja, dobija se monodimenzionalna lista koeficijenata, koja se naziva „kvantizovani ostatak“. Zatim se koeficijenti ove liste koduju entropijskim kodovanjem.

[0005] Entropijsko kodovanje (na primer tipa aritmetičko kodovanje ili Hafmanovo kodovanje) vrši se na sledeći način:

- informacija je kodovana entropijski da bi označila mesto poslednjeg nenultog koeficijenta liste, - za svaki koeficijent koji se nalazi ispred poslednjeg nenultog koeficijenta, informacija je kodovana entropijski da bi se označilo da li je koeficijent jednak nuli ili ne,

- za svaki prethodno pomenuti nenulti koeficijent, informacija je kodovana entropijski da bi se označilo da li je koeficijent jednak jedinici ili nije,

- za svaki nenulti koeficijent i koji je različit od jedan, a koji se nalazi ispred poslednjeg nenultog koeficijenta, amplitudna informacija (apsolutna vrednost koeficijenta umanjena za dva) koduje se entropijski,

- za svaki nenulti koeficijent, znak koji mu je dodeljen koduje se posredstvom „0“ (za znak ) ili „1“ (za znak -).

[0006] Na primer, prema tehnici H.264, kada se jedan makroblok podeli na blokove, signal podataka, koji odgovara svakom bloku, prenosi se u dekoder. Takav signal podrazumeva:

- kvantizovane ostatke sadržane na navedenoj listi,

- reprezentativne informacije korišćenog režima kodovanja, a posebno:

• režim predikcije (predikcija intra, predikcija inter, podrazumevana predikcija koja realizuje predikciju za koju se nijedna informacija ne prenosi u dekoder (na engleskom „skip“));

• informacije koje preciziraju tip predikcije (orijentacija, referentna slika…);

• tip particionisanja;

• tip transformacije, na primer DCT 4x4, DCT 8x8, itd...

• informacije o kretanju ukoliko je potrebno;

• itd.

[0007] Dekodovanje se obavlja sliku po sliku, i za svaku sliku, makroblok po makroblok. Za svaku particiju makrobloka, očitavaju se odgovarajući elementi protoka. Inverzna kvantizacija i inverzna transformacija koeficijenata blokova vrše se da bi proizvele dekodovani ostatak predikcije. Zatim se izračunava predikcija particije i particija se rekonstruiše dodavanjem predikcije dekodovanom ostatku predikcije.

[0008] Intra ili inter konkurentno kodovanje, onakvo kakvo se primenjuje u standardu H.264, počiva dakle na stavljanju u konkurentan odnos različitih informacija kodovanja, onih koje su prethodno pomenute, u cilju selektovanja najboljeg režima, to jest onog koji će optimizovati kodovanje određene particije prema unapred određenom kriterijumu performanse, na primer odnos brzina/distorzija, koja je dobro poznata stručnjacima iz ove oblasti.

[0009] Reprezentativne informacije selektovanog režima kodovanja sadržane su u signalu podataka koji se prenosi koderom u dekoder. Dekoder je dakle u stanju da identifikuje selektovani režim kodovanja u koderu, zatim da primeni predikciju koja je u skladu sa tim režimom.

[0010] U radu „Data Hiding of Motion Information in Chroma and Luma Samples for Video Compression“, J.-M. Thiesse, J. Jung and M. Antonini, International workshop on multimedia signal processing, 2011, prikazan je postupak skrivanja podataka (na engleskom jeziku „Data Hiding“) koji se primenjuje prilikom video kompresije.

[0011] Preciznije rečeno, predlaže se izbegavanje uključivanja u signal koji se prenosi u dekoder najmanje jednog konkurentnog indeksa, onaj koji je proistekao iz mnoštva konkurentnih indeksa za prenos. Takav indeks je na primer MVComp indeks koji predstavlja informaciju koja omogućava identifikovanje prediktora vektora pokreta, koji je korišćen za prediktovani blok u režimu inter. Taj indeks koji može imati vrednost 0 ili 1 nije direktno upisan u signal kodovanih podataka, već se prenosi parnošću zbira koeficijenata kvantizovanog ostatka. Stvara se spoj između parnosti kvantizovanog ostatka i indeksa MVComp. Na primer, parna vrednost kvantizovanog ostatka pridružuje se indeksu MVComp koji ima vrednost 0, dok se neparna vrednost kvantizovanog ostatka pridružuje MVComp indeksu koji ima vrednost 1. Mogu se predstaviti dva slučaja. U prvom slučaju, ukoliko parnost kvantizovanog ostatka već odgovara parnosti MVComp indeksa koji želimo da prenesemo, kvantizovani ostatak se koduje na klasičan način. U drugom slučaju, ukoliko se parnost kvantizovanog ostatka razlikuje od parnosti MVComp indeksa koji želimo da prenesemo, primenjuje se modifikacija kvantizovanog ostatka tako da njegova parnost bude jednaka parnosti MVComp indeksa. Takva modifikacija se sastoji u povećavanju ili smanjivanju jednog ili više koeficijenata kvantizovanog ostatka neparne vrednosti (npr: 1, -1, 3, -3, 5, -+5...) i u zadržavanju samo modifikacije koja optimizuje unapred određeni kriterijum, u ovom slučaju pomenuti odnos brzina/distorzija.

[0012] U dekoderu, MVComp indeks se ne očitava u signalu. Dekoder se jednostavno zadovoljava time da na klasičan način odredi ostatak. Ukoliko je vrednost ostatka parna, MVComp indeks se stavlja na 0. Ukoliko je vrednost ostatka neparna, MVComp indeks se stavlja na 1.

[0013] U skladu sa tehnikom koja je upravo predstavljena, koeficijenti na kojima se vrše modifikacije nisu uvek odabrani na optimalan način tako da izvršena modifikacija izaziva poremećaje u signalu koji se prenosi u dekoder. Takvi poremećaji neizbežno škode efikasnosti video kompresije.

[0014] Osim toga, MVComp indeks ne predstavlja najinteresantniju informaciju za skrivanje jer verovatnoća da vrednost tog indeksa bude 0 ili 1 nije jednaka. Stoga, ako je taj indeks kodovan na klasičan način entropijskim kodovanjem, on će u komprimovanom fajlu koji se prenosi u dekoder biti predstavljen količinom podataka manjom od jednog bita po prenetom MVComp indeksu. Stoga, ako je MVComp indeks prenet u parnosti kvantizovanog ostatka, tako ušteđena količina podataka manja je od jednog bita po prenetom MVComp indeksu, dok bi parnost ostatka mogla da omogući prenos informacije od jednog bita po indeksu.

[0015] Stoga, smanjenje troškova signalizacije, kao i efikasnost kompresije nisu optimalni.

Predmet i rezime pronalaska

[0016] Jedan od ciljeva pronalaska jeste da nadomesti nedostatke navedenog stanja tehnike.

[0017] U tom smislu, predmet ovog pronalaska je postupak dekodovanja signala reprezentativnih podataka najmanje jedne slike podeljene na particije, koja je prethodno kodovana, a tekuća particija za dekodovanje sadrži podatke od kojih je najmanje jedan podatak obeležen znakom.

[0018] Takav postupak dekodovanja je izuzetan po tome što podrazumeva sledeće etape za tekuću particiju:

- dekodovanje podataka tekuće particije, sa izuzetkom znaka,

- izračunavanje vrednosti reprezentativne funkcije dekodovanih podataka tekuće particije, - dobijanje vrednosti znaka na osnovu izračunate vrednosti.

[0019] U posebnom načinu realizacije, mnoštvo vrednosti koje su redom povezane sa mnoštvom znakova dobijaju se na osnovu izračunate vrednosti.

Kratak opis crteža

[0020] Druge karakteristike i prednosti će se pojaviti prilikom čitanja o dva odabrana načina realizacije koji su opisani uz pozivanje na slike na kojima:

- slika 1 predstavlja opšte etape postupka kodovanja prema pronalasku,

- slika 2 predstavlja uređaj za kodovanje prema pronalasku koji je u stanju da izvrši etape postupka kodovanja sa slike 1,

- slika 3 predstavlja poseban način realizacije postupka kodovanja prema pronalasku,

- slika 4 predstavlja poseban način realizacije uređaja za kodovanje prema pronalasku,

- slika 5 predstavlja opšte etape postupka dekodovanja prema pronalasku,

- slika 6 predstavlja uređaj za dekodovanje prema pronalasku koji je u stanju da izvrši etape postupka dekodovanja sa slike 5,

- slika 7 predstavlja poseban način realizacije postupka dekodovanja prema pronalasku, - slika 8 predstavlja poseban način realizacije uređaja za dekodovanje prema pronalasku.

Detaljan opis dela koji se odnosi na kodovanje

[0021] Sada će biti opisan opšti način realizacije pronalaska u kojem se prema pronalasku postupak kodovanja koristi za kodovanje sekvence slika prema binarnom protoku koji je blizak onom koji se dobije kodovanjem prema standardu H.264/MPEG-4 AVC. U tom načinu realizacije, postupak kodovanja prema pronalasku je na primer implementiran softverski ili materijalno modifikacijama kodera koji je inicijalno usaglašen sa standardom H.264/MPEG-4 AVC.

[0022] Postupak kodovanja prema pronalasku prikazan je u formi algoritma koji sadrži etape od S1 do S40, koje su predstavljene na slici 1.

[0023] Prema načinu realizacije pronalaska, postupak kodovanja prema pronalasku implementiran je u uređaj za kodovanje ili koder CO čiji je način realizacije predstavljen na slici 2.

[0024] U skladu sa pronalaskom, vrši se, pre kodovanja u pravom smislu reči, deljenje slike IE sekvence slika koje će se kodovati prema utvrđenom redosledu, na mnoštvo Z particija B1, B2,...,Bi,..., BZ, kako je prikazano na slici 2.

[0025] Treba napomenuti da u smislu pronalaska, termin „particija“ označava jedinicu kodovanja (od engleskog „coding unit“). Ova poslednja terminologija je pre svega u upotrebi u standardu HEVC/H.265 tokom izrade, na primer u radu koji je dostupan na sledećoj internet adresi:

http://phenix.int-evry.fr/jct/doc end user/current document.php?id=3286

[0026] Pre svega, ta jedinica kodovanja grupiše skup piksela pravougaonog ili kvadratnog oblika, koji se još nazivaju i blokovima, makroblokovima, ili skupove piksela koji imaju druge geometrijske oblike.

[0027] U primeru koji je prikazan na slici 2, navedene particije su blokovi koji imaju kvadratni oblik i svi su iste veličine. U zavisnosti od veličine slike koja nije nužno sadržalac veličine blokova, poslednji blokovi levo i poslednji blokovi dole mogu biti i nekog drugog oblika, a ne kvadratnog. U ovom alternativnom načinu realizacije, blokovi mogu biti na primer pravougaoni i/ili da ne budu u liniji jedan sa drugim.

[0028] Osim toga, svaki blok ili makroblok može biti i sam podeljen na podblokove, koji i sami mogu biti dalje podeljeni.

[0029] To deljenje se vrši modulom PCO za particionisanje koji je prikazan na slici 2 koji koristi na primer algoritam za particionisanje koji je kao takav dobro poznat.

[0030] Nakon pomenute etape deljenja, vrši se kodovanje svake tekuće particije Bi(i je ceo broj kao u izrazu 1≤i≤Z) navedene slike IE.

[0031] U primeru koji je predstavljen na slici 2, takvo kodovanje se primenjuje sukcesivno na svaki blok od B1do BZtekuće slike IE. Blokovi su kodovani, na primer, po putanji kao što je „raster scan“ koja je dobro poznata stručnjacima iz ove oblasti.

[0032] Kodovanje prema pronalasku se primenjuje u softverskom modulu za kodovanje MC_CO kodera CO, kakav je prikazan na slici 2.

[0033] U toku etape S1 koja je prikazana na slici 1, modul za kodovanje MC_CO sa slike 2 selektuje kao tekući blok Biprvi blok B1za kodovanje tekuće slike IE. Kako je prikazano na slici 2, reč je o prvom bloku levo slike IE.

[0034] U toku etape S2 koja je prikazana na slici 1, vrši se ekstrakcija podataka tekućeg bloka B1u formi liste D1= (a1, a2, ..., aP). Tu ekstrakciju vrši softverski modul EX_CO kakav je prikazan na slici 2. Takvi podaci su na primer pikselski podaci, nenulti pikselski podaci koji su obeleženi ili pozitivnim ili negativnim znakom.

[0035] Svaki podatak liste D1povezan je sa različitim digitalnim informacijama koje su namenjene za obradu entropijskim kodovanjem. Te digitalne informacije su opisane u daljem tekstu u vidu primera.

- za svaki podatak koji se nalazi pre poslednjeg nenultog podatka liste D1, digitalna informacija, kao što je bit, namenjena je da bude kodovana entropijski da bi se označilo da li je podatak nula ili ne; ako je podatak nula, na primer bit čija je vrednost 0 biće kodovan, ali ukoliko je podatak nenulti, biće kodovan bit vrednosti 1;

- za svaki nenulti podatak, digitalna informacija, kao što je bit, namenjena je da bude kodovana entropijski da bi se označilo da li je apsolutna vrednost podatka jednaka jedinici ili ne; ako je ona jednaka 1, na primer bit vrednosti 1 biće kodovan, ali ukoliko je ona jednaka 0, biće kodovan bit vrednosti 0;

- za svaki nenulti podatak čija apsolutna vrednost nije jednaka jedinici i koji se nalazi ispred poslednjeg nenultog podatka, amplitudna informacija se entropijski koduje,

- za svaki nenulti podatak, znak koji mu je dodeljen koduje se digitalnom informacijom, kao na primer bit sveden na '0' (za znak ) ili na '1' (za znak -).

[0036] Sada ćemo opisati, pozivajući se na sliku 1, specifične etape kodovanja prema pronalasku.

[0037] U skladu sa pronalaskom, odlučeno je da se izbegne entropijsko kodovanje najmanje jednog znaka pomenutih podataka liste D1.

[0038] U skladu sa odabranim načinom realizacije, znak prvog nenultog podatka biće skriven. Taj znak je na primer pozitivan i dodeljen je prvom nenultom podatku, kao na primer podatak a2.

[0039] U toku etape S3 koja je predstavljena na slici 1, modul za obradu MTR_CO računa vrednost funkcije f koja je reprezentativna za podatke liste D1.

[0040] U odabranom načinu realizacije gde će samo jedan znak biti skriven u signalu koji će se preneti do dekodera, funkcija f je parnost zbira podataka liste D1.

[0041] U toku etape S4 koja je predstavljena na slici 1, modul za obradu MTR_CO proverava da li parnost vrednosti znaka koji će biti skriven odgovara parnosti zbira podataka liste D1,u skladu sa prethodno definisanim pravilom u koderu CO.

[0042] U predloženom primeru, pomenuto pravilo je takvo da se pozitivan znak pridružuje bitu čija je vrednost jednaka nuli, dok se negativan znak pridružuje bitu čija je vrednost jedan.

[0043] Ukoliko je, prema pravilu usvojenom u koderu CO prema pronalasku, znak pozitivan, što odgovara vrednosti bita kodovanja nula, i ukoliko je zbir podataka liste D1paran, sprovodi se etapa S20 entropijskog kodovanja podataka navedene liste D1, sa izuzetkom znaka prvog nenultog podatka a2. Ta etapa S20 prikazana je na slici 1.

[0044] Ukoliko je, i dalje prema usvojenom pravilu u koderu CO prema pronalasku, znak negativan, što odgovara vrednosti bita kodovanja jedan, i ukoliko je zbir podataka liste D1neparan, sprovodi se takođe etapa S20 entropijskog kodovanja podataka navedene liste D1, sa izuzetkom znaka prvog nenultog podatka a2.

[0045] Ukoliko je, prema usvojenom pravilu u koderu CO prema pronalasku, znak pozitivan, što odgovara vrednosti bita kodovanja nula, i ukoliko je zbir podataka liste D1neparan, vrši se, tokom etape S5 predstavljene na slici 1, modifikacija najmanje jednog izmenjivog podatka liste D1.

[0046] Ukoliko je, i dalje prema usvojenom pravilu u koderu CO prema pronalasku, znak negativan, što odgovara vrednosti bita kodovanja jedan, i ukoliko je zbir podataka liste D1paran, sprovodi se takođe etapa S5 modifikacije najmanje jednog izmenjivog podatka navedene liste D1.

[0047] Prema pronalasku, podatak je izmenjiv ako modifikacija njegove vrednosti ne izaziva desinhronizaciju u dekoderu, kada se taj modifikovani podatak obrađuje u dekoderu. Stoga je modul za obradu MTR_CO inicijalno konfigurisan da ne modifikuje:

- podatak ili podatke koji su jednaki nuli i koji se nalaze ispred prvog nenultog podatka tako da dekoder ne utiče na vrednost skrivenog znaka tog ili tih podataka jednakih nuli,

- i zbog kompleksnosti računanja, podatak ili podatke koji su jednaki nuli i koji se nalaze posle poslednjeg nenultog podatka.

[0048] Takvu operaciju modifikacije vrši modul za obradu MTR_CO sa slike 2.

[0049] U predloženom primeru realizacije, pretpostavlja se da je ukupan zbir podataka liste D1jednak 5, i da je dakle neparan. Kako bi dekoder mogao da rekonstruiše pozitivan znak dodeljen prvom nenultom podatku a2, a da pritom koder CO ne treba da prenese taj podatak u dekoder, potrebno je da parnost zbira postane parna. Stoga modul za obradu MTR_CO testira, u toku navedene etape S5, različite modifikacije podataka sa liste D1, koje sve imaju za cilj da promene parnost zbira podataka. U odabranom načinu realizacije, vrši se dodavanje 1 ili -1 svakom izmenljivom podatku i selekcija, prema utvrđenom kriterijumu, jedne modifikacije među svim onim koje su izvršene.

[0050] Stoga se na kraju etape S5 dobija modifikovana lista Dm1=(a'1, a'2,..., a'P).

[0051] Potrebno je napomenuti da su u toku ove etape pojedine modifikacije zabranjene. Stoga, u slučaju kada prvi nenulti podatak ima vrednost 1, ne bi bilo moguće da mu se doda -1, jer bi postao nula, i izgubio bi tada karakteristiku prvog nenultog podatka liste D1. Dekoder bi tada dodao kasnije dekodovani znak (računanjem parnosti zbira podataka) drugom podatku i postojala bi greška u dekodovanju.

[0052] Zatim se prelazi na etapu S20 entropijskog kodovanja podataka navedene liste Dm1,sa izuzetkom pozitivnog znaka prvog nenultog podatka a2, taj znak je skriven u parnosti zbira podataka.

[0053] Potrebno je navesti da se skup amplituda podataka liste D1ili modifikovane liste Dm1koduje pre svih znakova,sa izuzetkom znaka prvog nenultog podatka koji se ne koduje kako je objašnjeno u prethodnom delu teksta.

[0054] U toku naredne etape S30 koja je prikazana na slici 1, modul za kodovanje MC_CO sa slike 2 testira da li je tekući kodovani blok poslednji blok slike IE.

[0055] Ukoliko je tekući blok poslednji blok slike IE, u toku etape S40 koja je predstavljena na slici 1, završava se postupak kodovanja.

[0056] Ukoliko to nije slučaj, vrši se selekcija narednog bloka Bikoji se koduje u skladu sa redosledom pomenute putanje raster scan, ponavljanjem etapa S1 do S20, za 1≤i≤Z.

[0057] Kada se izvrši entropijsko kodovanje svih blokova B1do BZ, vrši se konstrukcija signala F koji u binarnoj formi predstavlja navedene kodovane blokove.

[0058] Konstrukcija binarnog signala F vrši se u softverskom modulu CF za konstrukciju protoka, kako je prikazano na slici 2.

[0059] Protok F se zatim prenosi komunikacionom mrežom (koja nije prikazana) do udaljenog terminala. On sadrži dekoder koji će detaljnije biti opisan u daljem tekstu.

[0060] Sada ćemo opisati, pre svega pozivajući se na sliku 1, drugi način realizacije pronalaska.

[0061] Taj drugi način realizacije pronalaska razlikuje se od prethodnog samo po broju znakova koji će biti skriveni koji je N, N je ceo broj kao N≥2.

[0062] U tom smislu, funkcija f je ostatak modulo 2<N>zbira podataka liste D1. Pretpostavlja se da u predloženom primeru, N=2, dva znaka koja treba sakriti jesu prva dva znaka prva dva nenulta podatka liste D1, na primer a2i a3.

[0063] U toku etape S4 koja je prikazana na slici 1, modul za obradu MTR_CO proverava da li konfiguracija N znakova, ili 2<N>mogućih konfiguracija, odgovara vrednosti ostatka modulo 2<N>zbira podataka liste D1.

[0064] U predloženom primeru gde je N=2, postoji 2<2>=4 konfiguracija različitih znakova.

[0065] Ove četiri konfiguracije su u skladu sa pravilom u koderu CO, koje je na primer utvrđeno na sledeći način:

- ostatak jednak nuli odgovara dvama pozitivnim uzastopnim znakovima: , ;

- ostatak jednak jedinici odgovara uzastopnom pozitivnom i negativnom znaku: , -;

- ostatak koji iznosi dva odgovara uzastopnom negativnom i pozitivnom znaku: -, ;

- ostatak koji iznosi tri odgovara dvama negativnim uzastopnim znakovima: -, -.

[0066] Ako konfiguracija N znakova odgovara vrednosti ostatka modulo 2<N>zbira podataka liste D1, prelazi se na etapu S20 entropijskog kodovanja podataka navedene liste D1, sa izuzetkom znakova redom prva dva nenulta podatka a2i a3, koji su skriveni u parnosti zbira modulo 2<N>podataka liste D1.

[0067] Ukoliko to nije slučaj, prelazi se na etapu S5 modifikacije najmanje jednog izmenjivog podatka liste D1. Tu modifikaciju vrši modul za obradu MTR_CO sa slike 2 tako da ostatak modulo 2<N>zbira izmenjivih podataka liste D1dostigne vrednost svakog od dva znaka koja se skrivaju.

[0068] Tada se dobija modifikovana lista Dm1= (a'1, a'2,..., a'P).

[0069] Zatim se prelazi na etapu S20 entropijskog kodovanja navedene liste podataka Dm1, sa izuzetkom znaka prvog nenultog podatka a2i znaka drugog nenultog podatka a3, koji su skriveni u parnosti zbira modulo 2<N>podataka.

[0070] Sada će biti opisan poseban način realizacije pronalaska, u kojem se postupak kodovanja prema pronalasku i dalje koristi za kodovanje sekvence slika prema binarnom protoku koji je blizak onom koji se dobija kodovanjem prema standardu H.264/MPEG-4 AVC. U tom načinu realizacije, postupak kodovanja prema pronalasku je na primer implementiran na softverski ili materijalan način modifikacijama kodera koji je inicijalno u skladu sa standardom H.264/MPEG-4 AVC.

[0071] Postupak kodovanja prema pronalasku je prikazan u formi algoritma koji sadrži etape C1 do C40 kako je prikazano na slici 3.

[0072] Prema načinu realizacije pronalaska, postupak kodovanja je implementiran u uređaj za kodovanje ili koder CO1 čiji je način realizacije prikazan na slici 4.

[0073] U skladu sa pronalaskom, i kako je opisano u prethodnim primerima, vrši se, pre kodovanja u pravom smislu reči, deljenje slike IE sekvence slika za kodovanje po unapred određenom redosledu, na mnoštvo Z particija B'1, B'2,...,B'i,..., B'Z, kako je prikazano na slici 4.

[0074] U primeru koji je prikazan na slici 4, navedene particije su blokovi kvadratnog oblika i svi su iste veličine. U zavisnosti od veličine slike koja nije nužno sadržalac veličine blokova, poslednji blokovi levo i poslednji blokovi dole mogu imati i neki drugi oblik koji nije kvadratni. U alternativnom načinu realizacije, blokovi mogu biti na primer pravougaonog oblika i/ili da ne budu u nizu jedan sa drugim.

[0075] Osim toga, svaki blok ili makroblok može zatim i sam da bude podeljen na podblokove koji su i sami deljivi.

[0076] To deljenje vrši softverski modul PCO1 za particionisanje koji je prikazan na slici 4 koji je identičan modulu za particionisanje PCO koji je prikazan na slici 2.

1

[0077] Posle navedene etape deljenja, vrši se kodovanje svake tekuće particije B'i(i je ceo broj kao u izrazu 1≤i≤Z) navedene slike IE.

[0078] U primeru koji je prikazan na slici 4, takvo kodovanje se primenjuje sukcesivno na svaki od blokova B'1do B'Ztekuće slike IE. Blokovi se koduju prema putanji kao što je na primer putanja „raster scan“ koja je dobro poznata stručnjacima iz ove oblasti.

[0079] Kodovanje prema pronalasku sprovodi se u softverskom modulu za kodovanje MC_CO1 kodera CO1, koji je prikazan na slici 4.

[0080] U toku etape C1 koja je prikazana na slici 3, modul za kodovanje MC_CO1 sa slike 4 selektuje kao tekući blok B'iprvi blok B'1za kodovanje tekuće slike IE. Kako je prikazano na slici 4, reč je o prvom bloku levo slike IE.

[0081] U toku etape C2 koja je prikazana na slici 3, vrši se prediktivno kodovanje tekućeg bloka B'1poznatim tehnikama predikcije intra i/ili intra, tokom kojeg se blok B'1prediktuje u odnosu na najmanje jedan blok koji je prethodno kodovan ili dekodovan. Ta predikcija se vrši softverskim modulom za predikciju PRED_CO1 koji je prikazan na slici 4.

[0082] Podrazumeva se da su mogući drugi načini predikcije intra kakvi su predloženi u standardu H.264.

[0083] Tekući blok B'1može biti takođe podvrgnut prediktivnom kodovanju u režimu inter tokom kojeg se tekući blok prediktuje u odnosu na blok koji je proistekao iz prethodno kodovane ili dekodovane slike. Naravno, moguće je razmatrati i druge tipove predikcije. Među mogućim predikcijama za tekući blok, optimalna predikcija se bira prema kriterijumu protok-distorzija koji je dobro poznat stručnjacima iz ove oblasti.

[0084] Pomenuta etapa prediktivnog kodovanja omogućava konstruisanje prediktovanog bloka B'p1koji je aproksimacija tekućeg bloka B'1. Informacije o tom prediktivnom kodovanju će biti upisane u signal koji se prenosi u dekoder. Te informacije podrazumevaju pre svega tip predikcije (inter ili intra), i u datom slučaju, režim intra predikcije, tip particionisanja bloka ili makrobloka ukoliko je ovaj poslednji subdivizovan, indeks referentne slike i vektor pomeranja koji su korišćeni u režimu predikcije inter. Te informacije komprimuje koder CO1.

[0085] U toku naredne etape C3 koja je prikazana na slici 3, modul predikcije PRED_CO1 upoređuje podatke o tekućem bloku B'1sa podacima prediktovanog bloka B'p1. Preciznije, u toku ove etape, vrši se klasično oduzimanje prediktovanog bloka B'p1od tekućeg bloka B'1da bi nastao blok ostatak B'r1.

[0086] U toku naredne etape C4 koja je prikazana na slici 3, vrši se transformacija bloka ostatka B'r1prema klasičnoj operaciji direktne transformacije, kao što je na primer diskretna kosinusna transformacija tipa DCT, kako bi nastao transformisani blok B't1. Tu operaciju vrši softverski modul MT_CO1 za transformaciju kao što je prikazano na slici 4.

[0087] U toku naredne etape C5 koja je prikazana na slici 3, vrši se kvantizacija transformisanog bloka B't1klasičnom operacijom kvantizacije, kakva je na primer skalarna kvantizacija. Tako se dobija B'q1kvantizovanih koeficijenata. Ta etapa se vrši pomoću softverskog modula za kvantizaciju MQ_CO1 kao što je prikazano na slici 4.

[0088] U toku naredne etape C6 koja je prikazana na slici 3, vrši se očitavanje, po utvrđenom redosledu, kvantizovanih koeficijenata bloka B'q1. U prikazanom primeru, reč je o klasičnoj cik-cak putanji očitavanja. Ta etapa se vrši pomoću softverskog modula za očitavanje ML_CO1 kao što je prikazano na slici 4. Po završetku etape C6, dobija se monodimenzionala lista koeficijenata E1=(ε1, ε2,..., εL), poznatija pod nazivom „kvantizovan ostatak“, gde je L ceo broj veći ili jednak 1. Svaki koeficijent sa liste E1pridružuje se različitim digitalnim informacijama koje su namenjene da budu entropijski kodovane. Te digitalne informacije su opisane u daljem tekstu u vidu primera.

[0089] Pretpostavimo da je u prikazanom primeru L=16 i da lista E1sadrži šesnaest sledećih koeficijenata: E1=(0, 9, -7, 0, 0, 1, 0, -1, 2, 0, 0, 1, 0, 0, 0, 0).

[0090] U tom slučaju:

- za svaki koeficijent koji se nalazi ispred poslednjeg nenultog koeficijenta liste E1, digitalna informacija, kao što je bit, namenjena je entropijskom kodovanju kako bi označila da li je koeficijent nula ili ne: ako je koeficijent nula, na primer bit vrednosti 0 će biti kodovan, a ukoliko je koeficijent nenulti, bit vrednosti 1 će biti kodovan;

- za svaki nenulti koeficijent 9, -7, 1, -1, 2, 1, digitalna informacija, kao što je bit, namenjena je entropijskom kodovanju kako bi označila da li je apsolutna vrednost koeficijenta jednaka jedinici ili ne: ukoliko je ona jednaka 1, na primer bit vrednosti 1 će biti kodovan, a ukoliko je jednaka 0, bit vrednosti 0 će biti kodovan;

- za svaki nenulti koeficijent i čija apsolutna vrednost nije jednaka jedinici i koji se nalazi ispred poslednjeg nenultog koeficijenta, kao što su koeficijenti 9, -7, 2, amplitudna informacija (apsolutna vrednost koeficijenta od koje je oduzeta vrednost dva) koduje se entropijski, - za svaki nenulti koeficijent, znak koji mu je dodeljen koduje se digitalnom informacijom, kao na primer bit sveden na '0' (za znak ) ili na '1' (za znak -).

[0091] Sada ćemo opisati, pozivajući se na sliku 3, specifične etape kodovanja prema pronalasku.

[0092] U skladu sa pronalaskom, odlučeno je da se izbegne entropijsko kodovanje najmanje jedne od navedenih digitalnih informacija, to je najmanje jedan znak navedenih koeficijenata liste E1.

[0093] U tom smislu, u toku etape C7 koja je predstavljena na slici 3, vrši se izbor broja znakova koji će biti skriveni u toku etape koja sledi po entropijskom kodovanju. Ta etapa se obavlja softverskim modulom za obradu MTR_CO1, koji je prikazan na slici 4.

[0094] U odabranom načinu realizacije, broj znakova koji će biti skriveni je jedan ili nula. Osim toga, u skladu sa pomenutim odabranim načinom realizacije, znak prvog nenultog koeficijenta će biti skriven. U prikazanom primeru, radi se dakle o tome da se sakrije znak koeficijenta ε2=+9.

[0095] U alternativnom načinu realizacije, broj znakova za skrivanje je ili nula, ili jedan, ili dva, ili tri, ili više.

[0096] U skladu sa odabranim načinom realizacije etape C7, vrši se, u toku prve podetape C71 koja je prikazana na slici 3, određivanje, na osnovu pomenute liste E1, podliste SE1koja sadrži koeficijente koji mogu biti modifikovani ε'1, ε'2,..., ε'M gde je M<L. Ti koeficijenti se nazivaju izmenjivim u nastavku opisa.

[0097] Prema pronalasku, koeficijent je izmenjiv ako modifikacija njegove kvantizovane vrednosti ne izaziva desinhronizaciju u dekoderu, kada dekoder obrađuje taj modifikovani koeficijent. Stoga je modul za obradu MTR_CO1 inicijalno konfigurisan tako da ne modifikuje:

- jedan ili više koeficijenata jednakih nuli koji se nalaze ispred prvog nenultog koeficijenta tako da dekoder ne utiče na vrednost skrivenog znaka tom ili tim koeficijentima jednakim nuli,

- i zbog kompleksnosti računanja, jedan ili više koeficijenata jednakih nuli koji se nalaze posle poslednjeg nenultog koeficijenta.

[0098] U prikazanom primeru, nakon podetape C71, dobija se podlista SE1kao što je SE1= (9,-7,0,0,1,0,-1,2,0,0,1). Dakle, dobija se jedanaest izmenjivih koeficijenata.

[0099] U toku naredne podetape C72 koja je prikazana na slici 3, modul za obradu MTR_CO1 vrši poređenje broja izmenjivih koeficijenata sa unapred utvrđenim pragom TSIG. U odabranom načinu realizacije, TSIG ima vrednost 4.

[0100] Ukoliko je broj izmenjivih koeficijenata manji od praga TSIG, vrši se, tokom etape C20 koja je prikazana na slici 3, klasično entropijsko kodovanje koeficijenata liste E1, kao ono koje je izvršeno na primer u koderu CABAC, koji je naznačen u odnosu na CE_CO1 na slici 4. U tom smislu, znak svakog nenultog koeficijenta liste E1entropijski se koduje.

[0101] Ukoliko je broj izmenjivih koeficijenata veći od praga TSIG, u toku etape C8 koja je prikazana na slici 3, modul za obradu MTR_CO1 izračunava vrednost funkcije f koja je reprezentativna za koeficijente podliste SE1.

[0102] U odabranom načinu realizacije gde će samo jedan znak biti skriven u signalu koji će se preneti u dekoder, funkcija f je parnost zbira koeficijenata podliste SE1.

[0103] U toku etape C9 koja je prikazana na slici 3, modul za obradu MTR_CO1 proverava da li parnost vrednosti znaka koji će biti skriven odgovara parnosti zbira koeficijente podliste SE1u skladu sa prethodno definisanim pravilom u koderu CO1.

1

[0104] U predloženom primeru, pomenuto pravilo je takvo da se pozitivan znak pripisuje bitu čija je vrednost nula, dok se negativan znak pripisuje bitu čija je vrednost jedan.

[0105] Ukoliko je, prema pravilu koje je usvojeno u koderu CO1 prema pronalasku, znak pozitivan, što odgovara vrednosti bita kodovanja nula, i ukoliko je zbir koeficijenata podliste SE1paran, prelazi se na etapu C20 entropijskog kodovanja koeficijenata navedene liste E1, sa izuzetkom znaka koeficijenta ε2.

[0106] Ukoliko je, i dalje prema pravilu koje je usvojeno u koderu CO1 prema pronalasku, znak negativan, što odgovara vrednosti bita kodovanja jedan, i ukoliko je zbir koeficijenata podliste SE1neparan, takođe se prelazi na etapu C20 entropijskog kodovanja koeficijenata navedene liste E1, sa izuzetkom znaka koeficijenta ε2.

[0107] Ukoliko je, prema pravilu koje je usvojeno u koderu CO1 prema pronalasku, znak pozitivan, što odgovara vrednosti bita kodovanja nula, i ukoliko je zbir koeficijenata podliste SE1neparan, vrši se, u toku etape C10 koja je prikazana na slici 3, modifikacija najmanje jednog izmenjivog koeficijenta podliste SE1.

[0108] Ukoliko je, i dalje prema pravilu koje je usvojeno u koderu CO1 prema pronalasku, znak negativan, što odgovara vrednosti bita kodovanja jedan, i ukoliko je zbir koeficijenata podliste SE1paran, takođe se prelazi na etapu C10 i vrši se modifikacija najmanje jednog izmenjivog koeficijenta podliste SE1.

[0109] Tu operaciju modifikacije vrši modul za obradu MTR_CO1 koji je prikazan na slici 4.

[0110] U primeru realizacije gde je SE1=(+9,-7,0,0,+1,0,-1,+2,0,0,+1), ukupan zbir koeficijenata je jednak 5, i dakle neparan je. Da bi dekoder mogao da rekonstruiše pozitivan znak koji je dodeljen prvom nenultom koeficijentu, ε2=±9, a da pritom koder CO1 ne mora da prenese taj koeficijent u dekoder, potrebno je da parnost zbira postane parna. Stoga, modul za obradu MTR_CO1 testira, u toku pomenute etape C10, različite modifikacije koeficijenata podliste SE1, čiji je cilj promena parnosti zbira koeficijenata. U odabranom načinu realizacije, vrši se dodavanje 1 ili -1 svakom izmenjivom koeficijentu i selekcija jedne modifikacije među svim onim koje su izvršene.

[0111] U odabranom načinu realizacije, ta selekcija predstavlja optimalnu predikciju prema kriterijumu performanse koji je na primer kriterijum protok distorzija koji je dobro poznat stručnjacima iz oblasti. Takav kriterijum se izražava dole navedenom jednačinom (1):

(1) J=D+λR gde

D predstavlja distorziju između originalnog makrobloka i rekonstruisanog makrobloka, R predstavlja cenu u bitovima kodovanja informacija za kodovanje, dok λ predstavlja Lagranžov multiplikator čija vrednost može biti određena pre kodovanja.

[0112] U predloženom primeru, modifikacija koja dovodi do optimalne predikcije prema navedenom kriterijumu protok-distorzija jeste dodatak čija je vrednost 1 drugom koeficijentu -7 podliste SE1.

[0113] Nakon etape C10, dobija se modifikovana podlista SEm1=(+9,+6,0,0,+1,0,-1,+2,0,0,+1).

[0114] Treba napomenuti da su tokom te etape neke modifikacije zabranjene. U slučaju kada bi prvi nenulti koeficijent ε2 imao vrednost 1, ne bi bilo moguće dodati mu -1, jer bi on postao nula, i stoga bi izgubio svoju karakteristiku prvog nenultog koeficijenta liste E1. Dekoder bi tada na kraju dodelio dekodovani znak (izračunavanjem parnosti zbira koeficijenata) drugom koeficijentu, i postojala bi greška u dekodovanju.

[0115] U toku etape C11 koja je prikazana na slici 3, modul za obradu MTR_CO1 vrši odgovarajuću modifikaciju liste E1. Tako se dobija sledeća modifikovana lista Em1= (0,+9,-6,0,0,+1,0,-1, 2,0,0,+1,0,0,0,0).

[0116] Zatim se prelazi na etapu C20 entropijskog kodovanja koeficijenata navedene liste Em1, sa izuzetkom znaka koeficijenta ε2, koji je znak koeficijenta 9 u predloženom primeru, i taj znak je skriven u parnosti zbira koeficijenata.

[0117] Treba napomenuti da je skup amplituda koeficijenata liste E1ili modifikovane liste Em1kodovan pre svih znakova, sa izuzetkom znaka prvog nenultog koeficijenta ε2 koji se ne koduje, kao što je objašnjeno u prethodnom delu teksta.

[0118] U toku naredne etape C30 koja je prikazana na slici 3, modul za kodovanje MC_CO1 sa slike 4 testira da li je tekući kodovani blok poslednji blok slike IE.

[0119] Ukoliko je tekući blok poslednji blok slike IE, u toku etape C40 koja je prikazana na slici 3, kodovanje je završeno.

[0120] Ukoliko to nije slučaj, prelazi se na selekciju narednog bloka B'ikoji se koduje u skladu sa redosledom navedene putanje raster scan, ponavljanjem etapa C1 do C20, za 1≤i≤Z.

[0121] Kada se izvrši entropijsko kodovanje svih blokova B'1do B'Z, vrši se konstrukcija signala F' koji u binarnoj formi predstavlja navedene kodovane blokove.

[0122] Konstrukcija binarnog signala F' sprovodi se u softverskom modulu CF1 za konstrukcije protoka, kako je prikazano na slici 4.

[0123] Protok F' se zatim prenosi komunikacionom mrežom (koja nije prikazana) do udaljenog terminala. On sadrži dekoder koji će detaljnije biti opisan u daljem tekstu.

[0124] Sada ćemo opisati, pre svega pozivajući se na sliku 3, drugi način realizacije pronalaska.

[0125] Ovaj drugi način realizacije se razlikuje od prethodnog samo po broju koeficijenata koji se skrivaju koji je ili 0, ili N, a N je ceo broj kao u izrazu N≥2.

[0126] U tom smislu, navedena podetapa upoređivanja C72 zamenjuje se podetapom C72a koja je prikazana isprekidanom linijom na slici 3, u toku koje se vrši upoređivanje broja izmenjivih koeficijenata sa više unapred određenih pragova 0<TSIG_1<TSIG_2<TSIG_3...., tako da ukoliko je broj izmenjivih koeficijenata između TSIG_N i TSIG_N+1, N znaci će biti skriveni.

1

[0127] Ukoliko je broj izmenjivih koeficijenata manji od prvog praga TSIG_1, tokom navedene etape C20 se vrši klasično entropijsko kodovanje koeficijenata liste E1. U tom smislu, znak svakog nenultog koeficijenta liste E1entropijski se koduje.

[0128] Ukoliko se broj izmenjivih koeficijenata nalazi između pragova TSIG_N i TSIG_N+1, u toku etape C8 koja je prikazana na slici 3, modul za obradu MTR_CO1 računa vrednost funkcije f koja je reprezentativna za koeficijente podliste SE1.

[0129] U ovom drugom načinu realizacije, budući da je odluka u koderu da se sakrije N znakova, funkcija f je ostatak modulo 2<N>zbira koeficijenata podliste SE1. Pretpostavlja se da su u predloženom primeru N=2, dva znaka koja će biti skrivena prva dva znaka prva dva nenulta koeficijenta, odnosno ε2 i ε3.

[0130] U toku naredne etape C9 koja je prikazana na slici 3, modul za obradu MTR_CO1 proverava da li konfiguracija N znakova, ili 2<N>mogućih konfiguracija, odgovara vrednosti ostatka modula 2<N>zbira koeficijenata podliste SE1.

[0131] U predloženom primeru gde je N=2, postoji 2<2>=4 konfiguracija različitih znakova.

[0132] Ove četiri konfiguracije prate pravilo u koderu CO1, koje je na primer utvrđeno na sledeći način:

- ostatak jednak nuli odgovara dvama pozitivnim uzastopnim znakovima: , ;

- ostatak jednak jedinici odgovara uzastopnom pozitivnom i negativnom znaku: , -;

- ostatak koji iznosi dva odgovara uzastopnom negativnom i pozitivnom znaku: -, ;

- ostatak koji iznosi tri odgovara dvama negativnim uzastopnim znakovima: -, -.

[0133] Ukoliko konfiguracija N znakova odgovara vrednosti ostatka modulo 2<N>zbira koeficijenata podliste SE1, prelazi se na etapu C20 entropijskog kodovanja koeficijenata navedene liste E1, sa izuzetkom znaka koeficijenta ε2 i ε3, ti znaci su skriveni u parnosti zbira modulo 2<N>koeficijenata.

[0134] Ukoliko to nije slučaj, prelazi se na etapu C10 modifikacije najmanje jednog izmenjivog koeficijenta podliste SE1. Tu modifikaciju vrši modul za obradu MTR_CO1 sa slike 4 tako da ostatak modulo 2<N>zbira izmenjivih koeficijenata podliste SE1dostigne vrednost svakog od dva znaka koji se skrivaju.

[0135] U toku navedene etape C11, modul za obradu MTR_CO1 vrši odgovarajuću modifikaciju liste E1.Tako se dobija modifikovana lista Em1.

[0136] Zatim se prelazi na etapu C20 entropijskog kodovanja koeficijenata navedene liste Em1, sa izuzetkom znaka koeficijenta ε2 i znaka koeficijenta ε3, ti znakovi su skriveni u parnosti zbira modulo 2<N>koeficijenata.

Detaljan opis dela koji se odnosi na dekodovanje

1

[0137] Sada će biti opisan opšti način realizacije postupka dekodovanja prema pronalasku, u kojem je postupak dekodovanja implementiran softverski ili materijalno modifikacijama dekodera koji je inicijalno usaglašen sa standardom H.264/MPEG-4 AVC.

[0138] Postupak dekodovanja prema pronalasku prikazan je u formi algoritma koji sadrži etape od SD1 do SD7, koje su predstavljene na slici 5.

[0139] Prema opštem načinu realizacije pronalaska, postupak dekodovanja prema pronalasku implementiran je u uređaj za dekodovanje ili dekoder DO koji je predstavljen na slici 6, koji je adaptiran da prima protok F koji isporučuje koder CO sa slike 2.

[0140] U toku preliminarne etape koja nije prikazana na slici 5, u primljenom signalu podataka F vrši se identifikacija particija B1do BZkoje su prethodno kodovane koderom CO. U odabranom načinu realizacije, navedene particije su blokovi koji imaju kvadratni oblik i svi su iste veličine. U zavisnosti od veličine slike koja nije nužno sadržalac veličine blokova, poslednji blokovi levo i poslednji blokovi dole ne moraju biti kvadratnog oblika. U alternativnom načinu realizacije, blokovi na primer mogu biti pravougaoni i/ili da ne pripadaju istoj liniji.

[0141] Osim toga svaki blok ili makroblok može biti i sam podeljen na podblokove koji se i sami mogu dalje deliti.

[0142] Takva identifikacija se vrši softverskim modulom EX_DO za analizu protoka, koji je predstavljen na slici 6.

[0143] U toku etape SD1 koja je prikazana na slici 5, modul EX_DO sa slike 6 selektuje kao tekući blok Biprvi blok B1za dekodovanje. Ta selekcija se na primer sastoji od postavljanja pokazivača očitavanja u signal F na početku podataka prvog bloka B1.

[0144] Zatim se vrši dekodovanje svakog selektovanog kodovanog bloka.

[0145] U primeru koji je predstavljen na slici 5, takvo dekodovanje se primenjuje sukcesivno na svaki od kodovanih blokova od B1do BZ. Blokovi se dekoduju, na primer, očitavanjem putanjom „raster scan“ koje je dobro poznato stručnjacima iz ove oblasti.

[0146] Dekodovanje prema pronalasku se primenjuje u softverskom modulu za dekodovanje MD_DO dekodera DO, koji je prikazan na slici 6.

[0147] U toku etape SD2 koja je prikazana na slici 5, najpre se vrši entropijsko dekodovanje prvog tekućeg bloka B1koji je selektovan. Tu operaciju vrši modul za entropijsko dekodovanje DE_DO koji je prikazan na slici 6, na primer tipa CABAC. U toku te etape, modul DE_DO vrši entropijsko dekodovanje digitalnih informacija koje odgovaraju amplitudi svakog kodovanog podatka liste D1ili modifikovane liste Dm1. U ovom stadijumu se ne dekoduju samo znaci podataka liste D1ili modifikovane liste Dm1.

[0148] U slučaju kada modul za obradu MTR_DO prima listu D1= (a1, a2,..., aP), u toku etape SD3 koja je predstavljena na slici 5 vrši se klasično entropijsko dekodovanje svih znakova podataka liste D1. To

1

dekodovanje vrši dekoder CABAC, naveden kao referenca DE_DO na slici 6. U tom smislu, znak svakog nenultog podatka liste D1entropijski se dekoduje.

[0149] U slučaju kada modul za obradu MTR_DO prima izmenjenu listu Dm1=(a'1, a'2,...,a'P), u toku navedene etape SD3 vrši se klasično entropijsko dekodovanje svih znakova podataka liste Dm1, sa izuzetkom prvog nenultog podatka a2.

[0150] U toku etape SD4 koja je predstavljena na slici 5, modul za obradu MTR_DO računa vrednost funkcije f, koja je reprezentativna za podatke liste Dm1, tako da utvrđuje da li je izračunata vrednost parna ili neparna.

[0151] U odabranom načinu realizacije gde se samo jedan znak skriva u signalu F, funkcija f je parnost zbira podataka liste Dm1.

[0152] Prema pravilu koje se koristi u koderu CO, koje je isto za dekoder DO, parna vrednost zbira podataka liste Dm1znači da je znak prvog nenultog podatka modifikovane liste Dm1pozitivan,dok neparna vrednost zbira podataka liste Dm1znači da je znak prvog nenultog podatka modifikovane liste Dm1negativan.

[0153] U primeru realizacije, ukupan zbir podataka je paran. Stoga po završetku etape SD4, modul za obradu MTR_DO zaključuje da je skriveni znak prvog nenultog podatka a2 pozitivan.

[0154] U toku etape SD5 koja je predstavljena na slici 5, vrši se konstrukcija dekodovanog bloka BD1. Tu operaciju vrši softverski modul za rekonstrukciju MR_DO koji je predstavljen na slici 6.

[0155] U toku etape SD6 koja je predstavljena na slici 5, modul za dekodovanje MD_DO testira da li je tekući dekodovani blok poslednji identifikovani blok u signalu F.

[0156] Ukoliko je tekući blok poslednji blok signala F, u toku etape SD7 koja je predstavljena na slici 5, postupak dekodovanja je završen.

[0157] Ukoliko to nije slučaj, prelazi se na selekciju narednog bloka Biza dekodovanje u skladu sa redosledom pomenute putanje raster scan, ponavljanjem etapa SD1 do SD5, za 1≤i≤Z.

[0158] Sada ćemo opisati, pre svega pozivajući se na sliku 5, drugi način realizacije pronalaska.

[0159] Taj drugi način realizacije pronalaska razlikuje se od prethodnog samo po broju skrivenih znakova koji je sada jednak N, a N je ceo broj kao N≥2.

[0160] U tom smislu, u toku navedene etape SD3, vrši se klasično entropijsko dekodovanje svih znakova podataka liste Dm1, sa izuzetkom odgovarajućih N znakova prvih nenultih podataka navedene modifikovane liste Dm1, budući da su pomenuti N znakovi skriveni.

[0161] U ovom drugom načinu realizacije, u toku etape SD4, modul za obradu MTR_DO računa vrednost funkcije f koja je ostatak modulo 2<N>zbira podataka liste Dm1. Pretpostavlja se da je u predloženom primeru N=2.

[0162] Modul za obradu MTR_DO izvodi, dakle, konfiguraciju dva skrivena znaka koji se redom dodeljuju svakom od prva dva nenulta podatka a2 i a3, prema pravilu koje se primenjuje u kodovanju.

1

[0163] Kada se rekonstruišu ta dva znaka, pristupa se primeni etapa SD5 do SD7 koje su gore navedene.

[0164] Sada će biti opisan poseban način realizacije postupka dekodovanja prema pronalasku u kojem je postupak dekodovanja implementiran na softverski ili materijalni način modifikacijama dekodera koji je inicijalno usaglašen sa standardom H.264/MPEG-4 AVC.

[0165] Postupak dekodovanja prema pronalasku prikazan je u formi algoritma koji sadrži etape od D1 do D12, koje su prikazane na slici 7.

[0166] Prema načinu realizacije pronalaska, postupak dekodovanja prema pronalasku implementiran je u uređaj za dekodovanje ili dekoder DO1 koji je prikazan na slici 8, i koji je u stanju da obrađuje signal F' koji je isporučen od strane kodera CO1 sa slike 4.

[0167] U toku preliminarne etape koja nije prikazana na slici 7, vrši se identifikacija, u primljenom signalu podataka F', particija B'1do B'Zkoje su prethodno kodovane koderom CO1. U odabranom načinu realizacije, navedene particije su blokovi koji imaju kvadratni oblik i iste su veličine. U zavisnosti od veličine slike koja nije nužno sadržalac veličina blokova, poslednji blokovi levo i poslednji blokovi dole ne moraju biti kvadratnog oblika. U alternativnom načinu realizacije, blokovi na primer mogu biti pravougaoni i/ili da ne pripadaju istoj liniji.

[0168] Osim toga, svaki blok ili makroblok može biti i sam podeljen na podblokove koji se i sami mogu dalje deliti.

[0169] Tu identifikaciju vrši softverski modul EX_DO1 za analizu protoka, koji je predstavljen na slici 8.

[0170] U toku etape D1 koja je prikazana na slici 7, modul EX_DO1 sa slike 8 selektuje kao tekući blok B'iprvi blok B'1za dekodovanje. Ta selekcija se na primer sastoji od postavljanja pokazivača očitavanja u signal F' na početku podataka prvog bloka B'1.

[0171] Zatim se vrši dekodovanje svakog selektovanog kodovanog bloka.

[0172] U primeru koji je predstavljen na slici 7, takvo dekodovanje se primenjuje sukcesivno na svaki od kodovanih blokova od B'1do B'Z. Blokovi se dekoduju, na primer, očitavanjem putanjom „raster scan“ koje je dobro poznato stručnjacima iz ove oblasti.

[0173] Dekodovanje prema pronalasku se primenjuje u softverskom modulu za dekodovanje MD_DO1 dekodera DO1, koji je prikazan na slici 8.

[0174] U toku etape D2 koja je prikazana na slici 7, najpre se vrši entropijsko dekodovanje prvog tekućeg bloka B'1koji je selektovan. Tu operaciju vrši modul za entropijsko dekodovanje DE_DO1 koji je prikazan na slici 8, na primer tipa CABAC. U toku te etape, modul DE_DO1 vrši entropijsko dekodovanje digitalnih informacija koje odgovaraju amplitudi svakog kodovanog koeficijenta liste E1ili modifikovane liste Em1. U ovoj fazi se ne dekoduju samo znaci koeficijenata liste E1ili modifikovane liste Em1.

[0175] U toku etape D3 koja je prikazana na slici 7, vrši se utvrđivanje broja znakova koji mogu biti skriveni u toku prethodne etape entropijskog kodovanja C20. Tu etapu D3 vrši softverski modul za

1

obradu MTR_DO1 koji je prikazan na slici 8. Etapa D3 je slična pomenutoj etapi C7 utvrđivanja broja znakova za skrivanje.

[0176] U odabranom načinu realizacije, broj skrivenih znakova je jedan ili nula. Osim toga, u skladu sa pomenutim odabranim načinom realizacije, znak prvog nenultog koeficijenta je skriven. U prikazanom primeru, radi se dakle o pozitivnom znaku koeficijenta ε2=+9.

[0177] U alternativnom načinu realizacije, broj skrivenih znakova je ili nula, ili jedan, ili dva, ili tri, ili više.

[0178] U skladu sa odabranim načinom realizacije etape D3, u toku prve podetape D31 koja je prikazana na slici 7, vrši se određivanje, na osnovu pomenute liste E1ili modifikovane liste Em1, podliste koja sadrži koeficijente ε'1, ε'2,..., ε'M gde je M<L a koji su mogli biti izmenjeni pri kodovanju.

[0179] To utvrđivanje se vrši na isti način kao i u navedenoj etapi kodovanja C7.

[0180] Kao i pomenuti modul za obradu MTR_CO1, modul za obradu MTR_DO1 je inicijalno konfigurisan tako da ne modifikuje:

- jedan ili više koeficijenata jednakih nuli koji se nalaze ispred prvog nenultog koeficijenta, - i zbog složenosti računanja, jedan ili više koeficijenata jednakih nuli koji se nalaze posle poslednjeg nenultog koeficijenta.

[0181] U prikazanom primeru, po završetku podetape D31, reč je o podlisti SEm1kao što je SEm1= (9, -6, 0, 0, 1, 0, -1, 2, 0, 0, 1). Stoga se dobija jedanaest koeficijenata koji su mogli biti izmenjeni.

[0182] U toku naredne podetape D32 koja je prikazana na slici 7, modul za obradu MTR_DO1 vrši poređenje broja koeficijenata koji su mogli biti izmenjeni sa unapred određenim pragom TSIG. U odabranom načinu realizacije, TSIG ima vrednost 4.

[0183] Ukoliko je broj koeficijenata koji su mogli biti izmenjeni manji od praga TSIG, vrši se, u toku etape D4 koja je prikazana na slici 7 klasično entropijsko dekodovanje svih znakova koeficijenata liste E1. Takvo dekodovanje je izvršeno u dekoderu CABAC, koji je naznačen kao referenca DE_DO1 na slici 8. U tom smislu, znak svakog nenultog koeficijenta liste E1entropijski se dekoduje.

[0184] Ukoliko je broj koeficijenata koji su mogli biti izmenjeni veći od praga TSIG, tokom navedene etape D4 vrši se klasično entropijsko dekodovanje svih znakova koeficijenata liste Em1,sa izuzetkom prvog nenultog koeficijenta ε2.

[0185] U toku etape D5 koja je prikazana na slici 7, modul za obradu MTR_DO1 računa vrednost funkcije f koja je reprezentativna za koeficijente podliste SEm1, tako da određuje da li je izračunata vrednost parna ili neparna.

[0186] U odabranom načinu realizacije, gde je samo jedan znak skriven u signalu F', funkcija f je parnost zbira koeficijenata podliste SEm1.

2

[0187] Prema pravilu korišćenom u koderu CO1, koji je isti za dekoder DO1, parna vrednost zbira koeficijenata podliste SEm1znači da je znak prvog nenultog koeficijenta modifikovane liste Em1pozitivan,dok neparna vrednost zbira koeficijenata podliste SEm1znači da je znak prvog nenultog koeficijenta modifikovane liste Em1negativan.

[0188] U primeru realizacije gde je SEm1=(+9,-6,0,0,+1,0,-1,+2,0,0,+1), ukupan zbir koeficijenata je jednak 6, dakle paran. Stoga, po završetku etape D5, modul za obradu MTR_DO1 izvodi da je skriveni znak prvog nenultog koeficijenta ε2 pozitivan.

[0189] U toku etape D6 koja je prikazana na slici 7, i uz pomoć svih digitalnih informacija rekonstruisanih u etapama D2, D4 i D5, vrši se rekonstrukcija kvantizovanih koeficijenata bloka B'q1prema unapred određenom redosledu. U prikazanom primeru, reč je o cik-cak putanji koja je obrnuta od cik-cak putanje koja je obavljena u toku navedene etape kodovanja C6. Tu etapu vrši softverski modul za očitavanje ML_DO1, koji je prikazan na slici 8. Preciznije, modul ML_DO1 vrši upisivanje koeficijenata liste E1(monodimenzionalna) u blok B'q1(bidimenzionalan) koristeći navedeni obrnuti redosled cik-cak putanje.

[0190] U toku etape D7 koja je prikazana na slici 7, vrši se dekvantizacija kvantizovanog bloka ostatka B'q1klasičnom operacijom dekvantizacije koja je obrnuta operacija od kvantizacije koja je izvršena u kodovanju u navedenoj etapi C5, da bi se dobio dekodovani dekvantizovani blok BD'q1. Ta etapa se vrši pomoću softverskog modula za dekvantizaciju MDQ_DO1, koji je prikazan na slici 8.

[0191] U toku etape D8 koja je prikazana na slici 7, vrši se obrnuta transformacija dekvantizovanog bloka BD'q1, koja je obrnuta operacija od direktne transformacije koja je izvršena u kodovanju u pomenutoj etapi C4. Tako je dobijen dekodovani blok ostatak BD'r1. Tu operaciju vrši softverski modul za obrnutu transformaciju MTI_DO1, koji je prikazan na slici 8.

[0192] U toku etape D9 koja je prikazana na slici 7, vrši se prediktivno dekodovanje tekućeg bloka B'1. To prediktivno dekodovanje se klasično vrši poznatim tehnikama predikcije intra i/ili inter, tokom kojeg je blok B'1prediktovan u odnosu na najmanje jedan blok koji je prethodno dekodovan. Tu operaciju vrši softverski modul za prediktivno dekodovanje PRED_DO1 koji je prikazan na slici 8.

[0193] Podrazumeva se da su mogući drugi načini predikcije intra, onakvi kakvi su predloženi u standardu H.264.

[0194] U toku ove etape, prediktivno dekodovanje se vrši pomoću sintaksičkih elemenata koji su dekodovani u prethodnoj etapi i koji podrazumevaju pre svega tip predikcije (inter ili intra), i ukoliko je to slučaj, režim predikcije intra, tip particionisanja bloka ili makroblokova ukoliko je ovaj poslednji subdiviziran, referentni indeks slike i vektor pomeranja koji su korišćeni u režimu predikcije inter.

[0195] Navedena etapa prediktivnog dekodovanja služi za konstruisanje pomenutog bloka B'p1.

[0196] U toku etape D10 koja je prikazana na slici 7, vrši se konstrukcija dekodovanog bloka BD'1dodajući prediktovanom bloku B'p1dekodovani blok ostatak BD'r1. Tu operaciju vrši softverski modul za rekonstrukciju MR_DO1 koji je prikazan na slici 8.

[0197] U toku etape D11 koja je prikazana na slici 7, modul za dekodovanje MD_DO1 testira da li je tekući dekodovani blok poslednji blok identifikovan u signalu F'.

[0198] Ukoliko je tekući blok poslednji blok signala F', u toku etape D12 koja je prikazana na slici 7, završen je postupak dekodovanja.

[0199] Ukoliko to nije slučaj, vrši se selekcija narednog bloka B'iza dekodovanje u skladu sa redosledom navedene putanje raster scan, ponavljanjem etapa D1 do D10, za 1≤i≤Z.

[0200] Sada ćemo opisati, pre svega pozivajući se na sliku 7, drugi način realizacije pronalaska.

[0201] Ovaj drugi način realizacije razlikuje se od prethodnog samo po broju skrivenih koeficijenata koji je ili 0, ili N, a N je ceo broj kao u izrazu N≥2.

[0202] U tom smislu, navedena podetapa upoređivanja D32 zamenjuje se podetapom D32a koja je prikazana isprekidanom linijom na slici 7, u toku koje se vrši upoređivanje broja koeficijenata koji su mogli biti izmenjeni sa više unapred određenih pragova 0<TSIG_1<TSIG_2<TSIG_3..., tako da, ukoliko je broj navedenih koeficijenata između TSIG_N i TSIG_N+1, N znaci su skriveni.

[0203] Ukoliko je broj navedenih koeficijenata manji od prvog praga TSIG_1, tokom pomenute etape D4 vrši se klasično entropijsko dekodovanje svih znakova koeficijenata liste E1. U tom smislu, znak svakog nenultog koeficijenta liste E1entropijski je dekodovan.

[0204] Ukoliko se broj navedenih koeficijenata nalazi između praga TSIG_N i TSIG_N+1, tokom navedene etape D4, vrši se klasično entropijsko dekodovanje svih znakova koeficijenata liste E1, sa izuzetkom odgovarajućih N znakova prvih nenultih koeficijenata pomenute modifikovane liste Em1, budući da su N znaci skriveni.

[0205] U ovom drugom načinu realizacije, modul za obradu MTR_DO1 računa u toku etape D5, vrednost funkcije f koja je ostatak modulo 2<N>zbira koeficijenata podliste SEm1. Pretpostavlja se da je u datom primeru N=2.

[0206] Modul za obradu MTR_DO1 izvodi dakle konfiguraciju dva skrivena znaka koji su dodeljeni redom svakom od dva prva nenulta koeficijenta ε2 i ε3, prema pravilu koje se koristi u kodovanju.

[0207] Kada su ova dva znaka rekonstruisana, prelazi se na realizaciju gore opisanih etapa D6 do D12.

[0208] Podrazumeva se da su načini realizacije koji su gore opisani dati isključivo indikativno.

[0209] Pronalazak je definisan priloženim zahtevima.

[0210] Tako na primer, prema pojednostavljenom načinu realizacije u odnosu na onaj koji je prikazan na slici 4, koder CO1 bi mogao biti konfigurisan da sakrije najmanje N' unapred određenih znakova, sa N'≥1, umesto nula, ili jedan ili N unapred određenih znakova. U tom slučaju, etapa poređenja C72 ili C72a bila bi obrisana. Na odgovarajući način, prema pojednostavljenom načinu realizacije u odnosu na onaj koji je prikazan na slici 8, dekoder DO1 bi bio konfigurisan da rekonstruiše N' unapred određenih znakova umesto nula ili jedan ili N unapred određenih znakova. U tom slučaju, etapa poređenja D32 ili D32a bila bi izbrisana. Osim toga, kriterijum odlučivanja koji je primenjen na etapu kodovanja C72 i na etapu

Claims (5)

1. dekodovanja D32 mogao bi biti zamenjen nekom drugom vrstom kriterijuma. U tom smislu, umesto da poredi sa nekim pragom broj izmenjivih koeficijenata ili broj koeficijenata koji su mogli biti izmenjeni, modul za obradu MTR_CO1 ili MTR_DO1 mogao bi da primeni kriterijum odlučivanja koji je redom funkcija zbira amplituda izmenjivih koeficijenata ili koeficijenata koji su mogli biti izmenjeni, ili još broja nula prisutnih među izmenjivim koeficijentima ili koeficijentima koji su mogli biti izmenjeni.

   Patentni zahtevi

   1. Postupak dekodovanja signala reprezentativnih podataka najmanje jedne slike podeljene na particije, koja je prethodno kodovana, gde particije obuhvataju tekuću particiju (Bi) za dekodovanje koja sadrži podatke od kojih je najmanje jedan podatak obeležen znakom, podatke koji su koeficijenti direktne transformacije, pri čemu postupak dekodovanja podrazumeva:

   - entropijsko dekodovanje (D2) prve tekuće particije (Bi),

   - određivanje (D3), na osnovu dekodovanih nenultih podataka tekuće particije, ukoliko je znak najmanje jednog podatka skriven,

   - izračunavanje (D5) vrednosti parnosti zbira dekodovanih podataka tekuće particije (Bi), - dobijanje, na osnovu pomenute vrednosti parnosti, vrednosti pomenutog znaka, ukoliko parnost zbira podataka ima prvu vrednost, znak je pozitivan, a ukoliko parnost zbira podataka ima drugu vrednost, znak je negativan,

   - rekonstrukciju (D6), na osnovu nje same, kvantizovanih koeficijenata tekuće particije (Bi) u prethodno određeni redosled, i

   - dekvantizaciju (D7) kvantizovanih koeficijenata tekuće particije (Bi) tako da se dobije dekvantizovan i dekodovan blok.
2. 2. Postupak dekodovanja prema zahtevu 1, u kom se dobijanje vrednosti pomenutoga skrivenog znaka prvog nenultog koeficijenta (e2) izvodi modulom (MTR_DO1) za obradu.
3. 3. Postupak dekodovanja prema zahtevu 2, u kom modul (MTR_DO1) za obradu računa vrednost funkcije f koja je reprezentativna za koeficijente podliste dekodovanih podataka tekuće particije tako da odredi da li je izračunata vrednost parna ili neparna.
4. 4. Postupak dekodovanja prema zahtevu 1, tokom kog se na osnovu navedene izračunate vrednosti dobija mnoštvo vrednosti koje su redom povezane sa mnoštvom (N) znakova.

   2
5. 5. Postupak dekodovanja prema zahtevu 1, u kom prethodno određeni redosled predstavlja cik-cak putanju.