ITVA20060079A1 - Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori - Google Patents

Description

VA/ 2006 /A/, 0 0 7 9

il 9 Die. 2006

Titolare: STMicroelectronics S.r.l.

“METODO DI CLASSIFICAZIONE CROMATICA DI PIXEL E METODO DI MIGLIORAMENTO ADATTATIVO DI UN'IMMAGINE A COLORI”

Questa invenzione concerne il trattamento di immagini digitali e più in particolare un metodo di classificazione cromatica di pixel e un metodo di miglioramento adattativo di un’immagine a colori che sfrutta il metodo di classificazione cromatica.

La grande diffusione di apparecchi fotografici quali le macchine fotografiche, i telefoni cellulari dotati di dispositivi di ripresa fotografica per citarne alcuni, ed il grande sviluppo delle tecniche digitali di elaborazione delle immagini, hanno prodotto numerosi nuovi procedimenti di miglioramento delle immagini sia in termini globali [25] che semantici [26].

Per fotografie di scene naturali, panorami, ritratti, ecc., è largamente condiviso l'assunto [3], [4], [5], [6], [10] che i colori relativi a un numero ristretto di classi hanno un impatto percettivo più marcato sul sistema visuale umano.

Questi studi mostrano che le classi cromatiche fondamentali sono essenzialmente: la carnagione o pelle, la vegetazione, il cielo/mare.

Queste classi sembrano avere il maggiore impatto percettivo sul sistema visuale umano. Classiche tecniche globali [24] (equalizzazione ad istogrammi, miglioramento del contrasto) lavorano senza supervisione, cioè senza tenere conto di specifiche peculiarità di ciascuna delle classi di colore di un'immagine da elaborare.

Diverse soluzioni sono note che eseguono una correzione del colore.

Per esempio [30], [31], consentono un miglioramento automatico del colore. La prima tecnica permette di eseguire un miglioramento automatico della saturazione correggendo l'intera immagine allo stesso modo senza implementare alcun controllo adattivo. La seconda tecnica invece esegue una correzione manualmente guidata del colore, pertanto in modo semiautomatico. L'operatore deve specificare colori bersaglio per classi reali e viene quindi eseguita una correzione globale sull'intera immagine producendo spesso sgradevoli artefatti di fusione di colore. In entrambi i casi, viene eseguita una correzione globale sull'intera immagine.

Il brevetto statunitense US 6,738,510 descrive una correzione guidata in termini di classe di colore di un'immagine.

Altre pubblicazioni [27], [28] e [22], descrivono tecniche di correzione del colore in modo generale o adattivo.

Le tecniche di correzione/miglioramento dell'immagine secondo un approccio adattivo, pur essendo potenzialmente efficaci non hanno sino ad oggi trovato una diffusa applicazione pratica a causa delle intrinseche difficoltà di filtrare adeguatamente la gran quantità di dati statistici rilevabili da un'immagine da processare ricca di dettagli di diverso colore, senza impegnare quantità ineconomiche di risorse computazionali.

Un metodo che supera gli inconvenienti summenzionati è descritto nella domanda di brevetto VA2004A000032 a nome della stessa richiedente e si basa essenzialmente sulla generazione di un'immagine maschera di appartenenza (membership) dei pixel dell'immagine di ingresso ad una o proporzionalmente a più classi di una pluralità di prestabilite classi di cromaticità o tinte rappresentative di certi oggetti reali, ad esempio

VA/ 2006 /A/. 0 0 7 9

1 9 Die. 2006

carnagione o pelle, vegetazione, cielo/mare, ..., ecc. attraverso

un'elaborazione interamente automatica e basata sulla definizione di una

tabella di consultazione di valori bersaglio di cromaticità per ciascuna delle

classi alle quali si intende discriminatamente assegnare ciascun pixel

deirimmagine di ingresso.

Naturalmente, possono essere prestabiliti un qualsivoglia numero di

classi di cromaticità, in funzione della tipologia delle immagini di ingresso o

di certe esigenze dell'applicazione di correzione/miglioramento del colore o

anche di altro tipo.

Molti autori hanno proposto tecniche per rilevare specifiche classi di

oggetti, come la pelle, la vegetazione e il cielo in immagini digitali. Questi

approcci sono tutti basati su modelli cromatici estratti da collezioni di

immagini [1-4] e adottano diversi sistemi di classificazione secondo vari

modelli di aspetto e illuminazione. Questa classificazione automatica può

essere usata per migliorare il colore di immagini digitali [4-7].

Diversi brevetti e domande di brevetto [11-20] che divulgano tecniche

di classificazione cromatica e tecniche di correzione del colore di

un’immagine digitale [27-29] sono disponibili in letteratura.

Test effettuati dalla richiedente hanno mostrato che usando il metodo di

classificazione descritto in [8] in algoritmi di miglioramento del colore

(“color enhancemenf ’) di certe immagini, erano riconoscibili nelle immagini

dei contorni artefatti con brusche variazioni del colore invece che sfumate.

Questo fenomeno risulta particolarmente accentuato quando si processano

immagini digitali con colori sfumati, come ad esempio una foto di un

paesaggio avvolto nella foschia, ecc.

Inoltre il metodo [8] è applicabile solo se i pixel sono rappresentati nel dominio tinta/saturazione per poter stabilire agevolmente adatte soglie di discriminazione del colore. Dato che in genere le fotocamere digitali generano immagini nel dominio RGB, per applicare il metodo divulgato in [8] è necessario convertire i valori RGB dei pixel di un’immagine generata in corrispondenti valori nel dominio tinta/saturazione, cosa che richiede calcoli onerosi dovuti alle riconversioni.

Sarebbe desiderabile un metodo di classificazione di pixel di immagini digitali che possa essere utilizzato per migliorare immagini anche con colori sfumati senza generare contorni artefatti, e che possibilmente sia facilmente ed efficacemente utilizzabile qualunque sia il dominio (RGB, HSL, HSI, La*b*, LuV, YCbCr ecc.) in cui sono rappresentati i pixel.

Studi approfonditi svolti dalla richiedente inducono a ritenere che i contorni artefatti possono essere dovuti al fatto che i pixel di un’immagine da trattare secondo i metodi noti [8] sono giudicati appartenenti ad una classe piuttosto che ad un’altra, o non appartenere a nessuna classe, sulla base di confronti con soglie predefinite. In presenza di colori sfumati, anche una piccola variazione di tinta fa sì che dei pixel possano essere giudicati appartenere ad una classe, mentre pixel adiacenti, anche se poco diversi da questi, vengano giudicati non appartenenti a nessuna classe predefinita. Di conseguenza, il colore dei primi viene corretto in maniera sensibilmente diversa dal colore dei secondi, generando così dei contorni artefatti dovuti al fatto che la sfumatura del colore dell’immagine originaria dà luogo ad una rappresentazione degradata a gradini di colore.

Secondo un aspetto della presente invenzione, questo inconveniente è

efficacemente risolto definendo per ciascuna classe una rispettiva funzione di appartenenza continua su tutto lo spazio di definizione dei pixel dell’immagine e che sia decrescente al crescere della distanza del pixel considerato dai valori statisticamente risultati più probabili di colore della classe considerata. Quindi, usando tali funzioni di appartenenza, si attribuisce a ciascun pixel di un’immagine da processare un livello di appartenenza a ciascuna classe e si determina la classe di appartenenza del pixel come quella corrispondente al più alto livello di appartenenza.

Secondo una forma di realizzazione preferita, la funzione di appartenenza è una funzione gaussiana ellittica. Questa funzione, in diversi test eseguiti dalla richiedente usando varie funzioni di appartenenza continue, si è dimostrata particolarmente adatta a raggruppare pixel di cielo/mare, vegetazione e pelle in qualunque dominio (RGB, HSL, HSI, La*b*, Lu’v’, YCbCr ecc.) essi siano rappresentati. Tuttavia, altre funzioni di appartenenza continue possono essere soddisfacentemente usate, ad esempio una funzione conica anziché gaussiana.

Una volta determinata per ciascun pixel la classe di appartenenza e il relativo livello di appartenenza, secondo il metodo dell’invenzione di miglioramento del colore di pixel di un’immagine si utilizzano queste informazioni per stabilire verso quali valori e quanto bisogna correggere il colore di ciascun pixel. In pratica, si definisce una tabella di valori obiettivo di cromaticità per ciascuna classe cromatica di oggetti e si corregge il colore di ciascun pixel tenendo conto della sua appartenenza ad una certa classe cromatica di oggetti e dei valori obiettivo di cromaticità per quella classe.

Secondo una forma di realizzazione preferita del metodo

VA/ 2006 /A/,0 0 7 9

19 QIC. 2006 O è? /u -fficio d -ì^’

dell’invenzione di miglioramento del colore di pixel di un’ immagine, il

colore di ciascun pixel viene corretto ad un valore calcolato mediante una

media pesata dei valori di colore corrente e dei valori di colore obiettivo della

sua classe di appartenenza, usando come peso il suo livello di appartenenza.

Ciò si è dimostrato utile per prevenire la generazione di contorni artefatti. Infatti, tutti i pixel sono classificati e immagini con sfumature di

colori di pixel di una stessa classe sono corrette in modo graduale, perché il

livello di appartenenza varia in modo continuo. Inoltre, anche se con il metodo di classificazione vengono inclusi in una classe (pelle, vegetazione, cielo/mare) pixel che in realtà non rappresentano oggetti di quella classe

(pelle, vegetazione, cielo/mare), ciò non porta ad artefatti percettibili nell’immagine migliorata. Infatti, il livello di appartenenza di tali pixel sarà talmente basso che il colore dei corrispondenti pixel generati dall’operazione

di “color enhancement” sarà praticamente lo stesso.

Il metodo dell’invenzione risulta particolarmente vantaggioso per elaborare pixel di immagini RGB. La discriminazione tra le classi di pixel è effettuata senza dover trasformare i pixel dallo spazio RGB a quello delle

tinte complementari, ma semplicemente convertendo ciascun pixel a colori

dallo spazio RGB in un corrispondente spazio bidimensionale normalizzato

rg e valutando il livello di appartenenza (“membership”) di ciascun pixel a ciascuna classe di oggetti utilizzando la funzione di appartenenza gaussiana ellittica. Così facendo si evita di dover eseguire i calcoli onerosi per trasformare la tema RGB di ciascun pixel nello spazio delle tinte complementari, ottenendo risultati soddisfacenti.

I metodi dell’invenzione possono essere implementati attraverso un

software eseguito da un computer oppure da un microprocessore o mediante un hardware dedicato.

L’invenzione è definita nelle annesse rivendicazioni.

L’invenzione sarà descritta facendo riferimento ai disegni allegati, in cui:

la Figura 1 mostra uno schema a blocchi del metodo di classificazione cromatica dell’invenzione;

la Figure 2a e 2b raffigurano rispettivamente un’immagine a 32646 colori e la medesima immagine quantizzata a ll colori;

le Figure 3a e 3b rappresentano rispettivamente nel dominio rg e nel dominio HS pixel di oggetti presi da immagini di un database campione; la Figura 4 mostra un modello gaussiano ellittico di raggruppamento di pixel nel piano rg;

la Figura 5 è ima rappresentazione grafica del modello di classificazione statistica per tre classi cromatiche nel dominio bidimensionale normalizzato rg;

la Figura 6 illustra schematicamente i bit necessari per la codifica dei livelli di appartenenza;

le Figure da 7a a 7d mostrano due esempi di immagini acquisite (7a e 7c) e le rispettive immagini di classificazione dei pixel (7b e 7d);

la Figura 8 un diagramma di flusso che illustra il metodo dell’invenzione di miglioramento del colore di un immagine digitale;

la Figura 9 mostra uno schema a blocchi di una prima forma di realizzazione del metodo di classificazione dell’invenzione;

la Figura 10 mostra una seconda forma di realizzazione del metodo di

classificazione dell’invenzione alternativa a quella di Figura 9;

la Figura 11 mostra un diagramma di flusso per migliorare il colore di un’immagine di una sequenza video;

la Figura 12 mostra i blocchi salienti di una fotocamera digitale avente un blocco che implementa il metodo di classificazione dell’invenzione;

le Figure da 13a a 13e mostrano due immagini da processare (13a e 13 e), le stesse immagini con i colori accentuati con obiettivi cromatici a toni pallidi (13b ed 13f), le stesse immagini con i colori accentuati con un obiettivo medio di saturazione di colore (13c e 13 g) e con obiettivi cromatici ad alta saturazione di colore (13d e 13h);

le Figure da 14a a 14d mostrano (14a) un particolare dell’immagine 13a e le sue versioni migliorate usando obiettivi cromatici a toni pallidi (14b), obiettivi a statistica media (14c) e ad alta saturazione di colore (14d).

Nel seguito si farà riferimento a pixel rappresentati nel dominio RGB, perché questa è la rappresentazione comunemente utilizzata nelle fotocamere e nelle videocamere digitali. Ciò che verrà detto potrà però essere ripetuto, mutatis mutandis, per pixel rappresentati mediante le componenti di intensità e cromaticità (HSL, HSI, La*b*, Lu’v’, YCbCr, ecc.) descritte in [24], Un diagramma di flusso che illustra il metodo di classificazione cromatica dell’invenzione è mostrato nella Figura 1. Ciascun pixel dell’immagine di ingresso, nel dominio cromatico RGB, è convertito nel dominio cromatico normalizzato rg secondo le seguenti formule:

R

r = (1)

R G B

G

g = (2)

R G B

Come sarà mostrato in seguito, anche nel dominio cromatico

normalizzato rg è possibile ottenere una classificazione accurata. Inoltre è semplice eseguire la trasformazione descritta dalle equazioni (1) e (2) partendo dalle componenti del pixel nel dominio RGB.

Il blocco di classificazione CLASSIFICATION classifica i pixel secondo un modello di classificazione CLASSIFICATION MODEL, che sarà descritto in seguito. Mediante l’operazione di classificazione viene individuata la classe cromatica di appartenenza C e il livello di appartenenza L a tale classe.

Il modello di classificazione automatica è definito mediante una caratterizzazione statistica delle classi desiderate. Questa caratterizzazione è ottenuta esaminando una grande quantità di immagini, che rappresentano gli oggetti/soggetti delle classi cromatiche che si vogliono individuare, scelte da un database composto da circa 500 immagini RGB con 16,7 milioni di colori possibili (24 bit per pixel) ad alta qualità, giudicate da osservatori come immagini con colori di alta qualità. Ciò vuol dire che immagini con colori che apparivano innaturali o anomali (secondo un senso comune di giudizio), non sono state considerate.

Tutte le immagini sono state segmentate per mezzo di un algoritmo adatto, per evitare di raccogliere statistiche su campioni di colore eccessivamente dispersi. Per eseguire questa operazione, è stato scelto l’algoritmo descritto in [22], che è idoneo a ridurre drasticamente i colori di un’immagine secondo principi semantici, ma si possono utilizzare vari approcci alternativi.

La Figura 2 mostra un esempio di applicazione del metodo di quantizzazione del colore adottato per ridurre i colori rappresentati nell’immagine. Nell’esempio, l’immagine di un paesaggio composta da

VA/ 2006 /A/,0 0 7 9 ΛΜί, 1 9 DIC.2006 o / Ufficio cfl Λ^·

32646 colori diversi è stata convertita in un’immagine a ll colori per ridurre

il tempo di calcolo.

Il colore di regioni uniformi, percepite come rappresentative di

ciascuna classe cromatica da migliorare, è stato campionato per estrarre un

modello statistico. I campioni raccolti per le diverse classi cromatiche in

esame sono stati caratterizzati statisticamente su un piano di cromaticità rg.

Le Figure 3 a e 3b mostrano i risultati ottenuti per un insieme di classi cromatiche: cielo, mare, pelle chiara, pelle scura, vegetazione illuminata, vegetazione in ombra, rappresentati rispettivamente sullo spazio di colore rg

utilizzando le formule (1) e (2) descritte in precedenza e sullo spazio HS.

Il livello di appartenenza di ciascun pixel ad una classe cromatica viene

valutato utilizzando una funzione di appartenenza continua, per i motivi già

esposti in precedenza. Tra le tante funzioni di appartenenza possibili, è stata

scelta ima funzione gaussiana ellittica, generata mediante il metodo di analisi

della componente principale (PC A) [24], perché essa si adatta bene a raggruppare pixel di una stessa classe in qualsiasi dominio essi siano rappresentati. Quindi, per ciascuna classe cromatica rappresentata come una

collezione di campioni bidimensionali, si calcola la posizione media del

cluster, la varianza verso la direzione principale e verso la direzione ad essa

ortogonale e l’inclinazione della direzione principale rispetto al sistema di

assi coordinati.

La funzione gaussiana ellittica è definita come segue:

in cui are agsono le deviazioni standard rispetto agli assi principali, rte gt

sono le coordinate medie dei campioni raccolti per una certa classe di

cromaticità c, e or identifica la direzione dell’asse principale.

L’operazione di classificazione può essere effettuata in altri diversi spazi cromatici. Per esempio, se i pixel dell’immagine da processare sono nello spazio HSL o HSI (oppure La*b*, Lu’v’, YCbCr), essi saranno convenientemente trasformati nel rispettivo spazio bidimensionale normalizzato HS (oppure a*b*, u’v’, CbCr) e appropriate funzioni gaussiane ellittiche saranno definite su questo spazio bidimensionale per stabilire il livello di appartenenza di ciascun pixel a ciascuna classe. In tal caso, le variabili della funzione gaussiana non saranno le componenti r e g, ma le componenti HS (oppure a*b*, u’v’, CbCr).

La Figura 4 descrive il modello di classificazione con diversi obiettivi di colore sugli assi principali, usati per ottenere una modulazione del processo di miglioramento di colore selettivo. Gli obiettivi di colore più prossimi all’asse neutro (1/3, 1/3) produrranno sull’immagine di uscita colori più pallidi per tale classe cromatica, mentre gli obiettivi più lontani dall’asse neutro produrranno colori più saturati (Figura 5).

Può accadere che pixel sull’asse neutro (1/3, 1/3), essendo classificati in una certa classe, vengano corretti in maniera visibile. In questo caso si ha l’inconveniente di modificare ad esempio uno sfondo grigio in uno sfondo debolmente colorato. Tale effetto indesiderato accade quando il livello di appartenenza di un pixel sull’asse neutro (1/3, 1/3) eccede un certo valore.

Test effettuati dalla richiedente hanno mostrato che quando il livello di appartenenza del pixel (1/3, 1/3) a qualsiasi classe è inferiore al 2%, questa correzione indesiderata non è percepibile. Per evitare quindi che pixel sull’asse neutro (1/3, 1/3) vengano colorati in maniera percepibile con

l’operazione di “color enhancement”, si calcolano le varianze lungo l’asse principale e l’asse ortogonale di ciascuna finizione gaussiana ellittica e si controlla che nessun livello di appartenenza per l’asse neutro (1/3, 1/3) ecceda una certa soglia TH, che ad esempio può essere il 2%. Se per qualche finizione di appartenenza questo limite è superato, si riducono in proporzione le rispettive varianze lungo l’asse principale e l’asse ortogonale, così da preservare il rapporto di forma σ,/σ^ della finizione gaussiana, in modo da soddisfare la relazione seguente:

Come apparirà evidente ad un qualsiasi tecnico esperto, il valore della soglia TH può anche essere diverso dal 2%, dipendendo dall’intensità della correzione che si è disposti a tollerare per i pixel grigi.

La Figura 5 mostra un modello a più classi sul piano normalizzato rg per pelle chiara, vegetazione illuminata e cielo. I punti bianchi individuano i confini delle diverse classi.

Nella forma di realizzazione preferita del metodo di classificazione dell’invenzione, per le tre classi citate in precedenza sono stati calcolati i seguenti valori applicando l’analisi della componente principale alla collezione di immagini naturali RGB:

Il livello di appartenenza di ciascun pixel ad una certa classe può essere

calcolato utilizzando la formula (3) per ciascuna classe cromatica, ad esempio utilizzando un software eseguito da un computer.

Per un 'implementazione hardware, in cui in generale non è disponibile un dispositivo in grado di effettuare i calcoli richiesti dalla formula (3) in virgola mobile con sufficiente precisione, è più conveniente memorizzare in una tabella di consultazione i diversi valori delle funzioni gaussiane ellittiche di appartenenza in corrispondenza di diverse coppie rg. È importante che il passo di quantizzazione non sia troppo grossolano, altrimenti potrebbe ripresentarsi il problema della generazione di contorni artefatti al termine di un’operazione di “color enhancement” che usi il metodo di classificazione dell’invenzione.

Per ridurre il carico computazionale e l’hardware richiesto, lo spazio bidimensionale di colori rg viene sottocampionato: nella forma di realizzazione preferita questo spazio è stato suddiviso in 64 intervalli. Dato che nessun pixel può giacere al di sopra della diagonale (r=255-g), il numero di valori da memorizzare nella tabella di consultazione è:

64x64/2=2048

Per ciascuna coppia di valori rg, la tabella di consultazione deve contenere la classe e il livello di appartenenza per il corrispondente pixel. Il numero di bit (“bit depth”) può essere fissato a seconda della memoria disponibile. Per n classi di rappresentazione con quantizzazione a m bit del modello gaussiano, sono necessari »?+log2Mbit per classificare un pixel, come mostrato in Figura 6.

Attraverso il blocco di classificazione, utilizzando la formula (3) oppure utilizzando i valori quantizzati di essa memorizzati nella tabella di

consultazione, si classifica ciascun pixel nella classe cromatica corrispondente al più alto livello di appartenenza.

La Figure da 7a a 7d mostrano due esempi di risultati del processo di classificazione cromatica (7b e 7d) su immagini naturali (7a e 7c). Per ottenere maschere di appartenenza con colori intuitivi, i pixel riconosciuti come pixel di cielo sono colorati in blu, i pixel riconosciuti come pixel di pelle illuminata sono colorati in rosso e i pixel di vegetazione illuminata sono rappresentati in verde. Inoltre, il livello L di appartenenza a ciascuna classe è stato utilizzato per modulare l’intensità del colore di ciascun pixel (supponendo una rappresentazione a 24 bit per pixel) secondo la seguente formula:

C = L- 255/2<m>(4) in cui C è l’intensità del colore (rosso per la pelle, verde per la vegetazione, blu per il cielo), L è il valore che esprime il livello di appartenenza ed m è il numero di bit (“bit depth”) del valore di appartenenza.

La forma di realizzazione preferita del metodo di classificazione illustrato ha i seguenti vantaggi:

opera nello spazio bidimensionale normalizzato di cromaticità, che è preferibile per una caratterizzazione statistica delle immagini;

può essere eseguito attraverso un numero ridotto di calcoli e richiede imo spazio di memoria ridotto;

non richiede alcuna operazione di “spatial refinement”;

non richiede un sistema di confronti con soglie euristicamente determinate per classificare i pixel, ma fornisce il livello di appartenenza e la relativa classe accedendo ad una memoria di

VA/ 2006 /A/. 0 0 7 9

1 9 D I C. 2006

consultazione oppure utilizzando la formula (3).

Il metodo di classificazione cromatica descritto può essere

convenientemente utilizzato in un metodo di miglioramento adattativo di

un’immagine a colori (“selective color enhancement”). Questo processo di

miglioramento adattativo di un’immagine è preferibilmente eseguito con il

vincolo di preservare l’intensità di ciascun pixel.

Il diagramma a blocchi della Figura 8 descrive il diagramma di flusso

per immagini statiche, relative ad un modello a colori a tre classi RGB

trasformato nello spazio bidimensionale normalizzato rg. I risultati della

classificazione cromatica sono fomiti ad un blocco di raccolta delle

statistiche di un’immagine che calcola per ciascuna classe la media delle

coordinate di cromaticità. Quindi si calcola una distanza di cromaticità

(Arc, Ago) di ciascuna classe dalla posizione degli obiettivi di cromaticità

scelti. Si esegue un’operazione di traslazione del colore mantenendo

inalterata l’intensità del pixel e si considera l’intensità del pixel e le

statistiche dell’immagine per spostare ciascun cluster cromatico verso le

coordinate desiderate, come mostrato in seguito. Per un pixel in coordinate

RGB, si calcolano le componenti di cromaticità rg, impiegando le equazioni

(1) e (2), e questi valori sono utilizzati per definire la classe di appartenenza e

il relativo livello di appartenenza.

Per un pixel classificato come appartenente alla classe cromatica C, si

esegue un’operazione di modifica del colore mantenendo l’intensità luminosa

del pixel, secondo le equazioni seguenti:

VA/ zuub M/, D ϋ / a

<1>9 QIC. 2006

in cui Arce Agcrappresentano la distanza del cluster cromatico C dagli

obiettivi cromatici di questa classe e I è l’intensità media del pixel RGB di

ingresso. Le coordinate di uscita RGB sono quindi ottenute mediante

combinazione lineare dei valori di ingresso e dei livelli di obiettivo, secondo

le equazioni seguenti:

R0- wR (l - w)R

G0= wG (l — w)G (6)

B0= wB (l - w)B

in cui il peso w è il livello che risulta dall’operazione di classificazione alla

classe cromatica C.

Come detto in precedenza, ciascun pixel può essere classificato

secondo il metodo dell’invenzione utilizzando la funzione gaussiana definita

nell’equazione (3) (Figura 9) oppure memorizzando valori quantizzati di tale

funzione gaussiana in una tabella di consultazione (Figura 10) e accedendo a

tale tabella con i valori rg dello spazio bidimensionale normalizzato che

identificano il colore del pixel.

La Figura 11 mostra un diagramma di flusso che illustra come

utilizzare il metodo di classificazione cromatica per migliorare la qualità del

colore di una sequenza di immagini video. Diversamente rispetto al

diagramma di Figura 8, le distanze Δτ e Ag che rappresentano la distanza del

cluster cromatico C dagli obiettivi cromatici della classe vengono calcolati

per l’immagine corrente della sequenza raccogliendo le informazioni

statistiche delle immagini precedenti o di un sottoinsieme di esse attraverso il

blocco N-l FRAME STATS, producendo in uscita un’immagine migliorata della

sequenza.

La Figura 12 mostra uno schema con i blocchi salienti di una

VA/ 2006 /A/,0 0 7 9

1 9 DIC. 2006

fotocamera digitale che include un blocco per implementare il metodo di

classificazione cromatica dell’invenzione.

La Figura 13 confronta i risultati ottenuti elaborando due immagini di

ingresso (13a ed 13e), accentuando i colori con obiettivi cromatici a toni

pallidi (13b ed 13f), accentuando i colori con un obiettivo medio di

saturazione di colore (13c e 13 g) e con obiettivi cromatici ad alta saturazione

di colore (13d e 13h).

La Figura 14 mostra che non ci sono artefatti spaziali evidenti generati

dai metodi proposti.

VA/ 2006 MA 0 0 79

9 D I C.2006 o Ufficio di\V f l VARESE Jgv

BIBLIOGRAFIA

[1] Lihui Chen, Christos Grecos, “Fast skin color detector for face extraction”, Proc. of SPIE-IS&T Electronic Imaging, SPIE Voi. 5671,

2005.

[2] B. Martinkauppi, M. Soriano, M. Pietikainen, “Comparison of skin

color detection and tracking methods under varying illumination”,

Journal of Electronic Imaging, voi. 14(4), 2005.

[3] S.N. Yendrikhovskij, F.J.J. Blommaert, H. de Ridder, “Optimizing

color reproduction of naturai images”, Proc. Of Sixth Color Imaging Conference: Color Science, Systems, and Applications, pp. 140-145,

[4] E.J. Lee, Y.H. Ha, “Favorite Color Correction for Favorite Colors”,

IEEE Trans. On Consumer Electronics, voi. 44, No. 1, pp. 10-15,

Feb. 1998.

[5] Do-Hun Kim, Hyun-Chul Do, Sung-Il Chien, “Preferred Skin Color Reproduction Based on Adaptive Affine Transform”, IEEE Transactions on Consumer Electronics, 192 Voi. 51, No. 1, Feb. 2005.

[6] Eung-Joo Lee, Yeong-Ho Ha, “Automatic Flesh Tone Reappearance

for Color Enhancement in TV,” IEEE Trans, on Consumer Electronics,

Voi. 43, No. 4, pp. 1153-1159, November, 1997.

[7] C. G. Oh, S. D. Lee, C. Y. Kim, et al. “A Reai Time Color Correction

Circuit Based on a 2D Chromaticity Region Separation”. IEEE Transaction on Consumer Electronics, Voi. 43, No. 3, pp. 855-862,

Aug. 1997.

[8] IT Patent, IT NP VA2004A00032, “Algorithm and architecture for

VA/ 2006 M/.Q 0 79

1 9 D I C. 2006

automatic color rendition”, Aug. 31, 2004.

[9] US Patent Application US20060050957A1, “Method of Generating a

Mask Image of Membership of Single Pixels to Certain Chromaticity

Classes and of Adaptive Improvement of a Color Image”, Mar. 9, 2006.

[10] US Patent US6738510, “Image Processing Apparatus”, 2001.

[11] US Patent US6690822, “Method for detecting skin color in a digitai

image”, Feb. 10, 2004.

[12] Int. Patent Application W02005/066896, “Detection of Sky in digitai

color images”, July 21, 2005.

[13] US Patent Application US2005/0207643, “Human skin tone detection

in YCbCr work space”, Sept. 22, 2005.

[14] US Patent Application US2005117173A1, “Image processing and

method for Red Eye correction”, Jun. 2, 2005.

[15] US Patent Application US2005152582A1, “Multiple Person detection

apparatus and method”, Jul. 14, 2005.

[16] US Patent Application US2005286793A1, “Photographic Image

Processing Method and Equipment”, Dee. 29, 2005.

[17] US Patent Application US2006029265A1, “Face Detection Method

based on Skin Color and Pattern Match”, Feb. 9, 2006.

[18] Int. Patent Application W02006/040311A1, “Method for detecting

Skin Tone Pixels”, Apr. 20, 2006.

[19] US Patent Application Publication US2006102843A1, “Infrared and

Visible Fusion Face Recognition System”, May 18, 2006.

[20] US Patent Application Publication US2006104517A1,

“Template-Based Face Detection Method”, May 18, 2006.

[21] sRGB, A Standard Default Color Space for thè Internet, http://www.w3.ore/Graphics/Color/sRGB .

[22] D. Comaniciu, D. Meer, “Robust Analysis of Feature Spaces: Color Image Segmentation”, Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 750-755, 199.

[23] R. O. Duda, P. E. Hart, and D. G. Stork, “Pattern Classification (2<nd>edition)”, John Wiley and Sons, Oct 2000.

[24] R.C. Gonzalez, R.E. Woods, “Digital Image Processing”, 2<nd>edition, Prentice Hall, 2002.

[25] S. Battiate, A. Castorina, M. Guamera, P. Vivirito - “A Global Enhancement Pipeline for Low-cost Imaging Devices” - IEEE Transactions on Consumer Electronics - Voi. 49, Issue 3, pp. 670-675, August 2003.

[26] S. Battiate, A. Bosco, A. Castorina, G. Messina - “Automatic Global Image Enhancement by Skin Dependent Exposure Correction” Proc. of IEEE-EURASIP Workshop on Nonlinear Signal and Image Processing - NSIP 2003 - Grado, Italy - June 2003.

[27] US Patent, US6721000, “Adaptive Pixel-level color enhancement for a digitai camera”, Apr. 13, 2004.

[28] US Patent, US6611618, “Wide-Band Image Enhancement”, Aug. 26, 2003.

[29] US Patent, US6081653, “Color Imaging”, Jun. 27, 2000.

[30] PaintShopPro : http://www.jasc.com, Jasc Software Ine.

[31] ICorrect : http://www.picto.com , Pictographics Ine.

Claims (11)

1. RIVENDICAZIONI 1. Metodo di classificazione cromatica di pixel di un’immagine digitale comprendente le operazioni di trasformare il dominio cromatico di definizione dei pixel da uno spazio tridimensionale ad un rispettivo spazio bidimensionale normalizzato, definire un modello di riferimento di classificazione mediante analisi di una pluralità di immagini di distinte tipologie di soggetti, la qualità cromatica delle quali è valutata da osservatori giudicanti, generando distinte collezioni di campioni con rispettive coordinate dello spazio bidimensionale normalizzato per ciascuna di un certo numero di classi cromatiche corrispondenti a rispettivi oggetti/soggetti reali, valutare per ciascun pixel di immagine da classificare la classe di appartenenza ed il livello di appartenenza sulla base di detto modello di riferimento, caratterizzato dal fatto che detto modello di riferimento è definito da una funzione parametrica di appartenenza per ciascuna di dette classi continua su detto spazio bidimensionale normalizzato, i cui parametri sono determinati elaborando la collezione di campioni bidimensionali di ciascuna di dette classi.
2. 2. Il metodo della rivendicazione 1, in cui detto modello di riferimento è definito elaborando la collezione di campioni bidimensionali di ciascuna di dette classi derivandone la posizione media di clusters di campioni sul piano dello spazio bidimensionale normalizzato, la varianza rispetto ad una direzione principale ed alla direzione ad essa ortogonale e l’angolo di inclinazione di detta direzione principale, mediante la tecnica di VA/ 2006 /A/,0 0 7 9 1 9 DIC. 2006

   analisi della componente principale, ottenendo un modello gaussiano ellittico per ciascuna di dette classi su detto spazio bidimensionale normalizzato.
3. 3. Il metodo della rivendicazione 1, in cui detto spazio tridimensionale è lo spazio RGB e il rispettivo spazio bidimensionale normalizzato è lo spazio rg.
4. 4. Il metodo della rivendicazione 1, in cui si deriva, per ciascuna classe, un relativo valore di appartenenza (membership) del pixel in esame, il massimo valore di appartenenza valutato determinandone la classe di appartenenza, ed il livello di appartenenza essendo stabilito dal massimo valore quantizzato ad un certo numero («) di bit.
5. 5. Il metodo della rivendicazione 1, per implementazione hardware, comprendente le operazioni di memorizzare su un array valori di detto modello di riferimento in corrispondenza di coppie di valori nello spazio bidimensionale normalizzato, e di determinare il livello di appartenenza di ciascun pixel leggendo da detta tabella di consultazione il valore corrispondente alla coppia che rappresenta detto pixel nello spazio bidimensionale normalizzato.
6. 6. Il metodo delle rivendicazione 2, comprendente le operazioni di: verificare che i livelli di tutte le funzioni di appartenenza in corrispondenza di un asse neutro siano minori di una soglia prestabilita; ridurre in proporzione le varianze di funzioni di appartenenza per le quali la verifica di cui al punto precedente non è soddisfatta, in modo che il rispettivo valore del livello di appartenenza di detto asse neutro sia minore di detta soglia.
7. 7. Il metodo della rivendicazione 6, in cui detta soglia prestabilita è il VA/ 2006 /A/. 0 0 7 9 gì Ufficio di Y> 1 9 D I C.2006 V<1>1 VARESE Jg

   2%.
8. 8. Il metodo delle rivendicazioni 2 e 5, in cui i valori memorizzati in detto array bidimensionale sono ottenuti da detta pluralità di immagini mediante le operazioni di: su clusters di campioni di dette immagini di distinte tipologie di soggetti, calcolare la posizione media, la varianza rispetto ad ima direzione principale, la varianza rispetto alla direzione ad essa ortogonale e l’angolo di inclinazione della direzione principale; generare valori secondo detto modello gaussiano ellittico nello spazio bidimensionale normalizzato; sottocampionare e quantizzare i valori ottenuti al punto precedente e memorizzarli in detto array bidimensionale.
9. 9. Metodo di miglioramento adattativo di un’immagine a colori, comprendente: generare un’immagine di appartenenza dei singoli pixel deH’immagine a colori a classi cromatiche prestabilite con il metodo della rivendicazione 1; definire una tabella di valori obiettivo di cromaticità per ciascuna classe cromatica di oggetti (pelle, vegetazione cielo/mare); convertire valori di definizione di ciascun pixel di un’immagine da processare dal dominio cromatico di definizione al rispettivo spazio bidimensionale normalizzato; calcolare per ciascun cluster di pixel appartenente ad una certa classe cromatica una coppia di valori statistici; calcolare per ciascun cluster la distanza dal rispettivo valore VA/ 2006 /A/. 0 0 7 9 2006

   obiettivo di cromaticità; determinare per ciascun pixel dell’immagine appartenente ad una certa classe cromatica, rispettivi valori nel dominio cromatico di definizione corretti in funzione delle coordinate dei valori originali nel rispettivo spazio bidimensionale normalizzato e della distanza del relativo cluster dal relativo colore obiettivo; eseguire una correzione modulata del colore del pixel mediante una combinazione lineare pesata dei valori del pixel e di detta tripla di valori obiettivo.
10. 10. Il metodo della rivendicazione 9, in cui detta combinazione lineare pesata è effettuata usando pesi determinati in funzione dei livelli di appartenenza derivanti dall’operazione di classificazione in modo da che l’intensità dei pixel dell’ immagine migliorata sia uguale all’ intensità del corrispondente pixel dell’immagine da migliorare.
11. 11. Programma comprendente un codice software caricabile in una memoria di un computer, per eseguire le operazioni del metodo secondo una delle rivendicazioni precedenti quando detto software è eseguito da detto computer.

    p.p. STMicroelectronics S.r.l. Il Mandatario Λ — ^ ^ -Gaetano BARBARO N° Iscr. Albo 994 BM