NO167243B - Avbildningssystem og fremgangsmaate for bildeopploesningsoekning i et avbildningssystem. - Google Patents
Avbildningssystem og fremgangsmaate for bildeopploesningsoekning i et avbildningssystem. Download PDFInfo
- Publication number
- NO167243B NO167243B NO84843696A NO843696A NO167243B NO 167243 B NO167243 B NO 167243B NO 84843696 A NO84843696 A NO 84843696A NO 843696 A NO843696 A NO 843696A NO 167243 B NO167243 B NO 167243B
- Authority
- NO
- Norway
- Prior art keywords
- image
- images
- degraded
- base
- correlation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000005070 sampling Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims 4
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000000593 degrading effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 20
- 239000002131 composite material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000007921 spray Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Description
Foreliggende oppfinnelse angår et avbildningssystem av den art som angitt i innledningen til krav 1 samt en fremgangsmåte for bildeoppløsningsøkning i et avbildningssystem som angitt i innledningen til krav 6.
Bildesystemer som innbefatter fjernsynskamera, radiekoplede bildedanneranordninger, fremoverseende infrarøde sensorer,
og infrarøde ladningskoplede detektoranordninger frembringer et videobilde som har en oppløsning begrenset av bildedannerens samplingshastighet. Konstruktører av slike systemer begrenser i alminnelighet samplingshastigheten til litt mer enn to sampler mellom den første nullen til diffraksjons-uskarpheten i samsvar med Nyquist-kriteriet. Rayleigh-oppløsningsgrensen (beregnet ut fra størrelsen på åpningen og bølgelengden for scene-energien) beskriver grensene for det øyet kan se. En beskrivelse av Rayleigh-grensen er gitt i Jenkins og White: "Fundamentals of Optics", McGraw-Hill, 1957, side 304. Minimumsvinkelen for oppløs-ningen mellom to punkter for en bildedanner som har en sirkulær åpningsdiameter D som avføler lysbølgelengde x
0 244X
er nærmere bestemt radianer. Avsøkningsbildesystemer er i alminnelighet konstruert slik at avsøkningsvinkelen
0 122X motstående mellom tilliggende sampler er mindre enn —-—^ radianer.
Foreliggende oppfinnelse angår et avbildningssystem av den innledningsvis nevnte art hvis karakteristiske trekk fremgår av krav 1 samt en fremgangsmåte for bildeoppløsningsøkning av den art som angitt i innledningen og hvis karakteristiske trekk fremgår av krav 6. Ytterligere trekk ved systemet og fremgangsmåten fremgår av de øvrige uselvstendige kravene.
Ved foreliggende oppfinnelse blir oppløsningen for en gjen-stand forstørret først med effektiv reduksjon av avsøknings-vinkelen motstående mellom tilliggende sampler langt under Rayleigh-grensen for å tilveiebringe en bedre vurdering
av et bilde tilsløret av punktsprøytningsfunksjonen (eller
diffraksjonsmønsteret) til åpningen. Det neste trinnet er å behandle dette tilslørede bilde ved i det minste delvis å fjerne uskarpheten. Tilsløringsprosessen består i korrelering av hvert lite segment til det tilslørede bilde med tilslørte bilder av forkonstruerte grunnbilder og så syntetisering av et nytt silhuettbilde som innbefatter et mosaikk av rommessig korrelerte elementer av det opprinnelige (utilslørte) grunnbildesettet. Det tilslørte bildet av grunnbildet blir tilveiebragt ut fra et fullstendig sett med grunnbilder, som ideelt innbefatter alle mulige grunnbildeformer. Disse grunnbildene er tilsløret ved konvolusjon med punktspredefunksjonen av bildedannerens åpning.
Ved en utførelsesform av oppfinnelsen blir økningen i samplingshastigheten under Rayleigh-grensen ved en vanlig bildedanner som har dens samplingshastighet begrenset av Rayleigh-kriteriet tilveiebragt ved å anvende multippelbilderegistrering. Denne teknikken tillater anvendelse av foreliggende oppfinnelse ved eksisterende bildesystemer. Multippelbilderegistreringen ifølge oppfinnelsen, et
enkelt multippel-registrert videobilde, som består av flere delbildeelementer av redusert område konstruert fra flere normalvideobilder, som hver innbefatter flere stan-dardbildeelementer. Bildebevegelsen eller kameraskjelvingen mellom etterfølgende normale videobilder bestemmer delbildeelementforskyvningen i det multippelregistrerte videobilde. Innføringen, av multippelbilderegistrering ved allerede eksisterende system-hardware kan bli tilveiebragt ved å anvende en korrelasjonssporer eller bildebevegelse som kompenserer ser.vofeil eller kameraplattform som sta-biliserer gyrofeil.. Delbildeelementforskyvningen blir bestemt på denne måten.
En annen utførelsesform av oppfinnelsen kan antall sampler
i en gitt avsøkningsvinkel ved en konvensjonell bildedanner bli øket ved å anvende bildeinterpolering og zoom. Bildeinterpolering og zoom er nyttig hvor der ikke er nok
tid for å behandle flere videobilder for å konstruere et multippelregistrert videobilde. Andre teknikker anvender mindre detektorer for å tilveiebringe tett samling ved et signalbilde.
Oppfinnelsen skal nå beskrives nærmere med henvisning til tegningene, hvor:
Fig. la viser en typisk åpning og sensor som mottar lys
fra to punktkilder.
Fig. lb viser diffraksjonsmønsteret eller punktsprednings-funksjonen som korresponderer med fig. la;
Fig. 2a viser fire multippelregistrerte videobilder.
Fig. 2b viser en delbildeelementmosaikk syntetisert fra
fire multippelregistrerte videobilder på fig. 2a.
Fig. 2c viser en bildeanordning egnet for generering av
multippelregistrerte videobilder.
Fig. 3 viser et skjema for fast utspørring av multippel
registrerte videobilder. Fig. 4 viser en bildeinterpolasjonsteknikk som kan bli anvendt ved oppfinnelsen i stedet for multippel-registreringsteknikken på fig. 2a, 2b og 2c.
Fig. 5 viser et eksempel på sett med grunnbilder.
Fig. 6a viser grunnbildetilpasningsfilterkorrelasjonstek-nikken for syntetisering av et bilde med øket opp-løsning. Fig. 6b viser anvendelse av teknikken på fig. 6a for et tilpasningsfilter av enkel grunnbildetype som et enkelt eksempel.
Fig. 6c viser en punktspredefunksjon av samme funksjon
som vist på fig. 6b.
Fig. la viser et forenklet skjematisk diagram over to punkter A, B betraktet gjennom en sirkulær åpning 1 (vist i. tverr-snitt) med diameteren Di En linse 3 til et kamera 5 avføler strålingen ved bølgelengden \ strålt ut eller reflektert fra de to punktene A og B. Vinkelen 9, mellom de to punktene A og B ved linsen 3 er lik Rayleigh-grensen 0,244x/D. Fig, lb viser et diagram som viser det korresponderende bøyningsmønster frembragt ved linsen 3 ved hjelp av strålingen fra punktet A (heltruJcket linje) og fra punktet B (stiplet linje) ved hvilken ordinaten korresponderer med fotoninten-siteten og abscissen, korresponderer med posisjonen langs X-aksen på fig. la. Slikt diffraksjonsmønster for punkt-kildebildene er karakteristisk for åpningen og er kalt "punktspredefunksjoner".
Rayleigh-kriteriet etablerer oppløsningsgrensen for to punkter betraktet gjennom en åpning. Rayleigh-kriteriet sier nærmere bestemt at minimum-tydelig separasjonen mellom to punkter A og B forekommer når toppen P(A) for diffrak-sjonstilsløringen for et punkt korresponderer med den første nullen Z(B) for diffraksjonstilsløringen til det andre punktet. Dette er nøyaktig forholdet vist. på fig. lb.
Dette kriteriet er basert på det faktumet at under denne separasjonen er det ikke lengre synlig diffraksjonsdal mellom toppene. Det. er imidlertid et prinsipp ved oppfinnelsen at Rayleigh-kriteriet angår oppførselen til det menneskelige øyet og; er ikke en fundamental grense for oppløsningen av et betraktet bilde gjennom en bestemt åpning og i virkeligheten er en større oppløsning mulig dersom prosessering er anvendt. Formen av det tilslørte bilde av to punkter,, hvis separasjon er nøyaktig ved Rayleigh-grensen, er: nærmere bestemt forskjellig fra det
til et enkelt punkt.. Det tilslørte bilde for de to punktene fortsetter dessuten å gå gjennom hårfine endringer under Rayleigh-grens«ne inntil de to punktene virkelig faller sammen i scenen. (Ved sammenfall er de naturligvis klart ikke oppløsbare.) Det er følgelig realiserbar informasjon i et tilslørt bilde av to punkter atskilt av en avstand under den til Rayleigh-kriteriet. Utledning av denne informasjonen blir tilveiebragt ved foreliggende oppfinnelse.
Fig. 2a og 2b viser multippelbilderegistreringen anvendt ved foreliggende oppfinnelse med det enkle eksemplet av et videobilde som har kun 16 bildeelementer, fire på hver side. På fig. 2a er et videobilde "a", omgrenset av heltrukne linjer, hvis hjørner er betegnet med a^, a14, <a>41 og <a>44, innbefatter 16 bildeelementer hver sentrert rundt 16 respektive punkter symbolisert som a^j. Lokaliseringen av hvert av senterpunktene a^j for de 16 punktene er vist på fig. 2a, mens mosaikken til selve de korresponderende bildeelementene er vist på fig. 2b ved heltrukken linje.
Multippelbilderegistreringen blir tilveiebragt ved sampling og lagring av de 16 bildeelementene med data som innbefatter videobildet på fig. 2a vist med heltrukken linje. Når kamera 5 er forskjøvet i x-retningen for således å sample et andre videobilde b vist med prikkede linjer innbefattende 16 bildeelementer b^j og omgitt av bildeelementene kil' ^14' ^41°^ ^44* Forskyvningen i x-retningen mellom videobildene a og b er lik halve avstanden mellom senterpunktene a^ og a^2« De 16 bildeelementene for data korresponderende med 16 senterpunkter b^j er samplet og lagret. Kameraet ble igjen forskjøvet for å sample et tredsje videobilde c avgrenset av bildeelementene c^, ci4' <c>4i °9 c44 på fig. 2a. Videobildet c er forskjøvet fra det opprinnelige videobilde a i y-retningen med halve avstanden mellom senterpunktene a^ og a2^. De ^ bildeelementene korresponderer med 16 senterpunkter ci .j. og blir samlet og lagret. Kameraet 5 blir så forskjøvet fra stedet som korresponderer med videobildet c i x-retningen med en avstand som korresponderer med halvparten av bildeelementavstanden for å avføle et fjerde videobilde d vist på fig. 2a med strek-prikket linje, hvis hjørnebildeelement har henvisningene ^11' ^14' ^41 °9 ^44" De ^ bildeelementene korresponderer med de 16 senterpunktene d^j til videobildet d og blir samplet og lagret.
En sammensetning av lagret data fra videobildene a, b, c
og d blir så dannet ved gjenkjenning av data i rekkefølgen vist på fig. 2b. Fig. 2b viser nærmere bestemt data som korresponderer med bildeelementsenterpunktene a^, ^11' <c>ll' ^11 ve<* et roultippelregistrert eller sammensatt videobilde som angitt med stiplet linje på fig. 2b. Hvert av
punktene a^, b.^, og d^^ er nå senter for et korresponderende delbildeelement vist med stiplet linje på
fig. 2b. Antall delbildeelementer ved resulterende sammensatt mosaikk er lik firkanten til samplingsforbedringen multiplisert med antall bildeelementer i et av de opprinnelige videobildene (ved vårt eksempel 2 2x 16 = 64 delbildeelementer) . De stiplede linjedelbildeelementene på fig.
2b er mindre enn de heltrukne bildeelementene med en faktor lik 2.
Som en generell regel blir ved en multippelregistrering
av n videobilder forskjøvet fra hverandre med en del (1/n)^ av bildeelementavstanden. Mens fig. 2b viser en multippelbilderegistrering av fire videobilder ved hvilke bildeelementdimensjonen er redusert med en faktor lik 2, kan således andre r.eduksjonsfaktorer bli tilveiebragt ved multippelbilderegistrering.
Selv om videodataens kornstørrelse er blitt redusert ved multippelbilderegistrering er ikke desto mindre bildet representert av data tilsløret i samsvar med punktspredefunksjonen for åpningen gjennom hvilket bilde blir betraktet.
Korrelasjon av rommessig forskyvning mellom videobilder
med gjenkjenning av lagret videodata kan i praksis bli gjort ved hjelp av et kamera eller en sensor 5 montert på en styrer 7 som antydet på fig. 2c. Styreren kan være en gyroskopisk stabiliserende plattform for kameraet, hvis gyrofeil kan bli automatisk avfølt og anvendt som video-bildeforskyvning. Plattformen 7 kan alternativt være en bildebevegelseskompensator som anvender gyrostabilisering. Igjen vil gyrofeil definere forskyvningen mellom påfølgende videobilder. En korrelasjonssporer kan også bli anvendt for å spore virkelig forskyvning på grunn av kameraskjelving mellom videobildene.. Data fra korrelasjonssporeren vil definere forskyvningen mellom etterfølgende videobilder. Hver av disse teknikkene kan samordnes med eksisterende systemer.
Med henvisning til fig. 3 blir et videobilde 10 syntetisert ved hjelp av multippelbilderegistreringen av 16 standard videobilder på omkring 500 linjer hver, som ikke kunne bli fullstendig fremvist på en standard videoskjerm. I stedet kunne skjermen tilpasses kun en liten del 10' av multippel-registrert videobilde. Dataen i disse delene 10a, 10c og 10d til videobildet på fig. 3 korresponderer følgelig med unødvendig avsøkninger av bildedanneren 5 i y-retningen. Det er foretrukket ved foreliggende oppfinnelse å begrense avsøkningen til bildedanneren 5 på fig. 2c i y-retningen for å dekke kun delen vist på fig. 3 som 10', 10e og 10b. Data som innbefatter det multippelregistrerte bildet 10' som virkelig er fremvist på en fjernsynsskjerm kan på denne
måten bli utspurt omkring fire ganger hurtigere enn ellers for en firefolds multippelregistrering.
Med henvisning til fig. 2b, skal det bemerkes at hver av punktene a^.., b^j, c^j, d^^ korresponderer med et data-videoord som kan bli lagret i en datamaskins lager. Ordet
> korresponderer med hvert av punktene a^^, b^j, , d^^ og kan innta ethvert tall i et verdiområde som korresponderer med en analog verdi for strålingsintensiteten avfølt ved
det punktet av kameraet 5. Ved et lavytrelsessystem kan
alternativt hvert ord ganske enkelt være en binær verdi
i (svart eller hvit, på eller av). Ved foreliggende oppfinnelse er det imidlertid overveid at hvert ord representerer en analog verdi som korresponderer med intensiteten for strålingen avfølt av bildedanneren ved korresponderende senterpunkt a^^, b^j, etc.
)
Det kan ikke være mulig å anvende multippelbilderegistrering for å generere videodelbildeelementdata. Dette kan f.eks. forekomme når gjenstander som skal bli betraktet på scenen
beveges for hurtig i forhold til hastigheten ved hvilke
i påfølgende videorammer blir generert, slik at det blir utilstrekkelig korrelasjon av hurtig seg bevegende gjenstander mellom påfølgende videobilder. Ved denne spesielle situasjonen kan bildeinterpolarsjon og zoom bli anvendt for å generere delbildeelementer i stedet for multippelbilde-reqistrerinq.
Med henvisning til fig. 4 er et delbildeelement for videodata generert fra et enkelt videobilde. Eksempeldelen av videobildet a på fig.. 4 innbefatter flere lagrede ord med videodata ved hvilke kun ordene som korresponderer med bildeelementsenterpunktene a^» a2i 0<3 a22 rePresenterer en ikke-null intensitet som korresponderer med det skygge-de området for videobildet a på fig. 4.
Bildeinterpolasjon blir tilveiebragt ved vurdering av verdien for et punkt lokalisert mellom bildeelementene. Bildedata blir interpolert mellom bildeelementer for å tilveiebringe en lineær overgang mellom de tre punktene <a>12' <a>21 oq a32 som v^st Pa fig- ^ med sterkere heltrukne linjer. Det resulterende interpolerte bilde er vist skravert på fig. 4. Det nye interpolerte bilde, som korresponderer med det skraverte området inneholder mer informasjon en det gamle bilde som korresponderer med det skyg-gede eller stiplede, området.
Interpolasjon av analoge intensitetsverdier blant delbil-dene i det skyggelagjte området er gjort i samsvar med følgende ligninger som definerer intensitetsverdiene for dataord som representerer et delbildeelement a'^:
dersom a^ er senter.punktet for et sampeldelbilde i det opprinnelige videobildet a. Ellers: a'^j = en lineær interpolasjon mellom analog-verdien for tilliggende a^j fra det opprinnelige videobildet a.
Data fra samplede videobilder kan oppdatere vurderingen
fra tidligere interpolerte delbildeelementer dersom kombi-nert med en egnet vektfaktor. Ovenfor nevnte bildeinter-polas jon og zoomtekndkk er velkjent og beskrevet i forskjellige publikasjoner innbefattende f.eks.: Pratt, "Digital Image Processing", Wiley & Sons, New York, s. 110-116.
Bildeinterpolasjon og zoomteknikk vil følgelig ikke bli beskrevet nærmere her.
Bruken av enten multippelbilderegistrering eller bildeinterpolasjon og zoom, et videobilde som omfatter flere fine delbilder kan sammenfattet bli konstruert fra flere videobilder som innbefatter flere normalt dimensjonerte bildeelementer. Et stort antall av små detektorer kan
også bli anvendt for å forbedre samplingstettheten. Informasjon inneholdt i delbildeelementsammensatte videobilde er imidlertid fremdeles tilsløret i samsvar med diffrak-sjonsspredefunksjonen til åpningen gjennom hvilke bildet blir betraktet. Det er således fremdeles tilbake oppgaver med å fjerne tilsløringen i det minste delvis fra bildet og rekonstruksjonen av et ikke tilslørt bilde fra informasjonen i det sterkt samplede videobildet til delbildeelementene.
Det sammensatte bildet som innbefatter flere delbildeelementer kan være hovedsakelig ikke tilsløret ved korrelering av hvert lite segment til det sammensatte tilslørte bildet med et fullstendig sett med like små tilslørte grunnbilder. Et eksempelsett med 25 grunnbilder er vist på
fig. 5. Alltid når en toppkorrelasjon er detektert mellom et bestemt grunnbilde og et bestemt segment til det sammensatte bildet blir et ekvivalent ikke tilslørt grunnbilde erstattet i stedet for det tilslørte segmentet. På denne måten blir et syntetisert rekonstruert silhuettbilde dannet fra et rommessig korrelert sett med grunnbilder som erstat-ter det opprinnelige tilslørte bildesegmentet som de korresponderer med.
Før korreleringen av settet med basisgrunnbilder med de forskjellige segmenter av tilslørte sammensatte bilder blir selve grunnbildene først tilslørt ved konvolvering av dem med sensordegradering som består av både punktsprøytefunk-sjonen til åpningen gjennom hvilke den opprinnelige scenen blir betraktet og detektorformen som sampler det diffrak-sjonsbegrensede bildet. Både det tilslørte sammensatte bildet og grunnbildet med hvilket segmentene er sammenlignet blir følgelig tilslørt av samme punktspredefunksjon som således øker korreleringen. Denne punktspredefunksjonen er en Bessel-funksjon definert av bølgelengden og konfigurasjonen til åpningen gjennom hvilken scenen blir betraktet og kan bli beregnet på en bestemt måte i samsvar med velkjente prinsipper innenfor den klassiske optikken. Tilsløring av grunnbildet, slik som de vist på fig. 5 med sensordegradering, er. utført i samsvar med velkjente prinsipper innenfor konvoiusjonsteorien.
Ovenfor nevnte prosess er vist skjematisk på f.ig. 6a. Kameraet 5 genererer videodata som blir tilført multippel-bildegeneratoren 15 som funksjonerer i samsvar med enten multippelbilderegistreringen tidligere beskrevet i forbindelse med fig. 2a, 2b, 2c eller bildeinterpoleringen beskrevet i forbindelse med fig. 4. Generatoren 15 mater så videodata som korresponderer med et sammensatt bilde bestående av delbildeelementer inn i et kumulativt lager 17 som lagrer det kombinerte videobildet bestående av delbildeelementer. Segmenter med videdbildedata lagret i lageret 17 blir så kontinuerlig matet til et sett med parallelt tilpassende filtrer 19. Hver av de tilpassede filtrene 19 korresponderer med en tilsløret versjon av et grunnbilde til et komplett sett med grunnbilder slik som de vist på fig. 5. Korrelasjonen mellom hvert segment av videobildet og hvert av de tilpassede filtrer blir detektert ved hjelp av et korresponderende et av korrelasjonstoppdetektorene 21.
Dersom en bestemt em av de tilslørte grunnbildene passer med et bestemt segment med videodata lest ut fra lageret 17, vil den korresponderende av toppdetektoren 21 klargjøre korrespondansen av em av grunnbildegeneratorene 23. Den klargjorte grunnbildegéneratoren mater korresponderende opprinnelig (eller utilslørte) grunnbilder til lageret 25, idet det valgte grunnbildet er lagret på et sted bestemt av en adressegenerator 27. Dette lagerstedet korresponderer med lagerstedet for tilpasningssegmentet for det opprinnelige videobildet lagret i lageret 17. Som følge derav bevirker matingen av et kontinuerlig tilsløret bildesegment fra lageret 17 gjennom det tilpassede filteret 19 et nytt silhuettbilde til syntetisering i lageret 25
som innbefatter flere tilpasningsgrunnbilder.
Det er antatt at korrelasjonsprosessen på fig. 6a kan bli utført ved å anvende et lager og et transversalt filter-system av ladet koplingsanordningstype, slik som det vist på fig. 6b. På fig. 6b inneholder lageret 17' flere bildeelementer som representerer et bilde med videodata som korresponderer med det sammensatte tilslørte bildet. Bilde-elementen blir organisert i rader og kolonner. Tilpasnings-filterkorrelasjon av den type vist på fig. 6a blir utført ved anvendelse av et transversalt filter av ladet koplings-type som innbefatter flere n-parallelle ladningskoplede serieregistrer 30. I eksemplet på fig. 6b, er n = 6.
De øverste seks radene til CCD-lageret 17' blir overført seriemessig fra venstre til høyre ut av lageret 17<*> gjennom de parallelle CCD-registrene 30 og under en plan rad 32 med ladede avfølingsportelektroder organisert ved n-rader og n-kolonner. Dette definerer størrelsen på hvert av segmentene til videobildet som skal bli sammenlignet eller tilpasset som n bildeelementer ved hjelp av n bildeelementer. n-radene med følerportelektroder i rekke 32 er i vertikal registrering med n-rader av det lagrede bildet 30. Avstanden i x-retningen ved portelektrodene i rekken 32 korresponderer med den seriemessige avstanden til ladningspak-kene til hver av bilderegistrene 30.
Når de seks øverste radene med data fra lageret 17' blir klokket fra venstre til høyre gjennom CCD-registeret 13, blir suksessive segmenter med videodata innbefattende seks rader og seks kolonner lest ut. Størrelsen på hver lad-ningspakke i hvert seks ganger seks segment med data som går under rekken 32, blir nærmere bestemt avfølt ved å avføle det elektriske potensiale til hver individuell føler-portelektrode i rekken 32. Hver tidsdata blir klokket sekvensmessig fra venstre til høyre med et bildeelement gjennom registeret 32, et nytt segment med videodata blir lest ut fra rekken 32 og tilført et korresponderende et av 21' av korrelasjonstoppdetektorene 21. Dette forekommer en gang hver CCD-klokkesyklus. Prosessen fortsetter, bilde for bilde, inntil hele bildet er blitt behandlet. Driften av transversalfilteret av ladningskoplede anord-ningers type er velkjent og vil ikke nå bli beskrevet nærmere. Ladningskoplede bildeanordninger som behandles med transversalfiltrer og CCD-avfølingselektroderekker er beskrevet f.eks. av Nudd et al., "A CCD Image Processor for Smart Sensor Applications", Proceedings of the Society of Photo-Optical Instrumentation Engineers, San Diego, California, 1978, col. 155, s. 15-22.
En forenklet beskrivelse av konvolusjonen og korrelasjonsprosessen for et bestemt et av grunnbildene på fig. 6a vil nå bli gitt med henvisning til fig. 6b. Hvért grunnbilde på fig. 5 er kvantisert i en rekke med n kolonner og n rader dataord, V^j. En kurvefremstilling av rekken som korresponderer med grunnbildet 100 på fig. 5 er vist på fig. 6b. Et eksempel på åpningspunktspredefunksjonen Pxv er vist på fig. 6c. Den kan bli digitalisert i en rekke på m rader og m kolonner med dataord som korresponderer med antall rader og kolonner for delbildeelementene i et fullstendig multippelregistrert bilde. Resultatet er en matrise P^j med m kolonner og m rader dataord som innbefatter punktspredefunksjonmatrisen 200 angitt på
fig. 6b. Nedenfor er: vist en spesiell fremstilling av et eksempel på punktspredefunksjonmatrisen:
Por å generere en tilsløret "versjon" av hvert grunnbilde, slik som grunnbilde 100 på fig. 6b, blir grunnbildet 100 konvolvert med punktspredefunksjonmatrisen 200 som gir det tilslørte grunnbildet 100', som antydet på fig. 6b. Hvert dataord v'^j 1 den 1 te raden og den j te kolonnen til det tilslørte grunnbildet 100' er beregnet fra punktspredef unks jonens dataord P^j og de ikke tilslørte grunn-bildedataordene som følger:
Det tilslørte grunnbildet 100' blir så anvendt som et rekke eller tilpasningsfilter 19' med n x n delbildeelementer med dataord. De tilpassede filtrene 19 innbefatter f.eks. hver grunnbilder av fig. 5 konvolvert med punktspredefunksjonen 200 i samsvar med fig. 6b.
n x n tilpassede filtrer 19' er korrelert med hvert n x n bildesegment avfølt av rekken 32, idet korrelasjonsover-flaten blir operert på av den to dimensjonale korrelasjons-toppdetektoren 21'. Dersom detektoren 21æ avføler en toppkorrelasjon, blir grunnbildegeneratoren 23' klargjort av detektoren 21' for å generere en blokk med n-rader og n-kolonner med dataord som korresponderer med det ikke til-slørte grunnbildet 100. Data fra generatoren 23" blir lagret i lageret 25' i en adresse spesifisert av adressegeneratoren 27'. Adressegeneratoren 27' dirigerer grunn-bildeblokken med data i lageret 25' til lagerstedet som
korresponderer med det opprinnelige lagerstedet for det korrelerte datasegmentet til det tilslørte videobildet lagret i lageret 17'..
Beregningen av korrelasjonen av detektoren 21' blir utført i samsvar med velkjent korrelasjonsteknikk ved signal-behandlingsteori og vil derfor ikke bli beskrevet nærmere.
Det syntetiserte bildet lagret i lageret 25 innbefatter en mosaikk med valgte' grunnbilder og har en bedre oppløs-ning enn noen av videobildene opprinnelig generert av kamera 5. Det skal forøvrig bemerkes at ytelsene kan bli øket ved anvendelsen av mer fullstendige sett med grunnbilder enn det vist på fig. 5.
Claims (11)
1.
Avbildningssystem innbefattende en bildedanner som kan betrakte en scene gjennom en åpning kjennetegnet av en punktspredefunksjon og en innretning som reagerer på bildedanneren for å generere suksessive bilder med videodataord kjennetegnet av en første samplingshastighet, karakterisert ved et system for å øke bildeoppløsningen, som omfatter
innretninger for å omdanne videodataordene til et syntetisert videobilde av videodataordene, idet det syntetiserte videobildet er kjennetegnet av en andre høyere samplingshastighet,
flere grunnbilder, idet hvert av grunnbiIdene innbefatter en matrise av videodataord,
innretning for å konvolvere hvert av grunnbiIdene med punktspredefunksjonen for å generere et sett med tilslørte grunnbilder,
innretning for å beregne korrelasjonen mellom hvert av de tilslørte grunnbiIdene og hvert lite segment med det syntetiserte videobildet og detektering av en toppkorrelasjon derfra,
et lager for å lagre en mosaikk av valgte grunnbilder , og
innretning som reagerer alltid når korrelasjonsinnretningen detekterer en to-dimensjonal toppkorrelasjon mellom en bestemt en av de tilslørte grunnbildene og en av segmentene med det syntetiserte videobildet for skriving av et bestemt et av de ikke tilslørte av grunnbildene inn i grunnbildemosaikklageret ved et lagersted som korresponderer med det opprinnelige lagerstedet for det bestemte syntetiserte videobildesegmentet i det syntetiserte videobildet.
2.
System ifølge krav 1, karakterisert ved at nevnte innretning for omforming til et syntetisert videobilde
innbefatter en multippelbilderegistreringsinnretning for å danne en mosaikk av til hverandre forskjøvne påfølgende videobilder generert av bildedanneren.
3.
System ifølge krav 1„ karakterisert ved at nevnte innretning for omforming til et syntetisert videobilde innbefatter en innretning for å utføre bildeinterpolering i et enkelt et av påfølgende Videobilder.
4.
System ifølge krav 1, karakterisert ved at det innbefatter en rekke med detektorer som har en detektor-til-detektor samplingshastighet større enn Nyquist-hastigheten.
5.
System ifølge krav 1, karakterisert ved at hvert lite segment omfatter n rader og n kolonner med dataord og nevnte innretning for å generere et syntetisert videobilde innbefatter en lageranordning for lagring av de syntetiserte videobildedataordene og at korrelasjonsinnretningen omfatter et transversalt filter av ladningskoplet anordningstype innbefattende n-parallelle registre som mottar data fra det ladningskoplede lageret, idet korrelasjonsinnretningen innbefatter ekvivalenten av en plan sammenstilling med n-rader og n-kolonner med følerelektroder som ligger over parallellregistrene,, idet elektrodesammenstillingen videre innbefatter innretning for å detektere hvert segment av videodata overført gjennom nevnte parallellregistre og som sender detektert videodataord til en korrelasjonskomputator, hvor korrelasjonskomputatoren beregner en korrelasjon mellom det detekterte segmentet av videodataord og den digitaliserte versjonen av et korresponderende et av de tilslørte grunnbildene.
6.
Fremgangsmåte for bildeoppløsningsøkning i et avbildningssystem hvor det anvendes et sett med grunnbilder for å forsterke et bilde hvis oppløsning er nedsatt av system-begrensninger innbefattende tilsløringer bevirket ved fokusering, diffraksjon og sampling, karakterisert ved
generering av et sett med degraderte grunnbilder ved degradering av grunnbildene på samme måte som bildet som er degradert ved systemsbegrensninger,
korrelering av intensitetsfordelingen for det samplede segmentet med det degraderte bildet med intensitetsfordelingen for de degraderte grunnbildene og valg av det mest korrelerende degraderte grunnbildet,
syntetisering av et forbedret bilde ved å erstatte det samplede degraderte bildesegmentet med den ikke degraderte, versjonen av det valgte degraderte grunnbildet ved det bildestedet hvor den beste tilpasning forekommer mellom det samplede degraderte bildesegmentet og det valgte degraderte grunnbildet.
7.
Fremgangsmåte ifølge krav 6, karakterisert ved det ytterligere trinn å øke samplingstettheten for det degraderte bildet og de degraderte grunnbilder før sammenligningen av intensitetsfordelingen for de degraderte grunnbildene og samplesegmentene for det degraderte bildet.
8.
Fremgangsmåte ifølge krav 6, karakterisert ved at de degraderte grunnbildene blir generert ved å betrakte grunnbildene gjennom avbildningssystemet slik at degraderingseffekten til systembegrensningene blir gitt til grunnbildene ved utgangen av systemet.
9.
Fremgangsmåte ifølge krav 6, karakterisert ved at korrelasjon av intensitetsfordelingene utføres mellom samplede degraderte bildesegmenter og degraderte grunnbilder av.lignende størrelse i forhold til hverandre.
10.
Fremgangsmåte ifølge krav 6, karakterisert ved at de degraderte grunnbilder genereres matematisk ved konvolvering av grunnbildene med en funksjon som representerer systembegrensningen.
11.
Fremgangsmåte ifølge krav 6, karakterisert ved at de samplede segmenter av det degraderte bilde har overlappende deler.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US1984/000117 WO1984002990A2 (en) | 1983-01-27 | 1984-01-25 | Resolution enhancement and zoom |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| NO843696L NO843696L (no) | 1984-09-17 |
| NO167243B true NO167243B (no) | 1991-07-08 |
| NO167243C NO167243C (no) | 1991-10-16 |
Family
ID=22182024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NO84843696A NO167243C (no) | 1984-01-25 | 1984-09-17 | Avbildningssystem og fremgangsmaate for bildeopploesningsoekning i et avbildningssystem. |
Country Status (1)
| Country | Link |
|---|---|
| NO (1) | NO167243C (no) |
-
1984
- 1984-09-17 NO NO84843696A patent/NO167243C/no unknown
Also Published As
| Publication number | Publication date |
|---|---|
| NO167243C (no) | 1991-10-16 |
| NO843696L (no) | 1984-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4532548A (en) | Resolution enhancement and zoom | |
| US7760965B2 (en) | Extended range image processing for electro-optical systems | |
| AU2017343447B2 (en) | Multi-camera imaging systems | |
| KR100315897B1 (ko) | 적응적비균일성보상방법및센서 | |
| US10417745B2 (en) | Continuous motion scene based non-uniformity correction | |
| JP6094100B2 (ja) | 移動体検出方法 | |
| US20130335565A1 (en) | Self-correcting adaptive long-stare electro-optical system | |
| WO2021093635A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US4517599A (en) | Resolution enhancement and zoom by degradation estimates | |
| US5717208A (en) | Staring IR-FPA with dither-locked frame circuit | |
| JP3342588B2 (ja) | 不鮮明ビデオラインの補正方法およびカメライメージャ | |
| EP2097871B1 (en) | Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product | |
| GB2336268A (en) | Correction of grey values in IR imaging | |
| US10891716B2 (en) | Process allowing the removal through digital refocusing of fixed-pattern noise in effective images formed by electromagnetic sensor arrays in a light field | |
| NO167243B (no) | Avbildningssystem og fremgangsmaate for bildeopploesningsoekning i et avbildningssystem. | |
| US20230041139A1 (en) | Image processing for oversampled infrared imaging | |
| CN112866546B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| JP6728005B2 (ja) | 撮像装置、撮像方法およびプログラム | |
| NO164068B (no) | Opploesningsoekning av zoom ved degraderingsanslag. |