[go: up one dir, main page]

DE10344397A1 - Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung - Google Patents

Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung Download PDF

Info

Publication number
DE10344397A1
DE10344397A1 DE10344397A DE10344397A DE10344397A1 DE 10344397 A1 DE10344397 A1 DE 10344397A1 DE 10344397 A DE10344397 A DE 10344397A DE 10344397 A DE10344397 A DE 10344397A DE 10344397 A1 DE10344397 A1 DE 10344397A1
Authority
DE
Germany
Prior art keywords
edge detection
unit
value
image data
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10344397A
Other languages
English (en)
Other versions
DE10344397B4 (de
Inventor
Sang-Hyun Suwon Park
Jong-Sik Jeong
Yeon-Cheol Suwon Lee
Kang-ju Suwon Kim
Hyung-Man Park
Boo-Dong Suwon Kwak
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of DE10344397A1 publication Critical patent/DE10344397A1/de
Application granted granted Critical
Publication of DE10344397B4 publication Critical patent/DE10344397B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Eine Vorrichtung und ein Verfahren zur gleichzeitigen Durchführung einer Kantenerkennung und -hervorhebung ohne zusätzlichen Speicher umfassen einen Bildsensor (415), welcher zur Ausgabe von Bilddaten ein Bild erfasst, einen Zeilenpuffer (401), welcher zur Ausgabe der Bilddaten die Bilddaten empfängt, ein Register (402), welches die von dem Zeilenpuffer übertragenen Bilddaten speichert, eine Interpolationseinheit (403), welche an den von dem Register empfangenen Bilddaten einen Interpolationsvorgang durchführt, eine Kantenerkennungseinheit (406), welche an den von dem Register empfangenen Bilddaten einen Kantenerkennungsvorgang durchführt, um ein Kantenerkennungssignal parallel zu dem Interpolationsvorgang der Interpolationseinheit entsprechend einem Auswahlsignal, das ein Muster der in dem Register gespeicherten Bilddaten darstellt, auszugeben, und eine Kantenhervorhebungseinheit (408), welche eine Ausgabe der Interpolationseinheit gemäß der Kantenerkennungseinheit der Kantenerkennungseinheit hervorhebt.

Description

  • Die vorliegende Erfindung beansprucht den Vorteil der koreanischen Patentanmeldung Nr. 2003-54648, die am 7. August 2003 beim Korean Intellectual Property Office (Koreanisches Amt für Geistiges Eigentum) eingereicht wurde und deren Offenbarung hiermit durch Bezugnahme aufgenommen ist.
  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Durchführung einer Kantenhervorhebung bzw. Kantenverstärkung in einer weithin verwendeten bekannten Digitalkamera, wie beispielsweise einer tragbaren Digitalkamera, mit einer niedrigen Anzahl von Bildpixeln und mehr im Besonderen eine Vorrichtung und ein Verfahren zur Kantenhervorhebung, um gleichzeitig sowohl einen Kantenhervorhebungsvorgang und einen Interpolationsvorgang ohne einen zusätzlichen Schaltkreis oder Block für die Kantenhervorhebung durchzuführen.
  • In einer tragbaren Digitalkamera oder einer weithin verwendeten bekannten Digitalkamera erscheint ein wahrgenommenes bzw. erfasstes Bild nicht lebendig, weil Bildsensor und Linse von geringer Größe sind, und die Funktion eines Bilder verarbeitenden ICs zur Kosten senkung zu sehr vereinfacht worden ist. Insbesondere der Rand bzw. die Grenze eines erfassten Bilds wird unscharf bzw. verschwommen. Um zu verhindern, dass das erfasste Bild unscharf wird, wird ein Verfahren zur Kantenhervorhebung in der Digitalkamera angewendet, um den Rand des erfassten Bilds zu verstärken und ein lebendiges erfasstes Bild zu erhalten.
  • Die Kante eines erfassten Bilds enthält Informationen über das erfasste Bild selbst. Die Kante des erfassten Bilds stellt die Grenze dar, an der die Position, die Form und die Größe eines Objekts des erfassten Bilds verändert werden. Die Kante des erfassten Bilds befindet sich an einem Punkt, an dem die Helligkeit des erfassten Bilds von einem Niveau großer Helligkeit zu einem Niveau geringer Helligkeit oder von dem Niveau geringer Helligkeit zu dem Niveau großer Helligkeit wechselt.
  • Wie vorstehend beschrieben wurde, wird das Verfahren zur Kantenhervorhebung eingesetzt, um das lebendige erfasste Bild in der weithin verwendeten bekannten Kamera zu erhalten, welche Imagepixel umfasst, deren Anzahl weniger als einen Standard ausmacht. Von mehreren Verfahren zur Kantenhervorhebung wird ein Verfahren zur Erkennung der Kante eines ursprünglichen Bilds weithin angewendet, wobei verschiedene Verfahren angewendet und die erkannte Kante zu dem ursprünglichen Bild hinzugefügt wird, um die Kante des ursprünglichen Bilds hervorzuheben.
  • Das Verfahren zur Kantenhervorhebung wird entsprechend der Art oder des Typs eines Eingabebilds einem von verschiedenen Verfahren zugeordnet, und ein sehr schnelles und sehr einfaches Verfahren zur Kantenhervorhebung besteht in der Berechnung von Pixeldaten eines Mittelpixels und von Nachbarpixeln des Mittelpixels, um einen Maxi malwert zu bestimmen. Dieses Verfahren ist entweder ein Homogenitätsoperatorverfahren oder ein Differenzoperatorverfahren.
  • 1A und 1B zeigen Ansichten, welche konventionelle Verfahren mit einem Homogenitätsoperator bzw. einem Differenzoperator erklären. Wie in 1A gezeigt ist, umfasst das Homogenitätsoperatorverfahren das Ausbilden eines Fensters mit 3 × 3 Pixeln, das Subtrahieren der Pixelwerte von um den Mittelpixel des Fensters angeordneten Nachbarpixeln, von einem Pixelwert des Mittelpixels zum Errechnen von Differenzen, und das Ausgeben eines maximalen Absolutwerts unter den Absolutwerten der Differenzen als Ausgangswert. Da bei dem Homogenitätsoperatorverfahren das Errechnen der Differenzen zwischen dem Pixelwert des Mittelpixels und der Pixelwerte der Nachbarpixel des Fensters durchgeführt wird, sind in Bezug auf das Mittelpixel des Fensters 8 Subtraktionsvorgänge notwendig.
  • Wie in 1B gezeigt ist, umfasst das Differenzoperatorverfahren das Errechnen einer ersten Differenz zwischen Pixelwerten eines oberen linken Pixels und eines unteren rechten Pixels eines Mittelpixels, das Errechnen einer zweiten Differenz zwischen Pixelwerten zwischen einem oberen mittleren Pixel und einem unteren mittleren Pixel des Mittelpixels, das Errechnen einer dritten Differenz zwischen Pixelwerten eines oberen rechten Pixels und eines unteren linken Pixels des Mittelpixels und das Errechnen einer vierten Differenz zwischen Pixelwerten eines mittleren linken Pixels und eines mittleren rechten Pixels des Mittelpixels. Da das Differenzoperatorverfahren 4 Subtraktionsvorgänge in Bezug auf das Mittelpixel erfordert, ist das Differenzoperatorverfahren bei der Durchführung des Subtraktionsvorgangs schneller als das Homogenitätsoperatorverfahren.
  • Die vorstehend beschriebenen Homogenitäts- und Differenzoperatorverfahren werden in Bezug auf ein Schwarz/Weiß-Bild mit einer Helligkeitskomponente durchgeführt.
  • Verschiedene Verfahren zur Kantenhervorhebung werden für ein Farbbild, das nicht das Schwarz/Weiß-Bild darstellt, angewendet. Im Allgemeinen werden in dem Farbbild mit einem RGB (R-, G- und B-Komponenten)-Farbraum Vorgänge in Bezug auf die Pixelwerte jeder Farbkomponente R, G oder B durchgeführt, und ein Grauwertkantenabbild wird anhand der folgenden Formel 1 aus den Ergebnissen der Vorgänge erstellt.
  • Figure 00040001
  • Hierin steht Grot für einen Pixelwert einer Rot-Komponente, Ggrün steht für das Kantenabbild einer Grün-Komponente und Gblau steht für das Kantenabbild einer Blau-Komponente.
  • Allerdings wird in einem HSV (hue, saturation, value – Farbton-, Sättigungs- und Wert- (Helligkeit oder Luminanz) Komponenten)-Raum die Kante des Farbbilds aus der Wert (V)-Komponente von den Farbton (H)-, Sättigungs (S)- und Wert (V)-Komponenten erkannt. Daher ist es möglich, die Kante des Farbbilds eher durch Heranziehen der Wert (V)-Komponente statt aller Farbkomponenten, wie beispielsweise der H-, S- und V-Komponenten, zu erkennen.
  • 2 zeigt ein Blockschema einer herkömmlichen Kantenerkennungsvorrichtung, welche die Kante des Farbbilds unter Heranziehung einer Luminanzkomponente erkennt. Bezug nehmend auf 2 wird das von einem Bildsensor 201 erfasste wahrgenommene Bild in einem Speicher 202 als ein Bayer-Pattern bzw. Bayer-Muster ge speichert. Da 3 oder mehr Datenkomponenten erforderlich sind, um das Farbbild zu realisieren, können Pixelwerte von drei unabhängigen Farb (R, G und B)-Komponenten als Datenkomponenten verwendet werden. Der das Farbbild erfassende Bildsensor 201 benötigt eine Farbfilteranordnung (CFA), in welcher Farbsensoren angeordnet sind. In jedem Farbsensor des Bildsensors 201 wird der Pixelwert einer der Farbkomponenten in Bezug auf jedes Pixel entnommen, andere Farbkomponenten des Pixels, die nicht in Bezug auf das Pixel entnommen werden, können durch die CFA unter Verwendung von Informationen von Nachbarpixeln des Pixels berechnet werden. Dieses Verfahren ist ein allgemein bekanntes Bayer-Muster-Verfahren, das einem CFA-Verfahren entspricht. Die Wiederherstellung des Farbbilds durch den Bildsensor 201 mit der CFA wird als Interpolations- und Demos-Vereisung bezeichnet.
  • Das in dem Speicher 202 erfasste Bild (die Bildinformation) wird zu einem RGB-Musterbild in einer 3 × 3-Zeilen-Interpolationseinheit 203 verarbeitet.
  • Unter der Annahme, dass die Interpolationseinheit 203 ein 3 × 3-Zeilen-Interpolationsverfahren in Bezug auf die Bildinformation, die als das Bayer-Muster in einer Einheit eines 3 × 3-Fensters mit der Anzahl von 3 × 3 Pixeln gespeichert ist, durchführt, da das Bayer-Muster eines von vier Mustern ist, stellt das 3 × 3-Fenster eines der vier folgenden Muster dar.
  • Figure 00050001
  • Figure 00060001
  • Wenn ein 3 × 3-Zeilen-Bayer-Muster, das in 3A gezeigt ist, an die Interpolationseinheit 203 geliefert wird, stellen sich die RGB-Werte des RGB-Musters wie folgt dar. R = (R1 + R2 + R3 + R4)/4 G = (G1 + G2 + G3 + G4)/4 B = B1
  • Wenn das 3 × 3-Zeilen-Bayer-Muster, das in 3B gezeigt ist, an die Interpolationseinheit 203 geliefert wird, sind die RGB-Werte des RGB-Musters wie folgt. R = (R1 + R2)/2 G = G3 B = (B1 + B2)/2
  • Wenn das 3 × 3-Zeilen-Bayer-Muster, das in 3C gezeigt ist, an die Interpolationseinheit 203 geliefert wird, lauten die RGB-Werte des RGB-Musters wie folgt. R = (R1 + R2)/2 G = G3 B = (B1 + B2)/2
  • Wenn das 3 × 3-Zeilen-Bayer-Muster, das in 3D gezeigt ist, an die Interpolationseinheit 203 geliefert wird, sind die RGB-Werte des RGB-Musters wie folgt. R = R1 G = (G1 + G2 + G3 + G4)/4 B = (B1 + B2 + B3 + B4)/4
  • Das 3 × 3-Zeilen-Bayer-Muster-Interpolationsverfahren kann ein Verfahren zum Errechnen eines Mittels von Pixelwerten der Nachbarpixel unter Ausschluss jener Pixel mit einem maximalen oder minimalen Pixelwert sowie das vorstehend beschriebene Verfahren umfassen. Um das 3 × 3-Zeilen-Interpolationsverfahren durchzuführen, sollten 3 Zeilendaten gleichzeitig an einen Bildprozessor übertragen werden.
  • Das in der Interpolationseinheit 203 interpolierte RGB-Musterbild wird in einer Kantenerkennungsvorrichtung 206 durch einen YCrCb(YUV)-Musterkonverter 204 und einen weiteren Speicher 205 verarbeitet.
  • Wenn jedoch die Interpolation und die Kantenhervorhebung an dem erfassten Bild unter Einsatz der vorstehenden herkömmlichen Verfahren ausgeführt werden, um einen verarbeiteten Bildblock zu realisieren, tritt eine Zeitverzögerung zwischen dem Eingangsbild und dem Ausgangsbild auf, da die Interpolation und die Kantenhervorhebung in der Einheit eines Rahmens durchgeführt werden, und außerdem werden ein Rahmenpuffer und ein zusätzlicher Speicher benötigt, um das Eingangsbild bzw. das Kantenabbild vorübergehend zu speichern, da die Interpolation und die Kantenhervorhebung in der Einheit eines Rahmens durchgeführt werden.
  • Das erfasste Bild wirkt nicht lebendig, da die Funktionen eines Bildprozessor-ICs zur Kostensenkung zu sehr vereinfacht worden sind, um ein klares Bild als Eingangs- (wahrgenommenes) Bild zu erfassen, und der Imagesensor und die Linse der Digitalkamera mit einer niedrigen Anzahl von Pixeln von nur geringer Größe sind. Insbesondere der Rand (die Kante) eines Objekts in dem erfassten Bild wird unscharf. Obwohl die Kante des Objekts des erfassten Bilds unter Verwendung des herkömmlichen Verfahrens zur Kantenhervorhebung verstärkt werden kann, um ein lebendigeres Bild zu erhalten, erfordert eine Vorrichtung zur Kantenhervorhebung, die das herkömmliche Verfahren zur Kantenhervorhebung anwendet, neben einer Interpolationsverarbeitungseinheit (einem Block), wie in 2 gezeigt ist, eine zusätzliche Funktionseinheit (einen Block).
  • Die japanische Patentveröffentlichung Nr. Hei 7-107268 offenbart eine konventionelle Bildverarbeitungseinrichtung zum Erhalten von Information mit hoher Auflösung für eine scharfe Kante durch Berechnen der hochauflösenden Information, die der Auflösungsinformation benachbart ist, in einer linearen Interpolationseinheit und durch Hinzufügen der Kanteninformation einer Kanteninformationseinheit zu der linearen interpolierten Information mit hoher Auflösung.
  • Da jedoch die vorstehende konventionelle Bildverarbeitungsvorrichtung eine Vorrichtung zur Verarbeitung eines Kantenverarbeitungsvorgangs nach der Durchführung der Interpolation darstellt, ist der zusätzliche Funktionsblock neben dem Interpolationsblock erforderlich. Des Weiteren kann die vorstehende konventionelle Bildverarbeitungsvorrichtung nicht richtig in der Digitalkamera oder der weithin bekannten beliebten Digitalkamera eingesetzt werden.
  • Es ist notwendig, dass ein neues Verfahren zur gleichzeitigen Durchführung der Kantenhervorhebung und der Interpolation ohne einen zusätzlichen Funktionsblock in der Digitalkamera oder der weithin bekannten beliebten Digitalkamera ungeachtet der Größe oder der Kosten des Bildverarbeitungs-ICs leicht verwendet werden kann.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Zur Lösung des vorstehenden Problems und/oder weiterer Probleme ist es ein Aspekt der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur Kantenhervorhebung zur Verfügung zu stellen, um durch Vorsehen eines einfachen Schaltkreises an der Vorrichtung, welcher eine Bildkante hervorhebt, ein lebendigeres Bild zu erhalten, ohne die Bildverarbeitungseinheit zu vergrößern.
  • Es ist ein weiterer Aspekt der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur Kantenhervorhebung zur Verstärkung einer Bildkante zur Verfügung zu stellen, ohne einen zusätzlichen Speicher als Zeilenspeicher zur Speicherung eines Eingangsbilds vorzusehen, welcher erforderlich ist, wenn eine Kantenhervorhebung unter Verwendung eines zusätzlichen Funktionsblocks bzw. eines zusätzlichen Kantenabbilds realisiert wird.
  • Es ist ein weiterer Aspekt der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur Kantenhervorhebung zur Verfügung zu stellen, um gleichzeitig eine 3 × 3-Interpolation und eine Kantenhervorhebung zu verarbeiten, um ein Ausgangsbild mit nur einigen wenigen Takten Verzögerung ohne eine maximale Rahmenverzögerung, welche auftritt, wenn Interpolations- und Kantenhervorhebungsblocks in getrennten Schaltkreisblocks verwirklicht werden, auszugeben.
  • Weitere Aspekte und/oder Vorteile der Erfindung sind teilweise in der folgenden Beschreibung ausgeführt und teilweise aus der Beschreibung ersichtlich oder können durch Umsetzung der Erfindung in die Praxis erfahren werden.
  • Um die vorstehenden und/oder andere Aspekte der vorliegenden Erfindung zu erzielen, umfasst eine Vorrichtung zur gleichzeitigen Durchführung einer Kantenerkennung und Kantenhervorhebung einen Bildsensor, welcher zur Ausgabe von Bilddaten ein Bild erfasst, einen Zeilenpuffer, welcher die Bilddaten empfängt, um die Bilddaten auszugeben, ein Register, welches die von dem Zeilenpuffer übermittelten Bilddaten speichert, eine Interpolationseinheit, welche an den von dem Register empfangenen Bilddaten einen Interpolationsvorgang vornimmt, eine Kantenerkennungseinheit, welche an den vom dem Register empfangenen Bilddaten einen Kantenerkennungsvorgang durchführt, um entsprechend einem Auswahlsignal, das ein Muster der in dem Register gespeicherten Bilddaten darstellt, einen Kantenerkennungswert parallel zum Interpolationsvorgang der Interpolationseinheit auszugeben, und eine Kantenhervorhebungseinheit, welche eine Ausgabe der Interpolationseinheit entsprechend der Kantenerkennungseinheit der Kantenerkennungseinheit hervorhebt.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren zur gleichzeitigen Durchführung einer Kantenerkennung und einer Kantenhervorhebung das Erfassen eines Bilds zur Ausgabe von Bilddaten, das Empfangen der Bilddaten zur Ausgabe der Bilddaten in einen Zeilenpuffer, das Speichern der Bilddaten in einem Register, das Durchführen eines Interpolationsvorgangs an den von dem Register empfangenen Bilddaten, die Durchführung eines Kantenerkennungsvorgangs an den von dem Register empfange nen Bilddaten, um einen Kantenerkennungswert parallel zu dem Interpolationsvorgang entsprechend einem Auswahlsignal, das ein Muster der Bilddaten darstellt, auszugeben, und Hervorhebung einer Ausgabe des Interpolationsvorgangs entsprechend dem Kantenerkennungswert.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die vorstehenden und weiteren Vorteile der Erfindung werden aus der folgenden Beschreibung der bevorzugten Ausführungsformen zusammen mit den beiliegenden Zeichnungen ersichtlich und besser verstanden, worin:
  • 1A und 1B Ansichten zeigen, welche ein herkömmliches Homogenitätsoperatorverfahren bzw. ein herkömmliches Differenzoperatorverfahren erläutern;
  • 2 ein Blockschema einer herkömmlichen Kantenerkennungsvorrichtung zeigt, welche eine Kante unter Heranziehung einer Luminanzkomponente erkennt;
  • 3A bis 3D 3 × 3-Fenster zeigen, welche gebildet werden, wenn ein Bayer-Muster unter Verwendung eines 3 × 3-Zeilen-Interpolationsverfahrens interpoliert wird;
  • 4 ein Blockschema einer Kantenhervorhebungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt; und
  • 5 ein Blockschema einer weiteren Kantenhervorhebungsvorrichtung gemäß einer anderen Ausführungsform der vorliegenden Erfindung ist.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Es wird nun detailliert auf die vorliegenden bevorzugten Ausführungsformen der vorliegenden Erfindung genommen, deren Beispiele in den beiliegenden Zeichnungen veranschaulicht sind, worin sich gleiche Bezugszeichen durchgehend auf dieselben Elemente beziehen. Die Ausführungsformen werden nachstehend beschrieben, um die vorliegende Erfindung durch Bezugnahme auf die Figuren zu erläutern.
  • Gemäß einem Aspekt der vorliegenden Erfindung umfassen das Verfahren und die Vorrichtung zur Kantenhervorhebung ein Verfahren zum Erkennen einer Kante aus einer Helligkeitskomponente (Luminanzkomponente) von Bilddaten und zur Hervorhebung der Kante als einfachstes Verfahren von verschiedenen Kantenerkennungsverfahren und -hervorhebungsverfahren. Da die meisten Kanten dieselbe Kante wie die Luminanzkomponente zeigen, wird die Kante unter Heranziehung der Luminanzkomponente erkannt und hervorgehoben.
  • Die Luminanzkomponente entspricht dem Y eines YCrCb- oder YUV-Farbraums. Gemäß der CCIR-6-1-YCrCb-Farbraum-Konvertierungsformel ist die G-Komponente der Komponenten R, G und B für Y am bedeutendsten, da ein Koeffizient von R 77 ist, ein Koeffizient von G 150 ist und ein Koeffizient von B 29 ist. Daher kann das Y des YCrCb-Farbraums oder die G-Komponente eines RGB-Farbraums als Luminanzkomponente verwendet werden, um die Kante zu erkennen und hervorzuheben.
  • <CCIR-6-1-YCrCb-Farbraum-Konvertierungsformel>
    • Y = (77R + 150G + 29B)/256 Bereich: 16 ~ 235
    • Cb = (–44R – 87G + 131B)/256 + 128 Bereich: 16 ~ 240
    • Cr = (131R – 110G – 21B)/256 + 128 Bereich: 16 ~ 240
  • Bei dem Verfahren zur Erkennung der Kante unter Heranziehung der Luminanzkomponente ist es, wenn ein Bildsensor einen Bildprozessor zur Ausgabe von RGB-Daten, wie beispielsweise YUV-Daten, die in einem Interpolationsvorgang verarbeitet wurden, aufweist, wünschenswert, dass die Kante unter Verwendung der Luminanzkomponente, wie zum Beispiel Y, von jedem Pixel erkannt wird. Wenn die RGB-Daten, die nicht in dem Interpolationsvorgang verarbeitet wurden, ausgegeben werden, muss das RGB-Format der RGB-Daten in ein YCrCb- oder YUV-Format konvertiert werden, um die Kante von den RGB-Daten in dem Bildsensor, die den Bildprozessor nicht enthalten, zu erkennen. In diesem Fall wird ein zusätzlicher Speicherraum zur Verwendung in einem Kantenerkennungsprozess benötigt.
  • Da das Verfahren und die Vorrichtung zur Kantenhervorhebung die Interpolation und die Kantenhervorhebung in einer Bildvorrichtung von geringer Größe, die mit einem mobilen Gerät, wie etwa einem kabellosen Telefon, verbunden sein kann, in einer sehr einfachen Struktur gemäß einem Aspekt einem weiteren Aspekt der vorliegenden Erfindung durchführen, wird das Verfahren zur Erkennung und Hervorhebung der Kante unter Verwendung der G-Komponente, welche die Luminanzkomponente am stärksten beeinflusst, bei dem Verfahren und der Vorrichtung zur Kantenhervorhebung eingesetzt.
  • Das bei dem Verfahren und der Vorrichtung zur Kantenhervorhebung eingesetzte Kantenerkennungsverfahren vergleicht den G-Wert eines Mittelpixels eines in einem Rahmen enthaltenen 3 × 3-Fensters mit G- Werten von Nachbarpixeln des Mittelpixels, um die Kante unter Heranziehung der Differenz zwischen dem G-Wert des Mittelpixels und der G-Werte der Nachbarpixel zu erkennen.
  • Wie in den 3A bis 3D gezeigt ist, wird in Bezug auf die 3 × 3-Fenster von 4 verschiedenen Bayer-Mustern die Kante durch Vergleich des G-Werts des Mittelpixels des 3 × 3-Fensters mit den G-Werten der Nachbarpixel des Mittelpixels und durch Errechnen einer maximalen Differenz unter den Differenzen zwischen dem G-Wert des Mittelpixels und den G-Werten der Nachbarpixel als Kante erkannt.
  • Das Verfahren und die Vorrichtung zur Kantenhervorhebung führen das Erkennen und Hervorheben der Kante gemäß einem anderen Aspekt der vorliegenden Erfindung gleichzeitig durch. Der Kantenhervorhebungsvorgang wird nicht an den hervorzuhebenden Bilddaten durchgeführt. Der G-Wert des Mittelpixels und die vier G-Werte der vier Nachbarpixel werden verglichen, da eine der RGB-Komponenten in dem Bayer-Muster vorliegt.
  • 3A und 3D zeigen das Mittelpixel mit einem B-Wert bzw. einem R-Wert anstatt des G-Werts. Da der G-Wert Daten darstellt, die von der auf dem B- und dem R-Wert basierenden Interpolation erzeugt werden, handelt es sich bei dem G-Wert nicht um von dem Bildsensor ausgegebene Daten, sondern um berechnete Daten, die von der Interpolation des B-Werts und des R-Werts erhalten werden. Dementsprechend wird die Kante in den 3A und 3D nicht berechnet.
  • In den 3B und 3C wird ein Multiplikationswert, der durch Multiplizieren von 4 mit dem G-Wert des Mittelpixels errechnet wird, von der Summe der G-Werte der vier Nachbarpixel subtrahiert, um einen Kantenerkennungswert (ein Signal) X zu berechnen, das aus der folgenden Formel 2 errechnet wird. Kantenerkennungswert (X) = 4G3 – (G1 + G2 + G3 + G4) <Formel 2>
  • Hierin wird der G-Wert des Mittelpixels mit vier multipliziert, da die Anzahl der Nachbarpixel vier ist. Wenn die Kante nicht in einem von dem 3 × 3-Fenster umgebenen Abschnitt vorliegt, sind die in dem 3 × 3-Fenster angeordneten G-Werte einander ähnlich, und eine Differenz zwischen dem Multiplikationswert und der Summe ist nahe Null. Das bedeutet, dass der Erkennungswert X Null wird. Wenn im Gegensatz dazu die Kante in dem 3 × 3-Fenster vorliegt, ist einer der G-Werte der Nachbarpixel aufgrund von Unterschieden zwischen den Luminanzkomponenten größer als die anderen G-Werte, und ein absoluter Wert der Differenz zwischen dem Multiplikationswert und der Summe wird wichtig, um zu zeigen, dass die Kante in dem 3 × 3-Fenster vorliegt.
  • Selbst wenn der Kantenerkennungswert X von einem Punkt aus erkannt wird, der dem Mittelpixel benachbart angeordnet ist, kann das vorstehende Kantenverfahren in der Kantenhervorhebungsvorrichtung eingesetzt werden, da keine bedeutende Wirkung auf ein Bild mit hervorgehobenen Kanten vorliegt, außer das Bild wird vergrößert oder auf ein Minimum verkleinert und da es ein weiterer Aspekt der vorliegenden Erfindung ist, die Kantenhervorhebung auf eine äußerst einfache Weise zu realisieren.
  • In diesem Fall kann ein Schwellwert gesetzt werden. Wenn der Kantenerkennungswert X größer als der Schwellwert ist, wird bestimmt, dass die Kante in dem 3 × 3-Fenster vorliegt. Wenn der Kantenerken nungswert X nicht größer als der Schwellwert ist, wird bestimmt, dass die Kante in dem 3 × 3-Fenster nicht vorliegt.
  • Das Verfahren und die Vorrichtung zur Kantenerkennung gemäß einem anderen Aspekt der vorliegenden Erfindung führen die Kantenerkennung und die Kantenhervorhebung unter Verwendung eines Zeilenspeichers aus, der zur Durchführung eines 3 × 3-Interpolationsvorgangs in der Kantenhervorhebung ohne irgendeinen zusätzlichen Speicher eingesetzt wird.
  • 4 ist ein Blockschema der Kantenhervorhebungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. Ein Vorgang der Kantenhervorhebung wird unter Bezugnahme auf 4 im Detail beschrieben.
  • Wie in 4 gezeigt ist, werden Bilddaten eines erfassten Bilds mit Pixelzeilen in der Einheit eines Rahmens von einem Bildsensor 415 an einen Zeilenpuffer 401 ausgegeben. Der Zeilenpuffer 401 speichert die eingegebenen Bilddaten vorübergehend und gibt die gespeicherten Bilddaten in einer Einheit von 3 Zeilen zur Interpolation aus. Die 3-Zeilen-Bilddaten werden durch ein Register 402 in eine Interpolationseinheit 403 eingegeben.
  • Eine Ausgabe des Zeilenpuffers 401 wird an eine linke Anschlussstelle des Registers 402 übertragen und dann an ein rechtes Terminal des Registers 402 verschoben. Dementsprechend werden die dem 3 × 3-Fenster entsprechenden Bilddaten in dem Register 402 gespeichert, und das 3 × 3-Fenster wird durch das Register 402 entsprechend jedem Takt verschoben. Das 3 × 3-Fenster wird taktgemäß nach rechts verschoben, um in die Interpolationseinheit 403 eingegeben zu werden.
  • Die Interpolationseinheit 403 führt die 3 × 3-Zeilen-Interpolation an den Bilddaten von Pixelwerten durch, die den 9 wie vorstehend beschrieben von dem Register 402 empfangenen Pixeln entsprechen.
  • Eine RGB-in-YCrCb-Konvertierungseinheit 404 konvertiert die RGB-Daten, welche in der Interpolationseinheit 403 interpoliert werden, in die Daten vom YCrCb-Format oder die Daten vom YUV-Format, die an eine Anzeigevorrichtung oder eine Speichereinheit ausgegeben werden.
  • 4 zeigt Schaltkreise, wie beispielsweise eine Steuereinheit 405 und eine Kantenerkennungsvorrichtung 406, zur Durchführung der Kantenerkennung und der Kantenhervorhebung.
  • Die Steuereinheit 405 überträgt ein Mustersignal, das Information über ein Muster des 3 × 3-Fensters darstellt, an die Interpolationseinheit 403. Das Mustersignal, welches das von dem Bildsensor 415 erzeugte Bayer-Muster darstellt, wird an die Interpolationseinheit 403 übertragen.
  • In dem Fall, in dem der Bildsensor 415 den Bildprozessor nicht umfasst, sind die von dem Register 402 an die Interpolationseinheit 403 übertragenen Bilddaten das Bayer-Muster.
  • In diesem Fall ist das Bayer-Muster eines der folgenden vier Muster.
  • Figure 00170001
  • Figure 00180001
  • Das bedeutet, dass die Steuereinheit 405 das Mustersignal, welches darstellt, welches der vier Muster das an die Interpolationseinheit 403 übertragene Bayer-Muster ist, an die Interpolationseinheit 403 überträgt.
  • Wenn der Pixelwert des Mittelpixels, welches das in dem Register 402 gespeicherte 3 × 3-Fenster ausmacht, der G-Wert ist, wird der G-Wert mit 4 multipliziert, und die Multiplikation wird von der Summe der vier dem Mittelpixel benachbart verteilten Werte subtrahiert, um den Kantenerkennungswert X zu ergeben.
  • Wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters nicht der G-Wert ist, wird der Kantenerkennungswert X nicht an den ersten Addierer 408 übertragen.
  • Wie in 4 gezeigt ist, empfängt die Interpolationseinheit 403 das Mustersignal von der Steuereinheit 405, um das von dem Register 402 empfangene Bayer-Muster zu bestimmen.
  • Die Interpolationseinheit 403 erzeugt ein Auswahlsignal des Werts 0 an die Kantenerkennungseinheit 406, um die Kantenerkennungseinheit 406 auszuschalten, wenn das in die Interpolationseinheit 403 eingegebene Muster des Fensters zeigt, dass der Pixelwert des Mittelpixels der B-Wert oder R-Wert anstatt des G-Werts ist, wie in den 3A und 3D gezeigt ist. Die Interpolationseinheit 403 erzeugt das Auswahlsignal des Werts 1 an ein UND-Gatter 414 der Kantenerkennungseinheit 406, um den Kantenerkennungswert X der Kantenerkennungseinheit 406 an einen ersten Addierer 408 auszugeben, wenn das in die Interpolationseinheit 403 eingegebene Muster des Fensters zeigt, dass der Pixelwert des Mittelpixels der G-Wert ist, wie in den 3B und 3C gezeigt ist.
  • Die Kantenerkennungseinheit 406 führt einen Berechnungsvorgang an dem G-Wert Gc des Mittelpixels, welches in einem zentralen Abschnitt des 3 × 3-Fensters angeordnet ist, und an den G1-, G2-, G3-, G4-Werten der Pixel durch, die benachbart dem Mittelpixel angeordnet sind. Der Kantenerkennungswert X wird anhand der folgenden Formel berechnet. Kantenerkennungswert (X) = 4Gc – (G1 + G2 + G3 + G4)
  • In dem Berechnungsvorgang der Kantenerkennungseinheit 406 addiert ein zweiter Addierer 410 G1 zu G3, um eine erste Summe G1 + G3 auszugeben, ein Multiplizierer 411 multipliziert den G-Wert Gc des Mittelpixels mit 4, um einen Multiplikationswert 4Gc auszugeben, ein dritter Addierer 413 addiert G2 zu G4, um eine zweite Summe G2 + G4 auszugeben, und ein vierter Addierer addiert die erste Summe G1 + G3, den Multiplikationswert 4Gc und die zweite Summe G2 + G4, um den Kantenerkennungswert X auszugeben, nämlich 4Gc – (G1 + G2 + G3 + G4).
  • Wie vorstehend beschrieben wurde, geht, wenn die Kante in einem Abschnitt der Bilddaten, die dem in dem Register 402 gespeicherten 3 × 4-Fenster entsprechen, nicht vorliegt, der dem Additionswert von 4Gc – (G1 + G2 + G3 + G4) entsprechende Kantenerkennungswert X gegen Null, das heißt, der Kantenerkennungswert (X) = 0, da sich fast alle Pixelwerte der in dem 3 × 3-Fenster angeordneten Pixel einander ähnlich sind. Im Gegensatz hierzu nimmt, wenn die Kante in dem Abschnitt der Bilddaten vorliegt, die dem in dem Register 402 gespeicherten 3 × 4-Fenster entsprechen, ein absoluter Wert des Kantenerkennungswerts X, der dem Additionswert von 4Gc – (G1 + G2 + G3 + G4) entspricht, einen größeren Wert an, das heißt, der Kantenerkennungswert (X) variiert, da sich einige Pixelwerte der um das Mittelpixel des 3 × 3-Fensters angeordneten Pixel entsprechend der Luminanzkomponente voneinander unterscheiden.
  • Der von dem vierten Addierer 412 ausgegebene Kantenerkennungswert X und das von der Interpolationseinheit 403 ausgegebene Auswahlsignal werden für einen Additionsvorgang in das UND-Gatter 414 eingegeben. Die Interpolationseinheit 403 bestimmt das auf dem von der Steuereinheit 405 übertragenen Mustersignal basierende Bayer-Muster, überträgt das Auswahlsignal vom Wert 0 an das UND-Gatter 414, wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters der R- oder B-Wert anstatt der in dem Register 402 gespeicherte G-Wert ist, und überträgt das Auswahlsignal vom Wert 1 an das UND-Gatter 414, wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters der G-Wert ist.
  • Wenn das Auswahlsignal 0, das heißt, ein ausgeschalteter Zustand ist, welcher darstellt, dass der Pixelwert des Mittelpixels der R- oder B-Wert anstatt der G-Wert ist, wird der Kantenerkennungswert X nicht an den ersten Addierer 408 übertragen. Wenn das Auswahlsignal 1, das heißt, ein Freigabezustand ist, welcher darstellt, dass der Pixelwert des Mittelpixels der G-Wert ist, wird der Kantenerkennungswert X an den ersten Addierer 408 übertragen.
  • Der Kantenerkennungswert X wird zu einer Ausgabe Gaus der Interpolationseinheit 403 in dem ersten Addierer 408 hinzuaddiert, um die Ausgabe Gaus hervorzuheben. Dementsprechend werden, wenn die Bilddaten die Kante aufweisen, nachdem sie interpoliert wurden, die Bilddaten hervorgehoben, um den hervorgehobenen Wert (das Signal) G' an die RGB-in-YCrCb-(YUV)-Konvertierungseinheit 404 wie folgt auszugeben. G' = Gaus + X
  • 5 ist ein Blockschema einer weiteren Kantenhervorhebungsvorrichtung mit einem Bildsensor 515, einem Zeilenpuffer 501, einem Register 502, einer Interpolationseinheit 503, einer RGB-in-YCrCb-(YUV)-Konvertierungseinheit 504, einer Steuereinheit 505, einer Kantenerkennungseinheit 506, einer Vergleichseinheit 507 und einem ersten Addierer 508 gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Die Kantenerkennungseinheit 506 umfasst einen zweiten Addierer 510, einen ersten Multiplizierer 511, einen dritten Addierer 513, einen vierten Addierer 512 und ein UND-Gatter 514. Unter Bezugnahme auf 5 bestimmt die Steuereinheit 505 einen vorher festgelegten Referenzwert CV, der dem Kantenerkennungssignal X entspricht, und die Kante wird hervorgehoben, wenn das in der Kantenerkennungseinheit 506 erkannte Kantenerkennungssignal X größer als der Referenzwert CV ist.
  • Das Blockschema der 5 ist ähnlich dem Blockschema der 4 mit Ausnahme der Steuereinheit 404, welche den Referenzwert CV bestimmt, der Vergleichseinheit 507, welche den Kantenerkennungs wert X mit dem Referenzwert CV vergleicht, und eines zweiten Multiplizierers 509.
  • Der von dem vierten Addierer 512 der Kantenerkennungseinheit 506 ausgegebene Kantenerkennungswert X wird zusammen mit einem von der Interpolationseinheit 503 ausgegebenen Auswahlsignal in das UND-Gatter eingegeben, um den Additionsvorgang durchzuführen. Die Interpolationseinheit 503 bestimmt das auf dem Mustersignal von der Steuereinheit 505 basierende Bayer-Muster, überträgt an die Kantenerkennungseinheit 506 das Auswahlsignal vom Wert 0, wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters nicht der G-Wert, sondern der R- oder B-Wert ist, und überträgt an die Kantenerkennungseinheit 506 das Auswahlsignal vom Wert 1, wenn der Fixelwert des Mittelpixels des 3 × 3-Fensters der G-Wert ist.
  • Wenn das Auswahlsignal den Wert 0 hat, das heißt, wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters nicht der G-Wert, sondern der R- oder B-Wert ist, wird das Kantenerkennungssignal X nicht an die Vergleichseinheit 507 und den ersten Addierer 508 übertragen. Im Gegensatz hierzu wird, wenn das Auswahlsignal den Wert 1 hat, das heißt, wenn der Pixelwert des Mittelpixels des 3 × 3-Fensters der G-Wert ist, der Kantenerkennungswert X an die Vergleichseinheit 507 und den ersten Addierer 508 übertragen, und die Vergleichseinheit 507 vergleicht den von der Steuereinheit 505 eingegebenen Referenzwert CV mit dem von der Kantenerkennungseinheit 506 ausgegebenen Kantenerkennungssignal X, um das Vorhandensein der Kante in dem 3 × 3-Fenster zu bestimmen.
  • Der von der Steuereinheit 505 ausgegebene Referenzwert CV kann entsprechend dem Niveau der Kantenhervorhebung eingestellt werden. Wenn der Referenzwert CV auf einen niedrigen Wert eingestellt wird, kann ein abgeblendeter Abschnitt des 3 × 3-Fensters, das heißt, ein Abschnitt mit einer sehr kleinen Änderung eines Objekts der Bilddaten, verstärkt werden, um eine unscharfe Grenze des Objekts hervorzuheben. Wenn der Referenzwert auf einen hohen Wert eingestellt wird, (Anm. d. Ü.: Satz im Englischen unvollständig)
  • In einem weiteren Abschnitt des 3 × 3-Fensters, in dem die Bilddaten verändert werden, wird der Rand des Objekts hervorgehoben, um lebendig zu wirken. Die Notwendigkeit der Kantenhervorhebung variiert je nach Art oder Nutzung der Bilddaten, und der Referenzwert CV wird entsprechend der Notwendigkeit der Kantenhervorhebung eingestellt.
  • Im Fall eines 8-Bit-Bildrahmens liegt der G-Wert zwischen 0 und 255. Im Allgemeinen wird der Referenzwert auf 64 eingestellt. Die Kante liegt vor, wenn der Kantenerkennungswert X größer als der Referenzwert CV ist, und die Kante liegt nicht vor, wenn der Kantenerkennungswert X nicht größer als der Referenzwert CV ist.
  • Die Vergleichseinheit 507 gibt eine Wertigkeit bzw. Wichtung a aus, wenn die Kante gemäß einem Vergleichsergebnis zwischen dem Kantenerkennungswert X und dem Referenzwert CV vorliegt. Die von der Vergleichseinheit 507 ausgegebene Wertigkeit wird mit dem von der Kantenerkennungseinheit 506 ausgegebenen Kantenerkennungswert X multipliziert, um das modifizierte Erkennungssignal a·X auszugeben, und das modifizierte Erkennungssignal a·X wird zu dem G-Ausgabewert Gaus der Interpolationseinheit 503 unter den Ausgaben der Interpolationseinheit 503 hinzuaddiert. Daher kann, wenn die Kante vorliegt, nachdem der Pixelwert in der Interpolationseinheit 503 interpoliert wurde, das an die RGB-in-YCrCb-Konvertierungs einheit 504 übertragene hervorgehobene Signal G' anhand der folgenden Formel berechnet werden. G' = Gaus + a·X
  • Wie in der vorstehenden Formel gezeigt ist, wird der G-Ausgangswert Gaus der Interpolationseinheit gemäß der Wertigkeit hervorgehoben. Wenn die Wertigkeit a auf einen relativ großen Wert eingestellt wird, wird der Kantenhervorhebungsvorgang übertrieben ausgeführt, so dass das Objekt der Bilddaten unscharf ist. Es ist möglich, dass die Wertigkeit a in einem Bereich zwischen 0 und 1 vorliegt.
  • Wenn festgestellt wird, dass gemäß dem Vergleichsergebnis des Kantenerkennungswerts X und des Referenzwerts CV in der Vergleichseinheit 507 die Kante nicht vorliegt, gibt die Vergleichseinheit 507 den Wert 0 aus, welcher mit dem Kantenerkennungswert X in dem zweiten Multiplizierer 509 multipliziert wird, so dass der Kantenerkennungswert X verschoben bzw. ausgeglichen ist. Daher wird die Ausgabe Gaus der Interpolationseinheit 503 nicht hervorgehoben, um an die RGB-in-YCrCb-Konvertierungseinheit 504 ausgegeben zu werden. Das heißt, G' = Gaus.
  • Wie vorstehend beschrieben ist, wird, da das Register 502, das die 3-Zeilen-Bildaten an die Interpolationseinheit 503 liefert, welche die 3 × 3-Interpolation ausführt, gleichzeitig oder häufig für Kantenerkennungs- und -hervorhebungsschaltkreise, wie beispielsweise die Steuereinheit 505, die Kantenerkennungseinheit 506, die Vergleichseinheit 507 und den zweiten Multiplizierer 509, verwendet wird, weder ein zusätzlicher Speicher benötigt, noch steigen die Herstellungskosten. Daher wirkt sich diese Struktur nicht auf den gesamten IC-Bereich einer Bildverarbeitungseinheit aus, selbst wenn die vorste hend beschriebenen Kantenerkennungs- und -hervorhebungsschaltkreise in der Bildverarbeitungseinheit der Vorrichtung zur Kantenhervorhebung verwendet werden.
  • Gemäß der Vorrichtung zur Kantenerkennung und -hervorhebung wird ein einfacher Schaltkreis zur Verstärkung der Kante hinzugefügt, um ein lebendiges Bild zu erhalten, ohne den gesamten IC-Bereich zu vergrößern.
  • Gemäß der Vorrichtung zur Kantenerkennung und -hervorhebung sind, wenn die Kantenerkennungs- und -hervorhebungsschaltkreise in einem separaten Block (einer Einheit) in der Bildverarbeitungseinheit realisiert werden, um die Kante des Bilds zu verstärken, kein Zeilenspeicher und kein zusätzlicher Speicher, die zum Speichern des Kantenabbilds erforderlich sind, notwendig.
  • Gemäß der Vorrichtung zur Kantenerkennung und -hervorhebung werden die 3 × 3-Interpolation und die Kantenhervorhebung gleichzeitig ohne Taktverzögerung durchgeführt, im Vergleich mit der Möglichkeit, dass eine Rahmenverzögerung auftritt, wenn die Kantenerkennungs- und -hervorhebungsschaltkreise in einem separaten Block (einer Einheit) in der Bildverarbeitungseinheit realisiert werden, um die Kante des Bilds zu hervorzuheben.
  • Obwohl einige wenige bevorzugte Ausführungsformen der vorliegenden Erfindung gezeigt und beschrieben wurden, werden es Fachleute anerkennen, dass Änderungen an dieser Ausführungsform vorgenommen werden können, ohne vom Prinzip und dem Geist der Erfindung abzuweichen, deren Umfang in den Ansprüchen und deren Äquivalent definiert ist.

Claims (27)

  1. Vorrichtung zur Durchführung einer Kantenhervorhebung, welche folgendes umfasst: einen Bildsensor (415, 515), welcher zur Ausgabe von Bilddaten ein Bild erfasst; einen Zeilenpuffer (401, 501), welcher zur Ausgabe der Bilddaten die Bilddaten empfängt; ein Register (402, 502), welches die von dem Zeilenpuffer übertragenen Bilddaten speichert; eine Interpolationseinheit (403, 503), welche an den von dem Register empfangenen Bilddaten einen Interpolationsvorgang durchführt; eine Kantenerkennungseinheit (406, 506), welche an den von dem Register empfangenen Bilddaten einen Kantenerkennungsvorgang durchführt, um einen Kantenerkennungswert parallel zu dem Interpolationsvorgang der Interpolationseinheit entsprechend einem Auswahlsignal, das ein Muster der in dem Register gespeicherten Bilddaten darstellt, auszugeben; und eine Kantenhervorhebungseinheit (408, 508), welche eine Ausgabe der Interpolationseinheit gemäß der Kantenerkennungseinheit der Kantenerkennungseinheit hervorhebt.
  2. Vorrichtung nach Anspruch 1, wobei die Interpolationseinheit ein Auswahlsignal ausgibt und die Kantenerkennungseinheit den Kantenerkennungswert erkennt, wenn sich das Auswahlsignal in einem Freigabezustand befindet.
  3. Vorrichtung nach Anspruch 1, welche weiter folgendes umfasst: eine Vergleichseinheit (507), welche den Kantenerkennungswert mit einem Referenzwert vergleicht, wobei die Kantenerkennungseinheit die Ausgabe der Interpolationseinheit hervorhebt, wenn der Kantenerkennungswert größer als der Referenzwert ist.
  4. Vorrichtung nach Anspruch 3, welche weiter folgendes umfasst: eine Steuereinheit (405, 505), welche ein Musterinformationssignal ausgibt, das ein Muster der in dem Register gespeicherten Bilddaten darstellt, und welche den Referenzwert an die Vergleichseinheit ausgibt.
  5. Vorrichtung nach Anspruch 1, wobei der Zeilenpuffer die von dem Bildsensor in einer Einheit von 3 Zeilen erfassten Bilddaten ausgibt.
  6. Vorrichtung nach Anspruch 1, wobei das Register die Bilddaten in einer Einheit eines Fensters speichert, in welchem 3 × 3 Pixel angeordnet sind.
  7. Vorrichtung nach Anspruch 1, wobei die Kantenerkennungseinheit die Bilddaten empfängt, um den Kantenerkennungswert gemäß der Formel X = 4Gc – (G1 + G2 + G3 + G4) zu erzeugen, worin X für den Kantenerkennungswert steht, Gc für den Pixelwert des Mittelpixels eines Fensters steht, in welchem 3 × 3 Pixel unter den Bilddaten angeordnet sind, und G1, G2, G3 und G4 für Pixelwerte von Nachbarpixeln stehen, welche dem Mittelpixel des Fensters benachbart angeordnet sind.
  8. Vorrichtung nach Anspruch 7, welche weiterhin folgendes umfasst: eine Vergleichseinheit, welche den Kantenerkennungswert mit einem Referenzwert zur Ausgabe einer Wertigkeit vergleicht, wobei die Wertigkeit nicht Null ist, wenn der Kantenerkennungswert größer als der Referenzwert ist, und Null ist, wenn der Kantenerkennungswert nicht größer als der Referenzwert ist, und wobei der Kantenerkennungswert zu einem Multiplikationswert der Wertigkeit und des Kantenerkennungswerts modifiziert wird, so dass die Ausgabe der Interpolationseinheit entsprechend dem Multiplikationswert hervorgehoben wird.
  9. Vorrichtung nach Anspruch 9, wobei die Interpolationseinheit R-, G- und B-Werte ausgibt und die Kantenhervorhebungseinheit den Multiplikationswert zum G-Wert addiert.
  10. Verfahren zum Durchführen einer Kantenhervorhebung, wobei das Verfahren folgendes umfasst: Erfassen eines Bilds zur Ausgabe von Bilddaten; Empfangen der Bilddaten zur Ausgabe der Bilddaten in einen Zeilenpuffer; Speichern der Bilddaten in einem Register; Durchführen eines Interpolationsvorgangs an den von dem Register empfangenen Bilddaten; Durchführen eines Kantenerkennungsvorgangs an den von dem Register empfangenen Bilddaten zur Ausgabe eines Kantenerkennungswerts parallel zum Interpolationsvorgang entsprechend einem Auswahlsignal, welches ein Muster der Bilddaten darstellt; und Hervorheben einer Ausgabe des Interpolationsvorgangs entsprechend dem Kantenerkennungswert.
  11. Verfahren nach Anspruch 10, wobei die Hervorhebung der Ausgabe des Interpolationsvorgangs folgendes umfasst: Addieren des Kantenerkennungswerts zur Ausgabe des Interpolationsvorgangs.
  12. Verfahren nach Anspruch 11, wobei die Hervorhebung der Ausgabe des Interpolationsvorgangs folgendes umfasst: Vergleichen des Kantenerkennungswerts mit einem Referenzwert; Ausgeben eines Multiplikationswerts des Kantenerkennungswerts und einer Wertigkeit, welche erzeugt wird, wenn der Kantenerkennungswert größer als der Referenzwert ist; Ausgeben des Werts Null, wenn der Kantenerkennungswert nicht größer als der Referenzwert ist; und Addieren des Multiplikationswerts oder des Werts Null zur Ausgabe des Interpolationsvorgangs.
  13. Verfahren nach Anspruch 10, wobei die Hervorhebung der Ausgabe des Interpolationsvorgangs folgendes umfasst: Einstellen eines Referenzwerts; Vergleichen des Kantenerkennungswerts mit dem Referenzwert; Ausgeben eines Multiplikationswerts des Kantenerkennungswerts und einer Wertigkeit, welche erzeugt wird, wenn der Kantenerkennungswert größer als der Referenzwert ist; Ausgeben des Werts Null, wenn der Kantenerkennungswert nicht größer als der Referenzwert ist; und Addieren des Multiplikationswerts oder des Werts Null zur Ausgabe des Interpolationsvorgangs.
  14. Verfahren nach Anspruch 10, wobei das Ausgeben der Bilddaten in den Zeilenpuffer folgendes umfasst: Ausgeben der Bilddaten in einer Einheit von 3 Zeilen.
  15. Verfahren nach Anspruch 10, wobei das Speichern der Bilddaten in dem Register folgendes umfasst: Speichern der Bilddaten in der Einheit eines Fensters, in welchem 3 × 3 Pixel angeordnet sind.
  16. Verfahren nach Anspruch 10, wobei das Durchführen des Interpolationsvorgangs folgendes umfasst: Ausgeben eines Auswahlsignals, welches ein Muster der in dem Register gespeicherten Bilddaten darstellt.
  17. Verfahren nach Anspruch 16, wobei das Durchführen des Kantenerkennungsvorgangs folgendes aufweist: Durchführen des Kantenerkennungsvorgangs, wenn sich das Auswahlsignal in einem Freigabezustand befindet.
  18. Vorrichtung zur Durchführung einer Kantenhervorhebung, welche folgendes umfasst: eine Speichereinheit (401, 402, 501, 502), welche Bilddaten in der Einheit eines Fensters mit Zeilen speichert, von denen jede eine vorher festgelegte Anzahl von Pixeln aufweist; eine Interpolationseinheit (403, 503), welche einen Interpolationsvorgang an den von der Speichereinheit empfangenen Bilddaten durchführt; eine Kantenerkennungseinheit (406, 506), welche an den von der Speichereinheit empfangenen Bilddaten einen Kantenerkennungsvorgang durchführt, um ein Kantenerkennungssignal zu erkennen, wenn die Interpolationseinheit die Interpolation durchführt; und eine Kantenhervorhebungseinheit (408, 508), welche eine Ausgabe der Interpolationseinheit entsprechend dem Kantenerkennungssignal der Kantenerkennungseinheit hervorhebt.
  19. Vorrichtung nach Anspruch 18, welche weiter folgendes umfasst: einen Bildsensor (415, 515), welcher zur Ausgabe der Bilddaten ein Bild erfasst.
  20. Vorrichtung nach Anspruch 18, welche des Weiteren umfasst: eine Steuereinheit (405, 505), welche ein Mustersignal, das ein Muster der in der Speichereinheit in einer Einheit des Fensters gespeicherten Bilddaten darstellt, wobei die Interpolationseinheit die Interpolationseinheit entsprechend dem Mustersignal durchführt.
  21. Vorrichtung nach Anspruch 18, wobei die Pixel einen Mittelpixel und Nachbarpixel umfassen und die Kantenerkennungseinheit das Kantenerkennungssignal gemäß dem Multiplikationswert eines Pixelwerts des Mittelpixels und der Anzahl der Nachbarpixel und einer Summe der Pixelwerte der Nachbarpixel erkennt.
  22. Vorrichtung nach Anspruch 21, wobei die Interpolationseinheit R-, G- und B-Komponenten ausgibt, und die Kantenhervorhebungseinheit einen zweite Summe der Multiplikation und die Summe zum Wert a der G-Komponente addiert, um die G-Komponente hervorzuheben.
  23. Vorrichtung nach Anspruch 21, wobei die Interpolationseinheit ein Auswahlsignal ausgibt, wenn bestimmt wird, dass der Pixelwert des Mittelpixels die G-Komponente ist, und die Kantenerkennungseinheit das Kantenerkennungssignal entsprechend dem Auswahlsignal ausgibt.
  24. Vorrichtung nach Anspruch 21, wobei die Kantenerkennungseinheit das Kantenerkennungssignal gemäß einem Referenzwert, der ein Niveau des Kantenhervorhebungsniveaus darstellt, modifiziert, um das modifizierte Kantenerkennungssignal zu erzeugen, und wobei die Kantenhervorhebungseinheit das modifizierte Kantenerkennungssignal zu einer Ausgabe der Interpolationseinheit hinzufügt.
  25. Vorrichtung nach Anspruch 18, wobei die Kantenerkennungseinheit und die Interpolationseinheit den Kantenerkennungsvorgang bzw. den Interpolationsvorgang gleichzeitig durchführen.
  26. Vorrichtung nach Anspruch 18, wobei eine Zeitverzögerung in Bezug auf die Bilddaten auftritt, wenn die Kantenerkennungseinheit das Kantenerkennungssignal erkennt, und wobei die Zeitverzögerung eine Zeitdauer ist, während der Pixelwerte der in dem Fenster angeordneten Pixel in der Speichereinheit gespeichert werden.
  27. Vorrichtung nach Anspruch 18, wobei die Interpolationseinheit und die Kantenerkennungseinheit zwischen der Speichereinheit und der Kantenerkennungseinheit parallel gekoppelt sind.
DE10344397A 2003-08-07 2003-09-24 Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung Expired - Fee Related DE10344397B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020030054648A KR100548611B1 (ko) 2003-08-07 2003-08-07 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
KR2003-54648 2003-08-07

Publications (2)

Publication Number Publication Date
DE10344397A1 true DE10344397A1 (de) 2005-03-17
DE10344397B4 DE10344397B4 (de) 2006-08-24

Family

ID=34114290

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10344397A Expired - Fee Related DE10344397B4 (de) 2003-08-07 2003-09-24 Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung

Country Status (5)

Country Link
US (1) US7301573B2 (de)
JP (1) JP2005056374A (de)
KR (1) KR100548611B1 (de)
CN (1) CN1308891C (de)
DE (1) DE10344397B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006028734A1 (de) * 2006-06-20 2007-12-27 Sci-Worx Gmbh Verfahren zur Reduzierung von Blockartefakten und Schaltungsanordnung hierfür

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061105A (ja) * 2001-06-07 2003-02-28 Seiko Epson Corp 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ
KR100585004B1 (ko) * 2004-04-21 2006-05-29 매그나칩 반도체 유한회사 이미지센서의 디지털 신호 처리 장치
KR100774479B1 (ko) * 2004-07-06 2007-11-08 엘지전자 주식회사 휴대단말기의 영상신호 기울기 보정장치 및 방법
KR100690171B1 (ko) * 2005-03-11 2007-03-08 매그나칩 반도체 유한회사 이미지 보정 회로 및 이미지 보정 방법
TWI295449B (en) * 2005-05-09 2008-04-01 Sunplus Technology Co Ltd Edge enhancement method and apparatus for bayer image and an image acquisition system
CN100469098C (zh) * 2005-10-14 2009-03-11 致伸科技股份有限公司 于多输出像素装置上进行边缘增强时减少内存耗费的方法
CN100403337C (zh) * 2005-12-09 2008-07-16 中国科学院沈阳自动化研究所 图像角点快速提取方法及实现装置
KR101201672B1 (ko) * 2005-12-20 2012-11-15 삼성전자주식회사 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법
KR100723046B1 (ko) * 2005-12-27 2007-05-30 엠텍비젼 주식회사 컬러 보간 디스플레이 드라이버, 이미지 처리 장치 및 이의제어 방법
KR100784158B1 (ko) 2005-12-29 2007-12-11 엠텍비젼 주식회사 에지 향상을 위한 컬러 보간 장치
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
US8086034B2 (en) * 2008-02-05 2011-12-27 Aptina Imaging Corporation System and method for reducing color artifacts in digital images
US8340407B2 (en) * 2009-01-14 2012-12-25 Cisco Technology, Inc. System and method for image demosaicing
CN102158714B (zh) * 2010-02-11 2013-04-17 昆山锐芯微电子有限公司 基于拜尔域三基色格式的图像边缘增强方法及装置
JP5613351B2 (ja) * 2012-03-06 2014-10-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 画像信号処理方法および装置
US10739573B2 (en) * 2012-09-24 2020-08-11 Sony Corporation Image processing apparatus and image processing method for achieving visibility of an entire image used for capturing a microscopic image and accuracy of edge detection
EP3465540A4 (de) 2016-05-24 2019-06-05 Morphotrust USA, LLC Beurteilung der dokumentbildqualität
CN108074513B (zh) * 2017-12-25 2019-10-18 深圳市华星光电技术有限公司 侦测图像中高频成分的方法及装置
US10636127B2 (en) * 2018-09-25 2020-04-28 United States Of America As Represented By Secretary Of The Navy Bidirectional edge highlighting with strong edge attenuation
WO2025248964A1 (ja) * 2024-05-30 2025-12-04 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、および、イメージセンサの制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309452A (ja) * 1993-04-27 1994-11-04 Oki Electric Ind Co Ltd 解像度変換処理装置
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066166B2 (ja) * 1986-06-30 1994-01-26 信越ポリマ−株式会社 腫瘍検出用カテ−テル
US5113252A (en) * 1989-05-10 1992-05-12 Canon Kabushiki Kaisha Image processing apparatus including means for performing electrical thinning and fattening processing
JP3262425B2 (ja) 1993-09-30 2002-03-04 キヤノン株式会社 画像処理装置
DE69528324T2 (de) * 1994-07-29 2003-05-22 Canon K.K., Tokio/Tokyo Bildverarbeitungsvorrichtung mit Bildinhaltsdiskriminierung
KR100729559B1 (ko) 1998-01-29 2007-06-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 색상 신호 보간
US6774943B1 (en) * 1998-09-01 2004-08-10 Ess Technology, Inc. Method and apparatus for edge enhancement in digital images
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
JP2001231052A (ja) 2000-02-17 2001-08-24 Matsushita Electric Ind Co Ltd 固体撮像素子出力信号処理方法およびそれを用いたカメラ
JP2001292325A (ja) 2000-04-06 2001-10-19 Casio Comput Co Ltd エッジ強調装置、エッジ強調方法および記録媒体
JP4358462B2 (ja) 2001-07-03 2009-11-04 富士フイルム株式会社 ノイズ除去回路
US7002627B1 (en) * 2002-06-19 2006-02-21 Neomagic Corp. Single-step conversion from RGB Bayer pattern to YUV 4:2:0 format
JP3793121B2 (ja) * 2002-07-04 2006-07-05 キヤノン株式会社 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体
JP4517872B2 (ja) * 2005-02-10 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR100782812B1 (ko) * 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309452A (ja) * 1993-04-27 1994-11-04 Oki Electric Ind Co Ltd 解像度変換処理装置
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006028734A1 (de) * 2006-06-20 2007-12-27 Sci-Worx Gmbh Verfahren zur Reduzierung von Blockartefakten und Schaltungsanordnung hierfür

Also Published As

Publication number Publication date
DE10344397B4 (de) 2006-08-24
KR100548611B1 (ko) 2006-01-31
JP2005056374A (ja) 2005-03-03
CN1308891C (zh) 2007-04-04
US20050030396A1 (en) 2005-02-10
KR20050015711A (ko) 2005-02-21
CN1581227A (zh) 2005-02-16
US7301573B2 (en) 2007-11-27

Similar Documents

Publication Publication Date Title
DE10344397B4 (de) Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung
DE102008046398B4 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE60314692T2 (de) Digitalbildverfahren und -vorrichtung zum Zusammenfügen von Entfernung des Mosaikeffekts und Korrektur von schlechten Pixeln
DE68928999T2 (de) Kamera mit breitem dynamischem bereich
DE60304785T2 (de) Verfahren zum Detektieren von defekten Bildpunkten in einem digitalen Bildsensor
DE102011078662B4 (de) Erfassen und Erzeugen von Bildern mit hohem Dynamikbereich
DE60221757T2 (de) Verfahren und Vorrichtung zur gleichzeitigen Entfernung des Mosaikeffekts und Grössenänderung von Rohbilddaten
DE10212915B4 (de) Elektroendoskopsystem mit Elektroendoskopen mit verschiedenen Pixelanzahlen
DE69634867T2 (de) Bildverarbeitungsgerät und -verfahren
DE69620302T2 (de) Verfahren und Vorrichtung zur Verbesserung eines digitalen Bildes
DE69605018T2 (de) Kantenorientiertes Intrabild- und Zwischenbildinterpolationsfilter für Videogeräte besserer Qualität
DE69326394T2 (de) Videokamera mit farbbasiertem Zielverfolgungssystem
DE102016115292B4 (de) Verfahren und Vorrichtung zur automatischen Belichtungswerterfassung für High Dynamic Range Imaging
EP2929503B1 (de) Verfahren und vorrichtung zur erzeugung eines verbesserten farbbildes mit einem sensor mit farbfilter
DE19919600B4 (de) Einrichtung und Verfahren zum Komprimieren von Bilddaten, die von einem Bildsensor empfangen werden, der ein Bayer-Muster aufweist
DE112013006596B4 (de) Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm
DE102012023299A1 (de) Einrichtung und Algorithmus zum Erfassen von HDR-Video (High Dynamic Range - hoher Dynamikumfang)
DE102015111787A1 (de) Entschachteln eines verschachtelten Hoch-Dynamik-Bereich-Bildes mittels eines Benutzens von YUV-Interpolation
DE102009035927A1 (de) Verfahren zur Simulation der Belichtungskorrektur dunkler Bereiche mit einem Einzelbild und ein entsprechendes Bildverarbeitungsgerät
DE112009005418T5 (de) Bildverarbeitungsgerät
DE60127016T2 (de) Verfahren und Gerät zur Durchführung einer lokalen Farbkorrektur
DE69125869T2 (de) Gradationskorrekturvorrichtung
DE20019915U1 (de) Dynamische Erkennung und Korrektur von anomalen Pixeln
DE102012201696A1 (de) Bildverarbeitungsvorrichtung, zugehöriges Steuerverfahren, Programm und Aufzeichnungsmedium
DE102016112968B4 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130403