-
Die
Erfindung betrifft ein Verfahren zum Verarbeiten eines mehrseitigen
Dokuments, mit den Schritten des Empfangs von Abtastbildern aus
einer optischen Abtastung einer Folge von Seiten des mehrseitigen
Dokuments, und der Verarbeitung der Abtastbilder zur Erzeugung einer
Datei von Seitenbildern, die den ursprünglichen Seiten des mehrseitigen
Dokuments entsprechen.
-
Die
Erfindung bezieht sich weiterhin auf ein Computerprogrammprodukt
zur Verarbeitung eines mehrseitigen Dokuments.
-
Des
weiteren bezieht sich die Erfindung auf ein Dokumentverarbeitungssystem
mit einer Abtasteinheit zur Erzeugung von Abtastbildern aus der optischen
Abtastung einer Folge von Seiten eines mehrseitigen Dokuments, einer
lokalen Benutzerschnittstelle und einer Bildprozessoreinheit zur
Verarbeitung der Abtastbilder zur Erzeugung von Seitenbildern, die
den ursprünglichen
Seiten des mehrseitigen Dokuments entsprechen.
-
Wenn
große
Dokumente zu Archivierungszwecken eingescannt werden müssen, so
ist es wichtig, daß alle
Seiten des Dokuments fehlerfrei eingescannt werden, denn wenn Abtastfehler
erst später festgestellt
werden, so sind die Originaldokumente möglicherweise nicht mehr verfügbar. Deshalb
ist es notwendig, jedes Abtastbild auf seine Qualität zu prüfen. Die
Qualitätsprüfung jedes
Abtastbildes erfordert jedoch viel Zeit und Arbeitseinsatz und stellt
für das Personal,
das den Abtastauftrag erledigt, eine übermäßige Belastung dar. Außerdem ist
die Überprüfung einer
großen
Anzahl von Bildern ermüdend
und fehlerträchtig.
-
Eine
Möglichkeit,
den Prozeß der Überprüfung durch
einen Menschen zu umgehen, ist die Verwendung eines automatisierten
Systems, das jedes neue Abtastbild automatisch überprüft und, soweit möglich, fehlerhafte
Bilder mit Hilfe relevanter Bildverarbeitungstechniken korrigiert.
Ein Abtastbild, das nicht einem vorgegebenen Qualitätsstandard
entspricht, wird im folgenden als "Ausreißer" bezeichnet.
-
Ein
solches Verfahren ist aus der Patentanmeldung
WO 98/09427 bekannt, die eine Anordnung und
ein Verfahren zur Sicherstellung der Qualität während des Abtastens oder Kopierens
beschreibt. Das Verfahren umfaßt
die Schritte der Zufuhr der Seite oder Seiten, die eingescannt werden
sollen, und der Prüfung
der Qualität
der Abtastbilder in einer Folge von Schritten, einschließlich einer Überprüfung von äußeren Merkmalen,
die im Hinblick auf Schräglage,
Doppelblatteinzug oder überlappenden Einzug,
Formabweichungen und geometrische Verformungen vorgenommen wird,
einer Prüfung
auf sogenannte innere Qualitäten
des Inhalts der Seite und einer Prüfung der Qualität des Informationsinhalts.
In jedem Schritt wird die gemessene Qualität mit einem Qualitätsgrenzwert
verglichen. Wenn die gemessene Qualität dem Grenzwert entspricht
oder besser ist, wird erforderlichenfalls eine automatische Einstellung
des Abtastbildes vorgenommen, wonach das Abtastbild zu der Scandatei
hinzugefügt
wird. Wenn die gemessene Qualität
unterhalb des Grenzwertes liegt, wird der Bediener aufgefordert,
die Seiten für die
erneute Abtastung noch einmal zuzuführen.
-
Bei
dem bekannten System erfolgt die Qualitätsprüfung auf der Grundlage fester,
vorprogrammierter Qualitätsgrenzen,
die nicht immer zu der praktischen Situation passen mögen. Wenn
die Überprüfung negativ
ist, gibt es keine andere Option als das erneute Einscannen, was
den Bediener dazu zwingt, das Dokument noch einmal zuzuführen. Es kann
jedoch vorkommen, daß ein
zurückgewiesenes Abtastbild
in Wirklichkeit doch noch akzeptabel ist oder durch eine kleine
Einstellung akzeptabel gemacht werden kann und daß das erneute
Einscannen überhaupt
nicht notwendig ist.
-
EP 0 772 145 A2 beschreibt
ein Gerät
zur automatischen Bestimmung der Druckqualität, bei dem Qualitätsschwellenwerte
im Laufe der Zeit gelernt werden. Es werden jedoch im Verlauf der
Verarbeitung keine automatischen Zielkriterien bestimmt, die für ein spezielles
mehrseitiges Dokument spezifisch sind.
-
Es
ist Aufgabe der Erfindung, ein Verfahren und ein System zur Verarbeitung
von Abtastbildern anzugeben, zur Erzeugung einer Folge von Seitenbildern,
die den ursprünglichen
Seiten eines mehrseitigen Dokuments getreu entsprechen, und dabei
einem Bediener eine flexible Option zur Korrektur einer be grenzten
Anzahl von Seitenbildern auf der Grundlage einer automatischen Qualitätsdetektion
zu bieten.
-
Gemäß einem
ersten Aspekt der Erfindung wird die Aufgabe durch ein Verfahren
der im einleitenden Absatz angegebenen Art gelöst, das dadurch gekennzeichnet
ist, daß es
die Schritte der automatischen Bestimmung von Zielkriterien für Bildparameter
auf der Grundlage von Seiteneigenschaften des mehrseitigen Dokuments,
die während
der Verarbeitung der Abtastbilder hergeleitet werden, der Überprüfung, ob
die Bildparameter einer Seite den Zielkriterien entsprechen, und,
wenn das der Fall ist, der automatischen Annahme des Seitenbildes
oder, wenn es nicht der Fall ist, der Anzeige des Seitenbildes für eine Korrekturaktion
oder Annahme des Seitenbildes durch einen Bediener umfaßt.
-
Gemäß einem
zweiten Aspekt der Erfindung wird die Aufgabe durch ein Computerprogrammprodukt
zur Ausführung
des Verfahrens gelöst.
-
Gemäß einem
dritten Aspekt der Erfindung wird die Aufgabe durch ein Dokumentenverarbeitungssystem
der im einleitenden Absatz beschriebenen Art gelöst, das dadurch gekennzeichnet
ist, daß es
eine Detektionseinrichtung für
Ausreißer
aufweist, zur Bestimmung von Zielkriterien für Bildparameter auf der Grundlage
von Eigenschaften des mehrseitigen Dokuments, die während der
Verarbeitung der Abtastbilder hergeleitet werden, zur Überprüfung, ob die
Bildparameter einer Seite den Zielkriterien entsprechen und, wenn
das der Fall ist, zur automatischen Annahme des Seitenbildes oder,
wenn es nicht der Fall ist, zur Anzeige des Seitenbildes über die
Benutzerschnittstelle, für
eine Korrekturaktion oder die Annahme des Seitenbildes durch einen
Bediener.
-
Die
Maßnahmen
haben den folgenden Effekt. Die Verarbeitung eines Abtastbildes
führt zu
einem Seitenbild, das auf detektierten Seiteneigenschaften beruht.
Bei den Schritten der Verarbeitung des Bildes können verschiedene Effekte des
Abtastprozesses in dem Seitenbild kompensiert oder korrigiert werden.
Die Seiteneigenschaften und Korrekturen werden mit den Zielkriterien
verglichen, die auf der Grundlage der statistischen Eigenschaften
des mehrseitigen Dokuments selbst festgelegt werden. Somit wird
die Qualität
eines Seitenbildes relativ zu den Eigenschaften des Dokuments gemessen,
und an schließend
wird das Seitenbild als ein Ausreißer qualifiziert, wenn ein
vorgeschlagenes verarbeitetes Seitenbild wesentlich von den Zielkriterien
abweicht. Das vorgeschlagene Seitenbild wird angezeigt, und der
Bediener kann es dann akzeptieren oder verwerfen, neu einscannen
oder in der Korrekturaktion korrigieren oder das Seitenbild einstellen.
Das hat den Vorteil, daß der
Bediener nur eine begrenzte Anzahl von Ausreißern zu verifizieren braucht,
wohingegen der größte Teil
der Abtastbilder automatisch verarbeitet wird. Außerdem kann
der Bediener verhindern, daß ein
Bild verworfen wird, das in der Tat akzeptabel ist oder noch nachjustiert
werden kann.
-
Insbesondere
werden die Zielkriterien auf die globalen Eigenschaften des Dokuments
abgestimmt, und so werden die Eigenschaften des tatsächlich eingescannten
mehrseitigen Dokuments berücksichtigt. Dies
verbessert vorteilhaft die Detektion von Ausreißern und verringert die Anzahl
von korrekten Seiten, die unnötigerweise
als Ausreißer
klassifiziert werden. Ein Ausreißer wird detektiert, wenn eine
substantielle Abweichung von einem Zielkriterium detektiert wird, und
nur dann wird das vorgeschlagene Bild dem Bediener zur Annahme oder
Korrektur angezeigt. So werden durch selektive Inspektion und Korrektur Fehler
in dem endgültigen
Satz von Seitenbildern wirksam vermieden.
-
In
einer Ausführungsform
des Verfahrens umfaßt
die Bestimmung der Zielkriterien die statistische Bestimmung eines
Zielbereiches für
wenigstens einen der Bildparameter auf der Grundlage von Seiteneigenschaften,
die während
der Verarbeitung der Abtastbilder hergeleitet werden. Das hat den
Effekt, daß der
Zielbereich von erwarteten Werten auf der Grundlage von Eigenschaften
der Abtastbilder des mehrseitigen Dokuments statistisch bestimmt
oder eingestellt wird.
-
In
einer Ausführungsform
umfassen die Bildparameter die Seitengröße oder den Ort und die Maße eines
Textbereiches. Solche Parameter sind gewöhnlich über ein mehrseitiges Dokument
wie ein Buch oder Magazin hinweg konsistent. Auf der Grundlage der
Detektion, ob die Bildparameter, etwa die detektierte Papiergröße, außerhalb
des Zielbereichs der erwarteten Werte liegt, wird ein Ausreißer detektiert
und dem Bediener angezeigt.
-
In
einer Ausführungsform
des Verfahrens umfaßt
dieser Schritt der Detektion, ob die Bildparameter den Zielkritierien
entsprechen, die Berechnung eines Verläßlichkeitsfaktors, der eine
Verläßlichkeit für eine Einstellung
angibt, die zur Erzeugung des Seitenbildes vorgenommen wird. Ein
Verläßlichkeitsmaß wird für einen
Verarbeitungsschritt wie etwa Ausrichtung oder Drehung berechnet,
z. B. während der
Verarbeitung ist detektiert worden, daß das Resultat des vorgeschlagenen
Seitenbildes infolge unklarer Daten nicht verläßlich ist. Hiermit können die Zielkriterien
ein Mindestniveau an Verläßlichkeit
enthalten.
-
In
einer Ausführungsform
umfassen die erwarteten Werte a-priori Wissen über Dokumente für vordefinierte
Parameter der Seiten des mehrseitigen Dokuments. Das a-priori Wissen
kann mit statistischen Daten über
das mehrseitige Dokument kombiniert oder verifiziert werden. Allgemeine
Eigenschaften von Dokumenten sind gewöhnlich zu erwarten, z. B.,
daß der
Text in waagerechten Linien angeordnet ist. Für geeignete Dokumente können auch
vordefinierte Sätze
von Parametern angewandt oder ausgewählt werden, z. B. mit vertikalen
Textzeilen für
japanische Dokumente. Die Verwendung des a-priori Wissens hat den
Vorteil, daß Ausreißer leicht
detektiert werden können,
weil sie von den gewöhnlichen Dokumenteigenschaften
abweichen.
-
In
einer Ausführungsform
umfassen die vordefinierten Parameter eine Orientierung der Textzeilen,
und die Verarbeitung der Abtastbilder umfaßt die Detektion der Orientierung
einer Textzeile und die Korrekter einer Schräglage des Abtastbildes in Abhängigkeit
von der detektierten Orientierung der Textzeile. Das hat den Vorteil,
daß ein
häufiger
Fehler beim Abtasten, nämlich
eine Schräglage
der Originalseiten auf der Abtasteinheit, leicht korrigiert werden
kann.
-
In
einer Ausführungsform
umfaßt
das Verfahren den Aufbau eines Verbundsatzes von Seitenbildern,
wobei der Verbundsatz logische Teile aufweist, die Bereichen von
Seiten in dem mehrseitigen Dokument entsprechen. Das hat den Vorteil,
daß eine
logische Unterteilung eines Originaldokuments, z. B. Kapitel in
einem Buch, in dem Verbundsatz der Seitenbilder beibehalten werden
kann. In einer speziellen Ausführungsform
umfaßt
das Verfahren den Empfang eines Befehls von einem Bediener, zur
Anzeige, daß eine
Teilmenge von Abtastbildern einen logischen Teil des Verbundsatzes
der Seitenbilder bildet. Das hat den Vorteil, daß der Bediener den Befehl während des
Einscannens einfach in dem Augenblick eingeben kann, in dem ein
zusammenhängender
Bereich von Seiten des Originaldokuments beginnt und/oder endet.
-
Weitere
bevorzugte Ausführungsformen
der Vorrichtung gemäß der Erfindung
sind in den abhängigen
Ansprüchen
angegeben, auf deren Inhalt hiermit Bezug genommen wird.
-
Diese
und weitere Aspekte der Erfindung werden verdeutlicht und näher erläutert anhand
der nachstehend als Beispiel beschriebenen Ausführungsformen und unter Bezugnahme
auf die beigefügten
Zeichnungen, in denen zeigen:
-
1 ein
Gerät zur
Verarbeitung von Dokumenten;
-
2 ein
Verfahren zum Einscannen eines mehrseitigen Dokuments;
-
3 ein
Beispiel eines Abtastbildes eines Buches;
-
4 Eigenschaften
von Text zur Detektion einer Orientierung;
-
5 ein
Diagramm der Bestandteile eines Dokumentenverarbeitungssystems;
-
6 ein
Resultat einer Detektion des Ortes eines Textbereiches; und
-
7 eine
Benutzerschnittstelle.
-
Die
Figuren sind schematisch und nicht maßstäblich. In den Zeichnungen haben
Elemente, die bereits beschriebenen Elementen entsprechen, die gleichen
Bezugszeichen.
-
1 zeigt
ein Gerät
zur Verarbeitung von Dokumenten, bei dem verschiedene Teile in schematisierter
Form gesondert dargestellt sind. Die Dokumente sind gewöhnlich Papierdokumente,
können
jedoch auch andere Arten von informationstragenden Bögen umfassen,
z. B. Overheadfolien, Bücher, Zeichnungen
und dergleichen. Das Gerät 1 zur
Verarbeitung von Dokumenten kann einfach ein Scanner sein, oder
vorzugsweise ein Mehrfunktionsgerät, das außerdem Druck-, Kopier- oder
Faxfunktionen aufweist, z. B. ein Mehrzweckkopierer. Eine Abtasteinheit 120 weist
einen Flachbettscanner auf, mit einer Glasbühne, auf die ein Vorlagendokument
aufgelegt werden kann, einer CCD-Zeile und einer Abbildungseinheit
mit einem beweglichen Spiegel-Linsensystem zur Abbildung des Dokuments
auf die CCD-Zeile. Unter diesen Bedingungen erzeugt die CCD-Zeile
elektrische Signale, die in an sich bekannter Weise in digitale
Bilddaten umgewandelt werden. Ein Dokumenteneinzug 110 kann
ein Eingabetablar 111 zum Einlegen eines Stapels von Dokumenten
aufweisen sowie einen Transportmechanismus (nicht gezeigt), der
die Dokumente eins nach dem anderen an der Abtasteinheit 120 vorbei
transportiert, und ein Ausgabetablar 112, in das die Dokumente
nach dem Scannen abgelegt werden.
-
Mehrseitige
Dokumente, die eingescannt werden sollen, können gegebenenfalls über den
Dokumenteneinzug eingegeben werden. Bücher oder Magazine können z.
B. von Hand auf die Bühne
aufgelegt werden. Für
mehrseitige Dokumente können auch
weitere Eingabehilfen vorgesehen sein, z. B. das automatische Umblättern von
Seiten eines Buches.
-
Die
Vorrichtung kann eine Druckereinheit 130 aufweisen, z.
B. mit einer an sich bekannten elektrophotographischen Verarbeitungssektion,
in der ein photoleitendes Medium mit Hilfe einer LED-Zeile in Übereinstimmung
mit digitalen Bilddaten aufgeladen und dann mit Tonerpulver entwickelt wird,
wonach das Tonerbild auf einen Bildträger, gewöhnlich einem Bogen Papier, übertragen
und darauf fixiert wird. Ein Vorrat an Bildträgern in unterschiedlichen Formaten
und Orientierungen ist in einer Vorratssektion 140 verfügbar. Die
Bildträger
mit dem Tonerbild werden zu einer Finisher- und Ausgabesektion 150 transportiert,
wo sie erforderlichenfalls zu Sätzen
zusammentragen und geheftet werden und dann in dem Ausgabetablar 151 abgelegt
werden.
-
Eine
Steuereinheit des Gerätes
ist schematisch durch das Bezugszeichen 170 angegeben.
Die Funktion der Verarbeitung der Abtastbilder gemäß der Erfindung
wird nachstehend unter Bezugnahme auf 5 näher erläutert. Ein
Kabel 171 kann die Steuereinheit 170 mit einem
lokalen Netzwerk verbinden. Das Netzwerk kann verdrahtet sein, es
kann jedoch auch ganz oder teilweise drahtlos sein.
-
Das
Gerät weist
außerdem
eine Benutzerschnittstelle 160 auf, z. B. mit einer an
dem Gerät
angebrachten Bedienungstafel zur Bedienung des Gerätes. Die
Benutzerschnittstelle weist ein Display 161 und Tasten
auf. Der Einsatz des Displays zur Steuerung der Dokumentenverarbeitung
wird weiter unten beschrieben werden.
-
Es
ist zu bemerken, daß in
einem Dokumentenverarbeitungssystem gemäß der Erfindung die Abtastung
in einem separaten Gerät
stattfinden kann, wohingegen die Bildverarbeitung, wie sie unten beschrieben
wird, in einer Prozessoreinheit ausgeführt wird, die ein Display und
eine Benutzerschnittstelle aufweist, z. B. einer Workstation eines
Benutzers. Der Prozessor kann als spezialisierte Hardwareeinheiten
aufgebaut sein oder standardmäßige Prozessoreinheiten
und Softwareprogramme zur Implementierung der oben beschriebenen
Bildverarbeitungs- und Korrekturfunktionen umfassen.
-
2 zeigt
ein Verfahren zum Abtasten eines mehrseitigen Dokuments. In einer
ersten Phase beginnt das Verfahren bei START 21 mit der
optischen Abtastung des mehrseitigen Dokuments in dem Schritt SCALA 22.
Die Abtastung kann für
das vollständige
Dokument oder für
Teile des Dokuments vorgenommen werden. Für jede Abtastoperation wird ein
Abtastbild erzeugt, indem eine neue Vorlagenseite auf den Scanner
aufgelegt wird oder, für
ein Buch, eine Doppelseite auf die Bühne der Abtasteinheit aufgelegt
wird. Abtastbilder, die zwei Seiten enthalten, werden als duale
Abtastbilder bezeichnet. In speziellen Fällen kann ein Abtastbild eine
größere Anzahl von
Teilbildern enthalten, die automatisch zu getrennten Seitenbildern
zu verarbeiten sind. Die Abtastbilder können direkt verarbeitet oder
als Zwischendatei gespeichert werden oder in eine endgültige Datei
aufgenommen werden, um z. B. auch das Quellen-Rohmaterial aufzubewahren.
-
Im
nächsten
Schritt PROC 23 werden die Abtastbilder, die durch Abtasten
einer Folge von Seiten des mehrseitigen Dokuments erhalten wurden,
empfangen und verarbeitet, um Seitenbilder zu erzeugen, die den
ursprünglichen
Seiten des mehrseitigen Dokuments entsprechen. Für jedes Abtastbild wird eine Anzahl
von Verarbeitungsschritten ausgeführt, um ein Seitenbild oder,
im Fall eines dualen Abtastbildes, zwei Seitenbilder zu erhalten.
Das Seitenbild ist ein Repräsentation
der ursprünglichen
Seite, d. h. eine verarbeitete Version der durch das Abtastbild
gebildeten Abtastdaten. Nachstehend werden verschiedene Beispiele
für die
Verarbeitung des Abtastbildes zu einem Seitenbild gegeben.
-
Gemäß der Erfindung
wird während
der Verarbeitung im Schritt PROC 23 statistische Information
STAT 20 gesammelt, die dann dazu benutzt wird, auf der
Grundlage von Seiteneigenschaften des mehrseitigen Dokuments, die
bei der Verarbeitung der Abtastbilder abgeleitet wurden, Zielkriterien
für Bildparameter
zu bestimmen. Zum Beispiel können erwartete
Werte für
Eigenschaften wie die Papiergröße, Abmessungen
des Textbereiches und den Kontrast bestimmt werden. Die Zielkriterien
sind erwartete Werte und Toleranzen für vorbestimmte Bildparameter,
die auf den statistisch bestimmten Eigenschaften basieren, z. B.,
dem Mittelwert oder dem Medianwert und einer Toleranz auf der Basis
der Varianz.
-
Es
ist zu bemerken, daß zunächst wenigstens
eine Anzahl von Seiten verarbeitet werden muß, damit die statistischen
Parameter zuverlässig
bestimmt werden können.
Somit muß ein
Anfangsteil des mehrseitigen Dokuments (wenigstens einige Seiten,
vorzugsweise jedoch ein wesentlicher Teil des Dokuments oder gar
das ganze Dokument) verfügbar sein
(d. h. eingescannt und gespeichert) und verarbeitet werden, bevor
die nachstehend beschriebene Detektion von Ausreißern beginnt.
Wenn der Anfangsteil des mehrseitigen Dokuments z. B. zehn Seiten
umfaßt
und sich das erste oder zweite Abtastbild als ein Ausreißer erweist,
so wird dieser folglich mit einer Verzögerung von zehn Seiten angezeigt.
Nachdem der Anfangsteil verarbeitet worden ist, können weitere
Abtastbilder ohne Verzögerung
auf Ausreißer geprüft werden.
Die anfangs bestimmten statistischen Parameter können während der Verarbeitung der
verbleibenden Teile des Dokuments verfeinert werden. Alternativ
kann das vollständige
mehrseitige Dokument eingescannt und gespeichert werden, und der
vollständige
Satz von Abtastbildern kann in einem anfängli chen Lauf verarbeitet werden,
um die statistischen Parameter zu bestimmen, und in einem zweiten
Lauf werden dann die Ausreißer
auf der Grundlage der Statistik des vollständigen Dokuments detektiert.
-
Der
Verarbeitungsschritt 23 erzeugt, in dem Schritt VORSCHL 24,
ein vorgeschlagenes Seitenbild, durch die Verstärkungs- oder Korrekturverarbeitungsfunktionen
auf der Grundlage der detektierten Bildparameter. Einige Beispiele
für solche
Verarbeitungsfunktionen sind nachstehend wiedergegeben.
-
In
einem nächsten
Schritt AUSREISSER 25 wird entschieden, ob das Seitenbild
ein Ausreißer
ist, d. h. ob die Bildseite Eigenschaften oder Bildparameter hat,
die wesentlich von den auf der statistischen Information 20 basierenden
Zielkriterien abweichen. Das Seitenbild wird bewertet, indem entschieden wird,
ob die Bildparameter außerhalb
der Zielkriterien liegen.
-
Wenn
das Seitenbild kein Ausreißer
ist, wird das Verfahren mit dem Schritt SPEICHERN 26 fortgesetzt,
indem das Seitenbild automatisch akzeptiert wird. Wenn jedoch festgestellt
wird, daß das
Seitenbild ein Ausreißer
ist, wird das Verfahren wie folgt mit einer Interaktion mit dem
Bediener fortgesetzt. In dem Schritt DISPLAY 30 wird das
Seitenbild dem Bediener angezeigt. Somit kann der Bediener das vorgeschlagene
Seitenbild, d. h. das Ergebnis der Verarbeitung, visuell untersuchen.
Wenn das vorgeschlagene Seitenbild für ihn akzeptabel ist, befiehlt
der Bediener in dem Schritt AKZEPTIEREN 31, daß das vorgeschlagene
Seitenbild akzeptiert werden soll. Wenn das Resultat nicht akzeptabel
ist, kann die Verarbeitung des Seitenbildes in dem Schritt ANPASSEN 32 von
Hand angepaßt
werden. Wenn z. B. ein falscher Textbereich vorgeschlagen worden
ist, kann ein Teil des Abtastbildes einschließlich der Ränder des ursprünglichen
Textes ausgeschnitten werden, und der Bediener kann die Grenzen
des Textbereiches des vorgeschlagenen Seitenbildes anpassen. Anschließend wird
das angepaßte
oder akzeptierte Seitenbild in dem Schritt SPEICHERN 26 gespeichert.
-
Wenn
schließlich
in dem Schritt NACHSTES BILD 27 festgestellt wird, daß die verfügbaren Abtastbilder
verarbeitet worden sind, und wenn keine weiteren Seiten oder Teile
des Dokuments eingescannt zu werden brauchen, wie in dem Schritt
NACHSTER SCALA 28 festgestellt wird, so werden in dem Schritt KOMBINIEREN 29 die
resultierenden Seitenbilder zu einem mehrseitigen digi talen Ausgabedokument
des ursprünglichen
mehrseitigen Dokuments kombiniert und in einer Datei abgelegt. Es
ist zu bemerken, daß der
Schritt NACH-STER
SCALA 28 ausgelassen werden kann, wenn das Verfahren stapelorientiert
ist und erfordert, daß das
vollständige
Dokument eingescannt wird, bevor die Verarbeitung beginnt. Das Verfahren
wird beendet durch Ausgabe der Ausgabedokumentdatei bei ENDE 33.
-
In
einer Ausführungsform
des Verfahrens umfaßt
der Schritt der Bestimmung der statistischen Werte für die Bildparameter
in dem Schritt PROC 23 das folgende. Ein Seitenranddetektor
detektiert die stärksten
Ränder
in einem Scan und wählt
vier Ränder
aus, die einen begrenzenden Kasten bilden, dessen Größe der Seitenfläche am nächsten kommt.
Die Parameter und Eigenschaften, die sich auf die detektierte Papiergröße für einzelne
Seiten beziehen, werden statistisch analysiert, z. B. gemittelt,
und die resultierenden Papiergrößenmerkmale
der Vorlagenseiten werden geschätzt.
Anschließend
werden erwartete Werte für
die Parameter oder Eigenschaften als Papiergrößenkriterien gespeichert, damit
sie mit weiteren Seiten des mehrseitigen Dokuments verglichen werden
können.
-
In
einer Ausführungsform
umfassen die Zielkriterien einen Zielbereich für wenigstens einen der Bildparameter,
die auf Seiteneigenschaften basieren, die während der Verarbeitung der
Abtastbilder abgeleitet werden. Z. B. können diese Bildparameter einen
Ort eines Textbereiches umfassen. Die Textbereichsparameter liegen
für ein
mehrseitiges Dokument gewöhnlich
konsistent innerhalb eines Bereiches. Auch detailliertere Merkmale
wie die Orte von Seitenköpfen
oder -fügen
oder eine Folge von Seiten- oder Kapitelnummern kann separat detektiert und
als erwartete Werte gespeichert werden. So kann eine fehlende Seite
detektiert werden.
-
Zusätzlich zu
erwarteten Werten, die auf statistisch analysierten Eigenschaften
der Abtastbilder beruhen, kann die Verarbeitung in Schritt PROC 23 auch
a-priori Wissen über
Dokumente einschließen, d.
h. es wird angenommen, daß vordefinierte
Parameter oder Eigenschaften der Seiten des mehrseitigen Dokuments
vorhanden sind. Zum Beispiel haben viele eingescannte Dokumente
eine Standard-Papiergröße wie A4
oder US-Letter. Ein praktisches Beispiel eines vordefinierten Parameters
ist die Orientierung von Textzeilen, d. h. die Annahme, daß der Text in
Zeilen in einer Richtung parallel zu einem Papi errand ausgerichtet
ist und als eine Anordnung von waagerechten Zeilen von aufrecht
stehenden Schriftzeichen betrachtet werden kann. Anhand eines detektierten
Winkels der Textzeilen wird angenommen, daß die Vorlagenseite in einer
Schräglage
eingescannt worden ist und gedreht werden muß, bis die Orientierung der
Textzeile waagerecht ist, d. h. die sogenannte Schräglage null
ist. Anschließend
umfaßt
die Verarbeitung der Abtastbilder die Detektion der Orientierung
der Textzeile und die Korrektur der Schräglage des Abtastbildes in Abhängigkeit
von der detektierten Orientierung der Textzeile.
-
Eine
weitere Ausführungsform
des Verfahrens ist in der Lage, mit mehrfachen Vorlagenseiten in
einem Abtastbild umzugehen, insbesondere mit zwei Seiten in einem
dualen Abtastbild von Büchern oder
Magazinen. Somit enthält
das duale Abtastbild einen Bindefalz des mehrseitigen Dokuments,
und die Seiten sind auf beiden Seiten des Bindefalzes angeordnet.
-
3 zeigt
ein Beispiel eines Abtastbildes eines Buches. Das Abtastbild ist
ein duales Abtastbild von zwei Seiten 35, 36 eines
Buches.
-
Die
Seiten wurden mit 300 DPI (dots per inch) in 256 Grauwerten eingescannt,
wohingegen die Zeichnungsfigur eine verminderte Auflösung hat. Das
Abtastbild enthält
einen schwarzen oder grauen Randbereich 38, der entfernt
werden sollte, da er nicht Teil der Originalseiten ist. Die Linie
zwischen den Seiten, der sogenannte Falz 37 des mehrseitigen Dokuments,
muß detektiert
werden, um die beiden Seiten zu trennen. Auf jeder Seite ist ein
Textbereich 39 vorhanden, kann jedoch auch zur Aufnahme
von Bildern benutzt werden oder auf einigen Seiten ungenutzt, z.
B. weiß,
bleiben. Die Papiergröße kann
anhand der Grenzen der weißen
Flächen
der Seiten 35, 36 detektiert werden. Es ist zu
bemerken, daß die Menge
an Papier, das im Rücken
des Buches verborgen ist, aufgrund der Art der Positionierung des
Buche variieren kann. Solch eine variierende Menge kann kompensiert
werden, indem eine Originalseite rekonstruiert wird, die geeignete
Seitenränder
sowohl auf der linken Seite wie auch auf der rechten Seite aufweist,
z. B. durch Zentrieren des Textbereiches 39 unabhängig vom
Buchrücken.
-
Bei
dem in 2 gezeigten Verfahren kann die Verarbeitung der
Abtastbilder in dem Schritt PROC 23 die Detektion eines
Bindefalzes eines mehrseitigen Dokuments und die Erzeugung von zwei
Seitenbildern aus einem einzigen Abtastbild umfassen. Die Detektion,
daß das
Originaldokument auch automatisch sein kann, z. B. basiert auf dem Vorhandensein
eines Bindefalzes, paralleler Textbereiche und/oder der detektierten
Papiergröße in Kombination
mit der Orientierung der Textzeilen. Alternativ kann der Bediener
einen Befehl eingeben um anzuzeigen, daß ein gebundenes mehrseitiges
Dokument eingescannt und verarbeitet werden soll.
-
In
einer Ausführungsform
des Schrittes PROC 23 umfaßt die Verarbeitung der dualen
Abtastbilder, unabhängig
für jede
der beiden Seiten, die Detektion der Orientierung der Textzeilen.
Es ist zu bemerken, daß der
Schrägwinkel
aufgrund der Art der Positionierung des Buches für die beiden Seiten unterschiedlich
sein mag. Durch Detektion und Korrektur der Schräglage beider Teile des dualen
Abtastbildes in Abhängigkeit
von der detektierten Orientierung der Textzeilen werden somit beide
Bildseiten individuell so verarbeitet, daß sie die Schräglage null
haben.
-
Eine
weitere Eigenschaft von mehrseitigen Dokumenten besteht darin, daß jede Seite
eine korrekte, sogenannte aufrechte Orientierung hat. Während der
Abtastung kann das mehrseitige Dokument jedoch auf dem Kopf stehen
oder quer liegen. Während
der Verarbeitung kann die Orientierung der Originalseite des Abtastbildes
detektiert werden, und von einem anders orientierten Abtastbild
wird durch geeignete Drehung ein Seitenbild erzeugt, bei dem sich
das obere Ende oben befindet. Die Seitenorientierung kann anhand
von Eigenschaften des Seitenlayouts detektiert werden, etwa anhand
des oberen oder unteren Randes, der Seitenzahlen und dergleichen.
In einem speziellen Beispiel basiert die Detektion einer Seitenorientierung
auf der Detektion von Text und der Bestimmung der Eigenschaften
des Textes.
-
4 zeigt
Texteigenschaften für
die Detektion der Orientierung, insbesondere der Detektion von auf
dem Kopf stehenden Bildern. Ein Textfragment 40 wird analysiert,
und Schriftzeichen, die nach unten über eine untere Grundlinie 42 hinausragen, sogenannte
Unterlängen 44,
und Schriftzeichen, die über
die obere Grundlinie 44 hinausragen, werden als Oberlängen 43 bezeichnet.
Im allgemeinen gibt es ein Verhältnis
zwischen Oberlängen
und Unterlängen,
z. B. können
für lateinische
Sprachen gewisse Verhältnisse
erwartet werden. Solches a-priori Wissen kann als ein Anfangswert
verwendet werden. Das Verhältnis
für ein
spezielles Dokument kann statistisch ermittelt oder wäh rend der
Verarbeitung der Abtastbilder eingestellt werden. Das Zielverhältnis wird
angewandt um zu detektieren, ob eine Bitmap eines Dokuments (Seitenbereich
innerhalb des Abtastbildes) auf den Kopf oder aufrecht steht, und
um die Zuverlässigkeit
der detektierten Orientierung zu bestimmen. Jedes Schriftzeichen
wird als eines mit Oberlänge,
Unterlänge
oder ohne Ober- und Unterlängen
klassifiziert. Wenn z. B. das Verhältnis von Oberlängen und
Unterlängen
für eine
vollständige Seite
in der Nähe
des Zielverhältnisses
liegt, so stand die Seite aufrecht. Wenn das Verhältnis in
der Nähe des
inversen Zielverhältnisses
liegt, so stand diese auf dem Kopf, und eine Drehung um 180° wird ausgeführt, um
die Seite zu korrigieren. Wenn das Verhältnis der (korrigierten) Seite
wesentlich von dem Zielverhältnis
abweicht, wird ein Ausreißer
detektiert.
-
Auch
andere Eigenschaften von Schriftzeichen können dazu verwendet werden,
die Orientierung von Texten zu detektieren. Z. B. liefert die Bestimmung
einer Orientierung von ausgewählten Schriftzeichen,
wie etwa des Schriftzeichens "i" einen Orientierungsparameter
für Text.
-
Der
Schritt AUSREISSER 25 in dem in 2 gezeigten
Verfahren dient zur Detektion, ob die Bildparameter außerhalb
von Zielkriterien liegen. Die Zielkriterien können folgende Zuverlässigkeitskriterien
umfassen. Bei der Verarbeitung von verschiedenen Korrekturen und
Einstellungen in dem Schritt PROC 23 wird ein Zuverlässigkeitsfaktor
berechnet, der die Zuverlässigkeit
dafür angibt,
daß eine
zur Erzeugung des Seitenbildes vorgenommene Einstellung korrekt
ist. Z. B. kann der Umfang von Textzeilen auf einem Bild sehr klein
sein. Demgemäß mag die Orientierung
der Textzeilen oder detektierten Schriftzeichenmerkmale weniger
zuverlässig
sein, und der Zuverlässigkeitsfaktor
wird niedrig sein. Ebenso können
die detektierten Papierränder
graue Flächen
zeigen, z. B. weil das Papier des mehrseitigen Originaldokuments
auf der Vorlagenbühne
nicht vollständig flachgedrückt worden
ist. Aus dem Vorhandensein von grauen Bildelementen (Pixeln) in
der Nähe
der detektierten Papierränder
kann deshalb auf eine niedrige Verläßlichkeit der Orientierung
des Papierrandes geschlossen werden, und es wird ein niedrigerer
Verläßlichkeitsfaktor
berechnet.
-
5 zeigt
ein Diagramm der Bestandteile eines Dokumentenverarbeitungssystems.
Das Dokumentenverarbeitungssystem 50 weist eine Abtasteinheit 51 zum
Erzeugen von Abtastbildern durch optisches Abtasten einer Folge
von Seiten eines mehrseitigen Dokuments 58 auf. Die Abtasteinheit
kann Teil eines Abtast- und Verarbeitungsgerätes oder ein separater Scanner
sein. Das Dokumentenverarbeitungssystem 50 umfaßt eine
Steuereinheit 52, die mit der Abtasteinheit 51 verbunden
ist, einen lokalen Speicher 57 und eine Benutzerschnittstelle 54 mit
einem Display 55 und Eingabeelementen 56 wie etwa Tasten,
einer Menüsteuerung über einen
Cursor, einem Touchscreen und dergleichen. Der Speicher kann einen
Festkörperspeicher,
eine Magnetplatte und dergleichen umfassen. Die Prozessoreinheit
umfaßt
eine Scan-Steuereinheit 60 zur
Steuerung des Empfangs von Abtastbildern, eine Schnittstellen-Steuereinheit 63 zur
Kommunikation mit einem Benutzer über die Benutzerschnittstelle 54,
und eine Bildprozessoreinheit 61 und eine Detektionseinheit 62 für Ausreißer, zur
Erzeugung eines Ausgabedokuments 59, das Seitenbilder enthält, die
verarbeitet worden sind und für
die geprüft
worden ist, daß sie
innerhalb erwarteter Zielbereiche von Bildcharakteristiken liegen,
und die gegebenenfalls von einem Bediener nachjustiert wurden.
-
Die
Bildprozessoreinheit 61 verarbeitet die Abtastbilder, um
Seitenbilder zu erzeugen, die den Originalseiten des mehrseitigen
Dokuments entsprechen. Die Detektionseinheit 62 für Ausreißer stellt fest,
ob ein Seitenbild ein Ausreißer
ist, durch Detektion, ob Bildparameter außerhalb eines Zielbereiches von
erwarteten Werten liegen. Anschließend wird das Seitenbild von
der Detektionseinheit automatisch akzeptiert, wenn es kein Ausreißer ist.
Wenn das Seitenbild ein Ausreißer
ist, wird das Bild auf dem Display 55 angezeigt, damit
ein Benutzer es akzeptieren oder das Seitenbild über die Befehlselemente 56 der Benutzerschnittstelle 54 nachjustieren
kann.
-
In
dem System 50 kann die Bildprozessoreinheit a-priori Wissen
verwenden oder dazu ausgebildet sein, die erwarteten Werte für die Bildparameter
zu bestimmen, wie oben beschrieben wurde. Insbesondere können die
erwarteten Werte auf Seiteneigenschaften beruhen, die während der
Verarbeitung der Abtastbilder hergeleitet werden, etwa einer mittleren
Papiergröße. Das
System 50 kann dazu ausgebildet sein, in dem Ausgabedokument 59 einen zusammengesetzten
Satz von Seitenbildern aufzubauen. Der zusammengesetzte Satz hat
eine Struktur von logischen Teilen entsprechend Bereichen von Seiten
in dem mehrseitigen Dokument, z. B. Kapiteln und Anhängen. Die
lokale Benutzerschnittstelle 54 hat steuerbare Elemente,
etwa einen Import-Knopf zum Empfang eines Befehls von dem Benutzer,
um anzugeben, daß eine
Teilmenge von Abtastbildern einen logischen Teil des zusammengesetzten
Satzes von Seitenbildern bildet. In einer Ausführungsform umfaßt das System
eine Druckereinheit (nicht gezeigt) zum Drucken der Seitenbilder,
oder, je nach Bedarf, irgend eines anderen Druckauftrages.
-
In
einer praktischen Ausführungsform
kann der Workflow zur Erzeugung des Ausgabedokuments wie folgt aussehen.
Die Verarbeitung eines mehrseitigen Dokuments wie etwa eines Buches
beginnt mit einem Verzeichnis, das Abtastbilder und eine Tabelle in
der Form einer durch Kommata gebildeten Textdatei enthält. Die
Tabelle liefert Steuerdaten für
eine Folge von Abtastbildern, und jede Zeile hat mehrere Felder:
einen Bildtyp – farbig
oder schwarz/weiß;
Seitennummer der linken Seite; Seitennummer der rechten Seite; und
einen Dateinamen des beide Seiten umfassenden Abtastbildes. Die
folgenden aufeinanderfolgenden Schritte werden ausgeführt, um
die Abtastbilder zu verarbeiten: Geraderichten jedes Bildes und
Sichern und sowohl eines lokal adaptierenden Schwellenwertes (binär) und eines
Grauwertes; Auffinden der Papierränder und eines Bindefalzes
in dem Abtastbild; Auffinden der Textbereiche sowohl der linken
als auch der rechten Seite; Detektion von abweichenden Parametern,
z. B. möglichen
Fehlern in der Orientierung oder den Textbereichsauswahlen; Anzeigen
einer Benutzerschnittstelle zur Korrektur der Fehler; Ausschneiden
der Seitenbilder aus dem Abtastbild durch Eliminieren von schwarzen/grauen Flächen, die
keinen Papierflächen
des ursprünglichen
mehrseitigen Dokuments entsprechen; und schließlich Erzeugen einer Datei,
z. B. in einem bekannten Publikationsformat wie PDF (Portable Document
Format) oder HTML (Hyper Text Markup Language).
-
Für den Ausrichtprozeß wird ein
binäres
Bild erzeugt, z. B. mit dem Niblack-Verfahren, beschrieben in "Digital Image Processing,
Seite 115, W. Niblack, Prentice Hall 1986". Der Binärisierungsalgorithmus von Niblack
ist ein lokal adaptives Verfahren. Für ein Fenster der Größe (n·n) werden
sowohl der Mittelwert (mean) als auch die Standardabweichung (stdev)
berechnet. Die Größe des Fensters
(n) kann Z. B. auf 31 umgestellt sein. Wenn Text dunkler ist als der
Hintergrund, wird die folgende Formel dazu verwendet, den Schwellenwert
für das
zentrale Pixel zu berechnen: Schwellenwert = mean(fenster) – 0,18·stdev(fenster).
Dieser Algorithmus ist sehr wichtig, wenn Bilder nicht verzittert
werden sollten oder aufgrund schlechter Ausleuchtung oder auf grund
einer Alterung des Originals einen geringen Kontrast haben. Wenn
der Hintergrund dunkler ist als die Schriftzeichen, muß der Faktor "–0,18" "+0,18" sein. Das binäre Bild
wird dazu verwendet, den Winkel von Elementen in dem Abtastbild
zu detektieren, etwa von Textzeilen oder Papierrändern. Das binäre Bild kann
auch für
OCR und die Ortsbestimmung von Textbereichen verwendet werden.
-
Verschiedene
Verfahren zur Schräglagenbeseitigung
für relativ
kleine Winkel (z. B. bis zu 30°) sind
in der Bildverarbeitung allgemein gebräuchlich und berechnen ein Histogramm
von Winkeln. Die Qualität
des Histogramms, z. B. ein Fehlen an deutlichen Peaks, kann anzeigen,
wann ein vorgeschlagener Winkel nicht verläßlich ist. Es kann ein Verläßlichkeitsparameter
abgeleitet und für
die Detektion von Ausreißern
verwendet werden. Es ist zu bemerken, daß ausgerichtete Seiten auf
dem Kopf stehen können,
da der anfängliche
Algorithmus zur Detektion von Schräglagen dies nicht bemerkt.
Eine Verbesserung kann erreicht werden durch die Verwendung vorheriger
Abtastbilder, z. B. durch eine zusätzliche Regel, die verlangt:
wenn die Qualität
des Histogramms zu gering ist, rotiere diese Seite genauso wie die
vorherige Seite. Wenn die Qualität
gering bleibt, wird ein Ausreißer
detektiert, und das Scannen wird dem Benutzer zur Entscheidung angezeigt.
-
Als
Teil der Schräglagenbeseitigung
wird die Orientierung der Seiten detektiert, z. B. wie mit Bezug auf 4 beschrieben
wurde. Eine Drehung um 90 oder 180 Grad des Abtastbildes oder einzelner
Seiten in dem Abtastbild kann erforderlich sein, um eine aufrechte
Orientierung der Seitenbilder zu erhalten und abweichende Positionierungen
in dem ursprünglichen
mehrseitigen Dokument zu kompensieren. In einzelnen Fällen muß die Schräglagenbeseitigung für die Seiten
einzeln vorgenommen werden, oder sie können eine unterschiedliche
Orientierung haben. Die Schräglagenbeseitigung
kann jedoch fehlschlagen, wenn das Abtastbild störende Elemente wie Bleistiftstriche
von Zeichnungen enthält.
Ein Verläßichkeitsfaktor,
der für
die Detektion von Ausreißern zu
verwenden ist, kann aus dem Spektrum von Winkelangaben bestimmt
werden, die während
des Prozesses der Schräglagenbeseitigung
erzeugt werden.
-
Die
Detektion der Papierränder
und des Bindefalzes des Buches kann wie folgt vorgenommen werden.
Der erste Schritt ist die Beseitigung von Schrift zeichen durch einen
morphologischen Filter, eine Schließoperation (grundlegende Bildverarbeitungsfunktion
zum Ausfüllen
kleiner Öffnungen
durch Dilatation gefolgt von Erosion) mit einem 9×9 Kernel. Dann
wird ein Sobel-Filter auf dieses Bild angewandt (Berechnung von
Ableitungen auf der Grundlage von Differenzen zwischen Pixeln in
einem n×n
Kernel), was in der näherungsweisen
Ableitung des Bildes resultiert, mit starken Komponenten an den
Grenzlinien zwischen weißen
und schwarzen Flächen.
Als nächstes
wird auf das Bild ein fester Stellenwert angewandt, und dies führt zu binären Kandidaten
für Blockgrenzen.
Obgleich der morphologische Filter die meisten Schriftzeichen und
damit falsche Ränder beseitigt,
können
Zeichnungen, die in dem Buch vorhanden sind, immer noch falsche
Kandidaten für Buchränder erzeugen.
Diese Kandidaten können durch
Anwendung von Säuberungsregeln
entfernt werden, z. B. der folgenden Regel auf acht-verbundene Komponenten.
Wenn die Überdeckung
eines Objekts mehr als ein Fünftel
der Gesamtfläche
beträgt
und das Aspektverhältnis
kleiner als 10 ist, so ist das Objekt ein falscher Kandidat für Papierränder oder
einen Bindefalz und wird entfernt. Eine solche Regel entfernt auch "fleckige" Objekte und erhält längliche
Formen oder Teile eines Umrisses.
-
Im
allgemeinen enthält
das resultierende Bild nur eine Anzahl von Linien in der Nähe der Buchränder und
in der Nähe
des Bindefalzes. Um diese Linien zu lokalisieren, wird eine Hough-Transformation berechnet
und repräsentiert
das Bild in einem Winkelraum wie folgt. Gerade Linien werden dazu
verwendet, ein Spektrum von Winkeln aufzubauen und sind parametrisiert
in der Form: ρ =
xsin(θ)
+ ycos(θ)
-
Hier
ist ρ der
rechtwinklige Abstand vom Ursprung, und θ ist der Winkel mit der Normalen.
Kollineare Punkte (xi, yi)
mit i = 1, ... N, werden in N Sinuskurven der (ρ, θ)-Ebene transformiert, die
sich in Punkt (ρ, θ) schneiden.
In der Hough-Ebene ergeben z. B. zehn Maxima in der Nähe von θ = 0° zehn Kandidaten
für vertikale
Ränder,
und zwanzig Maxima in der Nähe
von θ =
90° ergeben
zwanzig Kandidaten für
horizontale Ränder.
Es werden mehr horizontale Kandidaten ausgewählt, weil auch der Bindefalz
detektiert werden muß.
Aus diesem Satz von Linien werden vier ausgewählt, um einen Umriß zu bilden, dessen
Größe der erwarteten
Seite des Buches am nächsten
kommt. Aus dem Satz von horizontalen Linien wird der Kandidat, der
der Mitte des ausgewählten
oberen und unteren Buchrandes am nächsten liegt, als der Bindefalz
ausgewählt.
Darauf aufbauend können
zwei Seiten ausgeschnitten und weiter verarbeitet werden. Wenn keine
geeigneten Linien ausgewählt
werden können
oder wenn die vorgeschlagenen ausgeschnittenen Seiten zu stark von dem
Zielbereich der Seitengrößen abweichen,
wird ein Ausreißer
detektiert und dem Benutzer für
die weitere Behandlung angezeigt.
-
Ein
neues Verfahren zum Auffinden des Papierbereiches und der Mitte
beruht auf der Weißheit des
Papiers. Das graue, schräglagenkorrigierte
Bild wird als Input verwendet, und zunächst werden durch eine Schließoperation
die Schriftzeichenobjekte entfernt. Das Ergebnis wird einer Schwellenwertverarbeitung
mit einem Isodata-Algorithmus unterzogen, um ein binäres Bild
zu erzeugen, beispielsweise wie folgt.
-
Ein
iteratives Verfahren zum Auswählen
eines Schwellenwertes wird beschrieben von T. W. Ridler und S. Calvard
in "Picture Thresholding
Using an Iterativ [sic] Selection Method, IEEE Transactions an Systems,
Man and Cybernetics, Band SMC-8, No. 8, Seiten 630–2, August
1978". Das Histogramm
wird anfänglich
in zwei Teile segmentiert, unter Verwendung eines solchen Anfangsschwellenwertes
t, das t = 2B-1, der Hälfte des maximalen dynamischen
Bereiches. Der Probenmittelwert der zu den Vordergrundpixeln (mf)
gehörenden
Grauwerte und der Probenmittelwert der zu den Hintergrundpixeln
(mbkg) gehörenden
Grauwerte wird berechnet. Ein neuer Schwellenwert t wird nun als
der Mittelwert dieser beiden Probenmittelwerte berechnet. Der Prozeß wird auf der
Basis des neuen Schwellenwertes wiederholt, bis sich der Schwellenwert
nicht mehr ändert.
-
Dann
werden die in dem binären
Block vorhandenen Objekte etikettiert, und das größte von
ihnen wird ausgewählt.
Wenn das größte Objekt
kleiner ist als ein bestimmter Schwellenwert, so wird auch das zweitgrößte Objekt
ausgewählt.
Alle ausgewählten
Objekte werden dann in ein neues Bild kopiert. Sporne am Rand der
binären
Objekte werden durch morphologisches Öffnen entfernt, und ein Schließen füllt Lücken aus.
Das resultierende Bild enthält
im allgemeinen nur ein Objekt, dessen Begrenzungskasten gemessen
und als Papierrand des Buches verwendet wird. In der endgültigen Maske
der Papier fläche
können
Lücken
auftreten (z. B. infolge eines nicht entfernten Bildes), doch haben
diese keinen Einfluß auf
den begrenzenden Kasten des Objekts.
-
In
einem nächsten
Schritt wird der Mittelpunkt des Buches bestimmt (der Ort des Bindefalzes).
Zu diesem Zweck werden zwei Bilder verwendet: das eingegebene Bild,
das in der oben beschriebenen Weise der Isodata-Schwellenwertverarbeitung unterzogen
wurde, und ein durch Schließen
verarbeitetes Bild, z. B. geschlossen mit einem 11×11 Muster und
gefiltert mit einem 3×3
Sobel-Filter. Dann werden etliche Kandidaten für die Mitte des Buches berechnet,
indem diejenigen Spalten in dem Isodaten-schwellenwertverarbeiteten
Bild ausgesucht werden, wo die Anzahl von Pixelübergängen (von schwarz auf weiß oder umgekehrt)
unter 25 fällt.
Unter diesen Kandidaten wird die Mitte ausgewählt, indem das Maximum der
Summe von Pixeln in einer Spalte des Sobel-gefilterten Bildes aufgesucht
wird.
-
Es
wurde festgestellt, daß dieser
Schritt ein schräglagenkorrigiertes
Original erfordert und dieser Schritt (insbesondere die Lokalisierung
der Buchmitte) fehlschlägt,
wenn die Schräglagenkorrektur
fehlgeschlagen ist. Deshalb kann ein Verläßlichkeitsfaktor für diesen
Schritt von Parametern des Schräglagenkorrekturschrittes
abhängig
sein. Der Verläßlichkeitsfaktor
wird angewandt um festzustellen, ob das verarbeitete Bild ein Ausreißer ist
und der Zustimmung oder Nachjustierung durch den Benutzer bedarf.
-
Während der
Verarbeitung kann der Ort des Textbereiches in dem Abtastbild bestimmt
werden. Dieser Abschnitt beschreibt den Schritt, der erforderlich
ist, um die Textbereiche der Buchseiten auszurichten. Die berechneten
Werte können
dazu verwendet werden, die Seitenbilder ohne jegliche schwarze Ränder aus
dem Abtastbild auszuschneiden oder OCR oder Seitennummernerkennung
zu leiten. Ein grundlegender Algorithmus benutzt nur die Anzahl von Übergängen von
Zeilen und Spalten. Eine Qualitätsverbesserung
kann erreicht werden, indem man Algorithmen zur Layoutanalyse verwendet.
Das Eingangsbild ist das schräglagenkorrigierte schwarz/weiß Bild,
das in dem obigen Schräglagenkorrekturschritt
erzeugt wird.
-
6 zeigt
ein Resultat der Detektion des Ortes eines Textbereiches. Die Figur
zeigt ein Abtastbild 67 und sechs Bildparameter, die die
Orte von Textbereichen angehen, wobei jeder Parameter X1, X2, X3,
X4, Y1, Y2 eine vorge schlagene Grenze des Textbereiches angibt.
Durch die sechs Koordinatenwerte werden zwei Textbereiche 65, 66 definiert,
wobei die y-Koordinaten Y1, Y2 des linken Textbereichs 65 und
des rechten Textbereichs 66 gleich sind, wie in der Abbildung
dargestellt ist. Ausgehend vom oberen Ende des Abtastbildes wird
die Anzahl von Übergängen in
jeder Zeile berechnet. Wenn diese Anzahl 15 überschreitet,
so ist Y1 des Textbereiches gefunden. Für Y2 wird dasselbe Verfahren
angewandt. Das Auffinden der linken und rechten Grenzen der Textbereiche
beider Seiten kann schwieriger sein. Das liegt daran, daß Seiten
nur wenige Zeilen Text enthalten mögen. Das erste Auftreten von
mehr als fünf Übergängen von
links definiert X1. Die Position X4 wird festgelegt durch das erste
Auftreten von mehr als 15 Übergängen in
einer Spalte, beginnend von rechts, und mehr als 25 Übergängen in
einer Position 30 Pixel weiter links. Die Position X2 wird festgelegt durch
das erste Auftreten von weniger als 5 Übergängen und weniger als 5 Übergängen an
einer Position 10 Pixel weiter rechts. Die Position X3 wird festgelegt durch
das erste Auftreten von weniger als 5 Übergängen und weniger als 5 Übergängen an
einer Position 10 Pixel weiter links. Die Suche beginnt bei 3/4
der Breite nach links. Aufgrund des einfachen Ansatzes kann dieser
Schritt Fehler aufweisen. Zumindest ein schräglagenkorrigiertes Bild und
eine gewisse Menge an Text auf der Seite sind erforderlich. Einige übliche Fehler
sind, daß X1,
X2, X3 oder X4 durch etwas Text schneiden, Seitennummern abgeschnitten
werden, Text zwischen X2 und X3, oder Effekte, die durch leere Seiten
verursacht werden. Ein Fehlerdetektionsschritt detektiert, ob das
Resultat als ein Ausreißer
betrachtet werden soll, durch Berechnung von Parametern, die die
Wahrscheinlichkeit solcher Fehler angeben. Z. B. können leere
Seiten detektiert werden. Wenn Objekte in dem Raum zwischen X2 und X3
detektiert werden, so können
die Linien X2 oder X3 entsprechend bewegt werden, um das Problem zu
lösen,
oder das Resultat kann als ein Ausreißer klassifiziert und dem Benutzer
angezeigt werden.
-
In
der Detektionseinheit für
Ausreißer
berechnet ein Fehlerdetektionsschritt die Wahrscheinlichkeit eines
Fehlers in den vorangegangen Verarbeitungsschritten, z. B. auf der
Grundlage der Verläßlichkeitsfaktoren,
die von den vorangehenden Verarbeitungsschritten erzeugt wurden,
z. B. des Verläßlichkeitsfaktors
für die
Schräglagenkorrektur
auf der Grundlage der Qualität
des Histogramms. Für
die Detektion von Ausreißern
können
verschiedene Parameter benutzt werden, etwa die Papierbreite, spektrale
Eigenschaften gewis ser Bereiche (Text oder Zeichnung), Qualitäten in verschiedenen
Domänen wie
Winkel, Objektgrößen, Farben,
Weißheit
oder Kontrast, und dergleichen. Die Detektion von Ausreißern kann
auch zusätzliche
Eigenschaften des Seitenbildes bestimmen, z. B. Ausreißer in den
Breiten der Textbereiche, der Anordnung der Textbereiche in Bezug
auf das Papier und dergleichen. Alle Parameter oder Eigenschaften
können
mit statistischem Wissen über
das mehrseitige Dokument verglichen werden, das während der
Verarbeitung gewonnen wird, oder mit a-priori Wissen, daß automatisch
angenommen oder von einem Benutzer eingegeben wird.
-
In
einer Ausführungsform
ist der Detektor für Ausreißer in der
Lage, Ausreißer
in der Breite von Textbereichen zu detektieren, indem er annimmt,
daß die
Breiten der Textbereiche der Seiten regelmäßig sind. Es kann angenommen
werden, daß die
oberen und/oder unteren Grenzen der linken und rechten Textbereiche
gleich sind, oder es kann angenommen werden, daß sie unterschiedlich sind
und getrennt verarbeitet werden. Das Verfahren zur Detektion von Ausreißern in
den Breiten der Textbereiche wird durch die Formel beschrieben,
die einen Ausreißer detektiert,
wenn: (abs(p – Mp))/median(abs(p – Mp))) > schwelle,mit
p = Breite des Textbereiches und Mp Median
der Textbereichsbreiten. Der Median wird verwendet, weil es sehr
große
Ausreißer
geben kann (z. B. eine leere Seite mit der Breite null), die den
Mittelwert zu stark beeinflussen würden. Der Schwellenwert kann vom
Benutzer eingestellt werden, um einen praktischen Wert zu finden,
der im wesentlichen alle Fehler in der Breite oder dem Ort eines
Textbereiches erkennt. In einem praktischen Fall für ein normales Buch
hat sich gezeigt, daß ein
Schwellenwert von 14 gute Ergebnisse liefert.
-
Mögliche Fehler,
die von der Ausreißerfunktion
detektiert wurden, werden anschließend dem Benutzer angezeigt,
damit sie manuell über
eine Benutzerschnittstelle nachjustiert werden können.
-
Die
Benutzerschnittstelle kann die folgenden Optionen zum Akzeptieren
oder Nachstellen eines vorgeschlagenen Seitenbildes aufweisen, z.
B. Menü oder
eine Werkzeugleistenfunktion auf dem Anzeigeschirm. Der Benutzer
kann die Funktionen ausführen,
indem er einen der Knöpfe
unter einer gegenwärtig
untersuchten Bildseite auswählt:
- – Orientierung:
manuelle Schräglagenkorrektur durch
Zeichnen einer Linie, die in der Buchseite horizontal sein sollte,
oder Angabe einer Drehung um 90 oder 180°.
- – Papierbereich:
Auswahl eines Rechtecks, das den Papierbereich enthält.
- – Papiermitte:
Auswahl des Ortes des Bindefalzes des Buches.
- – Linke
Seite: Auswahl eines Rechtecks, das den Textbereich der linken Seite
enthält.
- – Rechte
Seite: Auswahl eines Rechtecks, das den Textbereich der rechten
Seite enthält.
- – Gehe
zum nächsten
Scan, der im Verdacht steht, fehlerhaft zu sein, oder einfach zum
nächsten
Scan in der Reihenfolge, wenn keine Fehlerdetektion angewandt wird.
-
Alle
Funktionen können
an demselben Bild so oft wie nötig
ausgeführt
werden. In dem Ausgabedokument können
Aktionen des Bedieners aufgezeichnet werden, sofern eine Rückschau
möglich
ist. Somit ist das Auslassen eines als Ausreißer markierten Scans nicht
permanent und kann in einem Neustart angeboten werden. Wenn der
Benutzer eine manuelle Schräglagenkorrektur
vornimmt, kann ein neues Grauwertbild getrennt gesichert werden.
-
Schließlich werden
die Bildseiten aus dem Abtastbild ausgeschnitten, wobei eine etwaige Schräglagenkorrektur
berücksichtigt
wird. Ein duales Abtastbild wird an den Grenzen der Textbereiche,
auf allen Seiten um 35 Pixel vergrößert, in zwei Seitenbilder
aufgeteilt. Dies geschieht um ein Anschneiden zu verhindern, das
zu kleinen fehlenden Teilen von Schriftzeichen und Bildern führen würde. Es
hat keinen Einfluß auf
die Ausrichtung der Bilder. Schließlich wird eine Datei aufgebaut,
die die Seitenbilder enthält,
wie sie aus der Folge der Abtastbilder ausgeschnitten wurden. Dieser
Teil kann mit Lesezeichen und Seitenzahlen entsprechend dem ursprünglichen mehrseitigen
Dokument versehen sein und kann für eine wahlfreie Verarbeitung
benutzt werden, etwa eine adaptive Hintergrundkorrektur oder optische Schriftzeichenerkennung
(OCR).
-
Ein
weiteres Verfahren zur Verarbeitung eines mehrseitigen Dokuments
umfaßt
die Erzeugung einer logischen Struktur in der Reihenfolge der erzeugten
Seitenbilder. Im Kern wird ein Satz von Abtastbildern eines einzigen
mehrseitigen Dokuments in einen zusammengesetzten Satz von Seitenbildern umgewandelt,
bei dem es sich z. B. um eine Datei eines einzelnen Dokuments handeln
kann. Das ursprüngliche
mehrseitige Dokument hat jedoch gewöhnlich eine logische Struktur
wie Kapitel oder Abschnitte oder kann Anhänge aufweisen. Die ursprüngliche
Struktur wird in eine ähnliche
Struktur in dem zusammengesetzen Satz umgewandelt, d. h. Angabe
der logischen Teile des Satzes, die den Bereichen der Seiten in
dem jeweiligen Dokument entsprechen. Es ist zu bemerken, daß die logische Struktur
automatisch detektiert werden kann, z. B. anhand der Seitennumerierung
oder anhand graphischer Layoutmerkmale wie etwa Kapitelüberschriften in
vergrößerten und
fetten Schrifttypen.
-
Zur
Angabe der logischen Struktur kann die Scanner- oder Prozessoreinheit
einem Benutzer Optionen bieten, die logische Struktur in dem eingescannten
Dokument zu erzeugen. Somit umfaßt das Verfahren den Empfang
von Befehlen des Benutzers, zur Angabe der Struktur, die der Reihenfolge
der Seitenbilder zuzuweisen ist. Die Befehle können während des Einscannens des mehrseitigen
Dokuments gegeben werden. Eine spezielle Taste kann vor und/oder
nach dem Einscannen eines Teils des mehrseitigen Dokuments gedrückt werden
um anzugeben, daß eine
entsprechende Teilmenge von Abtastbildern einen logischen Teil des
zusammensetzten Satzes von Seitenbildern bildet. Namen von Lesezeichen
können
automatisch generiert werden, z. B. eine Nummer eines importierten
Satzes, gefolgt von Anfangs- und Endseitennummern. So können strukturierte
mehrseitige Dokumente effizient eingescannt werden, und gleichzeitig
kann eine logische Struktur in der konvertierten Sequenz von Seitenbildern
erzeugt werden.
-
7 zeigt
eine Benutzerschnittstelle. Eine Benutzerschnittstelleneinheit 70 hat
eine Anzahl von Knöpfen
oder Tasten 72 und einen Anzeigeschirm 71 zur
Darstellung von visuellen Daten für einen Benutzer. Das Display 71 hat
eine hinreichende Größe und Auflösung zur
Anzeige eines Seitenbildes, das aus einer Abtastung resultiert,
oder wenigstens eines Teils des Bildes, der groß genug ist, die Qualität des vorgeschlagenen
Seitenbildes in der oben beschriebenen Weise zu bewerten und einzustellen.
-
Insbesondere
hat die Benutzerschnittstelle 70 einen IMPORT-Knopf 74 und
einen START-Knopf. Der START-Knopf kann auch als ÖFFNEN/SCHLIESSEN-Knopf bezeichnet
werden. Der START-Knopf öffnet
oder schließt
einen etwaigen Abtastvorgang, während
der IMPORT-Knopf Abtastbilder eines Teils eines mehrseitigen Dokuments
an einem bestehenden Satz anhängt.
Die Originale des jeweiligen Teils können als lose Blätter in
einen automatischen Dokumenteneinzug (ADF) eingelegt werden oder
von einem Benutzer von Hand zugeführt werden, indem er aufeinanderfolgende
Seiten eines Buches oder Heftes auf die Vorlagenbühne legt. Nach
dem Einscannen eines solchen Teils kann der Benutzer erneut den
IMPORT-Knopf drücken,
um einen weiteren Teil anzuhängen
und dabei zugleich ein Lesezeichen in der Dokumentendatei für den gerade geschlossenen
Teil zu definieren. Schließlich
kann der Prozeß durch
Drücken
des START-Knopfes beendet werden, und die logische Struktur der
digitalen Version des Dokuments ist dann vollständig.
-
Außerdem kann
die Benutzerschnittstelle eine spezielle Taste oder Menüfunktion
für die
Angabe aufweisen, daß ein
logischer Teil auf einer linken oder rechten Seite eines dualen
Abtastbildes beginnt oder endet.
-
Obgleich
die Erfindung in der Hauptsache durch Ausführungsformen für das Einscannen
eines Buches erläutert
worden ist, versteht es sich, daß die Erfindung für die Verarbeitung
jeglicher mehrseitiger Dokumente geeignet ist. Weiterhin kann die
Dokumentenverarbeitung nicht nur in einer Firmenumgebung, sondern
in jedem Maßstab
stattfinden, etwa bei einem Kunden zu Haus oder als öffentlicher
kommerzieller Service. Auch das Verfahren zum Erzeugen einer logischen
Struktur in der Reihenfolge der erzeugten Seitenbilder kann separat
angewandt werden.