SE511855C2

SE511855C2 - Handwritten character recording device for characters, symbols, graphs, calligraphy

Info

Publication number: SE511855C2
Application number: SE9801535A
Authority: SE
Inventors: Christer Faahraeus; Ola Hugosson; Petter Ericson
Original assignee: C Technologies Ab
Priority date: 1998-04-30
Filing date: 1998-04-30
Publication date: 1999-12-06
Also published as: SE9801535L; SE9801535D0

Abstract

An image processor (20) determines the relative position of images both horizontally and vertically based on content points of partially overlapping images. The movement of recorder between recording of images is indicated by movement vectors. A recorder which can be manually moved to record several images and the partially overlapping contents of the image are used for determining the position of the recorder. An Independent claim is also included for method of recording handwritten information.

Description

511 855 2 10 15 20 25 30 35 denna teknik är att den kräver tillgång till en be- röringskänslig skärm. 511 855 2 10 15 20 25 30 35 this technology is that it requires access to a touch-sensitive screen.

Genom JP 03265023 är det vidare känt att mata in handskriven text i en dator med hjälp av en penna som i sin spets är försedd med en kula. När man ”skriver” med pennan på ett underlag rullar kulan. Med hjälp av infor- mation om i vilken riktning och hur mycket kulan rör sig kan datorn bestämma hur pennan förflyttas. En nackdel med denna anordning och andra anordningar som är baserade på rörliga mekaniska komponenter är att den rörliga kompo- nenten gör anordningen svårare att tillverka och mindre hållbar.By JP 03265023 it is further known to enter handwritten text into a computer by means of a pen which is provided with a ball at its tip. When you "write" with the pen on a surface, the ball rolls. With the help of information about in which direction and how much the ball moves, the computer can determine how the pen is moved. A disadvantage of this device and other devices that are based on moving mechanical components is that the moving component makes the device more difficult to manufacture and less durable.

Sammanfattning av uppfinningen Ett ändamål med föreliggande uppfinning är därför att åstadkomma ett satt och en anordning för inmatning av handskriven information i form av tecken, symboler, kur- vor, teckningar, kalligrafi och liknande handskriven in- formation som definieras av en handrörelse till en dator, vilket sätt och vilken anordning eliminerar ovannämnda nackdelar med den kända tekniken.SUMMARY OF THE INVENTION An object of the present invention is therefore to provide a set and a device for entering handwritten information in the form of signs, symbols, curves, drawings, calligraphy and similar handwritten information defined by a hand movement to a computer. , which method and which device eliminates the above-mentioned disadvantages of the prior art.

Detta ändamål uppnås med en anordning enligt patent- kravet l och ett sätt enligt patentkravet 17 Eöredragna utföringsformer anges i underkraven.This object is achieved with a device according to claim 1 and a method according to claim 17 Preferred embodiments are stated in the subclaims.

Enligt en första aspekt avser uppfinningen alltså en anordning för inmatning till en dator av handskriven in- formation i form av tecken, symboler, kurvor, teckningar, kalligrafi och liknande handskriven information som defi- nieras av en handrörelse, vilken anordning innefattar en registreringsenhet som är anordnad att förflyttas av en hand som utför handrörelsen och som är anordnad att regi- strera ett flertal bilder med delvis överlappande inne- håll när den förflyttas. Anordningen är vidare anordnad att bestämma bildernas inbördes läge med hjälp av det delvis överlappande innehållet för åstadkommande av en beskrivning i digitalt format av hur registreringsenheten har förflyttats. 10 l5 20 25 30 35 3 511 855 Anordningen bygger sålunda på idén att använda bil- der för att bestämma hur en enhet förflyttas när en an- vändare utför en handrörelse, t ex ”skriver” eller ”ritar” något med enheten. En sådan anordning innehåller inga rörliga delar och kräver inget underlag med sensorer för att den skall fungera. Ur mekanisk synvinkel är den därför enklare att tillverka och har längre livslängd.According to a first aspect, the invention thus relates to a device for inputting to a computer handwritten information in the form of signs, symbols, curves, drawings, calligraphy and similar handwritten information defined by a hand movement, which device comprises a registration unit which is arranged to be moved by a hand which performs the hand movement and which is arranged to register a plurality of images with partially overlapping contents when it is moved. The device is further arranged to determine the mutual position of the images by means of the partially overlapping content in order to provide a description in digital format of how the recording unit has been moved. 10 l5 20 25 30 35 3 511 855 The device is thus based on the idea of using images to determine how a device is moved when a user performs a hand movement, eg "writes" or "draws" something with the device. Such a device contains no moving parts and does not require a base with sensors for it to function. From a mechanical point of view, it is therefore easier to manufacture and has a longer service life.

Anordningen är vidare mycket enkel att använda eftersom den inte ens behöver vara i kontakt med någon yta vid inmatningen av informationen. Det räcker att den kan registrera bilder av det som befinner sig i dess syn- fält under förflyttningen. De registrerade bilderna måste dock ha ett innehåll som gör att det går att fastställa hur de överlappar varandra.Furthermore, the device is very easy to use because it does not even have to be in contact with any surface when entering the information. It is sufficient that it can register images of what is in its field of view during the movement. However, the registered images must have a content that makes it possible to determine how they overlap.

En mycket stor fördel med anordningen är att bild- registreringfunktionen även kan användas för andra ända- mål, varvid en anordning med flera olika tillämpnings- områden kan åstadkommas. Som ett exempel kan bildregist- reringsfunktionen användas för inmatning av text och bil- der som redan finns definierade på någon form av informa- tionsbärare genom avbildning av texten och/eller bilderna med hjälp av sensorn. Detta ger användaren tillgång till ett helt nytt hjälpmedel som möjliggör ett mera ratio- nellt arbetssätt. Med detta enda hjälpmedel kan använda- ren alltså registrera text- och bildinformation från olika källor och komplettera denna med handgenererad in- formation. Anordningen kan därmed bli ett viktigt hjälp- medel för studenter, tjänstemän och andra personer som arbetar med informationsbearbetning.A very large advantage of the device is that the image registration function can also be used for other purposes, whereby a device with several different application areas can be achieved. As an example, the image registration function can be used for inputting text and images that are already defined on some form of information carrier by imaging the text and / or the images with the aid of the sensor. This gives the user access to a completely new tool that enables a more rational way of working. With this single aid, the user can thus register text and image information from various sources and supplement this with hand-generated information. The device can thus be an important aid for students, officials and other people who work with information processing.

Anordningen kan användas för inmatning av all sorts information som kan definieras med en handrörelse, exem- pelvis textinformation i form av tecken eller symboler och grafisk information i form av teckningar, kalligrafi eller kurvor. Registreringsenhetens förflyttning repre- senteras av projiceringen av registreringsenhetens ände på det objekt mot vilket registreringsenheten är riktad. 511 855 4 10 15 20 25 30 35 Med andra ord utför alltså anordningen en digitali- sering av handrörelsen så att en dator kan behandla den information som handrörelsen representerar. Fördelen med att åstadkomma den digitala beskrivningen av handrörelsen i anordningen är att mindre datamängder behöver föras över från anordningen till datorn som skall använda in- formationen.The device can be used for entering all kinds of information that can be defined with a hand movement, for example text information in the form of signs or symbols and graphic information in the form of drawings, calligraphy or curves. The movement of the registration unit is represented by the projection of the end of the registration unit on the object to which the registration unit is directed. 511 855 4 10 15 20 25 30 35 In other words, the device performs a digitization of the hand movement so that a computer can process the information that the hand movement represents. The advantage of providing the digital description of the hand movement in the device is that smaller amounts of data need to be transferred from the device to the computer that is to use the information.

Beskrivningen innefattar lämpligen ett flertal för- flyttningsvektorer som var och en indikerar hur enheten har förflyttats mellan registreringen av två bilder. För- flyttningsvektorerna kan beskrivas med hjälp av koordina- terna för en viss punkt i en första bild och koordina- terna för samma punkt i den andra bilden uttryckt i något lämpligt koordinatsystem. Förflyttningsvektorerna utgör ett minnesbesparande sätt att lagra beskrivningen av hur registreringsenheten har förflyttats.The description suitably comprises a plurality of transfer vectors, each of which indicates how the unit has moved between the registration of two images. The displacement vectors can be described using the coordinates of a certain point in a first image and the coordinates of the same point in the second image expressed in any suitable coordinate system. The transfer vectors are a memory-saving way of storing the description of how the registration unit has been moved.

I vissa tillämpningar kan det vara en fördel att datorn vet hur registreringsenheten har vridits under handrörelsen. Detta kan exempelvis vara fallet om man vill mata in kalligrafi eller annan information som mot- svarar icke jämntjocka linjer. För detta ändamål kan be- skrivningen innefatta vridningsangivelser, som var och en indikerar hur registreringsenheten har vridits mellan registreringen av två bilder.In some applications, it may be advantageous for the computer to know how the registration unit has been rotated during the hand movement. This can be the case, for example, if you want to enter calligraphy or other information that corresponds to non-even lines. For this purpose, the description may include rotation indications, each of which indicates how the registration unit has been rotated between the registration of two images.

I en utföringsform är anordningen vidare anordnad att bestämma med vilken hastighet registreringsenheten har förflyttats mellan registreringen av två bilder. I denna utföringsform kan anordningen alltså bestämma hastigheten i olika delar av den rörelsebana som defi- nieras av handrörelsen. Detta kan t ex vara intressant om man skall kontrollera autenciteten hos en namnunder- skrift, varvid anordningen för detta ändamål vidare kan vara anordnad att jämföra den bestämda hastigheten med i förväg registrerade hastighetsdata för att kontrollera att den som gör en underskrift verkligen är samma person som den som gjort den tidigare underskriften, från vilken de registrerade hastighetsdatana är hämtade. lO 15 20 25 30 35 s 511 855 Såsom redan nämnts i inledningen utgörs den infor- mation som man vill behandla i en dator ofta av text, dvs tecken av olika slag. Anordningen är därför med fördel inrättad att med hjälp av beskrivningen i digitalt format av hur registreringsenheten har förflyttats, identifiera tecknen och lagra dem i teckenkodat format. För detta ändamål används företrädesvis En fördel ICR-programvara. med att lagra den inmatade informationen i teckenkodat format i anordningen är att den kräver mindre minnes- utrymme.In one embodiment, the device is further arranged to determine at what speed the recording unit has been moved between the recording of two images. In this embodiment, the device can thus determine the speed in different parts of the path of movement defined by the hand movement. This can be interesting, for example, if one is to check the authenticity of a signature, whereby the device for this purpose can further be arranged to compare the determined speed with pre-registered speed data to check that the person making a signature is really the same person as the person who made the previous signature, from which the registered speed data is taken. 10 15 20 25 30 35 p 511 855 As already mentioned in the introduction, the information that you want to process in a computer often consists of text, ie characters of various kinds. The device is therefore advantageously arranged to use the description in digital format of how the registration unit has been moved, identify the characters and store them in character-coded format. An Advantage ICR software is preferably used for this purpose. with storing the entered information in character-coded format in the device is that it requires less memory space.

Anordningen har med fördel ett ljuskänsligt sensor- organ med en tvàdimensionell sensoryta för registreringen av bilderna. Med tvådimensionell sensoryta menas här att sensorytan skall kunna avbilda en yta med en matris av bildpunkter så att bilder med överlappande innehåll kan registreras. Exempel på lämpliga sensorer är en CCD- sensor och en CMOS-sensor.The device advantageously has a light-sensitive sensor means with a two-dimensional sensor surface for the registration of the images. By two-dimensional sensor surface is meant here that the sensor surface should be able to image a surface with an array of pixels so that images with overlapping content can be registered. Examples of suitable sensors are a CCD sensor and a CMOS sensor.

Bestämningen av bildernas inbördes läge bör ske i både horisontell och vertikal led för att det skall bli möjligt att mata in information som definieras av god- tyckliga handrörelser.The mutual position of the images should be determined in both horizontal and vertical directions so that it will be possible to enter information defined by arbitrary hand movements.

Under förflyttningen av registreringsenheten riktas denna mot en yta som avbildas med hjälp av bilderna. En- heten kan föras över ytan i kontakt med denna, varvid handrörelsen utförs på liknande sätt som om man skrev eller ritade på ytan med en penna. Alternativt kan den hållas på avstånd från ytan, som alltså inte behöver vara någon jämn yta utan kan ha vilken som helst topografi, varvid handrörelsen utförs på samma sätt som om man skrev eller ritade i luften. I båda fallen är syftet att re- gistreringsenheten löpande utefter sin rörelsebana skall ta bilder av det som befinner sig i dess synfält.During the movement of the recording unit, it is directed towards a surface which is imaged with the aid of the images. The unit can be moved over the surface in contact with it, whereby the hand movement is performed in a similar way as if writing or drawing on the surface with a pen. Alternatively, it can be kept at a distance from the surface, which thus does not have to be a smooth surface but can have any topography, whereby the hand movement is performed in the same way as if writing or drawing in the air. In both cases, the purpose is for the registration unit to continuously take pictures of what is in its field of view along its path of movement.

För att göra det enklare för användaren att ”se” vad han skriver eller ritar med registreringsenheten inne- fattar anordningen företrädesvis spårorgan för indikering på ytan av hur enheten förflyttas. Spårorganen kan natur- ligtvis innefatta en pennfunktion, men företrädesvis läm- 511 855 e 10 15 20 25 30 35 nar de inga bestående spår pà det underlag mot vilket de riktas. De kan till exempel innefatta ett belysningsorgan som är anordnat att projicera ljus på ytan.To make it easier for the user to "see" what he is writing or drawing with the registration unit, the device preferably comprises track means for indicating on the surface how the unit is moved. The groove means may of course comprise a pen function, but preferably they leave no existing grooves on the surface to which they are directed. They may, for example, comprise a lighting means which is arranged to project light onto the surface.

I en tänkbar utföringsform kan anordningen utöver den rörliga registreringsenheten, innefatta en stationär del, som t ex utgörs av en PC, till vilken registrerings- enheten är kopplad. I en föredragen utföringsform är emellertid hela anordningen rörlig och förflyttas, så att den blir ett hjälpmedel som är enkelt att med sig för användaren och som därmed smidigt kan utnyttjas i alla tänkbara situationer. Speciellt fördelaktig blir anord- ningen när den innehåller den dator till vilken informa- tionsinmatningen skall ske, eftersom datorn då själv kan utföra den nödvändiga behandlingen av de registrerade bilderna.In a possible embodiment, the device may, in addition to the movable recording unit, comprise a stationary part, which for example consists of a PC, to which the recording unit is connected. In a preferred embodiment, however, the entire device is movable and movable, so that it becomes an aid which is easy for the user to carry with them and which can thus be used easily in all conceivable situations. The device becomes particularly advantageous when it contains the computer to which the information is to be entered, since the computer can then carry out the necessary processing of the registered images itself.

I en speciellt föredragen utföringsform är anord- ningen dessutom omställbar till en arbetsmod i vilken den är anordnad att registrera i förväg definierad informa- tion, i synnerhet text, som finns på en informations- bärare genom avbildning av informationen med hjälp av ett flertal bilder med delvis överlappande innehåll. I denna utföringsform utnyttjas anordningens förmåga att regist- rera bilder dubbelt, vilket naturligtvis är attraktivt för användaren som inte behöver utnyttja två olika hjälp- medel med olika tekniska lösningar för dessa funktioner.In a particularly preferred embodiment, the device is furthermore adaptable to a mode of operation in which it is arranged to register predefined information, in particular text, which is present on an information carrier by imaging the information by means of a plurality of images with partially overlapping content. In this embodiment, the device's ability to register images is utilized twice, which is of course attractive to the user who does not have to use two different aids with different technical solutions for these functions.

Anordningen är dessutom med fördel omställbar till ytterligare en arbetsmod i vilken den är anordnad att av- bilda ett objekt som finns på avstånd från anordningen. I denna arbetsmod har anordningen alltså funktionen av en kamera. Denna arbetsmod kan kräva att anordningen är för- sedd med ett flyttbart linssystem som medger skarp av- bildning även på längre avstånd.The device is also advantageously adjustable to a further working mode in which it is arranged to image an object which is at a distance from the device. In this mode of operation, the device thus has the function of a camera. This mode of operation may require the device to be equipped with a movable lens system that allows sharp imaging even at longer distances.

Anordningen kan dessutom med fördel vara försedd med en sändtagare för trådlös kommunikation med en extern enhet. Härigenom kan information föras över mellan anord- ningen och exempelvis en extern dator. Sändtagaren kan lO 15 20 25 30 35 7 511 855 vara en IR-sändtagare, en mobilradiosändtagare eller någon annan lämplig sändtagare.The device can also advantageously be provided with a transceiver for wireless communication with an external device. In this way, information can be transferred between the device and, for example, an external computer. The transceiver may be an IR transceiver, a mobile radio transceiver or any other suitable transceiver.

I en andra aspekt av uppfinningen avser denna ett sätt att till en dator mata in handskriven information i form av tecken, symboler, kurvor, teckningar, kalligrafi och liknande handskriven information som definieras av en handrörelse, innefattande stegen att förflytta en anord- ning med en hand som utför handrörelsen, registrera ett flertal bilder med överlappande innehåll under förflytt- ningen av anordningen och bestämma bildernas inbördes läge med hjälp av det delvis överlappande innehållet för åstadkommande av en beskrivning i digitalt format av hur anordningen har förflyttats. Sättet har samma fördelar som angivits ovan för anordningen.In a second aspect of the invention, it relates to a method of entering into a computer handwritten information in the form of signs, symbols, curves, drawings, calligraphy and similar handwritten information defined by a hand movement, comprising the steps of moving a device with a hand performing the hand movement, registering a plurality of images with overlapping content during the movement of the device and determining the mutual position of the images by means of the partially overlapping content to provide a digital format description of how the device has been moved. The method has the same advantages as stated above for the device.

I en tredje aspekt av uppfinningen avser denna ett sätt att bestämma läget för en anordning som är inrättad att ta ett flertal bilder när den förflyttas, varvid bilderna tas med ett delvis överlappande innehåll som används för att bestämma läget för anordningen. Denna aspekt av uppfinningen kan exempelvis användas för att lösa problemen med positionsbestämningen för tredimen- sionella möss. En tredimensionell mus är ett styrdon med åtminstone sex frihetsgrader. Idag använder man accelera- tionsmätare för att bestämma hur den tredimensionella Nackdelen med dessa accelerationsmätare De kan alltså musen förflyttas. är att de bara kan bestämma relativa lägen. inte avgöra när styrdonet har förflyttats på så sätt att det är tillbaka till utgångsläget. Om en tredimensionell mus istället förses med en eller flera anordningar som är uppbyggda på det sätt som beskrivits ovan kan varje an- ordning användas för att bestämma translationsläget längs och rotationsläget kring en axel genom att ta bilder med delvis överlappande innehåll. Genom att jämföra varje bild med bilden i utgångsläget kan man bestämma när an- ordningen kommer tillbaka till utgångsläget. Genom be- stämning av bildernas inbördes läge och med kännedom om bildregistreringsfrekvensen kan man vidare bestämma has- 511 *ii U'1 20 25 30 35 855 8 tigheten för förflyttningen, förflyttningssträckan och -riktningen och därmed den aktuella positionen.In a third aspect of the invention, it relates to a method of determining the position of a device which is arranged to take a plurality of images as it is moved, the images being taken with a partially overlapping content used to determine the position of the device. This aspect of the invention can be used, for example, to solve the problems of position determination for three-dimensional mice. A three-dimensional mouse is a controller with at least six degrees of freedom. Today, accelerometers are used to determine how the three-dimensional Disadvantage of these accelerometers They can thus move the mouse. is that they can only determine relative positions. do not determine when the controller has been moved so that it is back to its original position. If a three-dimensional mouse is instead provided with one or more devices constructed in the manner described above, each device can be used to determine the translational position along and the rotational position about an axis by taking images with partially overlapping contents. By comparing each image with the image in the initial position, you can determine when the device returns to the initial position. By determining the mutual position of the images and with knowledge of the image registration frequency, one can further determine the speed of the movement, the travel distance and direction and thus the current position.

Kort beskrivning av ritningarna I det följande skall föreliggande uppfinning beskri- vas genom ett exempel som visar hur uppfinningen kan rea- liseras. Beskrivningen hänvisar till bifogade ritningar, på vilka Fig l schematiskt visar en utföringsform av en an- ordning enligt uppfinningen; Fig 2 är ett blockschema över elektroniken i en ut- föringsform av en anordning enligt uppfinningen; Pig 3 är ett flödesschema och visar anordningens funktion; Fig 4 är en schematisk bild som visar hur en yta av- bildas vid inmatning av handgenererad information; Fig 5 visar hur den inmatade informationen kan visas pà en display; Fig 6 är ett flödesschema och visar hur anordningen används i en scannermod; och Fig 7a-7e visar schematiskt hur text registreras i scannermoden.Brief Description of the Drawings In the following, the present invention will be described by way of example, which shows how the invention may be practiced. The description refers to the accompanying drawings, in which Fig. 1 schematically shows an embodiment of a device according to the invention; Fig. 2 is a block diagram of the electronics in an embodiment of a device according to the invention; Pig 3 is a flow chart showing the operation of the device; Fig. 4 is a schematic view showing how a surface is imaged when entering hand-generated information; Fig. 5 shows how the entered information can be shown on a display; Fig. 6 is a flow chart showing how the device is used in a scanner mode; and Figs. 7a-7e schematically show how text is registered in the scanner mode.

Beskrivning av en föredraget utföringsexempel I den i fig 1 visade utföringsformen av anordningen enligt uppfinningen har denna ett hölje l med ungefär samma form som en konventionell överstrykningspenna. Höl- jets ena kortände nar ett fönster 2, vilket är avsett att ligga an mot eller hållas på avstånd från en yta när in- formation skall matas in till en dator med hjälp av an- ordningen. Fönstret 2 är något indraget i höljet så att det inte slits mot pappret. en elek- Höljet 1 inrymmer i huvudsak en optikdel 3, tronikdel 4, till vilken information matas in, och en strömförsörjning 5.Description of a preferred embodiment In the embodiment of the device according to the invention shown in Fig. 1, it has a housing 1 with approximately the same shape as a conventional highlighter. One short end of the housing reaches a window 2, which is intended to abut or be kept at a distance from a surface when information is to be entered into a computer by means of the device. The window 2 is slightly retracted in the cover so that it does not wear against the paper. an electrical housing 1 essentially houses an optics part 3, an electronics part 4, to which information is fed, and a power supply 5.

Optikdelen 3 innefattar en lysdiod 6, ett linssystem 7 och en ljuskänslig sensor 8 som utgör gränssnitt mot elektronikdelen 4. 10 20 25 30 35 9 511 855 Lysdioden 6 har till uppgift att belysa en yta som för tillfället finns under fönstret. En diffusor 9 är monterad framför lysdioden 6 för att sprida ljuset.The optical part 3 comprises an LED 6, a lens system 7 and a light-sensitive sensor 8 which interfaces with the electronics part 4. The function of the LED 6 is to illuminate a surface which is currently located under the window. A diffuser 9 is mounted in front of the LED 6 to scatter the light.

Linssystemets 7 uppgift är att projicera en bild av den yta som befinner sig under fönstret 2 på den ljus- känsliga sensorn 8 på ett så korrekt sätt som möjligt. Om sensorn 8 har mindre ljuskänslig area än fönstret 2 måste linssystemet 7 också förminska bilden.The task of the lens system 7 is to project an image of the surface located under the window 2 on the light-sensitive sensor 8 in as accurate a manner as possible. If the sensor 8 has a less light-sensitive area than the window 2, the lens system 7 must also reduce the image.

Den ljuskänsliga sensorn 8 utgörs i detta exempel av en tvådimensionell, kvadratisk CCD-enhet (CCD = charge coupled device, laddningskopplad anordning) med inbyggd A/D-omvandlare. Sådana sensorer är kommersiellt tillgäng- liga. Sensorn 8 är monterad i liten vinkel mot fönstret 2 och på ett eget kretskort ll.The light-sensitive sensor 8 in this example consists of a two-dimensional, square CCD unit (CCD = charge coupled device) with built-in A / D converter. Such sensors are commercially available. The sensor 8 is mounted at a small angle to the window 2 and on a separate circuit board ll.

'F Strömförsörjningen till pennan erhålls från ett bat- teri l2 som är monterat i ett separat fack 13 i höljet.'F The power supply to the pen is obtained from a battery l2 which is mounted in a separate compartment 13 in the housing.

I blockschemat i Pig 2 visas elektronikdelen 4 sche- vilken via en matiskt. Den innefattar en processor 20, buss 21 är kopplad till ett läsminne 22, i vilket proces- sorns program är lagrade, till ett skriv-läsminne 23, vilket utgör processorns arbetsminne och i vilket bil- derna från sensorn samt identifierade och tolkade tecken samt till sensorn 8 lagras, till en styrlogikenhet 24, och lysdioden 6. Styrlogikenheten 24 är i sin tur kopplad till ett antal periferienheter, som innefattar en display 25, som är monterad i höljet, en IR-sändtagare 26 för överföring av information till/från en extern dator, knappar 27, medelst vilka användaren kan styra anord- ningen och speciellt ställa om anordningen mellan en första mod i vilken handgenererad information skall läsas in, en andra mod i vilken anordningen fungerar som en scannner, och en tredje mod i vilken anordningen fungerar som kamera, en spårlysdiod 28, som sänder ut en ljusstrå- le, vilken gör det lättare för användaren att veta vilken information som han matar in, samt en indikeringsanord- ning 29, t ex en lysdiod, som indikerar när pennan är redo för registrering av information. I styrlogikenheten 511 855 'i 10 15 20 25 30 35 10 24 genereras styrsignaler till minnena, sensorn och peri- ferienheterna. Styrlogiken hanterar även generering och prioritering av avbrott till processorn. Knapparna 27, IR-sändtagaren 26, displayen 25 och spårlysdioden 28, och lysdioden 6 nås genom att processorn skriver och läser i ett register i styrlogikenheten. Knapparna 27 genererar avbrott till processorn 20 när de aktiveras.In the block diagram in Pig 2, the electronic part 4 is shown schematically via a math. It comprises a processor 20, bus 21 is connected to a read memory 22, in which the processor's programs are stored, to a write read memory 23, which constitutes the processor's working memory and in which the images from the sensor as well as identified and interpreted characters and to the sensor 8 is stored, to a control logic unit 24, and the LED 6. The control logic unit 24 is in turn connected to a number of peripheral units, which comprise a display 25, which is mounted in the housing, an IR transceiver 26 for transmitting information to / from a external computer, buttons 27, by means of which the user can control the device and in particular switch the device between a first mode in which hand-generated information is to be read, a second mode in which the device acts as a scanner, and a third mode in which the device operates as a camera, a track LED 28, which emits a light beam, which makes it easier for the user to know what information he is entering, and an indicating device 29, e.g. LED, which indicates when the pen is ready to record information. In the control logic unit 511 855 'in 10 15 20 25 30 35 10 24 control signals are generated for the memories, the sensor and the peripheral units. The control logic also handles the generation and prioritization of interruptions to the processor. The buttons 27, the IR transceiver 26, the display 25 and the track LED 28, and the LED 6 are accessed by the processor writing and reading in a register in the control logic unit. The buttons 27 generate interruptions to the processor 20 when activated.

Anordningens funktion beskrivs i det följande, var- vid det antas att användaren först vill mata in hand- skriven text. Användaren riktar anordningen mot en yta med någon form av mönster. Ytan kan t ex vara ett papper med text på, en vägg eller ett fat med karameller. Han trycker på en knapp 27 för aktivering av anordningen och I ”skriver' därefter den text han vill mata in i med anord- ningen riktad mot den valda ytan. På ytan indikerar spår- lysdioden 28 successivt rörelsebanan med en ljuspunkt så att användaren får en uppfattning om rörelsen. När använ- daren aktiverar pennan, styr processorn 20 lysdioden 6 till att börja stroboskcpera med en förutbestämd frek- vens, lämpligen ca 25 Ez, varvid de av sensorn registre- rade bilderna lagras i läs-skrivminnet 23. När användaren har skrivit den information som han vill mata in släpper han knappen 27, varvid processorn 20 stänger av lysdioden 6. Användaren kan nu styra pennan till att visa den in- matade informationen pa displayen 25 eller till att föra över den till en extern dator via IR-sändtagaren 26. Möj- ligheten att visa den inmatade informationen direkt på displayen har visat sig vara mycket väsentlig eftersom en användare ofta vill verifiera att rätt information har lästs in.The function of the device is described in the following, whereby it is assumed that the user first wants to enter handwritten text. The user directs the device towards a surface with some form of pattern. The surface can be, for example, a paper with text on it, a wall or a dish with candies. He presses a button 27 to activate the device and I then 'write' the text he wants to enter with the device facing the selected surface. On the surface, the track LED 28 successively indicates the path of movement with a light point so that the user gets an idea of the movement. When the user activates the pen, the processor 20 controls the LED 6 to start strobe scanning at a predetermined frequency, preferably about 25 Ez, the images recorded by the sensor being stored in the read-write memory 23. When the user has written the information he wants to input, he releases the button 27, whereby the processor 20 switches off the LED 6. The user can now control the pen to show the entered information on the display 25 or to transfer it to an external computer via the IR transceiver 26. Possible The ability to display the entered information directly on the display has proven to be very important as a user often wants to verify that the correct information has been loaded.

I flödesschemat i fig 3 visas mera i detalj hur an- ordningen fungerar vid inmatning av handgenererad infor- mation. I steg 30l läses bilder med överlappande innehåll in under det att anordning förflyttas relativt den yta vilken den är riktad. mot De inlästa bilderna lagras i läs-skrivminnet 23. De lagras just som bilder, dvs med 20 25 30 11 511 855 hjälp av ett flertal bildpunkter, som var och en har ett gråskalevärde i ett intervall från vitt till svart.The flow chart in Fig. 3 shows in more detail how the device works when entering hand-generated information. In step 301, images with overlapping content are read in while device is moved relative to the surface to which it is directed. against The loaded images are stored in the read-write memory 23. They are stored precisely as images, ie with the aid of a plurality of pixels, each of which has a grayscale value in a range from white to black.

Så snart en bild har registrerats påbörjas en be- stämning av hur den aktuella bilden överlappar den när- mast föregående bilden, steg 302, dvs i vilket inbördes läge man får den bästa överensstämmelsen mellan innehål- För detta ändamål undersöks varje tänkbar sett på bild- let i bilderna. överlappningsposition mellan bilderna, punktsnivå, och bestäms ett överlappningsmàtt enligt följande: l) För varje överlappande bildpunktsposition summe- ras gråskalevärdena för de båda ingående bildpunkterna om dessa inte är vita. En sådan bildpunktsposition i vilken ingen av bildpunkterna är vita betecknas en plusposition. 2) Gråskalesummorna för alla pluspositioner summe- ras. 3) Grannarna till varje bildpunktsposition under- söks. Om en överlappande bildpunktsposition inte är gran- ne till någon plusposition och består av en bildpunkt som är vit och en bildpunktsposition som inte är vit sub- traheras gråskalevärdet för den icke-vita bildpunkten, eventuellt multiplicerat med en konstant, från summan under punkt 2). 4) Den överlappningsposition som ger det högsta överlappningsmåttet enligt ovan väljs. I den hoppassade bilden används medelvärdet av gråskalevärdet för de över- lappande bildpunkterna. På detta sätt kan brus under- tryckas i överlappningsområdet. Hoppassningen sker alltså i både vertikal och horisontell led. Om det detekteras att bilderna vid hoppassningen inte hamnar på en horison- tell linje, injusteras den hoppassade bilden lämpligen så att den blir horisontell, exempelvis genom vridning av den hoppassade bilden.As soon as an image has been registered, a determination is made of how the current image overlaps the immediately preceding image, step 302, ie in which mutual position the best correspondence between contents is obtained. For this purpose, each conceivable look in the pictures. overlap position between the images, point level, and an overlap measure is determined as follows: l) For each overlapping pixel position, the grayscale values for the two input pixels are summed if they are not white. Such a pixel position in which none of the pixels are white is called a plus position. 2) The gray scale sums for all plus positions are summed. 3) The neighbors of each pixel position are examined. If an overlapping pixel position is not adjacent to any plus position and consists of a pixel that is white and a pixel position that is not white, the grayscale value of the non-white pixel, possibly multiplied by a constant, is subtracted from the sum under point 2) . 4) The overlap position that gives the highest overlap dimension as above is selected. In the matched image, the average value of the grayscale value for the overlapping pixels is used. In this way, noise can be suppressed in the overlap area. The adjustment thus takes place in both vertical and horizontal directions. If it is detected that the images do not end up on a horizontal line during matching, the matched image is suitably adjusted so that it becomes horizontal, for example by rotating the matched image.

I vår svenska patentansökan nr 9704924-l och mot- svarande amerikanska ansökan nr 024 641 beskrivs ett alternativt sätt att matcha bilderna för att hitta den 511 855 12 20 25 30 35 bästa överlappningpositionen. Innehållet i dessa an- sökningar inkorporeras härmed i denna ansökan.Our Swedish patent application no. 9704924-l and the corresponding American application no. 024 641 describe an alternative way of matching the images to find the 511 855 12 20 25 30 35 best overlapping position. The content of these applications is hereby incorporated into this application.

När det inbördes läget för de två bilderna har be- stämts, bestämmer processorn 20 i steg 303 en förflytt- ningsvektor, som anger hur långt och i vilken riktning anordningen har flyttats mellan registreringen av bilder- na. Förflyttningsvektorn lagras i minnet som en del av en digital beskrivning av hur anordningen förflyttats. Pro- cessorn bestämmer även hur den andra bilden är vriden i förhållande till den första, dvs hur anordningen har vridits mellan registreringen av bilderna. Vridningen lagras som en vridningsangivelse i minnet och utgör även den del av beskrivningen av hur anordningen har förflyt- tats. När detta steg är utfört kastas den första bilden och den andra bilden görs till den första bilden, var- efter hoppassningen av nästa inlästa bild med denna nya första bild påbörjas.Once the mutual position of the two images has been determined, the processor 20 determines in step 303 a displacement vector, which indicates how far and in which direction the device has been moved between the registration of the images. The transfer vector is stored in memory as part of a digital description of how the device has been moved. The processor also determines how the second image is rotated relative to the first, ie how the device has been rotated between the registration of the images. The rotation is stored as a rotation indication in the memory and also forms part of the description of how the device has been moved. When this step is completed, the first image is discarded and the second image is made into the first image, after which the matching of the next loaded image with this new first image begins.

När anordningen detekterar att inmatningen av en informationsenhet är klar, exempelvis genom att använ- daren släpper knappen 27 eller genom att anordningen hålls stilla minst en förutbestämd tid, avgör anordningen om den inmatade informationen skall tolkas eller ej, steg 304. Om användaren genom knapptryckningar har angivit att den inmatade informationen är textinformation som skall tolkas läser processorn 27 in förflyttningsvektorerna i den aktuella informationsenhetens beskrivning till en ICR-programmodul som identifierar vilket tecken som för- flyttningsvektorerna representerar. Det identifierade tecknet lagras därefter i teckenkodat format i minnet. Om användaren så anger med knapptryckningar kan det tolkade tecknet visas på displayen 25. Om användaren inte angivit att informationen skall tolkas utförs inga ytterligare åtgärder för denna informationsenhet utan anordningen är redo att registrera ytterligare informationsenheter.When the device detects that the input of an information device is complete, for example by the user releasing the button 27 or by holding the device still for at least a predetermined time, the device decides whether or not to interpret the input information, step 304. If the user has indicated that the input information is textual information to be interpreted, the processor 27 reads the displacement vectors in the description of the current information unit into an ICR program module which identifies which character the displacement vectors represent. The identified character is then stored in character encoded format in the memory. If the user so indicates with keystrokes, the interpreted character can be shown on the display 25. If the user has not indicated that the information is to be interpreted, no further actions are performed for this information unit but the device is ready to register additional information units.

I fig 4 visas schematiskt hur bilder tas med över- lappande innehåll när en ovan beskriven anordning riktas mot ett papper och anordningen förs i en rörelsebana som 10 15 20 25 30 35 13 511 855 bildar bokstaven "R". innehållet i bilderna i fig 4.Fig. 4 schematically shows how pictures are taken with overlapping content when a device described above is directed towards a paper and the device is moved in a path of movement which forms the letter "R". the contents of the images in Fig. 4.

För åskådlighetens skull visas inte I fig 5 visas hur en inmatad bokstav R kan återges på anordningens display på basis av de av anordningen be- I detta fall inmatade teck- stämda inbördes lägena för bilderna i fig 4. visar anordningen alltså en ”bild” av det net med hjälp av förflyttningsvektorerna och inte ett tolkat tecken.For the sake of clarity, Fig. 5 does not show how an entered letter R can be reproduced on the display of the device on the basis of the mutually entered character-matched character positions of the images in Fig. 4. The device thus shows an "image" of it net using the displacement vectors and not an interpreted character.

Ovan har beskrivits hur anordningen kan användas i en första mod för inmatning av handgenererad information.It has been described above how the device can be used in a first mode for inputting hand-generated information.

Anordningen kan emellertid också i en andra mod användas som en scanner, dvs för inläsning av text och bildinfor- mation som redan finns definierad på en informations- bärare. Om användaren önskar använda anordningen på detta sätt indikerar han detta med hjälp av lämpliga knapp- tryckningar.However, the device can also be used in a second mode as a scanner, ie for reading text and image information that is already defined on an information carrier. If the user wishes to use the device in this way, he indicates this by means of suitable keystrokes.

Antag i det följande att användaren önskar scanna in text från ett papper. Användaren riktar då anordningen mot pappret med texten på det ställe han vill börja re- gistrera en sekvens av tecken. Han trycker på knappen 27 för aktivering av pennan och förflyttar den över den text som skall registreras, varvid han följer texten på det sätt som man gör när man läser texten. Spårlysdioden 28 utsänder en ljusstråle som underlättar radföljningen. När användaren aktiverar pennan, styr processorn 20 lysdioden 6 till att läsa in bilder på samma sätt som beskrivits ovan i samband med inmatning av handgenererad informa- tion. När användaren har fört anordningen över den valda texten eller kommit till slutet av en teckenrad lyfter han pennan från papperet och släpper aktiveringsknappen, varvid processorn 20 stänger av lysdioden 6.In the following, assume that the user wishes to scan text from a piece of paper. The user then points the device at the paper with the text at the place where he wants to start registering a sequence of characters. He presses the button 27 to activate the pen and moves it over the text to be registered, following the text in the way you do when reading the text. The track LED 28 emits a light beam that facilitates line tracking. When the user activates the pen, the processor 20 controls the LED 6 to load images in the same manner as described above in connection with the input of hand-generated information. When the user has moved the device over the selected text or reached the end of a line of characters, he lifts the pen from the paper and releases the activation button, whereby the processor 20 switches off the LED 6.

I flödesschemat i fig 6 visas mera i detalj hur an- ordningen fungerar i denna mod. I steg 601 läses bilderna med överlappande innehåll in och lagras på motsvarande sätt som i den första moden.The flow chart in Fig. 6 shows in more detail how the device works in this mode. In step 601, the images with overlapping content are read in and stored in the same way as in the first mode.

I steg 602 bestäms den bästa överlappningspositionen för varje par av bilder på motsvarande sätt som beskri- 511 855 14 15 20 25 30 35 vits ovan för den första moden. Bilderna passas ihop i detta läge till en hel hoppassad bild som innehåller ett flertal tecken , eventuellt en hel rad.In step 602, the best overlap position for each pair of images is determined in a manner similar to that described above for the first mode. The images are matched in this mode to a whole matched image that contains several characters, possibly a whole line.

I steg 603 delar processorns 20 programvara in den hoppassade bilden i delbilder som var och en innehåller endast ett tecken. Syftet med detta är att skapa insig- naler till den OCR-programvara som skall tolka tecknen.In step 603, the software of the processor 20 divides the matched image into sub-images, each of which contains only one character. The purpose of this is to create signals to the OCR software that will interpret the characters.

Indelningen görs genom att för varje bildpunktsrad och varje bildpunktskolumn i den hela bilden summera grå- skalevärdena för bildpunkterna. Genom att studera de lokala intensitetsminimana för de erhållna radsummorna och kolumnsummorna kan gränslinjer för varje teckens utsträckning i bilden bestämmas.The division is made by summing the gray-scale values for the pixels for each pixel row and each pixel column in the whole image. By studying the local intensity minimums for the obtained row sums and column sums, boundary lines for the extent of each character in the image can be determined.

I steg 604 skalas var och en av delbilderna ned till förutbestämt ett ildpunktsformat genom att delbilden delas in i grupper av bildpunkter, som var och en ersätts med en bildpunkt vars gråskalevärde motsvarar medelvärdet av de i gruppen ingående bildpunkternas gråskalevärde. En motsvarande skalning kan vid behov göras mellan andra steg i sättet enligt uppfinningen. Vidare centreras teck- net med avseende på tyngdpunkten och normaliseras grå- skalevärdena så att summan av kvadraten på gråskalevärdet får ett fixt värde. i steg 605, för varje bildpunkt Härefter tolkas, varje tecken i den hop- passade bilden av den avbildade teckensekvensen. Grå- skalevärdena för de bildpunkter som tillsammans utgör en delbild som innehåller endast ett tecken matas då som in- signaler till en OCR-programvara. I steg 606 lagras det identifierade tecknet med något förutbestämt teckenkod- i läs-skrivminnet 23 i en format, exempelvis ASCII-kod, minnesarea för tolkade tecken. När teckenidentifieringen och lagringen i teckenkodat format är klar, aktiverar processorn indikeringsanordningen 29 för att informera användaren om att den är redo för registrering av en ny teckensekvens, steg 607. steg 601.In step 604, each of the frames is scaled down to a predetermined pixel format by dividing the frame into groups of pixels, each of which is replaced by a pixel whose grayscale value corresponds to the mean of the grayscale value of the pixels included in the group. A corresponding scaling can be done if necessary between other steps in the method according to the invention. Furthermore, the sign is centered with respect to the center of gravity and the grayscale values are normalized so that the sum of the squares on the grayscale value has a fixed value. in step 605, for each pixel hereinafter, each character in the matched image of the mapped character sequence is interpreted. The grayscale values for the pixels that together form a sub-image that contains only one character are then fed as inputs to an OCR software. In step 606, the identified character with some predetermined character code is stored in the read-write memory 23 in a format, such as ASCII code, memory area for interpreted characters. When the character identification and storage in character encoded format is complete, the processor activates the indicating device 29 to inform the user that it is ready to register a new character sequence, step 607. step 601.

Därefter går den tillbaka till 10 l5 20 25 30 35 15 511 855 Den ovan beskrivna stegen i både den första och den andra moden genomförs alltså av processorn 20 med hjälp av de tillhörande enheterna och lämplig programvara.Then it goes back to 105 20 25 30 35 15 511 855 The steps described above in both the first and the second mode are thus performed by the processor 20 by means of the associated units and suitable software.

Sådana program kan åstadkommas av fackmannen med hjälp av anvisningarna ovan i den mån de inte finns kommersiellt tillgängliga.Such programs can be accomplished by those skilled in the art using the above instructions to the extent that they are not commercially available.

I fig 7a-7e åskådliggörs hur sättet enligt uppfin- ningen fungerar vid inläsning av teckensekvensen ”Flygande bäckasiner”. I fig 7a visas texten på ett PaPPeff svarta fläckar. som också har visst ”punktbrus” i form av små I fig 7b visas de bilder som registreras med hjälp av sensorn. Såsom framgår här överlappar inne- hållet i bilderna delvis vartannat. Bokstaven l förekom- mer t ex helt i bild nr l och delvis i bild nr 2. Graden av överlappning beror på överstrykningshastigheten, dvs den hastighet med vilken användaren drar anordningen över texten i förhållande till den frekvens med vilken inne- hållet i sensorn läses ut. I figur 7c visas hur den hela hoppassade bilden ser ut. Observera att bilden fortfaran- de är lagrad i form av bildpunkter. I 7d åskådliggörs in- delningen av den hela bilden i delbilder. I fig 7e visas de skalade och normaliserade bokstäverna som används som insignaler till det neurala nätet. Efter genomförande av förfarandet finns texten ”Flygande bäckasiner” lagrade i anordningens skriv-läsminne som ASCII-kod. även användas Anordningen kan, såsom angivits ovan, i en tredje mod, nämligen kameramoden, för att ta bilder på föremål som befinner sig på avstånd från anordningen.Figures 7a-7e illustrate how the method according to the invention works when reading the character sequence “Flying brook trout”. Fig. 7a shows the text on a PaPPeff black spot. which also has a certain "point noise" in the form of small Figs. 7b show the images registered with the help of the sensor. As shown here, the content of the images partially overlaps. The letter l appears, for example, entirely in image no. 1 and partly in image no. 2. The degree of overlap depends on the strike-out speed, ie the speed at which the user pulls the device over the text in relation to the frequency with which the contents of the sensor are read out . Figure 7c shows what the whole matched image looks like. Note that the image is still stored in the form of pixels. In 7d the division of the whole image into sub-pictures is illustrated. Fig. 7e shows the scaled and normalized letters used as input signals to the neural network. After carrying out the procedure, the text "Flying brooks" is stored in the device's read-only memory as ASCII code. can also be used The device can, as stated above, in a third mode, namely the camera mode, to take pictures of objects that are at a distance from the device.

För att åstadkomma skarpa avbildningar på olika avstånd kan linssystemet 7 var förflyttbart mellan två fasta lägen, varvid det ena används i scannermoden och det andra i kameramoden. Linssystemet 7 läge kan alternativt vara glidande förflyttbart för åstadkommande av en auto- fokusfunktion. Förflyttningen av linssystemet kan åstad- kommas med samma teknik som används i kameror.In order to produce sharp images at different distances, the lens system 7 can be movable between two fixed positions, one being used in the scanner mode and the other in the camera mode. The position of the lens system 7 may alternatively be slidably movable to provide an autofocus function. The movement of the lens system can be accomplished with the same technology used in cameras.

Claims

511 855 of l0 15 20 25 30 35 16 PATENT CLAIMS

1. A device for inputting into a computer handwritten information in the form of signs, symbols, curves, drawings, calligraphy and similar handwritten information defined by a hand movement, comprising a registration unit arranged to be moved by a hand which performs the hand movement and which is arranged to register a plurality of images with partially overlapping content when it is moved, characterized in that the device is further arranged to determine the relative position of the images by means of the partially overlapping content for providing a digital description of how the device has been moved.

An apparatus according to claim 1, wherein said description comprises a plurality of displacement vectors each indicating how the recording unit has been moved between the recording of two images.

Device according to claim 1 or 2, wherein said description comprises rotation indications, each of which indicates how the recording unit has been rotated between the recording of two images.

Device according to one of the preceding claims, wherein the device is arranged to determine, on the basis of the overlapping content of the images, the speed at which the recording unit has been moved between the recording of two images.

The device according to claim 4, wherein the device is arranged to compare the speed with pre-registered speed data for checking the authenticity of the entered information.

Device according to any one of the preceding claims, wherein the entered information comprises characters and wherein the device is further arranged to identify the characters by means of the description in digital format and to store the identified characters in character coded format. 10 15 20 25 30 35 17 511 855

Device according to one of the preceding claims, wherein the device has a light-sensitive sensor means (8) with a two-dimensional sensor surface for the registration of the images.

Device according to any one of claims 2-8, wherein the device is arranged to determine the mutual position of the images in both horizontal and vertical directions.

Device as claimed in any of the foregoing claims, wherein the recording unit is arranged to be directed during the movement towards a surface which is imaged by means of said plurality of images.

Device according to one of the preceding claims, (28) of the movement of the recording unit. further comprising track means for indicating the surface

Device according to claim 10, wherein the groove means (28) on the surface. includes a lighting means that projects light

Device according to one of the preceding claims, wherein the entire device is movable and arranged to be moved by the hand which performs the hand movement.

Device according to any one of the preceding claims, wherein- (24).

Device according to any one of the preceding claims, in the device comprising said computer wherein the device is switchable to a mode of operation in which it is arranged to record predefined information, preferably text, which is on an information carrier, a through imaging the information using multiple images with partially overlapping content.

Device according to one of the preceding claims, wherein the device is adjustable to a working mode in which it is arranged to image an object which is at a distance from the device.

Device according to any one of the preceding claims, further comprising a transceiver for wireless communication with an external device.

17. A method of entering into a computer (24) handwritten information in the form of signs, symbols, curves, drawings, calligraphy and similar handwritten information defined by a hand movement, comprising the steps of - moving a device with a hand performing the hand movement; - recording a plurality of images with overlapping content during the movement of the device; and - determining the mutual position of the images by means of the partially overlapping content to provide a description in digital format of how the device has been moved.

A method according to claim 17 or 18, wherein the information defined by a hand movement comprises characters and further comprises the steps of identifying the characters by means of the description and storing them in character-coded digital format.

19. l9. Methods of determining the position of a handheld device which is arranged to take a plurality of pictures when it is moved, characterized in that the pictures are taken with partially overlapping contents which are used to determine the position of the device.