ITLU20110013A1

ITLU20110013A1 - VIRTUAL READING DEVICE FOR NON-VISITORS

Info

Publication number: ITLU20110013A1
Application number: IT000013A
Authority: IT
Inventors: Gennaro Borriello
Original assignee: Gennaro Borriello
Priority date: 2011-08-03
Filing date: 2011-08-03
Publication date: 2013-02-04

Description

DESCRIZIONE DESCRIPTION

dell’Invenzione Industriale dal titolo: of the Industrial Invention entitled:

DISPOSITIVO DI LETTURA VIRTUALE PER NON VEDENTI VIRTUAL READING DEVICE FOR THE BLIND

DESCRIZIONE DESCRIPTION

L’invenzione si rivolge al settore delle tecnologie per non vedenti. Più nel dettaglio, l'invenzione riguarda un dispositivo di lettura virtuale per non vedenti. The invention is aimed at the technology sector for the blind. More in detail, the invention relates to a virtual reading device for the blind.

È noto che i non vedenti, per leggere ciò che compare sullo schermo di un computer, possono usare due principali strumenti: la sintesi vocale e il display Braille. It is known that the blind can use two main tools to read what appears on a computer screen: speech synthesis and the Braille display.

In particolare, il display Braille è costituito, nella sua parte fondamentale, da una lastra metallica con tanti forellini, dai quali escono dei perni che vanno a comporre, tramite i caratteri del linguaggio Braille, le varie parole che compaiono sullo schermo. In particular, the Braille display is constituted, in its fundamental part, by a metal plate with many small holes, from which pins come out which, through the characters of the Braille language, compose the various words that appear on the screen.

Esistono ad esempio display Braille con 20, 40 e 80 “celle Braille”, il che significa che il non vedente è in grado di leggere solo un numero limitato di caratteri, dopodiché dovrà utilizzare dei tasti per muoversi e navigare nello schermo. For example, there are Braille displays with 20, 40 and 80 "Braille cells", which means that the blind can only read a limited number of characters, after which they will have to use keys to move and navigate the screen.

Tutti i display Braille hanno perciò bisogno di un software screen reader, owero di un programma in grado di stabilire quale parte dello schermo debba essere evidenziata sulla barra stessa. All Braille displays therefore need a screen reader software, or a program capable of determining which part of the screen should be highlighted on the bar itself.

I display Braille consentono inoltre la sola lettura di un testo e non l’interazione con esso e con il pc che lo supporta: questo limita notevolmente l’operatività del non vedente. Braille displays also allow only the reading of a text and not interaction with it and with the PC that supports it: this greatly limits the operation of the blind.

La presente invenzione ha lo scopo principale di consentire ad un non vedente di leggere in Braille qualsiasi testo, che sia stato scritto originariamente in Braille o meno, interagendo con esso, con una libertà completamente nuova rispetto a tutti gli strumenti impiegati finora. The present invention has the main purpose of allowing a blind person to read in Braille any text, whether it was originally written in Braille or not, interacting with it, with a completely new freedom compared to all the tools used up to now.

Ulteriore scopo è quello di realizzare un dispositivo che sia anche di tipo portatile e permetta al non vedente di leggere in qualsiasi posto si trovi. A further object is to provide a device which is also of the portable type and allows the blind person to read wherever he is.

Tali scopi sono raggiunti con un dispositivo di lettura virtuale per non vedenti comprendente: These purposes are achieved with a virtual reading device for the blind comprising:

- uno spazio fisico contenente informazioni da leggere; - a physical space containing information to be read;

- un dispositivo puntatore di tali informazioni in detto spazio fisico; - mezzi tattili di restituzione in alfabeto Braille di dette informazioni; - un elaboratore collegato a detto spazio fisico contenente le informazioni da leggere, a detto dispositivo puntatore e a detti mezzi tattili, - a pointer device for such information in said physical space; - tactile means of restitution in Braille alphabet of said information; - a computer connected to said physical space containing the information to be read, to said pointer device and to said tactile means,

caratterizzato dal fatto che detto dispositivo puntatore agisce a distanza rispetto a detto spazio fisico ed in modalità tridimensionale e dal fatto che detto elaboratore comprende un software in grado di riconoscere i movimenti nello spazio del dispositivo puntatore e di trasformarli in azioni che agiscono sia sul testo da rendere sotto forma di caratteri Braille, che su detti mezzi tattili. characterized by the fact that said pointer device acts at a distance with respect to said physical space and in three-dimensional mode and by the fact that said computer comprises a software capable of recognizing the movements in the space of the pointer device and transforming them into actions that act both on the text to be render in the form of Braille characters, which on said tactile means.

Secondo un primo aspetto del trovato, detto spazio fisico è una memoria di massa atta a contenere una pluralità di informazioni da leggere. According to a first aspect of the invention, said physical space is a mass memory capable of containing a plurality of information to be read.

Le informazioni da leggere sono di tipo alfanumerico, grafico o sensoriale. The information to be read is alphanumeric, graphic or sensorial.

Secondo un ulteriore aspetto dell’invenzione, detto dispositivo puntatore è fornito di detti mezzi tattili comprendenti almeno una matrice a sei punti, con perni mobili comandati selettivamente da detto elaboratore mediante mezzi di spostamento verticale, di tipo noto, in modo da poter riprodurre i caratteri dell’alfabeto Braille. According to a further aspect of the invention, said pointer device is provided with said tactile means comprising at least a six-point matrix, with movable pins selectively controlled by said processor by means of vertical displacement, of a known type, so as to be able to reproduce the characters of the Braille alphabet.

Secondo un ulteriore aspetto dell’invenzione, il dispositivo puntatore comprende sensori atti a registrare il movimento della/e mano/i dell’utente nello spazio tridimensionale ed il movimento delle singole dita. According to a further aspect of the invention, the pointer device comprises sensors suitable for recording the movement of the user's hand (s) in three-dimensional space and the movement of the individual fingers.

Vantaggiosamente, detto dispositivo puntatore comprende almeno un guanto da realtà virtuale, definito comunemente DataGlove. Advantageously, said pointer device comprises at least one virtual reality glove, commonly referred to as DataGlove.

Il software, inoltre, si occupa anche di convertire un testo da caratteri standard in caratteri Braille, contemporaneamente alla fase di lettura, o preventivamente rispetto ad essa. The software also takes care of converting a text from standard characters into Braille characters, at the same time as the reading phase, or in advance of it.

In una variante dell’invenzione, il dispositivo di lettura virtuale è di tipo integrato e portatile, ove tutti i componenti sono posti sul dispositivo puntatore. In a variant of the invention, the virtual reading device is of the integrated and portable type, where all the components are placed on the pointer device.

L’invenzione presenta numerosi vantaggi. The invention has numerous advantages.

Il dispositivo puntatore agisce a distanza ed in modalità tridimensionale, replicando in tal modo i naturali movimenti dell’utente che legge il testo in caratteri Braille. The pointer device acts remotely and in three-dimensional mode, thus replicating the natural movements of the user who reads the text in Braille characters.

Il movimento in uno spazio tridimensionale può avvenire in tre direzioni: asse x (orizzontale), asse y (profondità) e asse z (verticale). È pure possibile eseguire una rotazione su ognuno dei tre assi. I movimenti possibili sono quindi sei (tre di traslazione e tre di rotazione), pari ai sei gradi di libertà. Movement in three-dimensional space can occur in three directions: x-axis (horizontal), y-axis (depth) and z-axis (vertical). It is also possible to rotate on each of the three axes. The possible movements are therefore six (three of translation and three of rotation), equal to six degrees of freedom.

L’utilizzo di un dispositivo di puntamento in grado di operare a sei gradi di libertà, in luogo di un mouse o di un joystick, e che riconosca, quindi, tutti i tipi di movimento e li trasferisca direttamente al computer, permette di ottenere un valido livello di interazione con l’utente. The use of a pointing device capable of operating at six degrees of freedom, in place of a mouse or a joystick, and which therefore recognizes all types of movements and transfers them directly to the computer, allows to obtain a valid level of interaction with the user.

Il dispositivo migliore per operare in un ambiente 3D è la mano dell’operatore, e quindi risulta molto vantaggioso il guanto per realtà virtuale impiegato in una variante preferita dell’invenzione, in grado di tracciare la posizione e l’orientamento della/e mano/i in relazione agli oggetti, nello specifico le lettere costituenti il testo che si vuole leggere. The best device for operating in a 3D environment is the operator's hand, and therefore the virtual reality glove used in a preferred variant of the invention, capable of tracing the position and orientation of the hand (s), is very advantageous. i in relation to the objects, specifically the letters making up the text to be read.

Si tratta di guanti di tipo noto sui quali sono disposti dei sensori, come ad esempio fibre ottiche ed accelerometri, ma anche eventualmente giroscopi, sensori ad infrarossi, ecc., in grado di segnalare la posizione della mano dell’utente nello spazio tridimensionale e il movimento di ogni singolo dito. These are gloves of a known type on which sensors are arranged, such as optical fibers and accelerometers, but also possibly gyroscopes, infrared sensors, etc., capable of signaling the position of the user's hand in three-dimensional space and the movement of each single finger.

Il guanto virtuale secondo l’invenzione è vantaggiosamente in grado di fornire una risposta tattile alle azioni dell’utente: il dispositivo infatti comprende dei mezzi tattili a matrice di tipo noto associati a detto guanto e posti al di sotto di almeno un dito dell’utilizzatore. The virtual glove according to the invention is advantageously capable of providing a tactile response to the user's actions: the device in fact comprises tactile matrix means of a known type associated with said glove and placed under at least one finger of the user. .

La matrice a sei punti con perni mobili impiegata, grazie ad un sistema in sé noto di comando elettromagnetico, riproduce in caratteri Braille il carattere alfanumerico o il segno puntato in modo virtuale dal dispositivo. The six-point matrix with movable pins used, thanks to a per se known electromagnetic control system, reproduces in Braille characters the alphanumeric character or the sign pointed in a virtual way by the device.

Ulteriori sensori provvisti su altre dita del guanto puntatore possono vantaggiosamente introdurre funzioni aggiuntive alla semplice lettura di un testo: tali funzioni possono essere attivate, ad esempio, muovendo il dito pollice, un po’ come si farebbe per premere il pulsante destro di un mouse. Questo movimento viene interpretato dal sistema come la volontà di attivare un menu contestuale, dal quale poter accedere alle funzioni integrate, che potrebbero essere le più svariate: la ricerca di un termine, il comando salta a pagina, copia da., a.., metti/togli segnalibro, traduci (parola/frase), oppure addirittura attivare una tastiera virtuale con la quale inserire delle note personali, richiamabili successivamente, o inviare mail con gli appunti copiati dal testo che si sta leggendo, ecc... In questo modo il dispositivo secondo l’invenzione potrebbe essere vantaggiosamente utilizzato dai non vedenti anche in ambito professionale, (per leggere documenti, atti), o didattico, (redigere tesi di laurea, compiti, o imparare il Braille stesso). Il dispositivo è realizzabile in modo integrato, così da essere facilmente portabile ed indossabile dall’utilizzatore durante la lettura. Additional sensors provided on other fingers of the pointer glove can advantageously introduce additional functions to the simple reading of a text: these functions can be activated, for example, by moving the thumb finger, a bit like you would press the right button of a mouse. This movement is interpreted by the system as the desire to activate a contextual menu, from which to access the integrated functions, which could be the most varied: the search for a term, the command jump to page, copy from., To .., put / remove bookmark, translate (word / phrase), or even activate a virtual keyboard with which to insert personal notes, which can be recalled later, or send emails with the notes copied from the text you are reading, etc ... In this way the device according to the invention could be advantageously used by the blind also in the professional, (to read documents, deeds), or in teaching, (drafting degree theses, homework, or learning Braille itself). The device can be built in an integrated way, so as to be easily portable and wearable by the user while reading.

I vantaggi dell’invenzione saranno maggiormente evidenti nel seguito, in cui vengono descritte modalità preferite di realizzazione, a titolo esemplificativo e non limitativo, e con l’aiuto delle figure, dove: la Fig. 1 rappresenta uno schema funzionale di un dispositivo di lettura virtuale per non vedenti secondo l’invenzione; The advantages of the invention will be more evident in the following, in which preferred embodiment methods are described, by way of non-limiting example, and with the help of the figures, where: Fig. 1 represents a functional diagram of a reading device virtual for the blind according to the invention;

la Fig. 2 rappresenta, in vista assonometrica parzialmente sezionata, un particolare del dispositivo di Fig. 1 . Fig. 2 represents, in a partially sectioned axonometric view, a detail of the device of Fig. 1.

Con riferimento alle Figure, è mostrato un dispositivo di lettura virtuale 1 per non vedenti. With reference to the Figures, a virtual reading device 1 for the blind is shown.

Detto dispositivo 1 comprende essenzialmente: Said device 1 essentially comprises:

• uno spazio fisico 2 contenente informazioni 3 da leggere; • a physical space 2 containing information 3 to be read;

• almeno un dispositivo puntatore 4 di detto spazio fisico 2 fornito di sensori 7 atti a rilevare il movimento di almeno una mano e delle dita di un utilizzatore U nello spazio tridimensionale; • at least one pointer device 4 of said physical space 2 provided with sensors 7 suitable for detecting the movement of at least one hand and fingers of a user U in the three-dimensional space;

• mezzi tattili 5 di restituzione in alfabeto Braille delle dette informazioni 3 da leggere; • tactile means 5 for returning said information 3 to be read in Braille alphabet;

• un elaboratore 6 collegato a detto dispositivo puntatore 4 e a detti mezzi tattili 5 mediante cavo o in modalità wireless, ove risiede un software in grado di riconoscere i movimenti nello spazio di detto dispositivo puntatore 4 e di trasformarli in azioni che operano sia sul testo da rendere in caratteri Braille, che su detti mezzi tattili 5. Nella variante illustrata in Fig. 1 , detto spazio fisico 2 contenete informazioni da leggere 3 è costituito da un hard disk di un pc, ma alternativamente potrebbe essere un qualsiasi dispositivo di memoria di massa, applicato direttamente al dispositivo puntatore. • a computer 6 connected to said pointer device 4 and to said tactile means 5 by cable or wirelessly, where there is a software capable of recognizing the movements in space of said pointer device 4 and transforming them into actions that operate both on the text to be render in Braille characters, which on said tactile means 5. In the variant illustrated in Fig. 1, said physical space 2 containing information to be read 3 consists of a PC hard disk, but alternatively it could be any mass memory device , applied directly to the pointer device.

Le informazioni da leggere possono essere testi in formato alfanumerico, ma anche segni grafici più complessi, immagini o informazioni sensoriali. The information to be read can be texts in alphanumeric format, but also more complex graphic signs, images or sensory information.

Detto dispositivo puntatore 4 è provvisto di una serie di sensori di varia natura 7, come ad esempio fibre ottiche ed accelerometri, ma anche eventualmente giroscopi, sensori agli infrarossi, ecc... atti a registrare i movimenti della mano dell’utente nello spazio tridimensionale e delle singole dita della mano, in modo da individuare e scorrere le lettere del testo che si desidera leggere e da fornire comandi al software. Said pointer device 4 is provided with a series of various types of sensors 7, such as for example optical fibers and accelerometers, but also possibly gyroscopes, infrared sensors, etc ... suitable for recording the movements of the user's hand in three-dimensional space. and of the single fingers of the hand, in order to locate and scroll the letters of the text you want to read and to give commands to the software.

Detto dispositivo puntatore 4 agisce a distanza rispetto a detto elaboratore 6 ed è costituito vantaggiosamente da almeno un guanto per la realtà virtuale indossabile da un utilizzatore U, come illustrato in Fig. 1. Said pointer device 4 acts at a distance with respect to said processor 6 and is advantageously constituted by at least one glove for virtual reality that can be worn by a user U, as illustrated in Fig. 1.

Secondo una possibile variante dell’invenzione, il dispositivo puntatore 4 può comprendere due guanti per la realtà virtuale. According to a possible variant of the invention, the pointer device 4 can comprise two gloves for virtual reality.

Oltre a registrare e tradurre i movimenti della mano e delle dita della mano, il software è perciò anche in grado di distinguere quale dito di quale mano si sta utilizzando: in tal modo è possibile definire una azione specifica relativa ad un dito specifico di una determinata mano, ad esempio il pollice della mano destra, atto ad attivare con il suo movimento una pluralità di funzioni aggiuntive grazie alle quali l’utilizzatore può interagire con il testo presente in memoria 2. In addition to recording and translating the movements of the hand and fingers of the hand, the software is therefore also able to distinguish which finger of which hand is being used: in this way it is possible to define a specific action relating to a specific finger of a given hand, for example the thumb of the right hand, able to activate with its movement a plurality of additional functions thanks to which the user can interact with the text present in memory 2.

Detti mezzi tattili 5 comprendono una matrice, o cellula Braille, a sei punti con perni mobili, posta sotto il polpastrello del dito indice, prowista per comodità all’interno del guanto, come illustrato in Fig. 2. Detti perni mobili sono comandati selettivamente da detto elaboratore 6 mediante mezzi di spostamento noti, ad esempio di tipo elettromagnetico (non illustrati). Said tactile means 5 comprise a matrix, or Braille cell, with six points with movable pins, placed under the tip of the index finger, provided for convenience inside the glove, as illustrated in Fig. 2. Said movable pins are selectively controlled by said processor 6 by means of known displacement means, for example of the electromagnetic type (not shown).

Il software presente nell’elaboratore 6 pilota i mezzi di spostamento elettromagnetici che a loro volta comandano i perni mobili della matrice Braille, come da tecnica nota. The software present in the computer 6 drives the electromagnetic displacement means which in turn control the movable pins of the Braille matrix, as per known technique.

Il software è inoltre in grado di tradurre in caratteri Braille istantaneamente, o preventivamente rispetto alla lettura, i testi scritti in caratteri alfanumerici. The software is also able to translate texts written in alphanumeric characters into Braille characters instantly, or before reading.

Infine il dispositivo di lettura virtuale 1 , in una variante più completa, comprende anche una tastiera 8 di tipo standard ed uno schermo 9, collegato a detto elaboratore 6, su cui vengono anche visualizzate le informazioni 3 da leggere. Finally, the virtual reading device 1, in a more complete variant, also comprises a keyboard 8 of the standard type and a screen 9, connected to said computer 6, on which the information 3 to be read is also displayed.

In alternativa, le informazioni 3 da leggere possono essere contenute in un supporto esterno al dispositivo, ad esempio una “etichetta a radio frequenza”, secondo la tecnologia RFID, o un tabellone elettronico, un cartellone pubblicitario, ecc... che può essere letto con i movimenti del dispositivo puntatore, purché le informazioni visualizzate siano riprodotte identiche anche nello spazio fisico 2 collegato all’elaboratore 6. Alternatively, the information 3 to be read can be contained in a support external to the device, for example a "radio frequency label", according to RFID technology, or an electronic billboard, an advertising billboard, etc ... which can be read with the movements of the pointer device, provided that the information displayed is reproduced identical also in the physical space 2 connected to the computer 6.

In una versione integrata e portatile del dispositivo, esso comprende esclusivamente un dispositivo puntatore 4, ad esempio un guanto virtuale, che ospita oltre ai sensori 7 ed ai mezzi tattili 5, anche la memoria 2 e l’elaboratore 6, in modo da rendere completamente indossabile il dispositivo di lettura durante il suo uso. In an integrated and portable version of the device, it comprises exclusively a pointer device 4, for example a virtual glove, which houses in addition to the sensors 7 and the tactile means 5, also the memory 2 and the processor 6, so as to make completely wearable the reading device during its use.

Il funzionamento del dispositivo di lettura virtuale 1 per non vedenti secondo l’invenzione è descritto in seguito. The operation of the virtual reading device 1 for the blind according to the invention is described below.

Inizialmente si provvede al caricamento nella memoria 2 delle informazioni 3 da leggere, che possono essere convertite o tradotte in simultanea in linguaggio Braille durante l’utilizzo del dispositivo 4, oppure possono essere elaborate preventivamente in linguaggio Braille ed essere residenti nella memoria di massa 2 già in tale forma. Le informazioni 3 da leggere possono essere acquisite da fonti eterogenee, come ad esempio mediante scanner, oppure potrebbero essere scaricate da internet, da un apposito database di testi Braille. Una volta che il sistema ha in memoria il testo, il dispositivo si mette in attesa di input da parte dell’utente U. Initially, the information 3 to be read is loaded into the memory 2, which can be converted or translated simultaneously into Braille language during the use of the device 4, or can be previously processed in Braille language and be resident in the mass memory 2 already in that form. The information 3 to be read can be acquired from heterogeneous sources, such as by means of a scanner, or they could be downloaded from the Internet, from a specific database of Braille texts. Once the system has the text in memory, the device waits for input from user U.

Tali input sono quelli prodotti dal movimento nello spazio della mano o delle mani che utilizzano il dispositivo puntatore 4 provvisto dei sensori 7: l’utente U, infatti, muove le mani nello spazio dinanzi a sé, esattamente come se avesse un libro da “leggere”. These inputs are those produced by the movement in space of the hand or hands using the pointer device 4 equipped with sensors 7: the user U, in fact, moves his hands in the space in front of him, exactly as if he had a book to "read ".

Il software rileva i movimenti delle mani, in particolare del dito indice e del dito medio di una o di entrambe le mani, e scorre il testo 3 in memoria, comanda i mezzi tattili 5 e quindi i perni della matrice posta sotto al dito del non vedente, componendo i simboli Braille corrispondenti, avendo preventivamente ricevuto l’indicazione sa l’utente è destrimano o mancino e se desidera usare uno o due dispositivi puntatori, ad esempio uno o due guanti. The software detects the movements of the hands, in particular of the index finger and the middle finger of one or both hands, and scrolls the text 3 in memory, controls the tactile means 5 and therefore the pins of the matrix placed under the finger of the non sighted, composing the corresponding Braille symbols, having previously received the indication whether the user is right-handed or left-handed and whether he wishes to use one or two pointer devices, for example one or two gloves.

L’utente può muovere una delle mani, (normalmente, per i destrimani è la mano destra), verso destra o sinistra, tornando indietro e rileggendo il testo appena letto; l’utente può usare il dito indice ed il dito medio dell’altra mano, per scorrere il testo di un rigo più in alto o in basso. The user can move one of the hands, (normally, for right-handers it is the right hand), to the right or left, going back and rereading the text just read; the user can use the index finger and the middle finger of the other hand to scroll the text of a line higher or lower.

Il software presente nell’elaboratore 6 è predisposto anche per ricevere comandi particolari che attivano funzioni speciali, grazie ai sensori di cui è provvisto il dispositivo, ad esempio rilevando i segnali provenienti dal dito pollice, che possono essere utilizzati per attivare una sorta di menù contestuale in cui sono presenti le funzioni aggiuntive sopradescritte. The software present in the computer 6 is also designed to receive particular commands that activate special functions, thanks to the sensors which the device is equipped with, for example by detecting the signals coming from the thumb finger, which can be used to activate a sort of contextual menu. in which the additional functions described above are present.

Claims

CLAIMS 1. Virtual reading device (1) for blind people comprising: - a physical space (2) containing information (3) to be read; - a pointer device (4) of such information in said physical space; - tactile means (5) for returning said information in Braille alphabet; - a computer (6) connected to said physical space (2) containing the information (3) to be read, to said pointer device (4) and to said tactile means (5), characterized by the fact that said pointer device (4) acts at a distance from said physical space (2) and in three-dimensional mode and by the fact that said computer (6) comprises software capable of recognizing the movements in space of the pointer device (4 ) and to transform them into actions that act both on the text to be rendered in the form of Braille characters, and on said tactile means (5).

2. Virtual reading device (1) according to claim 1, characterized in that said physical space (2) is a mass memory capable of containing a plurality of information (3) to be read.

Virtual reading device (1) according to claim 1, characterized in that said information (3) to be read are of the alphanumeric, graphic or sensorial type.

Virtual reading device (1) according to claim 1, characterized in that said tactile means (5) comprise at least a six-point matrix with movable pins selectively controlled by said processor (6) by means of vertical displacement.

Virtual reading device (1) according to claim 1, characterized in that said pointer device (4) comprises sensor means (7) adapted to record the movement of the user's hand (s) in three-dimensional space and the movement of the individual fingers.

Virtual reading device (1) according to claim 1, characterized in that said pointer device (4) comprises said tactile means (5).

Virtual reading device (1) according to claim 1, characterized in that said pointer device (4) comprises at least one virtual reality glove.

Virtual reading device (1) according to claim 1, characterized in that said software is also involved in converting a text from standard characters into Braille characters, simultaneously with the reading step, or in advance of it.

Virtual reading device (1) according to claim 1, characterized in that it is of the integrated and portable type, where all the components are placed on said pointer device (4).