IT201800002791A1 - System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa - Google Patents
System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa Download PDFInfo
- Publication number
- IT201800002791A1 IT201800002791A1 IT102018000002791A IT201800002791A IT201800002791A1 IT 201800002791 A1 IT201800002791 A1 IT 201800002791A1 IT 102018000002791 A IT102018000002791 A IT 102018000002791A IT 201800002791 A IT201800002791 A IT 201800002791A IT 201800002791 A1 IT201800002791 A1 IT 201800002791A1
- Authority
- IT
- Italy
- Prior art keywords
- gestures
- signs
- terms
- sequence
- vocal
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Machine Translation (AREA)
Description
DESCRIZIONE dell'Invenzione Industriale dal titolo: Sistema e metodo automatico di traduzione da una forma espressiva di linguaggio mediante segni e/o gesti in una diversa forma espressiva del linguaggio di tipo scritto, vocale e/o di altro tipo e/o viceversa DESCRIPTION of the Industrial Invention entitled: System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa
TESTO DELLA DESCRIZIONE TEXT OF THE DESCRIPTION
La presente invenzione ha per oggetto un sistema ed un metodo automatico di traduzione da una forma espressiva di linguaggio mediante segni e/o gesti in una diversa forma espressiva del linguaggio di tipo scritto, vocale e/o di altro tipo e/o viceversa. The present invention relates to a system and an automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa.
La presente invenzione si colloca in generale nel settore dei sistemi di traduzione del linguaggio a favore della comunicazione specificamente a sostegno delle categorie di persone affette da condizioni che limitano la loro capacità espressiva, nello specifico del caso dalle categorie di persone incapaci di pronunciare suoni articolati o di rilevare suoni (mutismo e o sordità) che necessitano di utilizzare il linguaggio dei segni a sostituzione di quello vocale. The present invention is generally placed in the sector of language translation systems in favor of communication specifically in support of the categories of people affected by conditions that limit their expressive capacity, in the specific case of the categories of people unable to pronounce articulated sounds or to detect sounds (mutism and deafness) that need to use sign language to replace vocal language.
In Italia, la perdita di udito è suddivisa in quattro gradi fasce, secondo la classificazione del Decreto Ministeriale 5.2.1992: In Italy, hearing loss is divided into four degrees, according to the classification of the Ministerial Decree 5.2.1992:
• Lieve, tra i 20 e 40 decibel di perdita di udito; • Media, tra i 40 e i 70 decibel. • Mild, between 20 and 40 decibels of hearing loss; • Average, between 40 and 70 decibels.
• Grave, tra i 70 e i 90 decibel. • Severe, between 70 and 90 decibels.
• Profonda, con soglia uguale o superiore ai 90 decibel. • Deep, with a threshold equal to or greater than 90 decibels.
Solo in Italia si contano 5 milioni di audiolesi, di cui 70.000 sordomuti o sordi pre-linguali. In Italy alone there are 5 million hearing impaired people, of which 70,000 deaf or deaf pre-lingual.
L’obiettivo dell’invenzione è quello di offrire un sistema per semplificare le modalità di comunicazione attraverso l’utilizzo di sistemi intelligenti che sulla base di SW specifico ed altamente performante siano in grado di tradurre quello che per semplificazione è chiamato “linguaggio dei segni” in forma testuale (o vocale) e viceversa. The aim of the invention is to offer a system to simplify the communication methods through the use of intelligent systems which, based on specific and highly performing SW, are able to translate what is called "sign language" for simplification. in textual (or vocal) form and vice versa.
Secondo un ulteriore aspetto, l’invenzione vuole consentire sia la traduzione del linguaggio specificamente per quelle categorie di persone affette da disfunzioni che limitano la propria capacità comunicativa, sia per aiutare le persone non affette da tali condizioni ad interfacciarsi con persone che subiscono questa disfunzione. According to a further aspect, the invention aims to allow both the translation of language specifically for those categories of people suffering from dysfunctions that limit their communication skills, and to help people not affected by these conditions to interface with people who suffer from this dysfunction.
Il linguaggio dei gesti è un sistema che consente la comunicazione rapida tra persone presentanti condizioni di mutismo o sordità. Tuttavia, questo linguaggio è sostanzialmente differente a seconda della lingua della persona. The language of gestures is a system that allows rapid communication between people with conditions of mutism or deafness. However, this language is substantially different depending on the language of the person.
Secondo un ulteriore aspetto la presente invenzione mira anche a dare la possibilità di gestire la traduzione nella lingua dell’utilizzatore, cioè nella specifica codifica del linguaggio dei segni padroneggiato dall’utilizzatore quando questa è diversa dalla codifica del linguaggio dei segni utilizzato da colui che trasmette il messaggio. According to a further aspect, the present invention also aims to give the possibility of managing the translation into the user's language, i.e. in the specific coding of the sign language mastered by the user when this is different from the coding of the sign language used by the person who transmits. the message.
Ancora secondo un aspetto la presente invenzione, mira a consentire l’utilizzo della comunicazione telefonica e della messaggistica anche ad utenti affetti dalle disabilità espressive sopra esposte e ciò sia in trasmissione sia in ricezione di messaggi. Still according to one aspect, the present invention aims to allow the use of telephone communication and messaging also to users suffering from the expressive disabilities described above and this both in transmission and reception of messages.
L’invenzione consegue gli scopi su esposti con un sistema automatico di traduzione da una forma espressiva di linguaggio mediante segni e/o gesti in una diversa forma espressiva del linguaggio di tipo scritto, vocale e/o di altro tipo e/o viceversa, il quale sistema comprende: The invention achieves the above purposes with an automatic translation system from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa, the which system includes:
- una unità di acquisizione di una comunicazione mediante un segno od un gesto o mediante una sequenza temporale di segni e/o gesti; - a unit of acquisition of a communication through a sign or a gesture or through a temporal sequence of signs and / or gestures;
- una memoria di memorizzazione del detto segno e/o gesto e/o della detta sequenza temporale di segni e/o gesti; - a memory for memorizing said sign and / or gesture and / or said temporal sequence of signs and / or gestures;
- una unità di elaborazione che è configurata in modo da analizzare il detto segno o gesto o la detta sequenza di segni e/o gesti ed identificare il termine o la sequenza di termini scritti e/o verbali; - a processing unit which is configured so as to analyze said sign or gesture or said sequence of signs and / or gestures and identify the term or sequence of written and / or verbal terms;
- eventualmente una memoria di memorizzazione del termine o della sequenza di termini nella forma espressiva scritta e/o vocale; - possibly a memory for storing the term or sequence of terms in the written and / or vocal expressive form;
- una unità di riproduzione del detto termine o della detta sequenza di termini scritti e/o verbali, la detta unità di riproduzione comprendendo in combinazione od in alternativa ed attivando alla riproduzione in combinazione od in alternativa una unità di riproduzione acustica della forma espressiva vocale e/o un display di visualizzazione della detta sequenza di termini scritti. - a reproduction unit of said term or of said sequence of written and / or verbal terms, said reproduction unit comprising in combination or alternatively and activating for reproduction in combination or alternatively an acoustic reproduction unit of the vocal expressive form and / or a display showing the said sequence of written terms.
Secondo una forma esecutiva il sistema comprende una unità di immissione di comunicazioni costituite da un termine o da una sequenza di termini nella forma espressiva scritta e/o nella forma espressiva vocale, essendo l’unità di elaborazione configurata in modo da analizzare il termine o la sequenza di termini nella forma espressiva scritta e/o nella forma espressiva vocale ed identificare il segno o gesto o la sequenza di segni e/o gesti corrispondente al detto termine od alla detta sequenza di termini nella forma espressiva scritta e/o vocale, mentre è prevista una unità di riproduzione del segno o gesto o della sequenza di segni o gesti corrispondenti al detto termine od alla detta sequenza di termini e che è costituita da una rappresentazione virtuale di un personaggio umano od umanoide provvisto degli arti dedicati alla riproduzione del segno o gesto e che esegue il segno o gesto o la sequenza di segni o gesti. According to an embodiment, the system comprises a communication input unit consisting of a term or a sequence of terms in the written expressive form and / or in the vocal expressive form, the processing unit being configured so as to analyze the term or the sequence of terms in the written expressive form and / or in the vocal expressive form and identify the sign or gesture or the sequence of signs and / or gestures corresponding to the said term or the said sequence of terms in the written and / or vocal expressive form, while it is provided for a unit for reproducing the sign or gesture or the sequence of signs or gestures corresponding to said term or said sequence of terms and which consists of a virtual representation of a human or humanoid character equipped with limbs dedicated to the reproduction of the sign or gesture and who performs the sign or gesture or the sequence of signs or gestures.
Una forma esecutiva prevede che le unità di acquisizione del segno o gesto e/o della sequenza di segni o gesti sono costituiti da una telecamera o simili che genera un filmato digitale di un soggetto che esegue un segno, un gesto od una sequenza di segni e/o gesti, mentre le unità di riproduzione dei detti segni o gesti o delle dette sequenze di segni o di gesti sono costituiti da un display. An embodiment provides that the acquisition units of the sign or gesture and / or the sequence of signs or gestures consist of a camera or the like that generates a digital film of a subject performing a sign, a gesture or a sequence of signs and / or gestures, while the units for reproducing said signs or gestures or said sequences of signs or gestures consist of a display.
Secondo una ulteriore caratteristica le unità di acquisizione e di riproduzione di termini o sequenze di termini nella forma espressiva vocale sono costituiti rispettivamente da almeno un microfono e da almeno un altoparlante. According to a further characteristic, the units for acquiring and reproducing terms or sequences of terms in the vocal expressive form consist respectively of at least one microphone and at least one loudspeaker.
Ancora una forma esecutiva prevede che le unità di acquisizione e le unità di riproduzione del termine o della sequenza di termini in una forma espressiva di linguaggio scritta sono costituite rispettivamente da una tastiera per l’immissione di caratteri ed altri simboli e comandi di scrittura e da uno schermo di riproduzione dei detti caratteri, simboli e/o altri comandi di scrittura. Another embodiment provides that the acquisition units and the reproduction units of the term or of the sequence of terms in an expressive form of written language are respectively constituted by a keyboard for entering characters and other symbols and writing commands and by a screen for reproducing said characters, symbols and / or other writing commands.
In una forma esecutiva le dette unità di acquisizione e le unità di riproduzione di segni o gesti e/o di sequenze di segni o di gesti e/o le dette unità di acquisizione e le unità di riproduzione di termini o di sequenze di termini testuali e/o vocali, le memorie e l’unità di elaborazione sono costituite rispettivamente da una o più telecamere di acquisizione, da almeno un microfono, da una tastiera di immissione di caratteri alfanumerici, dalle memorie e dal processore principale e/o dal processore grafico di un dispositivo portatile come uno smartphone, un phablet, un tablet, un notebook o simili o da un dispositivo stazionario, come un PC desktop una workstation o simili nei quali è installato un programma che codifica le istruzioni necessarie per configurare le dette unità dei detti dispositivi portatili o stazionarie alle esecuzioni delle funzioni per il riconoscimento e la traduzione nonché la riproduzione nella forma tradotta delle comunicazioni espresse in forme espressive diverse come segni o gesti, espressione testuale e/o espressione vocale. In one embodiment, the said acquisition units and the reproduction units of signs or gestures and / or sequences of signs or gestures and / or the said acquisition units and the reproduction units of terms or sequences of textual terms and / or vocal, the memories and the processing unit are respectively constituted by one or more acquisition cameras, by at least one microphone, by a keyboard for entering alphanumeric characters, by the memories and by the main processor and / or by the graphic processor of a portable device such as a smartphone, a phablet, a tablet, a notebook or the like or from a stationary device, such as a desktop PC, a workstation or the like in which a program is installed that encodes the instructions necessary to configure the said units of said devices portable or stationary to perform functions for recognition and translation as well as reproduction in the translated form of communications expressed in different expressive forms rse as signs or gestures, textual expression and / or vocal expression.
In una delle suddette varianti esecutive, il sistema è sviluppato in forma di applicazione mobile per smartphone, phablet, tablet o simili, sfruttando la diffusione della tecnologia e dell’espansione nel mondo delle comunicazioni. In one of the aforementioned executive variants, the system is developed in the form of a mobile application for smartphones, phablets, tablets or the like, taking advantage of the spread of technology and expansion in the world of communications.
In una variante esecutiva il sistema prevede un duplice funzionamento: In an executive variant, the system provides a dual operation:
Video to Text/Speech: tramite l’utilizzo di una sistema di acquisizione video viene registrata una persona intenta a dialogare tramite linguaggio dei segni. Il software sviluppato tramite tecniche di pattern matching elabora quanto registrato e ne attribuisce un significato testuale che possibilmente appare sullo schermo del device. In tal momento il sistema può riprodurre anche il vocale riferito a al testo tradotto. In questo modo una persona riesce a interpretare il linguaggio di una persona affetta da mutismo. Video to Text / Speech: through the use of a video acquisition system, a person is recorded intent on communicating through sign language. The software developed through pattern matching techniques processes what is recorded and gives it a textual meaning that possibly appears on the device screen. At this time the system can also reproduce the vowel referring to the translated text. In this way a person is able to interpret the language of a person with dumbness.
Text/Speech to Video: tramite l’utilizzo di un sistema di acquisizione testuale o di audio una persona indica il proprio messaggio. Il software sviluppato interpreta il testo immesso (nel caso di audio questo viene automaticamente convertito in testo) e lo traduce in una rappresentazione grafica che indica il significato del messaggio tramite linguaggio dei segni. In tal modo si conferisce la possibilità di interfacciarsi con persone attraverso l’utilizzo di messaggi gestuali. Text / Speech to Video: through the use of a text or audio acquisition system, a person indicates their message. The developed software interprets the text entered (in the case of audio this is automatically converted into text) and translates it into a graphic representation that indicates the meaning of the message through sign language. In this way, it is possible to interface with people through the use of gestural messages.
Il sistema viene pensato per consentire non soltanto la comunicazione diretta in loco ma anche a distanza sfruttando la connessione internet. The system is designed to allow not only direct communication on site but also remotely using the internet connection.
La comunicazione avviene o tramite la comunicazione cellulare o sfruttando un unico dispositivo mobile. Communication takes place either via cellular communication or using a single mobile device.
Inoltre, il sistema prevede la gestione multilingua conferendo la possibilità di comunicazione anche tra soggetti che parlano di diverse lingue, essendo il linguaggio dei segni differente a seconda della tipologia di lingua. Furthermore, the system provides for multilingual management, giving the possibility of communication even between subjects who speak different languages, as the sign language differs according to the type of language.
Una variante esecutiva fra le precedenti prevede la possibilità di utilizzare il sistema anche tramite PC o tecnologia analoga. An executive variant among the previous ones provides for the possibility of using the system also via PC or similar technology.
Come appare evidente da quanto sopra il sistema può essere configurato per funzionare sia in modalità stand-alone, in cui tutto il procedimento avviene su un singolo device, sia in multiutente, dove si prevede la connessione tra più utenti. As is evident from the above, the system can be configured to operate both in stand-alone mode, in which the whole procedure takes place on a single device, and in multi-user mode, where the connection between multiple users is envisaged.
In questo caso si copre la necessità di superare il vincolo spaziale delle persone, consentendo di inviare traduzioni e connettere più utenti contemporaneamente (es effettuo un gesto, traduco in testo, invio il testo). In caso stand-alone invece la traduzione è fatta su un solo device. In this case, the need to overcome the spatial constraint of people is covered, allowing you to send translations and connect multiple users at the same time (eg I make a gesture, translate into text, send the text). In the stand-alone case, the translation is done on a single device.
La funzionalità multiutente consente anche di estendere le funzionalità della comunicazione wireless o telefonica fra utenti diversi. In questo caso il sistema consente la comunicazione telefonica od a distanza fra due o più utenti affetti da disabilità espressiva oppure fra utenti con diverse abilità espressive e di ricezione di comunicazioni e che parlano diverse lingue, estendendo di fatto la comunicazione telefonica tipicamente esclusivamente riservata a persone abili a ricevere segnali acustici e ad esprimere messaggi vocali anche a persone con limitate capacita uditive e vocali o per le quali queste capacità sono precluse. The multi-user functionality also allows you to extend the functionality of wireless or telephone communication between different users. In this case, the system allows telephone or remote communication between two or more users with expressive disabilities or between users with different expressive and communication abilities and who speak different languages, extending the telephone communication typically exclusively reserved for people. able to receive acoustic signals and to express vocal messages even to people with limited hearing and vocal abilities or for whom these abilities are precluded.
Dal punto di vista della elaborazione, una forma esecutiva dell’invenzione che può essere prevista in combinazione con una o più qualsivoglia delle precedenti varianti e forme esecutive prevede che l’analisi ed il riconoscimento dei segni o dei gesti e mediante algoritmi di pattern od image matching, mentre i corrispondenti termini o le sequenze di termini testuali sono ricostruite per mezzo di un dizionario che associa a ciascun segno o gesto ed a ciascuna sequenza di segni o gesti almeno uno specifico termine e/o una specifica sequenza di termini testuali e/o vocali e/o, From the point of view of processing, an embodiment of the invention that can be provided in combination with one or more any of the previous variants and embodiments provides that the analysis and recognition of signs or gestures and by means of pattern or image algorithms matching, while the corresponding terms or sequences of textual terms are reconstructed by means of a dictionary that associates to each sign or gesture and to each sequence of signs or gestures at least a specific term and / or a specific sequence of textual terms and / or vowels and / or,
viceversa viene seguita una analisi ed un riconoscimento di termini e/o sequenze di termini espresse in forma scritta e/o vocale, mentre i corrispondenti segni o gesti o le corrispondenti sequenze di segni o di gesti sono ricostruiti per mezzo di un dizionario che associa a ciascun termine o a ciascuna sequenza di termini nella forma espressiva dei segni o dei gesti un termine od una sequenza di termini nella forma espressiva scritta e/o vocale. vice versa, an analysis and recognition of terms and / or sequences of terms expressed in written and / or vocal form is followed, while the corresponding signs or gestures or the corresponding sequences of signs or gestures are reconstructed by means of a dictionary that associates to each term or each sequence of terms in the expressive form of signs or gestures a term or sequence of terms in the written and / or vocal expressive form.
In una forma esecutiva i segni o gesti e/o la sequenza di segni e/o gesti sono sotto forma di file video digitali e/o i termini e/o le sequenze di termini in forma scritta sono sotto forma di file di testo e/o i termini e/o le sequenze di termini nella forma espressiva vocale sono sotto forma di file audio. In an embodiment the signs or gestures and / or the sequence of signs and / or gestures are in the form of digital video files and / or the terms and / or the sequences of terms in written form are in the form of a text file and / or terms and / or sequences of terms in the vocal expressive form are in the form of an audio file.
Una variante esecutiva può prevedere una unità di elaborazione comprendente: An executive variant can provide a processing unit comprising:
- un sottosistema di analisi e riconoscimento dei segni e/o dei gesti e delle dette sequenze di segni e/o gesti e/o dei termini testuali e/o vocali o delle sequenze di detti termini testuali e/o vocali con un processore configurato per analizzare file video che rappresentano soggetti reali o virtuali che eseguono detti segni e/o gesti o dette sequenze di segni e/o gesti grazie all’esecuzione di un software in cui sono codificate le istruzioni per applicare ai detti file video uno od una combinazione o concatenazione di algoritmi di image processing scelti fra uno o più dei seguenti algoritmi: algoritmi di pattern matching, algoritmi di image matching, algoritmi di gesture recognition, algoritmi predittivi e/o di classificazione, - a subsystem for the analysis and recognition of signs and / or gestures and said sequences of signs and / or gestures and / or textual and / or vocal terms or sequences of said text and / or speech terms with a processor configured for analyze video files that represent real or virtual subjects that perform said signs and / or gestures or said sequences of signs and / or gestures thanks to the execution of a software in which the instructions for applying to said video files one or a combination or concatenation of image processing algorithms chosen from one or more of the following algorithms: pattern matching algorithms, image matching algorithms, gesture recognition algorithms, predictive and / or classification algorithms,
un sottosistema di comparazione che compara i detti segni od i detti gesti e/o le dette sequenze di segni e/o di gesti nei file video e/o i termini testuali o vocali e/o le sequenze di termini testuali o vocali dei file di testo e audio che sono stati riconosciuti ed identificati nel passo precedente con rispettivamente i segni e/o gesti e/o le sequenze di segni e/o di gesti e/o i termini o le sequenze di termini testuali o vocali presenti in un dizionario che associa segni o gesti e sequenze di segni o di gesti ad almeno un termine testuale e/o vocale o ad almeno una sequenza di termini testuali e/o vocali e viceversa. a comparison subsystem that compares said signs or gestures and / or said sequences of signs and / or gestures in video files and / or text or speech terms and / or sequences of text or speech terms in text files and audio that have been recognized and identified in the previous step with respectively the signs and / or gestures and / or the sequences of signs and / or gestures and / or the terms or the sequences of textual or vocal terms present in a dictionary that associates signs o gestures and sequences of signs or gestures to at least one textual and / or vocal term or to at least one sequence of textual and / or vocal terms and vice versa.
Ancora secondo una ulteriore variante esecutiva che può essere eventualmente prevista, il sistema secondo una o più delle precedenti forme esecutive e varianti prevede che gli algoritmi di image processing o di pattern matching sono costituiti da classificatori e/o algoritmi predittivi essendo previsto un database di training e testing comprendente casi noti di combinazione di file video e/o file audio e/o file testo con i corrispondenti identificatori dei segni gesti e/o termini e delle sequenze di detti segni, gesti o termini rappresentati nei file e/o con le corrispondenti traduzioni rispettivamente nei segni, gesti, termini e nelle sequenze di questi, Still according to a further executive variant that can possibly be provided, the system according to one or more of the previous embodiments and variants provides that the image processing or pattern matching algorithms are constituted by classifiers and / or predictive algorithms being provided for a training database and testing including known cases of combining video files and / or audio files and / or text files with the corresponding identifiers of the signs, gestures and / or terms and the sequences of said signs, gestures or terms represented in the files and / or with the corresponding translations respectively in the signs, gestures, terms and sequences of these,
l’unità di elaborazione comprendendo un sottosistema di analisi di errore sulla base di correzioni e/o indicazioni immesse dall’utente e/o dei parametri di fitness degli algoritmi di classificazione e/o predittivi, la quale sottosezione provvede a integrare il detto database di training e/o eventualmente il detto dizionario. the processing unit comprising an error analysis subsystem based on corrections and / or indications entered by the user and / or the fitness parameters of the classification and / or predictive algorithms, which subsection integrates the said database of training and / or possibly the said dictionary.
Una forma esecutiva del sistema prevede un server centrale od un server cloud, nel quale sono memorizzati una pluralità di diversi dizionari che comprendono la traduzione di termini testuali e/o vocali in una o più lingue testuali o vocali e/o nelle forme espressive di uno o più linguaggi dei segni e/o gesti e dal quale server o cloud è possibile scaricare uno o più dei diversi dizionari secondo le esigenze. An executive form of the system provides a central server or a cloud server, in which a plurality of different dictionaries are stored which include the translation of textual and / or vocal terms into one or more textual or vocal languages and / or in the expressive forms of one or more sign and / or gesture languages and from which server or cloud it is possible to download one or more of the different dictionaries according to the needs.
L’invenzione si riferisce anche ad un metodo automatico per la traduzione da una forma espressiva di linguaggio mediante segni e/o gesti in una diversa forma espressiva del linguaggio di tipo scritto, vocale e/o di altro tipo come pure un diverso linguaggio mediante segni e/o gesti, e/o viceversa per un sistema secondo una o più delle precedenti forme esecutive e varianti. Il detto metodo comprende i seguenti passi: The invention also relates to an automatic method for translating from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language as well as a different language by means of signs. and / or gestures, and / or vice versa for a system according to one or more of the previous executive forms and variants. The said method includes the following steps:
generare e/o importare un dizionario che comprende una pluralità di diversi segni e/o gesti e/o una o più sequenze di segni e/o di gesti di almeno uno o più diversi linguaggi dei segni ed almeno un corrispondente termine e/o una corrispondente sequenza di termini di una forma espressiva testuale e/o vocale in una o più lingue generate and / or import a dictionary that includes a plurality of different signs and / or gestures and / or one or more sequences of signs and / or gestures of at least one or more different sign languages and at least one corresponding term and / or one corresponding sequence of terms of a textual and / or vocal form of expression in one or more languages
acquisire una ripresa video di un soggetto che esprime una comunicazione mediante un linguaggio dei segni comprendente uno o più segni o gesti od una sequenza temporale di segni o di gesti; acquire a video shot of a subject expressing a communication through a sign language comprising one or more signs or gestures or a temporal sequence of signs or gestures;
eventualmente memorizzare li file video generato da detta ripresa; optionally storing the video file generated by said shooting;
sottoporre le immagini di detto file video ad una elaborazione mediante un algoritmo od una combinazione di algoritmi di analisi e di riconoscimento del o dei segni e/o del o dei gesti; subjecting the images of said video file to processing by means of an algorithm or a combination of algorithms for analyzing and recognizing the sign (s) and / or gesture (s);
comparare i detti segni o gesti o le dette sequenza di segni o di gesti con i segni o gesti e/o le sequenze di segni e/o di gesti compresi nel detto dizionario secondo il detto uno o più linguaggio dei segni ed identificare il corrispondente termine o la corrispondente sequenza di termini nel linguaggio testuale e/o vocale e/o il corrispondente segno e/o gesto o la corrispondente sequenza di segni o gesti nell’ulteriore diverso linguaggio dei segni; compare the said signs or gestures or the said sequence of signs or gestures with the signs or gestures and / or the sequences of signs and / or gestures included in the said dictionary according to the said one or more sign language and identify the corresponding term o the corresponding sequence of terms in textual and / or vocal language and / or the corresponding sign and / or gesture or the corresponding sequence of signs or gestures in the further different sign language;
generare un file video e/o un file audio e/o un file di testo rispettivamente per il corrispondente segno e/o gesto o la corrispondente sequenza di segni o gesti nell’ulteriore diverso linguaggio dei segni e/o per il corrispondente termine o per la corrispondente sequenza di termini nel linguaggio vocale e/o testuale; generate a video file and / or an audio file and / or a text file respectively for the corresponding sign and / or gesture or the corresponding sequence of signs or gestures in the further different sign language and / or for the corresponding term or for the corresponding sequence of terms in the vocal and / or textual language;
eventualmente memorizzare il detto file video e/o il detto file audio e/o il detto file testuale; possibly storing said video file and / or said audio file and / or said textual file;
riprodurre il detto file video e/o il detto file audio e/o il detto file testuale. reproduce said video file and / or said audio file and / or said textual file.
Ulteriori caratteristiche e perfezionamenti sono oggetto delle sottorivendicazioni. Further features and improvements are the subject of the subordinate claims.
Le caratteristiche dell’invenzione ed i vantaggi della presente invenzione risulteranno più chiaramente dalla seguente descrizione di alcuni esempi esecutivi illustrati nei disegni allegati in cui: The characteristics of the invention and the advantages of the present invention will become clearer from the following description of some executive examples illustrated in the attached drawings in which:
La fig.1 illustra uno schema a blocchi di una forma esecutiva del sistema secondo la presente invenzione. Fig. 1 illustrates a block diagram of an embodiment of the system according to the present invention.
La fig. 2 mostra uno schema a blocchi funzionale di una forma esecutiva dell’unità di elaborazione. Fig. 2 shows a functional block diagram of an embodiment of the processing unit.
La fig. 3 mostra un diagramma di flusso di un primo esempio esecutivo di traduzione attuati secondo il metodo ed il sistema della presente invenzione. Fig. 3 shows a flow chart of a first executive example of translation implemented according to the method and system of the present invention.
La fig. 4 mostra un diagramma di flusso di un secondo esempio esecutivo di traduzione attuati secondo il metodo ed il sistema della presente invenzione. Fig. 4 shows a flow chart of a second executive example of translation implemented according to the method and system of the present invention.
Le figure 5a e 5b, mostrano rispettivamente un dispositivo smartphone che esegue i passi secondo i diagrammi di flusso delle figure 3 e 4. Figures 5a and 5b respectively show a smartphone device which performs the steps according to the flow diagrams of Figures 3 and 4.
Con riferimento alla figura 1, con 1, 2, e 3 sono indicati organi di input di forme espressive alternative che utilizzano il linguaggio dei segni, il linguaggio testuale e quello vocale e che sono costituite da una telecamera, da una tastiera e da un microfono. I messaggi di comunicazione acquisiti vengono memorizzati in una memoria 5 sotto forma di file video 25, file audio 15 e file di testo 35. With reference to figure 1, 1, 2 and 3 indicate input organs of alternative expressive forms that use sign language, textual and vocal language and which consist of a camera, a keyboard and a microphone. . Captured communication messages are stored in a memory 5 in the form of video files 25, audio files 15 and text files 35.
Il messaggio di comunicazione che è stato espresso ed acquisito nella forma del linguaggio dei segni o nella forma del linguaggio testuale od in quella vocale, è costituito rispettivamente da almeno un segno o gesto o da una successione di segni o di gesti, da almeno una stringa di caratteri alfanumerici o da una successione di suoni, con cui alternativamente vengono codificati termini o concetti secondo le regole grammaticali e di sintassi dello specifico linguaggio. The communication message that has been expressed and acquired in the form of sign language or in the form of textual or vocal language, is constituted respectively by at least one sign or gesture or by a succession of signs or gestures, by at least one string of alphanumeric characters or a succession of sounds, with which terms or concepts are alternatively encoded according to the grammatical and syntax rules of the specific language.
Una unità di elaborazione 4 preleva il file video, audio o testuale e lo analizza mediante algoritmi ad esempio di pattern matching e/o di image matching al fine di riconoscere ed identificare i singoli segni o gesti o le sequenze di segni o gesti, le stringhe di caratteri alfanumerici e/o le sequenze di suoni che codificano i singoli termini e/o concetti. A processing unit 4 takes the video, audio or textual file and analyzes it using algorithms such as pattern matching and / or image matching in order to recognize and identify the single signs or gestures or the sequences of signs or gestures, the strings of alphanumeric characters and / or the sequences of sounds that encode the individual terms and / or concepts.
Ciascun singolo o gesto o ciascuna sequenza di segni o di gesti , ciascuna stringa di caratteri alfanumerici e/o ciascuna sequenza di suoni identificata viene quindi confrontata con un dizionario in cui sono messe in relazione le diverse codifiche con segni o gesti, con stringhe di caratteri alfanumerici e/o con sequenze di suoni che codificano gli stessi termini o concetti in modo da determinare per una forma espressiva la codifica del corrispondente termine o concetto nella diversa forma espressiva. Each single or gesture or each sequence of signs or gestures, each string of alphanumeric characters and / or each identified sequence of sounds is then compared with a dictionary in which the different encodings with signs or gestures are related, with strings of characters alphanumeric and / or with sequences of sounds that encode the same terms or concepts in order to determine for an expressive form the coding of the corresponding term or concept in the different expressive form.
E’ da notare che poiché esistono diverse lingue in cui la forma espressiva di codifica è realizzata secondo regole diverse e che ciò si applica non solo al linguaggio testuale e vocale, ma anche al linguaggio dei segni è possibile generare ed utilizzare dizionari che non solo mettono in relazione fra loro le codifiche di stessi termini o concetti con le diverse forme del linguaggio dei segni, del linguaggio testuale e di quello vocale, ma anche le diverse varianti di una stessa forma espressiva della medesima tipologia di linguaggio, consentendo di riprodurre ad esempio una traduzione fra una prima ed una seconda variante del linguaggio dei segni e/o del linguaggio testuale o vocale in diverse lingue. It should be noted that since there are several languages in which the expressive form of coding is carried out according to different rules and that this applies not only to textual and vocal language, but also to sign language, it is possible to generate and use dictionaries that not only put in relation to each other the encodings of the same terms or concepts with the different forms of sign language, textual and vocal language, but also the different variants of the same expressive form of the same type of language, making it possible to reproduce, for example, a translation between a first and a second variant of sign language and / or textual or vocal language in different languages.
Il dizionario indicato in figura 1 con 11 può essere residente nel sistema oppure può essere scaricato da un server remoto o da un cloud e configurato secondo le diverse esigenze di traduzione delle varianti di linguaggio di volta in volta necessarie in modo da poter rendere meno pesante la necessità di memoria del sistema. A tale scopo all’unità di elaborazione è collegata una unità di comunicazione per la ricezione e trasmissione di dati e/o comandi indicata con 10. The dictionary indicated in figure 1 with 11 can be resident in the system or it can be downloaded from a remote server or from a cloud and configured according to the different translation needs of the language variants needed from time to time in order to make the system memory requirement. For this purpose, a communication unit is connected to the processing unit for the reception and transmission of data and / or commands indicated with 10.
L’unità di elaborazione 4 rigenera la concatenazione di segni, gesti o sequenze di segni o di gesti, di stringhe di caratteri alfanumerici e/o di sequenze di suoni che codifica un messaggio od una parte di messaggio e lo memorizza in una memoria 6 di file di output sotto forma di file video, file audio e file di testo indicati rispettivamente con 26, 16 e 36. The processing unit 4 regenerates the concatenation of signs, gestures or sequences of signs or gestures, strings of alphanumeric characters and / or sequences of sounds which encodes a message or part of a message and stores it in a memory 6 of output files in the form of video files, audio files and text files indicated with 26, 16 and 36 respectively.
Sotto il controllo dell’unità di elaborazione 4, uno o più di questi file vengono riprodotti utilizzando rispettivi organi di riproduzione come un display 7 di file video, un display 8 di file di testo ed un altoparlante 9. Under the control of processing unit 4, one or more of these files are played using respective reproduction organs such as a display 7 of video files, a display 8 of text files and a speaker 9.
E’ da notare che la figura 1 riproduce uno schema di alto livello del sistema a titolo di esempio e che questo schema può essere variato secondo una o più delle alternative note ed evidenti per il tecnico del ramo. It should be noted that figure 1 reproduces a high-level scheme of the system by way of example and that this scheme can be varied according to one or more of the known and obvious alternatives for the person skilled in the art.
Una forma esecutiva può prevedere l’utilizzo di hardware dedicato in una implementazione solo hardware. Una alternativa può prevedere almeno in parte un hardware dedicato ed in parte un hardware generico che è configurato in modo da svolgere le funzioni desiderate grazie ad un software che codifica le istruzioni per controllare le unità hardware ad eseguire i passi funzionali del sistema. Una ulteriore variante esecutiva può prevedere un hardware generico che grazie ad un software che comprende i comandi per configurare le unità dell’hardware generico ad eseguire le funzionalità del sistema. An embodiment may provide for the use of dedicated hardware in a hardware-only implementation. An alternative can provide at least in part a dedicated hardware and in part a generic hardware which is configured to perform the desired functions thanks to a software that encodes the instructions for controlling the hardware units to carry out the functional steps of the system. A further executive variant may include generic hardware which, thanks to a software that includes commands to configure the generic hardware units, to perform system functions.
Come già messo in evidenza e come risulterà da un esempio esecutivo è possibile utilizzare diverse alternative di attuazione del sistema che vano da dispositivi portatili come smartphone, phablet, tablet e notebook a tradizionali PC desktop o simili. As already highlighted and as will be apparent from an executive example, it is possible to use different alternatives for implementing the system ranging from portable devices such as smartphones, phablets, tablets and notebooks to traditional desktop PCs or similar.
La figura 2, mostra un esempio di un diagramma funzionale dell’unità di elaborazione con riferimento alla funzione di riconoscimento delle codifiche dei termini e concetti in una delle forme di linguaggio e l’identificazione della corrispondente forma di codifica in un altro linguaggio dei medesimi termini o concetti, nonchè l’esecuzione di processi di correzione ed upgrade del sistema. Figure 2 shows an example of a functional diagram of the processing unit with reference to the function of recognizing the encodings of the terms and concepts in one of the language forms and the identification of the corresponding encoding form in another language of the same terms. or concepts, as well as the execution of system correction and upgrade processes.
Successivamente al passo 200 di acquisizione del messaggio in una delle forme espressive utilizzate dalla persona che trasmette il messaggio, viene generato un file al passo 201. Il tipo di file dipende dalla tipologia di acquisizione necessaria per la modalità espressiva utilizzata, testuale, verbale o mediante linguaggio dei segni. Subsequently to step 200 of acquisition of the message in one of the expressive forms used by the person who transmits the message, a file is generated in step 201. The type of file depends on the type of acquisition necessary for the expressive modality used, textual, verbal or through sign language.
Il od i file vengono quindi sottoposti and analisi per il riconoscimento dei segni o dei gesti oppure delle sequenze di segno o di gesti, delle stringe di caratteri alfanumerici o delle sequenze di queste stringhe o dei suoni o delle sequenze di suoni utilizzando uno o più algoritmi, ciascuno dei quali è destinato a fornire una risposta parziale ai passi di identificazione della struttura dell’insieme di gesti o segni, di stringhe di caratteri alfanumerici di suoni e di sequenze di queste entità, alla associazione a combinazioni di gesti, segni, stringhe di caratteri alfanumerici, suoni o sequenze di queste entità ad un termine o ad un concetto ed alla identificazione nell’ambito del dizionario delle codifiche equivalenti dei detti termini o concetti mediante altre forme espressive rispetto a quella utilizzata da chi trasmette il messaggio. The file or files are then submitted and analyzed for the recognition of signs or gestures or sequences of signs or gestures, strings of alphanumeric characters or sequences of these strings or sounds or sound sequences using one or more algorithms , each of which is intended to provide a partial response to the identification steps of the structure of the set of gestures or signs, of alphanumeric character strings of sounds and sequences of these entities, to the association to combinations of gestures, signs, strings of alphanumeric characters, sounds or sequences of these entities to a term or to a concept and to the identification within the dictionary of the equivalent encodings of said terms or concepts by means of other expressive forms than that used by the person transmitting the message.
Questi passi sono indicati dai campi 202, 212, 222. Relativi ad un primo, ad un secondo e ad un ennesimo algoritmo in cui “n” è un numero naturale. La possibilità di avere una concatenazione od una combinazione di due o più algoritmi, ma anche un solo algoritmo di elaborazione è evidenziata dal fatto che gli algoritmi 212 e 222 sono indicati con linee discontinue. These steps are indicated by fields 202, 212, 222. Relating to a first, second and nth algorithm in which “n” is a natural number. The possibility of having a concatenation or a combination of two or more algorithms, but also a single processing algorithm is highlighted by the fact that the algorithms 212 and 222 are indicated with broken lines.
Al termine del processo il passo di traduzione sulla base di un dizionario è indicato con 203. At the end of the process the translation step on the basis of a dictionary is indicated with 203.
E’ possibile utilizzare diversi tipi di algoritmi secondo le caratteristiche di precisione e/o le risorse di potenza di calcolo offerte dalla tipologia del hardware a disposizione. Tipicamente in un sistema hardware di tipo portatile ed in dipendenza delle dimensioni del dispositivo stesso si opterà per una maggiore velocità ed una configurazione che richiede una bassa potenza di calcolo ed un basso consumo energetico a scapito della precisione. In questi casi ed in particolare in combinazione con dispositivi come smartphones o phablet od anche tablet, inoltre, risulta vantaggioso prediligere la velocità di elaborazione per ridurre i tempi morti e rendere la traduzione sostanzialmente real-time. It is possible to use different types of algorithms according to the precision characteristics and / or the computing power resources offered by the type of hardware available. Typically in a portable type hardware system and depending on the size of the device itself, a higher speed and a configuration that requires low computing power and low energy consumption at the expense of accuracy will be opted for. In these cases and in particular in combination with devices such as smartphones or phablets or even tablets, it is also advantageous to prefer processing speed to reduce downtime and make the translation substantially real-time.
Una scelta di questo genere permette di rendere possibile la comunicazione di tipo telefonico anche a coloro le cui disabilità espressive e di acquisizione delle comunicazioni a livello acustico sono di grado elevato o impediscono totalmente l’utilizzo del linguaggio parlato e l’ascolto dei messaggi vocali. A choice of this kind makes it possible to make telephone communication possible even for those whose expressive and acoustic communication acquisition disabilities are of a high degree or totally prevent the use of spoken language and listening to voice messages.
Si rende così anche disponibile per questo tipo di persone la possibilità di comunicare efficacemente e senza ritardi con istituzioni che offrono servizi di emergenza, come emergenze mediche e/o polizia od altre istituzioni che operano nell’ambito della sicurezza pubblica o privata delle persone. This also makes available for this type of people the ability to communicate effectively and without delay with institutions that offer emergency services, such as medical emergencies and / or police or other institutions that operate in the field of public or private security of people.
Una volta definita la traduzione dei termini e dei concetti identificati dagli algoritmi grazie alla comparazione con le voci del dizionario, la forma espressiva in cui il messaggio è stato tradotto viene memorizzata in un file corrispondente alla tipologia di questa forma espressiva, cioè video, vocale o testuale e viene memorizzata al passo 204 per essere avviata ai dispositivi di riproduzione indicati con 210. Once the translation of the terms and concepts identified by the algorithms has been defined thanks to the comparison with the dictionary entries, the expressive form in which the message has been translated is stored in a file corresponding to the type of this expressive form, i.e. video, voice or and is stored in step 204 to be sent to the playback devices indicated with 210.
Le attività possono essere anche memorizzate in una memoria storica ed in vari file log indicati con 205. The activities can also be stored in a historical memory and in various log files indicated with 205.
Secondo un perfezionamento che può essere previsto e dipende anche dalla tipologia di strutture matematiche degli algoritmi utilizzati, i dati del file log possono essere utilizzati per attività di upgrade del dizionario come indicato al passo 207. Nel caso in cui quali algoritmi siano utilizzati uno o più sistemi esperti auto apprendenti come ad esempio reti neurali, algoritmi predittivi o classificatori, che prevedono una fase iniziale di training e testing utilizzando un database di casi noti, le informazioni del file log e dello storico 205 possono anche venire utilizzate per perfezionare ed integrare il database dei casi noti per il training e testing di questo tipo di algoritmi. According to an improvement that can be foreseen and also depends on the type of mathematical structures of the algorithms used, the data of the log file can be used for dictionary upgrade activities as indicated in step 207. In the event that which algorithms are used one or more self-learning expert systems such as neural networks, predictive algorithms or classifiers, which provide an initial training and testing phase using a database of known cases, the information from the log file and the historical 205 can also be used to refine and integrate the database of known cases for training and testing of this type of algorithms.
E’ inoltre possibile prevedere di combinare il sistema con algortimi di correzione automatica basati su un analisi semantica dei termini compresi in un messaggio che individuano automaticamente termini alternativi o concetti alternativi che condividono la stessa codifica in uno o più dei linguaggi di partenza e/o di traduzione. It is also possible to combine the system with automatic correction algorithms based on a semantic analysis of the terms included in a message that automatically identify alternative terms or alternative concepts that share the same encoding in one or more of the source and / or source languages. translation.
Tali aògoritmi possono operare in modo completamente automatico generando automaticamente una versione corretta di una prima traduzione che viene scelta sulla base di un calcolo di maggiore fitness di risultato o maggiore probabilità di essere la traduzione corretta oppure operano in modo semiautomatico suggerendo le alternative e lasciando la scelta agli utenti. In questo caso è l’utente che determina quale è la corretta traduzione. These algorithms can operate in a completely automatic way, automatically generating a correct version of a first translation that is chosen on the basis of a calculation of greater fitness of the result or greater probability of being the correct translation or they operate in a semi-automatic way suggesting alternatives and leaving the choice to users. In this case, it is the user who determines which is the correct translation.
E’ anche possibile che agli utenti venga offerta la possibilità di correggere in modo completamente manuale ed a seconda della loro sensibilità la traduzione, immettendo manualmente questa correzione. It is also possible that users will be offered the possibility to correct the translation completely manually and depending on their sensitivity, by manually entering this correction.
Le diverse alternative descritte sono riassunte al passo 206 indicato genericamente come analisi di errore. I risultati di questa analisi e le correzioni attuate, possono quindi venire anch’esse utilizzate per l’upgrade del dizionario come indicato dal passo 207 e/o per l’upgrade del database di apprendimento 209 come indicato al passo 208. The different alternatives described are summarized in step 206 generically referred to as error analysis. The results of this analysis and the corrections implemented can therefore also be used to upgrade the dictionary as indicated in step 207 and / or to upgrade the learning database 209 as indicated in step 208.
Analogamente all’esempio della figura 1, anche per la figura 2, vale il principio che si tratta di un esempio non limitativo che può essere modificato soprattutto in relazione alla tipologia di algoritmi ed alla disponibilità di risorse hardware disponibili. Similarly to the example in Figure 1, also for Figure 2, the principle is that it is a non-limiting example that can be modified especially in relation to the type of algorithms and the availability of available hardware resources.
Le figure 3 a 5a e 5b, mostrano un esempio funzionale e di dispositivo che è particolarmente adatto ad un sistema operante su un hardware di tipo smartphone, phablet o tablet. Figures 3 to 5a and 5b show a functional example and of a device which is particularly suitable for a system operating on a smartphone, phablet or tablet type hardware.
Prima di poter utilizzare il sistema e per configurare l’hardware, secondo una o più delle varianti di sistema sopra descritte, sul dispositivo 500 delle figure 5a, 5b, cioè uno smartphone, devono venire eseguiti passi preventivi che consistono in: Before being able to use the system and to configure the hardware, according to one or more of the system variants described above, on the device 500 of figures 5a, 5b, i.e. a smartphone, preventive steps must be performed which consist of:
L’utente scarica e installa l’applicazione in un dispositivo come lo smartphone indicato con 500 nelle figure 5a e 5b, preferibilmente accompagnato da un tutorial. The user downloads and installs the application on a device such as the smartphone indicated with 500 in figures 5a and 5b, preferably accompanied by a tutorial.
L’utente attiva l’applicazione che consentirà la scelta della tipologia di traduzione da effettuare, se da “linguaggio dei segni” a testo o se da testo a “linguaggio dei segni”. Eventualmente invece di testo è possibile utilizzare l’audio. The user activates the application that will allow the choice of the type of translation to be carried out, whether from "sign language" to text or from text to "sign language". If necessary, instead of text, you can use audio.
Considerando il fatto che negli attuali cellulari esistono già dei software in grado di trasformare i messaggi testuali in messaggi vocali e viceversa, queste due tipologie di forma espressiva potranno essere considerate sostanzialmente equivalenti. Considering the fact that in current mobile phones there are already software capable of transforming text messages into voice messages and vice versa, these two types of expressive form can be considered substantially equivalent.
Nel caso dell’esempio della figura 3 e della figura 5b, in cui l’utente selezioni la tipologia di traduzione da linguaggio dei segni a formato testuale/vocale: In the case of the example of Figure 3 and Figure 5b, in which the user selects the type of translation from sign language to text / voice format:
Il SW attiva la videocamera presente sul device 550, passo 300. The SW activates the camera present on the device 550, step 300.
L’utente effettua l’acquisizione, una volta inquadrato i segni che rappresentano il messaggio da inviare come indicato al passo 301 e mostrato in modo schematico con le immagini 506 e 507 visualizzate sullo schermo 502 del dispositivo 500. The user performs the acquisition, once the signs representing the message to be sent have been framed as indicated in step 301 and shown schematically with images 506 and 507 displayed on the screen 502 of the 500 device.
Al passo successivo 302 il SW registra il messaggio ed interpreta i gesti effettuati e le posizioni assunte tramite regole di pattern matching e image matching. In the next step 302, the SW records the message and interprets the gestures performed and the positions assumed through pattern matching and image matching rules.
Al passo 303 il SW traduce il messaggio espresso in gesti e formalizza la frase. At step 303 the SW translates the message expressed into gestures and formalizes the sentence.
Al passo 304 il SW espone sul monitor 502 il messaggio tradotto 503, 504. At step 304 the SW displays the translated message 503, 504 on monitor 502.
Il passo 305 indica che l’utente può scegliere se ascoltare la traduzione come indicato con 504 o limitarsi alla lettura della traduzione espressa in forma testuale come indicato con 504. Step 305 indicates that the user can choose whether to listen to the translation as indicated with 504 or limit himself to reading the translation expressed in textual form as indicated with 504.
La sequenza delle tre immagini del dispositivo 500 nelle figure 5a e 5b è da intendersi come una sequenza temporale delle attività del dispositivo. L’immagine di sinistra rappresenta la condizione di input o di partenza l’immagine centrale mostra la condizione di elaborazione evidenziata dalla coppia di ingranaggi che è un simbolo spesso utilizzato per segnalare attività di calcolo in questa tipologia di dispositivi. L’immagine di destra mostra un esempio del dispositivo nella fase di output o finale del processo di traduzione. The sequence of the three images of the device 500 in Figures 5a and 5b is to be understood as a temporal sequence of the activities of the device. The left image represents the input or departure condition; the central image shows the processing condition highlighted by the pair of gears which is a symbol often used to signal calculation activities in this type of device. The image on the right shows an example of the device in the output or final phase of the translation process.
Nel caso della figura 4 e 5a, l’utente seleziona la tipologia di traduzione da testo (o audio) a linguaggio dei segni: In the case of Figures 4 and 5a, the user selects the type of translation from text (or audio) to sign language:
Al passo 400 il SW apre una pagina dove l’utente può inserire liberamente testo 503 come per un comune messaggio, grazie alla tastiera 504 che nell’esempio illustrato è una tipica tastiera virtuale costruita con interfaccia grafica su uno schermo di tipo touch. Eventualmente l’inserimento può essere eseguito anche tramite messaggio vocale utilizzando un microfono 501. At step 400 the SW opens a page where the user can freely enter text 503 as for a common message, thanks to the 504 keyboard which in the example shown is a typical virtual keyboard built with a graphic interface on a touch screen. If necessary, the insertion can also be performed via voice message using a 501 microphone.
Il comando di partenza può essere dato utilizzando il tipico pulsante centrale 505 presente negli smartphone. The start command can be given using the typical central button 505 present in smartphones.
Dopo aver inserito il messaggio testuale o eventualmente vocale al passo 401, il SW elabora il testo e nel caso di messaggio vocale, effettua una prima traduzione da vocale a testo come indicato al passo 402. After having entered the textual or possibly vocal message in step 401, the SW processes the text and, in the case of a vocal message, performs a first translation from vocal to text as indicated in step 402.
Al passo 403 sulla base di regole e di database popolati con le relazioni parola gesto, produce in output il messaggio tradotto in linguaggio dei segni. At step 403 on the basis of rules and databases populated with the word gesture relations, it outputs the message translated into sign language.
Al passo 404 il SW mostra sullo schermo 502 la rappresentazione grafica del segno/gesto eventualmente con animazioni per indicare e discriminare il significato del termine utilizzato come indicato con 405. At step 404 the SW shows on the screen 502 the graphic representation of the sign / gesture possibly with animations to indicate and discriminate the meaning of the term used as indicated with 405.
Come indicato al passo 406, l’utente può scegliere di inviare un feedback sulla qualità della traduzione. Su cui come indicato con 407 viene avviata una procedura di upgrade secondo cui si alimenta il motore di decisioni nella definizione di una traduzione con i nuovi risultati, ad esempio seguendo una delle modalità descritte con riferimento all’esempio della figura 2. As indicated in step 406, the user can choose to send feedback on the quality of the translation. On which, as indicated with 407, an upgrade procedure is initiated according to which the decision engine is fed in defining a translation with the new results, for example by following one of the methods described with reference to the example in Figure 2.
Inoltre il passo 408 permette all’utente di scegliere se inviare una nuova traduzione o chiudere l’applicazione, agendo sul pulsante di comando 505. In addition, step 408 allows the user to choose whether to send a new translation or close the application by pressing the command button 505.
Secondo una variante esecutiva, il messaggio può essere mostrato al termine della registrazione del gesto, o della serie dei gesti nel caso venga utilizzato un unico dispositivo. According to an executive variant, the message can be shown at the end of the registration of the gesture, or of the series of gestures if a single device is used.
Nel caso della variante esecutiva in cui la traduzione avvenga da un dispositivo e poi inviata tramite rete (come per un SMS o un messaggio o una chiamata) ad un altro utente e quindi un altro dispositivo, la traduzione può avvenire in real-time. In the case of the executive variant in which the translation takes place from a device and then sent via the network (as for an SMS or a message or a call) to another user and therefore another device, the translation can take place in real-time.
Il sistema prevede una storicizzazione di tutti i messaggi inviati per poterli visionare in differita. The system provides for a historicization of all messages sent to be able to view them on a deferred basis.
Vale la pena qui rmettere nuovamente in evidenza come il sistema ed il metodo secondo la presente invenzione portino vantaggi anche nell’ambito di rendere comprensibili le diverse varianti dei linguaggi sei segni oggi esistenti, favorendo quindi la comprensione fra soggetti aventi una medesima disabilità ed educati in modo diverso. Il linguaggio dei gesti infatti è un sistema che consente la comunicazione rapida tra persone presentanti condizioni di mutismo o sordità. Tuttavia, questo linguaggio è sostanzialmente differente a seconda della lingua della persona. Il sistema presentato prevede quindi la possibilità di gestire la traduzione nella lingua dell’utilizzatore. Secondo una forma esecutiva dell’invenzione che può essere prevista in combinazione con qualsivoglia delle forme e delle varianti esecutive più sopra descritte, in caso venga tradotto un messaggio viene identificata la lingua di chi invia il messaggio e di chi lo riceve (nel caso siano utenti differenti) ed effettuata la traduzione nella lingua corretta. It is worth emphasizing here again how the system and the method according to the present invention bring advantages also in the context of making the different variants of the six sign languages existing today understandable, thus favoring understanding between subjects having the same disability and educated in different way. In fact, the language of gestures is a system that allows rapid communication between people with conditions of silence or deafness. However, this language is substantially different depending on the language of the person. The system presented therefore provides for the possibility of managing the translation into the user's language. According to an embodiment of the invention that can be provided in combination with any of the embodiments and executive variants described above, if a message is translated, the language of who sends the message and of who receives it is identified (if they are users different) and translated into the correct language.
E’ inoltre importante mettere nuovamente in evidenza il vantaggio che l’invenzione offre nel possibile utilizzo del sistema grazie a cui si può infatti prevedere la possibilità di comunicazione in maniera più semplice con servizi di assistenza di primo livello, siano questi di varia tipologia. Attualmente una persona che presenta una condizione di sordità o mutismo può trovarsi in gravi difficoltà nel contattare call center e descrivere i motivi per cui hanno contattato l'assistenza. Sfruttare l'utilizzo di smartphone (o telefoni fissi dedicati avente connessione con web cam) che consentono di visualizzare sullo schermo una rappresentazione visiva del messaggio espresso con un linguaggio dei segni, semplifica l'interazione tra utente e servizio. Sfruttando la tecnologia proposta una persona affetta da questa tipologia di condizione comunicherà tramite linguaggio dei segni, il messaggio sarà tradotto in linguaggio testuale/vocale e presentato ad un professionista. Questo risponderà vocalmente o testualmente come una tradizionale chiamata, il messaggio verrà tradotto in linguaggio dei segni e quindi inviato alla persona che utilizza il servizio (presentandolo su schermo). It is also important to highlight again the advantage that the invention offers in the possible use of the system thanks to which it is possible to foresee the possibility of communication in a simpler way with first-level assistance services, both of which are of various types. Currently, a person with a deaf or dumb condition may find it very difficult to contact call centers and describe the reasons why they contacted support. Taking advantage of the use of smartphones (or dedicated landline phones with a web cam connection) that allow you to view a visual representation of the message expressed in sign language on the screen, simplifies the interaction between user and service. Using the proposed technology, a person affected by this type of condition will communicate through sign language, the message will be translated into text / vocal language and presented to a professional. This will respond verbally or textually like a traditional call, the message will be translated into sign language and then sent to the person using the service (presenting it on screen).
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000002791A IT201800002791A1 (en) | 2018-02-19 | 2018-02-19 | System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000002791A IT201800002791A1 (en) | 2018-02-19 | 2018-02-19 | System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201800002791A1 true IT201800002791A1 (en) | 2019-08-19 |
Family
ID=62167701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102018000002791A IT201800002791A1 (en) | 2018-02-19 | 2018-02-19 | System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT201800002791A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
| US20040143430A1 (en) * | 2002-10-15 | 2004-07-22 | Said Joe P. | Universal processing system and methods for production of outputs accessible by people with disabilities |
| US20130079061A1 (en) * | 2010-05-17 | 2013-03-28 | Tata Consultancy Services Limited | Hand-held communication aid for individuals with auditory, speech and visual impairments |
| WO2015160849A1 (en) * | 2014-04-14 | 2015-10-22 | Motionsavvy, Inc. | Systems and methods for recognition and translation of gestures |
-
2018
- 2018-02-19 IT IT102018000002791A patent/IT201800002791A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
| US20040143430A1 (en) * | 2002-10-15 | 2004-07-22 | Said Joe P. | Universal processing system and methods for production of outputs accessible by people with disabilities |
| US20130079061A1 (en) * | 2010-05-17 | 2013-03-28 | Tata Consultancy Services Limited | Hand-held communication aid for individuals with auditory, speech and visual impairments |
| WO2015160849A1 (en) * | 2014-04-14 | 2015-10-22 | Motionsavvy, Inc. | Systems and methods for recognition and translation of gestures |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10679644B2 (en) | Production of speech based on whispered speech and silent speech | |
| US9916825B2 (en) | Method and system for text-to-speech synthesis | |
| US10176366B1 (en) | Video relay service, communication system, and related methods for performing artificial intelligence sign language translation services in a video relay service environment | |
| Docherty et al. | An evaluation of usage-based approaches to the modelling of sociophonetic variability | |
| CN112992316B (en) | Computing techniques for diagnosing and treating language-dependent disorders | |
| CN106575500B (en) | Method and apparatus for synthesizing speech based on facial structure | |
| US20170200075A1 (en) | Digital companions for human users | |
| US20170243582A1 (en) | Hearing assistance with automated speech transcription | |
| US20210125608A1 (en) | Communication system and method of extracting emotion data during translations | |
| Blomquist et al. | Children with cochlear implants use semantic prediction to facilitate spoken word recognition | |
| JP2019533181A (en) | Interpretation device and method (DEVICE AND METHOD OF TRANSLATING A LANGUAGE) | |
| KR20190109651A (en) | Voice imitation conversation service providing method and sytem based on artificial intelligence | |
| CN120123474A (en) | An AIGC empowerment assistance system and implementation method for second foreign language teaching in universities | |
| WO2023059818A1 (en) | Acoustic-based linguistically-driven automated text formatting | |
| US11386920B2 (en) | Interactive group session computing systems and related methods | |
| Chaurasiya | Cognitive hexagon-controlled intelligent speech interaction system | |
| US12400632B2 (en) | System and method for posthumous dynamic speech synthesis using neural networks and deep learning by generating pixel coordinates using portable network graphic | |
| Švec et al. | Evaluation of wav2vec speech recognition for speakers with cognitive disorders | |
| Hanson | Computing technologies for deaf and hard of hearing users | |
| KR102245941B1 (en) | Continuous conversation-based developmental disability testing system and method | |
| IT201800002791A1 (en) | System and automatic method of translation from an expressive form of language by means of signs and / or gestures into a different expressive form of the written, vocal and / or other type of language and / or vice versa | |
| KR102487847B1 (en) | System and method for providing call service for the hearing impaired | |
| CN110533750A (en) | A method of it converts the audio into as the sign language animation with customized 3D role | |
| US20250037600A1 (en) | Method for providing chatbot for rehabilitation education for hearing loss patient, and system therefor | |
| Mean Foong et al. | V2s: Voice to sign language translation system for malaysian deaf people |