[go: up one dir, main page]

FR3150319A1 - DATA INPUT DEVICE - Google Patents

DATA INPUT DEVICE Download PDF

Info

Publication number
FR3150319A1
FR3150319A1 FR2306477A FR2306477A FR3150319A1 FR 3150319 A1 FR3150319 A1 FR 3150319A1 FR 2306477 A FR2306477 A FR 2306477A FR 2306477 A FR2306477 A FR 2306477A FR 3150319 A1 FR3150319 A1 FR 3150319A1
Authority
FR
France
Prior art keywords
piezoelectric film
functional surface
sensitivity
user
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2306477A
Other languages
French (fr)
Inventor
Maxime RATEAU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vitesco Technologies
Original Assignee
Vitesco Technologies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vitesco Technologies filed Critical Vitesco Technologies
Priority to FR2306477A priority Critical patent/FR3150319A1/en
Priority to PCT/EP2024/066870 priority patent/WO2024260938A1/en
Priority to CN202480040842.1A priority patent/CN121420277A/en
Publication of FR3150319A1 publication Critical patent/FR3150319A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96—Touch switches
    • H03K17/964—Piezoelectric touch switches
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96—Touch switches
    • H03K17/964—Piezoelectric touch switches
    • H03K17/9643—Piezoelectric touch switches using a plurality of detectors, e.g. keyboard
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

Un dispositif (10) d’entrée de données comprend une surface fonctionnelle (12) adaptée à recevoir une pression d’un utilisateur, comme la pression d’un doigt (14) d’un utilisateur; un film piézoélectrique (16) ayant au moins un axe de sensibilité (30, 34) et étant disposé en dessous de la surface fonctionnelle et adapté à émettre un signal électrique en fonction de la pression reçue par la surface fonctionnelle ; et une unité de calcul (18) configurée pour recevoir le signal généré par le film piézoélectrique en réponse à la pression sur la surface fonctionnelle ; et déterminer à partir de ce signal une zone et/ou une forme de la surface fonctionnelle pressée par l’utilisateur grâce à un algorithme de classification. Figure de l’abrégé : Figure 1 A data input device (10) comprises a functional surface (12) adapted to receive a pressure from a user, such as the pressure of a finger (14) of a user; a piezoelectric film (16) having at least one sensitivity axis (30, 34) and being disposed below the functional surface and adapted to emit an electrical signal depending on the pressure received by the functional surface; and a calculation unit (18) configured to receive the signal generated by the piezoelectric film in response to the pressure on the functional surface; and determine from this signal an area and/or a shape of the functional surface pressed by the user using a classification algorithm. Abstract Figure: Figure 1

Description

DISPOSITIF D’ENTREE DE DONNEESDATA INPUT DEVICE

La présente divulgation relève du domaine des dispositifs d’entrée de données, et notamment les surfaces tactiles et les claviers.This disclosure relates to the field of data input devices, and in particular touch surfaces and keyboards.

Les claviers sont composés généralement d’une surface qui est sensible à la pression du doigt associée à chaque touche. Le clavier peut intégrer des éléments de type mécanique (par exemple un interrupteur inductif), de type capacitif (par exemple des électrodes) ou encore de type ultrason.Keyboards are generally composed of a surface that is sensitive to the pressure of the finger associated with each key. The keyboard can integrate mechanical elements (for example an inductive switch), capacitive elements (for example electrodes) or ultrasonic elements.

Quelle que soit la solution, les zones sensibles à la pression de doigt doivent être organisées en matrice ou en une organisation spécifique propre à un clavier. Dépendamment de la technologie utilisée, on rencontre diverses limitations mécaniques dans leur intégration. Par exemple, les interrupteurs mécaniques peuvent être esthétiquement non plaisants en plus de requérir une course de mouvement, les interrupteurs inductifs pèchent quant à eux de par leur sensibilité magnétique. Quant à la matrice capacitive, elle fonctionne mal lorsqu’elle est positionnée derrière un métal.Regardless of the solution, the pressure sensitive areas must be organized in a matrix or in a specific organization specific to a keyboard. Depending on the technology used, there are various mechanical limitations in their integration. For example, mechanical switches can be aesthetically unpleasing in addition to requiring a movement path, inductive switches suffer from their magnetic sensitivity. As for the capacitive matrix, it works poorly when positioned behind metal.

Il serait donc bénéfique d’avoir un clavier ou plus généralement un dispositif d’entrée de données qui s’affranchisse de ces contraintes.It would therefore be beneficial to have a keyboard or more generally a data entry device that frees itself from these constraints.

RésuméSummary

La présente divulgation vient améliorer la situation.This disclosure improves the situation.

Il est proposé un dispositif d’entrée de données comprenant une surface fonctionnelle adaptée à recevoir une pression d’un utilisateur, comme la pression d’un doigt d’un utilisateur; un film piézoélectrique ayant au moins un axe de sensibilité et étant disposé en dessous de la surface fonctionnelle et adapté à émettre un signal électrique en fonction de la pression reçue par la surface fonctionnelle ; et une unité de calcul configurée pour : recevoir le signal généré par le film piézoélectrique en réponse à la pression sur la surface fonctionnelle ; et déterminer à partir de ce signal une zone et/ou une forme de la surface fonctionnelle pressée par l’utilisateur grâce à un algorithme de classification.A data input device is provided comprising a functional surface adapted to receive a pressure from a user, such as the pressure of a user's finger; a piezoelectric film having at least one axis of sensitivity and being disposed below the functional surface and adapted to emit an electrical signal depending on the pressure received by the functional surface; and a computing unit configured to: receive the signal generated by the piezoelectric film in response to the pressure on the functional surface; and determine from this signal an area and/or a shape of the functional surface pressed by the user using a classification algorithm.

Par « en dessous », on se rapporte à un axe orthogonal au plan des deux plus grandes dimensions de la surface fonctionnelle. Le dessous de la surface fonctionnelle s’étend, en utilisation, du côté opposé à la face de contact avec l’utilisateur, notamment le doigt de l’utilisateur.By "below" we refer to an axis orthogonal to the plane of the two largest dimensions of the functional surface. The underside of the functional surface extends, in use, on the side opposite the contact face with the user, in particular the user's finger.

La surface fonctionnelle peut ainsi former une interface homme-machine de type surface tactile. De préférence, la surface fonctionnelle forme, en utilisation, une surface externe d’un véhicule automobile. L’invention permet ainsi de transformer très facilement n’importe quelle portion de carrosserie ou autre surface externe de véhicule automobile, en une surface tactile.The functional surface can thus form a human-machine interface of the touch surface type. Preferably, the functional surface forms, in use, an external surface of a motor vehicle. The invention thus makes it possible to very easily transform any portion of bodywork or other external surface of a motor vehicle into a touch surface.

Selon un autre aspect, il est proposé un véhicule automobile tel qu’une voiture incluant le dispositif ci-dessus.According to another aspect, there is provided a motor vehicle such as a car including the above device.

Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres :The features set out in the following paragraphs may, optionally, be implemented, independently of each other or in combination with each other:

- la forme est un point, un trait ou une figure bi-dimensionnelle.- the shape is a point, a line or a two-dimensional figure.

- l’unité de calcul configurée pour déterminer à partir du signal généré par le film piézoélectrique la séquence temporelle de pressage de la surface fonctionnelle grâce à un algorithme de classification.- the computing unit configured to determine from the signal generated by the piezoelectric film the time sequence of pressing of the functional surface using a classification algorithm.

- le dispositif d’entrée est un clavier, la surface fonctionnelle inclut une pluralité de zones, chaque zone correspondant à une touche, et l’unité de calcul est configurée pour déterminer à partir de ce signal la touche correspondant à la zone de la surface fonctionnelle pressée par l’utilisateur.- the input device is a keyboard, the functional surface includes a plurality of zones, each zone corresponding to a key, and the calculation unit is configured to determine from this signal the key corresponding to the zone of the functional surface pressed by the user.

- les touches sont disposées selon une ligne et le film piézoélectrique est un unique film piézoélectrique ayant un axe de sensibilité disposé parallèle à la ligne de touches.- the keys are arranged in a line and the piezoelectric film is a single piezoelectric film having a sensitivity axis arranged parallel to the line of keys.

- les touches sont disposées en matrice selon des lignes et des colonnes, et le film piézoélectrique est un unique film piézoélectrique ayant au moins deux axes de sensibilité non parallèle.- the keys are arranged in a matrix in rows and columns, and the piezoelectric film is a single piezoelectric film having at least two non-parallel sensitivity axes.

- les touches sont disposées en matrice selon des lignes et des colonnes, et le film piézoélectrique est constitué d’un premier film piézoélectrique ayant un premier axe de sensibilité et d’un deuxième film piézoélectrique ayant un deuxième axe de sensibilité, le premier film piézoélectrique étant disposé par rapport au deuxième film piézoélectrique de sorte à avoir le premier axe de sensibilité à un angle non nul, préférentiellement à 90 degrés, du deuxième axe de sensibilité.- the keys are arranged in a matrix according to rows and columns, and the piezoelectric film consists of a first piezoelectric film having a first sensitivity axis and a second piezoelectric film having a second sensitivity axis, the first piezoelectric film being arranged relative to the second piezoelectric film so as to have the first sensitivity axis at a non-zero angle, preferably at 90 degrees, from the second sensitivity axis.

- le premier film piézoélectrique est disposé vis-à-vis de la surface fonctionnelle de sorte à avoir le premier axe de sensibilité parallèle aux lignes de la matrice de touches, et le deuxième film piézoélectrique est disposé vis-à-vis de la surface fonctionnelle de sorte à avoir le deuxième axe de sensibilité parallèle aux colonnes de la matrice de touches.- the first piezoelectric film is arranged facing the functional surface so as to have the first sensitivity axis parallel to the rows of the key matrix, and the second piezoelectric film is arranged facing the functional surface so as to have the second sensitivity axis parallel to the columns of the key matrix.

- l’algorithme de classification est de type ensembliste.- the classification algorithm is of the set type.

- l’algorithme de classification est de type boosting, par exemple AdaBoost (Adaptive Boosting), Gradient Boosting, ou XGBoost (Extreme Gradient Boosting).- the classification algorithm is of the boosting type, for example AdaBoost (Adaptive Boosting), Gradient Boosting, or XGBoost (Extreme Gradient Boosting).

- le film piézoélectrique est directement collé à la surface fonctionnelle.- the piezoelectric film is directly bonded to the functional surface.

D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :Other features, details and advantages will become apparent upon reading the detailed description below, and upon analysis of the attached drawings, in which:

Fig. 1Fig. 1

montre de façon schématique un dispositif d’entrée de données selon un mode de réalisation, en forme de clavier. schematically shows a data input device according to one embodiment, in the form of a keyboard.

Fig. 2Fig. 2

montre une vue de dessus partielle et en transparence du dispositif d’entrée de données de la . shows a partial, transparent top view of the data entry device of the .

Fig. 3Fig. 3

montre un exemple de signaux électriques observés lorsqu’un utilisateur presse une partie du dispositif d’entrée de données de la . shows an example of electrical signals observed when a user presses a portion of the data entry device of the .

Fig. 4Fig. 4

montre un exemple de signal électrique (gauche) et sa conversion (droite) en graphe temporel de pente dudit signal. shows an example of an electrical signal (left) and its conversion (right) into a time-varying graph of the slope of said signal.

Fig. 5Fig. 5

montre des exemples de découpages en fenêtres temporelles de graphes temporels de pente de signaux électriques observés lorsqu’un utilisateur presse une partie du dispositif d’entrée de données. shows examples of time windowing of time graphs of electrical signal slopes observed when a user presses a part of the data input device.

Il est maintenant fait référence à la . Un dispositif d’entrée de données 10 comprend une surface fonctionnelle 12 adaptée à recevoir des pressions de doigts 14 d’un utilisateur, un film piézoélectrique 16 disposé en dessous de la surface fonctionnelle 12 et adapté à émettre un signal électrique en fonction des pressions de doigts 14 de l’utilisateur sur la surface fonctionnelle 12, et unité de calcul 18 configurée pour recevoir le signal généré par le film piézoélectrique 16 en réponse à la pression de doigts 14 sur la surface fonctionnelle 12, et déterminer à partir de ce signal une zone de la surface fonctionnelle 12 pressée par l’utilisateur.Reference is now made to the . A data input device 10 comprises a functional surface 12 adapted to receive finger presses 14 from a user, a piezoelectric film 16 disposed below the functional surface 12 and adapted to emit an electrical signal as a function of the finger presses 14 of the user on the functional surface 12, and a computing unit 18 configured to receive the signal generated by the piezoelectric film 16 in response to the finger press 14 on the functional surface 12, and determine from this signal an area of the functional surface 12 pressed by the user.

Le dispositif d’entrée de données 10 permet d’identifier la forme et la position d’une pression faite sur la surface fonctionnelle 12 par l’utilisateur à l’aide d’un ou plusieurs doigts. La forme de la pression peut être un point (par exemple si le dispositif d’entrée de données 10 est un clavier), un trait ou une figure bi-dimensionnelle (par exemple un cercle, un zigzag ou un triangle).The data input device 10 makes it possible to identify the shape and position of a pressure made on the functional surface 12 by the user using one or more fingers. The shape of the pressure can be a point (for example if the data input device 10 is a keyboard), a line or a two-dimensional figure (for example a circle, a zigzag or a triangle).

La surface fonctionnelle 12 inclut une face externe 20 qui reçoit les pressions de doigts 14 de l’utilisateur, et une face interne 22 connectée au film piézoélectrique 16. La surface externe 20 peut recevoir directement la pression des doigts 14 de l’utilisateur par exemple comme surface tactile, ou via l’interaction d’un dispositif mécanique, comme par exemple une touche de clavier. La surface fonctionnelle 12 peut être une surface monolithique ou être constituée d’une pluralité de surface adjacentes.The functional surface 12 includes an outer face 20 that receives the pressures of the user's fingers 14, and an inner face 22 connected to the piezoelectric film 16. The outer surface 20 can directly receive the pressure of the user's fingers 14, for example as a touch surface, or via the interaction of a mechanical device, such as a keyboard key. The functional surface 12 can be a monolithic surface or be made up of a plurality of adjacent surfaces.

La surface fonctionnelle 12 peut être n’importe quelle surface adaptée à transmettre la pression des doigts de l’utilisateur au film piézoélectrique 16. De ce fait, la surface fonctionnelle 12 peut être relativement rigide tant que le film piézoélectrique 16 peut détecter un déplacement atomique dans la surface fonctionnelle 12. La surface fonctionnelle 12 peut être de n’importe quelle matière et forme.The functional surface 12 may be any surface suitable for transmitting pressure from the user's fingers to the piezoelectric film 16. Accordingly, the functional surface 12 may be relatively rigid as long as the piezoelectric film 16 can sense atomic displacement in the functional surface 12. The functional surface 12 may be of any material and shape.

Le film piézoélectrique 16 peut être directement collé à la surface fonctionnelle 12. Dans une autre mode de réalisation, un élément est disposé entre le film piézoélectrique 16 et la surface fonctionnelle 12. Cet élément permettant de transmettre la pression des doigts de l’utilisateur.The piezoelectric film 16 can be directly bonded to the functional surface 12. In another embodiment, an element is arranged between the piezoelectric film 16 and the functional surface 12. This element makes it possible to transmit the pressure of the user's fingers.

Le film piézoélectrique 16 inclut au moins un film piézoélectrique ayant au moins un axe de sensibilité. Ainsi, dépendamment de la mise en œuvre du dispositif d’entrée de données 10, il peut y avoir, un seul film ayant un seul axe de sensibilité pour la détection de pressions disposées en ligne (par exemple des touches disposées en ligne ou d’un mouvement de type trait, on a alors besoin de la détection que selon une dimension/axe), ou alors il peut y avoir, un seul film ayant deux ou plus axes de sensibilité pour la détection de pressions suivant deux dimensions/axes (par exemple des touches disposées en lignes et colonnes (matrice) ou d’une figure bidimensionnelle). Il se peut aussi que le film piézoélectrique 16 inclut deux ou plus films piézoélectriques ayant chacun un axe de sensibilité pour la détection de pressions suivant deux dimensions.The piezoelectric film 16 includes at least one piezoelectric film having at least one axis of sensitivity. Thus, depending on the implementation of the data input device 10, there may be a single film having a single axis of sensitivity for detecting pressures arranged in a line (for example, keys arranged in a line or a line-type movement, in which case detection is required only along one dimension/axis), or there may be a single film having two or more axes of sensitivity for detecting pressures along two dimensions/axes (for example, keys arranged in rows and columns (matrix) or a two-dimensional figure). It is also possible that the piezoelectric film 16 includes two or more piezoelectric films each having an axis of sensitivity for detecting pressures along two dimensions.

L’unité de calcul 18 permet d’analyser les pressions de doigts 14 sur la surface fonctionnelle 12 pour en déduire leur localisation et forme. Pour ce, l’unité de calcul utilise un algorithme de classification. Le nombre de classes de l’algorithme de classification dépendra du nombre de forme/localisation de pressions de doigts à identifier. Par exemple, pour un clavier numérique à 9 chiffres, le nombre de classes sera de 9.The computing unit 18 makes it possible to analyze the finger pressures 14 on the functional surface 12 to deduce their location and shape. For this, the computing unit uses a classification algorithm. The number of classes of the classification algorithm will depend on the number of shapes/locations of finger pressures to be identified. For example, for a 9-digit numeric keypad, the number of classes will be 9.

L’unité de calcul 18 peut se trouver proche ou distante de la surface fonctionnelle 12.The computing unit 18 may be located close to or distant from the functional surface 12.

En référence maintenant à la , un exemple de mise en œuvre du dispositif d’entrée de données 10 est montré sous la forme d’un clavier numérique 24 à 9 touches, chaque touche correspondant à un chiffre allant de 1 à 9. La surface fonctionnelle 12 est pour cela divisée en 9 zones 26. Cette division peut être virtuelle ou physique.Referring now to the , an exemplary implementation of the data entry device 10 is shown in the form of a 9-key numeric keypad 24, each key corresponding to a number from 1 to 9. The functional surface 12 is for this purpose divided into 9 zones 26. This division can be virtual or physical.

Comme le dispositif d’entrée de données 10 est un clavier numérique 24 ayant des lignes et des colonnes (i.e. bi dimensionnel), le film piézoélectrique 16 a au moins deux axes de sensibilité. Dans le cas de la , il a été choisi que le film piézoélectrique 16 soit constitué de deux films piézoélectriques, chacun ayant un axe de sensibilité. Il aurait aussi été possible d’avoir qu’un seul film piézoélectrique mais que celui-ci ait deux ou plus axes de sensibilité. Il aurait aussi été possible d’avoir plus de deux films piézoélectriques.Since the data input device 10 is a numeric keypad 24 having rows and columns (i.e. two-dimensional), the piezoelectric film 16 has at least two axes of sensitivity. In the case of the , it was chosen that the piezoelectric film 16 be made up of two piezoelectric films, each having an axis of sensitivity. It would also have been possible to have only one piezoelectric film but that it have two or more axes of sensitivity. It would also have been possible to have more than two piezoelectric films.

Dans le cas de la , donc, le film piézoélectrique 16 est constitué d’un premier film piézoélectrique 28 ayant un premier axe de sensibilité 30, et d’un deuxième film piézoélectrique 32 ayant un deuxième axe de sensibilité 34. Les axes de sensibilité 30, 34 sont montrés en pointillés sur la . Le premier film piézoélectrique 28 est disposé par rapport au deuxième film piézoélectrique 32 de sorte à avoir le premier axe de sensibilité 30 à un axe non nul du deuxième axe de sensibilité 34. Dans l’exemple de la , l’angle entre le premier axe de sensibilité 30 et le deuxième axe de sensibilité 34 est 90 degrés. Il se pourrait cependant, que le premier axe de sensibilité 30 soit à un angle non-nul autre que perpendiculaire au deuxième axe de sensibilité 34. Avoir les axes de sensibilité 30, 34 du ou des films piézoélectriques permet de pouvoir détecter une forme qui serait soit à une position bidimensionnelle sur la surface fonctionnelle 12, comme par exemple un point sur la clavier numérique 24, soit une forme bidimensionnelle, comme un cercle, triangle ou zigzag.In the case of the , therefore, the piezoelectric film 16 is constituted by a first piezoelectric film 28 having a first sensitivity axis 30, and a second piezoelectric film 32 having a second sensitivity axis 34. The sensitivity axes 30, 34 are shown in dotted lines on the . The first piezoelectric film 28 is arranged relative to the second piezoelectric film 32 so as to have the first sensitivity axis 30 at a non-zero axis of the second sensitivity axis 34. In the example of the , the angle between the first sensitivity axis 30 and the second sensitivity axis 34 is 90 degrees. It could be, however, that the first sensitivity axis 30 is at a non-zero angle other than perpendicular to the second sensitivity axis 34. Having the sensitivity axes 30, 34 of the piezoelectric film(s) makes it possible to be able to detect a shape that would be either at a two-dimensional position on the functional surface 12, such as for example a point on the numeric keypad 24, or a two-dimensional shape, such as a circle, triangle or zigzag.

En référence maintenant à la , il est montré un exemple de signal généré par le premier film piézoélectrique 28 lorsque la surface fonctionnelle 12 est touchée à différents endroits par l’utilisateur. On voit donc que pour chaque point d’impact du doigt 14 (par exemple l’utilisateur presse une zone de la surface fonctionnelle 12 correspondant à la touche 1, ou à la touche 3) une signature électrique E1, E2, … En différente est générée par le film piézoélectrique. Ainsi, à partir des signatures, l’unité de calcul 18 grâce à l’algorithme de classification va pouvoir déterminer quelle zone et/ou forme de la surface fonctionnelle 12 a été pressée par l’utilisateur.Referring now to the , an example of a signal generated by the first piezoelectric film 28 is shown when the functional surface 12 is touched at different locations by the user. It can therefore be seen that for each point of impact of the finger 14 (for example the user presses an area of the functional surface 12 corresponding to key 1, or to key 3) a different electrical signature E1, E2, … is generated by the piezoelectric film. Thus, from the signatures, the calculation unit 18, using the classification algorithm, will be able to determine which area and/or shape of the functional surface 12 was pressed by the user.

Pour que l’algorithme de classification puisse utiliser les signatures électriques, celles-ci sont d’abord converties en un vecteur N x 1 de dimension 1, avec les N caractéristiques de ce signal. En référence aux figures 4 et 5, la partie traitement du signal pour obtenir les vecteurs correspondants aux signatures électriques va maintenant être explicitée.In order for the classification algorithm to use the electrical signatures, they are first converted into an N x 1 vector of dimension 1, with the N characteristics of this signal. With reference to Figures 4 and 5, the signal processing part to obtain the vectors corresponding to the electrical signatures will now be explained.

La montre sur la gauche un exemple de signal électrique En tel qu’il a pu être enregistré par exemple à la . Le signal électrique En de la figure gauche montre l’évolution de l’intensité dans le temps du signal électrique. Ce signal est d’abord converti en un graphe ( droite) montrant l’évolution de la pente du signal En dans le temps. Cette conversion permet d’éliminer du bruit et de mettre en valeur la variation du signal. Ce graphe d’évolution de la pente du signal En dans le temps va ensuite être découpé en deux ou trois fenêtres temporelles T1, T2, T3, comme illustré à la .There shows on the left an example of an electrical signal as it could have been recorded for example at the . The electrical signal En in the left figure shows the evolution of the intensity of the electrical signal over time. This signal is first converted into a graph ( right) showing the evolution of the slope of the signal En over time. This conversion makes it possible to eliminate noise and highlight the variation of the signal. This graph of the evolution of the slope of the signal En over time will then be divided into two or three time windows T1, T2, T3, as illustrated in .

La montre 4 graphes d’évolution de la pente du signal électrique émis par les films piézoélectriques selon la zone de la surface fonctionnelle (i.e. touche dans le cas du clavier). Plus précisément, les graphes (A) et (B) sont respectivement les signaux électriques émis par le premier film piézoélectrique 28 lorsque les touches 1 et 3 respectives sont pressées. Les graphes (C) et (D) sont respectivement les signaux électriques émis par le deuxième film piézoélectrique 30 lorsque les touches 1 et 3 respectives sont pressées.There shows 4 graphs of the evolution of the slope of the electrical signal emitted by the piezoelectric films according to the area of the functional surface (i.e. key in the case of the keyboard). More precisely, graphs (A) and (B) are respectively the electrical signals emitted by the first piezoelectric film 28 when the respective keys 1 and 3 are pressed. Graphs (C) and (D) are respectively the electrical signals emitted by the second piezoelectric film 30 when the respective keys 1 and 3 are pressed.

Ainsi pour chaque signature électrique reçue par chaque film piézoélectrique transformée en graphe d’évolution temporelle de la pente du signal électrique dans le temps, le graphe de pente est découpé en deux, et possiblement trois fenêtres temporelles. Ces fenêtres correspondent à des phases de pressage du doigt 14 sur la surface fonctionnelle 12 (fenêtre T1), de relâchement du doigt 14 de la surface fonctionnelle 12 (fenêtre T2), et optionnellement, si cela se produit, d’un rebond une fois le doigt relâché (comme par exemple dans un clavier) (fenêtre T3).Thus, for each electrical signature received by each piezoelectric film transformed into a graph of the time evolution of the slope of the electrical signal over time, the slope graph is divided into two, and possibly three time windows. These windows correspond to phases of pressing the finger 14 on the functional surface 12 (window T1), of releasing the finger 14 from the functional surface 12 (window T2), and optionally, if this occurs, of a rebound once the finger is released (as for example in a keyboard) (window T3).

La montre un exemple de découpage de pente du signal électrique en trois fenêtres (le rebond étant présent). Lors de la première fenêtre temporelle T1 correspondant au pressage du doigt 14 sur la surface fonctionnelle 12, la pente est positive ou négative. Lors de la deuxième fenêtre temporelle T2 correspondant au relâchement du doigt 14 de la surface fonctionnelle 12, la pente est de signe inverse par rapport au signe de la pente dans la première fenêtre temporelle T1. La délimitation entre la première et la deuxième phases est donc au moment de changement de signe. Lors de la troisième fenêtre temporelle T3 correspondant au rebond optionnel, la pente est de signe inverse par rapport au signe de la pente dans la deuxième fenêtre temporelle T2 (resp. positive ou négative). La délimitation entre la deuxième et la troisième fenêtres temporelles T2, T3 est donc au moment de changement de signe.There shows an example of dividing the slope of the electrical signal into three windows (the bounce being present). During the first time window T1 corresponding to the pressing of the finger 14 on the functional surface 12, the slope is positive or negative. During the second time window T2 corresponding to the release of the finger 14 from the functional surface 12, the slope is of the opposite sign compared to the sign of the slope in the first time window T1. The delimitation between the first and second phases is therefore at the moment of change of sign. During the third time window T3 corresponding to the optional bounce, the slope is of the opposite sign compared to the sign of the slope in the second time window T2 (resp. positive or negative). The delimitation between the second and third time windows T2, T3 is therefore at the moment of change of sign.

Selon un mode de réalisation, un algorithme de traitement du signal permet de découper chaque graphe temporel de pente du signal électrique en 2 ou 3 fenêtres temporelles en regardant les changements de signe de la pente.According to one embodiment, a signal processing algorithm makes it possible to cut each time graph of the slope of the electrical signal into 2 or 3 time windows by looking at the changes in sign of the slope.

Pour chaque fenêtre temporelle, des caractéristiques vont être extraites. L’algorithme d’apprentissage supervisé utilisera ces caractéristiques pour classifier la signature électrique reçue en zone et/ou forme correspondante de la surface fonctionnelle (i.e. pour un clavier en identification de touche pressée par l’utilisateur ou pour une surface tactile identifier la forme tracée par l’utilisateur). Il peut y avoir une multitude de caractéristiques, et l’algorithme peut utiliser une, plusieurs ou toutes les caractéristiques qui lui sont fournies pour déterminer la zone/forme correspondante de la surface fonctionnelle.For each time window, features will be extracted. The supervised learning algorithm will use these features to classify the received electrical signature into the corresponding area and/or shape of the functional surface (i.e. for a keyboard to identify the key pressed by the user or for a touch surface to identify the shape traced by the user). There can be a multitude of features, and the algorithm can use one, several or all of the features provided to it to determine the corresponding area/shape of the functional surface.

Selon un exemple, les caractéristiques extraites du graphe temporel de pente du signal électrique sont : (1) Durée de la fenêtre temporelle, pour chacune des 2 ou 3 fenêtres temporelles identifiées plus haut déterminées sur le graphe d’évolution temporelle de la pente du signal électrique dans le temps, (2) Amplitude maximale du graphe temporel du signal électrique dans chaque fenêtre temporelle, (3) Amplitude maximale de pente du graphe temporel de pente du signal électrique dans chaque fenêtre temporelle, (4) Ratios des amplitudes de pentes pour chaque fenêtre temporelle et pour les différents films piézoélectriques (si 2 piezos, 3 ratios calculés, si 3 piezos, 9 ratios calculés) calculés sur le graphe d’évolution temporelle de la pente du signal électrique dans le temps.According to an example, the characteristics extracted from the time graph of the slope of the electrical signal are: (1) Duration of the time window, for each of the 2 or 3 time windows identified above determined on the time evolution graph of the slope of the electrical signal over time, (2) Maximum amplitude of the time graph of the electrical signal in each time window, (3) Maximum amplitude of the slope of the time graph of the slope of the electrical signal in each time window, (4) Ratios of the slope amplitudes for each time window and for the different piezoelectric films (if 2 piezos, 3 calculated ratios, if 3 piezos, 9 calculated ratios) calculated on the time evolution graph of the slope of the electrical signal over time.

Les caractéristiques ainsi obtenues sont mises sous forme vectorielle comme données d’entrée de l’algorithme de classification.The features thus obtained are put into vector form as input data for the classification algorithm.

Par exemple, si un seul film piézoélectrique est utilisé [Caractéristique 1, Caractéristique 2, …., Caractéristique N] . Si deux films piézoélectriques sont utilisés [Caractéristique 1- Piezo 1, Caractéristique 2- Piezo 1, …., Caractéristique N- Piezo 1, Caractéristique 1- Piezo 2, Caractéristique 2- Piezo 2, …., Caractéristique N- Piezo 2]. Si M films piézoélectriques sont utilisés [Caractéristique 1- Piezo 1, Caractéristique 2- Piezo 1, …., Caractéristique N- Piezo 1, Caractéristique 1- Piezo 2, Caractéristique 2- Piezo 2, …., Caractéristique N- Piezo 2, ……. Caractéristique 1- Piezo M, Caractéristique 2- Piezo M, …., Caractéristique N- Piezo M].For example, if only one piezoelectric film is used [Feature 1, Feature 2, …., Feature N]. If two piezoelectric films are used [Feature 1- Piezo 1, Feature 2- Piezo 1, …., Feature N- Piezo 1, Feature 1- Piezo 2, Feature 2- Piezo 2, …., Feature N- Piezo 2]. If M piezoelectric films are used [Feature 1- Piezo 1, Feature 2- Piezo 1, …., Feature N- Piezo 1, Feature 1- Piezo 2, Feature 2- Piezo 2, …., Feature N- Piezo 2, ……. Feature 1- Piezo M, Feature 2- Piezo M, …., Feature N- Piezo M].

L’algorithme de classification aura autant de classes que de zones/formes à détecter. Par exemple, pour un clavier à 9 chiffres, il y aura 9 classes.The classification algorithm will have as many classes as there are areas/shapes to detect. For example, for a 9-digit keyboard, there will be 9 classes.

Selon un mode de réalisation, l’algorithme de classification est un algorithme ensembliste. Selon un mode de réalisation, l’algorithme de classification est un algorithme ensembliste de type boosting.According to one embodiment, the classification algorithm is a set algorithm. According to one embodiment, the classification algorithm is a boosting-type set algorithm.

Un algorithme de boosting est une technique d'apprentissage automatique qui combine les prédictions de plusieurs modèles faibles ou de base pour créer un modèle de prédiction plus fort et plus précis. Le boosting appartient aux méthodes d'apprentissage d'ensemble, où plusieurs modèles sont formés et combinés pour faire de meilleures prédictions que les modèles individuels.A boosting algorithm is a machine learning technique that combines the predictions of multiple weak or base models to create a stronger and more accurate prediction model. Boosting belongs to ensemble learning methods, where multiple models are trained and combined to make better predictions than the individual models.

En boosting, les modèles de base sont généralement simples et faibles, comme les arbres de décision avec une profondeur limitée ou des réseaux de neurones peu profonds. Chaque modèle de base est entraîné sur un sous-ensemble des données d'entraînement ou avec différents poids attribués aux points de données. Les modèles sont formés de manière itérative, chaque modèle suivant se concentrant sur les exemples qui ont été mal classés par les modèles précédents.In boosting, base models are typically simple and weak, such as decision trees with limited depth or shallow neural networks. Each base model is trained on a subset of the training data or with different weights assigned to the data points. Models are trained iteratively, with each subsequent model focusing on examples that were misclassified by previous models.

Au cours du processus de formation, le renforcement attribue des poids plus élevés aux exemples mal classés, leur donnant effectivement plus d'importance. Les modèles suivants sont ensuite formés pour hiérarchiser les exemples mal classés, en essayant de corriger les erreurs commises par les modèles précédents. Ce processus itératif se poursuit jusqu'à ce qu'un critère d'arrêt prédéfini soit satisfait, tel qu'un nombre maximal de modèles ou un niveau de précision souhaité.During the training process, reinforcement assigns higher weights to misclassified examples, effectively giving them more importance. Subsequent models are then trained to prioritize misclassified examples, attempting to correct the mistakes made by previous models. This iterative process continues until a predefined stopping criterion is met, such as a maximum number of models or a desired level of accuracy.

La prédiction finale est faite en combinant les prédictions de tous les modèles de base, généralement par le biais d'un système de vote pondéré. Les poids sont déterminés en fonction des performances de chaque modèle de base pendant l'entraînement. L'idée derrière le boosting est qu'en combinant plusieurs modèles faibles, chacun se concentrant sur différents aspects des données, le modèle global peut capturer des relations complexes et améliorer la précision prédictive.The final prediction is made by combining the predictions of all the base models, usually through a weighted voting system. The weights are determined based on the performance of each base model during training. The idea behind boosting is that by combining multiple weak models, each focusing on different aspects of the data, the overall model can capture complex relationships and improve predictive accuracy.

Les algorithmes de boost populaires incluent AdaBoost (Adaptive Boosting), Gradient Boosting et XGBoost (Extreme Gradient Boosting).Popular boosting algorithms include AdaBoost (Adaptive Boosting), Gradient Boosting, and XGBoost (Extreme Gradient Boosting).

Claims (12)

Dispositif (10) d’entrée de données comprenant :
  1. Une surface fonctionnelle (12) adaptée à recevoir une pression d’un utilisateur, comme la pression d’un doigt (14) d’un utilisateur ;
  2. Un film piézoélectrique (16) ayant au moins un axe de sensibilité (30, 34) et étant disposé en dessous de la surface fonctionnelle et adapté à émettre un signal électrique en fonction de la pression reçue par la surface fonctionnelle ; et
  3. Une unité de calcul (18) configurée pour :
    1. Recevoir le signal généré par le film piézoélectrique en réponse à la pression sur la surface fonctionnelle ; et
    2. Déterminer à partir de ce signal une zone et/ou une forme de la surface fonctionnelle pressée par l’utilisateur grâce à un algorithme de classification.
Data input device (10) comprising:
  1. A functional surface (12) adapted to receive pressure from a user, such as pressure from a user's finger (14);
  2. A piezoelectric film (16) having at least one sensitivity axis (30, 34) and being disposed below the functional surface and adapted to emit an electrical signal as a function of the pressure received by the functional surface; and
  3. A computing unit (18) configured to:
    1. Receiving the signal generated by the piezoelectric film in response to pressure on the functional surface; and
    2. Determine from this signal an area and/or a shape of the functional surface pressed by the user using a classification algorithm.
Dispositif selon la revendication 1, dans lequel la forme est un point, un trait ou une figure bi-dimensionnelle.The device of claim 1, wherein the shape is a point, line or two-dimensional figure. Dispositif selon la revendication précédente, dans lequel l’unité de calcul est configurée pour déterminer à partir du signal généré par le film piézoélectrique la séquence temporelle de pressage de la surface fonctionnelle grâce à un algorithme de classification.Device according to the preceding claim, in which the calculation unit is configured to determine from the signal generated by the piezoelectric film the time sequence of pressing of the functional surface using a classification algorithm. Dispositif selon l’une des revendications précédentes, dans lequel le dispositif d’entrée est un clavier (24), la surface fonctionnelle inclut une pluralité de zones (26), chaque zone correspondant à une touche, et l’unité de calcul est configurée pour déterminer à partir de ce signal la touche correspondant à la zone de la surface fonctionnelle pressée par l’utilisateur.Device according to one of the preceding claims, in which the input device is a keyboard (24), the functional surface includes a plurality of zones (26), each zone corresponding to a key, and the calculation unit is configured to determine from this signal the key corresponding to the zone of the functional surface pressed by the user. Dispositif selon la revendication 4, dans lequel les touches sont disposées selon une ligne et le film piézoélectrique est un unique film piézoélectrique ayant un axe de sensibilité disposé parallèle à la ligne de touches.Device according to claim 4, in which the keys are arranged in a line and the piezoelectric film is a single piezoelectric film having a sensitivity axis arranged parallel to the line of keys. Dispositif selon la revendication 4, dans lequel les touches sont disposées en matrice selon des lignes et des colonnes, et le film piézoélectrique est un unique film piézoélectrique ayant au moins deux axes de sensibilité non parallèle.A device according to claim 4, wherein the keys are arranged in a matrix in rows and columns, and the piezoelectric film is a single piezoelectric film having at least two non-parallel axes of sensitivity. Dispositif selon la revendication 4, dans lequel les touches sont disposées en matrice selon des lignes et des colonnes, et le film piézoélectrique est constitué d’un premier film piézoélectrique (28) ayant un premier axe de sensibilité (30) et d’un deuxième film piézoélectrique (32) ayant un deuxième axe de sensibilité (34), le premier film piézoélectrique étant disposé par rapport au deuxième film piézoélectrique de sorte à avoir le premier axe de sensibilité à un angle non nul, préférentiellement à 90 degrés, du deuxième axe de sensibilité.Device according to claim 4, in which the keys are arranged in a matrix according to rows and columns, and the piezoelectric film consists of a first piezoelectric film (28) having a first sensitivity axis (30) and a second piezoelectric film (32) having a second sensitivity axis (34), the first piezoelectric film being arranged relative to the second piezoelectric film so as to have the first sensitivity axis at a non-zero angle, preferably at 90 degrees, from the second sensitivity axis. Dispositif selon la revendication précédente, dans lequel le premier film piézoélectrique est disposé vis-à-vis de la surface fonctionnelle de sorte à avoir le premier axe de sensibilité parallèle aux lignes de la matrice de touches, et le deuxième film piézoélectrique est disposé vis-à-vis de la surface fonctionnelle de sorte à avoir le deuxième axe de sensibilité parallèle aux colonnes de la matrice de touches.Device according to the preceding claim, in which the first piezoelectric film is arranged opposite the functional surface so as to have the first axis of sensitivity parallel to the rows of the key matrix, and the second piezoelectric film is arranged opposite the functional surface so as to have the second axis of sensitivity parallel to the columns of the key matrix. Dispositif selon l’une des revendications précédentes, dans lequel l’algorithme de classification est de type ensembliste.Device according to one of the preceding claims, in which the classification algorithm is of the set type. Dispositif selon la revendication précédente, dans lequel l’algorithme de classification est de type boosting, par exemple Adaptive Boosting, Gradient Boosting, ou Extreme Gradient Boosting.Device according to the preceding claim, in which the classification algorithm is of the boosting type, for example Adaptive Boosting, Gradient Boosting, or Extreme Gradient Boosting. Dispositif selon l’une des revendications précédentes, dans lequel le film piézoélectrique est directement collé à la surface fonctionnelle.Device according to one of the preceding claims, in which the piezoelectric film is directly bonded to the functional surface. Véhicule automobile comprenant le dispositif d’entrée de données selon l’une des revendications 1 à 11.Motor vehicle comprising the data input device according to one of claims 1 to 11.
FR2306477A 2023-06-22 2023-06-22 DATA INPUT DEVICE Pending FR3150319A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR2306477A FR3150319A1 (en) 2023-06-22 2023-06-22 DATA INPUT DEVICE
PCT/EP2024/066870 WO2024260938A1 (en) 2023-06-22 2024-06-18 Data input device
CN202480040842.1A CN121420277A (en) 2023-06-22 2024-06-18 Data input device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2306477 2023-06-22
FR2306477A FR3150319A1 (en) 2023-06-22 2023-06-22 DATA INPUT DEVICE

Publications (1)

Publication Number Publication Date
FR3150319A1 true FR3150319A1 (en) 2024-12-27

Family

ID=87974219

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2306477A Pending FR3150319A1 (en) 2023-06-22 2023-06-22 DATA INPUT DEVICE

Country Status (3)

Country Link
CN (1) CN121420277A (en)
FR (1) FR3150319A1 (en)
WO (1) WO2024260938A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101253A1 (en) * 2008-03-14 2009-09-16 France Telecom Gesture-classification device
US20130257759A1 (en) * 2012-03-29 2013-10-03 Intermec Technologies Corporation Interleaved piezoelectric tactile interface
US20200042137A1 (en) * 2017-08-21 2020-02-06 Murata Manufacturing Co., Ltd. Pressure sensor and electronic device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009988B2 (en) * 2018-05-04 2021-05-18 Synaptics Incorporated Using electrical resistance to estimate force on an electrode during temperature changes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101253A1 (en) * 2008-03-14 2009-09-16 France Telecom Gesture-classification device
US20130257759A1 (en) * 2012-03-29 2013-10-03 Intermec Technologies Corporation Interleaved piezoelectric tactile interface
US20200042137A1 (en) * 2017-08-21 2020-02-06 Murata Manufacturing Co., Ltd. Pressure sensor and electronic device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG SIZHE ET AL: "Piezoelectric and Machine Learning-Based Technique for Classifying Force Levels and Locations of Multiple Force Touch Events", 2021 IEEE INTERNATIONAL CONFERENCE ON FLEXIBLE AND PRINTABLE SENSORS AND SYSTEMS (FLEPS), IEEE, 20 June 2021 (2021-06-20), pages 1 - 4, XP033937961, DOI: 10.1109/FLEPS51544.2021.9469803 *

Also Published As

Publication number Publication date
WO2024260938A1 (en) 2024-12-26
CN121420277A (en) 2026-01-27

Similar Documents

Publication Publication Date Title
US12002282B2 (en) Operating a fingerprint sensor comprised of ultrasonic transducers
JP3188177B2 (en) Fingerprint detector using raised resistance sensing array
US10346699B2 (en) Methods and systems for enrolling biometric data
CN101142617B (en) Method and apparatus for data entry input
CN109219817A (en) Operate the fingerprint sensor being made of ultrasonic transducer
TWI598796B (en) Touch sensitive switch and electronic device
FR2949007A1 (en) DEVICE AND METHOD FOR CONTROL INTERFACE SENSITIVE TO A MOVEMENT OF A BODY OR OBJECT AND CONTROL EQUIPMENT INCORPORATING THIS DEVICE.
US10639543B2 (en) Handheld controllers with touch-sensitive controls
US11243300B2 (en) Operating a fingerprint sensor comprised of ultrasonic transducers and a presence sensor
US9898689B2 (en) Nonparametric model for detection of spatially diverse temporal patterns
CN112154404A (en) Ultrasonic touch and force input detection
CN109496310B (en) Fingerprint identification method, device and terminal equipment
JP2020064631A (en) Input device
Ryu et al. Embedded identification of surface based on multirate sensor fusion with deep neural network
FR3150319A1 (en) DATA INPUT DEVICE
CN109670478B (en) Electronic device and control method thereof
KR20170108764A (en) Method and mobile terminal for identifying touch pressure
US11348357B1 (en) Fingerprint sensor configured for avoidance of latent fingerprints
US11625955B1 (en) Fingerprint sensor with force or pressure feedback
CN105912239A (en) Operation control method of mobile terminal, and mobile terminal
Yu et al. Fingerprint image preprocessing based on whole-hand image captured by digital camera
US20260030915A1 (en) Flexible acoustic sensor systems using an acoustic lens
Gofman et al. Security, privacy, and usability challenges in selfie biometrics
JPH0648494B2 (en) Uneven surface information input device
WO2026030243A1 (en) Flexible acoustic sensor systems using an acoustic lens

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20241227

PLFP Fee payment

Year of fee payment: 3