FR3088005A1 - SYSTEM AND METHOD FOR VIEWING ELEMENTS RELATED TO A PATIENT JOINT - Google Patents
SYSTEM AND METHOD FOR VIEWING ELEMENTS RELATED TO A PATIENT JOINT Download PDFInfo
- Publication number
- FR3088005A1 FR3088005A1 FR1860242A FR1860242A FR3088005A1 FR 3088005 A1 FR3088005 A1 FR 3088005A1 FR 1860242 A FR1860242 A FR 1860242A FR 1860242 A FR1860242 A FR 1860242A FR 3088005 A1 FR3088005 A1 FR 3088005A1
- Authority
- FR
- France
- Prior art keywords
- patient
- relative
- positioning
- location device
- femur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4504—Bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4571—Evaluating the hip
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4576—Evaluating the shoulder
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/458—Evaluating the elbow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4585—Evaluating the knee
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Rheumatology (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
L'invention concerne un système de visualisation, en réalité augmentée, pour présenter des éléments visuels en fonction d'une relation spatiale entre un premier membre et un deuxième membre joint par une articulation, en: - déterminant, au moyen d'un dispositif de localisation, une mesure de la position spatiale du dispositif de localisation relativement à un dispositif d'acquisition, une mesure angulaire du dispositif de localisation relativement à un axe vertical, et la relation spatiale entre les membres en considérant le deuxième membre comme immobile, et en fonction de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, et d'une première hypothèse de positionnement entre les membres ; - présentant, sur un module afficheur, au moins une représentation visuelle des membres, en fonction de la relation spatiale entre les membres et de la position spatiale entre le dispositif de localisation relativement au dispositif d'acquisition.The invention relates to a visualization system, in augmented reality, for presenting visual elements as a function of a spatial relationship between a first member and a second member joined by an articulation, by: - determining, by means of a device location, a measurement of the spatial position of the location device relative to an acquisition device, an angular measurement of the location device relative to a vertical axis, and the spatial relationship between the members by considering the second member as immobile, and by function of the angular measurement of the location device relative to the vertical axis, and of a first hypothesis of positioning between the members; - Presenting, on a display module, at least a visual representation of the members, as a function of the spatial relationship between the members and of the spatial position between the location device relative to the acquisition device.
Description
La présente invention concerne un système de visualisation en réalité augmentée d'éléments représentés en fonction du positionnement relatif d'au moins deux membres d'un patient joints par une articulation mobile ou semi-mobile.The present invention relates to an augmented reality display system of elements represented as a function of the relative positioning of at least two members of a patient joined by a mobile or semi-mobile joint.
Le domaine de l’invention est celui des systèmes d'assistance lors de consultations médicales - en particulier en préparation d'opération de chirurgie orthopédique -, ou encore lors d'opérations chirurgicales.The field of the invention is that of assistance systems during medical consultations - in particular in preparation for orthopedic surgery - or even during surgical operations.
Pour permettre la visualisation d'éléments représentés en fonction du positionnement relatif de deux membres d'un patient joints par une articulation mobile ou semi-mobile, les systèmes de visualisation connus requièrent la mise en oeuvre d'un dispositif d'affichage ainsi que d'un système de suivi, coopérant avec des dispositifs de localisation disposés sur chacun des deux membres.To allow the visualization of elements represented as a function of the relative positioning of two members of a patient joined by a mobile or semi-mobile joint, the known visualization systems require the use of a display device as well as '' a tracking system, cooperating with localization devices placed on each of the two members.
Les dispositifs de localisation sont typiquement des marqueurs optiques ou magnétiques, fixés sur chacun des deux membres du patient. Le système de suivi étant ainsi pourvu de capteurs aptes à localiser dans l'espace les marqueurs.The localization devices are typically optical or magnetic markers, fixed on each of the two members of the patient. The tracking system is thus provided with sensors capable of locating the markers in space.
Le système de suivi peut ainsi obtenir, en temps réel et de manière continue, la position de chaque membre. Ainsi, dans l'exemple de marqueurs optiques, le système de suivi peut comporter une caméra, orientée de manière à obtenir un flux vidéo représentant le champ visuel dans lequel l'articulation ainsi que les marqueurs optiques sont inclus. Le système de suivi est alors configuré pour identifier les géométries et couleurs spécifiques aux marqueurs optiques dans le flux vidéo de la caméra et positionner virtuellement dans le référentiel de la caméra les marqueurs optiques.The tracking system can thus obtain, in real time and continuously, the position of each member. Thus, in the example of optical markers, the monitoring system may include a camera, oriented so as to obtain a video stream representing the visual field in which the joint as well as the optical markers are included. The tracking system is then configured to identify the geometries and colors specific to the optical markers in the video stream from the camera and virtually position the optical markers in the camera's repository.
Un exemple de système de visualisation connu, utilisé lors de chirurgies du genou, comprend un système de suivi muni d'une caméra externe arrangée de manière à permettre la localisation continue de deux marqueurs optiques fixés respectivement au tibia et au fémur du patient. Un écran déporté permet notamment l'affichage, en superposition du flux vidéo acquis par la caméra, d'une projection d'un modèle tridimensionnel de composants de prothèse de genou, en fonction de la configuration spatiale du tibia et du fémur du patient, déterminée au moyen des deux marqueurs optiques.An example of a known visualization system, used during knee surgeries, comprises a tracking system provided with an external camera arranged so as to allow the continuous localization of two optical markers fixed respectively to the tibia and the femur of the patient. A remote screen allows in particular the display, superimposed of the video stream acquired by the camera, of a projection of a three-dimensional model of knee prosthesis components, according to the spatial configuration of the tibia and of the patient's femur, determined by means of the two optical markers.
Dans de tels systèmes, le système de suivi doit être en mesure de déterminer à chaque instant les positions des deux dispositifs de localisation, qui doivent donc être continuellement détectables et localisables. Ainsi, au moyen des systèmes connus, pour permettre une représentation continue en temps réel d'éléments visuels relatifs à une articulation d'un patient, il est nécessaire de déterminer et suivre la position ainsi que l’amplitude des mouvements de l’articulation observée au moyen d'au moins deux dispositifs de localisation positionnés sur les deux membres joints par l'articulation.In such systems, the tracking system must be able to determine at all times the positions of the two localization devices, which must therefore be continuously detectable and localizable. Thus, by means of known systems, to allow a continuous representation in real time of visual elements relating to a joint of a patient, it is necessary to determine and monitor the position as well as the amplitude of the movements of the observed joint. by means of at least two locating devices positioned on the two members joined by the joint.
Dans une telle configuration, le dispositif de suivi doit assurer le suivi simultané des deux dispositifs de localisation, et donc pouvoir continuellement détecter et localiser les deux dispositifs de localisation. C'est pourquoi il existe un risque pour que le système de suivi perde le suivi des positions relatives des membres et de l'articulation, si un des deux dispositifs de localisation n'est plus détectable par le système de suivi. Ce cas de figure peut notamment se présenter lorsqu'un marqueur optique occulte, du point du système de suivi, le second, en particulier à la suite d'un mouvement des membres du patient entraînant le passage d'un marqueur optique devant l'autre, vu depuis la caméra du système de suivi.In such a configuration, the monitoring device must ensure the simultaneous monitoring of the two location devices, and therefore be able to continuously detect and locate the two location devices. This is why there is a risk that the tracking system loses tracking of the relative positions of the limbs and of the joint, if one of the two location devices is no longer detectable by the tracking system. This scenario can in particular arise when an optical marker obscures, from the point of the monitoring system, the second, in particular following a movement of the limbs of the patient causing the passage of an optical marker in front of the other , seen from the camera of the tracking system.
C’est pourquoi il existe encore un besoin pour fournir des moyens de visualisation, possiblement en réalité augmentée, d'éléments représentés en fonction du positionnement relatif de deux membres d'un patient joints par une articulation mobile ou semi-mobile, et ne nécessitant la mise en œuvre que d'un unique dispositif de localisation disposé sur l'un des deux membres joints par l'articulation.This is why there is still a need to provide means of visualization, possibly in augmented reality, of elements represented as a function of the relative positioning of two members of a patient joined by a mobile or semi-mobile joint, and not requiring the implementation only of a single localization device disposed on one of the two members joined by the joint.
Un des objets de l’invention est de fournir des moyens de visualisation, possiblement en réalité augmentée, d'éléments représentés en fonction du positionnement relatif de deux membres d'un patient joints par une articulation mobile ou semi-mobile, mettant en œuvre un unique dispositif de localisation disposé sur l'un des deux membres joints par l'articulation.One of the objects of the invention is to provide means of visualization, possibly in augmented reality, of elements represented as a function of the relative positioning of two limbs of a patient joined by a mobile or semi-mobile joint, implementing a single localization device placed on one of the two members joined by the joint.
Un des objets de l’invention est de fournir des moyens de visualisation aptes à permettre l'affichage, sur un dispositif en réalité augmenté, d'éléments graphiques et/ou textuels relatifs à des prothèses orthopédiques, tels que des projections de modèles tridimensionnels de composants de prothèse de genou ou de hanche par exemple, en fonction de la configuration spatiale des membres correspondants du patient.One of the objects of the invention is to provide visualization means capable of allowing the display, on an augmented reality device, of graphic and / or textual elements relating to orthopedic prostheses, such as projections of three-dimensional models of knee or hip prosthesis components for example, depending on the spatial configuration of the corresponding limbs of the patient.
Un autre objet de l’invention est de fournir des moyens de visualisation adaptés à être utilisés par un soignant ou un patient, en particulier lors de consultations médicales.Another object of the invention is to provide visualization means adapted to be used by a caregiver or a patient, in particular during medical consultations.
Un autre objet de l’invention est de fournir des moyens de visualisation d'éléments représentés en fonction du positionnement relatif de deux membres d'un patient joints par diverses articulations mobiles ou semimobiles, notamment par le genou, par le coude ou par la hanche, sans nécessiter de modifications substantielles.Another object of the invention is to provide means for viewing elements represented as a function of the relative positioning of two members of a patient joined by various mobile or semi-mobile joints, in particular by the knee, by the elbow or by the hip. , without requiring substantial modifications.
Un des objets de l’invention est de fournir des moyens de visualisation, peu coûteux, utilisant des composants largement répandus et standard, ainsi que des matériaux facilement disponibles.One of the objects of the invention is to provide inexpensive means of visualization, using widely used and standard components, as well as readily available materials.
Un des objets de l’invention est de fournir des moyens de visualisation adaptés à être mis en œuvre de manière simple et rapide, par des utilisateurs non spécifiquement formés à l'utilisation du système.One of the objects of the invention is to provide display means adapted to be implemented in a simple and rapid manner, by users not specifically trained in the use of the system.
Un des objets de l’invention est de fournir un moyen de visualisation fiable et robuste, permettant l'utilisation d'un unique dispositif de localisation.One of the objects of the invention is to provide a reliable and robust display means, allowing the use of a single location device.
Un ou plusieurs de ces objets sont remplis par le système et le procédé tels que décrits ci-après.One or more of these objects are fulfilled by the system and method as described below.
Dans la suite de la description, le terme relation angulaire entre un premier objet et un deuxième objet est employé pour désigner l'orientation du premier objet relativement à l'orientation du deuxième objet.In the following description, the term angular relationship between a first object and a second object is used to designate the orientation of the first object relative to the orientation of the second object.
Le terme relation spatiale entre un premier objet et un deuxième objet est employé pour désigner la position relative et l'orientation relative entre le premier objet et le deuxième objet.The term spatial relationship between a first object and a second object is used to designate the relative position and the relative orientation between the first object and the second object.
Le terme configuration spatiale est employé pour désigner les positions et les orientations, dans un espace tridimensionnel, des différents objets concernés.The term spatial configuration is used to designate the positions and orientations, in three-dimensional space, of the various objects concerned.
Plus particulièrement, selon un premier aspect, l’invention se rapporte à un système de visualisation, en réalité augmentée.More particularly, according to a first aspect, the invention relates to a visualization system, in augmented reality.
Le système de visualisation comporte un module afficheur apte à présenter des éléments visuels en fonction d'une relation spatiale entre un premier membre et un deuxième membre joint par une articulation mobile ou semi-mobile.The display system comprises a display module capable of presenting visual elements as a function of a spatial relationship between a first member and a second member joined by a mobile or semi-mobile joint.
Le module afficheur est configuré pour permettre la présentation des éléments visuels, sur un ou plusieurs écrans et/ou systèmes de projection optique et/ou systèmes de surimpression.The display module is configured to allow the presentation of the visual elements, on one or more screens and / or optical projection systems and / or overprinting systems.
Dans un mode de réalisation, le module afficheur est intégré à un téléphone mobile, une tablette ou un ordinateur.In one embodiment, the display module is integrated into a mobile phone, a tablet or a computer.
Dans un mode de réalisation, le module afficheur est apte à présenter, en superposition dans le champ visuel d'un utilisateur du système, les éléments visuels. Ainsi, le module afficheur peut comprendre une paire de lunettes de réalité augmentée apte à produire des hologrammes dans le champ de vision du porteur, ou un casque de réalité virtuelle.In one embodiment, the display module is able to present, in superposition in the visual field of a user of the system, the visual elements. Thus, the display module can include a pair of augmented reality glasses capable of producing holograms in the wearer's field of vision, or a virtual reality headset.
Les éléments visuels comprennent typiquement des modèles géométriques, bidimensionnels ou tridimensionnels, d'objets ou d'informations relatifs à l'articulation, au premier membre et/ou au deuxième membre.The visual elements typically include geometric, two-dimensional or three-dimensional models of objects or information relating to the joint, the first member and / or the second member.
Les éléments visuels sont en outre typiquement destinés à être présentés par le module afficheur, en fonction de la relation spatiale entre l'articulation, le premier membre et le deuxième membre.The visual elements are also typically intended to be presented by the display module, as a function of the spatial relationship between the joint, the first member and the second member.
Les éléments visuels comprennent par exemple un ou plusieurs éléments de la liste non exhaustive suivante: un modèle géométrique et/ou une représentation symbolique d'un repère anatomique, tel qu'une forme d’os, un contour d’os; un modèle géométrique et/ou une représentation symbolique d'un composant d'une prothèse ou d'une instrumentation; une ligne de repérage; une information textuelle accompagnée éventuellement d’une information géométrique; un repère ou une valeur telle qu'un angle, une distance, une taille, ainsi qu'une éventuelle information géométrique relative à ce repère ou cette valeur; etc.The visual elements include for example one or more elements from the following non-exhaustive list: a geometric model and / or a symbolic representation of an anatomical landmark, such as a bone shape, a bone contour; a geometric model and / or a symbolic representation of a component of a prosthesis or instrumentation; a tracking line; textual information possibly accompanied by geometric information; a reference or a value such as an angle, a distance, a size, as well as any geometric information relating to this reference or this value; etc.
Le système de visualisation comporte encore un dispositif de localisation adapté à être disposé sur le premier membre du patient.The display system also includes a localization device adapted to be placed on the first member of the patient.
Le dispositif de localisation peut être maintenu dans une position et une orientation déterminés relativement au premier membre, au moyen d'un dispositif de fixation, tel qu’un adhésif, une sangle ou une ceinture maintenant un support sur lequel le dispositif de localisation est disposé.The locating device can be held in a determined position and orientation relative to the first member, by means of a fixing device, such as an adhesive, a strap or a belt holding a support on which the locating device is placed .
Ainsi, le système de visualisation, contrairement aux systèmes de l'art antérieur, nécessite un unique dispositif de localisation et peut donc être mis en œuvre de manière simple et rapide, par des utilisateurs non spécifiquement formés à l'utilisation du système, puisqu'un unique dispositif de localisation doit être fixé au premier membre.Thus, the display system, unlike the systems of the prior art, requires a single location device and can therefore be implemented in a simple and rapid manner, by users not specifically trained in the use of the system, since a single locating device must be attached to the first member.
Dans un mode de réalisation, le dispositif de localisation est un marqueur optique, destiné à être couplé rigidement au premier membre du patient. Le marqueur optique comporte typiquement un support sur lequel un motif géométrique et/ou coloré est représenté.In one embodiment, the location device is an optical marker, intended to be rigidly coupled to the first member of the patient. The optical marker typically comprises a support on which a geometric and / or colored pattern is represented.
Le marqueur optique a notamment pour avantage d'être peu coûteux, et aisément positionnable sur le premier membre. Le motif géométrique et/ou coloré est notamment adapté à être identifiable par le dispositif d'acquisition.The optical marker has the particular advantage of being inexpensive and easily positioned on the first member. The geometric and / or colored pattern is in particular adapted to be identifiable by the acquisition device.
Alternativement, le dispositif de localisation est un marqueur magnétique, destiné à être couplé rigidement au premier membre du patient.Alternatively, the location device is a magnetic marker, intended to be rigidly coupled to the first member of the patient.
Le système de visualisation comporte encore un système de suivi comprenant un dispositif d'acquisition.The display system also includes a monitoring system comprising an acquisition device.
En particulier, le dispositif d'acquisition peut comporter au moins un capteur apte à produire des données utilisables pour repérer, dans un espace, le dispositif de localisation.In particular, the acquisition device may include at least one sensor capable of producing data that can be used to locate, in a space, the location device.
Ainsi, si le dispositif de localisation est un marqueur optique, le dispositif d'acquisition peut comprendre une caméra orientable de sorte à obtenir un flux vidéo représentant le champ visuel dans lequel le marqueur optique est inclus. Le système de suivi peut alors être configuré pour identifier les motifs et/ou couleurs spécifiques aux marqueurs optiques dans le flux vidéo de la caméra.Thus, if the localization device is an optical marker, the acquisition device can comprise an orientable camera so as to obtain a video stream representing the visual field in which the optical marker is included. The tracking system can then be configured to identify patterns and / or colors specific to optical markers in the video stream from the camera.
Dans un mode de réalisation avantageux, notamment pour la réalité augmentée afin d'augmenter la sensation d'immersion, le dispositif d'acquisition et le dispositif d'affichage sont couplés mécaniquement de sorte que la relation spatiale entre le dispositif d'acquisition et le dispositif d'affichage soit sensiblement constante.In an advantageous embodiment, in particular for augmented reality in order to increase the feeling of immersion, the acquisition device and the display device are mechanically coupled so that the spatial relationship between the acquisition device and the display device is substantially constant.
Le système de suivi est configuré pour :The tracking system is configured to:
déterminer, au moyen du dispositif de localisation, une mesure de la position spatiale du dispositif de localisation relativement au dispositif d’acquisition ; et déterminer, au moyen du dispositif de localisation, une mesure angulaire du dispositif de localisation relativement à un axe vertical.determining, using the location device, a measure of the spatial position of the location device relative to the acquisition device; and determining, using the locator, an angular measurement of the locator relative to a vertical axis.
Le système de suivi est encore configuré pour déterminer, au moyen du dispositif de localisation, une relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction au moins de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, et d'une première hypothèse de positionnement entre le premier membre et le deuxième membre.The tracking system is further configured to determine, by means of the location device, a spatial relationship between the first member and the second member, considering the second member as immobile, and as a function at least of the angular measurement of the location device. relative to the vertical axis, and a first hypothesis of positioning between the first member and the second member.
Le terme axe vertical est employé pour désigner un axe s’étendant orthogonalement à un plan support ou sol horizontal, ou un axe s’étendant selon la direction de la force gravitationnelle. Cet axe vertical peut être déterminé par exemple et à titre non limitatif :The term vertical axis is used to designate an axis extending orthogonally to a horizontal support plane or ground, or an axis extending in the direction of the gravitational force. This vertical axis can be determined for example and without limitation:
au moyen d’un système de reconnaissance de l’environnement (notamment par caméra) qui va repérer un plan support ou un sol horizontal, pour en déduire l’axe vertical ; et/ou au moyen d’un système de détection de la direction de la force gravitationnelle (notamment un accéléromètre tridimensionnel) qui va détecter la direction de la force gravitationnelle et ainsi permettre d’en déduire l’axe vertical.by means of an environmental recognition system (in particular by camera) which will locate a support plane or a horizontal ground, to deduce the vertical axis therefrom; and / or by means of a gravitational force direction detection system (in particular a three-dimensional accelerometer) which will detect the direction of the gravitational force and thus make it possible to deduce the vertical axis.
Dans une réalisation avantageuse, la relation spatiale entre le premier membre et le deuxième membre est déterminée également en fonction d’une relation spatiale invariable définie par l’articulation et précisant au moins un centre de rotation et un axe de rotation entre le premier membre et le second membre.In an advantageous embodiment, the spatial relationship between the first member and the second member is also determined as a function of an invariable spatial relationship defined by the articulation and specifying at least one center of rotation and one axis of rotation between the first member and the second member.
Avantageusement, le système de suivi peut être configuré pour déterminer la relation spatiale entre le premier membre et le deuxième membre, à intervalles rapprochés - typiquement quelques dizaines de millisecondes, de sorte à permettre la prise en compte des variations de ladite relation spatiale au cours du temps en temps réel, et de permettre la mise à jour des éléments visuels sur le module afficheur de manière fluide.Advantageously, the monitoring system can be configured to determine the spatial relationship between the first member and the second member, at close intervals - typically a few tens of milliseconds, so as to take into account the variations of said spatial relationship during the in real time, and to allow the visual elements to be updated on the display module in a fluid manner.
Selon l'invention, il est donc supposé que le deuxième membre reste sensiblement immobile, le membre mobile - c'est-à-dire le premier membre - étant quant à lui couplé au dispositif de localisation, ce qui permet donc de faire une hypothèse de positionnement du membre immobile - c'est-àdire le deuxième membre - dans l’environnement.According to the invention, it is therefore assumed that the second member remains substantially stationary, the mobile member - that is to say the first member - being in turn coupled to the location device, which therefore makes it possible to make an assumption positioning of the immobile member - that is to say the second member - in the environment.
De plus, en tenant compte de la première hypothèse de positionnement entre le premier membre et le deuxième membre, il est ainsi possible de déterminer la relation angulaire entre le premier membre et le deuxième membre, sans disposer d'un deuxième dispositif de localisation, en simplifiant le problème de suivi de deux membres.In addition, taking into account the first positioning hypothesis between the first member and the second member, it is thus possible to determine the angular relationship between the first member and the second member, without having a second location device, in simplifying the problem of tracking two members.
Le système de visualisation est donc particulièrement robuste, car un unique dispositif de localisation est utilisé par le système de suivi, évitant ainsi toute perturbation susceptible d'intervenir lorsqu'une pluralité de dispositif de localisation est employée.The display system is therefore particularly robust, because a single location device is used by the monitoring system, thus avoiding any disturbance liable to occur when a plurality of location devices are used.
Le module afficheur peut ainsi présenter les éléments visuels en fonction de la relation spatiale entre le premier membre et le deuxième membre joint par une articulation mobile ou semi-mobile.The display module can thus present the visual elements as a function of the spatial relationship between the first member and the second member joined by a mobile or semi-mobile joint.
Dans un mode de réalisation avantageux, le système de suivi est en outre configuré pour présenter, sur le module afficheur, les éléments visuels comprenant au moins une représentation visuelle du premier membre et du deuxième membre, en fonction de la position spatiale entre le dispositif de localisation relativement au dispositif d’acquisition.In an advantageous embodiment, the tracking system is further configured to present, on the display module, the visual elements comprising at least one visual representation of the first member and of the second member, as a function of the spatial position between the device location relative to the acquisition device.
Le système de suivi comporte en outre une interface utilisateur adaptée pour permettre la saisie d'au moins une correction du positionnement du premier membre et du deuxième membre sur la représentation présentée sur le module afficheur.The monitoring system also includes a user interface adapted to allow entry of at least one correction of the positioning of the first member and of the second member on the representation presented on the display module.
Typiquement, la deuxième hypothèse peut être utilisée pour ajuster, compenser ou affiner la première hypothèse de positionnement. La deuxième hypothèse peut en particulier être déduite de la saisie opérée par un utilisateur du système effectuée à partir des informations visuelles qu’il reçoit et de commandes logicielles.Typically, the second hypothesis can be used to adjust, compensate or refine the first positioning hypothesis. The second hypothesis can in particular be deduced from the input made by a user of the system carried out from the visual information which he receives and from software commands.
Le système de suivi est alors encore configuré pour :The tracking system is then still configured to:
déterminer une deuxième hypothèse de positionnement entre le premier membre et le deuxième membre, en fonction de ladite au moins une correction ;determining a second positioning hypothesis between the first member and the second member, as a function of said at least one correction;
mettre à jour, au moyen du dispositif de localisation, la relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, de la première hypothèse et de la deuxième hypothèse de positionnement entre le premier membre et le deuxième membre.update, by means of the location device, the spatial relationship between the first member and the second member, considering the second member as immobile, and according to the angular measurement of the location device relative to the vertical axis, the first hypothesis and the second hypothesis of positioning between the first member and the second member.
Le dispositif d'acquisition comporte avantageusement des moyens pour permettre de déterminer une mesure angulaire du dispositif d'acquisition relativement à un axe vertical.The acquisition device advantageously includes means for determining an angular measurement of the acquisition device relative to a vertical axis.
À cette fin, le dispositif d'acquisition peut comporter un ou plusieurs des dispositifs de la liste non exhaustive suivante: une centrale inertielle, un gyroscope, un module de géolocalisation de type GPS, un détecteur de niveau, un détecteur de champ magnétique, un système de reconstruction tridimensionnel de l’environnement immédiat, etc.To this end, the acquisition device may include one or more of the devices from the following non-exhaustive list: an inertial unit, a gyroscope, a GPS-type geolocation module, a level detector, a magnetic field detector, a three-dimensional reconstruction system of the immediate environment, etc.
Le système de suivi est alors configuré pour déterminer la mesure angulaire du dispositif de localisation relativement à l'axe vertical, en fonction de la mesure angulaire du dispositif d'acquisition relativement à l'axe vertical.The tracking system is then configured to determine the angular measurement of the localization device relative to the vertical axis, as a function of the angular measurement of the acquisition device relative to the vertical axis.
Dans un mode de réalisation, le premier membre est un tibia du patient, le deuxième membre est le fémur du patient, l’appareil extenseur du genou étant alors l'articulation joignant le tibia au fémur.In one embodiment, the first member is a patient's tibia, the second member is the patient's femur, the knee extensor then being the joint joining the tibia to the femur.
Le dispositif de localisation est alors disposé autour du tibia, sur l'avant-jambe.The localization device is then placed around the tibia, on the forearm.
En outre, la première hypothèse de positionnement entre le tibia et le fémur peut correspondre à un positionnement du tibia et du fémur de tel que l'axe longitudinal du tibia et l'axe longitudinal du fémur forment un angle sensiblement égal à 90°, positionnement typiquement observé lorsqu'un patient est assis sur une chaise.In addition, the first hypothesis of positioning between the tibia and the femur may correspond to a positioning of the tibia and of the femur such that the longitudinal axis of the tibia and the longitudinal axis of the femur form an angle substantially equal to 90 °, positioning typically seen when a patient is seated in a chair.
Les éléments visuels peuvent aussi comprendre des informations et/ou des modèles géométriques et/ou des représentations symboliques relatifs à une prothèse totale de genou, ou encore des informations en lien avec la jambe comme des textiles.The visual elements can also include information and / or geometric models and / or symbolic representations relating to a total knee prosthesis, or even information relating to the leg such as textiles.
Dans un mode de réalisation, le premier membre est un fémur du patient, le deuxième membre est le bassin du patient, la hanche étant alors l'articulation joignant le premier membre (le fémur) au deuxième membre (le bassin), le dispositif de localisation étant disposé sur autour du fémur, sur la cuisse.In one embodiment, the first member is a patient's femur, the second member is the patient's pelvis, the hip then being the joint joining the first member (the femur) to the second member (the pelvis), the localization being placed on around the femur, on the thigh.
En outre, la première hypothèse peut correspondre alors au positionnement du bassin et du fémur observé lorsqu'un patient en position debout ou assise. Les éléments visuels peuvent aussi comprendre des informations et/ou des modèles géométriques et/ou des représentations symboliques relatifs à une prothèse totale de hanche.In addition, the first hypothesis can then correspond to the positioning of the pelvis and the femur observed when a patient in a standing or sitting position. The visual elements can also include information and / or geometric models and / or symbolic representations relating to a total hip prosthesis.
Dans un mode de réalisation, le premier membre correspond au radius/cubitus du patient, le deuxième membre est l'humérus du patient, le coude étant alors l'articulation joignant le radius/cubitus à l'humérus.In one embodiment, the first member corresponds to the radius / ulna of the patient, the second member is the patient's humerus, the elbow then being the joint joining the radius / ulna to the humerus.
Le dispositif de localisation est disposé autour du radius/cubitus, sur l'avant-bras.The localization device is placed around the radius / ulna, on the forearm.
En outre, la première hypothèse peut correspondre au positionnement du radius/cubitus et de l'humérus observé lorsque le bras d'un patient est en position verticale ou horizontale par rapport au sol. Les éléments visuels peuvent aussi comprendre des informations et/ou des modèles géométriques et/ou des représentations symboliques relatifs à une prothèse ou encore avec les os de la région environnante du coude.In addition, the first hypothesis may correspond to the positioning of the radius / ulna and the humerus observed when a patient's arm is in a vertical or horizontal position relative to the ground. The visual elements may also include information and / or geometric models and / or symbolic representations relating to a prosthesis or with the bones of the surrounding region of the elbow.
Dans un mode de réalisation, le premier membre correspond à l'humérus d'un patient, le deuxième membre est le tronc du patient, l'épaule étant alors l'articulation joignant l’humérus au tronc.In one embodiment, the first member corresponds to the humerus of a patient, the second member is the patient's trunk, the shoulder then being the joint joining the humerus to the trunk.
Le dispositif de localisation est disposé autour de l’humérus, sur le bras.The locator is placed around the humerus on the arm.
En outre, la première hypothèse peut correspondre au positionnement de l'humérus et du tronc lorsque le tronc est en position verticale ou horizontale par rapport au sol. Les éléments visuels peuvent aussi comprendre des informations et/ou des modèles géométriques et/ou des représentations symboliques relatifs à une prothèse d'épaules.In addition, the first hypothesis may correspond to the positioning of the humerus and the trunk when the trunk is in a vertical or horizontal position relative to the ground. The visual elements may also include information and / or geometric models and / or symbolic representations relating to a shoulder prosthesis.
Selon un deuxième aspect, l’invention se rapporte à un procédé de visualisation, en réalité augmentée, pour présenter des éléments visuels en fonction d'une relation spatiale entre un premier membre et un deuxième membre joint par une articulation mobile ou semi-mobile, un dispositif de localisation étant par ailleurs disposé sur le premier membre du patient.According to a second aspect, the invention relates to a visualization method, in augmented reality, for presenting visual elements as a function of a spatial relationship between a first member and a second member joined by a mobile or semi-mobile joint, a locating device being also disposed on the first member of the patient.
Les étapes du procédé selon le deuxième aspect peuvent avantageusement être mises en œuvre par le système selon le premier aspect.The steps of the method according to the second aspect can advantageously be implemented by the system according to the first aspect.
Le procédé comporte les étapes suivantes réalisées au moins en partie au moyen d’un système de suivi comprenant un dispositif d'acquisition :The method comprises the following steps carried out at least in part by means of a monitoring system comprising an acquisition device:
déterminer, au moyen du dispositif de localisation, une mesure de la position spatiale du dispositif de localisation relativement au dispositif d’acquisition ;determining, using the location device, a measure of the spatial position of the location device relative to the acquisition device;
déterminer, au moyen du dispositif de localisation, une mesure angulaire du dispositif de localisation relativement à un axe vertical ;determining, by means of the location device, an angular measurement of the location device relative to a vertical axis;
déterminer, au moyen du dispositif de localisation, la relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction au moins de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, et d'une première hypothèse de positionnement entre le premier membre et le deuxième membre ;determine, by means of the location device, the spatial relationship between the first member and the second member, considering the second member as immobile, and at least as a function of the angular measurement of the location device relative to the vertical axis, and a first positioning hypothesis between the first member and the second member;
présenter, sur le module afficheur, les éléments visuels comprenant au moins une représentation visuelle du premier membre et du deuxième membre, en fonction de la relation spatiale entre le premier membre et le deuxième membre préalablement déterminée et en fonction de la position spatiale entre le dispositif de localisation relativement au dispositif d’acquisition.present, on the display module, the visual elements comprising at least one visual representation of the first member and the second member, as a function of the spatial relationship between the first member and the second member previously determined and as a function of the spatial position between the device of location relative to the acquisition device.
Selon une possiblité, le procédé de visualisation comprend en outre :According to one possibility, the display method further comprises:
saisir au moins une correction du positionnement du premier membre et du deuxième membre sur la représentation présentée sur le module afficheur ;enter at least one correction of the positioning of the first member and the second member on the representation presented on the display module;
déterminer une deuxième hypothèse de positionnement entre le premier membre et le deuxième membre, en fonction de ladite au moins une correction ;determining a second positioning hypothesis between the first member and the second member, as a function of said at least one correction;
mettre à jour, au moyen du dispositif de localisation, la relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, de la première hypothèse et de la deuxième hypothèse de positionnement entre le premier membre et le deuxième membre.update, by means of the location device, the spatial relationship between the first member and the second member, considering the second member as immobile, and according to the angular measurement of the location device relative to the vertical axis, the first hypothesis and the second hypothesis of positioning between the first member and the second member.
Selon une autre possiblité, le dispositif de localisation est un marqueur optique couplé rigidement au premier membre du patient, comportant un support sur lequel un motif géométrique et/ou coloré est représenté, et adapté à être identifiable par le dispositif d’acquisition pour : déterminer la mesure de la position spatiale du dispositif de localisation relativement au dispositif d’acquisition ;According to another possibility, the localization device is an optical marker rigidly coupled to the first member of the patient, comprising a support on which a geometric and / or colored pattern is represented, and adapted to be identifiable by the acquisition device for: determining measuring the spatial position of the location device relative to the acquisition device;
déterminer la mesure angulaire du dispositif de localisation relativement à un axe vertical.determine the angular measurement of the location device relative to a vertical axis.
Dans une réalisation particulière de ce procédé de visualisation, les éléments visuels sont présentés sur le module afficheur en superposition dans le champ visuel d'un utilisateur du système de visualisation.In a particular embodiment of this display method, the visual elements are presented on the display module superimposed in the visual field of a user of the display system.
Dans une autre réalisation particulière de ce procédé de visualisation, ce procédé comprend la présentation, sur le module afficheur, en outre d’un ou plusieurs des éléments visuels de la liste suivante: un modèle géométrique et/ou une représentation symbolique d'un repère anatomique; un modèle géométrique et/ou une représentation symbolique d'un composant d'une prothèse ou d'une instrumentation; une ligne de repérage ; des informations textuelles ; un repère ou une valeur.In another particular embodiment of this display method, this method comprises the presentation, on the display module, in addition of one or more of the visual elements from the following list: a geometric model and / or a symbolic representation of a reference anatomical; a geometric model and / or a symbolic representation of a component of a prosthesis or instrumentation; a tracking line; textual information; a benchmark or a value.
Selon un troisième aspect, l’invention se rapporte à un programme d’ordinateur comportant des instructions pour l’exécution des étapes du procédé selon le deuxième aspect, lorsque ledit programme est exécuté par un processeur.According to a third aspect, the invention relates to a computer program comprising instructions for the execution of the steps of the method according to the second aspect, when said program is executed by a processor.
Chacun de ces programmes peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. En particulier, il est possible d’utiliser le langage C/C++/C#, des langages de script, tels que notamment tel, javascript, python, péri qui permettent une génération de code « à la demande » et ne nécessitent pas de surcharge significative pour leur génération ou leur modification.Each of these programs can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any what other desirable form. In particular, it is possible to use the C / C ++ / C # language, scripting languages, such as in particular tel, javascript, python, peri which allow generation of code "on demand" and do not require significant overhead. for their generation or modification.
Selon un quatrième aspect, l’invention se rapporte à un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le deuxième aspect.According to a fourth aspect, the invention relates to a recording medium readable by a computer on which is recorded a computer program comprising instructions for the execution of the steps of the method according to the second aspect.
Le support d’informations peut être n’importe quelle entité ou n’importe quel dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu’une ROM, par exemple un CD-ROM ou une ROM de circuit microélectronique, ou encore un moyen d’enregistrement magnétique, par exemple une disquette ou un disque dur. D’autre part, le support d’informations peut être un support transmissible tel qu’un signal électrique ou optique, qui peut être acheminé par un câble électrique ou optique, par radio ou par d’autres moyens.The information medium can be any entity or any device capable of storing the program. For example, the support may include a storage means, such as a ROM, for example a CD-ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a floppy disk or a hard disk. On the other hand, the information medium can be a transmissible medium such as an electrical or optical signal, which can be conveyed by an electrical or optical cable, by radio or by other means.
Le programme selon l’invention peut être en particulier téléchargé sur un réseau Internet ou Intranet.The program according to the invention can in particular be downloaded from an Internet or Intranet network.
Alternativement, le support d’informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l’exécution du procédé en question.Alternatively, the information medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the process in question.
D’autres particularités et avantages de la présente invention apparaîtront, dans la description ci-après de modes de réalisation, en référence aux dessins annexés, dans lesquels :Other features and advantages of the present invention will appear in the following description of embodiments, with reference to the accompanying drawings, in which:
- la figure 1 est un diagramme bloc représentant schématiquement, un système de visualisation, en réalité augmentée, d'éléments représentés en fonction du positionnement relatif d'au moins deux membres d'un patient joint par une articulation mobile ou semi-mobile;- Figure 1 is a block diagram schematically representing a display system, in augmented reality, of elements represented as a function of the relative positioning of at least two members of a patient joined by a mobile or semi-mobile joint;
- la figure 2 est un synoptique représentant les étapes d’un procédé de visualisation, en réalité augmentée, d'éléments représentés en fonction du positionnement relatif d'au moins deux membres d'un patient joints par une articulation mobile ou semi-mobile;- Figure 2 is a block diagram showing the steps of a visualization process, in augmented reality, of elements represented as a function of the relative positioning of at least two members of a patient joined by a mobile or semi-mobile joint;
- la figure 3 est une vue bidimensionnelle latérale du genou d'un patient, selon une hypothèse de positionnement du genou du patient;- Figure 3 is a two-dimensional side view of the knee of a patient, according to an assumption of positioning of the patient's knee;
- la figure 4 est une vue bidimensionnelle latérale du système de suivi et du dispositif de localisation, selon un mode de réalisation de l'invention, selon une hypothèse de positionnement du genou du patient ;- Figure 4 is a two-dimensional side view of the tracking system and the location device, according to one embodiment of the invention, according to an assumption of positioning of the patient's knee;
- la figure 5 est une vue bidimensionnelle latérale du système de suivi et du dispositif de localisation, selon un mode de réalisation de l'invention, lorsque le genou du patient tend vers l’extension ;- Figure 5 is a two-dimensional side view of the tracking system and the location device, according to an embodiment of the invention, when the patient's knee tends towards the extension;
- la figure 6 est une vue tridimensionnelle schématique, d’un dispositif de localisation, selon un mode de réalisation;- Figure 6 is a schematic three-dimensional view of a location device, according to one embodiment;
- la figure 7 est une vue tridimensionnelle schématique, d’un dispositif de fixation pour dispositif de localisation, selon un mode de réalisation;- Figure 7 is a schematic three-dimensional view of a fixing device for locating device, according to one embodiment;
- la figure 8a est une vue schématique représentant un patient, utilisant le système de visualisation selon un mode de réalisation de l'invention, lorsque le genou du patient est fléchi ;- Figure 8a is a schematic view showing a patient, using the display system according to one embodiment of the invention, when the patient's knee is bent;
- la figure 8b est une vue schématique représentant un patient, utilisant le système de visualisation selon un autre mode de réalisation de l'invention, lorsque le genou du patient est en extension ;- Figure 8b is a schematic view showing a patient, using the display system according to another embodiment of the invention, when the patient's knee is extended;
- les figures 9a et 9b sont des vues d'un écran du dispositif d'affichage du système, selon un mode de réalisation de l'invention, affichant une projection d'un modèle tridimensionnel de prothèse de genou, en superposition du flux vidéo acquis par le dispositif d'acquisition.- Figures 9a and 9b are views of a screen of the display device of the system, according to one embodiment of the invention, displaying a projection of a three-dimensional model of knee prosthesis, superimposed on the acquired video stream by the acquisition device.
On se réfère à la figure 1. Le système de visualisation 100 comporte notamment un module afficheur 200 apte à présenter des éléments visuels en fonction d'une relation spatiale (une position associée à une angulation ou orientation) entre un premier membre et un deuxième membre joint par une articulation mobile ou semi-mobile.Referring to Figure 1. The display system 100 includes in particular a display module 200 capable of presenting visual elements as a function of a spatial relationship (a position associated with an angulation or orientation) between a first member and a second member joined by a mobile or semi-mobile joint.
Le système de visualisation 100 comporte en outre un dispositif de localisation 400 adapté à être disposé sur le premier membre du patient. Le système de visualisation 100 comporte également un système de suivi 300 comprenant un dispositif d'acquisition 310, tel qu’une caméra.The display system 100 further includes a location device 400 adapted to be placed on the first member of the patient. The display system 100 also includes a monitoring system 300 comprising an acquisition device 310, such as a camera.
Le procédé de visualisation, illustré sur la figure 2, en réalité augmentée, pour présenter des éléments visuels en fonction d'une relation spatiale entre un premier membre et un deuxième membre joint par une articulation mobile ou semi-mobile va maintenant être décrit. Le système de visualisation 100 est adapté pour mettre en œuvre les étapes du procédé de visualisation.The visualization method, illustrated in FIG. 2, in augmented reality, for presenting visual elements as a function of a spatial relationship between a first member and a second member joined by a mobile or semi-mobile joint will now be described. The display system 100 is adapted to implement the steps of the display method.
Le procédé comporte une étape S710 au cours de laquelle on détermine, au moyen du dispositif de localisation 400 :The method comprises a step S710 during which it is determined, by means of the location device 400:
une mesure de la position spatiale du dispositif de localisation 400 relativement au dispositif d’acquisition 310, et une mesure angulaire du dispositif de localisation 400 relativement à un axe vertical, qui peut être un axe orthogonal au sol 40 horizontal.a measurement of the spatial position of the locating device 400 relative to the acquisition device 310, and an angular measurement of the locating device 400 relative to a vertical axis, which can be an axis orthogonal to the ground 40 horizontal.
Le procédé comporte une étape S720, pendant laquelle on détermine, au moyen du dispositif de localisation, la relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction de la mesure angulaire du dispositif de localisation relativement à l'axe vertical, et d'une première hypothèse de positionnement entre le premier membre et le deuxième membre.The method comprises a step S720, during which the spatial relationship between the first member and the second member is determined by means of the location device, considering the second member as immobile, and according to the angular measurement of the location device relative to the vertical axis, and a first hypothesis of positioning between the first member and the second member.
Dans un mode de réalisation avantageux, le procédé comporte en outre une étape S730 au cours de laquelle une représentation visuelle du premier membre et du deuxième membre est présentée sur le module afficheur 200, en fonction de la relation spatiale entre le premier membre et le deuxième membre préalablement déterminée au cours de l'étape S720, et en fonction de la position spatiale entre le dispositif de localisation 400 relativement au dispositif d’acquisition 310.In an advantageous embodiment, the method further comprises a step S730 during which a visual representation of the first member and the second member is presented on the display module 200, as a function of the spatial relationship between the first member and the second member previously determined during step S720, and as a function of the spatial position between the location device 400 relative to the acquisition device 310.
Le procédé comporte encore une étape S740 au cours de laquelle on collecte, au moyen d'une interface utilisateur, au moins une correction du positionnement du premier membre et du deuxième membre sur la représentation présentée sur le module afficheur.The method also includes a step S740 during which at least one correction of the positioning of the first member and of the second member on the representation presented on the display module is collected, by means of a user interface.
Le procédé comporte encore une étape S750 au cours de laquelle on détermine une deuxième hypothèse de positionnement entre le premier membre et le deuxième membre, en fonction de ladite au moins une correction. Le procédé comporte encore une étape S760 au cours de laquelle on mets à jour, au moyen du dispositif de localisation 400, la relation spatiale entre le premier membre et le deuxième membre, en considérant le deuxième membre comme immobile, et en fonction de la mesure angulaire du dispositif de localisation 400 relativement à l'axe vertical, de la première hypothèse et de la deuxième hypothèse de positionnement entre le premier membre et le deuxième membre.The method also includes a step S750 during which a second positioning hypothesis is determined between the first member and the second member, as a function of said at least one correction. The method also includes a step S760 during which the spatial relationship between the first member and the second member is updated by means of the locating device 400, by considering the second member as immobile, and according to the measurement angular location device 400 relative to the vertical axis, the first assumption and the second assumption of positioning between the first member and the second member.
Le procédé va maintenant être décrit dans un mode de réalisation particulier, en se référant aux figures 3, 4, 5, 6, 7, 8a, 8b, 9a et 9b.The method will now be described in a particular embodiment, with reference to Figures 3, 4, 5, 6, 7, 8a, 8b, 9a and 9b.
Dans ce mode de réalisation, le premier membre est un tibia 30 du patient, le deuxième membre est le fémur 20 du patient, l’appareil extenseur du genou 10 étant alors l'articulation joignant le tibia au fémur.In this embodiment, the first member is a patient's tibia 30, the second member is the patient's femur 20, the knee extensor 10 then being the joint joining the tibia to the femur.
Le dispositif de localisation 400 est alors disposé autour du tibia 30, sur l'avant-jambe. En outre, la première hypothèse de positionnement entre le tibia et le fémur peut correspondre à un patient assis sur une chaise et positionné de sorte que l'axe longitudinal du tibia 30 et l'axe longitudinal du fémur 20 forment un angle sensiblement égal à 90°.The locating device 400 is then placed around the tibia 30, on the forearm. In addition, the first hypothesis of positioning between the tibia and the femur may correspond to a patient seated on a chair and positioned so that the longitudinal axis of the tibia 30 and the longitudinal axis of the femur 20 form an angle substantially equal to 90 °.
Le patient sur lequel on souhaite observer le comportement de l’appareil extenseur du genou est typiquement positionné dans une position prédéfinie, par exemple assis sur une chaise, de sorte à reproduire la configuration spatiale de la première hypothèse, représentée schématiquement dans le plan à la figure 3.The patient on whom one wishes to observe the behavior of the knee extensor apparatus is typically positioned in a predefined position, for example seated on a chair, so as to reproduce the spatial configuration of the first hypothesis, represented schematically in the plane at the figure 3.
Comme représenté sur la figure 6, le dispositif de localisation 400 peut être un marqueur optique comportant un support sur lequel un motif 410 géométrique et/ou coloré est représenté pour calculer la position du marqueur, ainsi qu'une surface d'appui 420 destinée à être appliquée sur l'avant-jambe du patient au niveau du tibia.As shown in FIG. 6, the locating device 400 can be an optical marker comprising a support on which a geometric and / or colored pattern 410 is represented to calculate the position of the marker, as well as a bearing surface 420 intended to be applied to the patient's forearm at the level of the tibia.
Le dispositif de localisation 400, est alors est fixé rigidement sur la jambe de cette personne à l’aide par exemple d’un adhésif ou d’une sangle 430 (illustrée sur la figure 7) pour une fixation rapide et efficace.The locating device 400 is then rigidly fixed to the leg of this person using, for example, an adhesive or a strap 430 (illustrated in FIG. 7) for rapid and effective fixing.
Le système de suivi 300 et le module afficheur 200 peuvent alors être activés.The monitoring system 300 and the display module 200 can then be activated.
Le patient ou un tiers peut alors orienter le dispositif d'acquisition 310 comportant la caméra vers le marqueur optique du dispositif de localisation 400, pendant que le module d'affichage 200 affiche les éléments visuels en fonction notamment de la position et de l'orientation du tibia relativement au fémur.The patient or a third party can then orient the acquisition device 310 comprising the camera towards the optical marker of the localization device 400, while the display module 200 displays the visual elements as a function in particular of the position and the orientation tibia relative to the femur.
Comme illustré sur les figures 9a et 9b, les éléments visuels peuvent contenir une représentation visuelle du fémur et du tibia comprenant une projection 610 d'un modèle tridimensionnel du fémur et une projection 610 d'un modèle tridimensionnel du tibia 620, ainsi qu’une projection 600 d'un modèle tridimensionnel de composants de prothèse de genou.As illustrated in FIGS. 9a and 9b, the visual elements can contain a visual representation of the femur and the tibia comprising a projection 610 of a three-dimensional model of the femur and a projection 610 of a three-dimensional model of the tibia 620, as well as a 600 projection of a three-dimensional model of knee prosthesis components.
Sur la figure 8a, un patient porte un casque de réalité augmentée intégrant le système de suivi 300 (et donc le dispositif d'acquisition 310) ainsi que le module afficheur 200 (à savoir l’écran du casque de réalité augmentée), le genou du patient étant positionné selon la première hypothèse, et le dispositif de localisation 400 étant fixé sur son avant-jambe.In FIG. 8a, a patient wears an augmented reality helmet integrating the tracking system 300 (and therefore the acquisition device 310) as well as the display module 200 (namely the screen of the augmented reality helmet), the knee of the patient being positioned according to the first hypothesis, and the locating device 400 being fixed on his forearm.
Sur la figure 8b, un patient manipule un téléphone mobile intégrant le système de suivi 300 (et donc le dispositif d'acquisition 310) ainsi que le module afficheur 200 (à savoir l’écran du téléphone mobile), le genou du patient étant en extension.In FIG. 8b, a patient manipulates a mobile phone integrating the tracking system 300 (and therefore the acquisition device 310) as well as the display module 200 (namely the screen of the mobile phone), the patient's knee being in extension.
Comme illustré sur les figures 3, 4 et 5, la matrice R't->f décrivant la rotation du tibia 30 relativement au fémur 20 lors de la phase de suivi, peut être déterminé, par le système de visualisation 100, en résolvant l'équation E suivante :As illustrated in FIGS. 3, 4 and 5, the matrix R't-> f describing the rotation of the tibia 30 relative to the femur 20 during the follow-up phase, can be determined, by the display system 100, by solving the equation E:
R't->f = Rv->f * Rc->v * Rm->c * Rt->m dans laquelle :R't-> f = Rv-> f * Rc-> v * Rm-> c * Rt-> m in which:
Rt->m correspond à la matrice décrivant la rotation entre le tibia 30 et le dispositif de localisation 400 ;Rt-> m corresponds to the matrix describing the rotation between the tibia 30 and the location device 400;
Rm->c correspond à la matrice décrivant la rotation entre le dispositif de localisation 400 et le dispositif d'acquisition 310 ;Rm-> c corresponds to the matrix describing the rotation between the location device 400 and the acquisition device 310;
Rc->v correspond à la matrice décrivant la rotation entre le dispositif d'acquisition 310 et un référentiel quelconque dont au moins un axe est vertical ; etRc-> v corresponds to the matrix describing the rotation between the acquisition device 310 and any reference frame of which at least one axis is vertical; and
Rv->f correspond à la matrice décrivant la rotation observée entre l’axe vertical et le fémur, positionnés selon la première hypothèse.Rv-> f corresponds to the matrix describing the observed rotation between the vertical axis and the femur, positioned according to the first assumption.
Ainsi, comme illustré par l'exemple simplifié dans un plan de la figure 3, la matrice Rt->m décrivant la rotation entre le tibia 30 et le dispositif de localisation 400 correspond à une rotation sensiblement nulle.Thus, as illustrated by the simplified example in a plane of FIG. 3, the matrix Rt-> m describing the rotation between the tibia 30 and the locating device 400 corresponds to a rotation that is substantially zero.
De plus, la matrice Rv->f décrivant la rotation observée entre l’axe vertical et le fémur, lors de la phase initiale , correspond à une rotation en flexion du genou de sensiblement 90°, et de sensiblement 0° sur les deux autres axes.In addition, the matrix Rv-> f describing the rotation observed between the vertical axis and the femur, during the initial phase, corresponds to a knee flexion rotation of substantially 90 °, and substantially 0 ° on the other two axes.
Ainsi, durant la phase initiale, comme illustré par l'exemple simplifié dans un plan de la figure 4, la matrice Rm->c décrivant la rotation entre le dispositif de localisation 400 et le dispositif d'acquisition 310 correspond à une rotation dans le plan représenté de sensiblement 70°, alors que l’autre matrice Rc->v correspond à la matrice décrivant la rotation entre le dispositif d'acquisition 310 et le référentiel quelconque dont au moins un axe est vertical correspond à une rotation dans le plan représenté de sensiblement -70°.Thus, during the initial phase, as illustrated by the simplified example in a plane of FIG. 4, the matrix Rm-> c describing the rotation between the location device 400 and the acquisition device 310 corresponds to a rotation in the plane represented by approximately 70 °, while the other matrix Rc-> v corresponds to the matrix describing the rotation between the acquisition device 310 and the arbitrary reference frame of which at least one axis is vertical corresponds to a rotation in the plane shown significantly -70 °.
L'équation E peut donc être résolue dans le plan représenté comme suit:Equation E can therefore be solved in the plane represented as follows:
90° - 70° + 70° + 0° = 90°90 ° - 70 ° + 70 ° + 0 ° = 90 °
Comme illustré par l'exemple simplifié dans un plan de la figure 5, la matrice Rm->c décrivant la rotation entre le dispositif de localisation 400 et le dispositif d'acquisition 310 correspond à une rotation dans le plan représenté de sensiblement 0°, alors que l’autre matrice Rc->v correspond à la matrice décrivant la rotation entre le dispositif d'acquisition 310 et le référentiel quelconque dont au moins un axe est vertical correspond à une rotation dans le plan représenté de sensiblement -70°.As illustrated by the simplified example in a plane of FIG. 5, the matrix Rm-> c describing the rotation between the locating device 400 and the acquisition device 310 corresponds to a rotation in the plane shown of substantially 0 °, while the other matrix Rc-> v corresponds to the matrix describing the rotation between the acquisition device 310 and the arbitrary reference frame of which at least one axis is vertical corresponds to a rotation in the plane shown of substantially -70 °.
L'équation E peut donc être résolue dans le plan représenté comme suit:Equation E can therefore be solved in the plane represented as follows:
90° - 70° + 0° + 0° = 2090 ° - 70 ° + 0 ° + 0 ° = 20
Claims (15)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1860242A FR3088005B1 (en) | 2018-11-07 | 2018-11-07 | SYSTEM AND METHOD FOR VISUALIZING ELEMENTS RELATING TO A PATIENT'S JOINT |
| PCT/FR2019/052618 WO2020094971A1 (en) | 2018-11-07 | 2019-11-05 | System and method for visualising elements relating to a patient's joint |
| EP19818216.4A EP3876826A1 (en) | 2018-11-07 | 2019-11-05 | System and method for visualising elements relating to a patient's joint |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1860242A FR3088005B1 (en) | 2018-11-07 | 2018-11-07 | SYSTEM AND METHOD FOR VISUALIZING ELEMENTS RELATING TO A PATIENT'S JOINT |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3088005A1 true FR3088005A1 (en) | 2020-05-08 |
| FR3088005B1 FR3088005B1 (en) | 2023-11-24 |
Family
ID=66530088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1860242A Active FR3088005B1 (en) | 2018-11-07 | 2018-11-07 | SYSTEM AND METHOD FOR VISUALIZING ELEMENTS RELATING TO A PATIENT'S JOINT |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3876826A1 (en) |
| FR (1) | FR3088005B1 (en) |
| WO (1) | WO2020094971A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020243483A1 (en) * | 2019-05-29 | 2020-12-03 | Surgical Planning Associates Inc. | Systems and methods for utilizing augmented reality in surgery |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009062314A1 (en) * | 2007-11-14 | 2009-05-22 | Orthosoft Inc. | Leg alignment and length measurement in hip replacement surgery |
| WO2015128845A1 (en) * | 2014-02-27 | 2015-09-03 | Valeo Luigi | System for measuring laxity of a joint |
| WO2018081795A1 (en) * | 2016-10-31 | 2018-05-03 | Zipline Medical, Inc. | Systems and methods for monitoring physical therapy of the knee and other joints |
-
2018
- 2018-11-07 FR FR1860242A patent/FR3088005B1/en active Active
-
2019
- 2019-11-05 EP EP19818216.4A patent/EP3876826A1/en active Pending
- 2019-11-05 WO PCT/FR2019/052618 patent/WO2020094971A1/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009062314A1 (en) * | 2007-11-14 | 2009-05-22 | Orthosoft Inc. | Leg alignment and length measurement in hip replacement surgery |
| WO2015128845A1 (en) * | 2014-02-27 | 2015-09-03 | Valeo Luigi | System for measuring laxity of a joint |
| WO2018081795A1 (en) * | 2016-10-31 | 2018-05-03 | Zipline Medical, Inc. | Systems and methods for monitoring physical therapy of the knee and other joints |
Non-Patent Citations (2)
| Title |
|---|
| ANTONIO CARLOS SEMENTILLE ET AL: "A Motion Capture System Using Passive Markers", 1 January 2004 (2004-01-01), XP055613747, Retrieved from the Internet <URL:http://delivery.acm.org/10.1145/1050000/1044684/p440-sementille.pdf?ip=145.64.134.242&id=1044684&acc=ACTIVE%20SERVICE&key=E80E9EB78FFDF9DF.4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35&__acm__=1566227677_390a63a71a50341fbe0d059b88df2832> [retrieved on 20190819] * |
| CASTILLO DANIEL ET AL: "Augmented Reality for Assistance of Total Knee Replacement", JOURNAL OF ELECTRICAL AND COMPUTER ENGINEERING, vol. 2016, 1 January 2016 (2016-01-01), pages 1 - 6, XP055613656, ISSN: 2090-0147, DOI: 10.1155/2016/9358369 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020243483A1 (en) * | 2019-05-29 | 2020-12-03 | Surgical Planning Associates Inc. | Systems and methods for utilizing augmented reality in surgery |
| US11638613B2 (en) | 2019-05-29 | 2023-05-02 | Stephen B. Murphy | Systems and methods for augmented reality based surgical navigation |
| US12193761B2 (en) | 2019-05-29 | 2025-01-14 | Stephen B. Murphy | Systems and methods for augmented reality based surgical navigation |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020094971A1 (en) | 2020-05-14 |
| EP3876826A1 (en) | 2021-09-15 |
| FR3088005B1 (en) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmadi et al. | 3D human gait reconstruction and monitoring using body-worn inertial sensors and kinematic modeling | |
| US20140211995A1 (en) | Point-of-gaze estimation robust to head rotations and/or estimation device rotations | |
| Imai et al. | Comparing the accuracy of video-oculography and the scleral search coil system in human eye movement analysis | |
| EP3178381B1 (en) | Evaluation device and method for evaluating morphological parameters of a lower limb | |
| EP3220804A1 (en) | Method and system for measuring, monitoring, controlling and correcting a movement or a posture of a user | |
| US12364570B1 (en) | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets | |
| EP3880087A1 (en) | Cutting device for the placement of a knee prosthesis | |
| Liu et al. | Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures | |
| EP0733338A1 (en) | Device for measuring the position of the fixation point of an eye on a screen | |
| WO2016075372A1 (en) | Devices and methods for determining the position of a characterizing point of an eye and for tracking the direction of the gaze of a wearer of spectacles | |
| WO2017216476A1 (en) | Method for estimating the relative orientation between a tibia and a femur | |
| FR2897680A1 (en) | MOTION CAPTURE DEVICE AND ASSOCIATED METHOD | |
| FR3030222A1 (en) | SURGICAL ORIENTATION SYSTEM | |
| WO2016116232A1 (en) | Portable ultrasonic measuring device suitable for measuring pelvic tilt | |
| FR3069942B1 (en) | ANALYSIS OF A MOVEMENT AND / OR A POSTURE OF AT LEAST ONE PART OF THE BODY OF AN INDIVIDUAL | |
| EP1865828B1 (en) | Method and device for determining the eye's rotation center | |
| FR3088005A1 (en) | SYSTEM AND METHOD FOR VIEWING ELEMENTS RELATED TO A PATIENT JOINT | |
| JP2017191546A (en) | Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display | |
| Lebel et al. | Camera pose estimation to improve accuracy and reliability of joint angles assessed with attitude and heading reference systems | |
| US11165951B2 (en) | Image capturing | |
| WO2011051891A1 (en) | Method for simulating a musculoskeletal system | |
| Nguyen et al. | A method for estimating text neck while walking using a 3-axis accelerometer | |
| Shirinbayan et al. | An MR-compatible gyroscope-based arm movement tracking system | |
| Regazzoni et al. | Towards automatic gait assessment by means of RGB-D Mocap | |
| Challis | Motion Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200508 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |