DE102023129563A1 - Method, device and computer program for evaluating a movement sequence - Google Patents
Method, device and computer program for evaluating a movement sequence Download PDFInfo
- Publication number
- DE102023129563A1 DE102023129563A1 DE102023129563.2A DE102023129563A DE102023129563A1 DE 102023129563 A1 DE102023129563 A1 DE 102023129563A1 DE 102023129563 A DE102023129563 A DE 102023129563A DE 102023129563 A1 DE102023129563 A1 DE 102023129563A1
- Authority
- DE
- Germany
- Prior art keywords
- patient
- movement
- movement sequence
- video data
- digital video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Bewerten eines Bewegungsablaufes, der von einem durch eine orthopädietechnischen Einrichtung beeinflussten Patienten durchgeführt wird, wobei das Verfahren die folgenden Schritte umfasst:
- Bereitstellen von digitalen Videodaten, die eine Aufnahme des durch die orthopädietechnische Einrichtung beeinflussten Patienten während der Durchführung des vorgegebenen Bewegungsablaufes enthalten, an einer elektronischen Recheneinheit,
- Ermitteln von mehreren patientenbezogenen Bewegungsmerkmalen des in den digitalen Videodaten enthaltenen Bewegungsablaufes des Patienten mittels der elektronischen Recheneinheit,
- Zuordnen des in den digitalen Videodaten enthaltenen Bewegungsablaufes zu einem Bewegungsablauftyp in Abhängigkeit von den ermittelten patientenbezogenen Bewegungsmerkmalen mittels der elektronischen Recheneinheit,
- Feststellen, mittels der elektronischen Recheneinheit, ob der in den digitalen Videodaten enthaltene Bewegungsablauf hinsichtlich des zugeordneten Bewegungsablauftyps bezogen auf seine Ausführung einem vordefinierten Korrektheitsmaß entspricht, wobei die Feststellung in Abhängigkeit von den ermittelten patientenbezogenen Bewegungsmerkmalen erfolgt, und
- Bestimmen mindestens einer Bewertungskennzahl in Abhängigkeit von den patientenbezogenen Bewegungsmerkmalen mittels der Recheneinheit.
The invention relates to a method for evaluating a movement sequence performed by a patient influenced by an orthopaedic device, the method comprising the following steps:
- Providing digital video data containing a recording of the patient influenced by the orthopaedic device during the execution of the specified movement sequence to an electronic processing unit,
- Determining several patient-related movement characteristics of the patient's movement sequence contained in the digital video data by means of the electronic processing unit,
- Assigning the movement sequence contained in the digital video data to a movement sequence type depending on the determined patient-related movement characteristics by means of the electronic processing unit,
- Determining, by means of the electronic processing unit, whether the movement sequence contained in the digital video data corresponds to a predefined degree of correctness with regard to the assigned movement sequence type in relation to its execution, whereby the determination is made depending on the determined patient-related movement characteristics, and
- Determining at least one evaluation key figure depending on the patient-related movement characteristics by means of the computing unit.
Description
Die Erfindung betrifft ein Verfahren zum Bewerten eines Bewegungsablaufes, der von einem mit einer orthopädietechnischen Einrichtung versorgten Patienten durchgeführt wird. Die Erfindung betrifft ebenso eine Vorrichtung sowie ein Computerprogramm hierzu.The invention relates to a method for evaluating a movement sequence performed by a patient fitted with an orthopedic device. The invention also relates to a device and a computer program for this purpose.
Orthopädietechnische Einrichtungen (auch Versorgung genannt) sind im Sinne der vorliegenden Erfindung insbesondere Orthesen, Prothesen, Exoskelette und ggf. auch Rollstühle. Orthesen sind Produkte, die ein Körperteil des Patienten, beispielsweise ein Gelenk, stützen, unterstützen, schützen und/oder in der Bewegungsfreiheit einschränken, um eine Überbeanspruchung zu vermeiden. Prothesen, insbesondere Exoprothesen, hingegen ersetzen nicht oder nicht mehr vorhandene Körperteile des Patienten. Exoskelette sind insbesondere mechanische Stützstrukturen, die den Hauptbewegungsapparat des Patienten stützen, unterstützen und/oder schützen sollen.For the purposes of the present invention, orthopedic devices (also referred to as fittings) include, in particular, orthoses, prostheses, exoskeletons, and possibly also wheelchairs. Orthoses are products that support, assist, protect, and/or restrict the freedom of movement of a patient's body part, such as a joint, in order to prevent excessive strain. Prostheses, in particular exoprostheses, on the other hand, do not replace or no longer replace existing body parts of the patient. Exoskeletons are, in particular, mechanical support structures designed to support, assist, and/or protect the patient's main musculoskeletal system.
Unter einer orthopädietechnischen Einrichtung werden aber auch muskelstimulierende Anzüge oder Überzüge verstanden, bei denen mittel Elektroden verschiedene Muskeln von außen stimuliert werden. Ein solcher muskelstimulierender Anzug hilft Patienten mit Spastiken, indem er die antagonistischen Muskeln stimuliert und so über den physiologischen Reflexmechanismus den spastischen Muskel (den Gegenspieler des stimulierten Muskels) entspannt. Der durch den muskelstimulierenden Anzug und dessen Anwendung hervorgebrachte Effekt hält auch nach der Anwendung eine gewisse Zeit an, so dass bei einer regelmäßigen Anwendung sich auch ohne die orthopädietechnische Einrichtung Verbesserungen zeigen. Die orthopädietechnische Einrichtung beeinflusst somit den Patienten. Ein solcher Anzug kann ein Ganzkörperanzug sein oder nur ein Teilanzug. Auch andere stimulierende Orthesen sind von dem Begriff erfasst wie beispielsweise eine Manschette zur Stimulierung einzelner Muskeln oder Nervenbahnen, die bspw. bei Muskelschwäche eingesetzt werden können. Dies kann bspw. dafür genutzt werden, eine auf einer Muskelschwäche basierenden Fußhebeschwäche zu behandeln.An orthopedic device also includes muscle-stimulating suits or coverings, in which various muscles are stimulated externally using electrodes. Such a muscle-stimulating suit helps patients with spasticity by stimulating the antagonistic muscles and thus relaxing the spastic muscle (the antagonist of the stimulated muscle) via the physiological reflex mechanism. The effect produced by the muscle-stimulating suit and its use lasts for a certain time after use, so that with regular use, improvements can be seen even without the orthopedic device. The orthopedic device thus influences the patient. Such a suit can be a full-body suit or just a partial suit. Other stimulating orthoses are also included in the term, such as a cuff for stimulating individual muscles or nerve pathways, which can be used, for example, in cases of muscle weakness. This can be used, for example, to treat weakness in the foot due to muscle weakness.
Unter einem Patienten wird im Folgenden jeder Verwender der orthopädietechnischen Einrichtung verstanden. Es handelt sich folglich um den Träger der orthopädietechnischen Einrichtung.In the following, a patient is defined as any user of the orthopedic device. This is therefore the owner of the orthopedic device.
Jede orthopädietechnische Einrichtung wird an einem Körperteil des Patienten angeordnet. Dabei muss es nicht zwangsläufig mit der Haut des Patienten in Kontakt kommen. Orthesen und Exoskelette werden beispielsweise häufig über der Kleidung getragen, sodass diese, beispielsweise eine Hose, sich zwischen der orthopädietechnischen Einrichtung und der Haut des Patienten befindet. Dennoch wird beispielsweise eine Knie-Orthese am Knie oder am Bein des Patienten befestigt. Eine Prothese verfügt immer über ein mit einem Amputationsstumpf oder einem anderen Körperteil verbundenes Schnittstellenelement, das an dem jeweiligen Körperteil befestigt wird. Bei einer Beinprothese wird beispielsweise ein Prothesenschaft verwendet, der die Schnittstelle zwischen der Prothese und dem Amputationsstumpf darstellt. In diesem Fall wäre der Amputationsstumpf das Körperteil des Patienten. Zwischen der Hautoberfläche des Amputationsstumpfes des Patienten und dem Prothesenschaft wird in der Regel ein Liner verwendet, um auf die Haut wirkende Scherkräfte zu reduzieren.Every orthotic device is attached to a part of the patient's body. It does not necessarily have to come into contact with the patient's skin. Orthoses and exoskeletons, for example, are often worn over clothing, so that the clothing, such as trousers, is between the orthotic device and the patient's skin. However, a knee orthosis, for example, is attached to the patient's knee or leg. A prosthesis always has an interface element connected to an amputation stump or other body part, which is attached to the respective body part. A leg prosthesis, for example, uses a prosthetic socket that represents the interface between the prosthesis and the amputation stump. In this case, the amputation stump would be the patient's body part. A liner is usually used between the skin surface of the patient's amputation stump and the prosthetic socket to reduce shear forces acting on the skin.
Wenn der Patient die orthopädietechnische Einrichtung eine Weile getragen hat, ist es oft wünschenswert, das Ergebnis bzw. die Wirkung der orthopädietechnischen Einrichtung auf den Patienten zu evaluieren. Dadurch kann rechtzeitig einer Fehlnutzung oder einer nicht hinreichend genauen Konfiguration der orthopädietechnischen Einrichtung entgegengewirkt werden.Once the patient has worn the orthotic device for a while, it is often desirable to evaluate the outcome or effect of the device on the patient. This allows for timely counteraction to prevent misuse or insufficiently precise configuration of the device.
Hierfür werden sehr oft sogenannte Outcome Measurement Tests (OMTs) durchgeführt, bei denen der Patient mit der orthopädietechnischen Einrichtung eine bestimmte Bewegungshandlungen bzw. eine bestimmten Bewegungsablauf ausführen soll. Anschließend werden bestimmte Bewegungsmerkmale des durch den Patienten durchgeführten Bewegungsablaufes ermittelt, um basierend darauf dann eine Bewertung abzugeben, wie gut oder schlecht der Test durch den Patienten ausgeführt wurde. Hieraus lässt sich dann wiederum ableiten, ob das Tragen der orthopädietechnischen Einrichtung seine gewünschte Wirkung zeigt oder ob eine andere Einrichtung ausgewählt oder ob die Konfiguration der bestehenden Einrichtung verändert, variiert und/oder angepasst werden muss.For this purpose, so-called Outcome Measurement Tests (OMTs) are often conducted. These tests require the patient to perform a specific movement or sequence of movements while wearing the orthotic device. Specific movement characteristics of the movement sequence performed by the patient are then determined, which then provides an assessment of how well or poorly the patient performed the test. This assessment then determines whether wearing the orthotic device is achieving the desired effect, whether a different device should be selected, or whether the configuration of the existing device needs to be changed, varied, and/or adapted.
Ein bekannter Outcome Measurement Test ist beispielsweise der „Timed up and go Test“. Der Patient sitzt dabei auf einem Stuhl und muss nach einem Kommando sich von dem Stuhl erheben, eine gewisse Strecke (meist 3 Meter) in einem normalen und sicheren Tempo gehen, sich dann umdrehen, zurück zum Stuhl gehen und sich wieder hinsetzen. Dabei wird die Zeit gemessen, wie lange der Patient vom Aufstehen bis zum Hinsetzen benötigt. Wird ein solcher OMT in regelmäßigen Abständen wiederholt, kann anhand der Zeitmessung eine Evaluation der Wirkung der orthopädietechnischen Einrichtung abgeleitet werden.A well-known outcome measurement test is the "Timed Up and Go Test." The patient sits on a chair and, upon a command, must stand up, walk a certain distance (usually 3 meters) at a normal and safe pace, then turn around, walk back to the chair, and sit down again. The time it takes the patient to go from standing up to sitting down is measured. If such an OMT is repeated at regular intervals, the time measurement can be used to evaluate the effectiveness of the orthopedic device.
Ein anderer OMT ist der „6-minute Walk Test“, bei dem der Patient 6 Minuten geht, wobei das Ergebnis dieses Tests die dabei zurückgelegte Strecke ist. Der Patient kann dabei so viele Pausen einlegen, wie er möchte. Die Evaluation der orthopädietechnischen Einrichtung erfolgt dann basierend auf der in 6 Minuten zurückgelegten Strecke.Another OMT is the “6-minute Walk Test”, in which the patient walks for 6 minutes, with the result of this test being the distance covered. The patient can take as many breaks as they wish. The evaluation of the orthopedic device is then based on the distance covered in 6 minutes.
In der Praxis werden solche OMTs jedoch nur selten mit der notwendigen Präzision durchgeführt. Der Grund hierfür liegt darin, dass es für die Versorgungseinrichtungen, wie beispielsweise Sanitätshaus oder Orthopädietechniker, einen erheblichen Mehraufwand im alltäglichen Versorgungsprozess bedeutet, solche Tests durchzuführen. Dabei konkurrieren diese OMTs zeitlich mit anderen versorgungsrelevanten Prozessen, sodass häufig hierauf verzichtet wird. Dies hat zur Folge, dass die Wirkung der orthopädietechnischen Einrichtung nicht in regelmäßigen Abständen evaluiert wird, wodurch die Genesung womöglich verlängert und notwendige Anpassungen der orthopädietechnischen Einrichtung aufgeschoben bzw. nicht durchgeführt werden. Dies führt nicht nur zu einer zusätzlichen Belastung des Patienten, sondern auch zu höheren Behandlungskosten, da der Patient länger versorgt werden muss als eigentlich notwendig wäre oder eine nicht-optimale orthopädietechnische Einrichtung erhält, die später erneut getauscht werden muss.In practice, however, such OMTs are rarely performed with the necessary precision. The reason for this is that performing such tests represents a considerable additional workload for care providers, such as medical supply stores or orthotists, in the everyday care process. These OMTs compete with other care-relevant processes for time and effort, so they are often omitted. As a result, the effectiveness of the orthotist device is not evaluated at regular intervals, which may prolong recovery and result in necessary adjustments to the orthotist device being postponed or not carried out. This not only places additional strain on the patient but also leads to higher treatment costs, as the patient must be cared for longer than necessary or receives suboptimal orthotist equipment that later has to be replaced.
Aufgrund der Tatsache, dass OMTs einen nicht unerheblichen Beitrag zur Gesundung des Patienten bzw. zur Verbesserung des Wohlbefindens beitragen, ergibt sich im orthopädietechnischen und therapeutischen Alltag das Bedürfnis, OMTs flächendeckend und in zeitlich kurzen Intervallen durchzuführen. Aufgrund der derzeitigen Praxis, solche OMTs prozesssicher innerhalb der Versorgungseinrichtungen durchzuführen, ist dies mit der derzeitigen Praxis jedoch nicht zu erreichen.Due to the significant contribution that OMTs make to patient recovery and improved well-being, there is a need in everyday orthopedic and therapeutic practice to perform OMTs comprehensively and at short intervals. However, due to the current practice of reliably performing such OMTs within healthcare facilities, this cannot be achieved with current practice.
Aus der
Aus der
Aus der
Es ist daher Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren anzugeben, mit dem die Bewertung einer orthopädietechnischen Einrichtung hinsichtlich ihrer Wirkungsweise auf den Patienten verbessert werden kann.It is therefore an object of the present invention to provide an improved method with which the evaluation of an orthopaedic device with regard to its effect on the patient can be improved.
Die Aufgabe wird mit dem Verfahren zum Bewerten eines Bewegungsablaufes, der von einem durch eine orthopädietechnischen Einrichtung beeinflussten Patienten durchgeführt wird, gemäß Anspruch 1 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung finden sich dann in den entsprechenden Unteransprüchen.The object is achieved according to the invention with the method for evaluating a movement sequence performed by a patient influenced by an orthopedic device, according to claim 1. Advantageous embodiments of the invention can then be found in the corresponding subclaims.
Gemäß Anspruch 1 wird ein Verfahren zum Bewerten eines Bewegungsablaufes vorgeschlagen, wobei der Bewegungsablauf von einem durch eine orthopädietechnischen Einrichtung beeinflussten Patienten durchgeführt wird. Ein solcher Bewegungsablauf ist dabei insbesondere ein OMT, mit dem die Wirkungsweise der orthopädietechnischen Einrichtung mit der der Patient versorgt ist oder von der der Patient beeinflusst wird, evaluiert werden soll.According to claim 1, a method for evaluating a movement sequence is proposed, wherein the movement sequence is performed by a patient influenced by an orthopedic device. Such a movement sequence is, in particular, an OMT, with which the effectiveness of the orthopedic device with which the patient is fitted or influenced is to be evaluated.
Das Verfahren umfasst dabei die folgenden Schritte
- - Bereitstellen von digitalen Videodaten, die eine Aufnahme des durch die orthopädietechnische Einrichtung beeinflussten Patienten während der Durchführung des vorgegebenen Bewegungsablaufes enthalten, an einer elektronischen Recheneinheit,
- - Ermitteln von mehreren patientenbezogenen Bewegungsmerkmalen des in den digitalen Videodaten enthaltenen Bewegungsablaufes des Patienten mittels der elektronischen Recheneinheit,
- - Zuordnen des in den digitalen Videodaten enthaltenen Bewegungsablaufes zu einem Bewegungsablauftyp in Abhängigkeit von den ermittelten patientenbezogenen Bewegungsmerkmalen mittels der elektronischen Recheneinheit,
- - Feststellen, mittels der elektronischen Recheneinheit, ob der in den digitalen Videodaten enthaltene Bewegungsablauf hinsichtlich des zugeordneten Bewegungsablauftyps bezogen auf seine Ausführung einem vordefinierten Korrektheitsmaß entspricht, wobei die Feststellung in Abhängigkeit von den ermittelten patientenbezogenen Bewegungsmerkmalen erfolgt, und
- - Bestimmen mindestens einer Bewertungskennzahl in Abhängigkeit von den patientenbezogenen Bewegungsmerkmalen mittels der Recheneinheit.
- - Providing digital video data containing a recording of the patient influenced by the orthopaedic device during the execution of the specified movement sequence to an electronic processing unit,
- - Determining several patient-related movement characteristics of the patient's movement sequence contained in the digital video data by means of the electronic processing unit,
- - Assigning the movement sequence contained in the digital video data to a movement sequence type depending on the determined patient-related movement characteristics by means of the electronic processing unit,
- - Determining, by means of the electronic processing unit, whether the movement sequence contained in the digital video data corresponds to a predefined degree of correctness with regard to the assigned movement sequence type in relation to its execution, whereby the determination is made depending on the determined patient-related movement characteristics, and
- - Determining at least one evaluation key figure depending on the patient-related movement characteristics by means of the computing unit.
Erfindungsgemäß wird demnach ein automatisiertes Bewerten eines solchen Bewegungsablaufes, insbesondere eines OMTs, vorgeschlagen. Dabei werden zunächst digitalen Videodaten bereitgestellt, die eine Aufnahme des Patienten enthalten, wie er den vorgegebenen Bewegungsablauf durchführt. Ein solches Video kann dabei beispielsweise mithilfe eines mobilen Endgerätes, wie beispielsweise ein Smartphone oder Tablet oder Computerkamera, aufgenommen werden. Die Aufnahme kann dabei durch den Patienten selber erfolgen, ohne dass er hierfür zu einem Orthopädietechniker oder in ein Sanitätshaus vorstellig werden muss. Vielmehr kann das Video, welches den vorgegebenen Bewegungsablauf als eine Folge von Einzelbildern enthält, zu Hause in einer vertrauten Umgebung aufgenommen werden. Das so aufgenommene Video mit den digitalen Videodaten wird nun von dem Videoaufnahmegerät zu einer elektronischen Recheneinheit übermittelt, sodass die digitalen Videodaten mit dem aufgenommenen Bewegungsablauf dieser elektronischen Recheneinheit bereitgestellt werden.According to the invention, an automated evaluation of such a movement sequence, in particular of an OMT, is proposed. First, digital video data is provided containing a recording of the patient performing the specified movement sequence. Such a video can be recorded using a mobile device, such as a smartphone, tablet, or computer camera. The recording can be made by the patient themselves without having to visit an orthopedic technician or medical supply store. Instead, the video, which contains the specified movement sequence as a series of individual images, can be recorded at home in a familiar environment. The video recorded in this way, along with the digital video data, is then transmitted from the video recording device to an electronic processing unit, so that the digital video data with the recorded movement sequence is made available to this electronic processing unit.
Die Videodaten zeigen dabei den Patienten bei der Durchführung des vorgegebenen Bewegungsablaufes. Der Patient wird dabei durch seine orthopädietechnische Einrichtung beeinflussten, während er den Bewegungsablauf ausführt. Dies kann bedeuten, dass der Patient während der Durchführung des vorgegebenen Bewegungsablaufes die orthopädietechnische Einrichtung trägt bzw. mit der orthopädietechnischen Einrichtung versorgt ist. Denkbar ist aber auch, dass der Patient zuvor durch die orthopädietechnische Einrichtung beeinflusst wird, beispielsweise durch einen muskelstimulierenden Anzug, und anschließend den Bewegungsablauf ausführt. In diesem Fall ist der Patient durch den zuvor auf seinen Körper einwirkenden muskelstimulierenden Anzug beeinflusst, sodass die Wirkung eines solchen Anzugs auf den Patienten untersucht und bewertet werden kann.The video data shows the patient performing the specified movement sequence. The patient is influenced by their orthopedic device while executing the movement sequence. This can mean that the patient wears the orthopedic device or is equipped with the orthopedic device while performing the specified movement sequence. It is also conceivable, however, that the patient is previously influenced by the orthopedic device, for example by a muscle-stimulating suit, and then performs the movement sequence. In this case, the patient is influenced by the muscle-stimulating suit that previously acted on their body, so that the effect of such a suit on the patient can be examined and evaluated.
Unter einer Beeinflussung durch eine orthopädietechnische Einrichtung wird somit nicht nur die Versorgung mit der orthopädietechnischen Einrichtung verstanden, sondern auch die Wirkung einer orthopädietechnischen Einrichtung auf den Patienten durch äußere Stimuli, sowohl während der Anwendung als auch danach.The influence of an orthopaedic device is therefore understood not only to mean the provision of the orthopaedic device, but also the effect of an orthopaedic device on the patient through external stimuli, both during and after use.
Das Videoaufnahmegerät und die elektronischen Recheneinheit können dabei in einem gemeinsamen Gerät vorgesehen sein. Ist das Videoaufnahmegerät beispielsweise ein Smartphone, so können sämtliche Verfahrensschritte in diesem Smartphone durchgeführt werden. Möglich ist aber auch, dass das Videoaufnahmegerät über eine Schnittstelle mit einem Datennetzwerk verbunden ist, beispielsweise via LAN oder WLAN, wobei das Videoaufnahmegerät dann diese aufgenommenen Videodaten an die mit dem Netzwerk ebenfalls verbundene elektronischen Recheneinheit überträgt.The video recording device and the electronic processing unit can be integrated into a single device. For example, if the video recording device is a smartphone, all process steps can be performed on the smartphone. It is also possible, however, for the video recording device to be connected to a data network via an interface, for example, via LAN or WLAN, with the video recording device then transmitting the recorded video data to the electronic processing unit, which is also connected to the network.
Der Patient hat dabei bestimmte Vorgaben, wie er den vorgegebenen Bewegungsablauf auszuführen hat. Die elektronische Recheneinheit hingegen weiß im Regelfall nicht, welcher Bewegungsablauf bzw. welche Bewegungsablauftyp der Patient ausgeführt hat. So ist der elektronischen Recheneinheit in der Regel nicht bekannt, welcher OMT von dem Patienten in den Videodaten ausgeführt wird.The patient has specific instructions regarding how to perform the specified movement sequence. The electronic processing unit, however, generally does not know which movement sequence or movement type the patient has performed. Thus, the electronic processing unit generally does not know which OMT the patient is performing in the video data.
Es werden zunächst mehrere patientenbezogene Bewegungsmerkmale des in den digitalen Videodaten enthaltenen Bewegungsablaufes mittels der elektronischen Recheneinheit ermittelt, wobei basierend auf diesen patientenbezogenen Bewegungsmerkmalen dann eine Zuordnung des Bewegungsablaufes, den der Patient in dem Video durchführt, zu einem Bewegungsablauftyp, beispielsweise einem konkreten OMT, erfolgt. Die elektronische Recheneinheit ermittelt somit automatisch den zugrunde liegenden Bewegungsablauftyp, den der Patient in dem Video ausführt.First, several patient-related movement characteristics of the movement sequence contained in the digital video data are determined using the electronic processing unit. Based on these patient-related movement characteristics, the movement sequence performed by the patient in the video is then assigned to a movement sequence type, for example, a specific OMT. The electronic processing unit thus automatically determines the underlying movement sequence type performed by the patient in the video.
Solche patientenbezogenen Bewegungsmerkmale können beispielsweise ein Gelenkwinkel eines Gelenkes des Patienten zu einem bestimmten Zeitpunkt oder als Verlauf über die Zeit sein. So lässt sich aus dem Gelenkwinkel eines Gelenkes als Verlauf über die Zeit beispielsweise feststellen, ob der Patient sich gerade von einem Stuhl erhebt oder sich hin setzt, sodass hierauf auf einen bestimmten Bewegungsablauftyp geschlossen werden kann.Such patient-related movement characteristics can, for example, be the joint angle of a patient's joint at a specific point in time or as a progression over time. For example, the joint angle of a joint as a progression over time can be used to determine whether the patient is currently rising from a chair or sitting down, allowing a specific movement pattern to be inferred.
Wurde der Bewegungsablauftyp festgestellt, so wird im nächsten Schritt durch die elektronische Recheneinheit festgestellt, ob der in den digitalen Bilddaten enthaltene Bewegungsablauf bezogen auf seine Ausführung einem vordefinierten Korrektheitsmaß entspricht. Hierdurch wird sichergestellt, dass der Bewegungsablauf soweit korrekt ausgeführt wurde, dass eine Bewertung möglich und sinnvoll ist. Dabei erfolgt die Feststellung, ob der Bewegungsablauf dem vordefinierten Korrektheitsmaß entspricht, in Abhängigkeit von den patientenbezogenen Bewegungsmerkmalen, die zuvor aus den Videodaten extrahiert wurden.Once the movement sequence type has been determined, the next step is for the electronic processing unit to determine whether the movement sequence contained in the digital image data meets a predefined accuracy standard in terms of its execution. This ensures that the movement sequence was executed correctly enough to make an evaluation possible and meaningful. The determination of whether the movement sequence meets the predefined accuracy standard is based on the patient-related movement characteristics previously extracted from the video data.
Wurde festgestellt, dass der Bewegungsablauf einem vordefinierten Korrektheitsmaß entspricht, so wird anschließend eine Bewertungskennzahl in Abhängigkeit von den patientenbezogenen Bewegungsmerkmalen mittels der Recheneinheit bestimmt. Diese Bewertungskennzahl gibt dabei an, wie qualitativ der Bewegungsablauf durch den Patienten mit der orthopädietechnischen Einrichtung ausgeführt wurde.If it is determined that the movement sequence meets a predefined accuracy standard, an evaluation score is then determined by the computing unit based on the patient-specific movement characteristics. This evaluation score indicates how qualitatively the movement sequence was performed by the patient using the orthopedic device.
Dabei können in die Bewertungskennzahl auch Merkmale oder Eigenschaften betreffend des Bewegungsablaufes an sich einfließen, wie beispielsweise die zurückgelegte Strecke oder die Zeit, die der Patient zum Zurücklegen einer bestimmten Strecke braucht. Die Bewertungskennzahl wird somit vorzugsweise nicht nur in Abhängigkeit von den patientenbezogenen Bewegungsmerkmalen bestimmt, sondern auch von ausführungsbezogenen Bewegungsinformationen, wie beispielsweise Zeit oder zurückgelegte Strecke.The evaluation indicator can also include characteristics or properties relating to the movement sequence itself, such as the distance covered or the time, that the patient needs to cover a certain distance. The evaluation score is therefore preferably determined not only based on patient-related movement characteristics, but also on execution-related movement information, such as time or distance traveled.
Mithilfe der vorliegenden Erfindung wird es somit möglich, den zur Durchführung eines OTM benötigten Zeitaufwandes aufgrund eines hohen Automationsgrades derart zu reduzieren, dass diese OTMs im alltäglichen Versorgungsprozess mit durchgeführt werden können.With the help of the present invention, it is thus possible to reduce the time required to perform an OTM due to a high degree of automation so that these OTMs can be performed in the everyday care process.
Dabei ist es besonders vorteilhaft, wenn in Abhängigkeit der bestimmten Bewertungskennzahl die orthopädietechnische Einrichtung hinsichtlich ihrer Konfiguration angepasst wird. Dies kann in der Auswahl einer anderen passenden orthopädietechnischen Einrichtung bestehen, aber auch in der Anpassung der bestehenden Einrichtung. Beispielsweise kann der Aufbau der Einrichtung am Patienten optimiert werden oder aber es könnten Einstellungsparameter der Einrichtung, insbesondere bei mikroprozessorgesteuerten Einrichtungen, wie etwa dem Dämpfungsverlauf eines Kniegelenkes, angepasst werden. Ein Vorschlag zur Anpassung der orthopädietechnischen Einrichtung kann auch automatisch aus der Bewertungskennzahl und/oder den ermittelten Bewegungsmerkmalen bereitgestellt werden.It is particularly advantageous if the configuration of the orthopedic device is adjusted based on the determined evaluation index. This can involve selecting another suitable orthopedic device or adapting the existing device. For example, the structure of the device can be optimized for the patient, or the device's setting parameters, particularly in microprocessor-controlled devices, such as the damping curve of a knee joint, can be adjusted. A suggestion for adapting the orthopedic device can also be provided automatically based on the evaluation index and/or the determined movement characteristics.
Gemäß einer Ausführungsform ist vorgesehen, dass auf der elektronischen Recheneinheit ein erstes maschinelles Lernsystem bereitgestellt wird, das einen Zusammenhang von in digitalen Videodaten enthaltenen Bewegungsabläufen von durch eine orthopädietechnische Einrichtung beeinflussten Patienten als Eingabedaten und Körpermerkmalen an Patienten als Ausgabedaten gelernt hat, wobei zur Ermittlung von Körpermerkmalen des Patienten in dem Bewegungsablauf die digitalen Videodaten als Eingabedaten dem ersten maschinellen Lernsystem zugeführt und daraufhin die Körpermerkmale des Patienten als Ausgabedaten erhalten werden, wobei die patientenbezogenen Bewegungsmerkmalen in Abhängigkeit von den ermittelten Körpermerkmalen des Patienten identifiziert werden.According to one embodiment, a first machine learning system is provided on the electronic computing unit, which first machine learning system has learned a relationship between movement sequences contained in digital video data of patients influenced by an orthopaedic device as input data and body characteristics of the patient as output data, wherein in order to determine body characteristics of the patient in the movement sequence, the digital video data are fed as input data to the first machine learning system and the body characteristics of the patient are then obtained as output data, wherein the patient-related movement characteristics are identified as a function of the determined body characteristics of the patient.
So lassen sich mithilfe des maschinellen Lernsystems beispielsweise Gelenkpunkte eines Gelenkes und/oder Körperteile des Patienten im Bewegungsablauf digitalen Videodaten erkennen, wobei basierend auf diesen Gelenkpunkten und/oder Körperteilen dann die patientenbezogenen Bewegungsmerkmale, wie beispielsweise Gelenkwinkel und/oder Veränderung des Gelenkwinkels über die Zeit ermittelt werden können.For example, the machine learning system can be used to identify joint points of a joint and/or body parts of the patient in the movement sequence of digital video data, whereby based on these joint points and/or body parts, the patient-related movement characteristics, such as joint angle and/or change in the joint angle over time, can then be determined.
Gemäß einer Ausführungsform hierzu ist vorgesehen, dass das maschinelle Lernsystem ein künstliches neuronales Netz ist.According to one embodiment, the machine learning system is an artificial neural network.
Das maschinelle Lernsystem kann dabei derart trainiert werden, dass dem maschinellen Lernsystem digitalen Videodaten und/oder Einzelbilder als Trainingsdaten präsentiert werden, in denen bereits die betreffenden Körpermerkmale identifiziert sind, d. h. beispielsweise die Gelenkpunkte und/oder Körperteile sind bereits in den Videodaten und/oder Einzelbildern bekannt. Dem maschinellen Lernsystem werden dabei eine Vielzahl derartiger Trainingsdaten präsentiert, sodass hieraus ein entsprechendes maschinelles Lernen möglich wird. Es hat sich als vorteilhaft herausgestellt Trainingsdaten zu verwenden, die ebenfalls orthopädietechnische Einrichtung enthalten, da Bewegungsabläufe und Körperkonturen durch den Einsatz orthopädietechnische Einrichtungen teils erheblich abweichen.The machine learning system can be trained by presenting digital video data and/or individual images as training data, in which the relevant body characteristics have already been identified, i.e., for example, the joint points and/or body parts are already known from the video data and/or individual images. A large number of such training data are presented to the machine learning system, enabling corresponding machine learning. It has proven advantageous to use training data that also contains orthopedic devices, since movement sequences and body contours can sometimes differ considerably due to the use of orthopedic devices.
Gemäß einer Ausführungsform ist vorgesehen, dass als ein Körpermerkmal zumindest ein Gelenkpunkt eines Gelenkes des Patienten im Bewegungsablauf, ein Gelenkwinkel von zumindest einem Gelenk des Patienten im Bewegungsablauf, eine Relativposition zwischen mindestens zwei Gelenken des Patienten und/oder eine Silhouette des Körpers des Patienten sowie Veränderungen dieser Körpermerkmale über die Zeit identifiziert werden.According to one embodiment, it is provided that at least one joint point of a joint of the patient in the movement sequence, a joint angle of at least one joint of the patient in the movement sequence, a relative position between at least two joints of the patient and/or a silhouette of the patient's body as well as changes in these body characteristics over time are identified as a body characteristic.
Dabei ist es denkbar, dass die Körpermerkmale, die sich aus dem ersten maschinellen Lernsystem ermitteln lassen, zumindest teilweise identisch sind mit den patientenbezogenen Bewegungsmerkmalen, was jedoch nicht zwingend der Fall sein muss.It is conceivable that the body characteristics that can be determined from the first machine learning system are at least partially identical to the patient-related movement characteristics, but this does not necessarily have to be the case.
Gemäß einer Ausführungsform ist vorgesehen, dass als patientenbezogenen Bewegungsmerkmale
- - ein Gelenkwinkel eines Gelenkes des Patienten zu einem bestimmten Zeitpunkt im Bewegungsablauf oder als Verlauf über die Zeit,
- - eine Relativposition zwischen mindestens zwei Gelenken des Patienten zu einem bestimmten Zeitpunkt im Bewegungsablauf oder als Verlauf über die Zeit, und/oder
- - ein Aufsetz- und/oder ein Absetzpunkt im Bewegungsablauf oder als Verlauf über die Zeit ermittelt wird.
- - a joint angle of a patient's joint at a specific point in time during the movement sequence or as a course over time,
- - a relative position between at least two joints of the patient at a specific point in time during the movement sequence or as a progression over time, and/or
- - a touchdown and/or a setdown point is determined in the movement sequence or as a progression over time.
Gemäß einer Ausführungsform ist vorgesehen, dass auf der elektronischen Recheneinheit ein zweites maschinelles Lernsystem bereitgestellt wird, das einen Zusammenhang von patientenbezogenen Bewegungsmerkmalen des Patienten bei der Durchführung eines vorgegebenen Bewegungsablaufes als Eingabedaten und einem Bewegungsablauftyp des jeweiligen Bewegungsablaufes als Ausgabedaten gelernt hat, wobei für die Zuordnung des in den digitalen Videodaten enthaltenen Bewegungsablauf zu einem entsprechenden Bewegungsablauftyp die ermittelten patientenbezogenen Bewegungsmerkmale dem zweiten maschinellen Lernsystem zugeführt und daraufhin der Bewegungsablauftyp als Ausgabedaten erhalten wird.According to one embodiment, it is provided that a second machine learning system is provided on the electronic computing unit, which system determines a relationship between patient-related movement characteristics of the patient when performing a predetermined movement sequence as input data and a movement sequence type of the respective movement sequence as output data, whereby for the assignment of the movement sequence contained in the digital video data to a corresponding movement sequence type, the determined patient-related movement characteristics are fed to the second machine learning system and the movement sequence type is then obtained as output data.
Somit kann basierend auf den patientenbezogenen Bewegungsmerkmalen, die beispielsweise aus dem ersten maschinellen Lernsystem ermittelt wurden, der Bewegungsablauftyp ermittelt werden, indem die patientenbezogenen Bewegungsmerkmale, wie beispielsweise Gelenkwinkel absolut oder als Verlauf über die Zeit, in das zweite maschinellen Lernsystem eingegeben und der in diesem Zusammenhang stehende Bewegungsablauftyp als Ausgabedaten ausgegeben wird.Thus, based on the patient-related movement characteristics determined, for example, from the first machine learning system, the movement sequence type can be determined by inputting the patient-related movement characteristics, such as joint angles in absolute terms or as a progression over time, into the second machine learning system and outputting the movement sequence type associated with this as output data.
Ein solches maschinelles Lernsystem kann dabei ebenfalls ein künstliches neuronales Netz sein.Such a machine learning system can also be an artificial neural network.
Dem zweiten maschinellen Lernsystem können dabei ebenfalls Trainingsdaten zum Lernen des Zusammenhangs präsentiert werden, die patientenbezogenen Bewegungsmerkmale und den damit zusammenstehenden Bewegungsablauftyp enthalten. D. h., die Trainingsdaten kennen die Zuordnung von patientenbezogenen Bewegungsmerkmalen mit dem zugrunde liegenden Bewegungsablauftyp können so beispielsweise über ein entsprechendes Feedback-Lernen das zweite maschinellen Lernsystem anlernen.The second machine learning system can also be presented with training data to learn the relationship, which contains patient-related movement characteristics and the associated movement sequence type. This means that the training data knows the association of patient-related movement characteristics with the underlying movement sequence type and can thus, for example, train the second machine learning system via appropriate feedback learning.
Gemäß einer Ausführungsform ist vorgesehen, dass auf der elektronischen Recheneinheit ein Zuordnungsregelwerk bereitgestellt wird, welches eine Zuordnung von gewissen Kombinationen von patientenbezogenen Bewegungsmerkmalen des Patienten bei der Durchführung eines vorgegebenen Bewegungsablaufes als Eingabedaten zu einem jeweiligen Bewegungsablauftyp als Ausgabedaten enthält, wobei für die Zuordnung des in den digitalen Videodaten enthaltenen Bewegungsablauf zu einem entsprechenden Bewegungsablauftyp die ermittelten patientenbezogenen Bewegungsmerkmale dem Zuordnungsregelwerk zugeführt und daraufhin der Bewegungsablauftyp als Ausgabedaten erhalten wird.According to one embodiment, it is provided that an assignment rule set is provided on the electronic computing unit, which contains an assignment of certain combinations of patient-related movement characteristics of the patient when carrying out a predetermined movement sequence as input data to a respective movement sequence type as output data, wherein for the assignment of the movement sequence contained in the digital video data to a corresponding movement sequence type, the determined patient-related movement characteristics are fed to the assignment rule set and the movement sequence type is then obtained as output data.
Ein solches Zuordnungsregelwerk erkennt dabei bestimmte Kombinationen von patientenbezogenen Bewegungsmerkmalen und ordnet diese einem bestimmten Bewegungsablauftyp zu, bei dem diese Kombination von patientenbezogenen Bewegungsmerkmalen immer auftreten. Ein solches Zuordnungsregelwerk hat dabei den Vorteil, dass keine Trainingsdaten zum Anlernen eines maschinellen Lernsystems, wie vorgeschrieben, bereitgestellt werden müssen. Dabei kann ebenfalls vorgesehen sein, dass nicht nur der Bewegungsablauftyp bestimmt wird, sondern auch eine Wahrscheinlichkeit ausgegeben wird, die angibt, wie wahrscheinlich die Zuordnung zu dem Bewegungsablauftyp ist.Such an assignment rule set recognizes certain combinations of patient-related movement characteristics and assigns them to a specific movement sequence type in which this combination of patient-related movement characteristics always occurs. Such an assignment rule set has the advantage that no training data needs to be provided to train a machine learning system, as required. It can also be provided that not only the movement sequence type is determined, but also a probability is output that indicates how likely the assignment to the movement sequence type is.
Gemäß einer Ausführungsform ist vorgesehen, dass das Korrektheitsmaß einer Wahrscheinlichkeit bei der Zuordnung zu dem Bewegungsablauftyp entspricht oder von dieser abgeleitet ist.According to one embodiment, it is provided that the correctness measure corresponds to a probability in the assignment to the movement sequence type or is derived therefrom.
Das bedeutet, die Wahrscheinlichkeit bei der Zuordnung zu dem Bewegungsablauftyp beispielsweise mittels maschinellen Lernsystem oder Zuordnungsregelwerk, wird zur Überprüfung verwendet, ob die Ausführungen des Bewegungsablaufes dem Korrektheitsmaß entsprechen oder nicht. Je wahrscheinlicher die Zuordnung ist, desto korrekter wurde die Bewegung ausgeführt. Je ungewisser die Zuordnung ist, desto in korrekter wurde die Bewegung ausgeführt.This means that the probability of assigning a movement sequence type, for example, using a machine learning system or assignment rule set, is used to check whether the execution of the movement sequence meets the correctness standard. The more probable the assignment, the more correctly the movement was executed. The more uncertain the assignment, the more incorrectly the movement was executed.
Gemäß einer Ausführungsform ist vorgesehen, dass die Bewertungskennzahl in Abhängigkeit von einer Wahrscheinlichkeit bei der Zuordnung zu dem Bewegungsablauftyp mittels der Recheneinheit bestimmt wird.According to one embodiment, it is provided that the evaluation index is determined by means of the computing unit as a function of a probability when assigning to the movement sequence type.
In dieser Ausführungsform fließt die Wahrscheinlichkeit bei der Zuordnung zu dem Bewegungsablauftyp in die Bestimmung der Bewertungskennzahl mit ein, sodass die Bewertungskennzahl umso höher ist, umso wahrscheinlicher die Zuordnung zu dem Bewegungsablauftyp ist.In this embodiment, the probability of assignment to the movement sequence type is included in the determination of the evaluation key figure, so that the evaluation key figure is higher, the more likely the assignment to the movement sequence type is.
Gemäß einer Ausführungsform ist vorgesehen, dass die Bewertungskennzahl in Abhängigkeit von aus den patientenbezogenen Bewegungsmerkmalen abgeleiteten ausführungsbezogenen Bewegungsinformationen des Bewegungsablaufes bestimmt wird.According to one embodiment, it is provided that the evaluation index is determined as a function of execution-related movement information of the movement sequence derived from the patient-related movement characteristics.
Solche ausführungsbezogenen Bewegungsinformationen können beispielsweise die zurückgelegte Strecke oder die Zeit für die Zurücklegung einer vorgegebenen Strecke sein.Such execution-related movement information can be, for example, the distance traveled or the time required to cover a given distance.
Gemäß einer Ausführungsform ist vorgesehen, dass die Bewegungsinformationen unter anderem die Dauer der Bewegung, das Vorhandensein eines bestimmten Bewegungsmusters, eine Information über das Erreichen bestimmter Gelenkwinkel an einem oder mehreren Gelenken und/oder eine Information über das Erreichen bestimmter Relativpositionen von zumindest zwei Gelenken und/oder Körperteilen zueinander ist.According to one embodiment, the movement information includes, among other things, the duration of the movement, the presence of a specific movement pattern, information about reaching specific joint angles at one or more joints and/or information about reaching specific relative positions of at least two joints and/or body parts to one another.
Gemäß einer Ausführungsform ist vorgesehen, dass status- und/oder bewegungsbezogene Daten der orthopädietechnischen Einrichtung der elektronischen Recheneinheit bereitgestellt werden, die Bewertungskennzahl weiterhin in Abhängigkeit von den bereitgestellten status- und/oder bewegungsbezogene Daten der orthopädietechnischen Einrichtung bestimmt wird.According to one embodiment, it is provided that status and/or movement-related Data from the orthopaedic device are provided to the electronic computing unit, the evaluation key figure continues to be determined depending on the status and/or movement-related data provided by the orthopaedic device.
Solche status- und/oder bewegungsbezogene Daten der orthopädietechnischen Einrichtung können beispielsweise Gelenkwinkel der orthopädietechnischen Einrichtung, ausgewählte Gangart sowie Konfigurationen der orthopädietechnischen Einrichtung, wie beispielsweise Dämpfungskonfigurationen, sein.Such status and/or movement-related data of the orthopaedic device can be, for example, joint angles of the orthopaedic device, selected gait and configurations of the orthopaedic device, such as damping configurations.
Die Aufgabe wird im Übrigen auch mit dem Computerprogramm gemäß Anspruch 13 erfindungsgemäß gelöst. Das Computerprogramm hat Programmcodemitteln, die eingerichtet sind, das vorstehend beschriebene Verfahren durchzuführen, wenn das Computerprogramm auf einer elektronischen Datenverarbeitungsanlage ausgeführt wird.The object is also achieved according to the invention with the computer program according to claim 13. The computer program has program code means which are configured to carry out the method described above when the computer program is executed on an electronic data processing system.
Die Aufgabe wird im Übrigen auch mit der Vorrichtung gemäß Anspruch 14 erfindungsgemäß gelöst, bei die Vorrichtung eine elektronische Recheneinheit hat, die zur Durchführung des vorstehend beschriebenen Verfahrens eingerichtet ist. Die Vorrichtung kann dabei auch eine Kamera enthalten, um die Videodaten des Bewegungsablaufes aufzunehmen.The object is also achieved according to the invention with the device according to claim 14, wherein the device has an electronic processing unit configured to carry out the method described above. The device can also contain a camera to record the video data of the movement sequence.
Die Erfindung wird anhand der beigefügten Figur beispielhaft näher erläutert. Es zeigt:
-
1 Darstellung des Verfahrensablaufes; -
2 Darstellung eines „Timed up and go Test“.
-
1 Description of the procedure; -
2 Illustration of a “timed up and go test”.
Diese digitalen Videodaten 110 einem ersten maschinellen Lernsystem 120 zum Ermitteln der Körperhaltung zugeführt. Das erste maschinelle Lernsystem 120 erhält als Eingabe die digitalen Videodaten 110 und liefert als Ausgabe entsprechende Körpermerkmale 130 an dem Körper des Patienten, der in den digitalen Videodaten 110 enthalten ist. Bei diesen Körpermerkmalen 130 handelt es sich vornehmlich um Gelenkpunkte an dem Körper des Patienten, wobei diese Gelenkpunkte in einigen Einzelbildern, vorzugsweise in einer Mehrzahl, besonders bevorzugt in allen Einzelbildern der digitalen Videodaten 110 erkannt und identifiziert werden.This
Das erste maschinelle Lernsystem 120 wurde dabei mit Trainingsdaten trainiert, die einen Bewegungsablauf sowie die zu identifizierenden Körpermerkmale enthalten. Bei dem Bewegungsablauf kann es sich beispielsweise um ein OMT handeln, wobei der Patient mit einer orthopädietechnischen Einrichtung, beispielsweise einer Prothese oder eine Orthese, versorgt ist. Bei der Prothese kann es sich beispielsweise um eine Beinprothese handeln. Das maschinelle Lernsystem 120 wurde darüber hinaus vorzugsweise mit verschiedenen OMTs und Patienten mit verschiedenen orthopädietechnischen Einrichtungen trainiert.The first
Als Ausgabe kann das maschinelle Lernsystem 120 für jeden gefundenen Gelenkpunkt 130 in einem Einzelbild die zweidimensionalen Koordinaten innerhalb des Einzelbildes bereitstellen. Damit liefert die Ausgabe des ersten maschinellen Lernsystems 120 die Position der Gelenkpunkte in dem gesamten Video und ermöglicht so die Feststellung bzw. Identifikation eines Verlaufes der Bewegung dieser Gelenkpunkte im Video über die Zeit.As an output, the
Darüber hinaus können noch andere Körpermerkmale identifiziert werden, wie beispielsweise die an den Gelenken verbundenen Körperteile wie Oberschenkel und Unterschenkel.In addition, other body features can be identified, such as the body parts connected at the joints such as the thighs and lower legs.
Die aus dem ersten maschinellen Lernsystem 120 ermittelten Körpermerkmale 130 werden nun einem Berechnungsmodul 140 bereitgestellt, das aus den zuvor ermittelten Körpermerkmalen 130, insbesondere den Gelenkpunkten, entsprechende patientenbezogenen Bewegungsmerkmale 150 identifiziert. Solche patientenbezogenen Bewegungsmerkmale 150 können dabei beispielsweise ein Gelenkwinkel sowie deren Verlauf über die Zeit sein. Auch der Abstand zweier Gelenke zueinander und die Veränderung eines solchen Abstandes über die Zeit lassen sich aus den Körpermerkmalen 130, insbesondere den Gelenkpunkten, ableiten. Auch der Aufsetzpunkt sowie der Absetzpunkt beim Gehen lassen sich ermitteln, wobei hierfür gegebenenfalls ein Rückgriff auf die Videodaten erfolgt, beispielsweise um den Boden erkennen zu können.The
Diese patientenbezogenen Bewegungsmerkmale 150 werden nun einem zweiten maschinellen Lernsystem 160 zugeführt. Dieses zweite maschinelle Lernsystem 160 erhält dabei als Eingabe die zuvor ermittelten patientenbezogenen Bewegungsmerkmale 150 und liefert als Ausgabe einen Bewegungsablauftyp 170, der den definierten Bewegungsablauf, den der Patient im Video ausgeführt hat, kennzeichnet. Mithilfe des zweiten maschinellen Lernsystems 160 wird so basierend auf den patientenbezogenen Bewegungsmerkmalen 150 der ausgeführte OMT identifiziert.These patient-related
Alternativ kann das zweite maschinelle Lernsystem 160 auch als ein deterministisches Zuordnungsregelwerk definiert sein, welches anhand eines entsprechenden Regelwerkes basierend auf den patientenbezogenen Bewegungsmerkmalen 150 den Bewegungsablauftyp 170 ermittelt. Dies kann beispielsweise über eine Gelenkkinematik erfolgen, indem eine bestimmte Veränderung des Gelenkwinkels über die Zeit mit einer gewissen Wahrscheinlichkeit auf einen bestimmten Bewegungsablauftyp hindeutet.Alternatively, the second
Das zweite maschinelle Lernsystem 160 wird dabei mithilfe von Trainingsdaten trainiert, die jeweils einen Satz von patientenbezogenen Bewegungsmerkmalen enthalten, denen ein bestimmter Bewegungsablauftyp zugeordnet ist. Durch diese Zuordnung kann das zweite maschinelle Lernsystem 160 die Zuordnung dieser patientenbezogenen Bewegungsmerkmale zu einem entsprechenden Bewegungsablauftyp lernen.The second
Dieser so identifizierte Bewegungsablauftyp 170 wird zusammen mit weiteren Informationen, wie beispielsweise den patientenbezogenen Bewegungsmerkmalen 150, einem Überprüfungsmodul 180 zur Verfügung gestellt, das überprüft, ob der von dem Patienten ausgeführte Bewegungsablauf hinsichtlich des zugeordneten Bewegungsablauftyps bezogen auf seine Ausführung einem vordefinierten Korrektheitsmaß entspricht. Ist dies nicht der Fall, so kann eine Bewertung des Bewegungsablaufes nicht durchgeführt werden. Ist dies wiederum der Fall, so kann im anschließenden Schritt mithilfe des Bewertungsmoduls 200 eine Bewertung des Bewegungsablaufes erfolgen.This
So kann beispielsweise die Wahrscheinlichkeit, mit der das zweite maschinelle Lernsystem 160 die Zuordnung zu einem bestimmten Bewegungsablauftyp durchgeführt hat, zur Feststellung der Korrektheit gegenüber dem Korrektheitsmaß herangezogen werden. Auch kann diese Wahrscheinlichkeit genutzt werden, um die Bewertungskennzahl im Bewertungsmodul 200 zu bestimmen.For example, the probability with which the second
Im Bewertungsmodul 200 wird nun schließlich die Bewertungskennzahl 210 bestimmt. Dabei werden unter anderem auch die patientenbezogenen Bewegungsmerkmale, die zuvor ermittelt wurden, herangezogen, um so beispielsweise Bewegungsinformationen des Bewegungsablaufes zu ermitteln und hieraus die Bewertungskennzahl 210 zu bestimmen. Solche Bewegungsinformationen können beispielsweise die zurückgelegte Strecke oder die Zeit für eine gewisse Strecke darstellen, die sich aus den Videodaten und insbesondere den patientenbezogenen Bewegungsmerkmalen ableiten lassen. Dabei lassen sich auch Bewegungsinformationen erkennen, die auf den patientenbezogenen sind, wie beispielsweise Unsicherheiten im Gang oder der Bewegung.Finally, in the
Dabei werden beispielsweise Gelenkpunkte identifiziert, aus denen dann beispielsweise der Kniewinkel als Bewegungsmerkmal extrahiert werden kann.For example, joint points are identified from which the knee angle can then be extracted as a movement feature.
Als Körpermerkmale werden in diesem Beispiel die Gelenkpunkte identifiziert. Eingezeichnet sind dabei Kniegelenk 304, Hüftgelenk 302 und Knöchelgelenk 306. Alternativ könnten beispielsweise auch die Körperteile direkt identifiziert werden, bspw. Oberschenkel und Unterschenkel. Als Bewegungsmerkmal kommen hier z.B. der Kniewinkel und dessen Verlauf in Frage.In this example, the joint points are identified as body features. The knee joint 304,
Beispiele für die Identifizierung der Übung: Ist der Kniewinkel anfangs bei ca. 90 Grad und liegen die Gelenkpunkte von Hüfte 302 und Knie 304 annähernd auf einer horizontalen Linie? Erfolgt etwa zur Hälfte der Zeit eine Bewegungsumkehr?Examples for identifying the exercise: Is the knee angle initially approximately 90 degrees, and are the joint points of
Beispiele zur Bestimmung, ob die Übung korrekt durchgeführt wurde: Wurde die Armstütze zum Aufstehen verwendet (würde das Erkennen weiterer Gelenkpunkte erfordern). Ist das Aufstehen in einem Zug erfolgt (keine Bewegungsumkehr). Wurde der vorgesehene Umkehrpunkt erreicht?Examples to determine if the exercise was performed correctly: Was the armrest used to stand up (this would require identifying additional joint points). Was the stand-up performed in one go (no reversal of movement). Was the intended turning point reached?
Beispiele zur Bewertung der Übung: Dauer der Übung, wobei hier jeweils der Beginn des Aufstehens und das Ende des Hinsetzens über den Kniewinkel erkannt werden kann. Ggf. können hier auch Teilzeiten angegeben werden, beispielsweise bis zum Umkehrpunkt der Bewegung oder die Zeit die für das Aufstehen oder Hinsetzen benötigt wird. Auch die maximale Winkelgeschwindigkeit beim Aufstehen ist ein interessanter Parameter.Examples for evaluating the exercise: Duration of the exercise, where the beginning of the standing up and the end of the sitting down can be determined by the knee angle. If necessary, partial times can also be specified here, for example, until the reversal point of the movement or the time required to stand up or sit down. The maximum angular velocity when standing up is also an interesting parameter.
Die Auswertung mithilfe der vorliegenden Erfindung erlaubt dabei auch die Bestimmung weiterer Parameter, die der Techniker nicht oder nur schwierig per Hand erfassen kann. Dadurch wird mithilfe der vorliegenden Erfindung auch eines der bestehenden Probleme mit diesen Tests gelöst, dass nämlich die Teilaufgaben (Aufstehen, um drehen, etc.) gar nicht einzelnen analysiert werden können, sondern lediglich festgestellt werden kann, ob insgesamt ein Problem besteht. Ein gutes Ergebnis beim Aufstehen kann daher sogar ein Problem beim Gehen überdecken, da die Gesamtzeit im Rahmen bleibt. Der vorliegenden Erfindung fallen derartige Abweichungen auf.The evaluation using the present invention also allows the determination of additional parameters that the technician cannot or can only with difficulty measure manually. Thus, the present invention also solves one of the existing problems with these tests, namely that the subtasks (standing up to hen, etc.) cannot be analyzed individually, but rather it can only be determined whether an overall problem exists. A good result when standing up can therefore even mask a problem when walking, since the overall time remains within limits. The present invention detects such deviations.
BezugszeichenlisteList of reference symbols
- 100100
- Kameracamera
- 110110
- digitalen Videodatendigital video data
- 120120
- erstes maschinelles Lernsystemfirst machine learning system
- 130130
- KörpermerkmalePhysical characteristics
- 140140
- BerechnungsmodulCalculation module
- 150150
- patientenbezogenen Bewegungsmerkmalepatient-related movement characteristics
- 160160
- zweites maschinelles Lernsystemsecond machine learning system
- 170170
- BewegungsablauftypMovement sequence type
- 180180
- ÜberprüfungsmodulVerification module
- 200200
- BewertungsmodulEvaluation module
- 210210
- BewertungskennzahlValuation key figure
- 300300
- Patientpatient
- 302302
- Hüftgelenkhip joint
- 304304
- Kniegelenkknee joint
- 306306
- Knöchelgelenkankle joint
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- EP 3 786 971 A1 [0012]EP 3 786 971 A1 [0012]
- US 2021/0225195 A1 [0013]US 2021/0225195 A1 [0013]
- EP 3 191 989 B1 [0014]EP 3 191 989 B1 [0014]
Claims (14)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023129563.2A DE102023129563A1 (en) | 2023-10-26 | 2023-10-26 | Method, device and computer program for evaluating a movement sequence |
| PCT/EP2024/080243 WO2025088128A1 (en) | 2023-10-26 | 2024-10-25 | Method, device and computer program for evaluating a movement sequence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023129563.2A DE102023129563A1 (en) | 2023-10-26 | 2023-10-26 | Method, device and computer program for evaluating a movement sequence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102023129563A1 true DE102023129563A1 (en) | 2025-04-30 |
Family
ID=93288656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102023129563.2A Pending DE102023129563A1 (en) | 2023-10-26 | 2023-10-26 | Method, device and computer program for evaluating a movement sequence |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102023129563A1 (en) |
| WO (1) | WO2025088128A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3786971A1 (en) * | 2019-09-02 | 2021-03-03 | Always Exploring AB | Advancement manager in a handheld user device |
| US20210225195A1 (en) * | 2020-01-21 | 2021-07-22 | Roy Shteren | System and method for improving exercise performance using a mobile device |
| EP3191989B1 (en) * | 2014-09-09 | 2021-12-29 | Microsoft Technology Licensing, LLC | Video processing for motor task analysis |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3908969A1 (en) * | 2019-01-07 | 2021-11-17 | MetraLabs GmbH Neue Technologien und Systeme | Method and system for capturing the sequence of movement of a person |
-
2023
- 2023-10-26 DE DE102023129563.2A patent/DE102023129563A1/en active Pending
-
2024
- 2024-10-25 WO PCT/EP2024/080243 patent/WO2025088128A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3191989B1 (en) * | 2014-09-09 | 2021-12-29 | Microsoft Technology Licensing, LLC | Video processing for motor task analysis |
| EP3786971A1 (en) * | 2019-09-02 | 2021-03-03 | Always Exploring AB | Advancement manager in a handheld user device |
| US20210225195A1 (en) * | 2020-01-21 | 2021-07-22 | Roy Shteren | System and method for improving exercise performance using a mobile device |
Non-Patent Citations (2)
| Title |
|---|
| LI, Tianpeng [et al.]: Automatic timed up-and-go sub-task segmentation for Parkinson’s disease patients using video-based activity classification. In: IEEE transactions on neural systems and rehabilitation engineering, Vol. 26, 2018, No. 11, S. 2189-2199. – ISSN 1534-4320 * |
| YAMAMOTO, Masataka [et al.]: Accuracy of temporo-spatial and lower limb joint kinematics parameters using OpenPose for various gait patterns with orthosis. In: IEEE transactions on neural systems and rehabilitation engineering, Vol. 29, 2021, S. 2666-2675. – ISSN 1534-4320 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025088128A1 (en) | 2025-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE202018006818U1 (en) | System for optimized joint monitoring in physiotherapy | |
| EP0959956B1 (en) | Patient monitoring system | |
| EP2934397B1 (en) | Guiding/supporting structure for coupling to a living being, and method for determining suitable contact surfaces on the living being | |
| EP3566651B1 (en) | Method and device for determining result values based on a skeletal medical image capture | |
| DE102013223572A1 (en) | A method of determining the dimension of a prosthetic socket for a limb stump and method of making a limb stump prosthesis | |
| EP4522024A1 (en) | Device and method for standardising the axial orientation and position of kinematics data with regard to a body joint of a patient | |
| DE102023129563A1 (en) | Method, device and computer program for evaluating a movement sequence | |
| EP1618511A2 (en) | Method for simulating musculoskeletal strains on a patient | |
| EP2164393A2 (en) | Method for detecting information relevant for the characterization of joint movements | |
| DE102020100366A1 (en) | Procedure for 3D motion analysis and instant feedback for training exercises | |
| DE102020005730A1 (en) | Sensor-assisted walking aid adjustment system | |
| DE10253075B4 (en) | Device for the diagnosis and / or treatment of dysfunctions of the cervical spine | |
| EP2366330B1 (en) | Method and assembly of sensorimotor inlays with stimulation elements | |
| EP3307159B1 (en) | Method and device for determining a desired movement of a limb | |
| DE102019129376B4 (en) | Device and method for controlling devices that generate external loads on the human and animal body | |
| EP4017344B1 (en) | Apparatus for influencing body tissue, method for measuring and evaluating a body tissue condition | |
| EP4384103A1 (en) | System and method for preoperatively planning a knee endoprosthesis | |
| DE102019122374B4 (en) | Method for producing a prosthesis socket | |
| DE10331110A1 (en) | Simulation method for musculo-skeletal loading of patient for use in surgical intervention and/or rehabilitation using individual musculo-skeletal parameters for determination of musculo-skeletal strains | |
| DE102023128957B4 (en) | QUANTIFICATION OF MOVEMENT OR LOAD ASYMMETRIES | |
| EP3914156A1 (en) | Method for determining a model of an extremity, computer-readable storage medium and system | |
| DE102021115467A1 (en) | Method, device and computer program for creating production data for an orthopedic product | |
| DE102019131703B4 (en) | DEVICE FOR PERFORMING AN INDIVIDUAL MOVEMENT ANALYSIS AND THERAPY OF A PATIENT | |
| EP3912555A1 (en) | Method for determining the parameters of a knee joint, method for manufacturing a knee joint endoprosthesis or a knee joint orthesis, method for individual adaptation and device therefor | |
| WO2021048318A1 (en) | Method for calculating a stimulus for the change of shape of a medical aid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed |