DE102022003534A1

DE102022003534A1 - Temperature-based animal rescue system implemented in a vehicle and method thereof

Info

Publication number: DE102022003534A1
Application number: DE102022003534.0A
Authority: DE
Inventors: Sourav Lakhotia; Saurav Gupta
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-10-01
Filing date: 2022-09-27
Publication date: 2023-04-06

Abstract

Die vorliegende Offenbarung offenbart ein temperaturbasiertes Tierrettungssystem, das in ein Fahrzeug implementiert ist, und ein Verfahren davon. Es umfasst ein CNN-Haustierdetektor-Backbone 302, der einen Haustierdetektor 304 und einen Personendetektor 306 beinhaltet, wobei der Haustierdetektor 304, ob ein Haustier sitzt, und der Personendetektor 306 klassifiziert, ob eine Person auf einem der Sitze des Fahrzeugs sitzt. Ein Alarm des Systems für unbeaufsichtigte Fahrzeuge wird in dem Fall, in dem ein Haustier erkannt wird und keine Person auf einem Sitz in dem Fahrzeug erkannt wird, ausgelöst. Sobald der Warnton eines Systems für ein unbeaufsichtigtes Fahrzeug ausgelöst wird, werden Informationen von dem Temperatursensor von der Steuereinheit 106 gesammelt, um die Temperatur innerhalb des Autos und außerhalb des Autos zu bestimmen. Ferner werden Temperatursteuerungsgrenzen/Temperaturschwellen eingestellt, und ein Zeitmesser ist dazu konfiguriert, die verstrichene Zeit aufzuzeichnen, wenn ein Haustier erkannt wird und keine Person in dem Fahrzeugen erkannt wird.The present disclosure discloses a temperature-based animal rescue system implemented in a vehicle and a method thereof. It includes a CNN pet detector backbone 302 that includes a pet detector 304 and a person detector 306, where the pet detector 304 classifies whether a pet is seated and the person detector 306 classifies whether a person is seated in one of the vehicle's seats. An unattended vehicle system alarm is triggered in the event that a pet is detected and no person is detected in a seat in the vehicle. Once an unattended vehicle system alert is triggered, information from the temperature sensor is collected by the control unit 106 to determine the temperature inside the car and outside the car. Further, temperature control limits/thresholds are set and a timer is configured to record elapsed time when a pet is detected and no person is detected in the vehicles.

Description

Die vorliegende Offenbarung bezieht sich auf die temperaturbasierte Erkennung von Entitäten. Insbesondere stellt die vorliegende Offenbarung ein temperaturbasiertes Tierrettungssystem bereit, das in einem Fahrzeug implementiert ist, und ein Verfahren davon.The present disclosure relates to temperature-based entity recognition. In particular, the present disclosure provides a temperature-based animal rescue system implemented in a vehicle and a method thereof.

Oftmals lassen Haustierbesitzer ihr Haustier im Auto zurück, während sie für Arbeiten, für Unterhaltungszwecke, zum Einkaufen, zum Essen ausgehen oder ins Kino gehen. Da die Temperatur, während die Zeit vergeht, im Auto anfängt, anzusteigen, und sie eine Grenze überschreiten kann, die eine beliebige Person oder ein beliebiges Haustier ertragen kann. Viele Haustiere sterben jedes Jahr aufgrund dieses Problems, wenn Besitzer ihre Haustiere in einem unbeaufsichtigten Fahrzeug in einem Parkhaus oder auf einem öffentlichen Parkplatz zurücklassen.Oftentimes, pet owners leave their pet in the car while they go to work, entertainment, shopping, dining, or to the movies. As the temperature inside the car starts to rise as time goes by and it can exceed a limit that any person or pet can endure. Many pets die every year due to this problem when owners leave their pets in an unattended vehicle in a parking garage or public lot.

Das Patentdokument US6922622B2 offenbart ein Sicherheitssystem für heiße Fahrzeuge und Verfahren zum Verhindern des Einschlusses von Insassen und des Erstickens durch Hitze. Es offenbart Sicherheitssysteme für Fahrzeuge, vor allem für Personenkraftwagen, die automatisierte Systeme und Verfahren umfassen, um zu verhindern, dass Kinder, behinderte, alte oder gebrechliche Personen oder Haustiere in geschlossenen Fahrzeugen, die in der Sonne stehen gelassen werden, eingeschlossen werden, sodass sie nicht an der Hitze ersticken. Die Erfindung ist durch das Verwenden eines oder mehrerer Systeme für die Erfassung des Belegungszustands und der Temperatur im Insassen- oder Laderaum des Fahrzeugs und für die Bereitstellung eines oder mehrerer Ausgänge, die selektiv eingesetzt werden können, um eine Innen- und Außenwarnung für einen eingeschlossenen Insassen in einem gefährlich heißen Auto zu warnen, um eine Rettung zu ermöglichen, und/oder um elektromechanische Systeme des Fahrzeugs zu aktivieren, um die Hitze zu lindern, wie das Herunterkurbeln von Fenstern, das Entriegeln von Sicherheitsgurten, das Entriegeln von Türen, das Starten des Autos und/oder von Gebläsen oder Klimaanlagen und dergleichen. The patent document US6922622B2 discloses a hot vehicle safety system and method for preventing occupant entrapment and heat suffocation. It discloses security systems for vehicles, particularly passenger cars, which include automated systems and methods to prevent children, disabled, elderly or infirm persons or pets from being trapped in closed vehicles left in the sun so that they don't choke on the heat. The invention is accomplished by using one or more systems for sensing occupancy status and temperature in the vehicle's passenger or cargo compartment and for providing one or more outputs that can be selectively employed to provide an interior and exterior warning of a trapped occupant in a dangerously hot car to enable rescue and/or to activate the vehicle's electromechanical systems to alleviate the heat, such as rolling down windows, unlatching seat belts, unlocking doors, starting engine cars and/or fans or air conditioners and the like.

Die Außenwarnungen können jede geeignete Warnung sein, wie das Ertönen der Hupe oder der Alarmsirene des Autos, das Blinken von Scheinwerfern, Rücklichtern oder Sonderleuchten, das Absetzen eines Notrufs über ein fahrzeugeigenes Mobiltelefon, CB-Funk, GPS-System oder dergleichen.The exterior warnings can be any suitable warning, such as sounding the car's horn or alarm siren, blinking headlights, taillights or special lights, making an emergency call via an in-vehicle cell phone, CB radio, GPS system or the like.

Das Patentdokument US6138068A offenbart ein Fahrzeug für das automatische Anpassen der Fenster- und Schiebedachpositionen, nachdem es von seinem Bediener unbeaufsichtigt gelassen wurde. Das Verfahren zum intelligenten Steuern der Temperatur eines Fahrzeugs, nachdem das Fahrzeug geparkt und unbeaufsichtigt gelassen wurde, beinhaltet die Schritte: Koppeln eines Fahrzeugmikrocontrollers, der Zugang zu einem vordefinierten Temperaturbereich hat, der einen hohen Wert und einen niedrigen Wert beinhaltet, mit einem Aktivierungs- und Deaktivierungsauswerter, einer Temperaturerfassungsschaltung und einem elektrischen Fensterhebersystem; Erkennen zunächst durch den Aktivierungs- und Deaktivierungsauswerter, dass das Fahrzeug geparkt und von einem Fahrzeugbediener unbeaufsichtigt gelassen wurde, wobei der erste Erkennungsschritt ferner das Informieren des Fahrzeug-Mikrocontrollers zum Aktivieren des temperaturabhängigen Systems beinhaltet; der zweite Erkennungsschritt durch den Aktivierungs- und Deaktivierungsauswerter, dass der Fahrzeugführer zurückkehrt, um das Fahrzeug wegzufahren, wobei der zweite Erkennungsschritt ferner das Informieren des Fahrzeugmikrocontrollers beinhaltet, das temperaturabhängige System zu deaktivieren; Bereitstellen eines Temperaturmesswerts des Fahrzeuginneren durch eine Temperaturerfassungsschaltung als Reaktion auf einen Zugriff durch den Fahrzeugmikrocontroller; und Anweisen durch den Fahrzeugmikrocontroller, um zu bewirken, dass das elektrische Fensterhebersystem seine Fensterscheiben in GESCHLOSSENE Positionen bewegt, wenn der Temperaturmesswert unter den niedrigen Wert des Temperaturbereichs fällt, wobei der Anweisungsschritt ferner Beinhaltet: Bewirken, dass das elektrische Fensterhebersystem seine Fensterscheiben in vordefinierte GEÖFFNETE Positionen bewegt, wenn der Temperaturmesswert den hohen Wert des Temperaturbereichs überschreitet.The patent document US6138068A discloses a vehicle for automatically adjusting window and sunroof positions after being left unattended by its operator. The method for intelligently controlling the temperature of a vehicle after the vehicle has been parked and left unattended involves the steps of: coupling a vehicle microcontroller, which has access to a predefined temperature range that includes a high value and a low value, with an enable and deactivation evaluators, a temperature sensing circuit and a power window system; first detecting, by the activation and deactivation evaluator, that the vehicle has been parked and left unattended by a vehicle operator, the first detecting step further including informing the vehicle microcontroller to activate the temperature dependent system; the second step of detecting, by the activation and deactivation evaluator, that the vehicle operator is returning to drive the vehicle away, the second step of detecting further including informing the vehicle microcontroller to deactivate the temperature dependent system; providing a temperature reading of the vehicle interior by a temperature sensing circuit in response to an access by the vehicle microcontroller; and instructing by the vehicle microcontroller to cause the power window system to move its windows to CLOSED positions when the temperature reading falls below the low value of the temperature range, the instructing step further including: causing the power window system to move its windows to predefined OPEN positions moves when the temperature reading exceeds the high value of the temperature range.

Das Patentdokument US6028509A offenbart ein sprachaktiviertes Alarmsystem für das innere Fahrzeug, umfassend: Temperatursensormittel zum Messen der Temperatur des Inneren des Fahrzeugs und zum Produzieren eines Signals, das für einen vorgewählten Pegel der gemessenen Temperatur darstellend ist; einen Tondetektor, wobei der Tondetektor ein Signal produziert, das für einen vorgewählten Pegel der Tonintensität und bei einem vorgewählten Pegel der Tonhöhe darstellend ist, der dem von einem Lebewesen in dem Inneren des Fahrzeug produzierten Ton entspricht; UND-Gatemittel zum Empfangen der Signale von den Temperatursensormitteln und dem Tondetektor, wobei die UND-Gatemittel ein Ausgangssignal bei Empfang der Temperatursensormittel- und Tondetektorsignale erzeugen; und Alarmmittel zum Erzeugen eines Warntons, wobei die Alarmmittel durch das Ausgangssignal der UND-Gatemittel ausgelöst werden.The patent document US6028509A discloses a voice activated alarm system for the interior vehicle, comprising: temperature sensor means for measuring the temperature of the interior of the vehicle and for producing a signal representative of a preselected level of the measured temperature; a sound detector, the sound detector producing a signal representative of a preselected level of sound intensity and at a preselected level of pitch corresponding to the sound produced by a living being in the interior of the vehicle; AND gate means for receiving the signals from the temperature sensor means and the tone detector, the AND gate means producing an output signal upon receipt of the temperature sensor means and tone detector signals; and alarm means for generating an alarm sound, the alarm means being triggered by the output of the AND gate means.

Die vorgenannten Offenbarungen zielen jedoch nicht darauf ab, die Besitzer von Haustieren zu alarmieren und so die Haustiere zu retten. Insbesondere lehrt keine von ihnen, die Anwesenheit eines unbeaufsichtigten Haustieres in einem Fahrzeug zu erkennen. Es besteht daher ein Bedarf eine effiziente und kostengünstige Lösung bereitzustellen, die die vorstehend genannten Einschränkungen beseitigt und eine genaue und effiziente Lösung für die Rettung von Haustieren ermöglicht.However, the aforesaid revelations are not aimed at alarming the pet owners to save the pets. In particular, none of them teach detecting the presence of an unattended pet in a vehicle. There is therefore a need to provide an efficient and cost effective solution that overcomes the above limitations and provides an accurate and efficient solution to pet rescue.

Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, ein genaues und kosteneffektives System und Verfahren bereitzustellen, das die vorstehend erwähnten Einschränkungen beseitigt und dadurch hilft, das Leben von Haustieren zu schützen.A general object of the present disclosure is to provide an accurate and cost-effective system and method that overcomes the aforementioned limitations and thereby helps protect pet life.

Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren mit CNN-basiertem Framework für die Erkennung von Haustieren und Personen in einem Fahrzeug bereitzustellen.Another object of the present disclosure is to provide a system and method with CNN-based framework for detecting pets and people in a vehicle.

Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, das die Zeitspanne, in der ein unbeaufsichtigtes Haustier einer Temperatur ausgesetzt ist, berücksichtigt, bevor es vorbeugende Maßnahmen ergreift.Another object of the present disclosure is to provide a system and method that considers the length of time an unattended pet is exposed to temperature before taking preventive action.

Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und ein Verfahren bereitzustellen, das selbst bei variierenden Lichtverhältnissen und unbekannten Ereignissen eine genaue Vorhersage ermöglicht.Another object of the present disclosure is to provide a system and method that enables accurate prediction even under varying lighting conditions and unknown events.

Aspekte der vorliegenden Offenbarung beziehen sich auf die temperaturbasierte Erkennung von Entitäten. Insbesondere stellt die vorliegende Offenbarung ein temperaturbasiertes Tierrettungssystem bereit, das in einem Fahrzeug implementiert ist, und ein Verfahren davon.Aspects of the present disclosure relate to temperature-based entity detection. In particular, the present disclosure provides a temperature-based animal rescue system implemented in a vehicle and a method thereof.

Ein Aspekt der vorliegenden Offenbarung betrifft ein temperaturbasiertes Rettungssystem, das in einem Fahrzeug implementiert ist, wobei das System beinhaltet: eine Erkennungseinheit, die dazu konfiguriert ist, eine oder mehrere in dem Fahrzeug vorhandene Entitäten zu erkennen und dementsprechend einen Satz von Erkennungsdatenpaketen zu erzeugen; und eine Steuereinheit, die ein Lernmodul umfasst, wobei die Steuereinheit mit der Erkennungseinheit gekoppelt ist und die Steuereinheit einen oder mehrere Prozessoren umfasst. Der eine oder die mehreren Prozessoren sind betriebsfähig mit einem Speicher gekoppelt, wobei der Speicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, zum: Extrahieren eines Satzes von zeitlichen Attributen aus dem Satz von Erkennungsdatenpaketen, die von der Erkennungseinheit empfangen wurden; Abbilden des extrahierten Satzes von zeitlichen Attributen unter Verwendung des Lernmoduls und entsprechendes Identifizieren, ob die eine oder die mehreren erkannten Entitäten eine beliebige oder eine Kombination aus einer menschlichen Entität und einer nicht-menschlichen Entität sind; Bestimmen der Temperatur im Inneren des Fahrzeugs nach vordefinierten Zeitintervallen für den Fall, dass die erkannte Entität als eine nicht-menschliche Entität identifiziert wird, die nicht von einer menschlichen Entität beaufsichtigt wird; und Erzeugen eines Satzes von Sicherheitswarntonsignalen, wenn die verstrichene Zeit bei der bestimmten Temperatur ein entsprechendes vordefiniertes Zeitintervall überschreitet.One aspect of the present disclosure relates to a temperature-based rescue system implemented in a vehicle, the system including: a detection unit configured to detect one or more entities present in the vehicle and generate a set of detection data packets accordingly; and a control unit comprising a learning module, wherein the control unit is coupled to the recognition unit and the control unit comprises one or more processors. The one or more processors are operably coupled to a memory, the memory storing instructions executable by the one or more processors to: extract a set of temporal attributes from the set of detection data packets received from the detection unit became; mapping the extracted set of temporal attributes using the learning module and identifying accordingly whether the one or more recognized entities are any one or a combination of a human entity and a non-human entity; determining the temperature inside the vehicle after predefined time intervals in the event that the detected entity is identified as a non-human entity that is not overseen by a human entity; and generating a set of safety alert audio signals when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

In einem Aspekt gleicht das System die bestimmten Temperatur und das Echtzeit-Zeitintervall mit einem Datensatz ab, der Sätze von vorgespeicherten Temperatur- und Zeitintervallen umfasst; und wenn die bestimmte Temperatur und das Echtzeit-Zeitintervall wenigstens einen der Sätze von vorgespeicherten Temperatur- und Zeitintervallen überschreiten, erzeugt das System den Satz von Sicherheitswarntonsignalen.In one aspect, the system compares the determined temperature and real-time time interval to a data set that includes sets of pre-stored temperature and time intervals; and if the determined temperature and the real-time time interval exceed at least one of the sets of pre-stored temperature and time intervals, the system generates the set of safety alert audio signals.

Ein weiterer Aspekt ist, dass das Lernmodul eine Architektur eines faltenden neuronalen Netzwerks (Convolutional Neural Network, CNN) umfasst.Another aspect is that the learning module includes a convolutional neural network (CNN) architecture.

In einem Aspekt umfasst die CNN-Architektur wenigstens zwei Verzweigungen, einschließlich einer Verzweigung für die Identifizierung menschlicher Entitäten und einer Verzweigung für die Identifizierung nicht-menschlicher Entitäten.In one aspect, the CNN architecture includes at least two branches, including a human entity identification branch and a non-human entity identification branch.

In einem Aspekt klassifiziert die Verzweigung für die Identifizierung nicht-menschlicher Entitäten den extrahierten Satz zeitlicher Attribute und identifiziert dementsprechend die Anwesenheit der nicht-menschlichen Entität auf wenigstens einem Sitz des Fahrzeugs.In one aspect, the non-human entity identification branch classifies the extracted set of temporal attributes and accordingly identifies the presence of the non-human entity in at least one seat of the vehicle.

In einem Aspekt klassifiziert die Verzweigung für die Identifizierung menschlicher Entitäten den extrahierten Satz zeitlicher Attribute und identifiziert dementsprechend die Anwesenheit der menschlichen Entität auf wenigstens einem Sitz des Fahrzeugs.In one aspect, the human entity identification branch classifies the extracted set of temporal attributes and accordingly identifies the presence of the human entity in at least one seat of the vehicle.

In einem anderen Aspekt umfasst das System einen Temperatursensor, wobei der Temperatursensor die Echtzeit-Temperatur in dem Fahrzeug in dem Fall erfasst, in dem die erkannte Entität eine unbeaufsichtigte nicht-menschliche Entität ist, und wobei, in dem Fall, in dem das System identifiziert, dass die erkannte Entität eine menschliche Entität oder eine beaufsichtigte nicht-menschliche Entität ist, die Steuereinheit einen Satz von Rücksetzsignalen erzeugt, um einen mit dem System konfigurierten Zeitmesser zurückzusetzen.In another aspect, the system includes a temperature sensor, the temperature sensor sensing real-time temperature in the vehicle in the event the detected entity is an unattended non-human entity and in the event the system identifies that the detected entity is a human entity or a supervised non-human entity, the control unit generates a set of reset signals to reset a timer configured with the system.

Ein weiterer Aspekt der vorliegenden Offenbarung bezieht sich auf ein temperaturbasiertes Rettungsverfahren, umfassend: Erkennen durch eine Erkennungseinheit einer oder mehrerer Entitäten, die in dem Fahrzeug anwesend sind, und entsprechendes Erzeugen eines Satzes von Erkennungsdatenpaketen; Extrahieren in einer Steuereinheit eines Satzes von zeitlichen Attributen aus dem Satz von Erkennungsdatenpaketen, die von der Erkennungseinheit empfangen wurden; Abbilden in der Steuereinheit des extrahierten Satzes zeitlicher Attribute unter Verwendung eines Lernmoduls und entsprechendes Identifizieren, ob es sich bei der einen oder mehreren erkannten Entitäten um eine beliebige oder eine Kombination aus einer menschlichen Entität und einer nicht-menschlichen Entität handelt; Bestimmen in der Steuereinheit der Temperatur in dem Fahrzeug nach vordefinierten Zeitintervallen, in dem Fall, in dem die erkannte Entität als nicht-menschliche Entität identifiziert wird, die nicht von einer menschlichen Entität beaufsichtigt wird; und Erzeugen in der Steuereinheit eines Satzes von Sicherheitswarntonsignalen, wenn die bei der bestimmten Temperatur verstrichene Zeit ein entsprechendes vordefiniertes Zeitintervall überschreitet.Another aspect of the present disclosure relates to a temperature-based rescue method, comprising: detecting, by a detection unit, one or more entities present in the vehicle and generating a set of detection data packets accordingly; extracting in a control unit a set of temporal attributes from the set of detection data packets received from the detection unit; mapping in the control unit the extracted set of temporal attributes using a learning module and identifying accordingly whether the one or more recognized entities is any one or a combination of a human entity and a non-human entity; determining in the control unit the temperature in the vehicle after predefined time intervals, in the case where the detected entity is identified as a non-human entity that is not supervised by a human entity; and generating in the control unit a set of safety warning audio signals when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

In einem Aspekt umfasst das Verfahren das Abgleichen der bestimmten Temperatur und des Echtzeit-Zeitintervalls mit einem Datensatz, der Sätze von vorgespeicherten Temperatur- und Zeitintervallen umfasst; und wenn die bestimmte Temperatur und das Echtzeit-Zeitintervall wenigstens einen der Sätze von vorgespeicherten Temperatur- und Zeitintervallen überschreiten, das Erzeugen des Satzes von Sicherheitswarntonsignalen.In one aspect, the method includes comparing the determined temperature and real-time time interval to a data set that includes sets of pre-stored temperature and time intervals; and if the determined temperature and the real-time time interval exceed at least one of the sets of pre-stored temperature and time intervals, generating the set of safety alert audio signals.

In einem anderen Aspekt umfasst das Verfahren das Erfassen der Echtzeit-Temperatur in dem Fahrzeug durch einen Temperatursensor in dem Fall, in dem es sich bei der erkannten Entität um eine unbeaufsichtigte nicht-menschliche Entität handelt, und das Erzeugen in der Steuereinheit eines Satzes von Rücksetzsignalen, um einen Zeitmesser zurückzusetzen, wenn die erkannte Entität als eine menschliche Entität oder als eine beaufsichtigte nicht-menschliche Entität identifiziert wird.In another aspect, the method includes detecting the real-time temperature in the vehicle by a temperature sensor in the case where the detected entity is an unattended non-human entity and generating in the control unit a set of reset signals to reset a timer if the detected entity is identified as a human entity or as a supervised non-human entity.

Verschiedene Aufgaben, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden ausführlichen Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Ziffern gleiche Komponenten darstellen, deutlicher.Various objects, features, aspects and advantages of the subject invention will become more apparent from the following detailed description of preferred embodiments taken in conjunction with the accompanying drawings in which like numerals represent like components.

Die beigefügten Zeichnungen sind beinhaltet, um ein weiteres Verständnis der vorliegenden Offenbarung bereitzustellen, und sind in diese Patentschrift einbezogen und bilden einen Teil dieser. Die Zeichnungen veranschaulichen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung für die Erläuterung der Grundsätze der vorliegenden Offenbarung.

1 veranschaulicht eine beispielhafte Architektur des vorgeschlagenen temperaturbasierten Tierrettungssystems, um seine allgemeine Funktionsweise in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu veranschaulichen.
2 veranschaulicht beispielhafte Funktionseinheiten einer Steuereinheit des vorgeschlagenen Systems in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
3 veranschaulicht ein Blockdiagramm, das verschiedene Komponenten des vorgeschlagenen Systems in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung darstellt.
4 veranschaulicht eine Gesamtansicht des Blockdiagramms, das in 3 veranschaulicht wird, in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
5 veranschaulicht das Überwachen der Körpertemperatur eines Haustieres unter Verwendung des vorgeschlagenen Systems in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung.
6 veranschaulicht ein Logikdiagramm des vorgeschlagenen temperaturbasierten Tierrettungssystems, um seine allgemeine Funktionsweise in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu veranschaulichen.
7 veranschaulicht ein Flussdiagramm des vorgeschlagenen temperaturbasierten Tierrettungsverfahrens in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu veranschaulichen.
8 veranschaulicht ein beispielhaftes Computersystem, in dem oder mit dem Ausführungsformen der vorliegenden Erfindung in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung genutzt werden können.

The accompanying drawings are included to provide a further understanding of the present disclosure and are incorporated in and constitute a part of this specification. The drawings illustrate exemplary embodiments of the present disclosure and together with the description serve to explain the principles of the present disclosure.

1 FIG. 12 illustrates an example architecture of the proposed temperature-based animal rescue system to illustrate its general operation in accordance with an embodiment of the present disclosure.
2 12 illustrates exemplary functional units of a control unit of the proposed system in accordance with an exemplary embodiment of the present disclosure.
3 12 illustrates a block diagram depicting various components of the proposed system in accordance with an exemplary embodiment of the present disclosure.
4 illustrates an overall view of the block diagram shown in 3 is illustrated, in accordance with an exemplary embodiment of the present disclosure.
5 illustrates monitoring the body temperature of a pet using the proposed system in accordance with an exemplary embodiment of the present disclosure.
6 FIG. 12 illustrates a logic diagram of the proposed temperature-based animal rescue system to illustrate its general operation in accordance with an embodiment of the present disclosure.
7 FIG. 12 illustrates a flow chart of the proposed temperature-based animal rescue method in accordance with an embodiment of the present disclosure.
8th FIG. 11 illustrates an exemplary computer system in or with which embodiments of the present invention may be practiced in accordance with embodiments of the present disclosure.

Es folgt eine ausführliche Beschreibung der in den beigefügten Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, um die Offenbarung klar zu vermitteln. Es ist jedoch nicht beabsichtigt, durch die Menge der angebotenen Details die vorhersehbaren Variationen von Ausführungsformen einzuschränken; im Gegenteil, die Absicht ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarungen fallen, wie durch die beigefügten Ansprüche definiert.A detailed description of the embodiments of the disclosure illustrated in the accompanying drawings follows. The embodiments are detailed in order to clearly convey the disclosure. However, the amount of detail provided is not intended to limit the foreseeable variations of embodiments; on the contrary, the intent is to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the present disclosures as defined by the appended claims.

Die hierin erläuterten Ausführungsformen beziehen sich auf die temperaturbasierte Erkennung von Entitäten. Insbesondere stellt die vorliegende Offenbarung ein temperaturbasiertes Tierrettungssystem bereit, das in einem Fahrzeug implementiert ist, und ein Verfahren davon.The embodiments discussed herein relate to temperature-based entity detection. In particular, the present disclosure provides a temperature-based animal rescue system implemented in a vehicle and a method thereof.

Unter Bezugnahme auf 1 kann das vorgeschlagene temperaturbasierte Tierrettungssystem 100 (im Folgenden auch als temperaturbasiertes Tierrettungssystem 100 oder System 100 bezeichnet) in einem Fahrzeug implementiert werden, um die Erkennung eines Tieres/Haustieres zu erleichtern und den Besitzer des Fahrzeugs zu alarmieren, wobei dadurch die Rettung des Tieres/Haustieres unterstützt wird. In einer Ausführungsform kann das System 100 eine Erkennungseinheit 102 beinhalten, die dazu konfiguriert werden kann, eine oder mehrere in dem Fahrzeug anwesende Entitäten (im Folgenden kollektiv als Entitäten bezeichnet und einzeln als Entität bezeichnet) erkennt. Ferner kann die Erkennungseinheit 102 einen Satz von Erkennungsdatenpaketen auf Grundlage der Erkennung von Entitäten erzeugen. In einer beispielhaften Ausführungsform kann die Erkennungseinheit 102 unter Verwendung einer Kamera, Infrarot (IR-) Sensoren, einem Temperatursensor und dergleichen implementiert werden.With reference to 1 For example, the proposed temperature-based animal rescue system 100 (hereinafter also referred to as temperature-based animal rescue system 100 or system 100) can be implemented in a vehicle to facilitate the detection of an animal/pet and alert the owner of the vehicle, thereby facilitating the rescue of the animal/pet is supported. In one embodiment, the system 100 may include a detection unit 102 that may be configured to detect one or more entities (hereinafter collectively referred to as entities and individually referred to as an entity) present in the vehicle. Furthermore, the recognition unit 102 can generate a set of recognition data packets based on the recognition of entities. In an exemplary embodiment, the detection unit 102 may be implemented using a camera, infrared (IR) sensors, a temperature sensor, and the like.

In einer Ausführungsform kann das System 100 eine Steuereinheit 106 beinhalten, die betriebsfähig mit der Erkennungseinheit 102 gekoppelt ist, und die Steuereinheit 106 kann ebenso mit einem Lernmodul 110 gekoppelt sein, wobei die Lernmodul 110 eine Architektur für ein faltendes neuronales Netzwerk (CNN, Convolutional Neural Network) beinhalten kann.In one embodiment, system 100 may include a control unit 106 operably coupled to recognition unit 102, and control unit 106 may also be coupled to a learning module 110, where learning module 110 implements a convolutional neural network (CNN) architecture Network) may include.

In einer Ausführungsform kann die Steuereinheit 106 dazu konfiguriert werden, einen Satz von zeitlichen Attributen aus dem Satz von Erkennungsdatenpaketen zu extrahieren, die von der Erkennungseinheit 102 empfangen wurden, wobei der Satz von zeitlichen Attributen Gesichtsattribute, Körperbau, Größe und Temperatursignatur beinhalten können, ohne jedoch darauf beschränkt zu sein. In einer anderen Ausführungsform kann die Steuereinheit 106 unter Verwendung des Lernmoduls 110 den extrahierten Satz zeitlicher Attribute abgleichen, und ferner kann die Steuereinheit 106 auf Grundlage des durchgeführten Abgleichs identifizieren, ob die eine oder die mehreren erkannten Entitäten eine beliebige oder eine Kombination aus einer menschlichen Entität und einer nicht-menschlichen Entität sind.In one embodiment, control unit 106 may be configured to extract a set of temporal attributes from the set of detection data packets received from detection unit 102, where the set of temporal attributes may include, but are not limited to, facial attributes, body type, height, and temperature signature to be limited to that. In another embodiment, using the learning module 110, the controller 106 may match the extracted set of temporal attributes, and further, based on the matching performed, the controller 106 may identify whether the one or more recognized entities are any one or a combination of a human entity and a non-human entity.

In einer anderen Ausführungsform kann die Steuereinheit 106 die Temperatur in dem Fahrzeug nach vordefinierten Zeitintervallen bestimmen, in dem Fall, in dem die erkannte Entität als eine nicht-menschliche Entität, wie ein Tier/Haustier, identifiziert wird, das nicht von einer menschlichen Entität beaufsichtigt wird. In einer beispielhaften Ausführungsform kann das System 100 einen Temperatursensor beinhalten, der dazu konfiguriert werden kann, die Temperatur in dem Fahrzeug in Echtzeit zu erfassen, in dem Fall, in dem es sich bei der erkannten Entität um eine unbeaufsichtigte nicht-menschliche Entität handelt. Ferner kann die Steuereinheit 106 einen Satz von Sicherheitswarntonsignalen erzeugen, wenn die bei der bestimmten Temperatur verstrichene Zeit ein entsprechendes vordefiniertes Zeitintervall überschreitet.In another embodiment, the controller 106 may determine the temperature in the vehicle after predefined time intervals, in the case where the detected entity is identified as a non-human entity, such as an animal/pet, not supervised by a human entity becomes. In an example embodiment, the system 100 may include a temperature sensor that may be configured to sense the temperature in the vehicle in real time in the event the detected entity is an unattended non-human entity. Further, the controller 106 may generate a set of safety alert tones when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

In einer Ausführungsform kann das System 100 dazu konfiguriert werden, die bestimmte Temperatur und das Echtzeit-Zeitintervall mit einem Datensatz abzugleichen, der Sätze von vorab gespeicherten Temperatur- und Zeitintervallen beinhalten kann. Wenn die bestimmte Temperatur und das Echtzeit-Zeitintervall wenigstens einen der Sätze von vorgespeicherten Temperatur- und Zeitintervallen überschreiten, kann das System 100 den Satz von Sicherheitswarntonsignalen erzeugen.In one embodiment, system 100 may be configured to match the determined temperature and real-time time interval to a data set, which may include sets of pre-stored temperature and time intervals. When the specific temperature and real-time time interval exceed at least one of the sets of pre-stored temperature and time intervals, the system 100 may generate the set of safety alert tones.

Gemäß einer Ausführungsform kann das System 100 die Steuereinheit 106 beinhalten, die über ein Netzwerk 104 mit der Erkennungseinheit 102 und dem Lernmodul 110 kommunizieren kann. Ferner kann das Netzwerk 104 ein drahtloses Netzwerk, ein kabelgebundenes Netzwerk oder eine Kombination davon sein, das/die als eine der verschiedenen Arten von Netzwerken implementiert werden kann, wie Intranet, lokales Netzwerk (LAN), Weitverbundnetz (WAN), Internet und dergleichen. Ferner kann das Netzwerk 104 entweder ein dediziertes Netzwerk oder ein gemeinsam genutztes Netzwerk sein. Das gemeinsame Netzwerk kann eine Zuordnung verschiedener Arten von Netzwerken darstellen, die eine Vielzahl von Protokollen verwenden können, beispielsweise Hypertext-Übertragungsprotokoll (HTTP), Übertragungssteuerungsprotokoll/Internetprotokoll (TCP/IP), drahtloses Anwendungsprotokoll (WAP) und dergleichen.According to one embodiment, the system 100 may include the control unit 106 that may communicate with the recognition unit 102 and the learning module 110 over a network 104 . Furthermore, the network 104 may be a wireless network, a wired network, or a combination thereof, which may be implemented as any of various types of networks, such as an intranet, local area network (LAN), wide area network (WAN), Internet, and the like. Furthermore, the network 104 can be either a dedicated network or a shared network. The common network may represent an association of different types of networks that may use a variety of protocols, such as Hypertext Transfer Protocol (HTTP), Transmission Control Protocol/Internet Protocol (TCP/IP), Wireless Application Protocol (WAP), and the like.

In einer Ausführungsform kann das System 100 unter Verwendung beliebiger oder einer Kombination von Hardwarekomponenten und Softwarekomponenten implementiert werden, wie einer Cloud, eines Servers 108, eines Rechensystems, einer Rechenvorrichtung, einer Netzwerkvorrichtung und dergleichen. Ferner kann das System 100 mit der Erkennungseinheit 102 über eine Website oder eine Anwendung interagieren, die sich in dem vorgeschlagenen System 100 befinden kann. In einer Implementierung kann über eine Website oder eine Anwendung auf das System 100 zugegriffen werden, die mit einem beliebigen Betriebssystem konfiguriert werden kann, einschließlich, jedoch ohne darauf beschränkt zu sein, Android™, iOS™ und dergleichen.In one embodiment, the system 100 may be implemented using any one or a combination of hardware components and software components, such as a cloud, a server 108, a computing system, a computing device, a network device, and the like. Furthermore, the system 100 can interact with the recognition unit 102 via a website or an application, which can reside in the proposed system 100 . In one implementation, the system 100 can be accessed through a website or application that can be configured with any operating system, including but not limited to Android™, iOS™, and the like.

Unter Bezugnahme auf 2 können beispielhafte Funktionseinheiten der Steuereinheit 106 einen oder mehrere Prozessoren 202 beinhalten. Der eine oder die mehreren Prozessoren 202 kann/können als ein oder mehrere Mikroprozessoren, Mikrocomputer, Mikrocontroller, digitale Signalprozessoren, zentrale Verarbeitungseinheiten, Logikschaltungen und/oder beliebige Vorrichtungen, die Daten auf Grundlage von Betriebsanweisungen verarbeiten, implementiert werden. Neben anderen Fähigkeiten sind der eine oder die mehreren Prozessoren 202 dazu konfiguriert, computerlesbare Anweisungen abzurufen und auszuführen, die in einem Speicher 204 der Steuereinheit 106 gespeichert sind. Der Speicher 204 kann eine oder mehrere computerlesbare Anweisungen oder Routinen speichern, die abgerufen und ausgeführt werden können, um die Dateneinheiten über einen Netzwerkdienst zu erstellen oder gemeinsam zu nutzen. Der Speicher 204 kann eine beliebige nichtflüchtige Sekundärspeichervorrichtung beinhalten, beispielsweise einschließlich eines flüchtigen Primärspeichers wie RAM oder eines nichtflüchtigen Primärspeichers wie EPROM, Flash-Primärspeicher und dergleichen.With reference to 2 example functional units of control unit 106 may include one or more processors 202 . The one or more processors 202 may be implemented as one or more microprocessors, microcomputers, microcontrollers, digital signal processors, central processing units, logic circuits, and/or any device that processes data based on operating instructions. Among other capabilities, the one or more processors 202 are configured to retrieve and execute computer-readable instructions stored in memory 204 of controller 106 . Memory 204 may store one or more computer-readable instructions or routines that can be retrieved and executed to create or share the data units over a network service. Memory 204 may include any non-volatile secondary storage device, including, for example, primary volatile memory such as RAM or primary non-volatile memory such as EPROM, flash primary memory, and the like.

In einer Ausführungsform kann die Steuereinheit 106 ebenso eine Schnittstelle(n) 206 beinhalten. Die Schnittstelle(n) 206 kann/können eine Mehrzahl von Schnittstellen beinhalten, beispielsweise Schnittstellen für Dateneingabe- und -ausgabevorrichtungen, die als E/A-Vorrichtungen bezeichnet werden, Sekundärspeichervorrichtungen und dergleichen. Die Schnittstelle(n) 206 kann/können die Kommunikation der Steuereinheit 106 mit verschiedenen Vorrichtungen, die mit der Steuereinheit 106 gekoppelt sind, erleichtern. Die Schnittstelle(n) 206 kann/können ebenso einen Kommunikationsweg für eine oder mehrere Komponenten der Steuereinheit 106 bereitstellen. Beispiele für solche Komponenten beinhalten, ohne jedoch darauf beschränkt zu sein, Verarbeitungsmaschine(n) 208 und die Datenbank 210.In one embodiment, controller 106 may also include interface(s) 206 . Interface(s) 206 may include a variety of interfaces, such as interfaces for data input and output devices, referred to as I/O devices, secondary storage devices, and the like. The interface(s) 206 may facilitate communication of the controller 106 with various devices coupled to the controller 106 . The interface(s) 206 may also provide a communication path for one or more components of the controller 106 . Examples of such components include, but are not limited to, processing engine(s) 208 and database 210.

In einer Ausführungsform kann/können die Verarbeitungsmaschine(n) 208 als eine Kombination aus Hardware und Programmierung (beispielsweise programmierbare Anweisungen) implementiert werden, um eine oder mehrere Funktionalitäten der Verarbeitungsmaschine(n) 208 zu implementieren. In den hierin beschriebenen Beispielen können solche Kombinationen von Hardware und Programmierung auf verschiedene Weise realisiert werden. Beispielsweise kann die Programmierung für das/die Verarbeitungsmodul(e) 208 aus prozessorausführbaren Anweisungen bestehen, die auf einem nichtflüchtigen, maschinenlesbaren Sekundärspeichermedium gespeichert sind, und kann die Hardware für das/die Verarbeitungsmodul(e) 208 eine Verarbeitungsressource (beispielsweise einen oder mehrere Prozessoren) beinhalten, um solche Anweisungen auszuführen. In den vorliegenden Beispielen kann das maschinenlesbare Sekundärspeichermedium Anweisungen speichern, die, wenn sie von der Verarbeitungsressource ausgeführt werden, das/die Verarbeitungsmodul(e) 208 implementieren. In solchen Beispielen kann die Steuereinheit 106 das maschinenlesbare Sekundärspeichermedium, auf dem die Anweisungen gespeichert sind, und die Verarbeitungsressource für die Ausführung der Anweisungen beinhalten, oder kann das maschinenlesbare Sekundärspeichermedium separat sein, jedoch für das System 100 und die Verarbeitungsressource zugänglich sein. In anderen Beispielen kann/können das/die Verarbeitungsmodul(e) 208 durch elektronische Schaltungen implementiert werden. Die Datenbank 210 kann Daten beinhalten, die entweder gespeichert oder als ein Ergebnis von Funktionalitäten erzeugt werden, die von einer der Komponenten der Verarbeitungsmaschine(n) 208 implementiert werden. In einer Ausführungsform kann das/die Verarbeitungsmodul(e) 208 eine Abbildungseinheit 212, eine Identifizierungseinheit 214, eine Abgleicheinheit 216 und eine andere Einheit(en) 218 beinhalten. Die andere(n) Einheit(en) 218 kann/können Funktionen implementieren, die die von der Steuereinheit 106 ausgeführten Anwendungen/Funktionen ergänzen.In one embodiment, processing engine(s) 208 may be implemented as a combination of hardware and programming (e.g., programmable instructions) to implement one or more functionality of processing engine(s) 208 . In the examples described herein, such combinations of hardware and programming can be implemented in a variety of ways. For example, the programming for the processing module(s) 208 may consist of processor-executable instructions stored on a non-transitory, machine-readable secondary storage medium, and the hardware for the processing module(s) 208 may include a processing resource (e.g., one or more processors) include to carry out such instructions. In present examples, the secondary machine-readable storage medium may store instructions that, when executed by the processing resource, implement the processing module(s) 208 . In such examples, controller 106 may include the secondary machine-readable storage medium on which the instructions are stored and the processing resource for executing the instructions, or the secondary machine-readable storage medium may be separate but accessible to system 100 and the processing resource. In other examples, the processing module(s) 208 may be implemented by electronic circuitry. Database 210 may include data that is either stored or stored as a result of func nalities are generated that are implemented by one of the components of the processing engine(s) 208. In one embodiment, the processing module(s) 208 may include a mapping unit 212 , an identifying unit 214 , a matching unit 216 , and other unit(s) 218 . The other entity(ies) 218 may implement functions that complement the applications/functions performed by the controller 106 .

In einer Ausführungsform kann die Abbildungseinheit 212 einen Satz zeitlicher Attribute aus dem von der Erkennungseinheit 102 empfangenen Satz von Erkennungsdatenpaketen extrahieren. Dann kann die Abbildungseinheit 212, zusammen mit dem Lernmodul 110, den extrahierten Satz zeitlicher Attribute miteinander und mit einem Datensatz zeitlicher Attribute abbilden.In one embodiment, mapping unit 212 may extract a set of temporal attributes from the set of recognition data packets received from recognition unit 102 . Then the mapping unit 212, together with the learning module 110, can map the extracted set of temporal attributes to each other and to a data set of temporal attributes.

Gemäß einer Ausführungsform kann die Identifizierungseinheit 214 identifizieren, ob es sich bei den erkannten Entitäten um eine beliebige oder eine Kombination aus einer menschlichen und einer nicht-menschlichen Entität handelt. In einer beispielhaften Ausführungsform kann das Lernmodul 110 eine Architektur für ein faltendes neuronales Netzwerk (CNN) beinhalten, wobei die CNN-Architektur ferner wenigstens zwei Verzweigungen beinhalten kann, einschließlich einer Verzweigung für die Identifizierung menschlicher Entitäten und einer Verzweigung für die Identifizierung nicht-menschlicher Entitäten.According to one embodiment, the identification unit 214 can identify whether the detected entities are any one or a combination of a human and a non-human entity. In an exemplary embodiment, the learning module 110 may include a convolutional neural network (CNN) architecture, where the CNN architecture may further include at least two branches, including a human entity identification branch and a non-human entity identification branch .

In einer Ausführungsform kann Identifizierungseinheit 214 an der Verzweigung für die Identifizierung nicht-menschlicher Entitäten den extrahierten Satz zeitlicher Attribute klassifizieren und dementsprechend die Anwesenheit der nicht-menschlichen Entität auf wenigstens einem Sitz des Fahrzeugs identifizieren. In einer anderen Ausführungsform kann Identifizierungseinheit 214 an der Verzweigung für die Identifizierung menschlicher Entitäten den extrahierten Satz zeitlicher Attribute klassifizieren und dementsprechend die Anwesenheit der menschlichen Entität auf wenigstens einem Sitz des Fahrzeugs identifizieren.In one embodiment, at the non-human entity identification branch, identification unit 214 may classify the extracted set of temporal attributes and accordingly identify the presence of the non-human entity in at least one seat of the vehicle. In another embodiment, at the human entity identification branch, identification unit 214 may classify the extracted set of temporal attributes and accordingly identify the presence of the human entity in at least one seat of the vehicle.

In einer Ausführungsform kann die Identifizierungseinheit 214 die Temperatur in dem Fahrzeug nach vordefinierten Zeitintervallen bestimmen, in dem Fall, in dem die erkannte Entität als nicht-menschliche Entität identifiziert wird, die nicht von einer menschlichen Entität beaufsichtigt wird (ebenso als unbeaufsichtigte nicht-menschliche Entität bezeichnet). In einer beispielhaften Ausführungsform kann die Identifizierungseinheit 214, in dem Fall, in dem die erkannte Entität als eine unbeaufsichtigte nicht-menschliche Entität identifiziert wird, mit einem Temperatursensor kommunizieren, der in dem Fahrzeug konfiguriert ist und dadurch die Temperatur in Echtzeit erfasst kann, um die Temperatur in dem Fahrzeug zu bestimmen.In one embodiment, the identification unit 214 can determine the temperature in the vehicle after predefined time intervals, in the case where the detected entity is identified as a non-human entity that is not supervised by a human entity (also as an unattended non-human entity designated). In an exemplary embodiment, in the event that the detected entity is identified as an unattended non-human entity, the identification unit 214 may communicate with a temperature sensor configured in the vehicle and thereby may sense the temperature in real-time to determine the determine temperature in the vehicle.

In einer beispielhaften Ausführungsform kann die Steuereinheit in dem Fall, in dem die erkannte Entität als eine menschliche Entität oder als eine beaufsichtigte nicht-menschliche Entität identifiziert wird, einen Satz von Rücksetzsignalen erzeugen, um einen in dem Fahrzeug implementierten Zeitmesser zurückzusetzen, sodass der Zeitmesser erneut mit dem Zählen beginnen kann und somit ein Zeitintervall bestimmt werden kann, in dem eine bestimmte Temperatur aufrechterhalten wird.In an exemplary embodiment, in the event that the detected entity is identified as a human entity or as a supervised non-human entity, the controller may generate a set of reset signals to reset a timer implemented in the vehicle so that the timer restarts can start counting and thus determine a time interval in which a certain temperature is maintained.

Gemäß einer Ausführungsform kann die Abgleichseinheit 216 die bei der bestimmten Temperatur verstrichene Zeit mit einem entsprechenden vordefinierten Zeitintervall abgleichen, und in einem Fall, in dem herausgefunden wird, dass die verstrichene Zeit das entsprechende vordefinierte Zeitintervall überschreitet, kann die Abgleichseinheit 216 einen Satz von Sicherheitswarntonsignalen erzeugen, um den Eigentümer des Fahrzeugs oder eine andere mit dem Fahrzeug verbundene menschliche Entität zu alarmieren.According to one embodiment, the matching unit 216 may match the elapsed time at the determined temperature with a corresponding predefined time interval, and in an instance where the elapsed time is found to exceed the corresponding predefined time interval, the matching unit 216 may generate a set of safety alert audio signals to alert the vehicle's owner or other human entity associated with the vehicle.

In einer beispielhaften Ausführungsform können der erzeugte Satz von Sicherheitswarntonsignalen in Form von Audiosignalen vorliegen, die von dem Fahrzeug an seine Umgebung übertragen werden können, um Personen in der Nähe des Fahrzeugs zu alarmieren. In einer anderen beispielhaften Ausführungsform kann der erzeugte Satz von Sicherheitswarntonsignalen in Form einer Nachricht, eines Warntons, eines Anrufs, einer E-Mail oder in einer anderen Form an ein Smartphone, einen Laptop oder andere mobile Recheneinheiten übertragen werden, die dem Eigentümer des Fahrzeugs oder einer anderen dem Fahrzeug verbundenen Person zugeordnet sind. In einer weiteren beispielhaften Ausführungsform kann der erzeugte Satz von Sicherheitswarntonsignalen die in dem Fahrzeug vorhandene Klimaanlage betätigten oder die Parksirene aktivieren. In einer weiteren beispielhaften Ausführungsform kann der erzeugte Satz von Sicherheitswarntonsignalen in dem Falle von Störungen einen Notruf an die nächstgelegene Notrufzentrale ermöglichen.In an exemplary embodiment, the set of safety alert audio signals generated may be in the form of audio signals that may be transmitted from the vehicle to its surroundings to alert those in the vicinity of the vehicle. In another exemplary embodiment, the generated set of security alert audio signals may be transmitted in the form of a message, alert tone, phone call, email, or other form to a smartphone, laptop, or other mobile computing device owned by the vehicle owner or assigned to another person connected to the vehicle. In another exemplary embodiment, the generated set of safety alert tones may actuate the air conditioning provided in the vehicle or activate the parking siren. In another exemplary embodiment, the set of safety alert tones generated may enable an emergency call to the nearest emergency response center in the event of interference.

In einer Ausführungsform kann die Abgleicheinheit 216 die bestimmten Temperatur und das Echtzeit-Zeitintervall mit einem Datensatz abgleichen, der Sätze von vorgespeicherten Temperatur- und Zeitintervallen beinhaltet, und wenn die bestimmte Temperatur und das Echtzeit-Zeitintervall wenigstens einen der Sätze von vorgespeicherten Temperatur- und Zeitintervallen überschreiten, kann das System 100 den Satz von Sicherheitswarntonsignalen erzeugen. In einer beispielhaften Ausführungsform kann die Abgleicheinheit 216 mit dem Zeitgeber kommunizieren, um Echtzeit-Zeitintervalle zu erhalten und dadurch die verstrichene Zeit bei einer besonderen bestimmten Temperatur zu bestimmen.In one embodiment, the matching unit 216 may match the determined temperature and real-time time interval to a data set that includes sets of pre-stored temperature and time intervals, and if the determined temperature and real-time time interval match at least one of the sets of pre-stored temperature and time intervals exceed the system 100 the set generate safety warning beeps. In an exemplary embodiment, the alignment unit 216 may communicate with the timer to obtain real-time time intervals and thereby determine the elapsed time at a particular particular temperature.

Unter Bezugnahme auf 3 kann das System 100 dazu konfiguriert sein, die Anwesenheit einer Person oder eines Tieres, z. B. eines Haustieres (hierin ebenso als Haustier bezeichnet), wie eines Hundes, einer Katze und dergleichen, in dem Fahrzeug, z. B. einem Auto, für jeden Sitz des Autos vorherzusagen, was dazu verwendet werden kann, zu bestimmen, ob ein Haustier in dem Auto unbeaufsichtigt ist oder nicht. Ferner können in der Datenbank 210 des Systems 100 einige Temperatursteuerungsgrenzen definiert werden, um die Sicherheit der Haustiere zu gewährleisten. In einem Fall, in dem die gemessene Temperatur die definierten Schwellen (Temperatursteuerungsgrenzen) überschreitet, kann das System 100 verschiedene Warntöne auslösen, um den Besitzer des Autos zu alarmieren, wobei dadurch Haustiere vor dem Tod durch Temperaturanstieg in dem Auto können.With reference to 3 the system 100 may be configured to detect the presence of a person or animal, e.g. B. a pet (herein also referred to as a pet), such as a dog, a cat and the like, in the vehicle, z. a car, for each seat of the car, which can be used to determine whether or not a pet is unattended in the car. Additionally, some temperature control limits may be defined in the database 210 of the system 100 to ensure pet safety. In a case where the measured temperature exceeds the defined thresholds (temperature control limits), the system can trigger 100 different warning sounds to alert the owner of the car, thereby protecting pets from dying from temperature rise in the car.

In einer Ausführungsform kann das System 100 ein Framework für ein faltendes neuronales Netzwerk (CNN) beinhalten, das trainiert werden kann, um die Anwesenheit von Haustieren und Personen in dem Fahrzeug zu erkennen. In einer beispielhaften Ausführungsform kann dasselbe CNN-Framework/Modell verwendet werden, um die Anwesenheit von beiden, d.h. von Haustieren und Personen in dem Fahrzeug zu erkennen.In one embodiment, the system 100 may include a convolutional neural network (CNN) framework that can be trained to detect the presence of pets and people in the vehicle. In an exemplary embodiment, the same CNN framework/model can be used to detect the presence of both pets and people in the vehicle.

In einer Ausführungsform kann das CNN-Framework in Form eines CNN-Haustiererkennungs-Backbone 302 konfiguriert sein, wobei das CNN-Haustiererkennungs-Backbone 302 ferner eine Verzweigung 304 für die Identifizierung nicht-menschlicher Entitäten (hierin ebenso als Haustierdetektor 304 bezeichnet) und eine Verzweigung 306 für die Identifizierung menschlicher Entitäten (hierin ebenso als Personendetektor 306 bezeichnet) beinhalten kann.In one embodiment, the CNN framework may be configured in the form of a CNN pet detection backbone 302, where the CNN pet detection backbone 302 further includes a non-human entity identification branch 304 (also referred to herein as a pet detector 304) and a branch 306 for human entity identification (also referred to herein as a person detector 306).

In einer Ausführungsform kann der Haustierdetektor 304 klassifizieren, ob ein Haustier auf einem der Sitze des Fahrzeugs sitzt oder nicht. In einer anderen Ausführungsform der Personendetektor 306 an, ob eine Person auf einem der Sitze des Fahrzeugs sitzt oder nicht. In einer anderen Ausführungsform können sowohl der Haustierdetektor 304 als auch der Personendetektor 306 parallel auf jedem Sitz laufen, um sitzbezogene Belegungszustände zu erkennen. In einer weiteren Ausführungsform können sowohl die Detektoren 304 als auch 306 dasselbe Faltungsmerkmalsextraktor-Backbone verwenden, was das System 100 effizient macht.In one embodiment, the pet detector 304 may classify whether or not a pet is seated in one of the vehicle's seats. In another embodiment, the occupant detector 306 indicates whether or not a person is seated in one of the vehicle's seats. In another embodiment, both the pet detector 304 and the human detector 306 can run in parallel on each seat to detect per-seat occupancy conditions. In another embodiment, both detectors 304 and 306 may use the same convolutional feature extractor backbone, making system 100 efficient.

In einer Ausführungsform kann das System 100 einen Warnton eines Systems für ein unbeaufsichtigtes Fahrzeug auslösen, in einem Fall, in dem ein Haustier erkannt wird und keine Person auf einem beliebigen Sitz in dem Auto erkannt wird. Sobald der Warnton eines Systems für ein unbeaufsichtigtes Fahrzeug ausgelöst wird, können Informationen von dem Temperatursensor von der Steuereinheit 106 gesammelt werden, um die Temperatur innerhalb des Autos und außerhalb des Autos zu bestimmen. In einer beispielhaften Ausführungsform können für dieses Szenario Temperatursteuerungsgrenzen/Temperaturschwellen eingestellt werden, und ein Zeitmesser kann dazu konfiguriert sein, die verstrichene Zeit aufzuzeichnen, wenn das Auto leer ist, d. h. wenn ein Haustier erkannt wird und keine Person in dem Auto erkannt wird.In one embodiment, the system 100 may trigger an unattended vehicle system alert sound in the event that a pet is detected and no person is detected in any seat in the car. Once an unattended vehicle system alert is triggered, information from the temperature sensor may be collected by the controller 106 to determine the temperature inside the car and outside the car. In an exemplary embodiment, temperature control limits/thresholds may be set for this scenario and a timer may be configured to record elapsed time when the car is empty, i. H. when a pet is detected and no person is detected in the car.

In einer beispielhaften Ausführungsform kann durch das System 100 ein Satz von Sicherheitswarntonsignalen erzeugt werden, wenn die Temperatur in dem Auto die Schwelle von 40 °C überschreitet und die verstrichene Zeit mehr als 45 Minuten beträgt. Hier stellt das System 100 eine zeitbasierte Temperatursteuerung bereit, was ein notwendiges Merkmal ist, da eine anhaltend hohe Temperatur über einen längeren Zeitraum ebenso für das Haustiere schädlich sein kann.In an exemplary embodiment, a set of safety alert tones may be generated by the system 100 when the temperature in the car exceeds the 40°C threshold and the elapsed time is greater than 45 minutes. Here, the system 100 provides time-based temperature control, which is a necessary feature since prolonged high temperature over a period of time can also be harmful to the pet.

In einer Ausführungsform, in einem Fall, in dem die Erkennungseinheit 102 erkannt, dass ein Haustier und eine Person ebenso in dem Auto anwesend sind, dann kann die Person steuern, ob das System 100 aktiviert werden soll oder nicht.In one embodiment, in a case where the detection unit 102 detects that a pet and a person are also present in the car, then the person can control whether the system 100 should be activated or not.

Unter Bezugnahme auf 4 können Bilder, die von der Erkennungseinheit 102 über eine Kamera aufgenommen wurden, an das CNN-Haustiererkennungs-Backbone 302 übertragen werden, das durch Max-Pooling von CNN-Schichten und Bayes'schen Netzwerk- (BN-) Schichten implementiert werden kann und dadurch Max-Pool-Schichten ausgebildet werden. In einer Ausführungsform kann das Max-Pooling als ein auf Stichproben basierender Diskretisierungsprozess definiert werden. Das Hauptziel des Vorgangs besteht darin, ein Eingangsbild, d. h. jedes der übertragenen Bilder, herunterzurechnen, die Dimensionalität des Eingangsbildes zu reduzieren und zu ermöglichen, dass Vorhersagen über die in den Unterregionen des verarbeiteten Bildes enthaltenen Merkmale gemacht werden. Ferner kann der extrahierte Satz zeitlicher Attribute auf der gemeinsamen Merkmalskarte 402 aufeinander abgebildet werden.With reference to 4 For example, images captured by the detection unit 102 via a camera may be transmitted to the CNN pet detection backbone 302, which may be implemented by max-pooling CNN layers and Bayesian network (BN) layers, and thereby Max pool layers are formed. In one embodiment, max-pooling can be defined as a sample-based discretization process. The main objective of the process is to downsample an input image, ie each of the transmitted images, to reduce the dimensionality of the input image and to allow predictions to be made about the subregions of the verar features contained in the image provided. Furthermore, the extracted set of temporal attributes can be mapped onto the common feature map 402 .

In einer Ausführungsform kann der abgebildete Satz zeitlicher Attribute dem Haustierdetektor 304 und dem Personendetektor 306 gleichzeitig und parallel zugeführt werden. In einer Ausführungsform kann der Haustierdetektor 304 faltende und lineare Schichten 404 des CNN-Frameworks beinhalten. Die von den faltenden und den linearen Schichten 404 erhaltenen resultierenden Bilder können geglättet und an Sigmoid-Neuronen verfeinert werden, was es wiederum ermöglicht, bei 406 zu identifizieren, ob ein Haustier in dem Fahrzeug erkannt wird oder nicht.In one embodiment, the mapped set of temporal attributes may be provided to pet detector 304 and human detector 306 simultaneously and in parallel. In one embodiment, pet detector 304 may include convolutional and linear layers 404 of the CNN framework. The resulting images obtained from the convolutional and linear layers 404 may be smoothed and refined at sigmoid neurons, which in turn allows identifying at 406 whether or not a pet is detected in the vehicle.

In einer anderen Ausführungsform kann der Personendetektor 306 faltende (CNN-) Schichten 408 des CNN-Frameworks beinhalten. Die resultierenden Bilder, die von den CNN-Schichten 408 erhalten werden, können ferner linearen Schichten 410 zugeführt werden, und die von den linearen Schichten 410 erhaltene Ausgabe kann geglättet und an Sigmoid-Neuronen verfeinert werden, was es wiederum ermöglicht, zu identifizieren, ob eine Person in dem Fahrzeug oder anderweitig erkannt wird.In another embodiment, the people detector 306 may include convolutional (CNN) layers 408 of the CNN framework. The resulting images obtained from the CNN slices 408 can be further fed to linear slices 410, and the output obtained from the linear slices 410 can be smoothed and refined at sigmoid neurons, which in turn makes it possible to identify whether a person is detected in the vehicle or otherwise.

Unter Bezugnahme auf 5 kann das System 100 dazu verwendet werden, die Körpertemperatur des in dem Fahrzeug anwesenden Haustieres, z. B. eines Hundes, zu bestimmen. In einer beispielhaften Ausführungsform wird in einem Fall, wenn die Körpertemperatur zwischen 100,5 Fahrenheit (°F) und 102,5 °F bestimmt wird, diese dann von dem System 100 als normal behandelt, in einem anderen Fall, wenn die Körpertemperatur zwischen 103 °F und 104 °F bestimmt wird, wird diese dann von dem System 100 als anormal oder als Hitzeerschöpfung behandelt, und in einem weiteren Fall, wenn die Körpertemperatur zwischen 105 °F und 109 °F bestimmt wird, wird diese dann von dem System 100 als Hitzschlag behandelt.With reference to 5 the system 100 can be used to determine the body temperature of the pet present in the vehicle, e.g. B. a dog to determine. In an exemplary embodiment, in one case if the body temperature is determined to be between 100.5 Fahrenheit (°F) and 102.5°F, then it is treated as normal by the system 100, in another case if the body temperature is determined to be between 103 °F and 104 °F, it is then treated by the system 100 as abnormal or as heat exhaustion, and in a further case, if the body temperature is determined between 105 °F and 109 °F, it is then treated by the system 100 treated as heat stroke.

In einer Ausführungsform kann ein mit dem System 100 konfigurierter Zeitmesser die verstrichene Zeit verfolgen, d. h. die Zeitdauer, in der ein Fahrzeug in der Anwesenheit des Haustieres unbeaufsichtigt ist. Eine Temperatursteuerung auf Grundlage der verstrichenen Zeit ist sehr wichtig, da das Haustier auch dann ersticken kann, wenn es längere Zeit in einem Auto mit normaler, erträglicher Temperatur eingeschlossen ist. Das vorgeschlagene System 100 verwendet eine auf der verstrichenen Zeit basierende Temperatursteuerungsstrategie, um diesem Problem entgegen zu wirken. Bei dieser Strategie kann das System 100 die angegebene Zeit abwarten, wenn der Temperatursensor die entsprechende Zeit gemäß der Tabelle, Nummer (Nr.) 1 anzeigt, und kann den Satz von Sicherheitswarntonsignalen erzeugen, um verschiedene Gefahrenstufen darzustellen- Tabelle Nr. 1 Temperaturbereich (°C) Verstrichene Zeit (Minuten) Gefahrstufe 15-21 60 Niedrig 21-26 40 Mittel 26-29 25 Mittel 29-32 15 Hoch 32-37 5 Hoch 37-40 2 Sehr hoch 40+ 0 Sehr hoch In one embodiment, a timer configured with the system 100 can track elapsed time, ie, the amount of time that a vehicle is unattended in the presence of the pet. Temperature control based on elapsed time is very important as the pet can suffocate even if it is locked in a car with normal, tolerable temperature for a long time. The proposed system 100 uses an elapsed time based temperature control strategy to counteract this problem. With this strategy, the system 100 can wait the specified time when the temperature sensor indicates the appropriate time according to Table, Number (No.) 1, and can generate the set of safety alert tones to represent different levels of danger - Table No. 1 Temperature range (°C) Elapsed Time (Minutes) danger level 15-21 60 Low 21-26 40 Middle 26-29 25 Middle 29-32 15 High 32-37 5 High 37-40 2 Very high 40+ 0 Very high

In einer Ausführungsform prüft das System 100 nicht einfach die Schwellentemperatur und löst einen Warnton aus, sondern verwendet das System 100 die Technik des Bucket-Verhältnisses, d. h., das System 100 berechnet das Zeitverhältnis in jedem Temperatur-Bucket und löst auf Grundlage der Berechnungen einen Warnton aus. Daher überwindet das vorgeschlagene System 100 die Probleme, mit denen herkömmliche Systeme und Verfahren konfrontiert sind, bei denen ein Warnton ausgelöst wird, wenn die Temperatur einiges an Schwelle überschreitet, jedoch ein Haustier eine bestimmte Temperatur, die unter der Schwelle liegt, nicht über einen längeren Zeitraum aushalten kann.In one embodiment, instead of simply checking the threshold temperature and sounding an alarm, the system 100 uses the bucket ratio technique. That is, the system 100 calculates the time ratio in each temperature bucket and sounds an alarm based on the calculations. Therefore, the proposed system 100 overcomes the problems faced by conventional systems and methods in which an alarm sounds when the temperature exceeds some threshold, but a pet does not maintain a certain temperature that is below the threshold for an extended period of time period can withstand.

In einer beispielhaften Ausführungsform soll die Schwelle für ein traditionelles Verfahren 35 Grad betragen. Laut Tabelle Nr. 1 kann ein Haustier nach einem bestimmten Zeitintervall auch Temperaturen unterhalb der Schwelle nicht mehr aushalten. Bei dem herkömmlichen Verfahren darf jedoch kein Warnton ausgelöst werden, da die Schwelle nicht überschritten wurde, ohne dass eine hohe Gefahrenstufe für das Haustier erkannt wurde, die sich als gefährlich für das Haustier erweisen kann.In an exemplary embodiment, the threshold for a traditional method is said to be 35 degrees. According to Table No. 1, after a certain time interval, a pet can no longer withstand even temperatures below the threshold. With the conventional method, however, no warning tone may be emitted be resolved as the threshold has not been crossed without detecting a high level of pet danger that may prove dangerous to the pet.

Durch Verwenden der Bucket-Verhältnis-Technik kann das System 100 jedoch die Auswirkungen der Temperatur auf das Haustier nach vordefinierten Zeitintervallen vorhersagen. In einer beispielhaften Ausführungsform wird die Auswirkung der Temperatur auf das Haustier in verschiedenen Zeitintervallen berechnet als - $A u s w i r k u n g (T_{15 - 21}) = A u s w i r k u n g (T_{21 - 26}) = A u s w i r k u n g (T_{26 - 29}) .$

However, by using the bucket ratio technique, the system 100 can predict the effects of temperature on the pet after predefined time intervals. In an exemplary embodiment, the effect of temperature on the pet at various time intervals is calculated as -

A and s w i right k and n G (T_{15 - 21}) = A and s w i right k and n G (T_{21 - 26}) = A and s w i right k and n G (T_{26 - 29}) .

Angenommen in einer anderen beispielhaften Ausführungsform beträgt die Anfangstemperatur in dem Auto zu einem ersten Zeitpunkt 20 °C (T_15-21 Bucket)) und das Haustier befindet sich für einen Zeitraum von 20 Minuten in dem Auto (verstrichene Zeit), und dann zu einem zweiten Zeitpunkt steigt die Temperatur auf 21,5 °C (T_21-26 Bucket), was in einem anderen Bucket ist, dann kann der Warnton nicht nach 40 Minuten ausgelöst werden, da sich das Haustier bereits 20 Minuten (min) in dem Auto befindet. Die Zeit, nach der der Warnton ausgelöst werden kann, wird berechnet als - $\begin{array}{l} T_{21 - 26} - (\frac{T_{21 - 26}}{T_{15 - 26}}) \times Z e i t_{v e r s t r i c h e n} \\ = 40 - (\frac{40}{60}) \times 20 m i n \\ = 26,6 min \end{array}$

In another exemplary embodiment, assume the initial temperature in the car is 20°C (T _15-21 bucket) at a first time and the pet is in the car for a period of 20 minutes (elapsed time), and then at a second time, the temperature rises to 21.5℃ (T _21-26 bucket), which is in another bucket, then the warning sound can not be triggered after 40 minutes because the pet is already 20 minutes (min) in the car located. The time after which the warning sound can be triggered is calculated as -

\begin{array}{l} T_{21 - 26} - (\frac{T_{21 - 26}}{T_{15 - 26}}) \times Z e i t_{v e right s t right i c H e n} \\ = 40 - (\frac{40}{60}) \times 20 m i n \\ = 26.6 at least \end{array}

Daher wird nach 26,6 min der Alarm ausgelöst, wenn das Haustier unbeaufsichtigt bleibt.Therefore, after 26.6 minutes, if the pet is left unattended, the alarm will go off.

Unter Bezugnahme auf 6 kann eine Kamera Bilder des Innenraums des Fahrzeugs aufnehmen, und die aufgenommenen Bilder können an den Haustierdetektor 304 zugeführt werden, der erkennen kann, ob ein Haustier auf einem der Sitze des Fahrzeugs anwesend ist. In einer Ausführungsform können die aufgenommenen Bilder ferner dem Personendetektor 306 zugeführt werden, der erkennen kann, ob eine Person auf einem der Sitze des Fahrzeugs anwesend ist. In einer Ausführungsform wird der Zeitmesser zurückgesetzt, wenn die Anwesenheit einer Person auf einem der Sitze erkannt wird. In einer anderen Ausführungsform, wenn nicht erkannt wird, dass eine Person auf einem der Sitze anwesend ist, aber ein Haustier in dem Fahrzeug erkannt wird, kann das System 100 einen Warnton für ein unbeaufsichtigtes Fahrzeug auslösen, der auf Grundlage der von dem Temperatursensor (Temp.-Sensor) erhaltenen Temperatur und der von dem Zeitmesser erhaltenen verstrichenen Zeit eine weitere Temperatur-/Zeitsteuerung durchführen kann. Darüber hinaus kann das System 100 einen Satz von Sicherheitswarntonsignalen erzeugen/auslösen, die ferner eine Parksirene betätigen, einen Notruf absetzen, den Treuhänder/Eigentümer benachrichtigen kann und dergleichen.With reference to 6 For example, a camera may capture images of the interior of the vehicle, and the captured images may be provided to pet detector 304, which may detect whether a pet is present on any of the vehicle's seats. In one embodiment, the captured images may also be provided to the occupant detector 306, which may detect whether an occupant is present in one of the vehicle's seats. In one embodiment, the timer is reset when the presence of a person in one of the seats is detected. In another embodiment, if it is not detected that a person is present in one of the seats, but a pet is detected in the vehicle, the system 100 may trigger an unattended vehicle alert tone based on the temperature sensor (temp . sensor) obtained temperature and the elapsed time obtained from the timer can perform further temperature/time control. In addition, the system 100 may generate/trigger a set of security alert tones, which may also sound a parking siren, initiate an emergency call that the trustee/owner may notify, and the like.

In einer Ausführungsform kann das System 100 eine Temperatursteuerung auf Grundlage der verstrichenen Zeit durchführen, um ein Alarmsystem zu aktivieren, das die Sicherheit der Haustiere ermöglichen kann. Die sitzplatzbasierte Personenerkennung kann dazu beitragen, jeden Sitzplatz spezifisch zu erkennen, was es dem System 100 insgesamt ermöglicht zu wissen, ob das Fahrzeug unbeaufsichtigt ist. Beide Detektoren des CNN-Frameworks verwenden eine gemeinsame Merkmalsextraktionsgrundlinie, die ein effizienter Ansatz ist. Keine Verwendung von zusätzlichen Sensoren wie CO₂-Sensor, Bewegungssensor und Geräuschsensor in dem System 100. Darüber hinaus stellt das CNN-Framework dem System 100 die nötige Flexibilität bereit, um bei unterschiedlichen Licht- und Beleuchtungsbedingungen gut zu funktionieren.In one embodiment, the system 100 can perform temperature control based on elapsed time to activate an alarm system that can enable pet safety. Seat-based people detection can help identify each seat specifically, which overall allows the system 100 to know if the vehicle is unattended. Both detectors of the CNN framework use a common feature extraction baseline, which is an efficient approach. No use of additional sensors such as CO ₂ sensor, motion sensor, and noise sensor in the system 100. In addition, the CNN framework provides the system 100 with the necessary flexibility to function well in different light and lighting conditions.

Das vorgeschlagene System 100 kann mit minimalen Änderungen der Konfiguration ebenso für die Rettung eines unbeaufsichtigten Säuglings oder Kindes verwendet werden, wenn keine erwachsene Person in dem Fahrzeug anwesend ist.The proposed system 100 can also be used for rescuing an unattended infant or child when no adult is present in the vehicle with minimal configuration changes.

Unter Bezugnahme auf 7 kann das vorgeschlagene temperaturbasierte Rettungsverfahren 700 (hierin als Verfahren 700 bezeichnet) bei 702 das Erkennen einer oder mehrerer in einem Fahrzeug anwesender Entitäten durch eine Erkennungseinheit und das entsprechende Erzeugen eines Satzes von Erkennungsdatenpaketen beinhalten.With reference to 7 For example, the proposed temperature-based rescue method 700 (referred to herein as method 700) may include, at 702, detecting one or more entities present in a vehicle by a detection unit and generating a set of detection data packets accordingly.

In einer Ausführungsform kann das Verfahren 700 bei 704 das Extrahieren in einer Steuereinheit eines Satzes von zeitlichen Attributen aus dem Satz von Erkennungsdatenpaketen beinhalten, die von der Erkennungseinheit empfangen wurden.In one embodiment, the method 700 may include, at 704, extracting, at a control unit, a set of temporal attributes from the set of detection data packets received from the detection unit.

In einer anderen Ausführungsform kann das Verfahren 700 bei 706 das Abbilden in der Steuereinheit des extrahierten Satzes von zeitlichen Attributen unter Verwendung eines Lernmoduls und entsprechendes Identifizieren beinhalten, ob es sich bei der einen oder mehreren erkannten Entitäten um eine beliebige oder eine Kombination aus einer menschlichen Entität und einer nicht-menschlichen Entität handelt.In another embodiment, the method 700 may include, at 706, mapping in the controller the extracted set of temporal attributes using a learning module and identifying accordingly whether the one or more recognized entities are any one or a combination of a human entity and a non-human entity.

In einer anderen Ausführungsform kann das Verfahren 700 bei 708 das Bestimmen in der Steuereinheit der Temperatur in dem Fahrzeug nach vordefinierten Zeitintervallen beinhalten, in dem Fall, in dem die erkannte Entität als nicht-menschliche Entität identifiziert wird, die nicht von einer menschlichen Entität beaufsichtigt wird.In another embodiment, the method 700 may include, at 708, determining in the controller the temperature in the vehicle after predefined time intervals in the event the detected entity is identified as a non-human entity that is not being overseen by a human entity .

In einer anderen Ausführungsform kann das Verfahren 700 bei 710 das Erzeugen in der Steuereinheit eines Satzes von Sicherheitswarntonsignalen, wenn die bei der bestimmten Temperatur verstrichene Zeit ein entsprechendes vordefiniertes Zeitintervall überschreitet.In another embodiment, the method 700 may include, at 710, generating in the controller a set of safety alert tones when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

In einer Ausführungsform kann das Verfahren 700 das Abgleichen der bestimmten Temperatur und des Echtzeit-Zeitintervalls mit einem Datensatz, der Sätze von vorgespeicherten Temperatur- und Zeitintervallen beinhaltet, und wenn die bestimmte Temperatur und das Echtzeit-Zeitintervall wenigstens einen der Sätze von vorgespeicherten Temperatur- und Zeitintervallen überschreiten, das Erzeugen des Satzes von Sicherheitswarntonsignalen beinhalten.In one embodiment, the method 700 may include matching the determined temperature and real-time time interval to a data set that includes sets of pre-stored temperature and time intervals, and if the determined temperature and real-time time interval match at least one of the sets of pre-stored temperature and Exceed time intervals that include generating the set of safety alert audio signals.

In einer anderen Ausführungsform kann das Verfahren 700 das Erfassen der Echtzeit-Temperatur in dem Fahrzeug durch einen Temperatursensor in dem Fall, in dem es sich bei der erkannten Entität um eine unbeaufsichtigte nicht-menschliche Entität handelt, beinhalten, wohingegen das Verfahren 700 das Erzeugen in der Steuereinheit eines Satzes von Rücksetzsignalen beinhalten, um einen Zeitmesser zurückzusetzen, wenn die erkannte Entität als eine menschliche Entität oder als eine beaufsichtigte nicht-menschliche Entität identifiziert wird.In another embodiment, the method 700 may include detecting the real-time temperature in the vehicle by a temperature sensor in the case where the detected entity is an unattended non-human entity, whereas the method 700 includes generating in the control unit include a set of reset signals to reset a timer when the detected entity is identified as a human entity or as a supervised non-human entity.

Unter Bezugnahme auf 8, beinhaltet ein Computersystem eine externe Speichervorrichtung 810, einen Bus 820, einen Hauptspeicher 830, einen Festwertspeicher 840, eine Massenspeichervorrichtung 850, einen Kommunikationsanschluss 860 und einen Prozessor 870. Ein Fachmann wird verstehen, dass ein Computersystem mehr als einen Prozessor und Kommunikationsanschlüsse beinhalten kann. Beispiele für Prozessoren 870 beinhalten, ohne jedoch darauf beschränkt zu sein, Intel® Itanium®- oder Itanium-2-Prozessoren, AMD® Opteron®- oder Athlon MP®-Prozessoren, Motorola®-Prozessoren, FortiSOC™ System-on-Chip-Prozessoren oder andere zukünftige Prozessoren. Der Prozessor 870 kann verschiedene Module beinhalten, die Ausführungsformen der vorliegenden Erfindung zugeordnet sind. Der Kommunikationsanschluss 860 kann ein beliebiger eines RS-232-Anschlusses für eine modembasierte Wählverbindung, eines 10/100-Ethernet-Anschlusses, eines Gigabit- oder 10-Gigabit-Anschlusses unter Verwendung von Kupfer- oder Glasfaserkabel, eines seriellen Anschlusses, eines parallelen Anschlusses oder anderer vorhandener oder zukünftiger Anschlüsse sein. Der Kommunikationsanschluss 860 kann abhängig von einem Netzwerk gewählt werden, wie einem lokalen Netzwerk (LAN), einem Weitverbundnetz (WAN) oder einem anderen Netzwerk, mit dem das Computersystem verbunden ist.With reference to 8th , a computer system includes an external storage device 810, a bus 820, a main memory 830, a read-only memory 840, a mass storage device 850, a communications port 860, and a processor 870. One skilled in the art will understand that a computer system may include more than one processor and communications ports. Examples of 870 processors include, but are not limited to, Intel® Itanium® or Itanium 2 processors, AMD® Opteron® or Athlon MP® processors, Motorola® processors, FortiSOC™ system-on-chip processors or other future processors. Processor 870 may include various modules associated with embodiments of the present invention. The communications port 860 can be any of an RS-232 port for a dial-up modem-based connection, a 10/100 Ethernet port, a Gigabit or 10 Gigabit port using copper or fiber optic cabling, a serial port, a parallel port or other existing or future connections. The communications port 860 may be chosen depending on a network, such as a local area network (LAN), a wide area network (WAN), or other network to which the computer system is connected.

In einer Ausführungsform kann der Speicher 830 einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichervorrichtung sein, die in dem Stand der Technik allgemein bekannt ist. Der Festwertspeicher 840 kann eine beliebige statische Speichervorrichtung/beliebige statische Speichervorrichtungen sein, z. B., ohne jedoch darauf beschränkt zu sein, ein programmierbarer Festwertspeicher (PROM) Chips für die Speicherung statischer Informationen, z. B. Start- oder BIOS-Anweisungen für den Prozessor 870. Der Massenspeicher 850 kann jede derzeitige oder künftige Massenspeicherlösung sein, die zum Speichern von Informationen und/oder Anweisungen verwendet werden kann. Beispielhafte Massenspeicherlösungen beinhalten, ohne jedoch darauf beschränkt zu sein, Parallel Advanced Technology Attachment (PATA-) oder Serial Advanced Technology Attachment (SATA-) Festplattenlaufwerke oder Festkörperlaufwerke (intern oder extern, z. B. mit Universal Serial Bus (USB-) und/oder Firewire-Schnittstellen), z. B. jene, die von Seagate (z. B. die Seagate Barracuda 7102-Familie) oder Hitachi (z. B. die Hitachi Deskstar 7K1000), eine oder mehrere optische Platten, redundante Anordnung unabhängiger Festplatten (RAID) Speicher, z. B. eine Anordnung von Festplatten (z. B. SATA-Arrays), erhältlich von verschiedenen Anbietern einschließlich Dot Hill Systems Corp., LaCie, Nexsan Technologies, Inc. und Enhance Technology, Inc.In one embodiment, memory 830 may be random access memory (RAM) or other dynamic storage device well known in the art. Read-only memory 840 may be any static storage device(s), e.g. B., but not limited to, programmable read-only memory (PROM) chips for storing static information, e.g. B. boot or BIOS instructions for processor 870. Mass storage 850 may be any current or future mass storage solution that may be used to store information and/or instructions. Example mass storage solutions include, but are not limited to, parallel advanced technology attachment (PATA) or serial advanced technology attachment (SATA) hard drives or solid state drives (internal or external, e.g., with Universal Serial Bus (USB) and/or or Firewire interfaces), e.g. e.g., those manufactured by Seagate (e.g., the Seagate Barracuda 7102 family) or Hitachi (e.g., the Hitachi Deskstar 7K1000), one or more optical disks, redundant array of independent disks (RAID) storage, e.g. B. An array of hard drives (e.g. SATA arrays) available from various vendors including Dot Hill Systems Corp., LaCie, Nexsan Technologies, Inc. and Enhance Technology, Inc.

In einer Ausführungsform koppelt der Bus 820 den/die Prozessor(en) 870 kommunikativ mit den anderen Speicher-, Sekundärspeicher- und Kommunikationsblöcken. Der Bus 820 kann z. B. ein Peripheral Component Interconnect (PCI-) / PCI-Extended (PCI-X-) Bus, ein Small Computer System Interface (SCSI), einen USB-Bus oder dergleichen, um Erweiterungskarten, Laufwerke und andere Teilsysteme zu verbinden, sowie andere Busse sein, wie einen Front Side Bus (FSB), der den Prozessor 870 mit dem Softwaresystem verbindet.In one embodiment, bus 820 communicatively couples processor(s) 870 to the other memory, secondary storage, and communication blocks. The bus 820 can e.g. a Peripheral Component Interconnect (PCI) / PCI-Extended (PCI-X) bus, a Small Computer System Interface (SCSI), a USB bus or the like to connect expansion cards, drives and other subsystems, as well as others Buses, such as a Front Side Bus (FSB), connecting the 870 processor to the software system.

In einer anderen Ausführungsform können auch Bediener- und Verwaltungsschnittstellen, z. B. eine Anzeige, eine Tastatur und eine Cursorsteuervorrichtung, mit dem Bus 820 gekoppelt werden, um die direkte Interaktion des Bedieners mit dem Computersystem zu unterstützen. Andere Bediener- und Verwaltungsschnittstellen können über Netzwerkverbindungen bereitgestellt werden, die über den Kommunikationsanschluss 860 verbunden sind. Die externe Speichervorrichtung 810 kann jede Art von externen Festplatten, Diskettenlaufwerken, IOMEGA®-Zip-Laufwerken, Compact Disc - Read Only Memory (CD-ROM), Compact Disc - Re-Writable (CD-RW), Digital Video Disc - Read Only Memory (DVD-ROM) sein. Die vorstehend beschriebenen Komponenten sind nur als Beispiele für verschiedene Möglichkeiten gedacht. Das vorstehend erwähnte beispielhafte Computersystem soll den Umfang der vorliegenden Offenbarung auf keine Weise einschränken.In another embodiment, operator and management interfaces, e.g. a display, keyboard, and cursor control device, may be coupled to bus 820 to support the operator's direct interaction with the computer system. Other operator and managerial interfaces may be provided over network connections connected through communications port 860. The external storage device 810 can be any type of external hard drives, floppy drives, IOMEGA® Zip drives, Compact Disc - Read Only Memory (CD-ROM), Compact Disc - Re-Writable (CD-RW), Digital Video Disc - Read Only memory (DVD-ROM). The components described above are only intended as examples of various possibilities. The exemplary computer system mentioned above is not intended to limit the scope of the present disclosure in any way.

Es wird daher von Durchschnittsfachleuten erkannt, dass die Diagramme, Schemata, Veranschaulichungen und dergleichen konzeptionelle Ansichten oder Prozesse darstellen, die Systeme und Verfahren für das Einsetzen dieser Erfindung veranschaulichen. Die Funktionen der verschiedenen in den Figuren gezeigten Elemente können sowohl durch die Verwendung spezieller Hardware als auch durch Hardware, die die zugeordnete Software ausführen kann, bereitgestellt werden. Ebenso sind alle in den Figuren gezeigten Schalter nur konzeptionell. Ihre Funktion kann durch den Betrieb von Programmlogik, durch spezielle Logik, durch das Zusammenwirken von Programmsteuerung und spezieller Logik oder sogar manuell ausgeführt werden, wobei die bestimmte Technik von der diese Erfindung implementierenden Entität ausgewählt werden kann. Fachleute verstehen ferner, dass die hierin beschriebene beispielhafte Hardware, Software, Prozesse, Verfahren und/oder Betriebssysteme nur für veranschaulichende Zwecke dienen und daher nicht auf eine bestimmte genannte beschränkt sein sollen.It is therefore recognized by those of ordinary skill in the art that the diagrams, schematics, illustrations, and the like represent conceptual views or processes that illustrate systems and methods for employing this invention. The functions of the various elements shown in the figures can be provided both through the use of dedicated hardware and through hardware capable of executing the associated software. Likewise, all switches shown in the figures are conceptual only. Their function may be performed by operation of program logic, by special logic, by interaction of program control and special logic, or even manually, where the particular technique may be chosen by the entity implementing this invention. Those skilled in the art further understand that the example hardware, software, processes, methods, and/or operating systems described herein are for illustrative purposes only and, as such, are not intended to be limited to any particular one named.

Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung formuliert werden, ohne von dem grundsätzlichen Umfang davon abzuweichen. Der Umfang der Erfindung wird durch die Ansprüche bestimmt, die folgen. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die beinhaltet sind, um es einem Durchschnittsfachmann zu ermöglichen, die Erfindung herzustellen und zu verwenden, wenn sie mit den Informationen und Kenntnissen kombiniert werden, die dem Durchschnittsfachmann zur Verfügung stehen.While the foregoing describes various embodiments of the invention, other and further embodiments of the invention may be devised without departing from the basic scope thereof. The scope of the invention is determined by the claims that follow. The invention is not limited to the described embodiments, variants or examples, which are included to enable a person skilled in the art to make and use the invention when combined with the information and knowledge available to the person skilled in the art.

Die vorliegende Offenbarung stellt ein System und Verfahren mit CNN-basiertem Framework für die Erkennung von Haustieren und Personen in einem Fahrzeug bereit.The present disclosure provides a CNN-based framework system and method for detecting pets and people in a vehicle.

Die vorliegende Offenbarung stellt ein System und ein Verfahren bereit, das die Auswirkungen der Temperatur über einen längeren Zeitraum hinweg berücksichtigt.The present disclosure provides a system and method that accounts for the effects of temperature over an extended period of time.

Die vorliegende Offenbarung stellt ein System und ein Verfahren bereit, das selbst bei variierenden Lichtverhältnissen und unbekannten Ereignissen eine genaue Vorhersage ermöglicht.The present disclosure provides a system and method that enables accurate prediction even under varying lighting conditions and unknown events.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 6922622 B2 [0003]
US6138068A [0005]
US6028509A [0006]

Claims

A temperature-based rescue system (100) implemented in a vehicle, the system (100) comprising: a detection unit (102) configured to detect one or more entities present in the vehicle and generate a set of detection data packets accordingly; and a control unit (106) comprising a learning module (110), the control unit (106) being coupled to the recognition unit (102) and the control unit (106) comprising one or more processors, the one or more processors being operable with a coupled to memory, the memory storing instructions executable by the one or more processors to: extracting a set of temporal attributes from the set of recognition data packets received from the recognition unit (102); using the learning module (110), mapping the extracted set of temporal attributes and identifying accordingly whether the one or more recognized entities is any one or a combination of a human entity and a non-human entity; in the case where the detected entity is identified as a non-human entity that is not supervised by a human entity, determining the temperature in the vehicle after predefined time intervals; and generating a set of safety alert audio signals when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

Temperature based rescue system (100) after claim 1 wherein the system (100) compares the determined temperature and the real-time time interval to a data set comprising sets of pre-stored temperature and time intervals; and if the determined temperature and the real-time time interval exceed at least one of the sets of pre-stored temperature and time intervals, the system generates the set of safety alert signals.

Temperature based rescue system (100) after claim 1 wherein the learning module (110) comprises a convolutional neural network (CNN) architecture.

Temperature based rescue system (100) after claim 3 wherein the CNN architecture comprises at least two branches, including a branch for human entity identification and a branch for non-human entity identification.

Temperature based rescue system (100) after claim 4 wherein the non-human entity identification branch classifies the extracted set of temporal attributes and accordingly identifies the presence of the non-human entity in at least one seat of the vehicle.

Temperature based rescue system (100) after claim 4 wherein the human entity identification branch classifies the extracted set of temporal attributes and accordingly identifies the presence of the human entity in at least one seat of the vehicle.

Temperature based rescue system (100) after claim 1 , wherein the system (100) comprises a temperature sensor, wherein the temperature sensor detects the real-time temperature in the vehicle when the detected entity is an unattended non-human entity, and wherein in the case where the system ( 100) identifies that the sensed entity is a human entity or a supervised non-human entity, the control unit (106) generates a set of reset signals to reset a timer configured with the system (100).

A temperature-based rescue method (700), comprising: detecting (702), by a detection unit, one or more entities present in a vehicle and generating a set of detection data packets accordingly; extracting (704) in a control unit a set of temporal attributes from the set of recognition data packets received from the recognition unit; mapping (706), in the control unit, using a learning engine, the extracted set of temporal attributes and identifying accordingly whether the one or more recognized entities are any one or a combination of a human entity and a non-human entity; determining (708) in the control unit, after predefined time intervals, the temperature in the vehicle in the case where the detected entity is identified as a non-human entity that is not supervised by a human entity; and generating (710) in the control unit a set of safety warning audio signals when the elapsed time at the determined temperature exceeds a corresponding predefined time interval.

Temperature based rescue procedure (700) after claim 8 , the method (700) comprising comparing the determined temperature and the real-time time interval with a data set comprising sets of pre-stored temperature and time intervals, and when the determined temperature and the real-time time interval match at least one of the sets of pre-stored temperature and exceed time intervals, including generating the set of safety alert audio signals.

Temperature Based Rescue Procedures (700) according to claim 8 , the method (700) comprising: sensing the real-time temperature in the vehicle by a temperature sensor, in the case where the sensed entity is an unattended non-human entity, and generating in the control unit a set of reset signals to reset a timer when the detected entity is identified as a human entity or a supervised non-human entity.