BRPI0823237B1

BRPI0823237B1 - METHOD AND SYSTEM FOR COMBINING SENSOR DATA

Info

Publication number: BRPI0823237B1
Application number: BRPI0823237-7A
Authority: BR
Inventors: Bengtsson Fredrik
Original assignee: Volvo Lastvagnar Ab
Filing date: 2008-11-07
Publication date: 2025-01-21

Abstract

MÉTODO E SISTEMA COMBINAÇÃO DE DADOS DE SENSOR. A presente invenção se refere a um método para combinação de dados de sensor coletados por pelo menos dois sensores (100, 110) acoplados para pelo menos uma aplicação (50). Em concordância com a presente invenção, pelo menos um dos sensores (100) proporciona dados de sensor relacionados ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo (110) proporciona dados de sensor não relacionados ao comportamento relacionado ao motorista. Os dados de sensor dos pelo menos dois sensores (100, 110) são combinados na medida em que os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para a pelo menos uma aplicação (50).SENSOR DATA COMBINATION METHOD AND SYSTEM. The present invention relates to a method for combining sensor data collected by at least two sensors (100, 110) coupled to at least one application (50). In accordance with the present invention, at least one of the sensors (100) provides driver-related sensor data of a driver-related behavior and at least one external sensor (110) provides sensor data unrelated to the driver-related behavior. The sensor data from the at least two sensors (100, 110) are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to the at least one application (50).

Description

TECHNICAL FIELD

[0001] A presente invenção se refere a um método e um sistema para combinação de dados de sensor em concordância com os preâmbulos das reivindicações de patente independentes posteriormente.[0001] The present invention relates to a method and a system for combining sensor data in accordance with the preambles of the independent patent claims hereinafter.

OVERVIEW OF THE STATE OF THE TECHNIQUE

[0002] Veículos modernos podem ser equipados com sensores para detecção de orientação de olhar fixo de motorista e os assemelhados. Tal informação é utilizada, por exemplo, para acessar distração de motorista e fadiga de sonolência. É também conhecido no estado da técnica proporcionar sensores para monitoramento da situação de tráfego circundante do veículo. A informação coletada por estes sensores é, por exemplo, suprida para aplicações como sistemas de alerta de colisão que são utilizados para prevenir ou atenuar colisões entre o veículo e um obstáculo.[0002] Modern vehicles can be equipped with sensors for detecting driver gaze orientation and the like. Such information is used, for example, to assess driver distraction and drowsiness fatigue. It is also known in the prior art to provide sensors for monitoring the traffic situation surrounding the vehicle. The information collected by these sensors is, for example, supplied to applications such as collision warning systems that are used to prevent or mitigate collisions between the vehicle and an obstacle.

[0003] Um sistema de segurança que deve reagir prontamente e rapidamente e apropriadamente sobre uma ameaça tem que ser alertado da ameaça. Esta informação é suprida por um sistema de rastreamento utilizando dados a partir de sensores monitorando o ambiente circundante. Por esta razão, é desejável que rastros (traços) de um provável obstáculo sejam iniciados e reportados para um sistema de segurança o mais cedo possível (tão precedentemente quanto possível). É também desejável que para um rastro que é reportado seja atribuído (assinalado) um escore (contagem) de alto rastro. Um escore de rastro é uma quantidade que acessa tão quanto alguém pode acreditar (confiar) no rastro reportado. Em geral, um rastro é reportado como válido para aplicação de segurança quando um determinado escore de rastro foi alcançado.[0003] A security system that must react promptly and quickly and appropriately to a threat must be alerted to the threat. This information is supplied by a tracking system using data from sensors monitoring the surrounding environment. For this reason, it is desirable that tracks of a probable obstacle are initiated and reported to a security system as early as possible (as early as possible). It is also desirable that a track that is reported be assigned (assigned) a high track score (score). A track score is a quantity that accesses how much one can believe (trust) the reported track. In general, a track is reported as valid for security application when a certain track score has been reached.

[0004] Isto pode ser conseguido no estado da técnica por se adquirir (efetuar) diversas mensurações consecutivas e, portanto, é uma tarefa muito consumidora de tempo. O tempo necessário é proporcional para a qualidade das mensurações. Uma regra geral é a de que mais e melhores mensurações são o período de validação mais curto que é necessário.[0004] This can be achieved in the prior art by acquiring (performing) several consecutive measurements and is therefore a very time-consuming task. The time required is proportional to the quality of the measurements. A general rule is that the more and better measurements the shorter the validation period that is required.

[0005] O escore de estrada é mantido depois devalidação e é dinamicamente atualizado (updated) para refletir a qualidade do escore em qualquer tempo. Uma propriedade de um sistema de rastreamento que bem desempenha são altos escores de rastro.[0005] The road score is maintained after validation and is dynamically updated to reflect the quality of the score at any given time. A property of a well-performing tracking system is high trail scores.

[0006] Consecução de altos escores de rastropode ser acessada por construção de modelos de sensor detalhados, aperfeiçoamento de sensores presentes ou adição de múltiplos sensores, também conhecidos como fusão de sensor.[0006] Achieving high trace scores can be achieved by building detailed sensor models, enhancing existing sensors, or adding multiple sensors, also known as sensor fusion.

[0007] O pedido de patente europeu número EP 1878 604 A1 apresenta um sistema de segurança para umveículo onde um alerta de motorista é emitido fundamentadosobre a proporção de tempo de olhar fixo fora de estrada ea duração de um olhar fixo fora de estrada corrente (normal). O sistema incorpora foco de motorista/atenção demotorista como um sensor que tem capacidade de geração demensurações. O estado ocular do motorista é detectado e comparado com dados a partir de sensores que monitoram o ambiente circundante. O sistema pode concluir se o motorista possui o foco sobre um perigo iminente ou se o motorista está sem atenção.[0007] European patent application number EP 1878 604 A1 discloses a safety system for a vehicle wherein a driver alert is issued based on the ratio of off-road gaze time to the duration of a current (normal) off-road gaze. The system incorporates driver focus/driver attention as a sensor having measurement generation capability. The driver's eye state is detected and compared with data from sensors monitoring the surrounding environment. The system can conclude whether the driver is focused on an imminent hazard or whether the driver is inattentive.

[0008] O pedido de patente europeu número EP 1484 014 A1 apresenta um método para determinação do estadode alerta de um motorista. Radar é utilizado para detectar um objeto e uma câmera é utilizada para detectar uma direção de olhar fixo de motorista. A direção de olhar fixo é comparada com a direção do objeto, e estado de alerta de motorista pode ser estabelecido. Na análise, os sinais de sensor são tratados por um filtro de Kalman estendido. Na medida em que a influência sobre uma estimativa de mensurações precedentes em um filtro de Kalman diminui exponencialmente, os erros de mensuração dos sinais de sensores são correlacionados em tempo no ajuste (set-up) de sistema.[0008] European patent application number EP 1484 014 A1 discloses a method for determining the alertness of a driver. Radar is used to detect an object and a camera is used to detect a driver's gaze direction. The gaze direction is compared with the direction of the object, and the driver's alertness can be established. In the analysis, the sensor signals are processed by an extended Kalman filter. As the influence on an estimate of previous measurements in a Kalman filter decreases exponentially, the measurement errors of the sensor signals are correlated in time in the system set-up.

SUMMARY OF THE INVENTION

[0009] É um objetivo da presente invenção o de proporcionar um método e um sistema que aperfeiçoam a confiabilidade e/ou a velocidade de acesso de dados de dados coletados por sensores.[0009] It is an object of the present invention to provide a method and a system that improve the reliability and/or speed of data access of data collected by sensors.

[00010] Os objetivos são conseguidos pelas características das reivindicações de patente independentes posteriormente. As outras reivindicações de patente dependentes posteriormente e a presente descrição apresentam concretizações vantajosas da presente invenção.[00010] The objects are achieved by the features of the following independent patent claims. The further dependent patent claims below and the present description present advantageous embodiments of the present invention.

[00011] Um método é proposto para combinação de dados de sensor coletados por pelo menos dois sensores acoplados para pelo menos uma aplicação, em que pelo menos um dos sensores proporciona dados de sensor relacionado ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo proporciona dados de sensor não relacionados a comportamento relacionado ao motorista. Os dados de sensor dos pelo menos dois sensores são combinados na medida em que os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para pelo menos uma aplicação. Em geral, dados a partir de dois sensores são não correlacionados. Ao contrário, por exemplo, se dois sensores estão ambos visando o mesmo objeto, dados são naturalmente correlacionados, na medida em que os mesmos representam o mesmo objeto físico. Entretanto, erros de mensuração são usualmente modelados como não correlacionados, o que é freqüentemente uma suposição muito boa, por exemplo, para sensores utilizando diferentes princípios de mensuração.[00011] A method is proposed for combining sensor data collected by at least two coupled sensors for at least one application, wherein at least one of the sensors provides driver-related sensor data of a driver-related behavior and at least one external sensor provides sensor data unrelated to driver-related behavior. The sensor data from the at least two sensors are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to at least one application. In general, data from two sensors are uncorrelated. In contrast, for example, if two sensors are both targeting the same object, data are naturally correlated, to the extent that they represent the same physical object. However, measurement errors are usually modeled as uncorrelated, which is often a very good assumption, for example, for sensors using different measurement principles.

[00012] Os dados de sensor dos pelo menos dois sensores são combinados e/ou intercambiados quando os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para seus ruídos. A precedente fusão dos dados de sensor possibilita para consideração dos dados relacionados ao motorista como dados brutos como qualquer um de outros dados de sensor.[00012] Sensor data from the at least two sensors are combined and/or exchanged when the respective measurement errors of the data are uncorrelated in time with respect to their noise. The foregoing fusion of the sensor data makes it possible to consider the driver-related data as raw data like any other sensor data.

[00013] Os dados de sensor dos pelo menos dois sensores são alimentados para uma unidade de fusão de sensor para combinação e/ou intercâmbio dos dados de sensor. A informação dos dados de sensor relacionados ao motorista pode ser compartilhada com outros dados de sensor antes que os dados venham a ser alimentados para uma aplicação concreta. A análise de dados de sensor pode se tornar mais precisa e mais rápida.[00013] Sensor data from the at least two sensors is fed to a sensor fusion unit for combining and/or exchanging the sensor data. The driver-related sensor data information may be shared with other sensor data before the data is fed to a specific application. Analysis of sensor data may become more accurate and faster.

[00014] Os dados de sensor são transmitidos para uma ou mais aplicações subseqüentes para a unidade de fusão de sensor, em que ruído dos dados de sensor é correlacionado em tempo depois de processamento na unidade de fusão de sensor. A aplicação pode preferivelmente ser uma função de assistência aplicada em um veículo, tal como um sistema de rastreamento, um sistema de segurança, por exemplo, alerta de colisão e os assemelhados.[00014] The sensor data is transmitted to one or more subsequent applications to the sensor fusion unit, wherein noise from the sensor data is time correlated after processing in the sensor fusion unit. The application may preferably be an assistance function applied to a vehicle, such as a tracking system, a safety system, e.g. collision warning, and the like.

[00015] Vantajosamente, o motorista é modelado como um sensor adicional (“sensor de motorista”) proporcionando dados de sensor relacionados ao motorista, conseguidos por utilização de um sensor adicional que monitora o motorista. Particularmente, os dados relacionados ao motorista indicam parâmetros tal como uma direção de olhar fixo, uma orientação de cabeça e/ou qualquer outra orientação de uma indicação de motorista de uma direção de olhar fixo e/ou atenção de motorista (estado de alerta) com respeito para um objeto no ambiente circundante. A informação de motorista pode ser utilizada para identificar objetos em ambientes desordenados e/ou serutilizada para preparar um sistema de rastreamento para verum objeto que pode adentrar o campo de visão de um sensor (externo) tradicional. Por incorporação de foco de motorista/atenção de motorista como um sensor que tem capacidade de geração de mensurações, por intermédio de exemplo, um sistema de segurança, pode se desempenhar melhor e agir mais rápido. O sistema de segurança pode também proporcionar informação de se um motorista está ciente de um alvo particular ou não. Em concordância com o estado da técnica, dados de sensor são combinados em um estágio posterior, particularmente, a saída de fusão de sensor é combinada com a saída do sensor relacionado ao motorista.[00015] Advantageously, the driver is modeled as an additional sensor (“driver sensor”) providing driver-related sensor data, achieved by using an additional sensor that monitors the driver. In particular, the driver-related data indicates parameters such as a gaze direction, a head orientation and/or any other orientation of a driver indicating a gaze direction and/or driver attention (alertness) with respect to an object in the surrounding environment. The driver information can be used to identify objects in cluttered environments and/or be used to prepare a tracking system to see an object that may enter the field of view of a traditional (external) sensor. By incorporating driver focus/driver attention as a sensor that has measurement generation capability, for example, a safety system can perform better and act faster. The safety system can also provide information as to whether a driver is aware of a particular target or not. In accordance with the prior art, sensor data is combined at a later stage, in particular, the sensor fusion output is combined with the driver-related sensor output.

[00016] Vantajosamente, os dados de sensor dos pelo menos dois sensores podem ser preferivelmente combinados em um estado onde ruído dos dados de sensor é não correlacionado em tempo. A precedente fusão dos dados de sensor possibilita para consideração dos dados relacionados ao motorista como dados brutos como qualquer um de outros dados de sensor.[00016] Advantageously, the sensor data from the at least two sensors may preferably be combined in a state where noise from the sensor data is uncorrelated in time. The foregoing fusion of the sensor data enables consideration of the driver-related data as raw data like any other sensor data.

[00017] Em concordância com uma etapa de método vantajosa da presente invenção, os dados de sensor podem ser pré-processados antes de alimentação dos mesmos para a unidade de fusão de sensor, possibilitando uma análise mais precisa e mais sensível dos dados de sensor.[00017] In accordance with an advantageous method step of the present invention, sensor data may be pre-processed prior to feeding it to the sensor fusion unit, enabling more accurate and more sensitive analysis of the sensor data.

[00018] Em concordância com uma etapa de método vantajosa adicional da presente invenção, os dados de sensor relacionados ao motorista podem compreender pelo menos dados de atenção de motorista e/ou de direção de olhar fixo de motorista. Isto é particularmente favorável se os dados de sensor fundidos são apresentados para um sistema de rastreamento ou um sistema de segurança tal como um sistema de alerta de colisão.[00018] In accordance with a further advantageous method step of the present invention, the driver-related sensor data may comprise at least driver attention and/or driver gaze direction data. This is particularly favourable if the fused sensor data is presented to a tracking system or a safety system such as a collision warning system.

[00019] Em concordância com uma etapa de método vantajosa adicional da presente invenção, os dados de sensor relacionados ao motorista e dados derivados a partir da aplicação podem ser utilizados para estimar o campo de visão do motorista. Favoravelmente, ao campo de visão do motorista individual pode ser dada entrada em um algoritmo de acesso de ameaça que subseqüentemente pode avaliar se um perigo possível detectado por um ou mais sensores externos pode ser percebido pelo motorista. Adicionalmente, validação de um rastro de um objeto pode ser aperfeiçoada e pode acontecer mais rápida do que no estado da técnica.[00019] In accordance with a further advantageous method step of the present invention, driver-related sensor data and data derived from the application can be used to estimate the driver's field of view. Favorably, the individual driver's field of view can be input into a threat assessment algorithm which can subsequently evaluate whether a possible danger detected by one or more external sensors can be perceived by the driver. Additionally, validation of an object's trail can be improved and can occur faster than in the prior art.

[00020] Em concordância com uma etapa de método vantajosa adicional da presente invenção, um tempo de reação do motorista e/ou um nível de distração do motorista pode ser derivado a partir de uma comparação entre dados de sensor relacionados ao motorista indicando detecção cognitiva de um objeto e detecção do objeto por pelo menos um sensor externo. A comparação pode na maior parte ser dependente bem como de outras coisas, por exemplo, o campo de visão de motorista. Favoravelmente, se o tempo de reação é longo, um alarme, por exemplo, quando existe um risco de uma colisão, pode ser emitido mais cedo e quando o tempo de reação é curto, um alarme pode ser emitido mais tarde. Isto reduz o risco de alarmes falsos que poderiam irritar e distrair o motorista. Adicionalmente, se um veículo é utilizado por uma multidão de motoristas, perfis de motorista individuais podem ser armazenados e as aplicações acopladas para assistir funções podem ser adaptadas para o motorista individual. Particularmente, os perfis podem incluir o campo de visão de motorista.[00020] In accordance with a further advantageous method step of the present invention, a driver reaction time and/or a driver distraction level can be derived from a comparison between driver-related sensor data indicating cognitive detection of an object and detection of the object by at least one external sensor. The comparison can for the most part be dependent on other things as well, for example the driver's field of view. Advantageously, if the reaction time is long, an alarm, for example when there is a risk of a collision, can be issued earlier and when the reaction time is short, an alarm can be issued later. This reduces the risk of false alarms that could irritate and distract the driver. Additionally, if a vehicle is used by a crowd of drivers, individual driver profiles can be stored and the coupled applications for assisting functions can be adapted to the individual driver. In particular, the profiles can include the driver's field of view.

[00021] Em concordância com uma etapa de método vantajosa adicional da presente invenção, um tempo de reação pode ser extraído a partir de uma diferença de tempo entre uma detecção de um objetivo por pelo menos um sensor externo e dados de sensor relacionados ao motorista indicando detecção cognitiva do mesmo objeto pelo motorista. Particularmente, o tempo de reação pode ser monitorado ao longo de um intervalo de tempo pré- determinado fornecendo uma estimativa sobre a atenção de motorista. Por exemplo, um aumento no tempo de reação do motorista pode ser interpretado como uma redução de atenção de motorista, e um alerta apropriado e/ou reação da aplicação pode ser emitido/a. O tempo de reação pode também ser dependente do campo de visão do motorista, o que pode também ser levado em consideração.[00021] In accordance with a further advantageous method step of the present invention, a reaction time may be extracted from a time difference between a detection of a target by at least one external sensor and driver-related sensor data indicating cognitive detection of the same target by the driver. In particular, the reaction time may be monitored over a predetermined time interval providing an estimate of driver attention. For example, an increase in driver reaction time may be interpreted as a reduction in driver attention, and an appropriate alert and/or application reaction may be issued. The reaction time may also be dependent on the driver's field of view, which may also be taken into account.

[00022] Em concordância com uma etapa de método vantajosa adicional da presente invenção, a pelo menos uma aplicação pode ser um sistema de segurança veicular.[00022] In accordance with an additional advantageous method step of the present invention, the at least one application may be a vehicle safety system.

[00023] Em concordância com uma etapa de método vantajosa adicional da presente invenção, o tempo de reação de um ou mais motoristas pode ser extraído e armazenado para utilização no sistema de segurança veicular. Funções de segurança podem ser adaptadas para motoristas individuais.[00023] In accordance with a further advantageous method step of the present invention, the reaction time of one or more drivers can be extracted and stored for use in the vehicle safety system. Safety functions can be adapted for individual drivers.

[00024] Em concordância com uma etapa de método vantajosa adicional da presente invenção, o tempo de reação pode particularmente ser utilizado para adaptar um nível de sensibilidade do sistema de segurança. Em contradição para a presente invenção, é difícil projetar a sensibilidade de um sistema de segurança ativo no estado da técnica. Se um sistema de segurança é excessivamente sensível, o mesmo irá sofrer a partir de uma alta taxa de alarme falso. Se o sistema de segurança é insensível o mesmo poderia ser excessivamente tardio para atuar quando uma decisão é tomada. Se o tempo de reação pode ser estimado e comparado com um perfil de motorista geral, particularmente um perfil fixado ou um perfil adaptativo, estimado durante cenários de direção adequados, por exemplo, um sistema de segurança pode ser projetado para alertar mais cedo ou mais tarde do que para um caso onde nenhuma informação considerando o tempo de reação de motorista é disponível, por conseqüência, aumentando o desempenho do sistema de segurança. Particularmente, devido para latências em sistemas de sensor e limitada cobertura de sensor, estimativa de um tempo de reação por utilização de rastros pode não ser suficiente. Tipicamente, quando rastros são reportados, estes dados são velhos e suas idades são usualmente desconhecidas.[00024] In accordance with a further advantageous method step of the present invention, the reaction time may particularly be used to adapt a sensitivity level of the safety system. In contradiction to the present invention, it is difficult to design the sensitivity of an active safety system in the prior art. If a safety system is excessively sensitive, it will suffer from a high false alarm rate. If the safety system is insensitive it could be excessively late to act when a decision is made. If the reaction time can be estimated and compared with a general driver profile, particularly a fixed profile or an adaptive profile, estimated during suitable driving scenarios, for example, a safety system may be designed to alert earlier or later than for a case where no information regarding driver reaction time is available, consequently increasing the performance of the safety system. In particular, due to latencies in sensor systems and limited sensor coverage, estimation of a reaction time by using traces may not be sufficient. Typically, when tracks are reported, these data are old and their ages are usually unknown.

[00025] Em concordância com uma etapa de método vantajosa adicional da presente invenção, o tempo de reação pode ser utilizado para avaliar um nível de atenção de motorista. Se o tempo de reação muda dentro de um tempo pré-determinado, particularmente aumenta, um alarme pode ser emitido. Não é necessário verificar como o motorista maneja o veículo, mas preferencialmente se o motorista está muito melhor ou pior em acesso do ambiente do que os sensores externos, tais como radar, lidar [LIDAR (da sigla inglesa Light Detection And Ranging) é uma tecnologia ótica de detecção remota que mede propriedades da luz refletida de modo a obter a distância e/ou outra informação a respeito de um determinado objeto distante], câmeras e os assemelhados, empregados no ou acoplados para o veículo.[00025] In accordance with a further advantageous method step of the present invention, the reaction time can be used to assess a driver's attention level. If the reaction time changes within a predetermined time, particularly increases, an alarm can be issued. It is not necessary to check how the driver handles the vehicle, but rather whether the driver is much better or worse at accessing the environment than external sensors, such as radar, lidar [LIDAR (Light Detection And Ranging) is an optical remote sensing technology that measures properties of reflected light in order to obtain the distance and/or other information about a given distant object], cameras and the like, employed in or coupled to the vehicle.

[00026] Em concordância com uma etapa de método vantajosa adicional da presente invenção, a pelo menos uma aplicação pode ser um sistema de rastreamento. Por modelação do motorista como um sensor, pode ser derivado precedentemente, se um motorista reconhece um objeto chegando (a caminho) e um provável perigo ou não. Também, informação considerando propriedades de objeto, tais como posição, tamanho, interesse percebido pode ser extraída.[00026] In accordance with a further advantageous method step of the present invention, the at least one application may be a tracking system. By modeling the driver as a sensor, it may be derived previously, whether a driver recognizes an approaching object and a probable danger or not. Also, information regarding object properties, such as position, size, perceived interest may be extracted.

[00027] Em concordância com uma etapa de método vantajosa adicional da presente invenção, os dados de sensor relacionados ao motorista podem ser combinados com dados de rastreamento de um ou mais objetos, tornando a análise mais precisa e mais rápida. Particularmente, um rastro pode ser validado com confiabilidade mais alta e provavelmente mais cedo do que com sensores puramente externos.[00027] In accordance with a further advantageous method step of the present invention, driver-related sensor data can be combined with tracking data from one or more objects, making the analysis more accurate and faster. In particular, a track can be validated with higher reliability and probably earlier than with purely external sensors.

[00028] Em concordância com uma etapa vantajosa adicional de método da presente invenção, em um sistema de rastreamento um modelo de sensor pode ser construído que pelo menos compreende um ou mais de:(i) uma probabilidade de que o motorista noticia (percebe) um ou mais objetos;(ii) uma precisão de uma câmera de monitoramento de motorista apresentando uma cabeça do motorista e/ou direção de olhar fixo;(iii) uma relação entre direção de cabeça/de olhar fixo e posição de um ou mais objetos vistos pelo motorista;(iv) uma probabilidade de que o motorista olha para não objetos;(v) um impacto sobre confidência (confiança) de rastro como uma função de atenção de motorista.[00028] In accordance with a further advantageous method step of the present invention, in a tracking system a sensor model may be constructed that at least comprises one or more of: (i) a probability that the driver notices (perceives) one or more objects; (ii) an accuracy of a driver monitoring camera presenting a driver's head and/or gaze direction; (iii) a relationship between head/gaze direction and position of one or more objects seen by the driver; (iv) a probability that the driver looks at non-objects; (v) an impact on trail confidence as a function of driver attention.

[00029] Em concordância com uma etapa de método vantajosa adicional da presente invenção, um rastro pode ser reconhecido como válido se dados de sensor de rastreamento e dados de sensor relacionados ao motorista coincidem.[00029] In accordance with a further advantageous method step of the present invention, a trail can be recognized as valid if tracking sensor data and driver-related sensor data match.

[00030] Em concordância com um outro aspecto da presente invenção, um sistema de segurança é proposto que emprega um método para combinação de dados de sensor coletados por pelo menos dois sensores acoplados para pelo menos uma aplicação, em que pelo menos um dos sensores proporciona dados de sensor relacionados ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo proporciona dados de sensor não relacionados ao comportamento relacionado ao motorista, em que os dados de sensor dos pelo menos dois sensores são combinados na medida em que os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para a pelo menos uma aplicação. Favoravelmente, a presente invenção pode ser um componente em um sistema de rastreamento. O sistema de segurança pode, por exemplo, ser um sistema de alerta de colisão, um sistema de controle de cruzeiro e os assemelhados, por exemplo, sistema de evitação de colisão, sistema de interseção de segurança, sistema de assistência de mudança de faixa, e preferivelmente qualquer sistema que necessita conhecer onde outros objetos estão.[00030] In accordance with another aspect of the present invention, a safety system is proposed that employs a method for combining sensor data collected by at least two coupled sensors for at least one application, wherein at least one of the sensors provides driver-related sensor data of a driver-related behavior and at least one external sensor provides sensor data unrelated to the driver-related behavior, wherein the sensor data from the at least two sensors are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to the at least one application. Favorably, the present invention may be a component in a tracking system. The safety system may, for example, be a collision warning system, a cruise control system, and the like, e.g., collision avoidance system, intersection safety system, lane change assist system, and preferably any system that needs to know where other objects are.

[00031] Em concordância com um outro aspecto da presente invenção, um sistema de rastreamento é proposto que emprega um método para combinação de dados de sensor coletados por pelo menos dois sensores acoplados para pelo menos uma aplicação, em que pelo menos um dos sensores proporciona dados relacionados ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo proporciona dados de sensor não relacionados ao comportamento relacionado ao motorista, em que os dados de sensor dos pelo menos dois sensores são combinados na medida em que os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para a pelo menos uma aplicação, em que o sistema compreende pelo menos um de um sistema de rastreamento e um sistema de segurança.[00031] In accordance with another aspect of the present invention, a tracking system is proposed that employs a method for combining sensor data collected by at least two coupled sensors for at least one application, wherein at least one of the sensors provides driver-related data of a driver-related behavior and at least one external sensor provides sensor data unrelated to the driver-related behavior, wherein the sensor data from the at least two sensors are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to the at least one application, wherein the system comprises at least one of a tracking system and a safety system.

[00032] Adicionalmente, um programa de computador compreendendo um código de programa de computador adaptado para desempenhar um método ou para se utilização em um método para combinação de dados de sensor coletados por pelo menos dois sensores acoplados para pelo menos uma aplicação, em que pelo menos um dos sensores proporciona dados de sensor relacionados ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo proporciona dados de sensor não relacionadosao comportamento relacionado ao motorista, em que os dadosde sensor dos pelo menos dois sensores são combinados na medida em que os respectivos erros de mensuração dos dadossão não correlacionados em tempo com respeito para a pelo menos uma aplicação quando referido programa está rodandoem um microcomputador programável. Preferivelmente, o programa de computador pode ser adaptado para ser baixado (downloaded) para uma unidade de controle ou um de seus componentes quando rodando em um computador que está conectado para a internet.[00032] Additionally, a computer program comprising computer program code adapted to perform a method or to be used in a method for combining sensor data collected by at least two coupled sensors for at least one application, wherein at least one of the sensors provides driver-related sensor data of a driver-related behavior and at least one external sensor provides sensor data unrelated to the driver-related behavior, wherein the sensor data from the at least two sensors are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to the at least one application when said program is running on a programmable microcomputer. Preferably, the computer program may be adapted to be downloaded to a control unit or one of its components when running on a computer that is connected to the internet.

[00033] Adicionalmente, um produto de programa de computador armazenado em um meio (mídia) de leitura por computador é proposto, compreendendo um código de programa para utilização em um método em um computador, em que o método é um método para combinação de dados de sensor coletados por pelo menos dois sensores acoplados para pelo menos uma aplicação, em que pelo menos um dos sensores proporciona dados de sensor relacionados ao motorista de um comportamento relacionado ao motorista e pelo menos um sensor externo proporciona dados de sensor não relacionados ao comportamento relacionado ao motorista, em que os dados de sensor dos pelo menos dois sensores são combinados na medida em que os respectivos erros de mensuração dos dados são não correlacionados em tempo com respeito para a pelo menos uma aplicação.[00033] Additionally, a computer program product stored on a computer-readable medium is proposed, comprising program code for use in a method on a computer, wherein the method is a method for combining sensor data collected by at least two coupled sensors for at least one application, wherein at least one of the sensors provides driver-related sensor data of a driver-related behavior and at least one external sensor provides sensor data unrelated to the driver-related behavior, wherein the sensor data from the at least two sensors are combined to the extent that the respective measurement errors of the data are uncorrelated in time with respect to the at least one application.

BRIEF DESCRIPTION OF THE DRAWINGS

[00034] A presente invenção juntamente com os objetivos e vantagens anteriormente mencionados pode ser mais bem compreendida a partir da descrição detalhada das seguintes concretizações, mas não restrita asconcretizações, mostradas esquematicamente: Figura 1 em concordância com uma concretização preferida da presente invenção níveis de dados de radar, por exemplo, dados brutos, situações de detecção e rastros;Figura 2 um sistema de rastreamento preferido que compreende também um sistema de fusão de sensor em concordância com a presente invenção;Figura 3 uma aplicação da presente invenção quando dois veículos se movimentando à frente de um caminhão fornecendo um rastro por veículo;Figuras 4a-c uma seqüência de detecção de um objeto com uma primeira detecção do objeto escondido em um sistema de rastreamento (Figura 4a), reportando do objeto validado (Figura 4b) e reconhecimento visual do objeto por um motorista (Figura 4c);Figura 5 uma descrição de sistema de um sistema de rastreamento preferido;Figura 6 um sistema de rastreamento proporcionando uma funcionalidade para “conhecimento de motorista”;Figura 7 um exemplo onde um obstáculo é primeiro detectado por um campo de sensor externo e validação não é influenciada por um sensor de motorista neste primeiro estágio; eFigura 8 um exemplo onde um obstáculo é primeiro detectado por um sensor de motorista e validação não é influenciada por um sensor externo neste primeiro estágio.[00034] The present invention together with the aforementioned objectives and advantages can be better understood from the detailed description of the following embodiments, but not restricted to the embodiments, shown schematically: Figure 1 in accordance with a preferred embodiment of the present invention radar data levels, e.g., raw data, detection situations and tracks; Figure 2 a preferred tracking system further comprising a sensor fusion system in accordance with the present invention; Figure 3 an application of the present invention when two vehicles moving in front of a truck providing a track per vehicle; Figures 4a-c a sequence of detection of an object with a first detection of the hidden object in a tracking system (Figure 4a), reporting of the validated object (Figure 4b) and visual recognition of the object by a driver (Figure 4c); Figure 5 a system description of a preferred tracking system; Figure 6 a tracking system providing a functionality for “driver awareness”; Figure 7 an example where an obstacle is first detected by a sensor field external and validation is not influenced by a driver sensor at this first stage; and Figure 8 is an example where an obstacle is first detected by a driver sensor and validation is not influenced by an external sensor at this first stage.

DETAILED DESCRIPTION OF PREFERRED EMBODIMENTS OF THE INVENTION

[00035] Nos Desenhos, elementos iguais ou similares são referidos por iguais numerais de referência. Os Desenhos são meramente representações esquemáticas, não intencionadas para representar parâmetros específicos da presente invenção, Além do mais, os Desenhos são intencionados para representar unicamente concretizações típicas da presente invenção e, conseqüentemente, não deveriam ser considerados como limitantes do escopo da presente invenção.[00035] In the Drawings, the same or similar elements are referred to by the same reference numerals. The Drawings are merely schematic representations, not intended to represent specific parameters of the present invention. Furthermore, the Drawings are intended to represent only typical embodiments of the present invention and, consequently, should not be considered as limiting the scope of the present invention.

[00036] Particularmente, quando a presente invenção é utilizada em combinação com um filtro de rastreamento, a presente invenção pode ser tratada como uma extensão do filtro de rastreamento. Favoravelmente, em concordância com a presente invenção, um novo sensor, tal como o sensor de motorista, pode ser incluído e corretamente tratado, preferivelmente como um componente em uma estrutura de rastreamento. A presente invenção pode, então, proporcionar como benefícios um tempo de validação, uma estatística de tempo de motorista diminuída/os e mais.[00036] Particularly, when the present invention is used in combination with a tracking filter, the present invention can be treated as an extension of the tracking filter. Favorably, in accordance with the present invention, a new sensor, such as a driver sensor, can be included and properly treated, preferably as a component in a tracking structure. The present invention can then provide as benefits a validation time, decreased driver time statistics and more.

[00037] Em concordância com uma concretização preferida da presente invenção, a Figura 1 representa esquematicamente uma maneira preferida de como dados são produzidos e apresentados para uma aplicação (50) por intermédio de um sistema de rastreamento (52), se originando a partir de níveis de dados de radar, por exemplo, de dados brutos, situações de detecção e rastros. Um sensor de radar (10) monitora um ambiente (12). Para um sensor de radar (10) mensurações consistem de detecções (B), o sensor de radar (10) envia dados brutos (A) como entrada para uma unidade (14). A unidade (14) proporciona um algoritmo de detecção de sinal, que, por exemplo, pode ser fundamentado sobre análise de espectro utilizando transformação de Fourier para detectar objetos. A saída de unidade (14) compreende detecções (B) que são alimentadas para a aplicação (52), por exemplo, um sistema de mitigação de colisão ou os assemelhados.[00037] In accordance with a preferred embodiment of the present invention, Figure 1 schematically represents a preferred manner in which data is produced and presented to an application (50) by means of a tracking system (52), originating from radar data levels, e.g., from raw data, detection situations and tracks. A radar sensor (10) monitors an environment (12). For a radar sensor (10) measurements consist of detections (B), the radar sensor (10) sends raw data (A) as input to a unit (14). The unit (14) provides a signal detection algorithm, which, for example, may be based on spectrum analysis using Fourier transform to detect objects. The output of unit (14) comprises detections (B) that are fed to the application (52), e.g., a collision mitigation system or the like.

[00038] As detecções (B) se originam a partirde picos de sinal que são determinados por algoritmos dedetecção para se originarem a partir de um objeto no campode visão de radar, por exemplo, que são de limiar, isto é,estão acima de um conjunto de nível de sinal pré-definidoou adaptativo. Propriedades de tais detecções são, porexemplo, uma faixa, um azimute e uma velocidade de umobjeto detectado no campo de visão de radar. Do sistema derastreamento (52) saem rastros (C) na forma de umaestimativa de uma posiçãoe/ou valores esperados de umaposiçãoe/ou uma função de densidade de probabilidadede seu vetor de estadoDeveria ser observado queesta posição pode ser multidimensional para incluirvelocidades e os assemelhados. Os dados (C) sãoapresentados para uma aplicação (50).[00038] Detections (B) originate from signal peaks that are determined by detection algorithms to originate from an object in the radar field of view, for example, that are threshold, i.e., are above a predefined or adaptive signal level set. Properties of such detections are, for example, a range, an azimuth and a speed of an object detected in the radar field of view. From the tracking system (52) there are output tracks (C) in the form of an estimate of a position and/or expected values of a position and/or a probability density function of its state vector It should be noted that this position may be multidimensional to include velocities and the like. Data (C) are presented for an application (50).

[00039] Particularmente, detecções (B) sãoposições em espaço de mensuração de objetos visíveis para osensor de radar (10), mas nenhuma correlação de tempo éassumida. O que significa dizer, os algoritmos de detecçãonão fazem uso de detecções precedentes quando detectandouma nova. Em contradição a isto, o sistema de rastreamento(52) faz uso de uma detecção precedente quando uma novadetecção (B) é detectada.[00039] In particular, detections (B) are positions in measurement space of objects visible to the radar sensor (10), but no time correlation is assumed. That is to say, the detection algorithms do not make use of previous detections when detecting a new one. In contradiction to this, the tracking system (52) makes use of a previous detection when a new detection (B) is detected.

[00040] A saída de detecções pelo sistema derastreamento (52) são detecções verificadas através deconsistência de tempo e modelo.[00040] The detections output by the tracking system (52) are detections verified through time and model consistency.

[00041] Um vetor de estadodescreve umambiente (12) circundando o veículo transportando um sensor(por exemplo, sensor de radar (10) montado sobre umveículo) em tempopara um sistema com um tempo deamostra constantDevido para o fato de quemensurações geralmente são influenciadas por ruídoestocásticoé um parâmetro estocástico e é descritoatravés de sua função de densidade de probabilidade [00041] A state vector describes an environment (12) surrounding the vehicle carrying a sensor (e.g. radar sensor (10) mounted on a vehicle) in real time for a system with a constant sample time Due to the fact that measurements are often influenced by stochastic noise is a stochastic parameter and is described through its probability density function

[00042]descreve as mensurações apresentadaspelo sensorem tempoNa medida em que os mesmos sãoafetados por ruído estocástico, mensurações podem serdescritas por uma função de densidade de probabilidade [00042] describes the measurements presented by the sensor in time As they are affected by stochastic noise, measurements can be described by a probability density function.

[00043] A meta do sistema de rastreamento (52)é a de apresentar a melhor descrição dedeterminadastodas as mensurações(para um sistema de Nsensores), que é a função de densidade de probabilidadecondicional [00043] The goal of the tracking system (52) is to present the best description of determined all measurements (for a system of Nsensors), which is the conditional probability density function

[00044] Quando este distúrbio é conhecido, umaEstimativeda posição do objeto pode ser calculada. Umestimador muito comum é o de utilizar o valor esperadoFiltros de rastreamento comuns são os chamadosfiltros de Kalman, por exemplo, com modificações tais comoo filtro de Kalman Estendido (Extended Kalman filter) oufiltro de Kalman sem rastro (Unscented Kalman filter) paramanejar não linearidades, ou métodos de Monte Carlo, taiscomo filtros de partícula, que é um filtro amplamenteutilizado fundamentado sobre métodos de Monte Carlo. Umsistema de rastreamento (52) utiliza modelos de processo emodelos de sensor para calcular o resultado. O rastroresultante é uma combinação de todos os dados recebidos, eerros de estimativas são, conseqüentemente, correlacionadosem tempo, embora menores do que o erro de mensuração.[00044] When this disorder is known, anEstimation the position of the object can be calculated. A very common estimator is to use the expected value Common tracking filters are so-called Kalman filters, for example, with modifications such as the Extended Kalman filter or Unscented Kalman filter to handle nonlinearities, or Monte Carlo methods, such as particle filters, which is a widely used filter based on Monte Carlo methods. A tracking system (52) uses process models and sensor models to calculate the result. The resulting trace is a combination of all received data, and estimation errors are therefore correlated in time, although smaller than the measurement error.

[00045] O filtro de Kalman é um filtrorecursivo eficiente que estima o estado de um sistemadinâmico a partir de uma série de mensurações incompletas eruidosas.[00045] The Kalman filter is an efficient recursive filter that estimates the state of a dynamical system from a series of noisy incomplete measurements.

[00046] Uma aplicação exemplificativa de comoutilizar um filtro de Kalman deveria ser provisão deinformação precisa e continuamente atualizada acerca daposiçãoe da velocidade de um objeto determinadosomente uma seqüência de observações sobre sua posiçãocada uma das quais inclui o mesmo erro. O filtro deKalman é utilizado em uma ampla faixa de aplicações deengenharia de radar para visão de computador. Filtragem deKalman é um tópico importante em teoria de controle eengenharia de sistemas de controle.[00046] An exemplary application of how to use a Kalman filter would be to provide accurate and continuously updated information about the position and the speed of an object determined only by a sequence of observations about its position each of which includes the same error. The Kalman filter is used in a wide range of applications from radar engineering to computer vision. Kalman filtering is an important topic in control theory and control systems engineering.

[00047] Por exemplo, em uma aplicação de radar,onde se está interessado em rastreamento de um alvo (tambémchamado objeto neste contexto), informação acerca dalocalização, velocidade e aceleração do alvo é mensuradacom um grande grau de corrupção por ruído em qualquerinstante de tempo. O filtro de Kalman explora as dinâmicasdo alvo, que governam sua evolução de tempo, para removeros efeitos do ruído e determinar uma boa estimativa dalocalização do alvo no tempo presente (filtragem), em umtempo futuro (previsão), ou em um tempo no passado(interpolação ou amaciamento). Uma versão simplificada deum filtro de Kalman é o filtro alfa beta, ainda comumenteutilizado, que possui constantes de ponderação estática aoinvés de utilização de matrizes de co-variância.[00047] For example, in a radar application, where one is interested in tracking a target (also called an object in this context), information about the location, velocity, and acceleration of the target is measured with a large degree of noise corruption at any given instant in time. The Kalman filter exploits the dynamics of the target, which govern its time evolution, to remove the effects of noise and determine a good estimate of the target's location at the present time (filtering), at a future time (prediction), or at a time in the past (interpolation or smoothing). A simplified version of a Kalman filter is the still commonly used alpha beta filter, which has static weighting constants instead of using covariance matrices.

[00048] A Figura 2 ilustra um sistema derastreamento preferido (52), que é também um sistema defusão de sensor (20).[00048] Figure 2 illustrates a preferred tracking system (52), which is also a sensor fusion system (20).

[00049] Quando existe uma multiplicidade desensores (110), isto é, (N > 1), o sistema de rastreamento(52) é também um sistema de fusão (20), porque este utilizadiversas fontes de dados, isto é, do sensor (1) até osensor (N), para cálculo da estimativa deOs sinaisde sensor são alimentados para o sistema de fusão (20),que, quando concretizado como sistema de rastreamento (52)pode compreender uma unidade (22) proporcionando coleta(gating) e associação de dados, conectada para uma unidade(24) que inicia novos rastros, atualiza (update) escore derastro e elimina (delete) rastros (isto é, desempenhagerenciamento de rastro), que é conectada para uma unidade(26), proporcionando rastros atualizados para as aplicaçõesde recepção, que é conectada para uma unidade (28),proporcionando previsões tais como posição sendoconectada para a unidade (22) como o ponto de partidaprevisto utilizado pelo sistema na partida da próximaiteração para associar dados com posição e utilizado napróxima iteração do sistema de rastreamento (52).Particularmente, a posição de espaço de estado é previstautilizando um modelo de movimentação. Isto é necessáriopara associar rastro atualizado a partir da iteraçãoprecedente com as mensurações da iteração seguinte. Comoirá ser mostrado na Figura 3, associação de rastro-paramensuração é assumida ser dura justamente quando os doisveículos rastreados estão posicionados próximos um emrelação ao outro.[00049] When there is a multiplicity of sensors (110), that is, (N > 1), the tracking system (52) is also a fusion system (20), because it uses several data sources, that is, from sensor (1) to sensor (N), to calculate the estimate of The sensor signals are fed to the fusion system (20), which, when embodied as a tracking system (52), may comprise a unit (22) providing gating and data association, connected to a unit (24) that initiates new tracks, updates track scores and deletes tracks (i.e., performs track management), which is connected to a unit (26) providing updated tracks to receiving applications, which is connected to a unit (28) providing predictions such as position being connected to the unit (22) as the predicted starting point used by the system at the start of the next iteration to associate data with position and used in the next iteration of the tracking system (52). In particular, the state space position is predicted using a motion model. This is necessary to associate updated tracks from the preceding iteration with the measurements of the following iteration. As will be shown in Figure 3, the track-parameter association is assumed to be tight precisely when the two tracked vehicles are positioned close to each other.

[00050] Da unidade (26) saem dados para váriasaplicações (50) tais como Controle de Cruzeiro Ativo[Active Cruise Control (ACC)], Mitigação de Colisão porFrenagem [Collision Mitigation by Braking (CMBB)] e osassemelhados.[00050] From the unit (26) data is output for various applications (50) such as Active Cruise Control (ACC), Collision Mitigation by Braking (CMBB) and the like.

[00051] Entretanto, um sistema de fusão (20)pode ser muito mais do que justamente um sistema derastreamento (52) ou uma aplicação (50). De fato, umsistema de fusão (20) não necessita conter um sistema derastreamento (52). Ele pode conter fusão de informaçãosobre níveis de algoritmo “mais altos” do que um sistema derastreamento (52), ou fazer uso de algoritmos de acesso desituação para “compreender”, por exemplo, a situação detráfego, e os assemelhados. Em algum sentido, qualquersistema que faz uso de múltiplas fontes de informação podeser referido para desempenhar fusão de sensor no sentido omais amplo do conceito.[00051] However, a fusion system (20) may be much more than just a tracking system (52) or an application (50). Indeed, a fusion system (20) need not contain a tracking system (52). It may contain information fusion on “higher” algorithm levels than a tracking system (52), or make use of situation access algorithms to “understand”, for example, the traffic situation, and the like. In some sense, any system that makes use of multiple sources of information may be said to perform sensor fusion in the broadest sense of the concept.

[00052] O vetor de estadocontémsemelhantemente as posições, velocidades, acelerações e/ouorientação de objetos circundantes, tais como, por exemplo,veículos. Uma seqüência de posições acreditada se originara partir de um objeto único é um assim chamado “rastro”.[00052] The state vector similarly contains the positions, velocities, accelerations and/or orientations of surrounding objects, such as vehicles. A sequence of positions believed to originate from a single object is a so-called “trace”.

[00053] Para eficiência de algoritmo, um“rastro” em um sistema de rastreamento é algumas vezessimplesmente a posição estimadade um objeto em tempo“Posição” não necessariamente significa uma posição deduas dimensões (bi-dimensional) (2D) em espaço cartesiano,isto depende da parametrização do objeto e é comum ser dedimensões mais altas. Por exemplo, a representação“aceleração constante” de 6 dimensões é amplamenteutilizada em sistemas de rastreamento automotivo comcoordenadasnde x, y são vetoresortogonais abrangendo um espaço de duas dimensões e ospontos representam a derivada de temposendo umaprimeira derivada,sendo uma segunda derivada, etc.).[00053] For algorithmic efficiency, a “trace” in a tracking system is sometimes simply the estimated position of an object in time “Position” does not necessarily mean a two-dimensional (2D) position in Cartesian space, it depends on the parameterization of the object and is often higher dimensional. For example, the 6-dimensional “constant acceleration” representation is widely used in automotive tracking systems with coordinates where x, y are orthogonal vectors spanning a two-dimensional space and the points represent the time derivative being a first derivative, being a second derivative, etc.).

[00054] Referindo-se agora para a Figura 3 demaneira a ilustrar a utilização da presente invenção em umaconcretização exemplificativa preferida, dois veículos(60a, 60b) estão se movimentando à frente de um caminhão(90). As estrelas (64a, 64b) assinaladas para os veículos(60a, 60b) [somente uma é referida com um numeral dereferência para cada veículo (60a, 60b)] podem serassociadas para formar dois rastros (62a, 62b) indicadospor linhas sólidas conectando as estrelas (62a, 62b), emque rastro (62a) é associado com o veículo (60a) e rastro(62b) é associado com o veículo (60b).[00054] Referring now to Figure 3 in order to illustrate the use of the present invention in a preferred exemplary embodiment, two vehicles (60a, 60b) are moving ahead of a truck (90). The stars (64a, 64b) designated for the vehicles (60a, 60b) [only one is designated with a reference numeral for each vehicle (60a, 60b)] may be associated to form two trails (62a, 62b) indicated by solid lines connecting the stars (62a, 62b), wherein trail (62a) is associated with the vehicle (60a) and trail (62b) is associated with the vehicle (60b).

[00055] Tipicamente, um sistema de rastreamento[montado, por exemplo, sobre o caminhão (90)] não reportaum rastro (62a, 62b) fundamentado em uma detecção única,mas espera por diversas mensurações para serem associadasantes que se tenha “certeza o suficiente”. O resultado é oassim chamado “rastro validado”.[00055] Typically, a tracking system [mounted, for example, on the truck (90)] does not report a trace (62a, 62b) based on a single detection, but waits for several measurements to be associated before it is “sure enough”. The result is a so-called “validated trace”.

[00056] É desejado minimizar o tempo que seleva para validar um rastro (62a, 62b), na medida em que omesmo não é, até que seja validado, e que pode serseguramente utilizado por uma aplicação (50) (por exemplo,mitigação de colisão). Quanto mais mensurações recebidas,mais fácil é para validar ou rejeitar um rastro (62a, 62b).Preferivelmente, o sistema de rastreamento (52) irá contera invenção conduzindo para o tempo de validação de rastroreduzido.[00056] It is desired to minimize the time it takes to validate a trace (62a, 62b) insofar as it is not, until it is validated, safe to use by an application (50) (e.g., collision mitigation). The more measurements received, the easier it is to validate or reject a trace (62a, 62b). Preferably, the tracking system (52) will contain the invention leading to reduced trace validation time.

[00057] Um “sensor de motorista”, isto é, umsensor (100) que proporciona dados de sensor relacionadosao motorista, pode apresentar estimativas de posição decabeça de motorista (e/ou uma outra posição específica demotorista) e direção de olhar fixo. Por intermédio deexemplo, o sensor de motorista (100) pode ser carregado nocaminhão (90). Através deste sensor de motorista (100), épossível monitorar o comportamento de motorista, o quesignifica que o motorista é efetivamente considerado comoum sensor (100), o motorista sendo monitorado pelo sensorde motorista (100). Os outros sensores (110), referidoscomo sensores externos (110), tipicamente detectam posiçõese velocidades de objetos, tais como os veículos (60a, 60b),no ambiente do caminhão (90). Quando os sensores externos(110) e o sensor de motorista (100) são fundidos no sistemade fusão de sensor [(20) na Figura 2], a validação derastro é facilitada e aperfeiçoa em desempenho e precisão.[00057] A “driver sensor”, that is, a sensor (100) that provides sensor data related to the driver, may provide estimates of the driver's head position (and/or other specific driver position) and gaze direction. By way of example, the driver sensor (100) may be carried on the truck (90). Through this driver sensor (100), it is possible to monitor driver behavior, which means that the driver is effectively considered as a sensor (100), the driver being monitored by the driver sensor (100). The other sensors (110), referred to as external sensors (110), typically detect positions and velocities of objects, such as vehicles (60a, 60b), in the environment of the truck (90). When the external sensors (110) and the driver sensor (100) are fused in the sensor fusion system [(20) in Figure 2], trace validation is facilitated and improved in performance and accuracy.

[00058] Referindo-se agora para a Figura 1,dados de sensor são coletados pelo sensor de motorista[(100) na Figura 3] e por pelo menos um sensor externo[(110) na Figura 3], por exemplo, um sensor de radar (10)ou os assemelhados monitorando o ambiente circundante (12).O sensor de motorista [(100) na Figura 3] e o pelo menos umsensor externo (100) são acoplados para um sistema derastreamento (52), e são vantajosamente combinados(fundidos) na medida em que os respectivos erros demensuração dos dados são não correlacionados em tempo comrespeito para a pelo menos uma aplicação (50). Os dados desensor são combinados como detecções (B), quando os errosde mensuração são ainda não correlacionados em tempo pelomenos com respeito para seus ruídos, e então tratados nosistema de fusão de sensor (20) (Figura 2). O erro deestimativa dos dados de sensor processados é correlacionadoem tempo depois de processamento no sistema de fusão desensor (20). Depois de passagem do sistema de fusão desensor (20), a expressão “rastro” pode ser apropriadamenteutilizada para os dados de sensor, na medida em que a maiorparte dos sistemas de fusão consiste de um sistema derastreamento. Os dados de sensor (rastro) podem,subseqüentemente, ser apresentados para uma aplicação (50).[00058] Referring now to Figure 1, sensor data are collected by the driver sensor [(100) in Figure 3] and by at least one external sensor [(110) in Figure 3], for example a radar sensor (10) or the like monitoring the surrounding environment (12). The driver sensor [(100) in Figure 3] and the at least one external sensor (100) are coupled to a tracking system (52), and are advantageously combined (fused) insofar as the respective measurement errors of the data are uncorrelated in time with respect to the at least one application (50). The sensor data are combined as detections (B), when the measurement errors are still uncorrelated in time at least with respect to their noise, and then processed in the sensor fusion system (20) (Figure 2). The estimation error of the processed sensor data is correlated in time after processing in the sensor fusion system (20). After passing through the sensor fusion system (20), the term "trace" may be appropriately used for the sensor data, since most fusion systems consist of a tracking system. The sensor data (trace) may subsequently be presented to an application (50).

[00059] Como um benefício, pode também sercomparado quão rápido os dois diferentes tipos de sensor,isto é, sensor de motorista (100) e sensor externo (110),reagem um com respeito ao outro. Se o sensor de motorista(100) indica uma resposta rápida ou é ainda mais rápido doque o sensor externo (110), pode ser assumido que omotorista não está distraído ou sonolento. Uma mudança emuma tal relação pode favoravelmente ser correlacionada comsonolência, na medida em que o motorista pode se tornarcansado conforme o tempo passa (com o decorrer do tempo),mas os sensores externos (110) são esperados paradesempenhar o mesmo o tempo todo.[00059] As a benefit, it can also be compared how fast the two different types of sensor, i.e., driver sensor (100) and external sensor (110), react with respect to each other. If the driver sensor (100) indicates a fast response or is even faster than the external sensor (110), it can be assumed that the driver is not distracted or drowsy. A change in such a ratio can be favorably correlated with drowsiness, in that the driver may become tired as time passes (over time), but the external sensors (110) are expected to perform the same all the time.

[00060] A Figura 4a e até a Figura 4c ilustramuma seqüência de detecção de um objeto. O objeto é porintermédio de exemplo, um veículo (60) se movimentando emuma auto-estrada (rodovia) adentrando uma estrada na qualum caminhão (90) está se movimentando.[00060] Figure 4a and through Figure 4c illustrate a sequence of detection of an object. The object is, by way of example, a vehicle (60) moving on a highway entering a road on which a truck (90) is moving.

[00061] Na Figura 4a, um sensor montado emcaminhão (110) detecta o veículo se aproximando (60) comuma primeira detecção em (t = t0), indicado pela estrela(64) atada para o veículo (60) no Desenho. As estrelas (64)ilustram, por exemplo, mensurações de radar. Neste tempo, oobjeto [veículo (60)] está escondido no sistema derastreamento montado sobre o caminhão (90). O veículo seaproximando (60) pode ainda sair do campo de visão domotorista.[00061] In Figure 4a, a truck-mounted sensor (110) detects the approaching vehicle (60) with a first detection at (t = t0), indicated by the star (64) attached to the vehicle (60) in the Drawing. The stars (64) illustrate, for example, radar measurements. At this time, the object [vehicle (60)] is hidden from the tracking system mounted on the truck (90). The approaching vehicle (60) may still exit the driver's field of view.

[00062] Na Figura 4b, em tempo (t = t1), maisdetecções foram feitas pelo sensor (110) e o rastro doobjeto [veículo (60)] é validado, indicado por trêsestrelas (64) (ilustrando mensurações de radar) atadas parao veículo (60), simbolizando o rastro. O sistema derastreamento reporta objeto válido [isto é, dado (C) naFigura 1]. Antes da validação, dado (B) pode existir, masdado (C) é vazio. Quando dado (B) tiver provado a presençade um objeto (validação) é reportado como dado (C) que podeentão ser utilizado em funções veiculares, tais como alertade colisão, controle de cruzeiro ativo, mitigação porfrenagem ou os assemelhados.[00062] In Figure 4b, at time (t = t1), more detections have been made by sensor (110) and the track of the object [vehicle (60)] is validated, indicated by three stars (64) (illustrating radar measurements) attached to vehicle (60), symbolizing the track. The tracking system reports a valid object [i.e., data (C) in Figure 1]. Prior to validation, data (B) may exist, but data (C) is empty. When data (B) has proven the presence of an object (validation) it is reported as data (C) which can then be used in vehicular functions such as collision warning, active cruise control, braking mitigation or the like.

[00063] Na Figura 4c, em (t = tD), umconhecimento visual do objeto (60) por um motorista docaminhão (90), isto é, pelo sensor de motorista (100), éindicado. O veículo (60) pode justamente ter adentrado ocampo de visão do motorista e o motorista pode ter olhadono ponto onde o veículo (60) apareceu. Este pode ter sidoreconhecido por um sensor relacionado ao motorista (100)por monitoramento de uma mudança na direção de golpe devista do motorista e/ou posição de cabeça ou osassemelhados.[00063] In Figure 4c, at (t = tD), a visual recognition of the object (60) by a driver of the truck (90), i.e. by the driver sensor (100), is indicated. The vehicle (60) may have just entered the driver's field of vision and the driver may have looked at the point where the vehicle (60) appeared. This may have been recognized by a driver-related sensor (100) by monitoring a change in the driver's direction of vision and/or head position or the like.

[00064] Favoravelmente, a diferença de tempoentre a primeira detecção em (t = t0) e (t = tD() pode serderivada como uma mensuração para o tempo de reação domotorista. Particularmente, o motorista auxilia emvalidação do alvo como (tD < t1).[00064] Favorably, the time difference between the first detection at (t = t0) and (t = tD() can be derived as a measure for the driver's reaction time. In particular, the driver assists in target validation as (tD < t1).

[00065] A Figura 5 ilustra a seqüência daFigura 4 em um fluxograma. Em (t = t0) uma primeiradetecção de sensor ocorre na etapa (200). Esta primeiradetecção é inserida (dá entrada) para o sistema derastreamento na etapa (202) que desempenha gerenciamento derastro e saída de rastros validados. O campo visual domotorista reconhece o objeto em t( = tD) na etapa (204). Naetapa (206), um acesso de tempo de reação é desempenhadofundamentado sobre a diferença de tempo (tD - t0).[00065] Figure 5 illustrates the sequence of Figure 4 in a flowchart. At (t = t0) a first sensor detection occurs in step (200). This first detection is input to the tracking system in step (202) which performs track management and validated track output. The driver's visual field recognizes the object at t ( = tD) in step (204). In step (206), a reaction time assessment is performed based on the time difference (tD - t0).

[00066] Se a etapa (204) e a etapa (202) sãoconectadas (indicado por uma linha tracejada), a Figura 4cilustra tanto o cálculo de um tempo de reação e quanto deum tempo de validação de rastro reduzido, na medida em quena etapa (202) a parte de escore de rastro pode sercalculada.[00066] If step (204) and step (202) are connected (indicated by a dashed line), Figure 4 illustrates both the calculation of a reaction time and a reduced trace validation time, as in step (202) the trace score part can be calculated.

[00067] O tempo que se leva para o motoristareagir sobre a presença de objetos detectados [veículo(60)] pode ser utilizado para estimar futuros tempos dereação, isto é, o tempo que se leva a partir de quando umasituação de direção muda até que o motorista toma uma açãoapropriada.[00067] The time it takes for the driver to react to the presence of detected objects [vehicle(60)] can be used to estimate future reaction times, i.e. the time it takes from when a driving situation changes until the driver takes appropriate action.

[00068] É a mera presença de objetos [porexemplo, veículo (60)] que irá conduzir para alguma reaçãoa partir do motorista no caminhão. Se o motorista não sabedo veículo (60) na faixa adjacente, o motoristaprovavelmente irá olhar em direção do mesmo quando vendo omesmo no “canto de seu olho”. Este tempo (tD) pode seracessado por mensuração do tempo que se leva para ummotorista “ter conhecimento visualmente” de um objeto [porexemplo, veículo (60)] a partir de quando um sensorprimeiro noticia (avisa) isto em (t = t0). De maneira aestimar este tempo, detecções de sensor não rastreadas (nãovalidadas) podem ser utilizadas como uma marca (etiqueta)de tempo para quando o objeto [por exemplo, veículo (60)]primeiro aparece (surge) no campo de visão de motorista.Por utilização da posição de rastro que por último irá serreportada como uma base para a posição, o tempo da primeiradetecção de rastro (10) pode ser subtraído a partir dequando o motorista olha naquele ponto em t(D), em que paraum sensor de radar típico, “último” significa um tempo demenos do que um segundo, por intermédio de exemplo, entre100 ms até 400 ms. Isto resulta em uma estimativa do tempode reação cognitiva do motorista.[00068] It is the mere presence of objects [e.g., vehicle (60)] that will lead to some reaction from the driver in the truck. If the driver is unaware of vehicle (60) in the adjacent lane, the driver will likely look toward it when seeing it in the “corner of his eye”. This time (tD) can be assessed by measuring the time it takes for a driver to “visually become aware” of an object [e.g., vehicle (60)] from when a sensor first notices it at (t = t0). In order to estimate this time, untracked (unvalidated) sensor detections can be used as a time stamp for when the object [e.g. vehicle (60)] first appears (appears) in the driver's field of view. By using the track position that will last be reported as a basis for the position, the time of the first track detection (10) can be subtracted from when the driver looks at that point at t(D), where for a typical radar sensor, "last" means a time of less than one second, e.g. between 100 ms to 400 ms. This results in an estimate of the driver's cognitive reaction time.

[00069] Isto é tornado possível por fusão deinformação precedente no nível de algoritmos derastreamento de sensor, isto é, por consideração do sensorde motorista e de um ou mais sensores externos. Isto ésuperior para os métodos conhecidos, na medida em quedevido para o fato de latências em sistemas de sensor ecobertura de sensor limitada, isto não é suficiente paraestimar tais tempos de reação utilizando rastros, o que é oque um sistema de sensor supre em um alto nível. Uma razãoprimordial é a de que a verdadeira idade de rastro,relacionado para a ocorrência da realmente primeiradetecção, é desconhecida. É conhecido no estado da técnicaestimar o tempo de reação fundamentado sobre manobras porobjetos já detectados, mas isto proporciona um acesso(avaliação) mais sutil e pode ser influenciado pordiferenças em comportamento de motorista.[00069] This is made possible by fusion of previous information at the level of sensor tracking algorithms, i.e. by taking into account the driver sensor and one or more external sensors. This is superior to known methods, insofar as due to latencies in sensor systems and limited sensor coverage, it is not sufficient to estimate such reaction times using traces, which is what a sensor system provides to a high degree. A primary reason is that the true trace age, related to the occurrence of the actual first detection, is unknown. It is known in the prior art to estimate reaction time based on maneuvers by already detected objects, but this provides a more subtle assessment and can be influenced by differences in driver behavior.

[00070] O tempo (t1 – t0) é geralmentedesconhecido porque (t1) é a única marca de tempodisponível. Então, irá ser impossível derivar o tempo dereação desejado (tD - t0). Devido para o fato de que épossível para (tD) ser menor do que (t1), isto faz não sersempre possível calcular em um nível mais alto. Entretanto,em concordância com a presente invenção, por alteração dorastreamento, a marca de tempo da primeira detecção podeser incluída.[00070] The time (t1 - t0) is generally unknown because (t1) is the only time stamp available. Therefore, it will be impossible to derive the desired reaction time (tD - t0). Because it is possible for (tD) to be smaller than (t1), it is not always possible to calculate at a higher level. However, in accordance with the present invention, by altering the tracking, the time stamp of the first detection can be included.

[00071] Favoravelmente, uma mensuração pode serderivada que é provavelmente para ser correlacionada com otempo de reação de motorista e nível de distração. Istopode ser feito por olhada não sobre como o motoristamanuseia o próprio veículo, mas preferivelmente quantomelhor ou pior o motorista é em acessar o ambientecomparado com um sistema de sensor consistindo deradares/lidares/câmeras e os assemelhados.[00071] Favorably, a measurement can be derived that is likely to be correlated with driver reaction time and level of distraction. This can be done by looking not at how the driver handles the vehicle itself, but rather how much better or worse the driver is at assessing the environment compared to a sensor system consisting of radars/lidars/cameras and the like.

[00072] A Figura 6 exibe uma concretizaçãopreferida adicional da presente invenção por representaçãode um sistema de rastreamento proporcionando umafuncionalidade para “conhecimento de motorista”.[00072] Figure 6 shows an additional preferred embodiment of the present invention by depicting a tracking system providing a “driver awareness” functionality.

[00073] O motorista é um provedor de informaçãoe pode favoravelmente ser modelado como um sensor adicionalpara um ou mais sensores externos que monitoram o ambiente.Se o motorista olha rapidamente ou freqüentemente paraalgum ponto existe uma alta probabilidade de que algumacoisa está lá, por exemplo, um veículo se aproximando(objeto) ou os assemelhados.[00073] The driver is an information provider and can favorably be modeled as an additional sensor to one or more external sensors that monitor the environment. If the driver looks quickly or frequently at some point there is a high probability that something is there, for example an approaching vehicle (object) or the like.

[00074] Isto pode ser utilizado em rastreamentoprecedente, isto é, fusão de sensor, para identificarobjetos, por exemplo, em ambientes desordenados, ou parapreparar um sistema de rastreamento para ver um objeto quepode adentrar o campo de visão de um sensor tradicional.Pode ser esperado do motorista possuir um campo de visãomais amplo do que um sistema de sensor único.[00074] This can be used in pre-tracking, i.e. sensor fusion, to identify objects, for example, in cluttered environments, or to prepare a tracking system to see an object that may enter the field of view of a traditional sensor. The driver can be expected to have a wider field of view than a single sensor system.

[00075] A Figura 6 proporciona uma ilustraçãoesquemática de um sistema de rastreamento com umafuncionalidade adicional para “conhecimento de motorista”.Dados de uma multiplicidade de sensores, isto é, sensor (1)(sensor de motorista), sensor (2) (detecções), sensor (3)(detecções) na etapa (302) são alimentados para um sistemade rastreamento na etapa (304). O sensor de motorista podeentregar um sinal de um conhecimento visual de um objeto.Se a atividade é uma confirmação visual ou não, épreferivelmente julgado pelo sistema de rastreamento,comparando a atividade visual com outros dados de sensor.Na etapa (306) é verificado se o escore de rastreamento éalto. Se SIM, o objeto [por exemplo (60) nas Figuras 4a –4c] foi identificado como um alvo confirmado válido paraser reportado para uma aplicação de segurança, por exemplo,um sistema de alerta de colisão.[00075] Figure 6 provides a schematic illustration of a tracking system with an additional functionality for “driver awareness”. Data from a plurality of sensors, i.e., sensor (1) (driver sensor), sensor (2) (detections), sensor (3) (detections) at step (302) are fed to a tracking system at step (304). The driver sensor may deliver a signal of a visual awareness of an object. Whether the activity is a visual confirmation or not is preferably judged by the tracking system by comparing the visual activity with other sensor data. At step (306) it is checked whether the tracking score is high. If YES, the object [e.g. (60) in Figures 4a-4c] has been identified as a valid confirmed target to be reported to a safety application, e.g., a collision warning system.

[00076] O tempo (t0) representa quando umsensor primeiro detecta a presença de um objeto provável e(t1) representa quando o objeto foi identificado como umalvo confirmado válido para ser reportado para a aplicaçãode segurança. É desejável que o tempo (t1 - t0) devesse tãopequeno quanto possível.[00076] The time (t0) represents when a sensor first detects the presence of a probable object and (t1) represents when the object has been identified as a valid confirmed target to be reported to the security application. It is desirable that the time (t1 - t0) should be as small as possible.

[00077] Por incorporação de atenção demotorista/foco de motorista como um sensor que temcapacidade de geração de mensurações, novos rastros podemser prontamente iniciados, por conseqüência, aumentando oescore de rastro de maneira a ganhar valores de confidênciamais altos. Isto é formalmente conseguido por se fazendo ummodelo de sensor no sentido de teoria de rastreamento,modelando (pelo menos):(i) a probabilidade de que o motorista noticia(percebe) um objeto (uma função do campo de visão domotorista);(ii) a precisão de que a câmera de monitoramentode motorista apresenta a direção de cabeça/de olhar fixo;(iii)a relação entre direção de cabeça/de olharfixo e posição de objetos vistos;(iv) a probabilidade de que o motorista olha para“não objetos”;(v) o impacto sobre confidência (confiança) derastro como uma função de atenção de motorista.[00077] By incorporating driver attention/driver focus as a sensor that has measurement generation capabilities, new tracks can be readily initiated, thereby increasing the track score so as to gain higher confidence values. This is formally achieved by making a sensor model in the sense of tracking theory, modeling (at least): (i) the probability that the driver notices an object (a function of the driver's field of view); (ii) the accuracy with which the driver tracking camera presents the head/gaze direction; (iii) the relationship between head/gaze direction and position of viewed objects; (iv) the probability that the driver looks at “non-objects”; (v) the impact on confidence of the track as a function of driver attention.

[00078] Estas quantidades podem todas seremteoricamente e/ou experimentalmente derivadas e o “sensorde motorista” pode ser manipulado similarmente para amaneira para a qual qualquer sensor (externo) é utilizadoem um sistema de fusão de dados de sensor.[00078] These quantities can all be theoretically and/or experimentally derived and the “driver sensor” can be manipulated similarly to the way any (external) sensor is used in a sensor data fusion system.

[00079] Isto também evidentemente pode serutilizado para acesso (avaliação) de ameaça. Por exemplo, érazoável considerar um rastro que não foi visualmenteconhecido pelo motorista por algum tempo, como uma grandeameaça do que um rastro para o qual o motorista olhourecentemente.[00079] This can also of course be used for threat assessment. For example, it is reasonable to consider a trail that has not been visually known to the driver for some time as a greater threat than a trail that the driver has looked at recently.

[00080] Por introdução de conhecimento visualde alvos, um sistema de segurança preferido podedesempenhar melhor e atuar mais prontamente (rápido). Étambém possível proporcionar informação para um sistema seum motorista é alertado de um alvo particular ou não.[00080] By introducing visual knowledge of targets, a preferred safety system can perform better and act more promptly (faster). It is also possible to provide information to a system whether a driver is alerted to a particular target or not.

[00081] Deveria ser observado que, se o “tempode validação reduzido”, opção na Figura 4C é ativo [caixa(204) conectada para a caixa (202)], a caixa (202) é igualà caixa (304).[00081] It should be noted that if the “reduced validation time” option in Figure 4C is active [box(204) connected to box(202)], box(202) is equal to box(304).

[00082] A Figura 7 ilustra um exemplo de ondeum objeto, por exemplo, um veículo (60), é primeirodetectado por um sensor externo (110) montado sobre umcaminhão (90) e validação da detecção não é influenciadapor um sensor de motorista (100) neste primeiro estágio. Emum estado posterior, quando o objeto e/ou seu rastro (62)pode já ser validado, o sensor de motorista (100) podeinfluenciar a validação. Um sensor de campo de visão (130)é assinalado para o sensor externo (110) em que o objeto[veículo (60)] adentra o campo de sensor externo (130). Umcampo de visão (120) é assinalado para o motorista docaminhão (90). Pode ser estimado quanto tempo se leva parao motorista visualmente conhecer o veículo (60), isto é, orastro (62) assinalado para o veículo (60), depois deadentrar o campo de visão do motorista (120), tanto quantoo mesmo seja conhecido para a fusão ou rastreamento debaixo nível quando o rastro (62) adentrou o campo de visãodo motorista (120).[00082] Figure 7 illustrates an example where an object, e.g. a vehicle (60), is first detected by an external sensor (110) mounted on a truck (90) and validation of the detection is not influenced by a driver sensor (100) at this first stage. At a later stage, when the object and/or its trail (62) may already be validated, the driver sensor (100) may influence the validation. A sensor field of view (130) is signaled to the external sensor (110) where the object [vehicle (60)] enters the external sensor field (130). A field of view (120) is signaled to the driver of the truck (90). It can be estimated how long it takes for the driver to visually recognize the vehicle (60), i.e. the trail (62) signaled for the vehicle (60), after it enters the driver's field of vision (120), as long as the same is known for merging or tracking below level when the trail (62) has entered the driver's field of vision (120).

[00083] Favoravelmente, este ajuste (setup)pode ser utilizado para estimar a região na qual omotorista pode ver objetos, em outras palavras, estimar ocampo de visão visual de motorista (120). Isto é feito porse relembrar onde objetos usualmente estão quandovisualmente conhecidos pelo sensor de motorista (100).Depois de algum tempo, a região irá ser conhecida eassinalada como o campo de visão do motorista (120). Istopode ser utilizado por algoritmos de acesso de ameaça queagora podem acessar (avaliar) se um perigo em potencialpode ser detectado pelo motorista ou não.[00083] Favorably, this setup can be used to estimate the region in which the driver can see objects, in other words, estimate the driver's visual field of view (120). This is done by remembering where objects usually are when visually known by the driver's sensor (100). After some time, the region will be known and marked as the driver's field of view (120). This can be used by threat assessment algorithms which can now assess (evaluate) whether a potential hazard can be detected by the driver or not.

[00084] A Figura 8 ilustra um exemplo onde umobjeto, por exemplo, um veículo (60), é primeiro detectadopelo sensor de motorista (100) e validação não éinfluenciada pelo sensor externo (110) neste primeiroestágio. É improvável que o sensor de motorista (100)sozinho possa validar um rastro (62) do objeto [veículo(60)], sendo o mais provável um sinal muito ruidoso, masexiste uma probabilidade razoável de que a presença para orastro (62) possa ser prontamente iniciada quandomensurações de sensor externo estão disponíveis. Se osensor de motorista (100) está presente, isto podevantajosamente ser mais rápido do que se o sensor demotorista (110) não estivesse presente.[00084] Figure 8 illustrates an example where an object, for example a vehicle (60), is first detected by the driver sensor (100) and validation is not influenced by the external sensor (110) at this first stage. It is unlikely that the driver sensor (100) alone could validate a track (62) of the object [vehicle (60)], most likely a very noisy signal, but there is a reasonable probability that the presence for the track (62) can be readily initiated when external sensor measurements are available. If the driver sensor (100) is present, this may advantageously be faster than if the driver sensor (110) were not present.

[00085] Pode ser mostrado que se o veículo (60)adentra os dois campos (120) e (130) ao mesmo tempo, oefeito deveria ser o de que os dois sensores [sensorexterno (110) e sensor de motorista (100)] viessem areportar a presença de objeto ao mesmo tempo, acelerando otempo de validação de uma maneira favorável.[00085] It can be shown that if the vehicle (60) enters both fields (120) and (130) at the same time, the effect should be that both sensors [external sensor (110) and driver sensor (100)] report the presence of the object at the same time, speeding up the validation time in a favorable manner.

[00086] Se o motorista é considerado como umsensor de motorista (100) é necessário descrever o que osensor de motorista (100) é para provavelmente mensurar emqualquer determinada situação, o que significa formar umadensidade de probabilidadeonde y é à saída dosensor. Qualquer função que possui a capacidade decomparação de duas hipóteses com respeito para dados iráfuncionar neste sentido, ainda mesmo se o nome “densidadede probabilidade” não é efetivamente utilizado.[00086] If the driver is considered as a driver sensor (100) it is necessary to describe what the driver sensor (100) is likely to measure in any given situation, which means forming a probability density where y is the sensor output. Any function that has the ability to compare two hypotheses with respect to data will work in this sense, even if the name “probability density” is not actually used.

[00087] Um modelo simples pode ser o construídocom a probabilidade(probabilidade de detecção), emque o motorista olha em um ponto próximo do objeto com aprobabilidadeIsto pode ser escrito, utilizandocom probabilidadea mensuração irá ser: [00087] A simple model can be constructed with the probability (detection probability), where the driver looks at a point close to the object with the probability This can be written using with probability the measurement will be:

[00088] em queé a posição que osensor reporta em que o motorista olha, (x, y) é a posiçãode um objeto eruído estocástico que explicaporque o motorista não olha exatamente no ponto correto,isto é, a mensuração efetiva possui dois componentes, aposição efetiva (sinal) e o erro (ruído). Por exemplo,pode ser modelado como ruído randômico gaussiano.[00088] where is the position that the sensor reports where the driver looks, (x, y) is the position of an object and stochastic noise that explains why the driver does not look exactly at the correct point, that is, the effective measurement has two components, the effective position (signal) and the error (noise). For example, can be modeled as Gaussian random noise.

[00089] Extensão deste modelo pode incluirmodelação do ruído e a probabilidadepara serdiferente se um objeto, por exemplo, um outro veículo, estádistante ou visto através de, por exemplo, um espelhoretrovisor. A classe do objeto, por exemplo, carro,caminhão, pedestre, sinais de estrada, interseção, podemser utilizada para afetar ruído e a probabilidadeParticularmente, esta pode ser empregada se o sensorexterno (110) é um sistema de GPS [(GPS = GlobalPositioning Sensor) Sensor de Posicionamento Global] comuma base de dados de mapa.[00089] Extension of this model may include noise and probability modeling to be different if an object, for example another vehicle, is distant or seen through, for example, a rear-view mirror. The class of the object, for example car, truck, pedestrian, road sign, intersection, can be used to affect noise and the probability In particular, this may be employed if the external sensor (110) is a GPS [(GPS = Global Positioning Sensor)] system with a map database.

[00090] Ruído pode possuir outrasdistribuições,pode ser uma função deAdicionalmente, o espaço de mensuração de sensor demotorista pode possuir mais do que duas dimensões, ruído demensuração pode não ser aditivo, na medida em que o mesmopode adentrar através de um modelo mais complexo, e oacesso de ameaça pelo motorista pode afetar qual objeto omotorista escolhe para olhar.[00090] Noise may have other distributions, can be a function of Additionally, the driver sensor measurement space may have more than two dimensions, measurement noise may not be additive as it may enter through a more complex model, and the driver's threat assessment may affect which object the driver chooses to look at.

[00091] A presente invenção pode serconcretizada como hardware ou software ou compreender tantohardware e quanto software. Adicionalmente, a presenteinvenção pode ser concretizada como um produto de programade computador que pode ser acessado a partir de um meio(uma mídia) que pode ser utilizado ou lido por umcomputador. Preferivelmente, o meio pode proporcionar umcódigo de programa que pode ser utilizado em um computador.Particularmente, o meio pode ser uma memória, tal como umamemória de estado sólido, uma memória RAM ou ROM e osassemelhados, uma fita magnética, um disquete decomputador, um disco magnético ou óptico, um CD, um DVD,uma entrada USB (USB stick), etc.[00091] The present invention may be embodied as hardware or software or may comprise both hardware and software. Additionally, the present invention may be embodied as a computer program product which can be accessed from a medium which can be used or read by a computer. Preferably, the medium may provide program code which can be used in a computer. In particular, the medium may be a memory such as solid state memory, RAM or ROM memory and the like, a magnetic tape, a computer diskette, a magnetic or optical disk, a CD, a DVD, a USB stick, etc.

Claims

1. A method for combining sensor data collected by at least two sensors (100, 110) coupled to at least one application (50), wherein the at least one of the sensors (100) monitors driver behavior and provides driver-related sensor data of the driver-related behavior and the at least one external sensor (110) not monitoring driver behavior provides sensor data unrelated to the driver-related behavior, characterized in that the sensor data of the at least two sensors (100, 100) are combined and/or exchanged when the respective measurement errors of the data are not correlated in time with respect to their noise, and that the sensor data of the at least two sensors (100, 110) are fed to a sensor readout data combination unit (20) for combining and/or exchanging the sensor data, and that the sensor data are transmitted to one or more applications (50) subsequently to the sensor readout data combination unit (20). where estimation errors are correlated in time after processing in the sensor data combination unit (20).

2. Method according to claim 1, characterized in that the sensor data is pre-processed before feeding to the sensor data combination unit (20).

3. The method of any one of the preceding claims, wherein driver-related sensor data comprises at least driver attention and/or eye gaze steering data.

4. Method according to any one of the preceding claims, characterized in that the sensor data related to the driver and data derived from the application (50) are used to estimate the field of view of the driver (120).

5. Method according to any one of the preceding claims, characterized in that a driver reaction time and/or a driver distraction level is derived from a comparison between driver-related sensor data indicating cognitive detection of an object (60) and detection of the object (60) by at least one external sensor (110).

6. Method according to any one of the preceding claims, characterized in that a reaction time is extracted from a time difference between a detection of an object (60) by at least one external sensor (110) and driver-related sensor data indicating cognitive detection of the same object (60) by the driver.

7. Method according to any one of the preceding claims, characterized in that the at least one application (50) is a vehicle safety system.

8. Method according to claim 6 or 7, characterized in that the reaction time of one or more drivers is extracted and stored for use in the vehicle safety system.

9. Method according to any one of claims 6 to 8, characterized in that the reaction time is used to adapt a sensitivity level of the safety system, and/or that the reaction time is used to evaluate a driver attention level.

10. Method according to any one of the preceding claims, characterized in that the driver-related sensor data are combined with tracking data of one or more objects (60), wherein preferably in a tracking system (52) a sensor model is constructed that at least comprises one or more of: - a probability that the driver perceives one or more objects (60); - an accuracy of a driver monitoring camera presenting a driver's head and/or gaze direction; - a relationship between head/gaze direction and position of one or more objects (60) seen by the driver; - a probability that the driver looks at non-objects; - an impact on track confidence as a function of driver attention.

11. The method of claim 10, wherein a trace is recognized as valid if external sensor data and driver-related sensor data match.

12. A vehicle safety system (90), characterized in that it employs the method as defined in any of the preceding claims.

13. A vehicle tracking system (90), characterized in that it employs the method as defined in any one of claims 1 to 11.