FR3039309A1 - METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE - Google Patents
METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE Download PDFInfo
- Publication number
- FR3039309A1 FR3039309A1 FR1557056A FR1557056A FR3039309A1 FR 3039309 A1 FR3039309 A1 FR 3039309A1 FR 1557056 A FR1557056 A FR 1557056A FR 1557056 A FR1557056 A FR 1557056A FR 3039309 A1 FR3039309 A1 FR 3039309A1
- Authority
- FR
- France
- Prior art keywords
- panel
- displayed
- screen
- sign
- calculation means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule. Le procédé comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra, on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul (10a), si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire le premier moyen de calcul (10a), si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher, on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.A method of displaying a direction sign of the road scene for a motor vehicle equipped with a camera, a screen and a first calculation means (10a) adapted to perform a speed panel recognition, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle, the screen being arranged so as to be visible to the driver during the use of the vehicle. The method comprises the following steps: it acquires, without digital zoom, an image of the scene observed with the camera, it is detected if at least one traffic sign is present on the image of the road scene observed by the first calculation means (10a), if so, it is determined whether at least one direction sign is present among the traffic signs detected via the first calculating means (10a), if so, the panel is determined direction to display and we proceed to a character recognition on the directional panel to be displayed, it determines the readability of the characters of the direction panel to be displayed on the vehicle screen, if the direction sign is considered readable, we scale the image of the directional panel to be displayed as well as scaled image processing, and maintain the display on the screen of the direction panel to be displayed. expensive, as long as the direction sign remains on the image acquired.
Description
Procédé et système d’affichage d’un panneau de direction de la scène routière pour véhicule automobile. L’invention a pour domaine technique le traitement et l’affichage d’images acquises par une caméra embarquée, et plus particulièrement l’application d’un tel traitement aux systèmes d’aide à la circulation routière.Method and system for displaying a road sign of the road scene for a motor vehicle. The technical field of the invention is the processing and display of images acquired by an on-board camera, and more particularly the application of such a treatment to traffic assistance systems.
Lorsqu’un conducteur de véhicule automobile arrive sur un échangeur routier, il est intéressant pour lui d’identifier la voie qu’il doit emprunter afin de se positionner correctement selon sa direction et éviter des manœuvres précipitées au dernier moment.When a driver of a motor vehicle arrives on a road interchange, it is interesting for him to identify the path he must take to position himself correctly in his direction and avoid hasty maneuvers at the last moment.
Ceci est généralement proposé par les systèmes de navigation lorsqu’un parcours est défini. Par contre, lorsque le parcours dans le système de navigation n’a pas été défini, que la cartographie n’est plus à jour, que des zones de contournements/déviations sont proposées pour des raisons de travaux sur voie, que des itinéraires « bis » sont proposés ou que le signal GPS est perdu en cours de roulage (ex : sous tunnel), il est intéressant pour le conducteur d’avoir une aide visuelle sur l’écran présent dans le tableau de bord du véhicule.This is usually offered by navigation systems when a route is defined. On the other hand, when the route in the navigation system has not been defined, the cartography is no longer up to date, only bypass / deviation zones are proposed for reasons of track work, that routes "bis Are proposed or that the GPS signal is lost during taxi (ex: tunnel), it is interesting for the driver to have a visual aid on the screen present in the dashboard of the vehicle.
De l’état de la technique, on connaît le document KR101478258 divulguant une méthode de détection de voie de circulation sur une route à plusieurs voies. Toutefois, les panneaux de direction ne sont ni détectés ni affichés.From the state of the art, document KR101478258 discloses a method of lane detection on a multi-lane road. However, the direction signs are not detected or displayed.
De plus, il est connu de l’état de la technique, des procédés d’affichage des panneaux de limitation de vitesse dans un écran multimédia de véhicule automobile. Ces panneaux de limitation de vitesse sont situés sur la scène routière. Cependant, ces procédés ne permettent pas d’afficher les panneaux de direction.In addition, it is known from the state of the art, methods of displaying the speed limit signs in a multimedia screen of a motor vehicle. These speed limit signs are located on the road scene. However, these methods do not allow to display the direction signs.
Il existe un besoin pour un procédé et un système d’affichage d’images de panneaux de direction de la scène routière détectés sur une image acquise par une caméra embarquée. L’invention a pour objet un procédé d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile muni d’une caméra, d’un écran et d’un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l’écran étant disposé de sorte à être visible du conducteur durant l’utilisation du véhicule.There is a need for a method and system for displaying roadside direction panel images detected on an image acquired by an on-board camera. The subject of the invention is a method of displaying a direction sign of the road scene for a motor vehicle equipped with a camera, a screen and a first calculation means able to realize a recognition of the panels. of speed, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle, the screen being arranged so as to be visible to the driver during the use of the vehicle.
Le procédé comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra, on détecte si au moins un panneau de signalisation est présent sur l’image de la scène routière observée par le premier moyen de calcul, si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l’intermédiaire du premier moyen de calcul, si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher, on détermine la lisibilité des caractères du panneau de direction à afficher sur l’écran du véhicule, si le panneau de direction est considéré comme lisible, on réalise une mise à l’échelle de l’image du panneau de direction à afficher ainsi qu’un traitement de l’image mise à l’échelle, et on maintient l’affichage sur l’écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l’image acquise.The method comprises the following steps: it acquires, without digital zoom, an image of the scene observed with the camera, it is detected if at least one traffic sign is present on the image of the road scene observed by the first calculation means if so, it is determined whether at least one direction sign is present among the traffic signs detected via the first calculating means, if so, determining the direction sign to be displayed and proceeds to a character recognition on the direction panel to be displayed, it determines the readability of the characters of the direction panel to be displayed on the vehicle screen, if the direction sign is considered readable, a setting is made Scale of the image of the direction panel to display as well as a scaled image processing, and the display is maintained on the screen of the direction panel to display, as long as the direction sign remains on the acquired image.
Pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on peut déterminer la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on peut comparer les formes déterminées à une base de données de formes de panneaux de direction.To determine if at least one direction sign is present among the detected traffic signs, it is possible to determine the shape of the panels detected by recognition of the speed panels and the determined shapes can be compared to a database of steering panel shapes. .
On peut déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d’une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction.It can be determined whether a traffic sign is a direction sign by determining the presence of a direction arrow by comparison with a database of direction arrows on direction signs.
Lorsque la route comprend plusieurs voies de circulation, on peut déterminer le panneau à afficher en réalisant les étapes suivantes : on détermine la présence de voies en fonction des lignes de signalisation présentes sur la route par l’intermédiaire d’un procédé d’alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou d’assistance de maintien de ligne réalisables par un système de calcul équipant le véhicule, on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, on détermine la voie dans laquelle le véhicule circule, et on choisit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.When the road comprises several traffic lanes, the panel to be displayed can be determined by performing the following steps: the presence of lanes according to the signaling lines present on the road is determined by means of a warning method of involuntary crossing of line AFIL (in English language "Lane departure warning System") or assistance line maintenance achievable by a system of calculation equipping the vehicle, the detected directional panels are associated with a track according to the respective positions of the panels and lanes, the path in which the vehicle is traveling is determined, and a panel is selected to display the direction panel among the detected direction signs associated with the lane in which the vehicle is traveling.
Lorsque la route comprend une seule voie de circulation, on peut déterminer que le panneau à afficher est le panneau de direction détecté.When the road includes a single lane, it can be determined that the panel to be displayed is the direction sign detected.
Pour déterminer la lisibilité du panneau de direction à afficher, on peut déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l’image rognée du panneau à afficher issue de la reconnaissance des panneaux de vitesse, on peut déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d’un caractère déterminée empiriquement, et si tel est le cas, on peut confirmer la possibilité d’une mise à l’échelle sans dégradation de la lisibilité sur l’écran en fonction de règles ergonomiques.In order to determine the readability of the direction panel to be displayed, it is possible to determine the size in number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed resulting from the recognition of the speed panels, it is possible to determine if the determined size of the characters is greater than or equal to a predetermined minimum character size value according to the Johnson Rosell criterion with a pixel number value corresponding to 50% recognition of an empirically determined character, and if such is the case, we can confirm the possibility of scaling without degradation of readability on the screen according to ergonomic rules.
Un autre objet de l’invention est un système d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile muni d’une caméra, d’un écran et d’un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l’écran étant disposé de sorte à être visible du conducteur durant l’utilisation du véhicule.Another object of the invention is a display system of a direction sign of the road scene for a motor vehicle equipped with a camera, a screen and a first calculation means adapted to perform a recognition. speed panels, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle, the screen being arranged so as to be visible to the driver during the use of the vehicle.
Le système comprend le premier moyen de calcul apte à détecter la présence de panneaux de signalisation sur l’image reçue de la caméra, un deuxième moyen de calcul apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, et un quatrième moyen de calcul apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l’écran du véhicule. Le quatrième moyen de calcul est par ailleurs apte à réaliser une mise à l’échelle de l’image du panneau de direction à afficher ainsi qu’un traitement de l’image mise à l’échelle, et à maintenir l’affichage sur l’écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l’image acquise, le premier moyen de calcul étant relié en sortie au deuxième moyen de calcul lui-même connecté en sortie au quatrième moyen de calcul, le quatrième moyen de calcul étant connecté en sortie à l’écran.The system comprises the first calculation means capable of detecting the presence of signaling panels on the image received from the camera, a second calculation means able to determine if at least one direction sign is present among the detected signaling panels, and a fourth calculation means adapted to determine the readability of the characters of the direction panel to be displayed on the vehicle screen. The fourth calculation means is furthermore capable of scaling the image of the directional panel to be displayed as well as scaled image processing, and to maintain the display on the screen. the display of the direction panel to be displayed, as long as the steering panel remains present on the acquired image, the first calculation means being connected at the output to the second calculation means itself connected at the output to the fourth calculation means, the fourth calculation means being outputted to the screen.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en comparant la forme du panneau de signalisation avec une base de données des formes des panneaux de direction.The second calculation means may be able to determine if a traffic sign is a direction sign comparing the shape of the traffic sign with a database of the shapes of the direction signs.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d’une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction.The second calculation means may be able to determine if a traffic sign is a direction sign by determining the presence of a direction arrow by comparison with a database of direction arrows on steering panels.
Le système peut comprendre un troisième moyen de calcul apte à réaliser une alerte de franchissement involontaire de ligne ou une assistance de maintien de ligne connecté entre le deuxième moyen de calcul et le quatrième moyen de calcul, le troisième moyen de calcul étant apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.The system may comprise a third calculation means able to carry out an unintentional line crossing warning or a line maintenance assistance connected between the second calculation means and the fourth calculation means, the third calculation means being able to determine whether the road comprises one or more traffic lanes, and able to determine the direction sign to be displayed according to the respective positions of the panels, the lanes and the vehicle.
Pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l’écran du véhicule, le quatrième moyen de calcul peut être apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l’une image rognée du panneau à afficher issue du premier moyen de calcul, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d’un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d’une mise à l’échelle sans dégradation de la lisibilité sur l’écran en fonction de règles ergonomiques, D’autres buts, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’exemple non limitatif et faite en référence aux dessins annexés sur lesquels : - la figure 1 illustre les principales étapes d’un procédé d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile selon l’invention, - la figure 2 illustre les principaux éléments d’un système d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile selon un premier mode de réalisation de l’invention, et - la figure 3 illustre les principaux éléments d’un système d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile selon un deuxième mode de réalisation de l’invention.In order to determine the readability of the characters of the direction panel to be displayed on the vehicle screen, the fourth calculation means may be able to determine the size in number of pixels of the characters whose presence has been detected on a cropped image of the vehicle. panel to be displayed from the first calculation means, to determine whether the determined size of the characters is greater than or equal to a predetermined minimum character size value according to the Johnson Rosell criterion with a pixel number value corresponding to 50% of recognition of an empirically determined character and if so, to confirm the possibility of scaling without impairing readability on the screen according to ergonomic rules, other purposes, features and advantages of the invention will appear on reading the following description, given solely by way of nonlimiting example and made with reference to the accompanying drawings, in which: FIG. 1 illustrates the main steps of a method of displaying a road scene direction panel for a motor vehicle according to the invention; FIG. 2 illustrates the main elements; of a display system of a road scene direction panel for a motor vehicle according to a first embodiment of the invention, and - Figure 3 illustrates the main elements of a display system of a direction sign of the road scene for a motor vehicle according to a second embodiment of the invention.
Le critère Johnson Rosell a été initialement défini pour des applications militaires d’observation thermique au cours desquelles des seuils de détection, d’identification et de reconnaissance devaient être déterminés. Ce critère est employé dans la présente invention afin de déterminer la capacité du conducteur à détecter, identifier et reconnaître sur un écran d’affichage l’image de caractères présents sur un panneau de direction.The Johnson Rosell Criterion was originally defined for military thermal observation applications in which detection, identification and recognition thresholds were to be determined. This criterion is used in the present invention to determine the ability of the driver to detect, identify and recognize on a display screen the image of characters present on a direction panel.
Le critère de Johnson Rosell consiste à substituer à l’objet à détecter une cible de même taille contenant une ou plusieurs paires de lignes dans sa hauteur et dans sa largeur. Le nombre de paires de lignes de la cible est associé à un taux de détection, de reconnaissance et d’identification. Ces taux représentent les probabilités de détection, de reconnaissance ou d’identification de l’objet par l’utilisateur. En d’autres termes, la mise en œuvre du critère de Johnson Rosell dans l’invention permet de déterminer si une image acquise peut être affichée ou non, tout en sachant qu’elle sera lisible pour le conducteur.Johnson Rosell's criterion is to substitute for the object to be detected a target of the same size containing one or more pairs of lines in its height and width. The number of line pairs in the target is associated with a detection, recognition, and identification rate. These rates represent the probabilities of detection, recognition or identification of the object by the user. In other words, the implementation of the Johnson Rosell criterion in the invention makes it possible to determine whether an acquired image can be displayed or not, while knowing that it will be readable for the driver.
Appliqué à la détermination de la lisibilité de caractères sur un panneau de direction, le nombre de paires de lignes N correspond à un nombre de paires de lignes de pixels sur l’écran affichant l’image finale tandis que l’objet à identifier correspond à la forme d’une lettre sur le panneau de direction. La courbe des probabilités du critère de Johnson est construite selon la formule suivante :When applied to determining the readability of characters on a direction panel, the number of pairs of lines N corresponds to a number of pairs of lines of pixels on the screen displaying the final image while the object to be identified corresponds to the shape of a letter on the direction sign. The probability curve of Johnson's criterion is constructed according to the following formula:
(Eq. 1) (Eq. 2) N : le nombre de paires de lignes N50 : le nombre de paires de lignes avec une probabilité de 50% d’identification.(Eq. 1) (Eq. 2) N: the number of line pairs N50: the number of line pairs with a 50% probability of identification.
La valeur N50 doit être déterminée empiriquement et est dépendante de l’écran et de la caméra, ainsi que de la position de celui-ci par rapport à l’utilisateur.The N50 value must be determined empirically and is dependent on the screen and the camera, as well as the position of the camera relative to the user.
Cette courbe permet donc de déterminer le nombre N de lignes ou de pixels sur l’écran nécessaires à l’utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite Probabilité (N) donnée et un nombre N50 de lignes ou de pixels sur l’écran nécessaires à l’utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite de 50% donnée.This curve therefore makes it possible to determine the number N of lines or pixels on the screen necessary for the user to be able to identify a letter with a probability of success Probability (N) given and a number N50 of lines or pixels on the screen necessary for the user to be able to identify a letter with a 50% probability of success.
Connaissant le nombre de pixels N requis pour une identification, on peut le comparer au nombre de pixels affichés afin de déterminer si l’utilisateur peut identifier une lettre ou non.Knowing the number of N pixels required for identification, it can be compared to the number of pixels displayed to determine whether the user can identify a letter or not.
Sur le capteur de la caméra, la lettre doit à minima faire le même nombre de pixels que sur l’écran (un pixel de l’écran correspond à un pixel de la caméra) pour qu’une telle conclusion soit valable. Dans le cas contraire, un ratio de pixels entre la caméra et l’écran doit être introduit.On the sensor of the camera, the letter must at least make the same number of pixels as on the screen (a pixel of the screen corresponds to a pixel of the camera) for such a conclusion to be valid. In the opposite case, a ratio of pixels between the camera and the screen must be introduced.
Compte tenu des éléments exposés ci-dessus, on peut également définir les probabilités suivantes par extension de l’équation (Eq. 1) à différentes situations :Taking into account the elements exposed above, one can also define the following probabilities by extension of the equation (Eq.1) to different situations:
Sur la scène de route avec l’acquisition d’un panneau de direction par la caméra, on peut détecter la présence d’informations à l’intérieur de ce panneau à hauteur d’une probabilité de détection. Dans ce cas on considère une valeur N50 relative à la détection.On the road scene with the acquisition of a direction panel by the camera, it can detect the presence of information inside this panel up to a probability of detection. In this case, an N50 value relative to the detection is considered.
Parmi les informations détectées à l’intérieur du panneau, on peut reconnaître un caractère d’un autre type d’information (flèche, symbole, etc.) à hauteur d’une probabilité de reconnaissance. Dans ce cas, on considère une valeur N50 relative à la reconnaissance.Among the information detected inside the panel, it is possible to recognize a character of another type of information (arrow, symbol, etc.) up to a probability of recognition. In this case, an N50 value relative to the recognition is considered.
Sur les panneaux contenant des caractères reconnus, on peut identifier ces caractères à hauteur d’une probabilité d’identification. Dans ce cas, on considère une valeur N50 relative à l’identification.On panels containing recognized characters, these characters can be identified up to a probability of identification. In this case, an N 50 value relative to the identification is considered.
Dans chacune de ces situations, on peut déterminer une taille caractéristique minimale de détection, de reconnaissance et d’identification à comparer avec la taille de l’objet correspondant sur l’image issue de la caméra ou affichée sur l’écran.In each of these situations, one can determine a minimum characteristic size of detection, recognition and identification to be compared with the size of the corresponding object on the image from the camera or displayed on the screen.
On va maintenant décrire l’évaluation de la lisibilité d’un caractère.We will now describe the evaluation of the readability of a character.
Le raisonnement présenté ci-après est effectué par rapport à la direction horizontale d’un caractère et doit être reproduit de la même façon pour la taille verticale.The reasoning presented below is made with respect to the horizontal direction of a character and must be reproduced in the same way for the vertical size.
On pose qu’un pixel de la caméra correspond à un pixel de l’écran.It is posited that a pixel of the camera corresponds to a pixel of the screen.
On pose également que le nombre de paires de lignes de la caméra est égal au nombre de paires de pixels.It is also stated that the number of line pairs of the camera is equal to the number of pixel pairs.
On définit également les grandeurs suivantes :The following quantities are also defined:
Pe_h : Taille horizontale de l’écran en pixelsPe_h: Horizontal size of the screen in pixels
Pe_v : Taille verticale de l’écran en pixels PL_h : Taille horizontale de la lettre en pixels PL_v : Taille verticale de la lettre en pixelsPe_v: Vertical size of the screen in pixels PL_h: Horizontal size of the letter in pixels PL_v: Vertical size of the letter in pixels
On définit ensuite une table de probabilité d’identification d’une lettre en fonction du nombre de paires de lignes acquises. Une telle table peut être déterminée de façon empirique.A probability table identifying a letter is then defined according to the number of pairs of lines acquired. Such a table can be determined empirically.
De cette table, on détermine un seuil de nombre de paires de lignes permettant de dépasser un seuil de probabilité d’identification choisi. Par exemple, une telle table peut renseigner qu’une probabilité de 95% de bonne identification correspond à un nombre de paires de pixels égal au minimum à 12, soit 24 pixels de hauteur.From this table, a threshold of number of line pairs is determined which makes it possible to exceed a chosen identification probability threshold. For example, such a table can indicate that a 95% probability of good identification corresponds to a number of pairs of pixels equal to at least 12, ie 24 pixels in height.
En d’autres termes, dans cet exemple, lorsque la taille de la lettre est supérieure à 24 pixels, le caractère est considéré comme identifiable dans la direction horizontale.In other words, in this example, when the size of the letter is greater than 24 pixels, the character is considered identifiable in the horizontal direction.
On reproduit ensuite les mêmes étapes pour déterminer la taille verticale minimale d’identification.The same steps are then repeated to determine the minimum vertical identification size.
On considère ensuite que le caractère est lisible lorsque ses dimensions satisfont les tailles minimales d’identification, dans les deux directions.The character is then considered readable when its dimensions satisfy the minimum identification sizes in both directions.
Le procédé d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile va maintenant être décrit en relation avec la figure 1.The method of displaying a road scene steering panel for a motor vehicle will now be described in connection with FIG.
Au cours d’une première étape 1, on acquiert, sans zoom numérique, une image de la scène observée avec une caméra fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule.During a first step 1, it acquires, without digital zoom, an image of the scene observed with a camera attached to the motor vehicle so as to acquire images of the road scene in front of the vehicle.
Au cours d’une deuxième étape 2, on détecte si au moins un panneau de signalisation est présent sur la scène observée par l’intermédiaire d’une reconnaissance des panneaux de vitesse connus de l’état de la technique antérieure. En effet, ce type de procédé est apte à reconnaître les panneaux de signalisation, et parmi ces panneaux, à reconnaître ceux du type panneau de vitesse. Un tel procédé peut donc être utilisé pour détecter la présence d’un panneau de signalisation. Si tel est le cas, le procédé se poursuit par une troisième étape.During a second step 2, it is detected whether at least one traffic sign is present on the observed scene via a recognition of speed panels known from the state of the prior art. Indeed, this type of method is able to recognize the traffic signs, and among these panels, to recognize those of the speed panel type. Such a method can therefore be used to detect the presence of a traffic sign. If this is the case, the process continues with a third step.
Au cours de la troisième étape 3, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés. Pour cela, on classe les panneaux détectés en fonction de leur type en déterminant la forme des panneaux détectés par reconnaissance des panneaux de vitesse et en comparant les formes déterminées à une base de données de formes de panneaux. Alternativement, on détermine également par comparaison avec une base de données si le panneau comprend une flèche de direction. Si tel est le cas, le panneau est un panneau de direction. Si au moins un panneau détecté est un panneau de direction, le procédé se poursuit par une quatrième étape.During the third step 3, it is determined whether at least one direction sign is present among the detected traffic signs. For this purpose, the detected panels are classified according to their type by determining the shape of the panels detected by recognizing the speed panels and by comparing the determined shapes to a database of panel shapes. Alternatively, it is also determined by comparison with a database whether the panel comprises a direction arrow. If this is the case, the panel is a direction sign. If at least one detected panel is a direction panel, the method continues with a fourth step.
Au cours d’une quatrième étape 4 optionnelle selon les modes de réalisation, on détermine si la route comprend une ou plusieurs voies de circulation par l’intermédiaire d’un procédé d’alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou d’assistance de maintien de ligne (en langue anglaise « Lane Keeping Assist ») connus de l’état de la technique antérieure.During a fourth optional step 4 according to the embodiments, it is determined whether the road comprises one or more lanes through an AFIL line crossing warning method (in English "Lane"). departure warning System ") or Lane Keeping Assist (known in French as" Lane Keeping Assist ") known from the state of the art.
Lorsque la route comprend plusieurs voies de circulation et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, on détermine le panneau de direction à afficher en réalisant les étapes suivantes : -on détermine la présence de voies en fonction des lignes de signalisation présentes sur la route, -on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, -on détermine la voie dans laquelle le véhicule circule, -on choisit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.When the road includes several traffic lanes and more than one directional sign is detected on the central portion of the road above each lane, the directional sign to be displayed is determined by performing the following steps: - determining the presence of tracks according to the signaling lines present on the road, the detected steering panels are associated with a track according to the respective positions of the panels and tracks, the path in which the vehicle is circulating is determined, and the panel is selected displaying the direction panel among the detected direction signs associated with the path in which the vehicle is traveling.
Lorsque la route comprend une seule voie de circulation, on détermine que le panneau à afficher est le panneau de direction détecté.When the road comprises a single traffic lane, it is determined that the panel to be displayed is the direction sign detected.
On considère implicite la présence de caractères dès lors qu’un panneau de direction est détecté.The presence of characters is implicit when a direction sign is detected.
Au cours d’une cinquième étape 5, on détermine la lisibilité du panneau de direction à afficher sur l’écran. Pour réaliser cela, on applique les étapes suivantes : on détermine la taille en nombre de pixels des caractères dont la présence a été détectée sur l’image rognée du panneau à afficher issue du procédé de reconnaissance des panneaux de vitesse, on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur N50 de nombre de pixels correspondant à 50% de reconnaissance d’un caractère déterminée empiriquement, si tel est le cas, on confirme la possibilité d’une mise à l’échelle sans dégradation de la lisibilité sur l’écran par application de règles ergonomiques propres au constructeur.During a fifth step 5, the readability of the directional panel to be displayed on the screen is determined. To achieve this, the following steps are applied: the size in number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed resulting from the method of recognition of the speed panels is determined, it is determined whether the size determined characters is greater than or equal to a predetermined minimum character size value based on Johnson Rosell's criterion with an N50 value of pixels corresponding to 50% recognition of an empirically determined character, if so, it confirms the possibility of scaling without degradation of the readability on the screen by applying ergonomic rules specific to the manufacturer.
Au cours d’une éventuelle sixième étape 6, on met à l’échelle l’image du panneau de direction à afficher avec la mise à l’échelle déterminée à la cinquième étape.During a possible sixth step 6, the image of the direction panel to be displayed is scaled with the scaling determined in the fifth step.
Au cours d’une éventuelle septième étape 7, on réalise un traitement de l’image (saturation, contraste) du panneau de direction à afficher et mis à l’échelle.During a possible seventh step 7, an image processing (saturation, contrast) of the direction panel to be displayed and scaled is performed.
Dans tous les cas, le procédé se poursuit par l’affichage sur l’écran du panneau de direction à afficher, l’affichage du panneau étant maintenu tant que le panneau demeure présent sur l’image acquise.In all cases, the method continues with the display on the screen of the direction panel to be displayed, the panel display being maintained as long as the panel remains present on the acquired image.
Alternativement, le procédé affiche au moins un autre type de panneaux routiers, par exemple un panneau d’indication de radars fixes de contrôle de vitesse.Alternatively, the method displays at least one other type of road signs, for example an indication panel of fixed speed control radars.
La figure 2 illustre les principaux éléments d‘un système d’affichage d’un panneau de direction de la scène routière pour un véhicule automobile. On peut voir que le système d’affichage comprend un calculateur 10 comprenant des moyens de calculs (10a,10b,10c,lOd), connectés en entrée à une caméra 11 de sorte à acquérir des images de la scène routière située devant le véhicule, le calculateur étant connecté en sortie à un écran 12 disposé dans l’habitacle pour l’affichage d’informations au conducteur lors de l’utilisation du véhicule.Figure 2 illustrates the main elements of a roadside sign display system for a motor vehicle. It can be seen that the display system comprises a calculator 10 comprising calculation means (10a, 10b, 10c, 10d), input connected to a camera 11 so as to acquire images of the road scene situated in front of the vehicle, the computer being connected at the output to a screen 12 disposed in the passenger compartment for displaying information to the driver during the use of the vehicle.
Le calculateur 10 comprend un premier moyen de calcul 10a apte à analyser l’image reçue de la caméra 11 afin d’y détecter la présence de panneaux de signalisation. Un moyen de calcul 10a peut être un moyen de reconnaissance des panneaux de limitation de vitesse. En effet, un tel moyen est apte à déterminer la présence de panneaux de signalisation routière puis parmi ces panneaux, ceux signalant une limitation de vitesse. Il est ainsi possible d’utiliser le résultat intermédiaire d’un tel moyen pour disposer des panneaux de signalisation routière de la scène.The computer 10 comprises a first calculation means 10a able to analyze the image received from the camera 11 in order to detect the presence of traffic signs. A calculation means 10a may be a means for recognizing the speed limit signs. Indeed, such a means is able to determine the presence of road signs and then among these panels, those indicating a speed limit. It is thus possible to use the intermediate result of such a means to have road signs of the scene.
Le premier moyen de calcul 10a est relié en sortie à un deuxième moyen de calcul 10b apte à détecter la présence de panneaux de direction parmi les panneaux détectés.The first calculation means 10a is outputted to a second calculation means 10b capable of detecting the presence of direction panels among the detected panels.
Pour cela, le moyen de calcul 10b est apte à déterminer la forme des panneaux détectés par des moyens connus de l’état de la technique et à comparer les formes déterminées à une base de données de formes de panneaux de direction. En variante, le moyen de calcul 10b est également apte à déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d’une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction. Le deuxième moyen de calcul 10b est connecté en sortie à un quatrième moyen de calcul lOd apte à évaluer la lisibilité des caractères détectés qui sera décrit plus loin.For this, the calculation means 10b is able to determine the shape of the panels detected by known means of the state of the art and to compare the determined forms to a database of forms of direction panels. As a variant, the calculating means 10b is also able to determine if a traffic sign is a direction sign by determining the presence of a direction arrow by comparison with a database of the direction arrows present on direction signs. . The second calculation means 10b is outputted to a fourth calculation means 10d able to evaluate the readability of the characters detected which will be described later.
Selon un deuxième mode de réalisation illustré par la figure 3, le système comprend un troisième moyen de calcul 10c connecté en entrée au deuxième moyen de calcul lOd et connecté en sortie au quatrième moyen de calcul lOd apte à évaluer la lisibilité des caractères détectés.According to a second embodiment illustrated in FIG. 3, the system comprises a third calculation means 10c connected at input to the second calculation means 10d and connected at the output to the fourth calculation means 10d capable of evaluating the readability of the detected characters.
Le troisième moyen de calcul 10c est apte à déterminer la position desdits panneaux par rapport aux différentes voies de circulation sur la route et à détecter les caractères présents sur lesdits panneaux. Le troisième moyen de calcul 10c peut être un système d’alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou un système d’assistance de maintien de ligne (en langue anglaise « Lane Keeping Assist ») connus de l’état de la technique antérieure.The third calculation means 10c is able to determine the position of said panels relative to the different traffic lanes on the road and to detect the characters present on said panels. The third calculation means 10c may be an AFIL (Lane Departure Warning System) or an Lane Keeping Assist (Lane Keeping Assist) system. known from the state of the prior art.
Pour déterminer la position desdits panneaux par rapport aux différentes voies de circulation sur la route, le moyen de calcul 10c est apte à déterminer si la route comprend une ou plusieurs voies de circulation. Lorsque la route comprend plusieurs voies de circulation et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, le moyen de calcul 10c est apte à déterminer le panneau de direction à afficher en déterminant la présence de voies en fonction des lignes de signalisation présentes sur la route, en associant les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, en déterminant la voie dans laquelle le véhicule circule, en choisissant comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.To determine the position of said panels with respect to the different traffic lanes on the road, the calculation means 10c is able to determine if the road comprises one or more lanes. When the road comprises several traffic lanes and several directional panels are detected on the central part of the road above each lane, the calculating means 10c is able to determine the directional panel to be displayed by determining the presence of according to the signaling lines present on the road, by associating the detected directional panels with a track according to the respective positions of the panels and the tracks, by determining the path in which the vehicle is traveling, by choosing as a panel to display the steering panel among the detected direction signs associated with the path in which the vehicle is traveling.
Lorsque la route comprend une seule voie de circulation, le moyen de calcul 10c est apte à déterminer que le panneau à afficher est le panneau de direction détecté.When the road comprises a single traffic lane, the calculating means 10c is able to determine that the panel to be displayed is the direction panel detected.
Par ailleurs, on considère implicite la présence de caractères dès lors qu’un panneau de direction est détecté.In addition, the presence of characters is implicit when a direction sign is detected.
Quel que soit le mode de réalisation, le moyen de calcul lOd est apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l’image rognée du panneau à afficher reçue du premier moyen de calcul 10a, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d’un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d’une mise à l’échelle sans dégradation de la lisibilité sur l’écran en fonction de règles ergonomiques propres au constructeur.Whatever the embodiment, the calculation means 10d is able to determine the size in number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed received from the first calculation means 10a, to be determined. if the determined size of the characters is greater than or equal to a predetermined minimum character size value according to Johnson Rosell's criterion with a pixel number value corresponding to 50% recognition of an empirically determined character and if such is the case, to confirm the possibility of a scaling without degradation of the readability on the screen according to ergonomic rules specific to the manufacturer.
La présente invention peut s’appliquer à tout type de panneau et permet de garantir un affichage compréhensible par le conducteur de l’image capturée par la caméra.The present invention can be applied to any type of panel and ensures a comprehensible display by the driver of the image captured by the camera.
Claims (11)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1557056A FR3039309B1 (en) | 2015-07-24 | 2015-07-24 | METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE |
| EP16753952.7A EP3326110A1 (en) | 2015-07-24 | 2016-07-22 | Method and system for displaying a direction sign of the road scene for a motor vehicle |
| PCT/FR2016/051911 WO2017017359A1 (en) | 2015-07-24 | 2016-07-22 | Method and system for displaying a direction sign of the road scene for a motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1557056A FR3039309B1 (en) | 2015-07-24 | 2015-07-24 | METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3039309A1 true FR3039309A1 (en) | 2017-01-27 |
| FR3039309B1 FR3039309B1 (en) | 2017-07-14 |
Family
ID=54199887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1557056A Expired - Fee Related FR3039309B1 (en) | 2015-07-24 | 2015-07-24 | METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3326110A1 (en) |
| FR (1) | FR3039309B1 (en) |
| WO (1) | WO2017017359A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090312888A1 (en) * | 2008-02-25 | 2009-12-17 | Stefan Sickert | Display of a relevant traffic sign or a relevant traffic installation |
| DE102008043155A1 (en) * | 2008-10-24 | 2010-04-29 | Robert Bosch Gmbh | Driver information device for vehicle for displaying road sign in display device, has interface to camera unit for detecting road sign and course of traffic lane, where evaluation unit allocates road sign to traffic lane |
| DE102008054041B3 (en) * | 2008-10-31 | 2010-06-10 | Audi Ag | Method for outputting of image of image recording device with information to display device i.e. LCD-device, in motor vehicle i.e. passenger car, involves considering intensity of image recorded by recording device as image information |
| US20130101174A1 (en) * | 2010-06-15 | 2013-04-25 | Conti Temic Microelectronic Gmbh | Method for Combining a Road Sign Recognition System and a Lane Detection System of a Motor Vehicle |
| DE102012025067A1 (en) * | 2012-12-19 | 2014-06-26 | Valeo Schalter Und Sensoren Gmbh | Driver assistance system for motor vehicle, has computing device to identify longitudinal markings mounted on road-way, and to determine wether identified traffic signs for motor vehicle are applied or not, based on longitudinal markings |
-
2015
- 2015-07-24 FR FR1557056A patent/FR3039309B1/en not_active Expired - Fee Related
-
2016
- 2016-07-22 EP EP16753952.7A patent/EP3326110A1/en not_active Withdrawn
- 2016-07-22 WO PCT/FR2016/051911 patent/WO2017017359A1/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090312888A1 (en) * | 2008-02-25 | 2009-12-17 | Stefan Sickert | Display of a relevant traffic sign or a relevant traffic installation |
| DE102008043155A1 (en) * | 2008-10-24 | 2010-04-29 | Robert Bosch Gmbh | Driver information device for vehicle for displaying road sign in display device, has interface to camera unit for detecting road sign and course of traffic lane, where evaluation unit allocates road sign to traffic lane |
| DE102008054041B3 (en) * | 2008-10-31 | 2010-06-10 | Audi Ag | Method for outputting of image of image recording device with information to display device i.e. LCD-device, in motor vehicle i.e. passenger car, involves considering intensity of image recorded by recording device as image information |
| US20130101174A1 (en) * | 2010-06-15 | 2013-04-25 | Conti Temic Microelectronic Gmbh | Method for Combining a Road Sign Recognition System and a Lane Detection System of a Motor Vehicle |
| DE102012025067A1 (en) * | 2012-12-19 | 2014-06-26 | Valeo Schalter Und Sensoren Gmbh | Driver assistance system for motor vehicle, has computing device to identify longitudinal markings mounted on road-way, and to determine wether identified traffic signs for motor vehicle are applied or not, based on longitudinal markings |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017017359A1 (en) | 2017-02-02 |
| EP3326110A1 (en) | 2018-05-30 |
| FR3039309B1 (en) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3462377B1 (en) | Method and apparatus for identifying driving lane | |
| US10430968B2 (en) | Vehicle localization using cameras | |
| RU2597066C2 (en) | Method and device for identification of road signs | |
| CN108437795B (en) | Speed limit value output method and device | |
| CN113673438B (en) | A collision warning method, device, electronic equipment and storage medium | |
| WO2020103892A1 (en) | Lane line detection method and apparatus, electronic device, and readable storage medium | |
| CN107067718A (en) | Traffic accident responsibility appraisal procedure, traffic accident responsibility apparatus for evaluating and traffic accident responsibility assessment system | |
| Battiato et al. | On-board monitoring system for road traffic safety analysis | |
| CN110909699A (en) | Video vehicle non-guide driving detection method and device and readable storage medium | |
| US10147315B2 (en) | Method and apparatus for determining split lane traffic conditions utilizing both multimedia data and probe data | |
| JP2009048629A (en) | Detecting method | |
| CN111775944B (en) | Driving assistance device, method, and computer-readable storage medium | |
| CN111967451B (en) | Road congestion detection method and device | |
| CN107924616A (en) | Logo recognition display device | |
| JP5811918B2 (en) | Gaze target estimation apparatus, method, and program | |
| US9600894B2 (en) | Image processing apparatus and computer-readable storage medium | |
| US9916672B2 (en) | Branching and merging determination apparatus | |
| JP6288204B1 (en) | Vehicle speed limit detection device | |
| CN114333414A (en) | Parking yield detection device, parking yield detection system, and recording medium | |
| JP7398257B2 (en) | Road marking recognition device | |
| CN115762153A (en) | Reversing detection method and device | |
| FR3039309A1 (en) | METHOD AND SYSTEM FOR DISPLAYING A DIRECTION PANEL OF THE ROAD SCENE FOR A MOTOR VEHICLE | |
| JP2016173644A (en) | Driving support device and driving support method | |
| US20220237926A1 (en) | Travel management device, travel management method, and recording medium | |
| Yoo et al. | A new lane detection method based on vanishing point estimation with probabilistic voting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20170127 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| CA | Change of address |
Effective date: 20221014 |
|
| ST | Notification of lapse |
Effective date: 20230305 |