[go: up one dir, main page]

EP4070295A1 - Fraud detection system and method - Google Patents

Fraud detection system and method

Info

Publication number
EP4070295A1
EP4070295A1 EP20816473.1A EP20816473A EP4070295A1 EP 4070295 A1 EP4070295 A1 EP 4070295A1 EP 20816473 A EP20816473 A EP 20816473A EP 4070295 A1 EP4070295 A1 EP 4070295A1
Authority
EP
European Patent Office
Prior art keywords
article
weight
user
processing unit
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20816473.1A
Other languages
German (de)
French (fr)
Inventor
Dylan LETIERCE
Jonathan MALGOGNE
Christophe CHALOIN
Damien MANDRIOLI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of EP4070295A1 publication Critical patent/EP4070295A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/1963Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/02Mechanical actuation
    • G08B13/14Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1472Mechanical actuation by lifting or attempted removal of hand-portable articles with force or weight detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/02Mechanical actuation
    • G08B13/14Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1481Mechanical actuation by lifting or attempted removal of hand-portable articles with optical detection

Definitions

  • the present invention relates to the field of fraud detection during the purchase of articles. It finds a particularly advantageous application in the field of large-scale distribution and trolleys, intelligent shopping baskets or payment devices.
  • An object of the present invention is therefore to provide a solution to at least some of these problems.
  • the present invention relates to a method for detecting fraud in the case of the purchase by at least one user of at least one article comprising at least: a.
  • a step of capturing a plurality of data from at least one sensor, and preferably from a plurality of sensors, performed by at least one user terminal comprising at least the following steps: i. Obtaining the identifier of the article by at least one identification device; ii. Determination by at least one optical device of at least one trajectory of the article manually moved by the user in a three-dimensional space, said three-dimensional space comprising at least:
  • An identification zone corresponding to a volume of three-dimensional space in which at least part of the article is placed by the user to achieve the obtaining of the identifier of the article
  • a processing step carried out by the computer processing unit, of the plurality of data comprising at least the following steps: i. Generating at least one behavior of said article from at least the trajectory of the article in three-dimensional space; ii. Comparison of the behavior of said article with a plurality of predetermined behavior models so as to identify a handling anomaly; vs. A step of determining a probability of fraud based on said comparison of behavior.
  • the present invention cleverly uses a plurality of sensors to cross a plurality of data so as to identify a fraud situation.
  • the proposed method makes it possible to identify a manipulation made by the user consisting in adding an article without first identifying and therefore counting it.
  • the item is not identified by the user until it reaches the entrance area and is placed in the container.
  • the present invention makes it possible to determine the behavior of an article so as to identify whether this behavior is consistent or not with a behavior considered to be standard, that is to say not fraudulent.
  • the present invention makes it possible to classify potentially fraudulent behavioral behaviors as long as it deviates beyond a predetermined threshold from one or more standard behavior models.
  • the present invention cleverly uses a plurality of predetermined behavior models comprising one or more standard behavior models.
  • the present invention makes it possible to detect a plurality of frauds during the purchase of an article in a store, for example, using automatic checkout systems, for example, or even so-called intelligent carts.
  • the present invention solves the majority, if not all, of fraud situations.
  • the present invention makes it possible to guide the customer during his purchasing process and to identify fraud or errors without the user automatically receiving notification. Given that the contents of the trolley are checked in quasi-real time, payment without going through a checkout or terminal and without directly checking the entire contents of a trolley is therefore possible thanks to the present invention.
  • the step of capturing a plurality of data comprises at least one measurement, by at least one measuring device, of the weight of the article, and a sending step by the user terminal to the computer processing unit of the measured weight of the article.
  • the processing step comprises, preferably before the step of generating the behavior of the article, at least the following steps: a. Identification in at least one database of the article from the identifier, the database comprising at least the identifier of the article associated with a predetermined weight of the article; b. Obtaining the predetermined weight of the item from the database: i. In the event that the predetermined weight is equal to zero or is not entered, the computer processing unit assigns the measured weight of the item as the predetermined weight associated with said identifier in the database; ii. In the case where the predetermined weight is different is different from zero and entered, the computer processing unit performs a comparison of the predetermined weight and the measured weight so as to identify a weight anomaly if the difference in weight is greater than a threshold predetermined.
  • the determination of a probability of fraud is carried out as a function of said comparison of the predetermined weight with the measured weight, this probability being non-zero if a weight anomaly has been identified.
  • the present invention can reduce, if not prevent, fraud.
  • the present invention also relates to a system for detecting at least one fraud in the case of a purchase of at least one article by a user in a store, comprising at least: a.
  • a user terminal comprising at least: i. An identification device configured to identify the article when a user passes the article in proximity, preferably within one meter, of the identification device; ii.
  • a measuring device configured to measure the weight of the article; iii.
  • An optical device configured to at least determine at least one trajectory of the article manually moved by the user in three-dimensional space;
  • a computer processing unit in communication with at least the user terminal, the computer processing unit being remote or not from the user terminal and being configured for: i. Generating at least one behavior of said article from at least the trajectory of the article in three-dimensional space; ii. Compare the behavior of said article with a plurality of predetermined behavior models so as to identify a handling anomaly;
  • the computer processing unit is further in communication with a database comprising the identifier of the article associated with a predetermined weight of the article.
  • the computer processing unit is further in communication with a data comparison module configured to compare the measured weight with the weight indicated in the database according to the identified item, the comparison module being configured. to identify a weighing anomaly.
  • the optical device is configured to collect a plurality of images in addition to the article, and the computer processing unit is further in communication with a module for analyzing the images collected by said optical device configured to identify a handling anomaly.
  • the computer processing unit is further configured for: a. Compare the predetermined weight of the item obtained from the database with the measured weight so as to identify a weight anomaly if the difference in weight is greater than a predetermined threshold; b. Determine a probability of fraud as a function of said comparison of weight, this probability being non-zero if a weight anomaly has been identified.
  • the computer processing unit is further configured to analyze the plurality of images collected so as to identify a handling anomaly.
  • the present invention also relates to a computer program product comprising instructions, which when carried out by at least one processor, executes at least the steps of the method according to the present invention.
  • FIG. 1 represents a fraud detection system according to an embodiment of the present invention.
  • FIG. 2 represents a diagram of the positioning of the identification device, of the optical device and of their observation zones according to an embodiment of the present invention.
  • FIG. 3 represents a trolley integrating at least part of the system according to one embodiment of the present invention.
  • Figure 4 shows a graphical interface of a portable analysis device according to one embodiment of the present invention.
  • FIG. 5 shows an algorithm for recording data and analyzing said recording according to an embodiment of the present invention.
  • the optical device is configured to allow depth to be taken into account in capturing three-dimensional images.
  • the optical device is configured to allow taking into account a so-called depth spatial dimension extending along an axis orthogonal to the two axes forming the plane of a diopter of the optical device.
  • the trajectory of the article in three-dimensional space comprises at least a plurality of points, each point of said plurality of points comprising at least three spatial coordinates, preferably in an orthonormal three-dimensional space.
  • the optical device is configured to allow the depth to be taken into account in determining said trajectory of the article.
  • the optical device is configured to allow taking into account a so-called depth spatial dimension extending along an axis orthogonal to the two axes forming the plane of a diopter of the optical device in determining said trajectory of the optical device. 'article.
  • the trajectory of the article in three-dimensional space comprises at least a plurality of points, each point of said plurality of points comprising at least three spatial coordinates, possibly each evolving at course of the trajectory, preferably in an orthogonal three-dimensional space.
  • the optical device comprises a stereoscopic optical device, preferably is a stereoscopic optical device.
  • the probability is non-zero if a handling anomaly is identified.
  • the predetermined weight of the article contained in the database comprises a range of weights, preferably a minimum predetermined weight and a maximum predetermined weight.
  • the step of determining the trajectory of the article in space three-dimensional comprises tracking the article in at least one area taken from at least the identification area, the entry area, at least one outer area, at least one inner area corresponding at least to the entry of at least one minus one container, the entry area separating the exterior area from the interior area.
  • the division of the space into several zones allows better tracking of the item and the functionalization of the space.
  • the determination of the trajectory of the article in three-dimensional space comprises at least the passages, and preferably only the passages, of the article from one area of the three-dimensional space to another area of the three-dimensional space. three-dimensional space.
  • the step of determining the trajectory of the article comprises at least determining the trajectory of an object other than the article moving in three-dimensional space, preferably said object being taken from: a hand, an arm, another article, a bag, an accessory worn by the user, a garment worn by the user.
  • the step of generating the behavior of the article includes mentioning any reconciliation beyond a predetermined threshold of said object with the article.
  • the behavior generated from said article comprises at least one chain of events detected by the plurality of sensors, these events being taken from at least: the identification of the article, the passage of a zone of space three-dimensional to another area of three-dimensional space, the measurement of the weight of the article, the approach of the article by another object.
  • the step of capturing the plurality of data includes collecting by the optical device a plurality of images of at least the item and at least one hand of the user carrying the item.
  • the processing step comprises a step of analyzing the plurality of images collected in order to record at least one two-dimensional representation of the article and to identify whether the user's hand is empty or full. .
  • the processing step comprises at least one comparison of an image of the article present in the database and of one or more images of the plurality of images collected so as to identify an anomaly between the image of the article from the database and the collected image (s) of the article.
  • the step of comparing an image of the article comprises at least one step of optical recognition of the article by the computer processing unit, preferably by a trained neural network.
  • the step of collecting a plurality of images comprises at least one step of recording by the optical device a video, advantageously temporally compressed, preferably from the plurality of images collected.
  • the step of recording the video comprises the overlay of a datum collected by at least one sensor at the time of collection of said datum, said sensor being taken from at least: the identification device, the optical device, the measuring device, a sensor spatial orientation, a motion sensor.
  • the step of determining the trajectory of the article comprises at least: a. Collecting a plurality of two-dimensional images, preferably in color; b. The collection of a plurality of three-dimensional images.
  • the collection of the plurality of two-dimensional images is performed by at least one camera and by at least one additional camera, and the collection of the plurality of three-dimensional images is performed by at least one stereoscopic camera.
  • the stereoscopic camera is configured to spatially track the article in three-dimensional space
  • the additional camera is configured to transmit a plurality of two-dimensional images to at least one neural network so as to train said neural network in recognizing the geometric shape of the article
  • the database can also provide corrective data to refine the model generated by the neural network, the spatial position of the article and its geometric shape are then used for tracking of the article by the two-dimensional camera when the article leaves the field of view of the stereoscopic camera.
  • the collaboration of the two cameras allows for better tracking of the item as well as better identification, thus reducing the number of possible frauds.
  • the two-dimensional camera comprises a lens having an angle greater than 100 degrees, preferably called a "wide-angle", and is configured to ensure the tracking of the spatial position of the article outside the field of observation of the article.
  • the stereoscopic camera and to collect images of the geometric shape of the article, the spatial position of the article and its geometric shape are then used for tracking the article by the stereoscopic camera and by the additional two-dimensional camera when the The article comes within the field of observation of the stereoscopic camera.
  • the collaboration of the two cameras allows for better tracking of the item as well as better identification, thus reducing the number of possible frauds.
  • the method comprises, before the step of identifying the article, a step of identifying the user followed by a step of reading a user profile specific to the user from a database. user profile data.
  • the predetermined behavior models comprise at least one standard behavior model comprising at least the following chain of events: a. Identification of the article; b. Item tracking from the identification area to the entry area; vs. Item tracking from the entry area to the interior area; d. Preferably, followed by an empty hand of the user from the inner area to the outer area before or after the measurement of the item's weight.
  • a handling anomaly comprises at least one of the following situations: replacement of the article by another article, addition of another article in a container at the same time as said article, withdrawal of another article from said container when depositing said article in said container, replacement of an identified article by another unidentified article, identification of an article with a fraudulent identifier.
  • the method comprises, if a weight anomaly is detected, the following steps: a. Formulation by message, preferably visual and / or audio, to the user of a request to withdraw the article, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; b. Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article again so as to obtain a new weight, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; vs. Sending by the user terminal to the computer processing unit of the new weight of the item; d. Processing, carried out by the computer processing unit, of the new identifier of the article, of the new weight of the article, and preferably of the images collected, comprising at least the comparison of the predetermined weight with the new measured weight so as to identify a weight abnormality.
  • the method comprises, if an anomaly is detected, the following steps: a. Formulation by message, preferably visual and / or audio, to the user of a request to re-identify the article, this formulation being carried out by a user interface, the user interface being for example the unit of data processing ; b. Sending by the user terminal to the computer processing unit of the new identifier of the article; vs. Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article again so as to obtain a new weight, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; d. Sending by the user terminal to the computer processing unit of the new weight of the article; e. Processing, by the computer processing unit, of the new identifier of the article, of the new weight of the article, and preferably of the images collected, comprising at minus the comparison of the predetermined weight with the new measured weight so as to identify a weight abnormality.
  • the method comprises a continuous step of recording an initial video of a predetermined duration by the optical device, said initial video being erased at the end of said predetermined duration unless an event is detected by at least a sensor taken from at least: the identification device, the measuring device, the optical device, a movement sensor, a spatial orientation sensor.
  • the processing step is performed only when the step of capturing the at least a plurality of data is completed.
  • the method comprises, when the probability of fraud is greater than a predetermined threshold, sends it from the computer processing unit of a plurality of secondary data depending on said plurality of data to at least one management station so that a first supervisor analyzes said plurality of secondary data.
  • This provides a first automated anti-fraud filter, and a second anti-fraud filter involving one or more human operators.
  • said plurality of secondary data is transmitted to at least one portable analysis device, preferably located in the same building as the user terminal, so that a second monitor analyzes said plurality of secondary data and travels to the user.
  • said plurality of secondary data comprises at least one of the following data: the identifier of the article, the weight of the article, an original image of the article, one or more images of the plurality of collected images, a video, preferably temporally compressed.
  • the user terminal is a mobile cart.
  • This provides a smart cart that allows the user to easily pay for purchases at the end of the session, with items being scanned during the shopping session.
  • At least part of the computer processing unit is embedded in the mobile cart.
  • the system comprises at least one management station, preferably delocalized, configured to receive at least a plurality of data from the processing unit. computer so as to be analyzed by at least a first supervisor.
  • the system comprises at least one portable analysis device configured to receive a plurality of data from the management station so as to allow a second supervisor to analyze said plurality of data and to come alongside the manager. 'user.
  • the computer processing unit is in communication with another database comprising at least the history of fraud detected by the user.
  • the user terminal is a fixed terminal, typically intended to be placed in a store, for example near the outlet of the store.
  • the computer processing unit is in communication with at least one classification module comprising at least one neural network trained to detect a fraud situation from data transmitted to the computer processing unit.
  • the user terminal comprises at least one display device configured to display at least the identifier and / or the weight of the article.
  • the system comprises at least one electric battery.
  • a three-dimensional space is meant a space comprising at least three spatial dimensions, at least part of this space being captured by an optical device, preferably stereoscopic, configured to consider these three spatial dimensions, that is, that is to say that it is possible to determine the spatial position of one or more objects present in this three-dimensional space via this optical device.
  • this optical device is configured to take into account, in addition, the depth relative to said optical device, that is to say that it is possible to evaluate the distance from one or more objects present in this space. three-dimensional with respect to said optical device.
  • an object in this three-dimensional space, an object can describe a trajectory and this object therefore comprises three spatial coordinates at each point of this trajectory, because the optical device is able to evaluate the evolution of said object in the three dimensions of space. .
  • This allows an advantageously much more flexible placement of the optical device while preserving the understanding of the actions performed in three-dimensional space.
  • the optical device according to the present invention is not necessarily arranged vertically to the two-dimensional area to be evaluated.
  • the present invention relates to a system, as well as a method for detecting fraud during the purchase of an article by a user in a store, for example.
  • the present invention cleverly enables the detection of fraud during the purchase of an item. Indeed, via a clever method based on an advantageous system, the present invention makes it possible to detect fraud in the case of automatic collection systems, or even automatic payment, also called automatic checkouts or even automatic payment trolleys, for example without limitation. .
  • FIGS 1 to 3 illustrate a fraud detection system according to an embodiment of the present invention.
  • FIG. 1 schematically illustrates such a system 1000.
  • the fraud detection system 1000 comprises at least: a.
  • a user terminal 10 comprising at least: i. An identification device 1100 configured to obtain the identifier of an item 20; ii.
  • a measuring device 1200 configured to measure the weight of said item 20; iii.
  • An optical device 1300 configured to at least detect and spatially track said item 20; iv.
  • a motion sensor and / or a spatial displacement sensor such as a gyroscope for example.
  • a computer processing unit 1400 configured to process a plurality of data and determine a probability of fraud, preferably to determine whether or not there is fraud.
  • the user terminal 10 comprises part or all of the computer processing unit 1400.
  • the user terminal 10 is a mobile cart 10, as illustrated in FIG. 3 for example.
  • the user terminal is a terminal, for example a payment terminal or an automatic cash register.
  • the user terminal 10 can comprise a container 11 intended to receive the article 20 after the user has identified said article 20.
  • at least the identification device 1100, the measuring device 1200 and optical device 1300 are mounted on the same device, preferably mobile, such as for example a carriage 10 as described below in FIG. 3.
  • the identification device 1100 is configured to determine the identifier of the item 20. This determination can take any form. It can for example include the fact of having the identification device 1100 read the barcode of the article 20. This can be a radiofrequency technology of the RFID type or even a visual recognition of the device. article 20, or even a touch interface allowing the user to indicate to the system 1000 the article in question so that the identifier of the article 20 is determined. In the case of visual recognition of section 20, the identification device 1100 may include the optical device 1300 and / or vice versa.
  • the identification device 1100 may include a portable device, for example belonging to the user.
  • the identification device 1100 can use at least one camera of this portable device to identify the article 20.
  • This portable device can for example be a digital tablet or a smart phone.
  • the user presents the article 20 to the identification device 1100 of the barcode reader type, for example, the identifier is obtained by the identification device 1100 and then transmitted to the computer processing unit 1400. Then, the user moves the item 20 into the container 11.
  • the container 11 advantageously comprises the measuring device 1200.
  • the measuring device 1200 is configured to measure the weight of the article 20.
  • the measuring device 1200 comprises a force sensor from which the container 11 configured to receive said article 20 is suspended. here identified.
  • the container 11 can be placed on the force sensor.
  • the measuring device 1200 comprises a scale on which the article 20 is placed in order to measure its weight. Once the weight is measured, this data is transmitted from the measuring device 1200 to the computer processing unit 1400.
  • the optical device 1300 comprises a so-called two-dimensional camera 1310 configured to collect two-dimensional images of a predetermined two-dimensional scene, and preferably a stereoscopic camera also called three-dimensional camera 1320.
  • This stereoscopic camera, or more generally this three-dimensional sensor 1320 is configured to collect three-dimensional images of a predetermined three-dimensional scene.
  • the optical device 1300 is configured to transmit said collected images to the processing unit. computing 1400.
  • the optical device 1300 comprises a camera.
  • the system 1000 can include a plurality of sensors, including the identification device 1100, the measuring device 1200 and the optical device 1300, but also a movement sensor for example, or an accelerometer, or a gyroscope, or any other sensor that can be used to collect one or more data useful for identifying a potential fraud situation.
  • a movement sensor for example, or an accelerometer, or a gyroscope, or any other sensor that can be used to collect one or more data useful for identifying a potential fraud situation.
  • the present invention advantageously takes advantage of the crossing of data collected by a plurality of sensors. This data crossing is advantageously carried out by an artificial intelligence module 1420, preferably comprising at least one network of trained neurons, advantageously automatically.
  • the computer processing unit 1400 is configured to process the data obtained, collected by the identification device 1100, the measuring device 1200, the optical device 1300, and preferably by any other sensor. Indeed, preferably, the computer processing unit 1400 is configured to receive: a. At least one identifier of said article 20 from the identification device 1100; b. At least one measurement of the weight of said item 20 from the measuring device 1200; vs. At least a plurality of images collected by the optical device 1300;
  • the computer processing unit 1400 is in communication with at least one database 1410 comprising for each identifier at least one series of data whose predetermined weight of said item 20, and preferably an image or a graphic representation of said item. article 20.
  • the computer processing unit 1400 may include a weight comparison module for example.
  • the predetermined weight of the article 20 corresponds to an interval weight.
  • the database can include a weight interval and not a precise value. This makes it possible in particular to avoid many situations where the weight would not correspond precisely. Indeed, the articles 20 hardly all have the same weight.
  • this weight range can correspond to the weight of the article 20 at plus or minus 2%, preferably 5%. and advantageously 10%. According to a preferred example, this range has a minimum value and a maximum value, preferably prerecorded or acquired by learning over the operating time of the invention.
  • the predetermined weight recorded in the database 1410 is zero, that is to say it is equal to zero or is not entered.
  • the system 1000 is self-learning, that is, it will feed its database 1410 from the measured weight. For example, the user scans an item 20, the system 1000 identifies the item 20 and accesses the database 1410 of items 20 to compare the weight of said scanned item 20 with that of the database 1410. If the base data returns a zero weight value or if the weight value is not entered in the database 1410, then the system 1000 goes into self-learning mode and replaces this zero or uninformed weight value by the value of the measured weight.
  • the system 1000 captures images of the article 20 so that it can subsequently associate a two-dimensional image of the article 20 with the identifier of the article 20 and the weight of the article. 20. If during the shopping session, the user manipulates said article 20, its weight, identifier and visual recognition will be used to prevent a situation of fraud. Note also that on the first scan, the system 1000 is designed to reason logically, i.e. if the user attempts to have a label of fruits and vegetables on an item other than fruits and vegetables, the visual analysis, described below, can trigger a notification of a potential fraud situation even though the weight is not listed in the database 1410,.
  • this weight can be used as a predetermined weight if before weighing the predetermined weight of said item in the database was zero.
  • this predetermined threshold is less than 10Og, preferably 50g and advantageously 25g.
  • the computer processing unit 1400 is configured to obtain from said database 1410 at least the predetermined weight of said item 20 and to compare this predetermined weight with the measured weight transmitted by the measuring device 1200.
  • the computer processing unit 1400 is configured to process the plurality of collected images.
  • This processing can include the identification and / or the spatial localization of the article 20.
  • this can be used to compare the identifier of the article 20 with the optical identification carried out by the computer processing unit 1400 from the collected plurality of images.
  • the spatial location of the article 20 is used in order to verify that the identified article 20 is indeed the weighed article 20 and that the user has not inverted the article 20. identified with another item 20 of the same weight.
  • the optical device 1300 comprises only a single camera capable of capturing two-dimensional images and three-dimensional images.
  • the optical device 1300 is configured to pick up points in a three-dimensional space, thus allowing depth to be taken into account in capturing the three-dimensional images.
  • optical device 1300 is configured to sense two-dimensional color data.
  • optical device 1300 is configured to track an object, preferably section 20 or one or more hands of a user for example, in a space.
  • This space is compartmentalized into various virtual zones. These virtual zones are defined by the computer processing unit 1400 and are used for the analysis of the images collected, or even the triggering of actions.
  • the analyzed three-dimensional space considered comprises at least four zones: a. A scanning area 1321, located at the level of the identification device, for example in front of a barcode scanner; b. An exterior zone 1322, located above the container 11, preferably above the cart, or outside a drop zone for an automatic scan, for example; vs. An interior zone 1323, located inside the container, preferably in a so-called deposit zone, advantageously in the trolley; d. An entry zone 1234, located between the outer 1322 and inner 1323 zone.
  • the system 1000 also includes at least a portable fraud analysis device 1700.
  • This device 1700 is configured for use by a user called a supervisor, his role being to monitor certain situations of possible fraud. Indeed, cleverly, and as described below, in the event of doubt concerning a fraud situation, a supervisor having a fraud analysis device 1700 receives a plurality of information on it allowing him to '' assess whether or not there is fraud. This analysis step will be described below, in particular its advantageous presentation allowing very high and reliable reactivity on the part of the supervisor.
  • the processing unit 1400 can be in communication with a management station 1600.
  • This management station 1600 allows supervision of a plurality of fraud detection systems 1000.
  • This management station 1600 will also be described more precisely below.
  • FIG. 3 illustrates a fraud detection system 1000 according to a preferred embodiment.
  • a carriage 10 comprises a gripping device 13 and a frame 15 supported by wheels 14 thus making the carriage 10 mobile.
  • the carriage 10 further comprises the identification device 1100, the optical device 1300, the measuring device 1200 and at least one container 11.
  • the cart 10 can include at least one display device 12 making it possible to inform the user if necessary, or even a touch interface service for the management of the user's virtual cart, for example.
  • the computer processing unit 1400 can be embedded in the cart 10 and / or be partially or totally delocalized and be in communication with the elements embedded in the cart 10.
  • the trolley 10 comprises a container 11, preferably suspended from at least one force sensor thus playing the role of measuring device 1200 of the weight of the article 20.
  • the identification device 1100 is a scanner.
  • bar codes Preferably, the carriage 10 comprises the optical device 1300 capable of collecting two-dimensional images, preferably in color, and three-dimensional images.
  • the trolley 10 can include a plurality of sensors such as for example a sensor for spatial position, movement, direction of movement, presence, NFC (Near Field Communication) sensor, RFID sensor ( from the English radio frequency identification), LI-FI sensor (from the English Light Fidelity), bluetooth sensor, or even WI-FI TM type radio communication sensor, etc ...
  • sensors such as for example a sensor for spatial position, movement, direction of movement, presence, NFC (Near Field Communication) sensor, RFID sensor (from the English radio frequency identification), LI-FI sensor (from the English Light Fidelity), bluetooth sensor, or even WI-FI TM type radio communication sensor, etc ...
  • the cart 10 includes one or more bluetooth, WI-FI TM or Lora (Long Range English) type communication modules.
  • the cart 10 includes various sensors linked to artificial intelligence which aims to understand each action performed on the cart 10 by the user and to detect fraudulent actions.
  • This intelligence can for example take the form of a data processing module comprising at least one network of neurons, preferably trained.
  • This neural network can be embedded in the cart 10.
  • the cart 10 comprises an electrical power source 16 to supply the various elements previously indicated for example.
  • the fraud detection system 1000 is at least partly mobile and at least partly on board a trolley 10 as described above.
  • the system 1000 comprises an interface 12 which can be either arranged on the cart 10 itself in the form of a touch interface 12, or be virtualized in the form of a mobile application that the user will have. previously downloaded, for example on their smart phone.
  • the user after selecting the item 20 to purchase, scans it with the identification device 1100.
  • the barcode of the item 20 is scanned by the device. identification 1100.
  • the user has a predetermined time, for example 10 seconds, to place the scanned item 20, that is to say identified, on or in the container. 11.
  • the container 11 is configured to cooperate with the measuring device 1200 so that the weight of the article 20 is measured by the measuring device 1200.
  • the measuring device 1200 is on board the trolley.
  • the user must have the scanned article 20 in the cart 10 in less than 10 seconds, for example without limitation.
  • the measuring device 1200 can be externalized relative to the carriage 10 so that the user, after having scanned the article 20, places the latter on or in the measuring device 1200 so that its weight is measured there, before placing the item 20 in the container 11.
  • the measuring device 1200 determines the weight of item 20.
  • the identifier before the weighing, is transmitted to the computer processing unit 1400. According to another embodiment, the identifier is transmitted to the computer processing unit 1400 after the weighing, and of preferably at the same time as the measured weight.
  • item 20 is added to a virtual cart allowing the system 1000 and the user to track the user's purchases.
  • only one action is possible at a time, i.e. it is not possible to scan, or identify, another article 20 as long as article 20, previously scanned, is not deposited and its weight has not been assessed.
  • the present invention allows the user to cancel his scan in order to potentially scan another article 20.
  • the user cancels the previous scan via the control interface 12, or he waits for the time. predetermined previously indicated, for example the 10 seconds.
  • the present invention also takes into account the situation where the user would wish to remove an article 20 from the cart 10.
  • the user uses the control interface 12 to indicate to the latter that he wishes to withdraw an article 20. of the trolley 10. Then, the user can remove as many articles 20 as he wishes, but must preferably scan them one by one, advantageously waiting each time between each scan for the system 1000 to have detected that the weight of container 11 has varied.
  • the weight variation would be detected by the system 1000, preferably by the measuring device 1200, and would be mentioned to the user, preferably via the interface.
  • the present invention is specially designed to secure the purchase of an article 20 and thus significantly reduce fraud while allowing better cash flow since payment is provided directly through the present invention, directly via the carriage 10 for example, preferably through the display device 12 which can be used command interface 12 and preferably payment.
  • the fraud detection method comprises at least: a. A step of capturing a plurality of data. These data are at least those previously indicated. This capture step is advantageously carried out by the user terminal 10.
  • This capture step comprises at least the following steps: i. Obtaining the identifier of article 20 by the identification device 1100; this step is for example performed by a scan of section 20 using the identification device 1100; The user is invited to scan any article 20 that he wishes to place in the cart 10 for example. ii.
  • An identification zone 1321 corresponding to a volume of three-dimensional space in which at least part of the article 20 is placed by the user to achieve the obtaining of the identifier of the article 20;
  • An entry zone 1324 corresponding to a volume of the three-dimensional space crossed by the article 20 when the user places the article 20 in at least one container 11, preferably associated with the user terminal 10;
  • an interior zone 1323 corresponding to the entrance of a container 11;
  • the external zone 1322 advantageously corresponds to the three-dimensional space surrounding the entrance zone 1324, itself surrounding the inner zone 1323.
  • the determination of the trajectory consists in following article 20 from one area to another area and recording either the entire trajectory or only the sequence of passage from one area to another.
  • any object located in the field of view of the optical device 1300 is tracked in three-dimensional space.
  • the system 1000 is designed to mention this when analyzing the data afterwards. iii.
  • This collection of images lasts until the item 20 is arranged so that the measuring device 1200 can measure its weight; once the article 20 has been scanned, the user has a predetermined time to place the article 20 in the container 11 and thus carry out the weighing thereof; in addition, the scan of item 20 triggers the capture of the plurality of two-dimensional and preferably three-dimensional images; this step of collecting the plurality of images has the function of following the article 20 visually from the scan zone 1321 to its place of deposit in the interior zone 1323; this makes it possible, among other things, to verify that the scanned article 20 is not inverted with another article before being deposited in the container 11 for example.
  • the predetermined weight of the article 20 contained in the database during the first scan of the article 20 may be equal to zero or not be entered; iii.
  • comparing the predetermined weight with the measured weight so as to identify a weight abnormality; preferably, a weight anomaly corresponds to a measured weight different from the predetermined weight found in the database 1410 except for the situation where the predetermined weight is equal to zero or is not entered; otherwise beyond a difference in weight greater than a predetermined threshold, a weight anomaly is considered; this weight anomaly can occur when the user swaps the scanned article 20 with another article whose weight is different, or when it modifies the barcode for example in order to scan an article of a different weight from the real deposited article.
  • the present invention is configured to replace this value by the value of the measured weight, this measured weight value then becoming the value of the predetermined weight during, at least, the following of the user's shopping session.
  • a behavior is not consistent with a standard behavior model from the moment it exhibits a difference with this model of more than 2%, preferably 5% and advantageously 10%;
  • a behavior is not consistent with a standard behavior model from the moment when certain key events of the model are not present in the generated behavior, such key events can for example be the fact that article 20 n 'has not been identified, that article 20 has not been deposited, that article 20 has not crossed the entry zone 1324, etc ...;
  • a behavior is not consistent with a standard behavior model from the moment when certain suspicious events are present in the generated behavior, such suspicious events can for example be the fact that the optical device is temporarily obstructed, or although an object came close to article 20, etc ...
  • a handling anomaly consists, for example, in scanning an article and depositing another of the same weight, or else in scanning an article with a label that does not correspond to said article even if the weight is correct; visual analysis and automated preference is needed for this type of situation, this analysis is provided by the present invention;
  • the computer processing unit 1400 comprises an artificial intelligence module 1420 comprising at least one neural network, advantageously trained in determining handling anomalies;
  • the analysis of the plurality of images collected consists of an analysis of a three-dimensional scene and in particular of the displacement of a plurality of points associated with the article 20 in a three-dimensional space partitioned into different zones; these areas will be described later.
  • the principle of this analysis of the plurality of images is to determine whether the movement of the article 20 in space corresponds to a predetermined model taken from among a plurality of models considered non-fraudulent which will be described below; in the event that the movement of article 20 through these different zones does not correspond to a non-fraudulent model, then there is potentially a situation of fraud.
  • the present invention in addition to considering the movement of the article 20 in this compartmentalized virtual space, the present invention also considers the interactions between the article 20 and any other foreign element; advantageously, if a cloud of points, that is to say a hand or another object approaches and interacts with the cloud of points corresponding to article 20, the suspicion of fraud increases; Preferably, if the foreign element is a hand identified as empty, then the suspicion of fraud can be reduced c. A step of evaluating a probability of fraud, this probability being non-zero if: i. A handling anomaly is identified; and / or ii. Preferably, a weight abnormality is identified.
  • a probability of fraud may correspond to binary data such as, for example, 1 or 0, 1 corresponding to the fact that the fraud is certain and 0 corresponding to the fact that there is no fraud.
  • a probability of fraud can correspond to a percentage of fraud, for example an absence of fraud equals 0% and a certainty of fraud at 100%.
  • a probability of fraud can be a numerical value between 0 and 100 and / or be a binary value equal to 0 or 1.
  • This fraud evaluation step consists of crossing a plurality of data items so as to evaluate a probability of fraud, in particular if an anomaly in weight and / or handling is detected.
  • this data crossing is carried out by an artificial intelligence module 1420 preferably comprising a network of trained neurons, preferably automatically.
  • the present invention provides a hybrid solution in which part of the analysis is performed automatically and another part is carried out through the intervention of supervisors if necessary.
  • the present invention may include at least one portable analysis device 1700 for use by at least one supervisor.
  • the portable analysis device 1700 is configured to receive a plurality of data from the computer processing unit 1400 and / or from a management station 1600 which will be described later.
  • the portable analysis device 1700 is configured to display at least part of this data in a form allowing rapid decision-making, for example in less than 10 seconds, preferably in less than 5 seconds and advantageously in less than 2 seconds, from the supervisor.
  • the aim is to send the most qualitative information to the supervisors, preferably for remote control.
  • the computer processing unit 1400 selects a selection of images from among the plurality of images collected and transmits this selection to the portable analysis device 1700.
  • This selection is advantageously carried out by considering particular instants, for example the moment. scanning, weighing, moving article 20, entering or leaving a zone, etc.
  • the computer processing unit 1400 produces a video, preferably temporally compressed, which it also transmits to the portable analysis device 1700.
  • a temporally compressed video comprises a video of which the number of images per second is greater than 24 for example, or even of a video whose playing time from start to end is less than the duration of the action shown, we also speak of time lapse video or even video accelerated.
  • this video also comprises, preferably on its time line, the notification of the particular instants mentioned above in the form for example of benchmarks. This allows the supervisor to select, if desired, a specific portion of the video relating to a particular event that is noted there. This allows a simple, intuitive and quick way to select an event and access the passage of the video and preferably other data related to this event.
  • the computer processing unit 1400 transmits to the portable analysis device 1700 information related to the scanned item 20 and / or a text explaining the anomaly (s) detected, or even the type of fraud suspected and / or detected.
  • the computer processing unit 1400 transmits these data either directly to the portable analysis device 1700, or via a computer server 1600.
  • This computer server 1600 is advantageously configured to conform the data to be transmitted from such as for example to prioritize them according to various prioritization parameters and / or for example to order them.
  • this computer server is an integral part of a management station 1600.
  • the computer processing unit 1400 transmits said data to at least one management station 1600 via a computer server for example, then an employee, called a super-supervisor for example, is then in charge of analyzing whether or not there is fraud.
  • a validation command is sent to the computer processing unit 1400 validating the user's action.
  • the super-supervisor transmits the considered data to the supervisor's 1700 analysis device.
  • This supervisor is advantageously mobile and can thus contact the user whose action appears to be fraudulent. The supervisor is thus intended to take charge of the situation, on the one hand by analyzing said data and on the other hand by going to the location of the possible fraud.
  • the portable analysis device 1700 may for example comprise a tablet, a computer, a smart phone or even any medium allowing the display of data and preferably comprising an advantageously tactile interface.
  • the data presented on the portable analysis device 1700 is shaped to be easily understood and analyzed.
  • the present invention provides a clear, simple and intuitive presentation of the data allowing the supervisor to decide very quickly, preferably in less than 10 seconds, whether the situation is a fraud situation or not.
  • the computer processing unit 1400 transmits the necessary data so that the super-supervisor located at the management station 1600 can filter out potential situations of fraud. If, according to his analysis, there is no fraud, he sends a validation command to the user so that he can continue with his purchases or payment.
  • a summary of all the “suspicious” actions, that is to say potentially fraudulent, is presented on the management station 1600 of a super-supervisor and / or on the portable analysis device 1700 the supervisor, for example the supervisor located at the exit of the store, so that he can interact with the user during the payment phase, for example.
  • the super-supervisor has all the information necessary to control the action on a graphical interface.
  • This graphical interface is advantageously configured to display the image and the title of the article 20 concerned, a small description of the type of fraud detected, a series of images of the action, such as a comic strip for example in the form of thumbnails, and advantageously a video, preferably accelerated; the objective being that the supervisor and / or the super-supervisor can determine if the action is fraudulent in a very short time, generally in less than 10 seconds, preferably 5 seconds and advantageously in 2 seconds.
  • the interface and / or the data conformation are configured to simplify the work of the supervisor and the super-supervisor.
  • the present invention first uses a first automated filter, represented by the computer processing unit 1400, preferably based on the use of an artificial intelligence comprising at least one neural network, to filter the data. potentially fraudulent situations of others, then a second filter is applied.
  • This second filter comprises the mobile monitors using a portable analysis device 1700.
  • this second filter comprises the super-monitors arranged at the level of management station 1600, therefore the supervisors.
  • Mobile monitors using a portable analyzer 1700 represent a third filter. The combination of these different filters makes the work of each filter easier and faster.
  • the present invention analyzes the possibility of fraud on the basis of an analysis of three-dimensional scenes.
  • the three-dimensional scenes also called a plurality of images
  • These 3D scenes which are preferably dynamic, include one or more pluralities of moving points.
  • a first plurality of points corresponds to item 20 which is then tracked in space.
  • a second plurality of points may correspond to a user's hand or to another item. Any plurality of points which interact, that is to say which approach at a distance less than a predetermined threshold from the first cloud of points, is considered as a potential source of fraud.
  • the displacement of the first plurality of points among the various zones is recorded and compared with a plurality of non-fraudulent displacement models. If ever a chain of actions does not correspond to a chain of actions belonging to a predetermined pattern among the non-fraudulent models, then the probability of fraud increases.
  • Standard model of behavior corresponding to the addition of an article 20 a. Identification of article 20; b. Definition of the geometric shape of the validated article, called “globe” hereafter, in the 1321 scan area; vs. Validated comparison of at least one two-dimensional image of the article 20 contained in the database 1410 with at least one two-dimensional image of the article 20 taken during its identification; d. The validated article 20 leaves the 1321 scan area; e. The validated article 20 passes or not through the external zone 1322; f. The validated article 20 enters the entry zone 1324; g. Validated comparison of the two-dimensional image of the article 20 taken during the identification of the article 20 with the two-dimensional image of the article 20 validated during the passage in the entry zone 1324; h.
  • Article 20 validated enters the interior zone 1323; i. Measuring the increase in the weight of the container 11 accordingly, that is to say a measurement of the starting weight increased by the predetermined weight of the identified item 20, this increase in weight can take place before or after the two-dimensional identification with an empty hand exiting the inner zone 1323 through the entry zone 1324.
  • Standard pattern of behavior corresponding to the identification of an empty hand a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand in the 1323 inner zone; d. Variation in weight or not, this variation in weight can occur before or after the following two events; e. An empty hand enters the 1324 entry area; f. An empty hand enters the outer zone 1322;
  • Standard behavior model corresponding to the user taking, to look at it for example, an article 20 already validated and present in the container: a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand in the 1323 inner zone; d.
  • the weight decreases, this reduction in weight being able to occur at this moment or else during the 5 following events; e. A full hand enters entry area 1324, becomes the object tracked by optical device 1300; f.
  • the tracked object enters the outer zone 1322; g.
  • the tracked object enters entry area 1324; h.
  • Standard behavior model corresponding to the user posing an article 20, and forgetting to identify it a.
  • a full hand enters the entry area 1324, becomes the tracked object;
  • the measured weight increases, this weight increase being able to occur at this moment or during the 3 following events;
  • vs. An empty hand enters the entry area 1324;
  • An empty hand enters the outer zone 1322;
  • An empty hand enters the entry area 1324;
  • An empty hand enters the inner zone 1323;
  • the weight decreases, as a consequence, that is to say that it returns to the starting weight of the model, this reduction in weight being able to take place between this moment and the end of the model;
  • the tracked object enters the input zone 1324, i. Two-dimensional comparison validated between the two-dimensional image of the object tracked during the first passage through the entry zone with the two-dimensional image of the object tracked during the second passage through the entry zone 1324; j.
  • the tracked object
  • Standard model of behavior corresponding to the withdrawal of an article 20 a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand enters the inner zone 1323; d. The weight decreases, this reduction in weight being able to occur between this moment and the end of the model; e. A full hand enters entry area 1324, becomes the tracked object; f. The tracked object enters the outer zone 1322; g. The tracked object falls within the 1321 scan area; h. Identification of an item 20 of the virtual shopping cart selected as an item 20 to be withdrawn by the user; i. Two-dimensional comparison validated between the image of item 20 when it was identified and the image of the tracked object as it passed through the entrance area 1324.
  • the present invention advantageously takes advantage of these standard behavior models. Indeed, instead of seeking to classify a chain of events as fraudulent, it is easier and faster to compare a chain of events with a series of models considered as non-fraudulent. As soon as there is a difference greater than a predetermined threshold between the evaluated behavior and a standard behavior model, fraud is suspected. If this is the In this case, it is the turn of one or more super-supervisors or supervisors to intervene.
  • FIG. 4 illustrates, according to one embodiment of the present invention, an interface of a management station 1600 and / or of a portable analysis device 1700.
  • This interface is advantageously tactile.
  • This interface includes a nifty graphical interface.
  • This graphical interface includes a graphical representation 21 of section 20, as well as optionally a description 22, preferably short and synthetic.
  • This graphical interface includes a simple and synthetic description of the potential type of fraud 23.
  • This graphical interface can include a plurality of images in the form of thumbnails 24 which may for example represent precise and relevant actions of the user taking into account the type of fraud. estimated.
  • This graphical interface preferably comprises a video, advantageously temporally compressed, as described above.
  • the graphical interface comprises at least a first actuator 26 and at least a second actuator 27.
  • the first actuator 26 can for example be configured to allow the supervisor or the super-supervisor to indicate that there is no is no fraud.
  • the second actuator 27 can for example be configured to allow the supervisor or super supervisor to validate that there is a fraud situation.
  • the graphical interface of the management station 1600 may include a third actuator, not illustrated in this figure, configured to transmit the analysis of the data to the mobile supervisor through a portable analysis device 1700 of so that he can go there and validate or not a fraud situation.
  • the user has no action reported as potentially fraudulent by the computer processing unit 1400 and / or no action reported as fraudulent by the supervisor and / or the super-supervisor, then he can pay without any interruption, the purpose being that a user who does not cheat is absolutely not disturbed during his shopping session.
  • a fraud is reported by a supervisor and / or a super supervisor, then: a.
  • the user is notified and awaits the arrival of a supervisor; and / or b.
  • the payment phase is interrupted pending the arrival of a supervisor;
  • a supervisor In any situation, in the event of doubt or validated fraud, a supervisor is responsible for going to the user and checking the item (s) to which the probability of fraud relates. In this way, the supervisor's control is rapid and directly oriented towards one or more items among several others.
  • the present invention also provides a clever way of prioritizing the data and the potential fraud situations to be dealt with.
  • the present invention cleverly crosses several data to assess a probability of fraud, then this data is cleverly conformed and each situation prioritized to allow a fluidity of the user experience and a high reactivity of the supervisors and / or super-supervisors.
  • processing the plurality of data comprises processing a plurality of collected images, which may include two-dimensional images, preferably in color, and three-dimensional images.
  • This processing is advantageously carried out by the computer processing unit 1400 which is preferably on board a mobile element such as the carriage 10 described above.
  • the carriage 10, at least the computer processing unit 1400 must analyze scenes acquired by several sensors; a so-called two-dimensional camera 1310, advantageously wide-angle; a so-called stereoscopic 3D camera 1320; a gyroscope; a measuring device 1200; an identification device 1100; etc ...
  • Analyzing these scenes generally requires a lot of system resources, and therefore computing power, and therefore energy.
  • the system 1000 according to the present invention is cleverly designed to do this type of processing with little power, few system resources, and quickly.
  • this processing can be deported in a computer server in order to reduce the power consumption, but also the system resources used by the carriage 10.
  • the processing must be done directly with the system resources and the energy available in the cart 10.
  • the present invention is designed to limit the cost and energy of an anti-fraud solution.
  • scene analysis is not necessarily a time priority, that is, this analysis does not need to be performed in real time. This, among other things, is where the present invention provides a clever solution.
  • the method of the present invention comprises a step recording of the scenes by all the sensors on a video, in order to analyze them a posteriori.
  • two-dimensional and three-dimensional video recording begins, i.e. two-dimensional and three-dimensional image collection, when there is an object in an area of the previously defined space, for example in the entry zone 1324 or scan zone 1321, or even in the external zone 1322.
  • the data measured or collected by the other sensors are recorded at the precise moment of each event.
  • each event is temporally embedded via, for example, metadata in the video. So, for example, every scan and every consequent change in weight is recorded and noted in the video.
  • the present invention is configured to generate a timeline comprising events that can be taken from: 2D images, 3D images, identification, variation in weight, and more generally any measurement by one of the sensors. This frieze thus makes it possible to chronologically represent the events that have occurred.
  • This enriched timeline thus saves time in the analysis of a potential fraud situation.
  • the recording of this video is defined by the point capture in a given space.
  • the recording when the recording starts, it takes into account the previous X seconds in order to have information linked to the scene before the event that triggered the recording, that is to say that the video recording, otherwise called temporally compressed video, begins with the action that triggered its recording.
  • the system continuously records a predetermined duration, for example 5 seconds, which it deletes as it goes.
  • a predetermined duration for example 5 seconds, which it deletes as it goes.
  • it records 5 seconds of data for example and erases them after 5 seconds unless an event is detected involving the start of recording for subsequent analysis, the images recorded before this event are then taken into account in the generation. time-compressed video.
  • the start of this recording is subject to a change of state of at least one sensor taken from among all the sensors of the system.
  • the sensors of the system are taken from at least: the identification device 1100, the measuring device 1200, the optical device 1300, a movement sensor, a gyroscope, a spatial positioning sensor, an accelerometer, .. .
  • the senor can be a virtual sensor, that is to say a virtual event such as the passage of a point cloud from one spatial area to another spatial area.
  • a virtual event such as the passage of a point cloud from one spatial area to another spatial area.
  • this crossing can be viewed as a change of state, with the analysis of the 3D scene playing the role of a virtual sensor.
  • said recording is carried out, preferably by collecting a plurality of images and data from the various sensors. It will be noted that preferably, all the measurements of each sensor are recorded. For example, when a scan is in progress, an increase in container weight is expected as a result or when the scan is canceled, or when the weight has changed and the system is waiting to return to a stable state, these are examples of events giving rise to the start of data recording.
  • a first recording can be started when the conditions set out above are present, then, if there is an absence of user actions, for example beyond a predetermined time, then the first recording stops. And a second recording starts as soon as the user takes a new action.
  • the final analysis includes the analysis of the first recording and of the second recording even though this analysis is carried out on a timeline comprising one or more time gaps, that is to say one or more periods not recorded because they are exempt. actions.
  • the recording will start, but if the user leaves and does not take any action after 10 seconds for example, the recording will stop, and a new recording will start as soon as an action is detected.
  • the analysis will be done considering the two records, because the analysis is only done when the carriage 10 becomes stable again, it will however have a hole in the data recording.
  • an analysis can relate to several records.
  • the same recording can be used for several different analyzes.
  • the start of the recording can also be initiated by the three-dimensional capture of the crossing of the entry zone 1324 of the carriage 10, for example.
  • a stable state is defined when all the sensors do not detect a measurement variation greater than a predetermined threshold, this threshold possibly being a function of each sensor.
  • An unstable situation is therefore defined as corresponding to the detection of a measurement variation by at least one of the sensors above said predetermined threshold, preferably specific to said sensor. Note that scanning an item is considered an unstable state by the present invention.
  • the tracking of article 20 and / or of the user's hand or hands is triggered following the scanning of said article 20.
  • the tracking of an article 20 can be triggered when the user takes out an article from the container 11, taking into account the detection of the change in weight by the measuring device 1200.
  • the three-dimensional shape of the article 20, also called an object is reconstituted, preferably in two parts, this three-dimensional shape will be called "validated shape".
  • the first part of this validated shape is the end of the shape that we will call the “globe” which represents the article and the hand.
  • the second part of this shape is the arm and potentially part of the user's body.
  • the shape present in the scan zone 1321 becomes the validated shape and the globe is the end of it.
  • the globe must pass from the scan zone 1321 to the external zone 1322, then pass through the entry zone 1324 and disappear into the internal zone 1323. Then the article is supposed to be deposited in the container 11, and therefore a variation of weight must be measured, finally the globe comes out through the entry area.
  • the globe can also pass directly from scan area 1321 to entry area 1324.
  • a two-dimensional analysis of the images of the 2D camera 1310 through a neural network is carried out in order to verify that the globe which comes out of the container after the deposit of the article 20 in the container 11 does indeed correspond to an empty hand. . If the scan detects an empty hand passing through the entry area 1324 and towards the outer area 1322, then there is no fraud. The same situation applies if the scan detects an empty hand after measuring an increase in weight consistent with the item ID 20, then there is no fraud.
  • the probability of fraud can be moderate, or even zero.
  • the measuring device 1200 detects a deposition action, that is to say an increase in the weight of the container 11, while the validated shape is still in the outer zone 1322, we can deduce a strong probability of fraud via the detection of a handling anomaly.
  • the scenario without fraud is the same, but in the other direction, i.e. a hand identified as empty recovers an item 20 whose weight is subtracted from that of the container. 11 and this article 20 is then scanned, the correspondence between the predetermined weight and the less measured weight confirms the absence of fraud, for example. Conversely, if a weight is removed without a subsequent scan or if the weight of the scanned item 20 does not correspond to the weight removed, the probability of fraud increases.
  • the system 1000 will detect a full hand via the two-dimensional analysis, this hand crossing the entry zone 1324, or even interior 1323, and the measuring device 1200 will detect an increase in the weight of the container 11 and its contents.
  • the probability of a weight anomaly that is to say of a fraud, is high.
  • a handling anomaly is detected, and the probability of fraud increases.
  • the measuring device 1200 detects an increase in weight, a deposit action has been taken, and if no scan has been performed, the probability of fraud increases.
  • the tracked shape does not leave the field of observation of the optical device 1300 and re-enters the interior zone 1323 without an unknown shape approaching it, without entering the entry zone 1324 or without the device optics 1300 is not obstructed, there is no handling anomaly and the probability of fraud is low.
  • the present invention provides for a two-dimensional comparison of the article 20 taken out and the article 20 withdrawn.
  • the function of the system 1000 is to find this shape when the shape enters the field of observation of the optical device 1300.
  • the system 1000 comprises a two-dimensional camera 1310 called “wide-angle", that is to say having an optical angle greater than 100 degrees.
  • This 1310 2D camera is configured to additionally provide this tracking function.
  • the optical device comprises an additional 2d camera configured to cooperate with the 3D camera.
  • the additional 2D camera is configured to collect two-dimensional images of the three-dimensional scene.
  • the optical device 1300 comprises a plurality of 3D cameras 1320 and 2D cameras 1310, or even additional 2D cameras.
  • the 2D camera 1310 “knows” its aspect, its geometric shape, and its exit position in order to continue tracking the object on 2D camera 1310.
  • the three-dimensional camera 1320 allows the system 1000 to learn the shape of the tracked article 20 and to track its position in space, this learned shape and this known position are then transmitted to the two-dimensional camera 1310 for monitoring. over a larger area, as soon as the article 20 leaves the surveillance area of the three-dimensional camera 1320.
  • the 2D camera 1310 can communicate its position as well as its aspect in return, so that the camera 3D 1320 can resume monitoring, or even improve learning, for example.
  • an analysis can be made on the 2D camera 1310 to determine whether a full hand or an empty hand has approached the item 20, or the object, being tracked.
  • article or object is used independently to define article 20.
  • the present invention comprises a double check mode.
  • This mode is to be implemented when there is a doubt concerning a fraud.
  • This mode consists of transmitting a request to the user to re-scan an item 20 which is supposed to be in container 11, a few minutes after he has inserted it or during payment.
  • the present invention provides an effective solution to this type of fraud. Indeed, to thwart this type of fraud, the present invention proposes to take pictures towards the article 20 from different angles. During a scan, these photos have a dual purpose: a. Initially, these photos are used to feed a neural network model linked to the identifier of article 20, for example to its barcode. This neural network is then configured to indicate whether item 20 is present on an image taken by optical device 1300 or not. This is done by comparing the photo just taken and all the other photos taken during a scan for the same item 20 for example. b. Secondly, the photos pass through the neural network model and the output of said network is a probability of conformity between the scanned article 20 and article 20 expected in relation to its identifier, in order to assess whether the scanned barcode corresponds to article 20 of the photo.
  • the tag exchange being done most often with fruits and vegetables
  • the neural network is trained to identify a bag of fruits and / or vegetables, and if during a scan of a “fruits and vegetables” barcode, the optical device 1300 does not recognize a bag of this type, then a fraud is suspected.
  • the database can include a score per article corresponding to the fact that it is a cheap article and therefore regularly used to carry out fraud, either by using the label of such an article, or its packaging for example non-limiting. Also, preferably, these inexpensive items have a higher fraud score than luxury items.
  • the luxury items have a higher fraud score than the other items.
  • FIG 5 schematically shows the process of recording data and processing them.
  • This figure illustrates two parts of a fraud detection algorithm according to an embodiment of the present invention.
  • the recording 110 of the data begins 120 when an object is detected by the optical device, preferably by the stereoscopic camera and advantageously when the detected object is located in one of the zones of three-dimensional space. If no object is detected 122, recording remains pending.
  • X seconds are expected 150 and appended 151 to the end of the recording when it is finalized 146.
  • the recording then stops 160.
  • Analysis 210 is pending as long as a recording is in progress, So the system monitors whether an identification is in progress 220: yes 221, no 222, if a weight measurement is in progress 225: yes 223, no 222 .
  • the system prepares 230 to analyze a record.
  • the algorithm finalizes its analysis 270 and returns to its initial state of waiting for a new analysis to be performed.
  • a portion of the system resources allocated to the analysis is redistributed for data collection.
  • the present invention uses few system resources and low energy by separating into two distinct phases, the data collection and the analysis of this collected data.
  • the present invention thus makes it possible to obtain high-quality fraud detection while providing a low-cost technical solution, the solution being optimized for large-scale and inexpensive application.
  • the present invention makes it possible to resolve at least the following fraud situations: a.
  • the user scans an item 20 and places two; b.
  • the user discreetly places an item 20 in container 11 without scanning it; vs.
  • the user scans a € 5 bottle of wine and places one at € 50 of equivalent weight, or even that looks like him morphologically; d.
  • the user swaps an article 20 not scanned with an article 20 already scanned in the container 11; e.
  • the user scans an item 20 with a fruit or vegetable barcode label; f.
  • the user puts a scent in a fruit and vegetable bag and I scan it with a fruit and vegetable barcode label.
  • the present invention therefore uses the fusion of several data coming from several sensors to determine a probability of fraud.
  • the present invention comprises an analysis of its so-called self-learning data, that is to say that the computer processing unit is configured to automatically learn the elements making up a fraud.
  • the system is configured to learn that generally a series of actions, or that certain values of the data collected lead to a situation of fraud.
  • the processing unit receives a plurality of data as input and as output the situation is judged as fraud or not by the supervisors and / or super-supervisors.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Pinball Game Machines (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The invention relates to a method for detecting fraud in the event of the purchase of at least one item (20) by at least one user, the method at least involving: • a step of capturing a plurality of data, comprising at least the following steps: • a step of processing, by the computer processing unit (1400), the plurality of data, comprising at least the following steps: • a step of determining a probability of fraud.

Description

« Système et procédé de détection de fraude » "Fraud detection system and method"
DOMAINE TECHNIQUE DE L’INVENTION TECHNICAL FIELD OF THE INVENTION
La présente invention concerne le domaine de la détection de fraude lors d’achat d’articles. Elle trouve pour application particulièrement avantageuse le domaine de la grande distribution et des chariots, paniers de courses intelligents ou encore des dispositifs d’encaissement. The present invention relates to the field of fraud detection during the purchase of articles. It finds a particularly advantageous application in the field of large-scale distribution and trolleys, intelligent shopping baskets or payment devices.
ETAT DE LA TECHNIQUE STATE OF THE ART
Il existe plusieurs façons de surveiller qu’un article n’est pas volé. Actuellement la technologie la plus exploitée concerne la technologie dite RFID. On trouve aussi des systèmes de validation d’un chariot de course par analyse du poids de chaque article ajouté dans le chariot. There are several ways to monitor that an item is not stolen. Currently the most exploited technology concerns the so-called RFID technology. There are also systems for validating a shopping cart by analyzing the weight of each item added to the cart.
Cependant ce type de solutions s’avère d’une part très coûteux et/ou peu fiable. En effet, les fraudeurs ne cessent d’imaginer de nouvelles manières de contourner les systèmes antifraudes mis en place en grandes surfaces par exemple. However, this type of solution is on the one hand very expensive and / or unreliable. Indeed, fraudsters keep imagining new ways of bypassing the anti-fraud systems set up in supermarkets, for example.
Un objet de la présente invention est donc de proposer une solution à au moins certaines de ces problématiques. An object of the present invention is therefore to provide a solution to at least some of these problems.
Les autres objets, caractéristiques et avantages de la présente invention apparaîtront à l'examen de la description suivante et des dessins d'accompagnement. Il est entendu que d'autres avantages peuvent être incorporés. The other objects, features and advantages of the present invention will become apparent on examination of the following description and the accompanying drawings. It is understood that other advantages can be incorporated.
RESUME DE L’INVENTION SUMMARY OF THE INVENTION
La présente invention concerne un procédé de détection de fraude dans le cas de l’achat par au moins un utilisateur d’au moins un article comprenant au moins : a. Une étape de capture d’une pluralité de données à partir d’au moins un capteur, et de préférence d’une pluralité de capteurs, effectuée par au moins un terminal utilisateur comprenant au moins les étapes suivantes : i. Obtention de l’identifiant de l’article par au moins un dispositif d’identification ; ii. Détermination par au moins un dispositif optique d’au moins une trajectoire de l’article manuellement déplacé par l’utilisateur dans un espace tridimensionnel, ledit espace tridimensionnel comprenant au moins : The present invention relates to a method for detecting fraud in the case of the purchase by at least one user of at least one article comprising at least: a. A step of capturing a plurality of data from at least one sensor, and preferably from a plurality of sensors, performed by at least one user terminal comprising at least the following steps: i. Obtaining the identifier of the article by at least one identification device; ii. Determination by at least one optical device of at least one trajectory of the article manually moved by the user in a three-dimensional space, said three-dimensional space comprising at least:
1. Une zone d’identification correspondant à un volume de l’espace tridimensionnel dans lequel au moins une partie de l’article est disposé par l’utilisateur pour réaliser l’obtention de l’identifiant de l’article ; 1. An identification zone corresponding to a volume of three-dimensional space in which at least part of the article is placed by the user to achieve the obtaining of the identifier of the article;
2. Une zone d’entrée correspondant à un volume de l’espace tridimensionnel traversé par l’article lorsque l’utilisateur dépose l’article dans au moins un contenant associé au terminal utilisateur ; iii. Envoi par le terminal utilisateur à au moins une unité de traitement informatique de : 2. An entry area corresponding to a volume of three-dimensional space crossed by the article when the user places the article in at least one container associated with the user terminal; iii. Sending by the user terminal to at least one computer processing unit of:
1 . l’identifiant de l’article depuis le dispositif d’identification ; 1. the item identifier from the identification device;
2. la trajectoire de l’article ; b. Une étape de traitement effectuée par l’unité de traitement informatique, de la pluralité de données comprenant au moins les étapes suivantes : i. Génération d’au moins un comportement dudit article à partir au moins de la trajectoire de l’article dans l’espace tridimensionnel ; ii. Comparaison du comportement dudit article avec une pluralité de modèles de comportements prédéterminés de sorte à identifier une anomalie de manipulation ; c. Une étape de détermination d’une probabilité de fraude en fonction de ladite comparaison de comportement. 2. the trajectory of the article; b. A processing step carried out by the computer processing unit, of the plurality of data comprising at least the following steps: i. Generating at least one behavior of said article from at least the trajectory of the article in three-dimensional space; ii. Comparison of the behavior of said article with a plurality of predetermined behavior models so as to identify a handling anomaly; vs. A step of determining a probability of fraud based on said comparison of behavior.
La présente invention utilise astucieusement une pluralité de capteurs pour croiser une pluralité de données de sorte à identifier une situation de fraude. The present invention cleverly uses a plurality of sensors to cross a plurality of data so as to identify a fraud situation.
Par exemple, le procédé proposé permet d’identifier une manipulation faite par l’utilisateur consistant à ajouter un article sans au préalable identifier et donc le comptabiliser. Dans ce cas, l’article n’est pas identifié par l’utilisateur avant de parvenir dans la zone d’entrée et d’être déposé dans le contenant. For example, the proposed method makes it possible to identify a manipulation made by the user consisting in adding an article without first identifying and therefore counting it. In this case, the item is not identified by the user until it reaches the entrance area and is placed in the container.
De manière avantageuse, la présente invention permet la détermination du comportement d’un article de sorte à identifier si ce comportement est cohérent ou non avec un comportement estimé standard, c’est-à-dire non frauduleux. De manière simple et fiable, la présente invention permet de classifier des comportements de comportement potentiellement frauduleux du moment qu’il s’éloigne au-delà d’un seuil prédéterminé d’un ou de plusieurs modèles de comportements standards. La présente invention utilise astucieusement une pluralité de modèles de comportements prédéterminés comprenant un ou plusieurs modèles de comportements standards. Advantageously, the present invention makes it possible to determine the behavior of an article so as to identify whether this behavior is consistent or not with a behavior considered to be standard, that is to say not fraudulent. In a simple and reliable manner, the present invention makes it possible to classify potentially fraudulent behavioral behaviors as long as it deviates beyond a predetermined threshold from one or more standard behavior models. The present invention cleverly uses a plurality of predetermined behavior models comprising one or more standard behavior models.
La présente invention permet de détecter une pluralité de fraudes lors de l’achat d’un article dans un magasin par exemple utilisant des systèmes de caisse automatique par exemple, voire des chariots dits intelligents. The present invention makes it possible to detect a plurality of frauds during the purchase of an article in a store, for example, using automatic checkout systems, for example, or even so-called intelligent carts.
La présente invention solutionne la majorité, voire toutes, les situations de fraudes. The present invention solves the majority, if not all, of fraud situations.
La présente invention permet de guider le client lors de son processus d’achat et d'identifier les fraudes ou erreurs sans que l’utilisateur n’en reçoive automatiquement notification. Etant donné que le contenu du chariot est vérifié en quasi temps-réel, le paiement sans passage en caisse ni borne et sans contrôle directement sur l’intégralité du contenu d’un chariot est donc possible grâce à la présente invention. The present invention makes it possible to guide the customer during his purchasing process and to identify fraud or errors without the user automatically receiving notification. Given that the contents of the trolley are checked in quasi-real time, payment without going through a checkout or terminal and without directly checking the entire contents of a trolley is therefore possible thanks to the present invention.
Etant donné que le calcul de la probabilité de fraude est fait sur des articles et/ou des actions, si une ou plusieurs fraudes sont suspectées, les clients seront contrôlés seulement sur un ou des articles et pas sur l’intégralité du chariot. Since the calculation of the probability of fraud is made on items and / or actions, if one or more fraud is suspected, customers will be checked only on one or more items and not on the entire cart.
Cela peut permettre à l’utilisateur d’avoir plus d’informations sur ses achats, que cela soit des informations liées aux articles mais également le prix de son panier. This can allow the user to have more information about his purchases, whether it is information related to the articles but also the price of his basket.
De manière particulièrement avantageuse, l’étape de capture d’une pluralité de données comprend au moins une mesure, par au moins un dispositif de mesure, du poids de l’article, et une étape d’envoi par le terminal utilisateur à l’unité de traitement informatique du poids mesuré de l’article. In a particularly advantageous manner, the step of capturing a plurality of data comprises at least one measurement, by at least one measuring device, of the weight of the article, and a sending step by the user terminal to the computer processing unit of the measured weight of the article.
De préférence, l’étape de traitement comprend, de préférence avant l’étape de génération du comportement de l’article, au moins les étapes suivantes : a. Identification dans au moins une base de données de l’article à partir de l’identifiant, la base de données comprenant au moins l’identifiant de l’article associé à un poids prédéterminé de l’article ; b. Obtention du poids prédéterminé de l’article depuis la base de données : i. Dans le cas où le poids prédéterminé est égal à zéro ou est non renseigné, l’unité de traitement informatique attribut le poids mesuré de l’article en tant que poids prédéterminé associé audit identifiant dans la base de données ; ii. Dans le cas où le poids prédéterminé est différent est différent de zéro et renseigné, l’unité de traitement informatique effectue une comparaison du poids prédéterminé et du poids mesuré de sorte à identifier une anomalie de poids si la différence de poids est supérieure à un seuil prédéterminé. Preferably, the processing step comprises, preferably before the step of generating the behavior of the article, at least the following steps: a. Identification in at least one database of the article from the identifier, the database comprising at least the identifier of the article associated with a predetermined weight of the article; b. Obtaining the predetermined weight of the item from the database: i. In the event that the predetermined weight is equal to zero or is not entered, the computer processing unit assigns the measured weight of the item as the predetermined weight associated with said identifier in the database; ii. In the case where the predetermined weight is different is different from zero and entered, the computer processing unit performs a comparison of the predetermined weight and the measured weight so as to identify a weight anomaly if the difference in weight is greater than a threshold predetermined.
Avantageusement, la détermination d’une probabilité de fraude est réalisée en fonction de ladite comparaison du poids prédéterminé avec le poids mesuré, cette probabilité étant non nulle si une anomalie de poids a été identifiée. Advantageously, the determination of a probability of fraud is carried out as a function of said comparison of the predetermined weight with the measured weight, this probability being non-zero if a weight anomaly has been identified.
En couplant intelligemment une analyse du poids et de l’image, la présente invention permet de réduire, voire d’éviter, toute fraude. By intelligently coupling weight and image analysis, the present invention can reduce, if not prevent, fraud.
La présente invention concerne également un système de détection d’au moins une fraude dans le cas d’un achat d’au moins un article par un utilisateur dans un magasin, comprenant au moins : a. Un terminal utilisateur comprenant au moins : i. Un dispositif d’identification configuré pour identifier l’article lorsqu’un utilisateur passe l’article à proximité, de préférence à moins d’un mètre, du dispositif d’identification ; ii. Un dispositif de mesure configuré pour mesurer le poids de l’article ; iii. Un dispositif optique configuré pour au moins déterminer au moins une trajectoire de l’article manuellement déplacé par l’utilisateur dans un espace tridimensionnel ; b. Une unité de traitement informatique en communication avec au moins le terminal utilisateur, l’unité de traitement informatique étant distante ou non du terminal utilisateur et étant configurée pour : i. Générer au moins un comportement dudit article à partir au moins de la trajectoire de l’article dans l’espace tridimensionnel ; ii. Comparer le comportement dudit article avec une pluralité de modèles de comportements prédéterminés de sorte à identifier une anomalie de manipulation ; The present invention also relates to a system for detecting at least one fraud in the case of a purchase of at least one article by a user in a store, comprising at least: a. A user terminal comprising at least: i. An identification device configured to identify the article when a user passes the article in proximity, preferably within one meter, of the identification device; ii. A measuring device configured to measure the weight of the article; iii. An optical device configured to at least determine at least one trajectory of the article manually moved by the user in three-dimensional space; b. A computer processing unit in communication with at least the user terminal, the computer processing unit being remote or not from the user terminal and being configured for: i. Generating at least one behavior of said article from at least the trajectory of the article in three-dimensional space; ii. Compare the behavior of said article with a plurality of predetermined behavior models so as to identify a handling anomaly;
De sorte à déterminer une probabilité de fraude en fonction de ladite comparaison de comportement, cette probabilité étant non nulle si une anomalie de manipulation a été identifiée. So as to determine a probability of fraud as a function of said comparison of behavior, this probability being non-zero if a handling anomaly has been identified.
De manière avantageuse, l’unité de traitement informatique est en communication en outre avec une base de données comprenant l’identifiant de l’article associé à un poids prédéterminé de l’article. Advantageously, the computer processing unit is further in communication with a database comprising the identifier of the article associated with a predetermined weight of the article.
De préférence, l’unité de traitement informatique est en communication en outre avec un module de comparaison de données configuré pour comparer le poids mesuré avec le poids indiqué dans la base de données en fonction de l’article identifié, le module de comparaison étant configuré pour identifier une anomalie de pesée. Preferably, the computer processing unit is further in communication with a data comparison module configured to compare the measured weight with the weight indicated in the database according to the identified item, the comparison module being configured. to identify a weighing anomaly.
Avantageusement, le dispositif optique est configuré pour collecter une pluralité d’images en outre de l’article, et l’unité de traitement informatique est en communication en outre avec un module d’analyse des images collectées par ledit dispositif optique configuré pour identifier une anomalie de manipulation. Advantageously, the optical device is configured to collect a plurality of images in addition to the article, and the computer processing unit is further in communication with a module for analyzing the images collected by said optical device configured to identify a handling anomaly.
De préférence, l’unité de traitement informatique est configurée en outre pour : a. Comparer le poids prédéterminé de l’article obtenu depuis la base de données avec le poids mesuré de sorte à identifier une anomalie de poids si la différence de poids est supérieure à un seuil prédéterminé ; b. Déterminer une probabilité de fraude en fonction de ladite comparaison de poids, cette probabilité étant non nulle si une anomalie de poids a été identifiée. Preferably, the computer processing unit is further configured for: a. Compare the predetermined weight of the item obtained from the database with the measured weight so as to identify a weight anomaly if the difference in weight is greater than a predetermined threshold; b. Determine a probability of fraud as a function of said comparison of weight, this probability being non-zero if a weight anomaly has been identified.
Avantageusement, l’unité de traitement informatique est configurée en outre pour analyser la pluralité d’images collectées de sorte à identifier une anomalie de manipulation. Advantageously, the computer processing unit is further configured to analyze the plurality of images collected so as to identify a handling anomaly.
La présente invention concerne également un produit programme d’ordinateur comprenant des instructions, qui lorsqu’elles sont effectuées par au moins un processeur, exécute au moins les étapes du procédé selon la présente invention. The present invention also relates to a computer program product comprising instructions, which when carried out by at least one processor, executes at least the steps of the method according to the present invention.
BRÈVE DESCRIPTION DES FIGURES BRIEF DESCRIPTION OF THE FIGURES
Les buts, objets, ainsi que les caractéristiques et avantages de l’invention ressortiront mieux de la description détaillée d’un mode de réalisation de cette dernière qui est illustré par les dessins d’accompagnement suivants dans lesquels : The aims, objects, as well as the characteristics and advantages of the invention will become more apparent from the detailed description of an embodiment thereof which is illustrated by the following accompanying drawings in which:
La figure 1 représente un système de détection de fraude selon un mode de réalisation de la présente invention. La figure 2 représente un schéma du positionnement du dispositif d’identification, du dispositif optique et de leurs zones d’observation selon un mode de réalisation de la présente invention. FIG. 1 represents a fraud detection system according to an embodiment of the present invention. FIG. 2 represents a diagram of the positioning of the identification device, of the optical device and of their observation zones according to an embodiment of the present invention.
La figure 3 représente un chariot intégrant une partie au moins du système selon un mode de réalisation de la présente invention. FIG. 3 represents a trolley integrating at least part of the system according to one embodiment of the present invention.
La figure 4 représente une interface graphique d’un dispositif d’analyse portatif selon un mode de réalisation de la présente invention. Figure 4 shows a graphical interface of a portable analysis device according to one embodiment of the present invention.
La figure 5 représente un algorithme d’enregistrement de données et d’analyse dudit enregistrement selon un mode de réalisation de la présente invention. FIG. 5 shows an algorithm for recording data and analyzing said recording according to an embodiment of the present invention.
Les dessins sont donnés à titre d'exemples et ne sont pas limitatifs de l’invention. Ils constituent des représentations schématiques de principe destinées à faciliter la compréhension de l’invention et ne sont pas nécessairement à l'échelle des applications pratiques. En particulier les dimensions ne sont pas représentatives de la réalité. The drawings are given by way of example and are not limiting of the invention. They constitute schematic representations of principle intended to facilitate understanding of the invention and are not necessarily on the scale of practical applications. In particular, the dimensions are not representative of reality.
DESCRIPTION DÉTAILLÉE DETAILED DESCRIPTION
Avant d’entamer une revue détaillée de modes de réalisation de l’invention, sont énoncées ci- après des caractéristiques optionnelles qui peuvent éventuellement être utilisées en association ou alternativement : Before embarking on a detailed review of embodiments of the invention, optional features are listed below which may optionally be used in combination or alternatively:
Selon un exemple, le dispositif optique est configuré pour permettre une prise en compte de la profondeur dans la capture des images tridimensionnelles. According to one example, the optical device is configured to allow depth to be taken into account in capturing three-dimensional images.
Selon un exemple, le dispositif optique est configuré pour permettre une prise en compte d’une dimension spatiale dite de profondeur s’étendant selon un axe orthogonal aux deux axes formant le plan d’un dioptre du dispositif optique. According to one example, the optical device is configured to allow taking into account a so-called depth spatial dimension extending along an axis orthogonal to the two axes forming the plane of a diopter of the optical device.
Selon un exemple, la trajectoire de l’article dans l’espace tridimensionnel comprend au moins une pluralité de points, chaque point de ladite pluralité de points comprenant au moins trois coordonnées spatiales, de préférence dans un espace tridimensionnel orthonormé. According to one example, the trajectory of the article in three-dimensional space comprises at least a plurality of points, each point of said plurality of points comprising at least three spatial coordinates, preferably in an orthonormal three-dimensional space.
Selon exemple, le dispositif optique est configuré pour permettre une prise en compte de la profondeur dans la détermination de ladite trajectoire de l’article. According to example, the optical device is configured to allow the depth to be taken into account in determining said trajectory of the article.
Selon exemple, le dispositif optique est configuré pour permettre une prise en compte d’une dimension spatiale dite de profondeur s’étendant selon un axe orthogonal aux deux axes formant le plan d’un dioptre du dispositif optique dans la détermination de ladite trajectoire de l’article. According to example, the optical device is configured to allow taking into account a so-called depth spatial dimension extending along an axis orthogonal to the two axes forming the plane of a diopter of the optical device in determining said trajectory of the optical device. 'article.
Selon un exemple, la trajectoire de l’article dans l’espace tridimensionnel, tel que déterminée par le dispositif optique, comprend au moins une pluralité de points, chaque point de ladite pluralité de points comprenant au moins trois coordonnées spatiales, possiblement évoluant chacune au cours de la trajectoire, de préférence dans un espace tridimensionnel orthogonal. According to one example, the trajectory of the article in three-dimensional space, as determined by the optical device, comprises at least a plurality of points, each point of said plurality of points comprising at least three spatial coordinates, possibly each evolving at course of the trajectory, preferably in an orthogonal three-dimensional space.
Selon un exemple, le dispositif optique comprend un dispositif optique stéréoscopique, de préférence est un dispositif optique stéréoscopique. According to one example, the optical device comprises a stereoscopic optical device, preferably is a stereoscopic optical device.
Selon un exemple la probabilité est non nulle si une anomalie de manipulation est identifiée.According to one example, the probability is non-zero if a handling anomaly is identified.
Selon un exemple, le poids prédéterminé de l’article contenu dans la base de données comprend une gamme de poids, de préférence un poids prédéterminé minimum et un poids prédéterminé maximum. According to one example, the predetermined weight of the article contained in the database comprises a range of weights, preferably a minimum predetermined weight and a maximum predetermined weight.
Selon un exemple, l’étape de détermination de la trajectoire de l’article dans l’espace tridimensionnel comprend le suivi de l’article dans au moins une zone prise parmi au moins la zone d’identification, la zone d’entrée, au moins une zone extérieure, au moins une zone intérieure correspondant au moins à l’entrée d’au moins un contenant, la zone d’entrée séparant la zone extérieure de la zone intérieure. According to one example, the step of determining the trajectory of the article in space three-dimensional comprises tracking the article in at least one area taken from at least the identification area, the entry area, at least one outer area, at least one inner area corresponding at least to the entry of at least one minus one container, the entry area separating the exterior area from the interior area.
Le découpage de l’espace en plusieurs zones permet un meilleur suivi de l’article et la fonctionnalisation de l’espace. The division of the space into several zones allows better tracking of the item and the functionalization of the space.
Selon un exemple, la détermination de la trajectoire de l’article dans l’espace tridimensionnel comprend au moins les passages, et de préférence uniquement les passages, de l’article d’une zone de l’espace tridimensionnel à une autre zone de l’espace tridimensionnel. According to one example, the determination of the trajectory of the article in three-dimensional space comprises at least the passages, and preferably only the passages, of the article from one area of the three-dimensional space to another area of the three-dimensional space. three-dimensional space.
Selon un exemple, l’étape de détermination de la trajectoire de l’article comprend au moins la détermination de la trajectoire d’un objet autre que l’article se déplaçant dans l’espace tridimensionnel, de préférence ledit objet étant pris parmi : une main, un bras, un autre article, un sac, un accessoire porté par l’utilisateur, un vêtement porté par l’utilisateur. According to one example, the step of determining the trajectory of the article comprises at least determining the trajectory of an object other than the article moving in three-dimensional space, preferably said object being taken from: a hand, an arm, another article, a bag, an accessory worn by the user, a garment worn by the user.
Selon un exemple, l’étape de génération du comportement de l’article comprend la mention de tout rapprochement au-delà d’un seuil prédéterminé dudit objet avec l’article. According to one example, the step of generating the behavior of the article includes mentioning any reconciliation beyond a predetermined threshold of said object with the article.
Selon un exemple, le comportement généré dudit article comprend au moins un enchaînement d’évènements détectés par la pluralité de capteurs, ces évènements étant pris parmi au moins : l’identification de l’article, le passage d’une zone de l’espace tridimensionnel à une autre zone de l’espace tridimensionnel, la mesure du poids de l’article, l'approche de l’article par un autre objet. According to one example, the behavior generated from said article comprises at least one chain of events detected by the plurality of sensors, these events being taken from at least: the identification of the article, the passage of a zone of space three-dimensional to another area of three-dimensional space, the measurement of the weight of the article, the approach of the article by another object.
Selon un exemple, l’étape de capture de la pluralité de données comprend la collecte par le dispositif optique d’une pluralité d’images au moins de l’article et au moins d’une main de l’utilisateur portant l’article. In one example, the step of capturing the plurality of data includes collecting by the optical device a plurality of images of at least the item and at least one hand of the user carrying the item.
Selon un exemple, l’étape de traitement comprend une étape d’analyse de la pluralité d’images collectées afin d’enregistrer au moins une représentation bidimensionnelle de l’article et d’identifier si la main de l’utilisateur est vide ou pleine. According to one example, the processing step comprises a step of analyzing the plurality of images collected in order to record at least one two-dimensional representation of the article and to identify whether the user's hand is empty or full. .
Selon un exemple, l’étape de traitement comprend au moins une comparaison d’une image de l’article présente dans la base de données et d’une ou de plusieurs images de la pluralité d’images collectées de sorte à identifier une anomalie entre l’image de l’article de la base de données et la ou les images collectées de l’article. According to one example, the processing step comprises at least one comparison of an image of the article present in the database and of one or more images of the plurality of images collected so as to identify an anomaly between the image of the article from the database and the collected image (s) of the article.
Cela permet de comparer l’article scanné non seulement selon son étiquette, mais également selon une comparaison optique. This makes it possible to compare the scanned item not only by its label, but also by optical comparison.
Selon un exemple, l’étape de comparaison d’une image de l’article comprend au moins une étape de reconnaissance optique de l’article par l’unité de traitement informatique, de préférence par un réseau de neurones entraîné. According to one example, the step of comparing an image of the article comprises at least one step of optical recognition of the article by the computer processing unit, preferably by a trained neural network.
Selon un exemple, l’étape de collecte d’une pluralité d’images comprend au moins une étape d’enregistrement par le dispositif optique d’une vidéo, avantageusement temporellement compressée, de préférence à partir de la pluralité d’images collectées. According to one example, the step of collecting a plurality of images comprises at least one step of recording by the optical device a video, advantageously temporally compressed, preferably from the plurality of images collected.
Cela permet de visualiser aisément, intuitivement et rapidement un évènement. This makes it possible to easily, intuitively and quickly visualize an event.
Selon un exemple, l’étape d’enregistrement de la vidéo, de préférence temporellement compressée, comprend l’incrustation d’une donnée collectée par au moins un capteur au moment de la collecte de ladite donnée, ledit capteur étant pris parmi au moins : le dispositif d’identification, le dispositif optique, le dispositif de mesure, un capteur d’orientation spatial, un capteur de mouvement. According to one example, the step of recording the video, preferably temporally compressed, comprises the overlay of a datum collected by at least one sensor at the time of collection of said datum, said sensor being taken from at least: the identification device, the optical device, the measuring device, a sensor spatial orientation, a motion sensor.
Cela permet de visualiser aisément, intuitivement et rapidement un évènement. This makes it possible to easily, intuitively and quickly visualize an event.
Selon un exemple, l’étape de détermination de la trajectoire de l’article comprend au moins : a. La collecte d’une pluralité d’images bidimensionnelles, de préférence en couleur ; b. La collecte d’une pluralité d’images tridimensionnelles. According to one example, the step of determining the trajectory of the article comprises at least: a. Collecting a plurality of two-dimensional images, preferably in color; b. The collection of a plurality of three-dimensional images.
Cela permet d’identifier la forme géométrique de l’article et de le suivre spatialement. This makes it possible to identify the geometric shape of the article and to follow it spatially.
Selon un exemple, la collecte de la pluralité d’images bidimensionnelles est réalisée par au moins une caméra et par au moins une caméra additionnelle, et la collecte de la pluralité d’images tridimensionnelles est réalisée par au moins une caméra stéréoscopique. According to one example, the collection of the plurality of two-dimensional images is performed by at least one camera and by at least one additional camera, and the collection of the plurality of three-dimensional images is performed by at least one stereoscopic camera.
Selon un exemple, la caméra stéréoscopique est configurée pour suivre spatialement l’article dans l’espace tridimensionnel, et la caméra additionnelle est configurée pour transmettre une pluralité d’images bidimensionnelle à au moins un réseau de neurones de sorte à entraîner ledit réseau de neurones à reconnaître la forme géométrique de l’article, de préférence la base de données peut également fournir des données correctives pour affiner le modèle généré par le réseau de neurones, la position spatiale de l’article et sa forme géométrique sont alors utilisées pour le suivi de l’article par la caméra bidimensionnelle lorsque l’article sort du champ d’observation de la caméra stéréoscopique. According to one example, the stereoscopic camera is configured to spatially track the article in three-dimensional space, and the additional camera is configured to transmit a plurality of two-dimensional images to at least one neural network so as to train said neural network in recognizing the geometric shape of the article, preferably the database can also provide corrective data to refine the model generated by the neural network, the spatial position of the article and its geometric shape are then used for tracking of the article by the two-dimensional camera when the article leaves the field of view of the stereoscopic camera.
La collaboration des deux caméras permet un meilleur suivi de l’article ainsi qu’une meilleure identification, réduisant ainsi le nombre de fraudes possibles. The collaboration of the two cameras allows for better tracking of the item as well as better identification, thus reducing the number of possible frauds.
Selon un exemple, la caméra bidimensionnelle comprend un objectif présentant un angle supérieur à 100 degrés, de préférence appelée « grand-angle », et est configurée pour assurer le suivi de la position spatiale de l’article en dehors du champ d’observation de la caméra stéréoscopique et pour collecter des images de la forme géométrique de l’article, la position spatiale de l’article et sa forme géométrique sont alors utilisées pour le suivi de l’article par la caméra stéréoscopique et par la caméra bidimensionnelle additionnelle lorsque l’article rentre dans champ d’observation de la caméra stéréoscopique. According to one example, the two-dimensional camera comprises a lens having an angle greater than 100 degrees, preferably called a "wide-angle", and is configured to ensure the tracking of the spatial position of the article outside the field of observation of the article. the stereoscopic camera and to collect images of the geometric shape of the article, the spatial position of the article and its geometric shape are then used for tracking the article by the stereoscopic camera and by the additional two-dimensional camera when the The article comes within the field of observation of the stereoscopic camera.
La collaboration des deux caméras permet un meilleur suivi de l’article ainsi qu’une meilleure identification, réduisant ainsi le nombre de fraudes possibles. The collaboration of the two cameras allows for better tracking of the item as well as better identification, thus reducing the number of possible frauds.
Selon un exemple, le procédé comprend, avant l’étape d’identification de l’article, une étape d’identification de l’utilisateur suivie d’une étape de lecture d’un profil utilisateur propre à l’utilisateur depuis une base de données de profils utilisateurs. According to one example, the method comprises, before the step of identifying the article, a step of identifying the user followed by a step of reading a user profile specific to the user from a database. user profile data.
Cela permet de prendre en compte l’historique de l’utilisateur comme paramètre de pondération dans l’évaluation de la probabilité de fraude. This allows the user's history to be taken into account as a weighting parameter in assessing the likelihood of fraud.
Selon un exemple, les modèles de comportements prédéterminés comprennent au moins un modèle de comportement standard comprenant au moins l’enchaînement d’évènements suivant : a. Identification de l’article ; b. Suivi de l’article depuis la zone d’identification vers la zone d’entrée ; c. Suivi de l’article depuis la zone d’entrée vers la zone intérieure ; d. De préférence, suivi d’une main vide de l’utilisateur depuis la zone intérieure vers la zone extérieure avant ou après la mesure du poids de l’article. According to one example, the predetermined behavior models comprise at least one standard behavior model comprising at least the following chain of events: a. Identification of the article; b. Item tracking from the identification area to the entry area; vs. Item tracking from the entry area to the interior area; d. Preferably, followed by an empty hand of the user from the inner area to the outer area before or after the measurement of the item's weight.
Selon un exemple, une anomalie de manipulation comprend au moins l’une des situations suivantes : remplacement de l’article par un autre article, ajout d’un autre article dans un contenant en même temps que ledit article, retrait d’un autre article depuis ledit contenant lors du dépôt dudit article dans ledit contenant, remplacement d’un article identifié par un autre article non identifié, identification d’un article avec un identifiant frauduleux. According to one example, a handling anomaly comprises at least one of the following situations: replacement of the article by another article, addition of another article in a container at the same time as said article, withdrawal of another article from said container when depositing said article in said container, replacement of an identified article by another unidentified article, identification of an article with a fraudulent identifier.
Cela permet d’identifier des anomalies autres que liées au poids, et principalement dues à des manipulations de l’article. This makes it possible to identify anomalies other than weight related, and mainly due to handling of the article.
Selon un exemple, le procédé comprend, si une anomalie de poids est détectée, les étapes suivantes : a. Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de retirer l’article, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique ; b. Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de peser l’article une nouvelle fois de sorte à obtenir un nouveau poids, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique ; c. Envoi par le terminal utilisateur à l’unité de traitement informatique du nouveau poids de l’article ; d. Traitement, effectué par l’unité de traitement informatique, du nouvel identifiant de l’article, du nouveau poids de l’article, et de préférence des images collectées, comprenant au moins la comparaison du poids prédéterminé avec le nouveau poids mesuré de sorte à identifier une anomalie de poids. According to one example, the method comprises, if a weight anomaly is detected, the following steps: a. Formulation by message, preferably visual and / or audio, to the user of a request to withdraw the article, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; b. Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article again so as to obtain a new weight, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; vs. Sending by the user terminal to the computer processing unit of the new weight of the item; d. Processing, carried out by the computer processing unit, of the new identifier of the article, of the new weight of the article, and preferably of the images collected, comprising at least the comparison of the predetermined weight with the new measured weight so as to identify a weight abnormality.
Cela permet une vérification du poids de l’article et ainsi cela peut réduire les interventions des surveillants. This allows for verification of the weight of the item and thus can reduce the intervention of supervisors.
Selon un exemple, le procédé comprend, si une anomalie est détectée, les étapes suivantes : a. Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande d’identifier une nouvelle fois l’article, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique ; b. Envoi par le terminal utilisateur à l’unité de traitement informatique du nouvel identifiant de l’article ; c. Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de peser l’article une nouvelle fois de sorte à obtenir un nouveau poids, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique ; d. Envoi par le terminal utilisateur à l’unité de traitement informatique du nouveau poids de l’article ; e. Traitement, par l’unité de traitement informatique, du nouvel identifiant de l’article, du nouveau poids de l’article, et de préférence des images collectées, comprenant au moins la comparaison du poids prédéterminé avec le nouveau poids mesuré de sorte à identifier une anomalie de poids. According to one example, the method comprises, if an anomaly is detected, the following steps: a. Formulation by message, preferably visual and / or audio, to the user of a request to re-identify the article, this formulation being carried out by a user interface, the user interface being for example the unit of data processing ; b. Sending by the user terminal to the computer processing unit of the new identifier of the article; vs. Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article again so as to obtain a new weight, this formulation being carried out by a user interface, the user interface being for example the computer processing unit; d. Sending by the user terminal to the computer processing unit of the new weight of the article; e. Processing, by the computer processing unit, of the new identifier of the article, of the new weight of the article, and preferably of the images collected, comprising at minus the comparison of the predetermined weight with the new measured weight so as to identify a weight abnormality.
Cela permet une double vérification et ainsi cela peut réduire les interventions des surveillants. This allows for a double check and thus it can reduce the interventions of the supervisors.
Selon un exemple, le procédé comprend une étape continue d’enregistrement d’une vidéo initiale d’une durée prédéterminée par le dispositif optique, ladite vidéo initiale étant effacée à l’échéance de ladite durée prédéterminée sauf si un évènement est détecté par au moins un capteur pris parmi au moins : le dispositif d’identification, le dispositif de mesure, le dispositif optique, un capteur de mouvement, un capteur d’orientation spatial. According to one example, the method comprises a continuous step of recording an initial video of a predetermined duration by the optical device, said initial video being erased at the end of said predetermined duration unless an event is detected by at least a sensor taken from at least: the identification device, the measuring device, the optical device, a movement sensor, a spatial orientation sensor.
Cela permet de disposer d’images antérieures à l’évènement déclenchant l’enregistrement et donc à l’évènement pertinent. This makes it possible to have images prior to the event triggering the recording and therefore to the relevant event.
Selon un exemple, l’étape de traitement n’est réalisée que lorsque l’étape de capture de l’au moins une pluralité de données est terminée. According to one example, the processing step is performed only when the step of capturing the at least a plurality of data is completed.
Cela permet d’économiser de la ressource système ainsi que de l’énergie. En effet, avantageusement, les phases de collecte et d’analyse sont distinctes de sorte à ce que le système puisse fonctionner efficacement avec peu de ressource système, peu d’énergie et donc à bas coûts. This saves system resource as well as energy. Indeed, advantageously, the collection and analysis phases are separate so that the system can operate efficiently with few system resources, little energy and therefore at low cost.
Selon un exemple, le procédé comprend, lorsque la probabilité de fraude est supérieure à un seuil prédéterminé, l’envoie depuis l’unité de traitement informatique d’une pluralité de données secondaire fonction de ladite pluralité de données à au moins un poste de gestion de sorte à ce qu’un premier surveillant analyse ladite pluralité de données secondaire. According to one example, the method comprises, when the probability of fraud is greater than a predetermined threshold, sends it from the computer processing unit of a plurality of secondary data depending on said plurality of data to at least one management station so that a first supervisor analyzes said plurality of secondary data.
Cela permet de disposer d’un premier filtre antifraude automatisé, et d’un deuxième filtre antifraude impliquant un ou des opérateurs humains. This provides a first automated anti-fraud filter, and a second anti-fraud filter involving one or more human operators.
Selon un exemple, si une situation de fraude est validée par le premier surveillant, ladite pluralité de données secondaire est transmise à au moins un dispositif d’analyse portatif, de préférence situé dans le même bâtiment que le terminal utilisateur, de sorte à ce qu’un second surveillant analyse ladite pluralité de données secondaire et se déplace auprès de l’utilisateur. According to one example, if a fraud situation is validated by the first supervisor, said plurality of secondary data is transmitted to at least one portable analysis device, preferably located in the same building as the user terminal, so that a second monitor analyzes said plurality of secondary data and travels to the user.
Cela permet de disposer d’un surveillant mobile pour se rendre sur place et contrôler visuellement la présence de fraude ou non. This makes it possible to have a mobile supervisor to visit the site and visually check the presence of fraud or not.
Selon un exemple, ladite pluralité de données secondaire comprend au moins l’une parmi les données suivantes : l’identifiant de l’article, le poids de l’article, une image originale de l’article, une ou plusieurs images de la pluralité d’images collectées, une vidéo, de préférence temporellement compressée. According to one example, said plurality of secondary data comprises at least one of the following data: the identifier of the article, the weight of the article, an original image of the article, one or more images of the plurality of collected images, a video, preferably temporally compressed.
Cela permet une présentation simple et intuitive des informations. This allows for a simple and intuitive presentation of information.
Selon un exemple, le terminal utilisateur est un chariot mobile. According to one example, the user terminal is a mobile cart.
Cela permet de disposer d’un chariot intelligent permettant à l’utilisateur de régler ses achats aisément en fin de session, le scan des articles étant fait pendant la session d’achat. This provides a smart cart that allows the user to easily pay for purchases at the end of the session, with items being scanned during the shopping session.
Selon un exemple, une partie au moins de l’unité de traitement informatique est embarquée dans le chariot mobile. According to one example, at least part of the computer processing unit is embedded in the mobile cart.
Selon un exemple, le système comprend au moins un poste de gestion, de préférence délocalisé, configuré pour recevoir au moins une pluralité de données depuis l’unité de traitement informatique de sorte à être analysée par au moins un premier surveillant. According to one example, the system comprises at least one management station, preferably delocalized, configured to receive at least a plurality of data from the processing unit. computer so as to be analyzed by at least a first supervisor.
Selon un exemple, le système comprend au moins un dispositif d’analyse portatif configuré pour recevoir une pluralité de données depuis le poste de gestion de sorte à permettre à un second surveillant d’analyser ladite pluralité de données et de se rendre aux côtés de l’utilisateur. According to one example, the system comprises at least one portable analysis device configured to receive a plurality of data from the management station so as to allow a second supervisor to analyze said plurality of data and to come alongside the manager. 'user.
Selon un exemple, l’unité de traitement informatique est en communication avec une autre base de données comprenant au moins l’historique de fraudes détectées de l’utilisateur. According to one example, the computer processing unit is in communication with another database comprising at least the history of fraud detected by the user.
Selon un exemple, lequel le terminal utilisateur est une borne fixe, typiquement destinée à être disposé dans un magasin, par exemple à proximité de la sortie du magasin. According to one example, in which the user terminal is a fixed terminal, typically intended to be placed in a store, for example near the outlet of the store.
Selon un exemple, l’unité de traitement informatique est en communication avec au moins un module de classement comprenant au moins un réseau de neurones entraîné à détecter une situation de fraude à partir de données transmises à l’unité de traitement informatique. According to one example, the computer processing unit is in communication with at least one classification module comprising at least one neural network trained to detect a fraud situation from data transmitted to the computer processing unit.
Selon un exemple, le terminal utilisateur comprend au moins un dispositif d’affichage configuré pour afficher au moins l’identifiant et/ou le poids de l’article. According to one example, the user terminal comprises at least one display device configured to display at least the identifier and / or the weight of the article.
Selon un exemple, le système comprend au moins une batterie électrique. According to one example, the system comprises at least one electric battery.
Dans la présente description, on entend par « un espace tridimensionnel » un espace comprenant au moins trois dimensions spatiales, une partie au moins de cet espace étant capté par un dispositif optique, de préférence stéréoscopique, configuré pour considérer ces trois dimensions spatiale, c’est-à-dire qu’il est possible de déterminer la position spatial d’un ou de plusieurs objets présents dans cet espace tridimensionnel via ce dispositif optique. En particulier, ce dispositif optique est configuré pour prendre en compte, en outre, la profondeur par rapport audit dispositif optique, c'est à dire qu’il est possible d’évaluer la distance d’un ou de plusieurs objets présents dans cet espace tridimensionnel par rapport audit dispositif optique. Ainsi, dans cet espace tridimensionnel, un objet peut décrire une trajectoire et cet objet comprend dès lors trois coordonnées spatiales à chaque point de cette trajectoire, car le dispositif optique est apte à évaluer l’évolution dudit objet dans les trois dimensions de l’espace. Cela permet d’ailleurs un placement du dispositif optique avantageusement bien plus souple tout en préservant la compréhension des actions réalisées dans l'espace tridimensionnelle. Contrairement à l’art antérieur qui ne considère que deux dimensions spatiales et ne mesure pas la profondeur, le dispositif optique selon la présente invention n’est pas obligatoirement disposé à la verticale de la zone bidimensionnelle à évaluer. In the present description, by “a three-dimensional space” is meant a space comprising at least three spatial dimensions, at least part of this space being captured by an optical device, preferably stereoscopic, configured to consider these three spatial dimensions, that is, that is to say that it is possible to determine the spatial position of one or more objects present in this three-dimensional space via this optical device. In particular, this optical device is configured to take into account, in addition, the depth relative to said optical device, that is to say that it is possible to evaluate the distance from one or more objects present in this space. three-dimensional with respect to said optical device. Thus, in this three-dimensional space, an object can describe a trajectory and this object therefore comprises three spatial coordinates at each point of this trajectory, because the optical device is able to evaluate the evolution of said object in the three dimensions of space. . This allows an advantageously much more flexible placement of the optical device while preserving the understanding of the actions performed in three-dimensional space. Unlike the prior art which considers only two spatial dimensions and does not measure depth, the optical device according to the present invention is not necessarily arranged vertically to the two-dimensional area to be evaluated.
La présente invention concerne un système, ainsi qu’un procédé de détection de fraude lors de l’achat d’un article par un utilisateur dans un magasin par exemple. The present invention relates to a system, as well as a method for detecting fraud during the purchase of an article by a user in a store, for example.
La présente invention, de manière astucieuse, permet la détection de fraude lors de l’achat d’un article. En effet, via un procédé astucieux reposant sur un système avantageux, la présente invention permet de détecter des fraudes dans le cas de systèmes d’encaissement automatique, voire de paiement automatique, également appelés caisses automatiques ou encore chariot à paiement automatique par exemple non limitatif. The present invention cleverly enables the detection of fraud during the purchase of an item. Indeed, via a clever method based on an advantageous system, the present invention makes it possible to detect fraud in the case of automatic collection systems, or even automatic payment, also called automatic checkouts or even automatic payment trolleys, for example without limitation. .
Nous allons dans un premier temps présenter le système de détection de fraude selon un mode de réalisation de la présente invention. Puis nous présenterons le procédé de détection de fraude selon un mode de réalisation de la présente invention. We will first present the fraud detection system according to one embodiment of the present invention. Then we will present the fraud detection method according to an embodiment of the present invention.
Les figures 1 à 3 illustrent un système de détection de fraude selon un mode de réalisation de la présente invention. Figures 1 to 3 illustrate a fraud detection system according to an embodiment of the present invention.
La figure 1 illustre schématiquement un tel système 1000. FIG. 1 schematically illustrates such a system 1000.
De manière avantageuse, le système 1000 de détection de fraude comprend au moins : a. Un terminal utilisateur 10 comprenant au moins : i. Un dispositif d’identification 1100 configuré pour obtenir l’identifiant d’un article 20 ; ii. Un dispositif de mesure 1200 configuré pour mesurer le poids dudit article 20 ; iii. Un dispositif optique 1300 configuré pour au moins détecter et suivre dans l’espace ledit article 20 ; iv. De préférence, un capteur de mouvement et/ou un capteur de déplacement spatial, comme un gyroscope par exemple. b. Une unité de traitement informatique 1400 configurée pour traiter une pluralité de données et déterminer une probabilité de fraude, de préférence pour déterminer s’il y a ou non fraude. Advantageously, the fraud detection system 1000 comprises at least: a. A user terminal 10 comprising at least: i. An identification device 1100 configured to obtain the identifier of an item 20; ii. A measuring device 1200 configured to measure the weight of said item 20; iii. An optical device 1300 configured to at least detect and spatially track said item 20; iv. Preferably, a motion sensor and / or a spatial displacement sensor, such as a gyroscope for example. b. A computer processing unit 1400 configured to process a plurality of data and determine a probability of fraud, preferably to determine whether or not there is fraud.
Selon un mode de réalisation, le terminal utilisateur 10 comprend une partie ou l’intégralité du l’unité de traitement informatique 1400. According to one embodiment, the user terminal 10 comprises part or all of the computer processing unit 1400.
Selon un mode de réalisation préféré, le terminal utilisateur 10 est un chariot mobile 10, tel qu’illustré en figure 3 par exemple. According to a preferred embodiment, the user terminal 10 is a mobile cart 10, as illustrated in FIG. 3 for example.
Selon un autre mode de réalisation, le terminal utilisateur est une borne, par exemple une borne de paiement ou une caisse automatique. According to another embodiment, the user terminal is a terminal, for example a payment terminal or an automatic cash register.
Selon un mode de réalisation, le terminal utilisateur 10 peut comprendre un contenant 11 destiné à recevoir l’article 20 après que l’utilisateur ait identifié ledit article 20. Selon un mode de réalisation préféré, au moins le dispositif d’identification 1100, le dispositif de mesure 1200 et le dispositif optique 1300 sont montés sur un même dispositif, de préférence mobile, comme par exemple un chariot 10 tel que décrit par la suite en figure 3. According to one embodiment, the user terminal 10 can comprise a container 11 intended to receive the article 20 after the user has identified said article 20. According to a preferred embodiment, at least the identification device 1100, the measuring device 1200 and optical device 1300 are mounted on the same device, preferably mobile, such as for example a carriage 10 as described below in FIG. 3.
Selon un mode de réalisation, le dispositif d’identification 1100 est configuré pour déterminer l’identifiant de l’article 20. Cette détermination peut prendre n’importe quelle forme. Elle peut par exemple comprendre le fait de faire lire par le dispositif d’identification 1100 le code-barres de l’article 20. Il peut s’agir d’une technologie radiofréquence de type RFID ou bien encore d’une reconnaissance visuelle de l’article 20, voire même d’une interface tactile permettant à l’utilisateur d’indiquer au système 1000 l’article en question de sorte ainsi à ce que l’identifiant de l’article 20 soit déterminé. Dans le cas d’une reconnaissance visuelle de l’article 20, le dispositif d’identification 1100 peut comprendre le dispositif optique 1300 et/ou inversement. In one embodiment, the identification device 1100 is configured to determine the identifier of the item 20. This determination can take any form. It can for example include the fact of having the identification device 1100 read the barcode of the article 20. This can be a radiofrequency technology of the RFID type or even a visual recognition of the device. article 20, or even a touch interface allowing the user to indicate to the system 1000 the article in question so that the identifier of the article 20 is determined. In the case of visual recognition of section 20, the identification device 1100 may include the optical device 1300 and / or vice versa.
Selon un mode de réalisation, le dispositif d’identification 1100 peut comprendre un dispositif portatif, par exemple appartenant à l’utilisateur. Dans ce cas le dispositif d’identification 1100 peut utiliser au moins une caméra de ce dispositif portatif pour identifier l’article 20. Ce dispositif portatif peut par exemple être une tablette numérique ou bien un téléphone intelligent. According to one embodiment, the identification device 1100 may include a portable device, for example belonging to the user. In this case, the identification device 1100 can use at least one camera of this portable device to identify the article 20. This portable device can for example be a digital tablet or a smart phone.
De manière préférée, l’utilisateur présente l’article 20 au dispositif d’identification 1100 de type lecteur de codes-barres par exemple, l’identifiant est obtenu par le dispositif d’identification 1100 puis transmis à l’unité de traitement informatique 1400. Ensuite, l’utilisateur déplace l’article 20 jusque dans le contenant 11. Le contenant 11 comprend avantageusement le dispositif de mesure 1200. Preferably, the user presents the article 20 to the identification device 1100 of the barcode reader type, for example, the identifier is obtained by the identification device 1100 and then transmitted to the computer processing unit 1400. Then, the user moves the item 20 into the container 11. The container 11 advantageously comprises the measuring device 1200.
Selon un mode de réalisation, le dispositif de mesure 1200 est configuré pour mesurer le poids de l’article 20. Avantageusement, le dispositif de mesure 1200 comprend un capteur de force auquel est suspendu le contenant 11 configuré pour accueillir ledit article 20 une fois celui-ci identifié. Selon un mode de réalisation, le contenant 11 peut être posé sur le capteur de force. Selon un autre mode de réalisation, le dispositif de mesure 1200 comprend une balance sur laquelle est disposé l’article 20 pour en mesurer son poids. Une fois le poids mesuré, cette donnée est transmise depuis le dispositif de mesure 1200 jusqu’à l’unité de traitement informatique 1400. According to one embodiment, the measuring device 1200 is configured to measure the weight of the article 20. Advantageously, the measuring device 1200 comprises a force sensor from which the container 11 configured to receive said article 20 is suspended. here identified. According to one embodiment, the container 11 can be placed on the force sensor. According to another embodiment, the measuring device 1200 comprises a scale on which the article 20 is placed in order to measure its weight. Once the weight is measured, this data is transmitted from the measuring device 1200 to the computer processing unit 1400.
Selon un mode de réalisation, le dispositif optique 1300 comprend une caméra, dite bidimensionnelle, 1310 configurée pour collecter des images bidimensionnelles d’une scène bidimensionnelle prédéterminée, et de préférence une caméra stéréoscopique également appelée caméra tridimensionnelle 1320. Cette caméra stéréoscopique, ou plus généralement ce capteur tridimensionnel 1320, est configurée pour collecter des images tridimensionnelles d’une scène tridimensionnelle prédéterminée. Nous décrirons plus avant le dispositif optique 1300 par la suite ainsi que les différentes zones qui constituent cette scène tridimensionnelle prédéterminée, au travers de la figure 2. De préférence, le dispositif optique 1300 est configuré pour transmettre lesdites images collectées à l’unité de traitement informatique 1400. According to one embodiment, the optical device 1300 comprises a so-called two-dimensional camera 1310 configured to collect two-dimensional images of a predetermined two-dimensional scene, and preferably a stereoscopic camera also called three-dimensional camera 1320. This stereoscopic camera, or more generally this three-dimensional sensor 1320, is configured to collect three-dimensional images of a predetermined three-dimensional scene. We will describe the optical device 1300 further below as well as the various zones which constitute this predetermined three-dimensional scene, through FIG. 2. Preferably, the optical device 1300 is configured to transmit said collected images to the processing unit. computing 1400.
Selon un mode de réalisation, le dispositif optique 1300 comprendre un appareil photo. According to one embodiment, the optical device 1300 comprises a camera.
Selon un mode de réalisation, le système 1000 peut comprendre une pluralité de capteurs, dont le dispositif d’identification 1100, le dispositif de mesure 1200 et le dispositif optique 1300, mais également un capteur de mouvement par exemple, ou encore un accéléromètre, ou un gyroscope, ou tout autre capteur pouvant servir à collecter une ou plusieurs données utiles à l’identification d’une potentielle situation de fraude. Comme présenté par la suite, la présente invention tire avantageusement partie du croisement de données collectées par une pluralité de capteurs. Ce croisement de données est avantageusement réalisé par un module d’intelligence artificielle 1420, comprenant de préférence au moins un réseau de neurones entraînés, avantageusement automatiquement. According to one embodiment, the system 1000 can include a plurality of sensors, including the identification device 1100, the measuring device 1200 and the optical device 1300, but also a movement sensor for example, or an accelerometer, or a gyroscope, or any other sensor that can be used to collect one or more data useful for identifying a potential fraud situation. As presented below, the present invention advantageously takes advantage of the crossing of data collected by a plurality of sensors. This data crossing is advantageously carried out by an artificial intelligence module 1420, preferably comprising at least one network of trained neurons, advantageously automatically.
Selon un mode de réalisation, l’unité de traitement informatique 1400 est configurée pour traiter les données obtenues, collectées par le dispositif d’identification 1100, le dispositif de mesure 1200, le dispositif optique 1300, et de préférence par tout autre capteur. En effet, de préférence, l’unité de traitement informatique 1400 est configurée pour recevoir : a. Au moins un identifiant dudit article 20 depuis le dispositif d’identification 1100 ; b. Au moins une mesure du poids dudit article 20 depuis le dispositif de mesure 1200 ; c. Au moins une pluralité d’images collectées par le dispositif optique 1300 ; According to one embodiment, the computer processing unit 1400 is configured to process the data obtained, collected by the identification device 1100, the measuring device 1200, the optical device 1300, and preferably by any other sensor. Indeed, preferably, the computer processing unit 1400 is configured to receive: a. At least one identifier of said article 20 from the identification device 1100; b. At least one measurement of the weight of said item 20 from the measuring device 1200; vs. At least a plurality of images collected by the optical device 1300;
De manière avantageuse, l’unité de traitement informatique 1400 est en communication avec au moins une base de données 1410 comprenant pour chaque identifiant au moins une série de données dont le poids prédéterminé dudit article 20, et de préférence une image ou une représentation graphique dudit article 20. Pour réaliser cette comparaison, l’unité de traitement informatique 1400 peut comprendre un module de comparaison de poids par exemple. Advantageously, the computer processing unit 1400 is in communication with at least one database 1410 comprising for each identifier at least one series of data whose predetermined weight of said item 20, and preferably an image or a graphic representation of said item. article 20. To carry out this comparison, the computer processing unit 1400 may include a weight comparison module for example.
Selon un mode de réalisation, le poids prédéterminé de l’article 20 correspond à un intervalle de poids. En effet, la base de données peut comprendre un intervalle de poids et non une valeur précise. Cela permet en particulier d’éviter de nombreuses situations où le poids ne correspondrait pas précisément. En effet, les articles 20 présentent difficilement tous le même poids. Par contre, il est parfaitement possible de définir une fourchette de poids dans laquelle doit se trouver l’article 20. Par exemple, cette fourchette de poids peut correspondre au poids de l’article 20 à plus ou moins 2%, de préférence 5% et avantageusement 10%. Selon un exemple préféré, cette fourchette présente une valeur minimale et une valeur maximale, de préférence préenregistrées ou acquises par apprentissage dans le temps de fonctionnement de l’invention. According to one embodiment, the predetermined weight of the article 20 corresponds to an interval weight. Indeed, the database can include a weight interval and not a precise value. This makes it possible in particular to avoid many situations where the weight would not correspond precisely. Indeed, the articles 20 hardly all have the same weight. On the other hand, it is perfectly possible to define a weight range in which the article 20 must be located. For example, this weight range can correspond to the weight of the article 20 at plus or minus 2%, preferably 5%. and advantageously 10%. According to a preferred example, this range has a minimum value and a maximum value, preferably prerecorded or acquired by learning over the operating time of the invention.
Selon un mode de réalisation préféré, le poids prédéterminé enregistré dans la base de données 1410, du moins avant le scanne de l’article 20, est nul, c’est-à-dire qu’il est égal à zéro ou est non renseigné. Selon ce mode de réalisation, le système 1000 est auto-apprenant, c’est-à-dire qu’il va nourrir sa base de données 1410 à partir du poids mesuré. Par exemple, l’utilisateur scanne un article 20, le système 1000 identifie l’article 20 et accède à la base de données 1410 des articles 20 pour comparer le poids dudit article 20 scanné avec celui de la base de données 1410. Si la base de données renvoie une valeur de poids nulle ou bien si la valeur du poids n’est pas renseignée dans la base de données 1410, alors le système 1000 se met en mode auto-apprenant et remplace cette valeur de poids nulle ou non renseignée par la valeur du poids mesuré. Dans cette phase d’autoapprentissage, le système 1000 capture des images de l’article 20 de sorte à pouvoir par la suite associer une image bidimensionnelle de l’article 20 avec l’identifiant de l’article 20 et le poids de l’article 20. Si lors de la session d’achat, l’utilisateur manipule ledit article 20, son poids, son identifiant et sa reconnaissance visuelle seront utilisées pour prévenir une situation de fraude. On notera également que lors du premier scanne, le système 1000 est conçu pour raisonner de manière logique, c’est-à-dire que si l’utilisateur tente de disposer une étiquette de fruits et légumes sur un article 20 autre que des fruits et légumes, l’analyse visuelle, décrite par la suite, permet déclencher une notification de potentielle situation de fraude quand bien même le poids n’est pas répertorié dans la base de données 1410, . According to a preferred embodiment, the predetermined weight recorded in the database 1410, at least before the scan of the article 20, is zero, that is to say it is equal to zero or is not entered. . According to this embodiment, the system 1000 is self-learning, that is, it will feed its database 1410 from the measured weight. For example, the user scans an item 20, the system 1000 identifies the item 20 and accesses the database 1410 of items 20 to compare the weight of said scanned item 20 with that of the database 1410. If the base data returns a zero weight value or if the weight value is not entered in the database 1410, then the system 1000 goes into self-learning mode and replaces this zero or uninformed weight value by the value of the measured weight. In this self-learning phase, the system 1000 captures images of the article 20 so that it can subsequently associate a two-dimensional image of the article 20 with the identifier of the article 20 and the weight of the article. 20. If during the shopping session, the user manipulates said article 20, its weight, identifier and visual recognition will be used to prevent a situation of fraud. Note also that on the first scan, the system 1000 is designed to reason logically, i.e. if the user attempts to have a label of fruits and vegetables on an item other than fruits and vegetables, the visual analysis, described below, can trigger a notification of a potential fraud situation even though the weight is not listed in the database 1410,.
De préférence, du moment que le poids de l’article 20 est supérieur à un seuil prédéterminé, ce poids peut être utilisé comme poids prédéterminé si avant la pesée le poids prédéterminé dudit article dans la base de données était nul. Avantageusement, ce seuil prédéterminé est inférieur à 10Ogr, de préférence à 50gr et avantageusement à 25gr. Preferably, as long as the weight of the item 20 is greater than a predetermined threshold, this weight can be used as a predetermined weight if before weighing the predetermined weight of said item in the database was zero. Advantageously, this predetermined threshold is less than 10Og, preferably 50g and advantageously 25g.
De préférence, l’unité de traitement informatique 1400 est configurée pour obtenir de ladite base de données 1410 au moins le poids prédéterminé dudit article 20 et pour comparer ce poids prédéterminé avec le poids mesuré transmis par le dispositif de mesure 1200. Preferably, the computer processing unit 1400 is configured to obtain from said database 1410 at least the predetermined weight of said item 20 and to compare this predetermined weight with the measured weight transmitted by the measuring device 1200.
Avantageusement, l’unité de traitement informatique 1400 est configurée pour traiter la pluralité d’images collectées. Ce traitement peut comprendre l’identification et/ou la localisation spatiale de l’article 20. Dans le cas d’une identification, celle-ci peut être utilisée pour comparer l’identifiant de l’article 20 avec l’identification optique réalisée par l’unité de traitement informatique 1400 à partir de la pluralité d’image collectée. Advantageously, the computer processing unit 1400 is configured to process the plurality of collected images. This processing can include the identification and / or the spatial localization of the article 20. In the case of an identification, this can be used to compare the identifier of the article 20 with the optical identification carried out by the computer processing unit 1400 from the collected plurality of images.
Selon un mode de réalisation, la localisation spatiale de l’article 20 est utilisée afin de vérifier que l’article 20 identifié est bien l’article 20 pesé et que l’utilisateur n’a pas interverti l’article 20 identifié avec un autre article 20 du même poids. According to one embodiment, the spatial location of the article 20 is used in order to verify that the identified article 20 is indeed the weighed article 20 and that the user has not inverted the article 20. identified with another item 20 of the same weight.
Selon un mode de réalisation, le dispositif optique 1300 ne comprend qu’une seule caméra apte à capturer des images bidimensionnelles et des images tridimensionnelles. According to one embodiment, the optical device 1300 comprises only a single camera capable of capturing two-dimensional images and three-dimensional images.
De préférence, le dispositif optique 1300 est configuré pour capter des points dans un espace tridimensionnel permettant ainsi une prise en compte de la profondeur dans la capture des images tridimensionnelles. Preferably, the optical device 1300 is configured to pick up points in a three-dimensional space, thus allowing depth to be taken into account in capturing the three-dimensional images.
De préférence, le dispositif optique 1300 est configuré pour capter des données de couleur en deux dimensions. Preferably, optical device 1300 is configured to sense two-dimensional color data.
De manière avantageuse, le dispositif optique 1300 est configuré pour suivre un objet, de préférence l’article 20 ou une ou plusieurs mains d’un utilisateur par exemple, dans un espace. Cet espace est compartimenté en diverses zones virtuelles. Ces zones virtuelles sont définies par l’unité de traitement informatique 1400 et sont utilisées pour l’analyse des images collectées, voire le déclenchement d’actions. Advantageously, optical device 1300 is configured to track an object, preferably section 20 or one or more hands of a user for example, in a space. This space is compartmentalized into various virtual zones. These virtual zones are defined by the computer processing unit 1400 and are used for the analysis of the images collected, or even the triggering of actions.
Ainsi, selon un mode de réalisation illustré en figure 2, l’espace tridimensionnel analysé considéré comprend au moins quatre zones : a. Une zone de scan 1321 , située au niveau du dispositif d’identification, par exemple devant un scanner de codes-barres ; b. Une zone extérieure 1322, située au-dessus du contenant 11 , de préférence au- dessus du chariot, ou en dehors d’une zone de dépôt pour un scan automatique, par exemple ; c. Une zone intérieure 1323, située à l'intérieur du contenant, de préférence dans une zone dite de dépôt, avantageusement dans le chariot ; d. Une zone d'entrée 1234, située entre la zone extérieure 1322 et intérieure 1323.Thus, according to an embodiment illustrated in FIG. 2, the analyzed three-dimensional space considered comprises at least four zones: a. A scanning area 1321, located at the level of the identification device, for example in front of a barcode scanner; b. An exterior zone 1322, located above the container 11, preferably above the cart, or outside a drop zone for an automatic scan, for example; vs. An interior zone 1323, located inside the container, preferably in a so-called deposit zone, advantageously in the trolley; d. An entry zone 1234, located between the outer 1322 and inner 1323 zone.
L’utilisation de ces zones sera décrite plus précisément par la suite, ainsi que le procédé de traitement astucieux des images collectées. The use of these areas will be described more precisely below, as well as the method of clever processing of the images collected.
Selon un mode de réalisation, le système 1000 comprend également au moins dispositif d’analyse portatif de fraude 1700. Ce dispositif 1700 est configuré pour être utilisé par un utilisateur appelé surveillant, son rôle étant de surveiller certaines situations de fraude possible. En effet, de manière astucieuse, et comme décrite par la suite, en cas de doute concernant une situation de fraude, un surveillant disposant d’un dispositif d’analyse de fraude 1700 reçoit sur celui-ci une pluralité d’informations lui permettant d’évaluer si oui ou non il y a une fraude. Cette étape d’analyse sera décrite par la suite, en particulier sa présentation avantageuse permettant une très haute et fiable réactivité de la part du surveillant. According to one embodiment, the system 1000 also includes at least a portable fraud analysis device 1700. This device 1700 is configured for use by a user called a supervisor, his role being to monitor certain situations of possible fraud. Indeed, cleverly, and as described below, in the event of doubt concerning a fraud situation, a supervisor having a fraud analysis device 1700 receives a plurality of information on it allowing him to '' assess whether or not there is fraud. This analysis step will be described below, in particular its advantageous presentation allowing very high and reliable reactivity on the part of the supervisor.
Selon un mode de réalisation, l’unité de traitement 1400 peut être en communication avec un poste de gestion 1600. Ce poste de gestion 1600 permet une supervision d’une pluralité de systèmes de détection de fraude 1000. Ce poste de gestion 1600 sera également décrit plus précisément par la suite. According to one embodiment, the processing unit 1400 can be in communication with a management station 1600. This management station 1600 allows supervision of a plurality of fraud detection systems 1000. This management station 1600 will also be described more precisely below.
La figure 3 illustre un système de détection de fraude 1000 selon un mode de réalisation préféré. Sur cette figure, un chariot 10 comprend un dispositif de préhension 13 et un châssis 15 supporté par des roues 14 rendant ainsi le chariot 10 mobile. Avantageusement, le chariot 10 comprend en outre le dispositif d’identification 1100, le dispositif optique 1300, le dispositif de mesure 1200 et au moins un contenant 11. FIG. 3 illustrates a fraud detection system 1000 according to a preferred embodiment. In this figure, a carriage 10 comprises a gripping device 13 and a frame 15 supported by wheels 14 thus making the carriage 10 mobile. Advantageously, the carriage 10 further comprises the identification device 1100, the optical device 1300, the measuring device 1200 and at least one container 11.
De manière avantageuse, le chariot 10 peut comprendre au moins un dispositif d’affichage 12 permettant d’informer l’utilisateur si nécessaire, voire de service d’interface tactile pour la gestion du panier virtuel de l’utilisateur par exemple. Advantageously, the cart 10 can include at least one display device 12 making it possible to inform the user if necessary, or even a touch interface service for the management of the user's virtual cart, for example.
Selon un mode de réalisation, l’unité de traitement informatique 1400 peut être embarquée dans le chariot 10 et/ou être en partie ou totalement délocalisée et être en communication avec les éléments embarqués dans le chariot 10. According to one embodiment, the computer processing unit 1400 can be embedded in the cart 10 and / or be partially or totally delocalized and be in communication with the elements embedded in the cart 10.
Sur cette figure, le chariot 10 comprend un contenant 11 , de préférence suspendu à au moins un capteur de force jouant le rôle ainsi de dispositif de mesure 1200 du poids de l’article 20. Avantageusement, le dispositif d’identification 1100 est un scanner de codes-barres. De préférence, le chariot 10 comprend le dispositif optique 1300 apte à collecter des images bidimensionnelles, de préférence en couleur, et des images tridimensionnelles. In this figure, the trolley 10 comprises a container 11, preferably suspended from at least one force sensor thus playing the role of measuring device 1200 of the weight of the article 20. Advantageously, the identification device 1100 is a scanner. bar codes. Preferably, the carriage 10 comprises the optical device 1300 capable of collecting two-dimensional images, preferably in color, and three-dimensional images.
Selon un mode de réalisation, le chariot 10 pet comprendre une pluralité de capteurs comme par exemple un capteur de position spatiale, de mouvement, de direction de mouvement, de présence, capteur NFC (de l’anglais Near Field Communication), capteur RFID (de l’anglais radio frequency identification), capteur LI-FI (de l’anglais Light Fidelity), capteur bluetooth, voire capteur de communication radio de type WI-FI™, etc... According to one embodiment, the trolley 10 can include a plurality of sensors such as for example a sensor for spatial position, movement, direction of movement, presence, NFC (Near Field Communication) sensor, RFID sensor ( from the English radio frequency identification), LI-FI sensor (from the English Light Fidelity), bluetooth sensor, or even WI-FI ™ type radio communication sensor, etc ...
Selon un mode de réalisation, le chariot 10 comprend un ou plusieurs modules de communication de type bluetooth, WI-FI™ ou encore Lora (de l’anglais Long Range). According to one embodiment, the cart 10 includes one or more bluetooth, WI-FI ™ or Lora (Long Range English) type communication modules.
Selon un mode de réalisation préféré, le chariot 10 comprend différents capteurs liés à une intelligence artificielle qui a pour but de comprendre chaque action réalisée sur le chariot 10 par l’utilisateur et de détecter les actions frauduleuses. Cette intelligence peut par exemple prendre la forme d’un module de traitement de données comprenant au moins un réseau de neurones, de préférence entraînés. Ce réseau de neurones peut être embarqué dans le chariot 10. De préférence, le chariot 10 comprend une source d’alimentation électrique 16 pour alimenter les différents éléments précédemment indiqués par exemple. According to a preferred embodiment, the cart 10 includes various sensors linked to artificial intelligence which aims to understand each action performed on the cart 10 by the user and to detect fraudulent actions. This intelligence can for example take the form of a data processing module comprising at least one network of neurons, preferably trained. This neural network can be embedded in the cart 10. Preferably, the cart 10 comprises an electrical power source 16 to supply the various elements previously indicated for example.
Nous allons à présent illustrer simplement le fonctionnement astucieux de la présente invention, par exemple lorsqu’un utilisateur s’apprête à ajouter un article 20 à son panier virtuel, c’est- à-dire lorsque l’utilisateur ajoute dans le contenant 11 un article 20 pour son achat ultérieur dans un magasin équipé de la présente invention. We will now simply illustrate the clever operation of the present invention, for example when a user is about to add an article 20 to his virtual basket, that is to say when the user adds in the container 11 a item 20 for subsequent purchase in a store equipped with the present invention.
Dans l’exemple qui va suivre et pour des raisons de clarté, le système de détection de fraude 1000 est en partie au moins mobile et en partie au moins embarqué sur un chariot 10 tel que décrit précédemment. In the example which will follow and for reasons of clarity, the fraud detection system 1000 is at least partly mobile and at least partly on board a trolley 10 as described above.
Selon un mode de réalisation, le système 1000 comprend une interface 12 pouvant être soit disposée sur le chariot 10 lui-même sous la forme d’une interface tactile 12, soit être virtualisée sous la forme d’une application mobile que l’utilisateur aura préalablement téléchargée par exemple sur son téléphone intelligent. According to one embodiment, the system 1000 comprises an interface 12 which can be either arranged on the cart 10 itself in the form of a touch interface 12, or be virtualized in the form of a mobile application that the user will have. previously downloaded, for example on their smart phone.
L’utilisateur, après avoir sélectionné l’article 20 à acheter, le scanne avec le dispositif d’identification 1100. De préférence, le code-barre de l’article 20 est scanné par le dispositif d’identification 1100. Une fois l’article 20 scanné, l’utilisateur dispose d’un temps prédéterminé, par exemple 10 secondes, pour déposer l’article 20 scanné, c’est-à-dire identifié, sur ou dans le contenant 11. De manière avantageuse, le contenant 11 est configuré pour coopérer avec le dispositif de mesure 1200 de sorte à ce que le poids de l’article 20 soit mesuré par le dispositif de mesure 1200. The user, after selecting the item 20 to purchase, scans it with the identification device 1100. Preferably, the barcode of the item 20 is scanned by the device. identification 1100. Once the item 20 has been scanned, the user has a predetermined time, for example 10 seconds, to place the scanned item 20, that is to say identified, on or in the container. 11. Advantageously, the container 11 is configured to cooperate with the measuring device 1200 so that the weight of the article 20 is measured by the measuring device 1200.
Selon un mode de réalisation préféré, le dispositif de mesure 1200 est embarqué dans le chariot. Ainsi, l’utilisateur doit disposer dans le chariot 10 l’article 20 scanné en moins de 10 secondes, par exemple non limitatif. According to a preferred embodiment, the measuring device 1200 is on board the trolley. Thus, the user must have the scanned article 20 in the cart 10 in less than 10 seconds, for example without limitation.
Selon un autre mode de réalisation, le dispositif de mesure 1200 peut être externalisé relativement au chariot 10 de sorte à ce que l’utilisateur, après avoir scanné l’article 20, dispose celui- ci sur ou dans le dispositif de mesure 1200 pour que son poids y soit mesuré, avant de disposer l’article 20 dans le contenant 11. According to another embodiment, the measuring device 1200 can be externalized relative to the carriage 10 so that the user, after having scanned the article 20, places the latter on or in the measuring device 1200 so that its weight is measured there, before placing the item 20 in the container 11.
Une fois l’article 20 posé, le dispositif de mesure 1200 détermine le poids de l’article 20. After item 20 is installed, the measuring device 1200 determines the weight of item 20.
Selon un mode de réalisation, avant la pesée, l’identifiant est transmis à l’unité de traitement informatique 1400. Selon un autre mode de réalisation, l’identifiant est transmis à l’unité de traitement informatique 1400 après la pesée, et de préférence en même temps que le poids mesuré. According to one embodiment, before the weighing, the identifier is transmitted to the computer processing unit 1400. According to another embodiment, the identifier is transmitted to the computer processing unit 1400 after the weighing, and of preferably at the same time as the measured weight.
Suite à la pesée, l’article 20 est ajouté à un panier virtuel permettant au système 1000 et à l’utilisateur d’avoir un suivi des achats de l’utilisateur. Following the weighing, item 20 is added to a virtual cart allowing the system 1000 and the user to track the user's purchases.
Selon un mode de réalisation, une seule action est possible à la fois, c’est-à-dire qu’il n’est pas possible de scanner, ou d’identifier, un autre article 20 tant que l’article 20, précédemment scanné, n’est pas déposé et que son poids n’a pas été évalué. According to one embodiment, only one action is possible at a time, i.e. it is not possible to scan, or identify, another article 20 as long as article 20, previously scanned, is not deposited and its weight has not been assessed.
De manière avantageuse, la présente invention permet à l’utilisateur d’annuler son scan pour potentiellement scanner un autre article 20. Dans ce cas, soit l’utilisateur annule via l’interface de commande 12 le scan précédent, soit il attend le temps prédéterminé indiqué précédemment, par exemple les 10 secondes. Advantageously, the present invention allows the user to cancel his scan in order to potentially scan another article 20. In this case, either the user cancels the previous scan via the control interface 12, or he waits for the time. predetermined previously indicated, for example the 10 seconds.
La présente invention prend également en compte la situation où l’utilisateur souhaiterait retirer un article 20 du chariot 10. Dans ce cas, l’utilisateur utilise l’interface de commande 12 pour indiquer à celui-ci qu’il souhaite retirer un article 20 du chariot 10. Ensuite, l’utilisateur peut retirer autant d’articles 20 qu’il le souhaite, mais doit de préférence les scanner un à un, avantageusement en attendant à chaque fois entre chaque scan que le système 1000 ait détecté que le poids du contenant 11 a varié. The present invention also takes into account the situation where the user would wish to remove an article 20 from the cart 10. In this case, the user uses the control interface 12 to indicate to the latter that he wishes to withdraw an article 20. of the trolley 10. Then, the user can remove as many articles 20 as he wishes, but must preferably scan them one by one, advantageously waiting each time between each scan for the system 1000 to have detected that the weight of container 11 has varied.
Dans le cas où un article 20 serait posé ou retiré sans étape de scan, la variation de poids serait détectée par le système 1000, de préférence par le dispositif de mesure 1200, et serait mentionné à l’utilisateur, de préférence via l’interface de commande 12, appelé également dispositif d’affichage 12. Il en est de même si le poids évalué est incohérent avec l’identifiant de l’article 20 obtenu après le scan de celui-ci. Il en est également de même pour le retrait d’un article 20 dont le poids ne correspondrait pas à l’identifiant de l’article 20 scanné censé avoir été retiré. In the event that an item 20 would be placed or removed without a scanning step, the weight variation would be detected by the system 1000, preferably by the measuring device 1200, and would be mentioned to the user, preferably via the interface. control 12, also called display device 12. It is the same if the evaluated weight is inconsistent with the identifier of the article 20 obtained after the scan thereof. The same is also true for the removal of an item 20 whose weight does not match the identifier of the scanned item 20 believed to have been removed.
Ainsi, la présente invention est conçue spécialement pour sécuriser l’achat d’un article 20 et ainsi réduire de manière importante les fraudes tout en permettant une meilleure fluidité en caisse puisque le paiement est assuré directement par l’intermédiaire de la présente invention, directement via le chariot 10 par exemple, de préférence au travers du dispositif d’affichage 12 pouvant servir d’interface de commande 12 et de préférence de paiement. Thus, the present invention is specially designed to secure the purchase of an article 20 and thus significantly reduce fraud while allowing better cash flow since payment is provided directly through the present invention, directly via the carriage 10 for example, preferably through the display device 12 which can be used command interface 12 and preferably payment.
Nous allons à présent décrire le procédé de détection de fraude selon la présente invention.We will now describe the fraud detection method according to the present invention.
Selon un mode de réalisation, le procédé de détection de fraude comprend au moins : a. Une étape de capture d’une pluralité de données. Ces données sont au moins celles précédemment indiquées. Cette étape de capture est avantageusement réalisée par le terminal utilisateur 10. Cette étape de capture comprend au moins les étapes suivantes : i. Obtention de l’identifiant de l’article 20 par le dispositif d’identification 1100 ; cette étape est par exemple réalisée par un scan de l’article 20 au moyen du dispositif d’identification 1100 ; L’utilisateur est invité à scanner tout article 20 qu’il souhaite disposer dans le chariot 10 par exemple. ii. Détermination par le dispositif optique 1300 d’au moins une trajectoire de l’article 20 dans un espace tridimensionnel, l’article 20 étant manuellement déplacé dans ledit espace tridimensionnel par un utilisateur, cette trajectoire est de préférence manuellement imposée à l’article 20 par un utilisateur, ledit espace tridimensionnel comprenant au moins : According to one embodiment, the fraud detection method comprises at least: a. A step of capturing a plurality of data. These data are at least those previously indicated. This capture step is advantageously carried out by the user terminal 10. This capture step comprises at least the following steps: i. Obtaining the identifier of article 20 by the identification device 1100; this step is for example performed by a scan of section 20 using the identification device 1100; The user is invited to scan any article 20 that he wishes to place in the cart 10 for example. ii. Determination by the optical device 1300 of at least one trajectory of the article 20 in a three-dimensional space, the article 20 being manually moved in said three-dimensional space by a user, this trajectory is preferably manually imposed on the article 20 by a user, said three-dimensional space comprising at least:
1. Une zone d’identification 1321 correspondant à un volume de l’espace tridimensionnel dans lequel au moins une partie de l’article 20 est disposé par l’utilisateur pour réaliser l’obtention de l’identifiant de l’article 20 ; 1. An identification zone 1321 corresponding to a volume of three-dimensional space in which at least part of the article 20 is placed by the user to achieve the obtaining of the identifier of the article 20;
2. Une zone d’entrée 1324 correspondant à un volume de l’espace tridimensionnel traversé par l’article 20 lorsque l’utilisateur dépose l’article 20 dans au moins un contenant 11 , de préférence associé au terminal utilisateur 10 ; 2. An entry zone 1324 corresponding to a volume of the three-dimensional space crossed by the article 20 when the user places the article 20 in at least one container 11, preferably associated with the user terminal 10;
3. De préférence, une zone intérieure 1323 correspondant à l’entrée d’un contenant 11 ; 3. Preferably, an interior zone 1323 corresponding to the entrance of a container 11;
4. De préférence, une zone extérieure 1322, la zone d’entrée 1324 séparant la zone extérieure 1322 de la zone intérieure 1323. La zone extérieure 1322 correspond avantageusement à l’espace tridimensionnel entourant la zone d’entrée 1324, elle-même entourant la zone intérieure 1323.4. Preferably, an exterior zone 1322, the entrance zone 1324 separating the external zone 1322 from the internal zone 1323. The external zone 1322 advantageously corresponds to the three-dimensional space surrounding the entrance zone 1324, itself surrounding the inner zone 1323.
La détermination de la trajectoire consiste à suivre l’article 20 d’une zone à une autre zone et à enregistrer soit l’ensemble de la trajectoire, soit uniquement l’enchaînement de passage d’une zone à une autre. The determination of the trajectory consists in following article 20 from one area to another area and recording either the entire trajectory or only the sequence of passage from one area to another.
De préférence, tout objet situé dans le champ de vision du dispositif optique 1300 est suivi dans l’espace tridimensionnel. Preferably, any object located in the field of view of the optical device 1300 is tracked in three-dimensional space.
Comme discuté par la suite, si la trajectoire d’un objet s’approche au-delà d’un seuil prédéterminé de la trajectoire de l’article 20, autrement dit si un objet s’approche de l’article 20 au-delà d’un seuil prédéterminé, cela peut correspondre à une situation de fraude, aussi le système 1000 est conçu pour le mentionner lors de l’analyse des données par la suite. iii. De préférence, collecte par le dispositif optique 1300 d’une pluralité d’images dudit article 20 et/ou d’au moins une main de l’utilisateur portant ledit article 20. Cette collecte d’images dure jusqu’à ce que l’article 20 soit disposé de sorte à ce que le dispositif de mesure 1200 puisse en mesurer le poids ; une fois l’article 20 scanné, l’utilisateur disposé d’un temps prédéterminé pour disposer l’article 20 dans le contenant 11 et ainsi en effectuer la pesée ; de plus, le scan de l’article 20 déclenche la capture de la pluralité d’images bidimensionnelles et de préférence tridimensionnelles ; cette étape de collecte de la pluralité d’images a pour fonction de suivre l’article 20 visuellement depuis la zone de scan 1321 jusqu’à son lieu de dépôt en zone intérieure 1323 ; cela permet entre autres de vérifier que l’article 20 scanné n’est pas interverti avec un autre article avant d’être déposé dans le contenant 11 par exemple. iv. Envoi depuis le dispositif d’identification 1100 vers l’unité de traitement informatique 1400 de l’identifiant de l’article 20; v. Envoi depuis le dispositif optique 1300 vers l’unité de traitement informatique 1400 de la pluralité d’images collectées ; vi. De préférence, mesure, par le dispositif de mesure 1200, du poids de l’article 20, avantageusement une fois celui-ci disposé dans le contenant 11 par l’utilisateur ; vii. De préférence, envoi depuis le dispositif de mesure 1200 vers l’unité de traitement informatique 1400 du poids mesuré dudit article 20 depuis ledit dispositif de mesure 1200 ; b. Une étape de traitement, effectuée par l’unité de traitement informatique 1400, de la pluralité de données, de préférence de l’identifiant de l’article 20, du poids mesuré de l’article 20 et des images collectées, comprenant au moins les étapes suivantes : i. De préférence, identification dans la base de données 1410 de l’article 20 à partir dudit identifiant ; ii. De préférence, obtention du poids prédéterminé de l’article 20 depuis la base de données 1410 ; selon un mode de réalisation, le poids prédéterminé de l’article 20 contenu dans la base de données lors du premier scanné de l’article 20 peut être égal à zéro ou ne pas être renseigné ; iii. De préférence, comparaison du poids prédéterminé avec le poids mesuré de sorte à identifier une anomalie de poids ; de préférence, une anomalie de poids correspond à un poids mesuré différent du poids prédéterminé se trouvant dans la base de données 1410 à l’exception de la situation où le poids prédéterminé est égal à zéro ou n’est pas renseigné ; sinon au-delà d’une différence de poids supérieure à un seuil prédéterminé, une anomalie de poids est considérée ; cette anomalie de poids peut se présenter lorsque l’utilisateur intervertit l’article 20 scanné avec un autre article dont le poids est différent, ou bien lorsqu’il modifie le code-barres par exemple afin de scanner un article d’un poids différent du vrai article déposé. Dans le cas d’un poids prédéterminé égal à zéro ou non renseigné, la présente invention est configurée pour remplacer cette valeur par la valeur du poids mesuré, cette valeur de poids mesuré devenant alors la valeur du poids prédéterminé durant, au moins, la suite de la session d’achat de l’utilisateur. iv. Génération d’au moins un comportement dudit article 20 à partir au moins de la trajectoire de l’article 20 dans l’espace tridimensionnel ; Cette étape consiste à agglomérer diverses mesures de divers capteurs de sorte à recréer un comportement de l’article 20 évoluant dans un espace tridimensionnel mais également dans un espace de capteurs. Si l’enchaînement de mesures n’est pas cohérent avec au moins un modèle parmi une pluralité de modèles de comportement standard, alors il y a soupçon de fraude, et une anomalie de manipulation est relevée ; De préférence, un comportement n’est pas cohérent avec un modèle de comportement standard à partir du moment où il présente un écart avec ce modèle de plus de 2%, de préférence de 5% et avantageusement de 10% ; Avantageusement, un comportement n’est pas cohérent avec un modèle de comportement standard à partir du moment où certains évènements clefs du modèle ne sont pas présents dans le comportement généré, de tel évènements clefs peuvent par exemple être le fait que l’article 20 n’a pas été identifié, que l’article 20 n’a pas été déposé, que l’article 20 n’a pas franchi la zone d’entrée 1324, etc... ; De préférence, un comportement n’est pas cohérent avec un modèle de comportement standard à partir du moment où certains évènements suspicieux sont présents dans le comportement généré, de tel évènements suspicieux peuvent par exemple être le fait que le dispositif optique est obstrué temporairement, ou bien qu’un objet se soit rapproché de l’article 20, etc... v. Comparaison du comportement dudit article avec une pluralité de modèles de comportements prédéterminés, ledit comportement généré comprenant au moins la trajectoire dudit article dans l’espace tridimensionnel, si le comportement est différent de chaque modèle de comportements prédéterminés, alors une anomalie de manipulation est identifée ; On notera que de manière avantageuse, le système est configuré pour apprendre de chaque situation et ainsi ajouter et/ou modifier ses modèles de comportement standard ; vi. De préférence, analyse de la pluralité d’images collectées de sorte à identifier une anomalie de manipulation ; une anomalie de manipulation consiste par exemple à scanner un article et à en déposer un autre du même poids, ou bien à scanner un article avec une étiquette ne correspondant pas audit article quand bien même le poids serait correct ; une analyse visuelle et de préférence automatisée est nécessaire pour ce type de situation, cette analyse est fournie par la présente invention ; de manière avantageuse, l’unité de traitement informatique 1400 comprend un module d’intelligence artificielle 1420 comprenant au moins un réseau de neurones, avantageusement entraîné à déterminer des anomalies de manipulation ; De manière particulièrement avantageuse, l’analyse de la pluralité d’images collectées consiste en une analyse d’une scène tridimensionnelle et en particulier du déplacement d’une pluralité de points associés à l’article 20 dans un espace tridimensionnel partitionné en différentes zones ; ces zones seront décrites par la suite. Le principe de cette analyse de la pluralité d’images est de déterminer si le déplacement de l’article 20 dans l’espace correspond à un modèle prédéterminé pris parmi une pluralité de modèles estimés non frauduleux qui seront décrit par la suite ; dans le cas où le déplacement de l’article 20 au travers de ces différentes zones ne correspond pas à un modèle non frauduleux, alors il y a potentiellement une situation de fraude. De préférence, en plus de considérer le déplacement de l’article 20 dans cet espace virtuel compartimenté, la présente invention considère également les interactions entre l’article 20 et tout autre élément étranger ; avantageusement, si un nuage de points, c’est-à-dire une main ou un autre objet s’approche et interagit avec le nuage de points correspondants à l'article 20, la suspicion de fraude augmente ; De préférence, si l’élément étranger est une main identifiée comme vide, alors la suspicion de fraude peut être réduite c. Une étape d’évaluation d’une probabilité de fraude, cette probabilité étant non nulle si : i. Une anomalie de manipulation est identifiée ; et/ou ii. De préférence, une anomalie de poids est identifiée. As discussed later, if the path of an object approaches beyond a predetermined threshold of the section 20 path, that is, if an object approaches section 20 beyond d 'a predetermined threshold, this may correspond to a fraud situation, so the system 1000 is designed to mention this when analyzing the data afterwards. iii. Preferably, collection by the optical device 1300 of a plurality of images of said article 20 and / or of at least one hand of the user carrying said article 20. This collection of images lasts until the item 20 is arranged so that the measuring device 1200 can measure its weight; once the article 20 has been scanned, the user has a predetermined time to place the article 20 in the container 11 and thus carry out the weighing thereof; in addition, the scan of item 20 triggers the capture of the plurality of two-dimensional and preferably three-dimensional images; this step of collecting the plurality of images has the function of following the article 20 visually from the scan zone 1321 to its place of deposit in the interior zone 1323; this makes it possible, among other things, to verify that the scanned article 20 is not inverted with another article before being deposited in the container 11 for example. iv. Sending from the identification device 1100 to the computer processing unit 1400 of the identifier of the article 20; v. Sending from the optical device 1300 to the computer processing unit 1400 the plurality of collected images; vi. Preferably, measurement, by the measuring device 1200, of the weight of the article 20, advantageously once the latter has been placed in the container 11 by the user; vii. Preferably, sending from the measuring device 1200 to the computer processing unit 1400 the measured weight of said article 20 from said measuring device 1200; b. A processing step, carried out by the computer processing unit 1400, of the plurality of data, preferably of the identifier of the article 20, of the measured weight of the article 20 and of the images collected, comprising at least the next steps: i. Preferably, identification in the database 1410 of item 20 from said identifier; ii. Preferably, obtaining the predetermined weight of the item 20 from the database 1410; according to one embodiment, the predetermined weight of the article 20 contained in the database during the first scan of the article 20 may be equal to zero or not be entered; iii. Preferably, comparing the predetermined weight with the measured weight so as to identify a weight abnormality; preferably, a weight anomaly corresponds to a measured weight different from the predetermined weight found in the database 1410 except for the situation where the predetermined weight is equal to zero or is not entered; otherwise beyond a difference in weight greater than a predetermined threshold, a weight anomaly is considered; this weight anomaly can occur when the user swaps the scanned article 20 with another article whose weight is different, or when it modifies the barcode for example in order to scan an article of a different weight from the real deposited article. In the case of a predetermined weight equal to zero or not entered, the present invention is configured to replace this value by the value of the measured weight, this measured weight value then becoming the value of the predetermined weight during, at least, the following of the user's shopping session. iv. Generation of at least one behavior of said article 20 from at least the trajectory of the article 20 in three-dimensional space; This step consists in aggregating various measurements from various sensors so as to recreate a behavior of the article 20 moving in a three-dimensional space but also in a space of sensors. If the sequence of measurements is not consistent with at least one model among a plurality of standard behavior models, then there is a suspicion of fraud, and a handling anomaly is noted; Preferably, a behavior is not consistent with a standard behavior model from the moment it exhibits a difference with this model of more than 2%, preferably 5% and advantageously 10%; Advantageously, a behavior is not consistent with a standard behavior model from the moment when certain key events of the model are not present in the generated behavior, such key events can for example be the fact that article 20 n 'has not been identified, that article 20 has not been deposited, that article 20 has not crossed the entry zone 1324, etc ...; Preferably, a behavior is not consistent with a standard behavior model from the moment when certain suspicious events are present in the generated behavior, such suspicious events can for example be the fact that the optical device is temporarily obstructed, or although an object came close to article 20, etc ... v. Comparison of the behavior of said article with a plurality of predetermined behavior models, said generated behavior comprising at least the trajectory of said article in three-dimensional space, if the behavior is different from each predetermined behavior model, then a handling anomaly is identified; It will be noted that advantageously, the system is configured to learn from each situation and thus add and / or modify its standard behavior models; vi. Preferably, analysis of the plurality of images collected so as to identify a handling anomaly; a handling anomaly consists, for example, in scanning an article and depositing another of the same weight, or else in scanning an article with a label that does not correspond to said article even if the weight is correct; visual analysis and automated preference is needed for this type of situation, this analysis is provided by the present invention; advantageously, the computer processing unit 1400 comprises an artificial intelligence module 1420 comprising at least one neural network, advantageously trained in determining handling anomalies; In a particularly advantageous manner, the analysis of the plurality of images collected consists of an analysis of a three-dimensional scene and in particular of the displacement of a plurality of points associated with the article 20 in a three-dimensional space partitioned into different zones; these areas will be described later. The principle of this analysis of the plurality of images is to determine whether the movement of the article 20 in space corresponds to a predetermined model taken from among a plurality of models considered non-fraudulent which will be described below; in the event that the movement of article 20 through these different zones does not correspond to a non-fraudulent model, then there is potentially a situation of fraud. Preferably, in addition to considering the movement of the article 20 in this compartmentalized virtual space, the present invention also considers the interactions between the article 20 and any other foreign element; advantageously, if a cloud of points, that is to say a hand or another object approaches and interacts with the cloud of points corresponding to article 20, the suspicion of fraud increases; Preferably, if the foreign element is a hand identified as empty, then the suspicion of fraud can be reduced c. A step of evaluating a probability of fraud, this probability being non-zero if: i. A handling anomaly is identified; and / or ii. Preferably, a weight abnormality is identified.
On notera qu’une probabilité de fraude peut correspondre à une donnée binaire comme par exemple 1 ou 0, 1 correspondant au fait que la fraude est certaine et 0 correspondant au fait qu’il n’y a pas de fraude. Selon un autre mode de réalisation, une probabilité de fraude peut correspondre à un pourcentage de fraude, par exemple une absence de fraude équivaut à 0% et une certitude de fraude à 100%. It will be noted that a probability of fraud may correspond to binary data such as, for example, 1 or 0, 1 corresponding to the fact that the fraud is certain and 0 corresponding to the fact that there is no fraud. According to another embodiment, a probability of fraud can correspond to a percentage of fraud, for example an absence of fraud equals 0% and a certainty of fraud at 100%.
Ainsi, une probabilité de fraude peut être une valeur numérique comprise entre 0 et 100 et/ou être une valeur binaire égale à 0 ou 1 . Thus, a probability of fraud can be a numerical value between 0 and 100 and / or be a binary value equal to 0 or 1.
Cette étape d’évaluation de fraude consiste à croiser une pluralité de données de sorte à évaluer une probabilité de fraude, en particulier si une anomalie de poids et/ou de manipulation est détectée. De manière avantageuse, ce croisement de données est réalisé par un module d’intelligence artificielle 1420 comprenant de préférence un réseau de neurones entraînés, de préférence automatiquement. This fraud evaluation step consists of crossing a plurality of data items so as to evaluate a probability of fraud, in particular if an anomaly in weight and / or handling is detected. Advantageously, this data crossing is carried out by an artificial intelligence module 1420 preferably comprising a network of trained neurons, preferably automatically.
Certaines situations sont aisément identifiables comme des fraudes, néanmoins, d’autres situations peuvent parfois être trop complexes pour un traitement entièrement automatisé à bas coût. Aussi, dans une optique de réduire les coûts d’un système d’analyse hautement automatisé, mais dont le coût serait très élevé, la présente invention propose une solution hybride dans laquelle une partie de l’analyse est réalisée automatiquement et une autre partie est réalisée via l’intervention de surveillants si nécessaire. Some situations are easily identifiable as fraud, however, other situations can sometimes be too complex for fully automated processing at low cost. Also, with a view to reducing the costs of a highly automated analysis system, but the cost of which would be very high, the present invention provides a hybrid solution in which part of the analysis is performed automatically and another part is carried out through the intervention of supervisors if necessary.
Ainsi, et cela de manière astucieuse, et comme précédemment indiqué, la présente invention peut comprendre au moins un dispositif d’analyse portatif 1700 destiné à être utilisé par au moins un surveillant. Thus, and cleverly, and as previously indicated, the present invention may include at least one portable analysis device 1700 for use by at least one supervisor.
Selon un mode de réalisation, le dispositif d’analyse portatif 1700 est configuré pour recevoir une pluralité de données depuis l’unité de traitement informatique 1400 et/ou depuis un poste de gestion 1600 qui sera décrit par la suite. According to one embodiment, the portable analysis device 1700 is configured to receive a plurality of data from the computer processing unit 1400 and / or from a management station 1600 which will be described later.
De manière astucieuse, le dispositif d’analyse portatif 1700 est configuré pour afficher une partie au moins de ces données sous une forme permettant une prise de décision rapide, par exemple en moins de 10 secondes, de préférence en moins de 5 secondes et avantageusement en moins de 2 seconds, de la part du surveillant. Cleverly, the portable analysis device 1700 is configured to display at least part of this data in a form allowing rapid decision-making, for example in less than 10 seconds, preferably in less than 5 seconds and advantageously in less than 2 seconds, from the supervisor.
Ainsi, l’objectif est d’envoyer les informations les plus qualitatives aux surveillants, de préférence pour un contrôle à distance. Thus, the aim is to send the most qualitative information to the supervisors, preferably for remote control.
Pour cela, l’unité de traitement informatique 1400 sélectionne une sélection d’images parmi la pluralité d’images collectées et transmet cette sélection au dispositif d’analyse portatif 1700. Cette sélection est avantageusement réalisée en considérant des instants particuliers, par exemple le moment du scan, de la pesée, du déplacement de l’article 20, de l’entrée ou de la sortie d’une zone, etc.... For this, the computer processing unit 1400 selects a selection of images from among the plurality of images collected and transmits this selection to the portable analysis device 1700. This selection is advantageously carried out by considering particular instants, for example the moment. scanning, weighing, moving article 20, entering or leaving a zone, etc.
Selon un mode de réalisation, l’unité de traitement informatique 1400 réalise une vidéo, de préférence temporellement compressée, qu’elle transmet également au dispositif d’analyse portatif 1700. Une vidéo temporellement compressée se comprend d’une vidéo dont le nombre d’images par seconde est supérieure à 24 par exemple, ou bien encore d’une vidéo dont la durée de lecture du début à la fin est inférieure à la durée de l’action illustrée, on parle également de vidéo time lapse ou bien encore de vidéo accélérée. De manière avantageuse, cette vidéo comprend également, de préférence sur sa ligne de temps, la notification des instants particuliers mentionnés précédemment sous forme par exemple de repères. Cela permet au surveillant de sélectionner s’il le souhaite un passage précis de la vidéo relatif à un évènement particulier qui s’y trouve repéré. Cela permet de manière simple, intuitive et rapide de sélectionner un évènement et d’accéder au passage de la vidéo et de préférence à d’autres données en lien avec cet évènement. According to one embodiment, the computer processing unit 1400 produces a video, preferably temporally compressed, which it also transmits to the portable analysis device 1700. A temporally compressed video comprises a video of which the number of images per second is greater than 24 for example, or even of a video whose playing time from start to end is less than the duration of the action shown, we also speak of time lapse video or even video accelerated. Advantageously, this video also comprises, preferably on its time line, the notification of the particular instants mentioned above in the form for example of benchmarks. This allows the supervisor to select, if desired, a specific portion of the video relating to a particular event that is noted there. This allows a simple, intuitive and quick way to select an event and access the passage of the video and preferably other data related to this event.
Enfin, l’unité de traitement informatique 1400 transmet au dispositif d’analyse portatif 1700 les informations liées à l'article 20 scanné et/ou un texte expliquant la ou les anomalies détectées, voire le type de fraude suspectée et/ou détectée. Finally, the computer processing unit 1400 transmits to the portable analysis device 1700 information related to the scanned item 20 and / or a text explaining the anomaly (s) detected, or even the type of fraud suspected and / or detected.
De manière préférée, l’unité de traitement informatique 1400 transmet ces données soit directement au dispositif d’analyse portatif 1700, soit par l’intermédiaire d’un serveur informatique 1600. Ce serveur informatique 1600 est avantageusement configuré pour conformer les données à transmettre de sorte à par exemple les hiérarchiser en fonction de divers paramètres de priorisation et/ou à par exemple les ordonner. Selon un mode de réalisation, ce serveur informatique fait partie intégrante d’un poste de gestion 1600. Preferably, the computer processing unit 1400 transmits these data either directly to the portable analysis device 1700, or via a computer server 1600. This computer server 1600 is advantageously configured to conform the data to be transmitted from such as for example to prioritize them according to various prioritization parameters and / or for example to order them. According to one embodiment, this computer server is an integral part of a management station 1600.
Selon un mode de réalisation, lorsqu’une fraude est suspectée, l’unité de traitement informatique 1400 transmet lesdites données à au moins un poste de gestion 1600 via un serveur informatique par exemple, puis un employé, appelé super-surveillant par exemple, est alors en charge d’analyser s’il y a ou non fraude. According to one embodiment, when fraud is suspected, the computer processing unit 1400 transmits said data to at least one management station 1600 via a computer server for example, then an employee, called a super-supervisor for example, is then in charge of analyzing whether or not there is fraud.
Dans le cas où il n’y a pas de fraude, une commande de validation est transmise à l’unité de traitement informatique 1400 validant l’action de l’utilisateur. Dans le cas où une certitude de fraude ou bien un doute subsiste, le super-surveillant transmet les données considérées au dispositif d’analyse 1700 du surveillant. Ce surveillant est avantageusement mobile et peut ainsi se rentre auprès de l’utilisateur dont l’action semble frauduleuse. Le surveillant est ainsi destiné à prendre en charge la situation, d’une part en analysant lesdites données et d’autre part en se rendant sur le lieu de la possible fraude. If there is no fraud, a validation command is sent to the computer processing unit 1400 validating the user's action. In the event that a certainty of fraud or else a doubt remains, the super-supervisor transmits the considered data to the supervisor's 1700 analysis device. This supervisor is advantageously mobile and can thus contact the user whose action appears to be fraudulent. The supervisor is thus intended to take charge of the situation, on the one hand by analyzing said data and on the other hand by going to the location of the possible fraud.
Selon un mode de réalisation, le dispositif d’analyse portatif 1700 peut par exemple comprendre une tablette, un ordinateur, un téléphone intelligent ou encore tout support permettant l’affichage de données et de préférence comprenant une interface avantageusement tactile. According to one embodiment, the portable analysis device 1700 may for example comprise a tablet, a computer, a smart phone or even any medium allowing the display of data and preferably comprising an advantageously tactile interface.
Selon un mode de réalisation avantageux, les données présentées sur le dispositif d’analyse portatif 1700 sont conformées pour être facilement comprises et analysées. De manière particulièrement avantageuse, la présente invention propose une présentation des données claire, simple et intuitive permettant au surveillant de décider très rapidement, de préférence en moins de 10 secondes, si la situation est une situation de fraude ou non. According to an advantageous embodiment, the data presented on the portable analysis device 1700 is shaped to be easily understood and analyzed. Particularly advantageously, the present invention provides a clear, simple and intuitive presentation of the data allowing the supervisor to decide very quickly, preferably in less than 10 seconds, whether the situation is a fraud situation or not.
Ainsi, par exemple, lorsque la probabilité de fraude dépasse un seuil prédéterminé, l’unité de traitement informatique 1400 transmet les données nécessaires pour que le super-surveillant situé au poste de gestion 1600 puisse filtrer les situations potentielles de fraudes. Si selon son analyse, il n’y a pas de fraude, il envoie une commande de validation à l’utilisateur pour qu’il puisse poursuivre ses achats ou son paiement. So, for example, when the probability of fraud exceeds a predetermined threshold, the computer processing unit 1400 transmits the necessary data so that the super-supervisor located at the management station 1600 can filter out potential situations of fraud. If, according to his analysis, there is no fraud, he sends a validation command to the user so that he can continue with his purchases or payment.
Si selon son analyse, il y a possibilité de fraude, il transfert les données vers le dispositif d’analyse portatif 1700 d’un surveillant, de préférence celui étant le plus proche de l’utilisateur par exemple. If, according to his analysis, there is a possibility of fraud, he transfers the data to the portable analysis device 1700 of a supervisor, preferably the one closest to the user for example.
Ainsi, par exemple, un résumé de toutes les actions “suspectes”, c’est-à-dire potentiellement frauduleuses, est présenté sur le poste de gestion 1600 d’un super-surveillant et/ou sur le dispositif d’analyse portatif 1700 du surveillant, par exemple le surveillant situé à la sortie du magasin, afin qu’il puisse interagir avec l’utilisateur en phase de paiement par exemple. Thus, for example, a summary of all the “suspicious” actions, that is to say potentially fraudulent, is presented on the management station 1600 of a super-supervisor and / or on the portable analysis device 1700 the supervisor, for example the supervisor located at the exit of the store, so that he can interact with the user during the payment phase, for example.
De manière avantageuse, lorsqu’une action est interprétée comme potentiellement frauduleuse par l’unité de traitement informatique 1400, toutes les données nécessaires pour le contrôle à distance de cette situation sont envoyées au poste de gestion 1600, c’est-à-dire à un supersurveillant. Cette personne peut être un vigile, une caissière ou être totalement décentralisée dans un autre pays où la main-d’œuvre est moins coûteuse par exemple. Advantageously, when an action is interpreted as potentially fraudulent by the computer processing unit 1400, all the data necessary for the remote control of this situation are sent to the management station 1600, that is to say to a super-supervisor. This person can be a security guard, a cashier or be totally decentralized in another country where labor is less expensive, for example.
Comme précédemment indiqué, le super-surveillant dispose de toutes les informations nécessaires au contrôle de l’action sur une interface graphique. Cette interface graphique est configurée avantageusement pour afficher l’image et le titre de l’article 20 concerné, un petit descriptif du type de fraude détectée, une suite d’images de l’action, comme une bande dessinée par exemple sous forme de vignettes, et avantageusement une vidéo, de préférence accélérée; l’objectif étant que le surveillant et/ou le super-surveillant puissent déterminer si l’action est frauduleuse en très peu de temps, généralement en moins de 10 secondes, de préférence de 5 secondes et avantageusement en 2 secondes. As previously indicated, the super-supervisor has all the information necessary to control the action on a graphical interface. This graphical interface is advantageously configured to display the image and the title of the article 20 concerned, a small description of the type of fraud detected, a series of images of the action, such as a comic strip for example in the form of thumbnails, and advantageously a video, preferably accelerated; the objective being that the supervisor and / or the super-supervisor can determine if the action is fraudulent in a very short time, generally in less than 10 seconds, preferably 5 seconds and advantageously in 2 seconds.
De manière très astucieuse, l’interface et/ou la conformation des données sont configurés pour simplifier le travail du surveillant et du super-surveillant. In a very clever way, the interface and / or the data conformation are configured to simplify the work of the supervisor and the super-supervisor.
De manière très astucieuse, la présente invention utilise d’abord un premier filtre automatisé, représenté par l’unité de traitement informatique 1400, de préférence basé sur l’utilisation d’une intelligence artificielle comprenant au moins un réseau de neurones, pour filtrer les situations potentiellement frauduleuses des autres, puis un second filtre est appliqué. Ce second filtre, selon un mode de réalisation, comprend les surveillants mobiles utilisant un dispositif d’analyse portatif 1700. Selon un autre mode de réalisation, ce second filtre comprend les super-surveillants disposés au niveau de poste de gestion 1600, dès lors les surveillants mobiles utilisant un dispositif d’analyse portatif 1700 représentent un troisième filtre. La combinaison de ces différents filtres rend le travail de chaque filtre de plus en plus simple et rapide. Very cleverly, the present invention first uses a first automated filter, represented by the computer processing unit 1400, preferably based on the use of an artificial intelligence comprising at least one neural network, to filter the data. potentially fraudulent situations of others, then a second filter is applied. This second filter, according to one embodiment, comprises the mobile monitors using a portable analysis device 1700. According to another embodiment, this second filter comprises the super-monitors arranged at the level of management station 1600, therefore the supervisors. Mobile monitors using a portable analyzer 1700 represent a third filter. The combination of these different filters makes the work of each filter easier and faster.
On notera que de manière très avantageuse, la présente invention analyse la possibilité d’une fraude sur la base d’une analyse de scènes tridimensionnelles. En particulier, les scènes tridimensionnelles, appelées également pluralité d’images, sont collectées par la caméra stéréoscopique 1320. Ces scènes 3D, de préférence dynamiques, comprennent une ou plusieurs pluralités de points se déplaçant. Une première pluralité de points correspond à l'article 20 qui est alors suivi dans l’espace. Une deuxième pluralité de points peut correspondre à la main d’un utilisateur ou bien à un autre article. Toute pluralité de points qui interagit, c’est-à-dire qui se rapproche à une distance inférieure à un seuil prédéterminé du premier nuage de points est considérée comme une potentielle source de fraude. It should be noted that very advantageously, the present invention analyzes the possibility of fraud on the basis of an analysis of three-dimensional scenes. In particular, the three-dimensional scenes, also called a plurality of images, are collected by the stereoscopic camera 1320. These 3D scenes, which are preferably dynamic, include one or more pluralities of moving points. A first plurality of points corresponds to item 20 which is then tracked in space. A second plurality of points may correspond to a user's hand or to another item. Any plurality of points which interact, that is to say which approach at a distance less than a predetermined threshold from the first cloud of points, is considered as a potential source of fraud.
De manière particulièrement avantageuse, et comme précisé par la suite, le déplacement de la première pluralité de points parmi les diverses zones est enregistré et comparé à une pluralité de modèles de déplacement non frauduleux. Si jamais un enchaînement d’action ne correspond pas à un enchaînement d’actions appartenant à un modèle prédéterminé parmi les modèles non frauduleux, alors la probabilité de fraude augmente. In a particularly advantageous manner, and as specified below, the displacement of the first plurality of points among the various zones is recorded and compared with a plurality of non-fraudulent displacement models. If ever a chain of actions does not correspond to a chain of actions belonging to a predetermined pattern among the non-fraudulent models, then the probability of fraud increases.
Nous allons à présent décrire une pluralité de modèles de comportement standard pouvant être utilisés par la présente invention pour classifier un comportement. We will now describe a plurality of standard behavior models that can be used by the present invention to classify behavior.
Modèle de comportement standard correspondant à l’ajout d’un article 20 : a. Identification de l’article 20 ; b. Définition de la forme géométrique de l'article validé, appelé « globe » par la suite, dans la zone de scan 1321 ; c. Comparaison validée d’au moins une image bidimensionnelle de l’article 20 contenue dans la base de données 1410 avec au moins une image bidimensionnelle de l’article 20 prise lors de son identification ; d. L'article 20 validé sort de la zone de scan 1321 ; e. L’article 20 validé passe ou non par la zone extérieure 1322 ; f. L’article 20 validé rentre dans la zone d’entrée 1324 ; g. Comparaison validée de l’image bidimensionnelle de l’article 20 prise lors de l’identification de l'article 20 avec l’image bidimensionnelle de l’article 20 validé lors du passage dans la zone d’entrée 1324 ; h. Article 20 validé rentre dans la zone intérieure 1323 ; i. Mesure de l’augmentation du poids du contenant 11 en conséquence, c’est-à-dire une mesure du poids de départ augmenté du poids prédéterminé de l’article 20 identifié, cette augmentation de poids peut intervenir avant ou après l’identification bidimensionnelle d’une main vide sortant de la zone intérieure 1323 par la zone d’entrée 1324. Standard model of behavior corresponding to the addition of an article 20: a. Identification of article 20; b. Definition of the geometric shape of the validated article, called “globe” hereafter, in the 1321 scan area; vs. Validated comparison of at least one two-dimensional image of the article 20 contained in the database 1410 with at least one two-dimensional image of the article 20 taken during its identification; d. The validated article 20 leaves the 1321 scan area; e. The validated article 20 passes or not through the external zone 1322; f. The validated article 20 enters the entry zone 1324; g. Validated comparison of the two-dimensional image of the article 20 taken during the identification of the article 20 with the two-dimensional image of the article 20 validated during the passage in the entry zone 1324; h. Article 20 validated enters the interior zone 1323; i. Measuring the increase in the weight of the container 11 accordingly, that is to say a measurement of the starting weight increased by the predetermined weight of the identified item 20, this increase in weight can take place before or after the two-dimensional identification with an empty hand exiting the inner zone 1323 through the entry zone 1324.
Modèle de comportement standard correspondant à l’identification d’une main vide : a. Une main vide rentre dans la zone extérieure 1322 ; b. Une main vide rentre dans la zone d’entrée 1324 ; c. Une main vide dans la zone intérieure 1323 ; d. Variation de poids ou non, cette variation de poids peut intervenir avant ou après les deux évènements suivants ; e. Une main vide rentre dans la zone d’entrée 1324 ; f. Une main vide rentre dans la zone extérieure 1322 ; Standard pattern of behavior corresponding to the identification of an empty hand: a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand in the 1323 inner zone; d. Variation in weight or not, this variation in weight can occur before or after the following two events; e. An empty hand enters the 1324 entry area; f. An empty hand enters the outer zone 1322;
Modèle de comportement standard correspondant à l’utilisateur prenant, pour le regarder par exemple, un article 20 déjà validé et présent dans le contenant : a. Une main vide rentre dans la zone extérieure 1322 ; b. Une main vide rentre dans la zone d’entrée 1324 ; c. Une main vide dans la zone intérieure 1323 ; d. Le poids diminue, cette diminution de poids pouvant intervenir à cet instant ou bien pendant les 5 évènements suivants ; e. Une main pleine rentre dans la zone d’entrée 1324, devient l’objet suivi par le dispositif optique 1300 ; f. L’objet suivi rentre dans la zone extérieure 1322 ; g. L’objet suivi rentre dans la zone d’entrée 1324 ; h. Comparaison bidimensionnelle validée entre l’image bidimensionnelle de l’objet suivi lors du premier passage dans la zone d’entrée 1324 avec l’image bidimensionnelle de l’objet suivi lors du second passage dans la zone d’entrée 1324 ; i. L’objet suivi rentre dans la zone intérieure 1323 ; j. Le poids augmente en conséquence, c’est-à-dire qu’il revient au poids de départ, cette augmentation de poids pouvant intervenir entre cet instant et la fin du modèle ; k. Une main vide rentre dans la zone d’entrée 1324 ; Standard behavior model corresponding to the user taking, to look at it for example, an article 20 already validated and present in the container: a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand in the 1323 inner zone; d. The weight decreases, this reduction in weight being able to occur at this moment or else during the 5 following events; e. A full hand enters entry area 1324, becomes the object tracked by optical device 1300; f. The tracked object enters the outer zone 1322; g. The tracked object enters entry area 1324; h. Two-dimensional comparison validated between the two-dimensional image of the tracked object on the first pass through entry area 1324 with the two-dimensional image of the tracked object on the second pass through entry area 1324; i. The tracked object enters inner zone 1323; j. The weight increases accordingly, that is to say, it returns to the starting weight, this increase in weight being able to occur between this moment and the end of the model; k. An empty hand enters the 1324 entry area;
L. Une main vide rentre dans la zone extérieure 1322. L. An empty hand enters the outer zone 1322.
Modèle de comportement standard correspondant à l'utilisateur posant un article 20, et oubliant de l’identifier : a. Une main pleine rentre dans la zone d’entrée 1324, devient l’objet suivi ; b. Le poids mesuré augmente, cette augmentation de poids pouvant intervenir à cet instant ou durant les 3 évènements suivants ; c. Une main vide rentre dans la zone d’entrée 1324 ; d. Une main vide rentre dans la zone extérieure 1322 ; e. Une main vide rentre dans la zone d’entrée 1324 ; f. Une main vide rentre dans la zone intérieure 1323 ; g. Le poids diminue, en conséquence, c’est-à-dire qu’il revient au poids de départ du modèle, cette diminution de poids pouvant intervenir entre cet instant et la fin du modèle ; h. L’objet suivi rentre dans la zone d’entrée 1324, i. Comparaison bidimensionnelle validée entre l’image bidimensionnelle de l’objet suivi lors du premier passage dans la zone d’entrée avec l’image bidimensionnelle de l’objet suivi lors du second passage dans la zone d’entrée 1324 ; j. L’objet suivi rentre dans la zone extérieure 1322 ; Standard behavior model corresponding to the user posing an article 20, and forgetting to identify it: a. A full hand enters the entry area 1324, becomes the tracked object; b. The measured weight increases, this weight increase being able to occur at this moment or during the 3 following events; vs. An empty hand enters the entry area 1324; d. An empty hand enters the outer zone 1322; e. An empty hand enters the entry area 1324; f. An empty hand enters the inner zone 1323; g. The weight decreases, as a consequence, that is to say that it returns to the starting weight of the model, this reduction in weight being able to take place between this moment and the end of the model; h. The tracked object enters the input zone 1324, i. Two-dimensional comparison validated between the two-dimensional image of the object tracked during the first passage through the entry zone with the two-dimensional image of the object tracked during the second passage through the entry zone 1324; j. The tracked object enters the outer zone 1322;
Modèle de comportement standard correspondant au retrait d’un article 20 : a. Une main vide rentre dans la zone extérieure 1322 ; b. Une main vide rentre dans la zone d’entrée 1324 ; c. Une main vide rentre dans la zone intérieure 1323 ; d. Le poids diminue, cette diminution de poids pouvant intervenir entre cet instant et la fin du modèle ; e. Une main pleine rentre dans la zone d’entrée 1324, devient l’objet suivi ; f. L’objet suivi rentre dans la zone extérieure 1322 ; g. L’objet suivi rentre dans la zone de scan 1321 ; h. Identification d’un article 20 du panier virtuel sélectionné comme étant un article 20 à retirer par l’utilisateur ; i. Comparaison bidimensionnelle validée entre l’image de l’article 20 lors de son identification et l’image de l'objet suivi lors de son passage dans la zone d’entrée 1324. Standard model of behavior corresponding to the withdrawal of an article 20: a. An empty hand enters the outer zone 1322; b. An empty hand enters the 1324 entry area; vs. An empty hand enters the inner zone 1323; d. The weight decreases, this reduction in weight being able to occur between this moment and the end of the model; e. A full hand enters entry area 1324, becomes the tracked object; f. The tracked object enters the outer zone 1322; g. The tracked object falls within the 1321 scan area; h. Identification of an item 20 of the virtual shopping cart selected as an item 20 to be withdrawn by the user; i. Two-dimensional comparison validated between the image of item 20 when it was identified and the image of the tracked object as it passed through the entrance area 1324.
On notera enfin qu’à partir du moment où un élément extérieur à l’article 20 et de préférence à une main vide entre en contact avec l’article 20 validé ou l’objet suivi ou rentre dans la zone intérieure 1323, durant les étapes d’un modèle, une fraude peut alors être suspectée. Finally, it will be noted that from the moment when an element external to article 20 and preferably to an empty hand comes into contact with the validated article 20 or the tracked object or enters the interior zone 1323, during the steps of a model, fraud can then be suspected.
De même, si lors d’un enchaînement d’évènements, l’article 20 ou l’objet suivi sort du champ de vision du dispositif optique 1300, une fraude peut être suspectée. Likewise, if during a chain of events, Article 20 or the tracked object leaves the field of view of the optical device 1300, fraud may be suspected.
La présente invention tire avantageusement parti de ces modèles de comportement standard. En effet, au lieu de chercher à classifier un enchaînement d’évènements comme frauduleux, il est plus simple et rapide de comparer un enchaînement d’évènements à une série de modèles considérés comme non frauduleux. Dès lors qu’il y a un écart supérieur à un seuil prédéterminé entre le comportement évalué et un modèle de comportement standard, une fraude est suspectée. Si tel est le cas, c’est au tour d’un ou de plusieurs super-surveillants ou surveillants d’intervenir. The present invention advantageously takes advantage of these standard behavior models. Indeed, instead of seeking to classify a chain of events as fraudulent, it is easier and faster to compare a chain of events with a series of models considered as non-fraudulent. As soon as there is a difference greater than a predetermined threshold between the evaluated behavior and a standard behavior model, fraud is suspected. If this is the In this case, it is the turn of one or more super-supervisors or supervisors to intervene.
La figure 4 illustre, selon un mode de réalisation de la présente invention, une interface d’un poste de gestion 1600 et/ou d’un dispositif d’analyse portatif 1700. Cette interface est avantageusement tactile. Cette interface comprend une interface graphique astucieuse. FIG. 4 illustrates, according to one embodiment of the present invention, an interface of a management station 1600 and / or of a portable analysis device 1700. This interface is advantageously tactile. This interface includes a nifty graphical interface.
Cette interface graphique comprend une représentation graphique 21 de l’article 20, ainsi qu’optionnellement une description 22, de préférence courte et synthétique. Cette interface graphique comprend une description simple et synthétique du type potentiel de fraude 23. Cette interface graphique peut comprendre une pluralité d’images sous forme de vignettes 24 pouvant par exemple représenter des actions précises et pertinentes de l’utilisateur compte tenu du type de fraude estimée. Cette interface graphique comprend de préférence une vidéo, avantageusement temporellement compressée, telle que décrite précédemment. This graphical interface includes a graphical representation 21 of section 20, as well as optionally a description 22, preferably short and synthetic. This graphical interface includes a simple and synthetic description of the potential type of fraud 23. This graphical interface can include a plurality of images in the form of thumbnails 24 which may for example represent precise and relevant actions of the user taking into account the type of fraud. estimated. This graphical interface preferably comprises a video, advantageously temporally compressed, as described above.
De manière avantageuse, l’interface graphique comprend au moins un premier actionneur 26 et au moins un deuxième actionneur 27. Le premier actionneur 26 peut par exemple être configuré pour permettre au surveillant ou au super-surveillant d’indiquer qu’il n’y a pas de fraude. Le deuxième actionneur 27 peut par exemple être configuré pour permettre au surveillant ou au super-surveillant de valider qu’il y a une situation de fraude. Selon un mode de réalisation, l’interface graphique du poste de gestion 1600 peut comprendre un troisième actionneur, non illustré sur cette figure, configuré pour transmettre l’analyse des données au surveillant mobile au travers d’un dispositif d’analyse portatif 1700 de sorte à ce qu’il puisse se rendre sur place et valider ou non une situation de fraude. Advantageously, the graphical interface comprises at least a first actuator 26 and at least a second actuator 27. The first actuator 26 can for example be configured to allow the supervisor or the super-supervisor to indicate that there is no is no fraud. The second actuator 27 can for example be configured to allow the supervisor or super supervisor to validate that there is a fraud situation. According to one embodiment, the graphical interface of the management station 1600 may include a third actuator, not illustrated in this figure, configured to transmit the analysis of the data to the mobile supervisor through a portable analysis device 1700 of so that he can go there and validate or not a fraud situation.
De manière avantageuse, si l’utilisateur n’a aucune action signalée comme potentiellement frauduleuse par l’unité de traitement informatique 1400 et/ou aucune action signalée comme frauduleuse par le surveillant et/ou le super-surveillant, alors il peut payer sans aucune interruption, la finalité étant qu’un utilisateur qui ne fraude pas ne soit absolument pas dérangé durant sa session d’achat. Advantageously, if the user has no action reported as potentially fraudulent by the computer processing unit 1400 and / or no action reported as fraudulent by the supervisor and / or the super-supervisor, then he can pay without any interruption, the purpose being that a user who does not cheat is absolutely not disturbed during his shopping session.
De manière avantageuse, si une fraude est signalée par un surveillant et/ou un supersurveillant, alors : a. L’utilisateur en est notifié et attend la venue d’un surveillant ; et/ou b. La phase de paiement est interrompue dans l’attente de l’arrivée d’un surveillant ;Advantageously, if a fraud is reported by a supervisor and / or a super supervisor, then: a. The user is notified and awaits the arrival of a supervisor; and / or b. The payment phase is interrupted pending the arrival of a supervisor;
Dans toute situation, en cas de doute ou de fraude validée, un surveillant a la charge de se rendre auprès de l’utilisateur et de contrôler le ou les articles sur lesquels porte la probabilité de fraude. De la sorte le contrôle du surveillant est rapide et directement orienté vers un ou plusieurs articles parmi plusieurs autres. In any situation, in the event of doubt or validated fraud, a supervisor is responsible for going to the user and checking the item (s) to which the probability of fraud relates. In this way, the supervisor's control is rapid and directly oriented towards one or more items among several others.
Enfin, une fois que l’utilisateur initie la phase de paiement, si aucune action n’est signalée comme frauduleuse ou potentiellement frauduleuse par les surveillants et/ou les super-surveillants situés de préférence à distance, le paiement est validé. Finally, once the user initiates the payment phase, if no action is reported as fraudulent or potentially fraudulent by the supervisors and / or super-supervisors located preferably remotely, the payment is validated.
En plus d’une présentation astucieuse, et tel que mentionné précédemment, selon un mode de réalisation, la présente invention propose également une manière astucieuse de hiérarchiser les données et les situations de potentielles fraudes à traiter. In addition to a clever presentation, and as mentioned previously, according to one embodiment, the present invention also provides a clever way of prioritizing the data and the potential fraud situations to be dealt with.
Nous allons à présent lister des exemples non limitatifs de priorités prises en compte dans la présentation des informations aux surveillants et aux super surveillants : a. Les actions d’un utilisateur en mode paiement doivent être montrées en priorité absolue, c’est-à-dire qu’une potentielle situation de fraude impliquant un utilisateur en phase de paiement est prioritaire ; b. Plus la session d’achat d’un utilisateur dure dans le temps, plus ses actions sont prioritaires, car ses probabilités de finir ses achats augmentent. c. Plus la probabilité de fraude d’une action est basse, plus elle est prioritaire, car les utilisateurs qui ne fraudent pas ne doivent pas attendre ou être ralentis pour payer. d. De la même façon, un utilisateur qui a très peu d’actions suspectes sera contrôlé en priorité. We will now list non-limiting examples of priorities taken into account in the presentation of information to supervisors and super supervisors: at. The actions of a user in payment mode must be shown in absolute priority, that is to say that a potential fraud situation involving a user in payment phase takes priority; b. The longer a user's shopping session lasts, the more priority their actions take, as their probabilities of completing their purchases increase. vs. The lower the probability of an action being cheated, the higher the priority is, because non-cheating users don't have to wait or be slowed down to pay. d. Likewise, a user who has very few suspicious actions will be checked first.
Ainsi, la présente invention croise astucieusement plusieurs données pour évaluer une probabilité de fraude, ensuite ces données sont astucieusement conformées et chaque situation hiérarchisée pour permettre une fluidité à l’expérience utilisateur et une réactivité élevée des surveillants et/ou des super-surveillants. Thus, the present invention cleverly crosses several data to assess a probability of fraud, then this data is cleverly conformed and each situation prioritized to allow a fluidity of the user experience and a high reactivity of the supervisors and / or super-supervisors.
Nous allons à présent préciser un point de l’analyse des données que met en oeuvre la présente invention. En effet, nous avons précédemment indiqué que la pluralité d’images collectées est analysée. We will now clarify a point in the data analysis that the present invention implements. Indeed, we have previously indicated that the plurality of collected images is analyzed.
Ainsi, selon un mode de réalisation préféré, le traitement de la pluralité de données comprend un traitement d’une pluralité d’images collectées, pouvant comprendre des images bidimensionnelles, de préférence en couleur, et des images tridimensionnelles. Ce traitement est avantageusement réalisé par l’unité de traitement informatique 1400 qui est de préférence embarquée dans un élément mobile tel que le chariot 10 décrit précédemment. Thus, according to a preferred embodiment, processing the plurality of data comprises processing a plurality of collected images, which may include two-dimensional images, preferably in color, and three-dimensional images. This processing is advantageously carried out by the computer processing unit 1400 which is preferably on board a mobile element such as the carriage 10 described above.
Selon un mode de réalisation, le chariot 10, du moins l’unité de traitement informatique 1400, doit faire de l’analyse de scènes acquises par plusieurs capteurs; une caméra dite bidimensionnelle 1310 avantageusement grand-angle; une caméra 3D dite stéréoscopique 1320; un gyroscope; un dispositif de mesure 1200; un dispositif d’identification 1100; etc... According to one embodiment, the carriage 10, at least the computer processing unit 1400, must analyze scenes acquired by several sensors; a so-called two-dimensional camera 1310, advantageously wide-angle; a so-called stereoscopic 3D camera 1320; a gyroscope; a measuring device 1200; an identification device 1100; etc ...
L’analyse de ces scènes demande généralement beaucoup de ressources système, donc de puissance informatique, et donc d’énergie. Toutefois, le système 1000 selon la présente invention est astucieusement conçu pour faire ce type de traitement avec peu d’énergie, peu de ressources système et rapidement. Analyzing these scenes generally requires a lot of system resources, and therefore computing power, and therefore energy. However, the system 1000 according to the present invention is cleverly designed to do this type of processing with little power, few system resources, and quickly.
En effet, selon un mode de réalisation, ce traitement peut être déporté dans un serveur informatique afin de réduire la consommation électrique, mais aussi les ressources système utilisées par le chariot 10. Indeed, according to one embodiment, this processing can be deported in a computer server in order to reduce the power consumption, but also the system resources used by the carriage 10.
Selon un autre mode de réalisation, et en particulier lorsque le chariot 10 n’est pas connecté à un serveur informatique, le traitement doit se faire directement avec les ressources système et l’énergie disponible dans le chariot 10. According to another embodiment, and in particular when the cart 10 is not connected to a computer server, the processing must be done directly with the system resources and the energy available in the cart 10.
La présente invention est conçue de sorte à limiter les coûts et l’énergie d’une solution antifraude. A cette fin, l’analyse des scènes n’est pas nécessairement une priorité au niveau du temps, c’est-à-dire que cette analyse n’a pas besoin d’être réalisée en temps réel. C’est, entre autres choses, ce en quoi, la présente invention propose une solution astucieuse. The present invention is designed to limit the cost and energy of an anti-fraud solution. To this end, scene analysis is not necessarily a time priority, that is, this analysis does not need to be performed in real time. This, among other things, is where the present invention provides a clever solution.
Selon un mode de réalisation, le procédé de la présente invention comprend une étape d’enregistrement des scènes par tous les capteurs sur une vidéo, afin de les analyser a posteriori.According to one embodiment, the method of the present invention comprises a step recording of the scenes by all the sensors on a video, in order to analyze them a posteriori.
De préférence, sous certaines conditions, l’enregistrement vidéo bidimensionnel et tridimensionnel commence, c’est-à-dire la collecte d’image bidimensionnelle et tridimensionnelle, quand il y a un objet dans une zone de l’espace défini précédemment, par exemple dans la zone d’entrée 1324 ou de scan 1321 , voire encore dans la zone extérieure 1322. Preferably, under certain conditions, two-dimensional and three-dimensional video recording begins, i.e. two-dimensional and three-dimensional image collection, when there is an object in an area of the previously defined space, for example in the entry zone 1324 or scan zone 1321, or even in the external zone 1322.
Selon un mode de réalisation, les données mesurées ou collectées par les autres capteurs sont enregistrées au moment précis de chaque évènement. According to one embodiment, the data measured or collected by the other sensors are recorded at the precise moment of each event.
De manière avantageuse, chaque évènement est temporellement incrusté via par exemple des métadonnées dans la vidéo. Ainsi, par exemple, chaque scan et chaque variation de poids conséquente sont enregistrés et notés dans la vidéo. Advantageously, each event is temporally embedded via, for example, metadata in the video. So, for example, every scan and every consequent change in weight is recorded and noted in the video.
De manière avantageuse, la présente invention est configurée pour générer une frise temporelle comprenant des évènements pouvant être pris parmi : images 2D, images 3D, identification, variation de poids, et plus généralement toute mesure par l’un des capteurs. Cette frise permet ainsi de représenter chronologiquement les évènements survenus. Advantageously, the present invention is configured to generate a timeline comprising events that can be taken from: 2D images, 3D images, identification, variation in weight, and more generally any measurement by one of the sensors. This frieze thus makes it possible to chronologically represent the events that have occurred.
Cette frise temporelle enrichie permet ainsi un gain de temps dans l’analyse d’une situation potentielle de fraude. This enriched timeline thus saves time in the analysis of a potential fraud situation.
Avantageusement, l’enregistrement de cette vidéo est défini par la captation de point dans un espace donné. Advantageously, the recording of this video is defined by the point capture in a given space.
Selon un mode de réalisation, lorsque l’enregistrement démarre, il prend en compte les X secondes précédentes afin de disposer d’informations liées à la scène avant l’évènement ayant déclenché l’enregistrement, c’est-à-dire que l’enregistrement vidéo, autrement appelé la vidéo temporellement compressée, début avec l’action ayant déclenché son enregistrement. Pour cela, et tel que présenté précédemment, le système enregistre en permanence une durée prédéterminée, par exemple 5 secondes, qu’il supprime au fur et à mesure. Ainsi, il enregistre 5 secondes de données par exemple et les efface au bout des 5 secondes sauf si un évènement est détecté impliquant le démarrage de l’enregistrement pour analyse a postériorité, les images enregistrées avant cet évènement sont alors prise en compte dans la génération de la vidéo temporellement compressée. According to one embodiment, when the recording starts, it takes into account the previous X seconds in order to have information linked to the scene before the event that triggered the recording, that is to say that the video recording, otherwise called temporally compressed video, begins with the action that triggered its recording. For this, and as presented above, the system continuously records a predetermined duration, for example 5 seconds, which it deletes as it goes. Thus, it records 5 seconds of data for example and erases them after 5 seconds unless an event is detected involving the start of recording for subsequent analysis, the images recorded before this event are then taken into account in the generation. time-compressed video.
Selon un mode de réalisation, le démarrage de cet enregistrement est assujetti à un changement d’état d’au moins un capteur pris parmi l’ensemble des capteurs du système. Pour rappel, les capteurs du système sont pris parmi au moins : le dispositif d’identification 1100, le dispositif de mesure 1200, le dispositif optique 1300, un capteur de mouvement, un gyroscope, un capteur de positionnement spatial, un accéléromètre, ... According to one embodiment, the start of this recording is subject to a change of state of at least one sensor taken from among all the sensors of the system. As a reminder, the sensors of the system are taken from at least: the identification device 1100, the measuring device 1200, the optical device 1300, a movement sensor, a gyroscope, a spatial positioning sensor, an accelerometer, .. .
De manière avantageuse, le capteur peut être un capteur virtuel, c’est-à-dire un évènement virtuel comme le passage d’un nuage de points d’une zone spatiale à une autre zone spatiale. Par exemple, lorsque l’article 20 franchit la zone d’entrée 1324, ce franchissement peut être considéré comme un changement d’état, l’analyse de la scène 3D jouant donc le rôle de capteur virtuel. Advantageously, the sensor can be a virtual sensor, that is to say a virtual event such as the passage of a point cloud from one spatial area to another spatial area. For example, when section 20 crosses entry area 1324, this crossing can be viewed as a change of state, with the analysis of the 3D scene playing the role of a virtual sensor.
Ainsi, lorsqu’un évènement est détecté, capté ou encore mesuré par un des capteurs du système, la réalisation dudit enregistrement s’effectue, de préférence via la collecte d’une pluralité d’images et de données issues des divers capteurs. On notera que de préférence, toutes les mesures de chaque capteur sont enregistrées. Par exemple, lorsqu’un scan est en cours, qu’une augmentation du poids du contenant est attendue en conséquence ou lors d’une annulation du scan, ou lorsque le poids a varié et que le système attend de retourner dans un état stable, ce sont des exemples d’évènements donnant lieu au démarrage de l’enregistrement des données. Thus, when an event is detected, picked up or even measured by one of the sensors of the system, said recording is carried out, preferably by collecting a plurality of images and data from the various sensors. It will be noted that preferably, all the measurements of each sensor are recorded. For example, when a scan is in progress, an increase in container weight is expected as a result or when the scan is canceled, or when the weight has changed and the system is waiting to return to a stable state, these are examples of events giving rise to the start of data recording.
Selon un mode de réalisation, un premier enregistrement peut être lancé lorsque les conditions précédemment exposées sont présentes, puis, s’il y a une absence d’actions de l’utilisateur, par exemple au-delà d’un temps prédéterminé, alors le premier enregistrement s’arrête. Et un deuxième enregistrement démarre dès que l’utilisateur fait une nouvelle action. Toutefois, l’analyse finale comprend l’analyse du premier enregistrement et du deuxième enregistrement quand bien même cette analyse se fait sur une frise temporelle comprenant un ou plusieurs trous temporels, c’est-à-dire une ou des périodes non enregistrées car exemptes d’actions. According to one embodiment, a first recording can be started when the conditions set out above are present, then, if there is an absence of user actions, for example beyond a predetermined time, then the first recording stops. And a second recording starts as soon as the user takes a new action. However, the final analysis includes the analysis of the first recording and of the second recording even though this analysis is carried out on a timeline comprising one or more time gaps, that is to say one or more periods not recorded because they are exempt. actions.
Par exemple, lorsqu’un utilisateur pose un article 20 sans le scanner, l’enregistrement va commencer, mais si l’utilisateur part et ne fait plus aucune action au bout de 10 secondes par exemple, l’enregistrement va s'arrêter, et un nouvel enregistrement débutera dès qu’une action sera détectée. Cependant l’analyse va être faite en considérant les deux enregistrements, car l’analyse n’est faite que lorsque le chariot 10 redevient stable, elle aura cependant un trou dans l’enregistrement des données. For example, when a user places an item 20 without scanning it, the recording will start, but if the user leaves and does not take any action after 10 seconds for example, the recording will stop, and a new recording will start as soon as an action is detected. However the analysis will be done considering the two records, because the analysis is only done when the carriage 10 becomes stable again, it will however have a hole in the data recording.
Ainsi, de manière avantageuse, une analyse peut porter sur plusieurs enregistrements. Thus, advantageously, an analysis can relate to several records.
Et de préférence, un même enregistrement peut être utilisé pour plusieurs analyses différentes. And preferably, the same recording can be used for several different analyzes.
Le démarrage de l’enregistrement peut aussi être lancé par la captation tridimensionnelle du franchissement de la zone d’entrée 1324 du chariot 10 par exemple. The start of the recording can also be initiated by the three-dimensional capture of the crossing of the entry zone 1324 of the carriage 10, for example.
On définit un état stable lorsque l’ensemble des capteurs ne détecte pas une variation de mesure supérieure à un seuil prédéterminé, ce seuil pouvant être fonction de chaque capteur. Une situation instable est donc définie comme correspondant à la détection d’une variation de mesure par au moins l’un des capteurs supérieure audit seuil prédéterminé, de préférence propre audit capteur. On notera que le scan d’un article est considéré comme un état instable par la présente invention. A stable state is defined when all the sensors do not detect a measurement variation greater than a predetermined threshold, this threshold possibly being a function of each sensor. An unstable situation is therefore defined as corresponding to the detection of a measurement variation by at least one of the sensors above said predetermined threshold, preferably specific to said sensor. Note that scanning an item is considered an unstable state by the present invention.
A partir du moment où il y a eu un passage dans un état instable, tous les enregistrements vidéo, ainsi que les acquisitions des capteurs compris dans la vidéo temporellement compressée de cet état instable sont analysés a posteriori. En effet, lorsqu’un état instable est détecté, les ressources système sont prioritairement dédiées à la collecte de données. Une fois cet état instable terminé, les données collectées sont traitées, c’est-à-dire que la vidéo temporellement compressée, comprenant les acquisitions des différents capteurs, est analysée par l’unité de traitement informatique 1400. Cela permet ainsi de répartir intelligemment les ressources système limitées entre la collecte de données et leurs analyses. Cela permet de conserver des coûts de production et une consommation énergétique faibles. From the moment there has been a passage into an unstable state, all the video recordings, as well as the acquisitions of the sensors included in the temporally compressed video of this unstable state are analyzed a posteriori. Indeed, when an unstable state is detected, system resources are primarily dedicated to data collection. Once this unstable state is over, the collected data is processed, that is to say that the temporally compressed video, comprising the acquisitions of the various sensors, is analyzed by the computer processing unit 1400. This thus makes it possible to distribute intelligently limited system resources between data collection and analysis. This keeps production costs and energy consumption low.
Nous allons à présent décrire un exemple de mise en œuvre de l’analyse optique que propose la présente invention. We will now describe an example of implementation of the optical analysis provided by the present invention.
De manière particulièrement astucieuse, et tel que mentionné précédemment, le suivi de l’article 20 et/ou de la main ou des mains de l’utilisateur se déclenche suite au scan dudit article 20. De même, le suivi d’un article 20 peut se déclencher lorsque l’utilisateur sort un article du contenant 11 compte tenu de la détection du changement de poids par le dispositif de mesure 1200. In a particularly clever way, and as mentioned previously, the tracking of article 20 and / or of the user's hand or hands is triggered following the scanning of said article 20. Likewise, the tracking of an article 20 can be triggered when the user takes out an article from the container 11, taking into account the detection of the change in weight by the measuring device 1200.
De préférence, après le scan d’un article 20, la forme tridimensionnelle de l’article 20, appelé également objet, est reconstituée, de préférence en deux parties, cette forme tridimensionnelle sera appelée « forme validée ». La première partie de cette forme validée est le bout de la forme que nous appellerons le “globe” qui représente l’article et la main. La deuxième partie de cette forme est le bras et potentiellement une partie du corps de l’utilisateur. Preferably, after scanning an article 20, the three-dimensional shape of the article 20, also called an object, is reconstituted, preferably in two parts, this three-dimensional shape will be called "validated shape". The first part of this validated shape is the end of the shape that we will call the “globe” which represents the article and the hand. The second part of this shape is the arm and potentially part of the user's body.
Nous allons décrire le fonctionnement de cette analyse optique en prenant l’exemple d’une personne achetant un article 20. Cette analyse optique permet l’identification de ce que nous avons appelé une anomalie de manipulation. We will describe how this optical analysis works using the example of a person purchasing an item 20. This optical analysis allows the identification of what we have called a handling anomaly.
Une fois le scan réalisé, la forme présente dans la zone de scan 1321 devient la forme validée et le globe en est le bout. Le globe doit passer de la zone de scan 1321 à la zone extérieure 1322, puis passer par la zone d'entrée 1324 et disparaître dans la zone intérieure 1323. Ensuite l’article est censé être déposé dans le contenant 11 , et donc une variation de poids doit être mesurée, enfin le globe sort par la zone d’entrée. Le globe peut aussi passer directement de la zone de scan 1321 à la zone d'entrée 1324. Once the scan has been carried out, the shape present in the scan zone 1321 becomes the validated shape and the globe is the end of it. The globe must pass from the scan zone 1321 to the external zone 1322, then pass through the entry zone 1324 and disappear into the internal zone 1323. Then the article is supposed to be deposited in the container 11, and therefore a variation of weight must be measured, finally the globe comes out through the entry area. The globe can also pass directly from scan area 1321 to entry area 1324.
Ensuite, une analyse bidimensionnelle des images de la caméra 2D 1310 au travers d’un réseau de neurones est réalisée afin de vérifier que le globe qui sort du contenant après le dépôt de l’article 20 dans le contenant 11 correspond bien à une main vide. Si l’analyse détecte une main vide passant par la zone d’entrée 1324 et en direction de la zone extérieure 1322, alors il n’y a pas de fraude. La même situation s’applique si l’analyse détecte une main vide après avoir mesuré une augmentation de poids cohérente avec l’identifiant de l’article 20, alors il n’y a pas de fraude. Then, a two-dimensional analysis of the images of the 2D camera 1310 through a neural network is carried out in order to verify that the globe which comes out of the container after the deposit of the article 20 in the container 11 does indeed correspond to an empty hand. . If the scan detects an empty hand passing through the entry area 1324 and towards the outer area 1322, then there is no fraud. The same situation applies if the scan detects an empty hand after measuring an increase in weight consistent with the item ID 20, then there is no fraud.
En revanche, à l’analyse bidimensionnelle des images de la caméra 2D 1310, si le globe sortant est détecté comme étant une “main pleine” par le réseau de neurones, cela signifie que la main sort pleine, donc qu’il y a une potentielle fraude. On the other hand, in the two-dimensional analysis of the images of the 2D 1310 camera, if the outgoing globe is detected as being a “full hand” by the neural network, it means that the hand comes out full, therefore that there is a potential fraud.
Rappelons ici que plusieurs actions peuvent laisser penser qu’il y a eu une fraude après un scan d’ajout d’un article 20, comme par exemple, si une autre forme inconnue s’approche trop près de la forme validée (pour échanger l’article par exemple), ou si une forme obstrue la caméra ou si une forme inconnue rentre dans la zone d’entrée 1324. Let us recall here that several actions can lead to think that there was a fraud after an addition scan of an article 20, such as for example, if another unknown shape approaches too close to the validated form (to exchange the 'article for example), or if a shape obstructs the camera or if an unknown shape fits into the entry area 1324.
De manière avantageuse, lors de l’analyse bidimensionnelle, si la forme inconnue est identifiée comme étant une main vide, la probabilité de fraude peut être nuancée, voire nulle. Advantageously, during the two-dimensional analysis, if the unknown shape is identified as being an empty hand, the probability of fraud can be moderate, or even zero.
De manière astucieuse, si le dispositif de mesure 1200 détecte une action de dépôt, c’est-à- dire une augmentation du poids du contenant 11 , alors que la forme validée est toujours dans la zone extérieure 1322, on peut en déduire une forte probabilité de fraude via la détection d’une anomalie de manipulation. Cleverly, if the measuring device 1200 detects a deposition action, that is to say an increase in the weight of the container 11, while the validated shape is still in the outer zone 1322, we can deduce a strong probability of fraud via the detection of a handling anomaly.
Dans le cas d’un retrait, le scénario sans fraude est le même, mais dans l’autre sens, c’est-à- dire qu’une main identifiée comme vide récupère un article 20 dont le poids est soustrait à celui du contenant 11 et cet article 20 est ensuite scanné, la correspondance entre le poids prédéterminé et le poids mesuré en moins confirme l’absence de fraude par exemple. A l’inverse, si un poids est retiré sans scan à la suite ou bien si le poids de l’article 20 scanné ne correspond pas au poids retiré, la probabilité de fraude croît. In the case of a withdrawal, the scenario without fraud is the same, but in the other direction, i.e. a hand identified as empty recovers an item 20 whose weight is subtracted from that of the container. 11 and this article 20 is then scanned, the correspondence between the predetermined weight and the less measured weight confirms the absence of fraud, for example. Conversely, if a weight is removed without a subsequent scan or if the weight of the scanned item 20 does not correspond to the weight removed, the probability of fraud increases.
Dans le cas où un article 20 non scanné est déposé dans le contenant 11 , le système 1000 va détecter une main pleine via l’analyse bidimensionnelle, cette main franchissant la zone d’entrée 1324, voire intérieure 1323, et le dispositif de mesure 1200 va détecter une augmentation du poids du contenant 11 et de son contenu. Ainsi, aucun article 20 n’ayant été scanné en amont de cette augmentation de poids, la probabilité d’une anomalie de poids, c’est-à-dire d’une fraude, est élevée. Dans le cas où une main pleine est détectée franchissant la zone d’entrée 1324 par exemple, voire la zone intérieure 1323 sans scan préalable, une anomalie de manipulation est détectée, et la probabilité de fraude augmente. In the event that an unscanned article 20 is placed in the container 11, the system 1000 will detect a full hand via the two-dimensional analysis, this hand crossing the entry zone 1324, or even interior 1323, and the measuring device 1200 will detect an increase in the weight of the container 11 and its contents. Thus, since no article 20 has been scanned prior to this weight increase, the probability of a weight anomaly, that is to say of a fraud, is high. In the event that a full hand is detected crossing the entrance area 1324 for example, or even the interior area 1323 without prior scanning, a handling anomaly is detected, and the probability of fraud increases.
De même, si par exemple le dispositif de mesure 1200 détecte une augmentation de poids, c’est qu’une action de dépôt a été effectuée, et si aucun scan n’a été effectué, la probabilité de fraude augmente. Likewise, if for example the measuring device 1200 detects an increase in weight, a deposit action has been taken, and if no scan has been performed, the probability of fraud increases.
Dans le cas où une main vide rentre, puis qu’un article 20 est retiré et qu’une main pleine sort de la zone intérieure 1323, la forme sortie devient ce que nous appellerons une forme traquée, c’est- à-dire la forme suivie par le dispositif optique 1300. In the event that an empty hand comes in, and then an item 20 is removed and a full hand exits the inner area 1323, the form that came out becomes what we will call a stalked form, i.e. form followed by the optical device 1300.
Si la forme traquée ne sort pas du champ d’observation du dispositif optique 1300 et re-rentre dans la zone intérieure 1323 sans qu’une forme inconnue l’ait approché, sans rentrer dans la zone d’entrée 1324 ou sans que le dispositif optique 1300 ne soit obstrué, il n’y a pas d’anomalie de manipulation et la probabilité de fraude est faible. If the tracked shape does not leave the field of observation of the optical device 1300 and re-enters the interior zone 1323 without an unknown shape approaching it, without entering the entry zone 1324 or without the device optics 1300 is not obstructed, there is no handling anomaly and the probability of fraud is low.
De préférence, cette action étant tout de même suspecte, la présente invention prévoit une comparaison bidimensionnelle de l’article 20 sorti et de l’article 20 rentré. Preferably, since this action is still suspect, the present invention provides for a two-dimensional comparison of the article 20 taken out and the article 20 withdrawn.
Dans le cas où une forme traquée, ou bien encore une forme validée, sort du champ du dispositif optique 1300, le système 1000 a pour fonction de retrouver cette forme lorsque la forme rerentre dans le champ d’observation du dispositif optique 1300. In the event that a tracked shape, or even a validated shape, leaves the field of the optical device 1300, the function of the system 1000 is to find this shape when the shape enters the field of observation of the optical device 1300.
De manière avantageuse, le système 1000 comprend une caméra bidimensionnelle 1310 dite « grand-angle », c’est-à-dire présentant un angle optique supérieure à 100 degrés. Cette caméra 2D 1310 est configurée pour en outre assurer cette fonction de suivi. Advantageously, the system 1000 comprises a two-dimensional camera 1310 called "wide-angle", that is to say having an optical angle greater than 100 degrees. This 1310 2D camera is configured to additionally provide this tracking function.
De manière avantageuse, le dispositif optique comprend une caméra 2d additionnelle configurée pour coopérer avec la caméra 3D. En effet, la caméra 2D additionnelle est configurée pour collecter des images bidimensionnelles de la scène tridimensionnelle. Advantageously, the optical device comprises an additional 2d camera configured to cooperate with the 3D camera. Indeed, the additional 2D camera is configured to collect two-dimensional images of the three-dimensional scene.
Selon un mode de réalisation, le dispositif optique 1300 comprend une pluralité de caméra 3D 1320 et de caméra 2D 1310, voire de caméra 2D additionnelles. According to one embodiment, the optical device 1300 comprises a plurality of 3D cameras 1320 and 2D cameras 1310, or even additional 2D cameras.
Ainsi, lorsqu'une forme est traquée, par exemple via la caméra stéréoscopique 1320, son aspect bidimensionnel observé via la caméra 2D additionnelle est “appris” par entraînement automatique d’un réseau de neurones via une technique du type « machine learning », terme anglophone indiquant un entraînement automatique. Simultanément, sa position sur la caméra tridimensionnelle 1320 est synchronisée sur la caméra bidimensionnelle 1310. Thus, when a shape is tracked, for example via the stereoscopic camera 1320, its two-dimensional aspect observed via the additional 2D camera is “learned” by automatic training of a neural network via a technique of the “machine learning” type, term English speaking indicating automatic training. Simultaneously, its position on the three-dimensional camera 1320 is synchronized with the two-dimensional camera 1310.
L’objectif étant que lorsque que l’objet ou l’article 20 sort du champ de la caméra 3D 1320, la caméra 2D 1310 “connaisse” son aspect, sa forme géométrique, et sa position en sortie afin de continuer à traquer l’objet sur la caméra 2D 1310. Ainsi, la caméra tridimensionnelle 1320 permet un apprentissage du système 1000 de la forme de l’article 20 traquée et un suivi de sa position dans l’espace, cette forme apprise et cette position connue sont alors transmises à la caméra bidimensionnelle 1310 pour un suivi sur une plus grande zone, dès lors que l’article 20 sort de la zone de surveillance de la caméra tridimensionnelle 1320. The objective being that when the object or article 20 leaves the field of the 3D camera 1320, the 2D camera 1310 “knows” its aspect, its geometric shape, and its exit position in order to continue tracking the object on 2D camera 1310. Thus, the three-dimensional camera 1320 allows the system 1000 to learn the shape of the tracked article 20 and to track its position in space, this learned shape and this known position are then transmitted to the two-dimensional camera 1310 for monitoring. over a larger area, as soon as the article 20 leaves the surveillance area of the three-dimensional camera 1320.
Le but étant que lorsque l’article 20, ou plus généralement l’objet, traqué re-rentre dans le champ de la caméra tridimensionnelle 1320, la caméra 2D 1310 puisse lui communiquer sa position ainsi que son aspect en retour, afin que la caméra 3D 1320 puisse reprendre son suivi, voire même améliorer son apprentissage par exemple. The goal being that when the tracked article 20, or more generally the object, re-enters the field of the three-dimensional camera 1320, the 2D camera 1310 can communicate its position as well as its aspect in return, so that the camera 3D 1320 can resume monitoring, or even improve learning, for example.
Selon un mode de réalisation, une analyse peut être faite sur la caméra 2D 1310 afin de savoir si une main pleine ou une main vide a approché l’article 20, ou l’objet, traqué. On utilise indépendamment le terme article ou objet pour définir l’article 20. In one embodiment, an analysis can be made on the 2D camera 1310 to determine whether a full hand or an empty hand has approached the item 20, or the object, being tracked. The term article or object is used independently to define article 20.
Dans le cas où une main a approché l’article 20 traqué, la probabilité de fraude augmente.In the event that a hand has approached the hunted Item 20, the likelihood of cheating increases.
Selon un mode de réalisation, la présente invention comprend un mode de double vérification. Ce mode est à mettre en place lorsqu'il y a un doute concernant une fraude. Ce mode consiste à transmettre une demande à l’utilisateur de scanner une nouvelle fois un article 20 qui est censé être dans le contenant 11 , quelques minutes après qu’il l’ait inséré ou durant son paiement. According to one embodiment, the present invention comprises a double check mode. This mode is to be implemented when there is a doubt concerning a fraud. This mode consists of transmitting a request to the user to re-scan an item 20 which is supposed to be in container 11, a few minutes after he has inserted it or during payment.
Dans le cas où il n’y a pas fraude, le déroulement normal doit être qu’une main vide rentre dans le contenant 11 , qu’un poids correspondant à l'article 20 demandé doit être retiré par la main pleine qui doit sortir l’article 20, le scanner ; puis l’article 20 est ensuite remis en place, le poids mesuré du contenant 11 et de son contenu doit donc remonter et enfin une main vide doit sortir. S’il ne se passe pas cela, une fraude peut être suspectée, la probabilité de fraude peut alors croître. In the event that there is no fraud, the normal procedure must be that an empty hand enters the container 11, that a weight corresponding to the requested article 20 must be removed by the full hand which must come out. article 20, the scanner; then the article 20 is then put back in place, the measured weight of the container 11 and its contents must therefore go up and finally an empty hand must come out. If this does not happen, fraud may be suspected and the likelihood of fraud may increase.
Il existe une technique pour contrer les systèmes antifraudes de l’art antérieur se basant uniquement sur la mesure du poids. Cela consiste à remplacer l’étiquette, plus généralement le code- barres de l’article 20. Pour cela, par exemple, l’article 20 est pesé en magasin sur une balance pour fruit et légumes, puis l’étiquette correspondant à un fruit par exemple est collée sur l’article 20. Cette étiquette indique le bon poids, mais pas le bon article 20, au niveau de la caisse automatique par exemple, l’utilisateur va scanner l’article 20, et le poser sur une balance, le système de l’art antérieur n’a aucun moyen de détecter la fraude se produisant. There is a technique for countering prior art anti-fraud systems based solely on weight measurement. This consists in replacing the label, more generally the barcode of article 20. For this, for example, article 20 is weighed in store on a scale for fruit and vegetables, then the label corresponding to a fruit. for example is stuck on article 20. This label indicates the correct weight, but not the correct article 20, at the level of the automatic cash register for example, the user will scan article 20, and place it on a scale, the prior art system has no way of detecting fraud occurring.
La présente invention propose une solution efficace à ce type de fraude. En effet, pour déjouer ce type de fraude, la présente invention propose de prendre des photos en direction de l’article 20 sous différents angles. Lors d’un scan, ces photos ont un double usage : a. Dans un premier temps, ces photos servent à alimenter un modèle de réseau de neurones liés à l’identifiant de l’article 20, par exemple à son code-barres. Ce réseau de neurones est configuré ensuite pour indiquer si l’article 20 est présent sur une image prise par le dispositif optique 1300 ou non. Cela se fait en comparant la photo venant d’être prise et toutes les autres photos prises lors d’un scan pour un même article 20 par exemple. b. Dans un deuxième temps, les photos passent dans le modèle de réseau de neurones et la sortie dudit réseau est une probabilité de conformité entre l’article 20 scanné et l’article 20 attendu par rapport à son identifiant, dans le but d'estimer si le code-barres scanné correspond bien à l'article 20 de la photo. The present invention provides an effective solution to this type of fraud. Indeed, to thwart this type of fraud, the present invention proposes to take pictures towards the article 20 from different angles. During a scan, these photos have a dual purpose: a. Initially, these photos are used to feed a neural network model linked to the identifier of article 20, for example to its barcode. This neural network is then configured to indicate whether item 20 is present on an image taken by optical device 1300 or not. This is done by comparing the photo just taken and all the other photos taken during a scan for the same item 20 for example. b. Secondly, the photos pass through the neural network model and the output of said network is a probability of conformity between the scanned article 20 and article 20 expected in relation to its identifier, in order to assess whether the scanned barcode corresponds to article 20 of the photo.
Selon un mode de réalisation, l’échange d’étiquette se faisant le plus souvent avec des fruits et légumes, le réseau de neurones est entraîné à identifier un sachet de fruits et/ou de légumes, et si lors d’un scan d’un code-barres “fruits et légumes”, le dispositif optique 1300 ne reconnaît pas un sachet de ce type, alors une fraude est suspectée. According to one embodiment, the tag exchange being done most often with fruits and vegetables, the neural network is trained to identify a bag of fruits and / or vegetables, and if during a scan of a “fruits and vegetables” barcode, the optical device 1300 does not recognize a bag of this type, then a fraud is suspected.
De manière particulièrement astucieuse et contre intuitive, la base de données peut comprendre un score par article correspondant au fait que c’est un article pas cher et donc régulièrement utilisé pour réaliser des fraudes, soit en utilisant l’étiquette d’un tel article, soit son emballage par exemple non limitatif. Aussi, de préférence, ces articles bon marché présentent un score de fraude plus élevé que des articles de luxe. In a particularly clever and counterintuitive manner, the database can include a score per article corresponding to the fact that it is a cheap article and therefore regularly used to carry out fraud, either by using the label of such an article, or its packaging for example non-limiting. Also, preferably, these inexpensive items have a higher fraud score than luxury items.
Selon un autre mode de réalisation, les articles de luxe présentent un score de fraude plus élevé que les autres articles. According to another embodiment, the luxury items have a higher fraud score than the other items.
On notera que lorsque la probabilité de fraude dépasse un seuil prédéterminé, une fraude est considérée, et c’est alors au super-surveillant et/ou au surveillant d’intervenir en confirmant la fraude, ou en l’infirmant et/ou en se déplaçant auprès de l’utilisateur. It will be noted that when the probability of fraud exceeds a predetermined threshold, a fraud is considered, and it is then for the super-supervisor and / or the supervisor to intervene by confirming the fraud, or by denying it and / or by taking action. moving from the user.
Nous allons à présente décrire la figure 5 qui représente schématiquement le procédé d’enregistrement de données et de traitement de celles-ci. We will now describe Figure 5 which schematically shows the process of recording data and processing them.
Cette figure illustre deux parties d’un algorithme de détection de fraude selon un mode de réalisation de la présente invention. This figure illustrates two parts of a fraud detection algorithm according to an embodiment of the present invention.
Nous allons le décrire. L’enregistrement 110 des données commence 120 dès lors qu’un objet est détecté par le dispositif optique, de préférence par la caméra stéréoscopique et avantageusement lorsque l’objet détecté se situe dans une des zones de l’espace tridimensionnel. Si aucun objet n’est détecté 122, l’enregistrement reste en attente. We will describe it. The recording 110 of the data begins 120 when an object is detected by the optical device, preferably by the stereoscopic camera and advantageously when the detected object is located in one of the zones of three-dimensional space. If no object is detected 122, recording remains pending.
S’il y a détection 121 , alors les X secondes précédentes sont gardées en mémoire 130, 131 et l’enregistrement se poursuit à la suite de celles-ci. Si un objet est toujours présent dans une des zones 140, alors 142, l’enregistrement se poursuit 143. If there is detection 121, then the previous X seconds are kept in memory 130, 131 and recording continues thereafter. If an object is still present in one of the zones 140, then 142, recording continues 143.
S’il n’y a plus d’objet dans l’espace tridimensionnel 141 , X secondes sont attendues 150 et ajoutées 151 à la fin de l’enregistrement lors de sa finalisation 146. L’enregistrement s’arrête alors 160. If there are no more objects in three-dimensional space 141, X seconds are expected 150 and appended 151 to the end of the recording when it is finalized 146. The recording then stops 160.
Une fois l’enregistrement créé, il est transmis 147 pour analyse. Once the record is created, it is forwarded 147 for analysis.
L’analyse 210 est en attente tant qu’un enregistrement est en cours, Ainsi, le système surveille si une identification est en cours 220 : oui 221 , non 222, si une mesure de poids est en cours 225 : oui 223, non 222. Analysis 210 is pending as long as a recording is in progress, So the system monitors whether an identification is in progress 220: yes 221, no 222, if a weight measurement is in progress 225: yes 223, no 222 .
Lorsqu’une identification est en cours et/ou que le poids est instable, le système se prépare 230 à analyser un enregistrement. When an identification is in progress and / or the weight is unstable, the system prepares 230 to analyze a record.
Si les mesures sont terminées, c’est-à-dire si l’état du système est de nouveau stable 240, alors on poursuit 241 avec la définition 250 de la fin de l’enregistrement à analyser, autrement 242 on reste en attente d’une situation stable pour procéder à l’analyse. Pour rappel, une situation est jugée instable tant que des variations dans les mesures des capteurs sont détectées. Une fois le système stable, l’analyse 260 de l’enregistrement débute. Cela permet de n’utiliser le peu de ressource système que lorsque la phase de collecte de données est terminée. If the measurements are finished, that is to say if the state of the system is stable again 240, then we continue 241 with the definition 250 of the end of the recording to be analyzed, otherwise 242 we remain waiting for 'a stable situation to proceed with the analysis. As a reminder, a situation is considered unstable as long as variations in the measurements of the sensors are detected. Once the system is stable, analysis 260 of the recording begins. This makes it possible to use the few system resources only when the data collection phase is complete.
Ensuite, l’algorithme finalise son analyse 270 et retourne à son état initial d’attente d’une nouvelle analyse à réaliser. Then, the algorithm finalizes its analysis 270 and returns to its initial state of waiting for a new analysis to be performed.
Selon un mode de réalisation, en cas de situation instable, alors qu’une analyse est en cours, une partie des ressources système allouée à l’analyse est redistribuée pour la collecte de données. According to one embodiment, in the event of an unstable situation, while an analysis is in progress, a portion of the system resources allocated to the analysis is redistributed for data collection.
De manière particulièrement avantageuse, la présente invention utilise peu de ressources système et peu d’énergie en séparant en deux phases distinctes, la collecte de données et l’analyse de ces données collectées. Particularly advantageously, the present invention uses few system resources and low energy by separating into two distinct phases, the data collection and the analysis of this collected data.
La présente invention permet ainsi d’obtenir une détection de fraude de haute qualité tout en proposant une solution technique à bas coût, solution étant optimisée pour une application à grande échelle et peu coûteuse. The present invention thus makes it possible to obtain high-quality fraud detection while providing a low-cost technical solution, the solution being optimized for large-scale and inexpensive application.
Ainsi, la présente invention permet de solutionner au moins les situations de fraudes suivantes : a. L’utilisateur scanne un article 20 et il en pose deux ; b. L’utilisateur dépose discrètement un article 20 dans le contenant 11 sans le scanner ; c. L’utilisateur scanne une bouteille de vin à 5€ et il en dépose une à 50€ de poids équivalent, voire qui lui ressemble morphologiquement ; d. L’utilisateur intervertit un article 20 non scanné avec un article 20 déjà scanné dans le contenant 11 ; e. L’utilisateur scanne un article 20 avec une étiquette code-barres de fruits ou de légumes ; f. L’utilisateur met un parfum dans un sachet de fruits et légumes et je le scan avec une étiquette code-barres de fruit et légume. Thus, the present invention makes it possible to resolve at least the following fraud situations: a. The user scans an item 20 and places two; b. The user discreetly places an item 20 in container 11 without scanning it; vs. The user scans a € 5 bottle of wine and places one at € 50 of equivalent weight, or even that looks like him morphologically; d. The user swaps an article 20 not scanned with an article 20 already scanned in the container 11; e. The user scans an item 20 with a fruit or vegetable barcode label; f. The user puts a scent in a fruit and vegetable bag and I scan it with a fruit and vegetable barcode label.
La présente invention utilise donc la fusion de plusieurs données issues de plusieurs capteurs pour déterminer une probabilité de fraude. The present invention therefore uses the fusion of several data coming from several sensors to determine a probability of fraud.
De manière particulièrement avantageuse, la présente invention comprend une analyse de ses données dite auto-apprenante, c’est-à-dire que l’unité de traitement informatique est configurée pour apprendre automatiquement les éléments composant une fraude. Par exemple, le système est configuré pour apprendre que généralement une suite d’actions, ou que certaines valeurs des données collectées conduisent à une situation de fraude. Pour cela, l’unité de traitement reçoit en entrée une pluralité de données et en sortie la situation est jugée comme une fraude ou non par les surveillants et/ou les super-surveillants. Particularly advantageously, the present invention comprises an analysis of its so-called self-learning data, that is to say that the computer processing unit is configured to automatically learn the elements making up a fraud. For example, the system is configured to learn that generally a series of actions, or that certain values of the data collected lead to a situation of fraud. For this, the processing unit receives a plurality of data as input and as output the situation is judged as fraud or not by the supervisors and / or super-supervisors.
L’invention n’est pas limitée aux modes de réalisations précédemment décrits et s’étend à tous les modes de réalisation couverts par les revendications. The invention is not limited to the embodiments described above and extends to all the embodiments covered by the claims.
REFERENCES REFERENCES
10 Chariot mobile 10 Mobile trolley
11 Contenant 11 Container
12 Dispositif d’affichage 12 Display device
13 Dispositif de préhension 14 Roue 13 Gripping device 14 Wheel
15 Châssis 15 Chassis
16 Batterie électrique 16 Electric heater
20 Article 20 Item
21 Représentation graphique de l’article 21 Graphic representation of the article
22 Description de l’article 22 Item description
23 Description de la situation de fraude potentielle23 Description of the potential fraud situation
24 Vignettes 24 Thumbnails
25 Vidéo temporellement compressée 25 Time-compressed video
26 Premier actionneur 26 First actuator
27 Deuxième actionneur 27 Second actuator
1000 Système de détection de fraude 1100 Dispositif d’identification 1200 Dispositif de mesure 1300 Dispositif optique 1310 Caméra 1000 Fraud detection system 1100 Identification device 1200 Measuring device 1300 Optical device 1310 Camera
1320 Caméra stéréoscopique 1320 Stereoscopic camera
1321 Zone de scan 1321 Scan area
1322 Zone extérieure 1322 Outdoor area
1323 Zone intérieure 1323 Interior zone
1324 Zone d’entrée 1324 Entrance area
1400 Unité de traitement informatique 1400 Computer processing unit
1410 Base de données 1410 Database
1420 Module d’intelligence artificielle 1420 Artificial intelligence module
1500 Interface utilisateur 1500 User interface
1600 Poste de gestion 1600 Management station
1700 Dispositif d’analyse portatif 1700 Portable analysis device

Claims

REVENDICATIONS
1. Procédé de détection de fraude dans le cas de l’achat par au moins un utilisateur d’au moins un article (20) comprenant au moins : 1. Fraud detection method in the case of the purchase by at least one user of at least one article (20) comprising at least:
• Une étape de capture, effectuée par au moins un terminal utilisateur (10), d’une pluralité de données à partir d’au moins un capteur, et de préférence d’une pluralité de capteurs, l’étape de capture comprenant au moins les étapes suivantes : i. Obtention d’un identifiant de l’article (20) par au moins un dispositif d’identification (1100) ; ii. Détermination par au moins un dispositif optique (1300) d’au moins une trajectoire de l’article manuellement déplacé par l’utilisateur dans un espace tridimensionnel, ledit espace tridimensionnel comprenant au moins : • A capture step, performed by at least one user terminal (10), of a plurality of data from at least one sensor, and preferably of a plurality of sensors, the capture step comprising at least the following steps: i. Obtaining an item identifier (20) by at least one identification device (1100); ii. Determination by at least one optical device (1300) of at least one trajectory of the article manually moved by the user in a three-dimensional space, said three-dimensional space comprising at least:
1. Une zone d’identification (1321) correspondant à un volume de l’espace tridimensionnel dans lequel au moins une partie de l’article (20) est destiné à être disposé par l’utilisateur pour réaliser l’obtention de l’identifiant de l’article (20) ; 1. An identification zone (1321) corresponding to a volume of the three-dimensional space in which at least part of the article (20) is intended to be placed by the user in order to obtain the identifier. of article (20);
2. Une zone d’entrée (1324) correspondant à un volume de l’espace tridimensionnel traversé par l’article (20) lorsque l’utilisateur dépose l’article (20) dans au moins un contenant (11) associé au terminal utilisateur (10) ; iii. Envoi par le terminal utilisateur (10) à au moins une unité de traitement informatique (1400) de : 2. An entry zone (1324) corresponding to a volume of the three-dimensional space crossed by the article (20) when the user places the article (20) in at least one container (11) associated with the user terminal. (10); iii. Sending by the user terminal (10) to at least one computer processing unit (1400) of:
1. l’identifiant de l’article (20) depuis le dispositif d’identification (1100) ; 1. the identifier of the article (20) from the identification device (1100);
2. la trajectoire de l’article (20) ; 2. the trajectory of the article (20);
• Une étape de traitement effectuée par l’unité de traitement informatique (1400), de la pluralité de données comprenant au moins les étapes suivantes : i. Génération d’au moins un comportement dudit article (20) à partir au moins de la trajectoire de l’article (20) dans l’espace tridimensionnel ; ii. Comparaison du comportement dudit article (20) avec une pluralité de modèles de comportements prédéterminés de sorte à identifier une anomalie de manipulation par l’utilisateur ; • A processing step performed by the computer processing unit (1400), of the plurality of data comprising at least the following steps: i. Generating at least one behavior of said article (20) from at least the trajectory of the article (20) in three-dimensional space; ii. Comparison of the behavior of said article (20) with a plurality of predetermined behavior models so as to identify an anomaly in handling by the user;
• Une étape de détermination d’une probabilité de fraude en fonction de ladite comparaison de comportement, cette probabilité étant non nulle si une anomalie de manipulation a été identifiée. • A step of determining a probability of fraud based on said comparison of behavior, this probability being non-zero if a handling anomaly has been identified.
2. Procédé selon la revendication précédente dans lequel le dispositif optique (1300) est configuré pour permettre une prise en compte de la profondeur dans la détermination de ladite trajectoire de l’article (20). 2. Method according to the preceding claim wherein the optical device (1300) is configured to allow consideration of the depth in determining said trajectory of the article (20).
3. Procédé selon l’une quelconque des revendications précédentes dans lequel la trajectoire de l’article (20) dans l’espace tridimensionnel, tel que déterminée par le dispositif optique (1300), comprend au moins une pluralité de points, chaque point de ladite pluralité de points comprenant au moins trois coordonnées spatiales. 3. A method according to any preceding claim wherein the trajectory of the article (20) in three-dimensional space, as determined by the optical device (1300), comprises at least a plurality of points, each point of. said plurality of points comprising at least three spatial coordinates.
4. Procédé selon l’une quelconque des revendications précédentes dans lequel le dispositif optique (1300) comprend un dispositif optique stéréoscopique. 4. A method according to any preceding claim wherein the optical device (1300) comprises a stereoscopic optical device.
5. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de capture d’une pluralité de données comprend au moins une mesure, par au moins un dispositif de mesure (1200), du poids de l’article (20), et une étape d’envoi par le terminal utilisateur (10) à l’unité de traitement informatique (1400) du poids mesuré de l’article (20). 5. Method according to any one of the preceding claims wherein the step of capturing a plurality of data comprises at least one measurement, by at least one measuring device (1200), of the weight of the article (20). , and a step of sending by the user terminal (10) to the computer processing unit (1400) the measured weight of the article (20).
6. Procédé selon la revendication précédente dans lequel l’étape de traitement comprend, de préférence avant l’étape de génération du comportement de l’article, au moins les étapes suivantes : 6. Method according to the preceding claim, in which the processing step comprises, preferably before the step of generating the behavior of the article, at least the following steps:
• Identification dans au moins une base de données (1410) de l’article (20) à partir de l’identifiant, la base de données (1410) comprenant au moins l’identifiant de l’article (20) associé à un poids prédéterminé de l’article (20) ; • Identification in at least one database (1410) of the article (20) from the identifier, the database (1410) comprising at least the identifier of the article (20) associated with a weight predetermined section (20);
• Obtention du poids prédéterminé de l’article (20) depuis la base de données (1410) : i. Dans le cas où le poids prédéterminé est égal à zéro ou est non renseigné, l’unité de traitement informatique (1400) attribue le poids mesuré de l’article (20) en tant que poids prédéterminé associé audit identifiant dans la base de données (1410) ; ii. Dans le cas où le poids prédéterminé est différent est différent de zéro et renseigné, l’unité de traitement informatique (1400) effectue une comparaison du poids prédéterminé et du poids mesuré de sorte à identifier une anomalie de poids si la différence de poids est supérieure à un seuil prédéterminé.• Obtaining the predetermined weight of the item (20) from the database (1410): i. In the event that the predetermined weight is equal to zero or is not entered, the computer processing unit (1400) assigns the measured weight of the article (20) as a predetermined weight associated with said identifier in the database ( 1410); ii. In the case where the predetermined weight is different is different from zero and entered, the computer processing unit (1400) performs a comparison of the predetermined weight and the measured weight so as to identify a weight anomaly if the difference in weight is greater. at a predetermined threshold.
7. Procédé selon la revendication précédente dans lequel la détermination d’une probabilité de fraude est réalisée en fonction de ladite comparaison du poids prédéterminé avec le poids mesuré, cette probabilité étant non nulle si une anomalie de poids a été identifiée. 7. Method according to the preceding claim, in which the determination of a probability of fraud is carried out as a function of said comparison of the predetermined weight with the measured weight, this probability being non-zero if a weight anomaly has been identified.
8. Procédé selon l’une quelconque des deux revendications précédentes dans lequel le poids prédéterminé de l’article (20) contenu dans la base de données (1410) comprend une gamme de poids, de préférence un poids prédéterminé minimum et un poids prédéterminé maximum. A method according to any of the preceding two claims wherein the predetermined weight of the item (20) contained in the database (1410) comprises a range of weights, preferably a minimum predetermined weight and a maximum predetermined weight. .
9. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de détermination de la trajectoire de l’article (20) dans l’espace tridimensionnel comprend le suivi de l’article (20) dans au moins une zone prise parmi au moins la zone d’identification (1321), la zone d’entrée (1324), au moins une zone extérieure (1322), au moins une zone intérieure (1323) correspondant au moins à l’entrée d’au moins un contenant (11), la zone d’entrée (1324) séparant la zone extérieure (1322) de la zone intérieure (1323). 9. A method according to any preceding claim wherein the step of determining the trajectory of the article (20) in three-dimensional space comprises tracking the article (20) in at least one area taken from among at least the identification zone (1321), the entrance zone (1324), at least one external zone (1322), at least one internal zone (1323) corresponding at least to the entrance of at least one container (11), the entry zone (1324) separating the external zone (1322) from the internal zone (1323).
10. Procédé selon l’une quelconque des revendications précédentes dans lequel la détermination de la trajectoire de l’article (20) dans l’espace tridimensionnel comprend au moins les passages, et de préférence uniquement les passages, de l’article (20) d’une zone de l’espace tridimensionnel à une autre zone de l’espace tridimensionnel. 10. A method according to any preceding claim wherein determining the path of the article (20) in three-dimensional space comprises at least the passages, and preferably only the passages, of the article (20). from one area of three-dimensional space to another area of three-dimensional space.
11. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de détermination de la trajectoire de l’article (20) comprend au moins la détermination de la trajectoire d’un objet autre que l’article (20) se déplaçant dans l’espace tridimensionnel, de préférence ledit objet étant pris parmi : une main, un bras, un autre article, un sac, un accessoire porté par l’utilisateur, un vêtement porté par l’utilisateur. The method according to any one of the preceding claims wherein the step of determining the trajectory of the article (20) comprises at least determining the trajectory of an object other than the article (20) moving. in three-dimensional space, preferably said object being taken from: a hand, an arm, another article, a bag, an accessory worn by the user, a garment worn by the user.
12. Procédé selon la revendication précédente dans lequel l’étape de génération du comportement de l’article (20) comprend la mention de tout rapprochement au-delà d’un seuil prédéterminé dudit objet avec l’article (20). 12. The method of the preceding claim wherein the step of generating the behavior of the article (20) comprises mentioning any reconciliation beyond a predetermined threshold of said object with the article (20).
13. Procédé selon l’une quelconque des revendications précédentes dans lequel le comportement généré dudit article (20) comprend au moins un enchaînement d’évènements détectés par la pluralité de capteurs, ces évènements étant pris parmi au moins : l’identification de l’article (20), le passage d’une zone de l’espace tridimensionnel à une autre zone de l’espace tridimensionnel, la mesure du poids de l’article (20), l'approche de l’article (20) par un autre objet. 13. Method according to any one of the preceding claims, in which the behavior generated from said article (20) comprises at least one chain of events detected by the plurality of sensors, these events being taken from at least: the identification of the item (20), moving from one area of three-dimensional space to another area of three-dimensional space, measuring the weight of the item (20), approaching item (20) by a other object.
14. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de capture de la pluralité de données comprend la collecte par le dispositif optique (1300) d’une pluralité d’images au moins de l’article (20) et au moins d’une main de l’utilisateur portant l’article (20). 14. A method according to any preceding claim wherein the step of capturing the plurality of data comprises collecting by the optical device (1300) at least a plurality of images of the item (20) and at least one hand of the user carrying the article (20).
15. Procédé selon la revendication précédente dans lequel l’étape de traitement comprend une étape d’analyse de la pluralité d’images collectées afin d’enregistrer au moins une représentation bidimensionnelle de l’article (20) et d’identifier si la main de l’utilisateur est vide ou pleine. 15. The method of the preceding claim wherein the processing step comprises a step of analyzing the plurality of images collected in order to record at least one two-dimensional representation of the article (20) and identify whether the hand user is empty or full.
16. Procédé selon l’une quelconque des deux revendications précédentes dans lequel l’étape de traitement comprend au moins une comparaison d’une image de l’article (20) présente dans la base de données (1410) et d’une ou de plusieurs images de la pluralité d’images collectées de sorte à identifier une anomalie entre l’image de l’article (20) de la base de données (1410) et la ou les images collectées de l’article (20). 16. Method according to any one of the two preceding claims in which the processing step comprises at least one comparison of an image of the article (20) present in the database (1410) and of one or more several images of the plurality of images collected so as to identify an anomaly between the image of the article (20) of the database (1410) and the image (s) collected of the article (20).
17. Procédé selon la revendication précédente dans lequel l’étape de comparaison d’une image de l’article (20) comprend au moins une étape de reconnaissance optique de l’article (20) par l’unité de traitement informatique (1400), de préférence par un réseau de neurones entraîné (1420). 17. Method according to the preceding claim, in which the step of comparing an image of the article (20) comprises at least one step of optical recognition of the article (20) by the computer processing unit (1400). , preferably by a trained neural network (1420).
18. Procédé selon l’une quelconque des quatre revendications précédentes dans lequel l’étape de collecte d’une pluralité d’images comprend au moins une étape d’enregistrement par le dispositif optique (1300) d’une vidéo, avantageusement temporellement compressée, de préférence à partir de la pluralité d’images collectées.18. Method according to any one of the four preceding claims, in which the step of collecting a plurality of images comprises at least one step of recording by the optical device (1300) of a video, advantageously temporally compressed, preferably from the plurality of images collected.
19. Procédé selon la revendication précédente dans lequel l’étape d’enregistrement de la vidéo, de préférence temporellement compressée, comprend l’incrustation d’une donnée collectée par au moins un capteur au moment de la collecte de ladite donnée, ledit capteur étant pris parmi au moins : le dispositif d’identification (1100), le dispositif optique (1300), le dispositif de mesure (1200), un capteur d’orientation spatial, un capteur de mouvement. 19. Method according to the preceding claim in which the step of recording the video, preferably temporally compressed, comprises the overlay of a data item collected by at least one sensor at the time of the collection of said data item, said sensor being. taken from at least: the identification device (1100), the optical device (1300), the measuring device (1200), a spatial orientation sensor, a motion sensor.
20. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de détermination de la trajectoire de l’article (20) comprend au moins : 20. A method according to any preceding claim wherein the step of determining the trajectory of the article (20) comprises at least:
• La collecte d’une pluralité d’images bidimensionnelles, de préférence en couleur ;• Collecting a plurality of two-dimensional images, preferably in color;
• La collecte d’une pluralité d’images tridimensionnelles. • Collecting a plurality of three-dimensional images.
21 . Procédé selon la revendication précédente dans lequel la collecte de la pluralité d’images bidimensionnelles est réalisée par au moins une caméra (1310) et par au moins une caméra additionnelle et dans lequel la collecte de la pluralité d’images tridimensionnelles est réalisée par au moins une caméra stéréoscopique (1320). 21. Method according to the preceding claim in which the collection of the plurality of two-dimensional images is carried out by at least one camera (1310) and by at least one additional camera and in which the collection of the plurality of three-dimensional images is carried out by at least a stereoscopic camera (1320).
22. Procédé selon la revendication précédente dans lequel la caméra stéréoscopique (1320) est configurée pour suivre spatialement l’article (20) dans l’espace tridimensionnel, et dans lequel la caméra additionnelle est configurée pour transmettre une pluralité d’images bidimensionnelle à au moins un réseau de neurones (1420) de sorte à entraîner ledit réseau de neurones (1420) à reconnaître la forme géométrique de l’article (20), la position spatiale de l’article (20) et sa forme géométrique sont alors utilisées pour le suivi de l’article (20) par la caméra bidimensionnelle (1310) lorsque l’article (20) sort du champ d’observation de la caméra stéréoscopique (1320). 22. The method of the preceding claim wherein the stereoscopic camera (1320) is configured to spatially track the item (20) in three-dimensional space, and wherein the additional camera is configured to transmit a plurality of two-dimensional images to at least one. least one neural network (1420) so as to train said neural network (1420) to recognize the geometric shape of the article (20), the spatial position of the article (20) and its geometric shape are then used to tracking the item (20) by the two-dimensional camera (1310) when the item (20) leaves the field of view of the stereoscopic camera (1320).
23. Procédé selon la revendication précédente dans lequel la caméra bidimensionnelle (1310) comprend un objectif présentant un angle supérieur à 100 degrés et est configurée pour assurer le suivi de la position spatiale de l’article (20) en dehors du champ d’observation de la caméra stéréoscopique (1320) et pour collecter des images de la forme géométrique de l’article (20), la position spatiale de l’article (20) et sa forme géométrique sont alors utilisées pour le suivi de l’article (20) par la caméra stéréoscopique (1320) et par la caméra bidimensionnelle additionnelle lorsque l’article (20) rentre dans champ d’observation de la caméra stéréoscopique (1320). 23. The method of the preceding claim wherein the two-dimensional camera (1310) comprises a lens having an angle greater than 100 degrees and is configured to track the spatial position of the article (20) outside the field of view. of the stereoscopic camera (1320) and to collect images of the geometric shape of the item (20), the spatial position of the item (20) and its geometric shape are then used for tracking the item (20) ) by the stereoscopic camera (1320) and by the additional two-dimensional camera when the article (20) enters the field of observation of the stereoscopic camera (1320).
24. Procédé selon l’une quelconque des revendications précédentes dans lequel les modèles de comportements prédéterminés comprennent au moins un modèle de comportement standard comprenant au moins l’enchaînement d’évènements suivant : 24. Method according to any one of the preceding claims, in which the predetermined behavior models comprise at least one standard behavior model comprising at least the following chain of events:
• Identification de l’article (20) ; • Identification of the article (20);
• Suivi de l’article (20) depuis la zone d’identification (1321) vers la zone d’entrée (1324) ; • Article tracking (20) from the identification area (1321) to the entry area (1324);
• Suivi de l’article (20) depuis la zone d’entrée (1324) vers la zone intérieure (1321) ;• Article tracking (20) from the entrance area (1324) to the interior area (1321);
25. Procédé selon l’une quelconque des revendications précédentes dans lequel une anomalie de manipulation comprend au moins l’une des situations suivantes : remplacement de l’article (20) par un autre article (20), ajout d’un autre article (20) dans un contenant (11) en même temps que ledit article (20), retrait d’un autre article (20) depuis ledit contenant (20) lors du dépôt dudit article (20) dans ledit contenant (11), remplacement d’un article (20) identifié par un autre article (20) non identifié, identification d’un article (20) avec un identifiant frauduleux. 25. Method according to any one of the preceding claims, in which a handling anomaly comprises at least one of the following situations: replacement of the article (20) by another article (20), addition of another article ( 20) in a container (11) at the same time as said article (20), withdrawal of another article (20) from said container (20) when depositing said article (20) in said container (11), replacement of an article (20) identified by another unidentified article (20), identifying an article (20) with a fraudulent identifier.
26. Procédé selon l’une quelconque des revendications précédentes comprenant, si une anomalie de poids est détectée, les étapes suivantes : 26. A method according to any preceding claim comprising, if a weight abnormality is detected, the following steps:
• Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de retirer l’article (20), cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique (1400) ; • Formulation by message, preferably visual and / or audio, to the user of a request to withdraw the article (20), this formulation being carried out by a user interface, the user interface being for example the unit of computer processing (1400);
• Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de peser l’article (20) une nouvelle fois de sorte à obtenir un nouveau poids, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique (1400) ; • Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article (20) again so as to obtain a new weight, this formulation being carried out by a user interface, the the user interface being for example the computer processing unit (1400);
• Envoi par le terminal utilisateur (10) à l’unité de traitement informatique (1400) du nouveau poids de l’article (20) ; • Sending by the user terminal (10) to the computer processing unit (1400) of the new weight of the article (20);
• Traitement, effectué par l’unité de traitement informatique (1400), du nouvel identifiant de l’article (20), du nouveau poids de l’article (20), et de préférence des images collectées, comprenant au moins la comparaison du poids prédéterminé avec le nouveau poids mesuré de sorte à identifier une anomalie de poids. • Processing, carried out by the computer processing unit (1400), of the new identifier of the article (20), of the new weight of the article (20), and preferably of the images collected, comprising at least the comparison of the predetermined weight with the new measured weight so as to identify a weight abnormality.
27. Procédé selon l’une quelconque des revendications précédentes comprenant, si une anomalie est détectée, les étapes suivantes : 27. A method according to any one of the preceding claims comprising, if an anomaly is detected, the following steps:
• Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande d’identifier une nouvelle fois l’article (20) , cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique (1400) ; • Formulation by message, preferably visual and / or audio, to the user of a request to re-identify the article (20), this formulation being carried out by a user interface, the user interface being for example the computer processing unit (1400);
• Envoi par le terminal utilisateur (10) à l’unité de traitement informatique (1400) du nouvel identifiant de l’article (20) ; • Sending by the user terminal (10) to the computer processing unit (1400) of the new item identifier (20);
• Formulation par message, de préférence visuel et/ou audio, à l’utilisateur d’une demande de peser l’article (20) une nouvelle fois de sorte à obtenir un nouveau poids, cette formulation étant réalisée par une interface utilisateur, l’interface utilisateur étant par exemple l’unité de traitement informatique (1400) ; • Formulation by message, preferably visual and / or audio, to the user of a request to weigh the article (20) again so as to obtain a new weight, this formulation being carried out by a user interface, the the user interface being for example the computer processing unit (1400);
• Envoi par le terminal utilisateur (10) à l’unité de traitement informatique (1400) du nouveau poids de l’article (20) ; • Sending by the user terminal (10) to the computer processing unit (1400) of the new weight of the article (20);
• Traitement, par l’unité de traitement informatique (1400), du nouvel identifiant de l’article (20), du nouveau poids de l’article (20), et de préférence des images collectées, comprenant au moins la comparaison du poids prédéterminé avec le nouveau poids mesuré de sorte à identifier une anomalie de poids. • Processing, by the computer processing unit (1400), of the new identifier of the article (20), of the new weight of the article (20), and preferably of the images collected, comprising at least the comparison of the weight predetermined with the new measured weight so as to identify a weight abnormality.
28. Procédé selon l’une quelconque des revendications précédentes comprenant une étape continue d’enregistrement d’une vidéo initiale d’une durée prédéterminée par le dispositif optique (1300), ladite vidéo initiale étant effacée à l’échéance de ladite durée prédéterminée sauf si un évènement est détecté par au moins un capteur pris parmi au moins : le dispositif d’identification (1100), le dispositif de mesure (1200), le dispositif optique (1300), un capteur de mouvement, un capteur d’orientation spatial. 28. A method according to any preceding claim comprising a continuous step of recording an initial video of a predetermined duration by the optical device (1300), said initial video being erased at the expiration of said predetermined duration except if an event is detected by at least one sensor taken from at least: the identification device (1100), the measuring device (1200), the optical device (1300), a motion sensor, a spatial orientation sensor .
29. Procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de traitement n’est réalisée que lorsque l’étape de capture de l’au moins une pluralité de données est terminée. 29. A method according to any preceding claim wherein the processing step is performed only when the step of capturing at least a plurality of data is completed.
30. Procédé selon l’une quelconque des revendications comprenant, lorsque la probabilité de fraude est supérieure à un seuil prédéterminé, l’envoie depuis l’unité de traitement informatique (1400) d’une pluralité de données secondaire fonction de ladite pluralité de données à au moins un poste de gestion (1600) de sorte à ce qu’un premier surveillant analyse ladite pluralité de données secondaire. 30. Method according to any one of the claims comprising, when the probability of fraud is greater than a predetermined threshold, sends it from the computer processing unit (1400) a plurality of secondary data as a function of said plurality of data. at least one management station (1600) such that a first supervisor analyzes said plurality of secondary data.
31. Procédé selon la revendication précédente dans lequel, si une situation de fraude est validée par le premier surveillant, ladite pluralité de données secondaire est transmise à au moins un dispositif d’analyse portatif (1700), de préférence situé dans le même bâtiment que le terminal utilisateur (10), de sorte à ce qu’un second surveillant analyse ladite pluralité de données secondaire et se déplace auprès de l’utilisateur. 31. Method according to the preceding claim wherein, if a fraud situation is validated by the first supervisor, said plurality of secondary data is transmitted to at least one portable analysis device (1700), preferably located in the same building as the user terminal (10), so that a second supervisor analyzes said plurality of secondary data and walks to the user.
32. Procédé selon l’une quelconque des deux revendications précédentes dans lequel ladite pluralité de données secondaire comprend au moins l’une parmi les données suivantes : l’identifiant de l’article (20), le poids de l’article (20), une image originale de l’article (20), une ou plusieurs images de la pluralité d’images collectées, une vidéo, de préférence temporellement compressée. 32. Method according to any one of the two preceding claims wherein said plurality of secondary data comprises at least one of the following data: the identifier of the article (20), the weight of the article (20) , an original image of the article (20), one or more images of the plurality of images collected, a video, preferably temporally compressed.
33. Système (1000) de détection d’au moins une fraude dans le cas d’un achat d’au moins un article par un utilisateur dans un magasin, comprenant au moins : 33. System (1000) for detecting at least one fraud in the case of a purchase of at least one item by a user in a store, comprising at least:
• Un terminal utilisateur (10) comprenant au moins : i. Un dispositif d’identification (1100) configuré pour identifier l’article (20) lorsqu’un utilisateur passe l’article à proximité, de préférence à moins d’un mètre, du dispositif d’identification (1100) ; ii. Un dispositif de mesure (1200) configuré pour mesurer le poids de l’article• A user terminal (10) comprising at least: i. An identification device (1100) configured to identify the article (20) when a user passes the article in proximity, preferably within one meter, of the identification device (1100); ii. A measuring device (1200) configured to measure the weight of the item
(20) ; iii. Un dispositif optique (1300) configuré pour au moins déterminer au moins une trajectoire de l’article (20) manuellement déplacé par l’utilisateur dans un espace tridimensionnel ; (20); iii. An optical device (1300) configured to at least determine at least one path of the article (20) manually moved by the user in three-dimensional space;
• Une unité de traitement informatique (1400) en communication avec au moins le terminal utilisateur (10), l’unité de traitement informatique (1400) étant distante ou non du terminal utilisateur (10) et étant configurée pour : i. Générer au moins un comportement dudit article à partir au moins de la trajectoire de l’article (20) dans l’espace tridimensionnel ; ii. Comparer le comportement dudit article (20) avec une pluralité de modèles de comportements prédéterminés de sorte à identifier une anomalie de manipulation ; • A computer processing unit (1400) in communication with at least the user terminal (10), the computer processing unit (1400) being remote or not from the user terminal (10) and being configured for: i. Generate at least one behavior of said article from at least the trajectory of the article (20) in three-dimensional space; ii. Comparing the behavior of said article (20) with a plurality of predetermined behavior models so as to identify a handling anomaly;
De sorte à déterminer une probabilité de fraude en fonction de ladite comparaison de comportement, cette probabilité étant non nulle si une anomalie de manipulation a été identifiée. So as to determine a probability of fraud as a function of said comparison of behavior, this probability being non-zero if a handling anomaly has been identified.
34. Système (1000) selon la revendication précédente dans lequel l’unité de traitement informatique (1400) est en communication en outre avec une base de données (1410) comprenant l’identifiant de l’article (20) associé à un poids prédéterminé de l’article (20). 34. System (1000) according to the preceding claim wherein the computer processing unit (1400) is further in communication with a database (1410) comprising the identifier of the article (20) associated with a predetermined weight. of article (20).
35. Système (1000) selon la revendication précédente dans lequel l’unité de traitement informatique (1400) est configurée en outre pour : 35. System (1000) according to the preceding claim wherein the computer processing unit (1400) is further configured for:
• Comparer le poids prédéterminé de l’article (20) obtenu depuis la base de données (1410) avec le poids mesuré de sorte à identifier une anomalie de poids si la différence de poids est supérieure à un seuil prédéterminé ; • Compare the predetermined weight of the item (20) obtained from the database (1410) with the measured weight so as to identify a weight anomaly if the difference in weight is greater than a predetermined threshold;
• Déterminer une probabilité de fraude en fonction de ladite comparaison de poids, cette probabilité étant non nulle si une anomalie de poids a été identifiée. • Determine a probability of fraud as a function of said weight comparison, this probability being non-zero if a weight anomaly has been identified.
36. Système (1000) selon l’une quelconque des trois revendications précédentes dans lequel le terminal utilisateur (10) est un chariot mobile (10). 36. System (1000) according to any one of the three preceding claims wherein the user terminal (10) is a mobile cart (10).
37. Système (1000) selon la revendication précédente dans lequel une partie au moins de l’unité de traitement informatique (1400) est embarquée dans le chariot mobile (10).37. System (1000) according to the preceding claim wherein at least part of the computer processing unit (1400) is embedded in the mobile cart (10).
38. Système selon l’une quelconque des revendications 33 à 35 dans lequel le terminal utilisateur (10) est une borne fixe. 38. System according to any one of claims 33 to 35 wherein the user terminal (10) is a fixed terminal.
39. Système (1000) selon l’une quelconque des six revendications précédentes dans lequel l’unité de traitement informatique (1400) est en communication avec au moins un module de classement (1420) comprenant au moins un réseau de neurones entraîné à détecter une situation de fraude à partir de données transmises à l’unité de traitement informatique (1400). 39. System (1000) according to any one of the six preceding claims in which the computer processing unit (1400) is in communication with at least one classification module (1420) comprising at least one neural network trained to detect a fraud situation from data transmitted to the computer processing unit (1400).
40. Système (1000) selon l’une quelconque des sept revendications précédentes dans lequel le terminal utilisateur (10) comprend au moins un dispositif d’affichage (12) configuré pour afficher au moins l’identifiant et/ou le poids de l’article (20). 40. System (1000) according to any one of the seven preceding claims wherein the user terminal (10) comprises at least one display device (12) configured to display at least the identifier and / or the weight of the user. article (20).
41. Produit programme d’ordinateur comprenant des instructions, qui lorsqu’elles sont effectuées par au moins un processeur, exécute au moins les étapes du procédé selon l’une quelconque des revendications 1 à 32. 41. Product computer program comprising instructions, which when performed by at least one processor, performs at least the steps of the method according to any one of claims 1 to 32.
EP20816473.1A 2019-12-05 2020-12-03 Fraud detection system and method Pending EP4070295A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1913824A FR3104304B1 (en) 2019-12-05 2019-12-05 Fraud detection system and method
PCT/EP2020/084359 WO2021110789A1 (en) 2019-12-05 2020-12-03 Fraud detection system and method

Publications (1)

Publication Number Publication Date
EP4070295A1 true EP4070295A1 (en) 2022-10-12

Family

ID=70613871

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20816473.1A Pending EP4070295A1 (en) 2019-12-05 2020-12-03 Fraud detection system and method

Country Status (7)

Country Link
US (1) US20230005348A1 (en)
EP (1) EP4070295A1 (en)
JP (1) JP2023504871A (en)
CN (1) CN115004268A (en)
CA (1) CA3160743A1 (en)
FR (1) FR3104304B1 (en)
WO (1) WO2021110789A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555852B2 (en) * 2021-03-03 2024-09-25 東芝テック株式会社 FRAUDULENT ACTIVITY RECOGNITION DEVICE, ITS CONTROL PROGRAM, AND FRAUDULENT ACTIVITY RECOGNITION METHOD
FR3128048B1 (en) * 2021-10-13 2024-09-20 Mo Ka Smart self-checkout terminal
CN114898249B (en) * 2022-04-14 2022-12-13 烟台创迹软件有限公司 Method, system and storage medium for confirming number of articles in shopping cart
US20250078098A1 (en) * 2023-08-30 2025-03-06 Maplebear Inc. Management System for Automatic Determination of Anomaly Behavior for User of a Smart Shopping Cart
JP2025123936A (en) * 2024-02-13 2025-08-25 東芝テック株式会社 Information processing device and information processing system
DE102024105309A1 (en) * 2024-02-26 2025-08-28 KBST GmbH System and method for verifying a product placed in a shopping cart and/or shopping basket
CN118278732B (en) * 2024-03-25 2024-11-29 深圳泰昌同信科技有限公司 Intelligent monitoring system and method for cashing behavior

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102183A1 (en) * 2003-11-12 2005-05-12 General Electric Company Monitoring system and method based on information prior to the point of sale
US20080031491A1 (en) * 2006-08-03 2008-02-07 Honeywell International Inc. Anomaly detection in a video system
JP2010094332A (en) * 2008-10-17 2010-04-30 Okamura Corp Merchandise display apparatus
JP5216726B2 (en) * 2009-09-03 2013-06-19 東芝テック株式会社 Self-checkout terminal device
AU2015209627B2 (en) * 2014-01-21 2019-08-15 Sensormatic Electronics Llc Systems and methods for customer deactivation of security elements
WO2016052229A1 (en) * 2014-09-29 2016-04-07 日本電気株式会社 Information processing device, information processing method, and program
EP3248870B1 (en) * 2016-05-25 2019-07-03 AIRBUS HELICOPTERS DEUTSCHLAND GmbH Multi-blade rotor for a rotary wing aircraft
CN105915857A (en) * 2016-06-13 2016-08-31 南京亿猫信息技术有限公司 Monitoring system and monitoring method for supermarket shopping cart
CN106408369B (en) * 2016-08-26 2021-04-06 西安超嗨网络科技有限公司 Method for intelligently identifying commodity information in shopping cart
EP3428870A4 (en) * 2017-01-04 2019-11-06 Xian Chaohi Net Technology Co., Ltd. METHOD AND SYSTEM FOR IDENTIFYING ARTICLES OF AN INTELLIGENT CART
JP6649306B2 (en) * 2017-03-03 2020-02-19 株式会社東芝 Information processing apparatus, information processing method and program
US11250376B2 (en) * 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
CN109934569B (en) * 2017-12-25 2024-04-12 图灵通诺(北京)科技有限公司 Settlement method, device and system
JP6330115B1 (en) * 2018-01-29 2018-05-23 大黒天物産株式会社 Product management server, automatic cash register system, product management program, and product management method
FR3077404B1 (en) * 2018-01-31 2022-07-15 Afraite Seugnet Mehdi PURCHASING ASSISTANCE METHODS AND SYSTEMS AT A PHYSICAL POINT OF SALE
CN108460933B (en) * 2018-02-01 2019-03-05 王曼卿 A kind of management system and method based on image procossing
JP6573185B1 (en) * 2018-12-07 2019-09-11 株式会社鈴康 Information processing system, information processing method, and program
CN109829777A (en) * 2018-12-24 2019-05-31 深圳超嗨网络科技有限公司 A kind of smart shopper system and purchase method
US11430044B1 (en) * 2019-03-15 2022-08-30 Amazon Technologies, Inc. Identifying items using cascading algorithms

Also Published As

Publication number Publication date
FR3104304B1 (en) 2023-11-03
FR3104304A1 (en) 2021-06-11
JP2023504871A (en) 2023-02-07
CA3160743A1 (en) 2021-06-10
CN115004268A (en) 2022-09-02
WO2021110789A1 (en) 2021-06-10
US20230005348A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
EP4070295A1 (en) Fraud detection system and method
JP7393002B2 (en) Low-cost instruments and methods for distributed remote collection of valuable electronic devices
CN111263224B (en) Video processing method and device and electronic equipment
US20230118277A1 (en) Method, a device and a system for checkout
CN108876504B (en) Unmanned selling system and control method thereof
US12093889B2 (en) Method, a device and a system for checkout
EP3940614A1 (en) Autonomous shop for self-service retail sales
WO2019158862A1 (en) Device for storing objects and method using such a device
CN111178116A (en) Unmanned vending method, monitoring camera and system
CN111222870A (en) Settlement method, device and system
CN110400138A (en) The method of mobile payment and device of illegal
CN111260685B (en) Video processing method and device and electronic equipment
EP3506166A1 (en) Prediction of movement and topology for a network of cameras
CN107392614B (en) Method and device for realizing offline transactions
CN109934569B (en) Settlement method, device and system
FR3048840A1 (en)
CN112001349A (en) Data auditing method and system and electronic equipment
FR3112467A1 (en) Stand-alone self-service retail store
EP2329474B1 (en) Scene surveillance method and system
FR3112468A1 (en) Stand-alone self-service retail store
FR3112466A1 (en) Stand-alone self-service retail store
FR3118763A1 (en) Device and method for counting and identifying bottles
CN116542686A (en) Unmanned shopping guide method and device, storage medium and electronic equipment
FR2995430A1 (en) Interactive dressing room, has lighting device controlled by set of computer resources, and interaction object allowed to interact with set of computer resources in real-time in cabin via depth camera and display device
WO2024184439A1 (en) Computer-implemented method for automatically detecting abandoned objects

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220610

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240430