[go: up one dir, main page]

RU2018102638A - Обнаружение транспортных средств в условиях низкой освещенности - Google Patents

Обнаружение транспортных средств в условиях низкой освещенности Download PDF

Info

Publication number
RU2018102638A
RU2018102638A RU2018102638A RU2018102638A RU2018102638A RU 2018102638 A RU2018102638 A RU 2018102638A RU 2018102638 A RU2018102638 A RU 2018102638A RU 2018102638 A RU2018102638 A RU 2018102638A RU 2018102638 A RU2018102638 A RU 2018102638A
Authority
RU
Russia
Prior art keywords
vehicle
image
rgb
system memory
blue
Prior art date
Application number
RU2018102638A
Other languages
English (en)
Inventor
Мариам МУСАЕ
Гай ХОТСОН
МУРАЛИ Видия НАРИЯМБУТ
Мадлен Дж. ГОХ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2018102638A publication Critical patent/RU2018102638A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)

Claims (50)

1. Способ обнаружения другого транспортного средства в окружающей среде транспортного средства, содержащий этапы, на которых:
преобразуют кадр RGB в кадр LAB;
фильтруют канал «A» кадра LAB по по меньшей мере одному пороговому значению для получения по меньшей мере одного ограниченного изображения LAB;
извлекают по меньшей мере один контур из по меньшей мере одного ограниченного изображения LAB; и
классифицируют с помощью нейронной сети по меньшей мере один контур как другое транспортное средство в окружающей среде транспортного средства.
2. Способ по п. 1, дополнительно содержащий этап, на котором формируют кадр RGB из изображений RGB, объединенных с множества камер.
3. Способ по п. 1, в котором этап фильтрации канала «A» кадра LAB содержит этап, на котором фильтруют канал «A» кадра LAB с множеством различных пороговых значений размера.
4. Способ по п. 1, в котором этап извлечения по меньшей мере одного контура содержит этапы, на которых:
идентифицируют множество контуров из по меньшей мере одного ограниченного изображения LAB; и
фильтруют по меньшей мере один контур из множества контуров, причем по меньшей мере один контур имеет форму и размер, которые с большей вероятностью соответствуют транспортному средству относительно других контуров в множестве контуров.
5. Способ по п. 1, дополнительно содержащий этап, на котором идентифицируют по меньшей мере одну представляющую интерес область на по меньшей мере одном ограниченном изображении LAB, включая для каждого из по меньшей мере одного контура вырезку представляющей интерес области из по меньшей мере одного ограниченного изображения LAB, которое включает в себя контур.
6. Способ по п. 5, в котором этап классификации с помощью нейронной сети по меньшей мере одного контура как другого транспортного средства в окружающей среде транспортного средства содержит этапы, на которых для каждой из по меньшей мере одной представляющей интерес области:
отправляют представляющую интерес область в нейронную сеть; и
принимают классификацию обратно из нейронной сети, причем классификация классифицирует контур как транспортное средство.
7. Способ по п. 1, дополнительно содержащий этапы, на которых:
принимают изображение RGB от камеры в транспортном средстве, причем изображение RGB захватывается, когда интенсивность освещения в окружающей среде вокруг транспортного средства ниже указанного порогового значения; и
извлекают кадр RGB из изображения RGB.
8. Способ по п. 1, в котором этап преобразования кадра RGB в кадр LAB содержит этап, на котором преобразуют кадр RGB, захватываемый в ночное время камерой в транспортном средстве.
9. Способ по п. 1, в котором этап классификации с помощью нейронной сети по меньшей мере одного контура как другого транспортного средства в окружающей среде транспортного средства содержит этап, на котором отправляют по меньшей мере один контур вместе с данными расстояний от лидарного датчика в нейронную сеть.
10. Транспортное средство, причем транспортное средство содержит:
один или более процессоров;
системную память, соединенную с одним или более процессорами, причем системная память хранит инструкции, которые выполняются одним или более процессорами;
одну или более камер для захвата изображений окружающей среды вокруг транспортного средства;
нейронную сеть для определения того, являются ли контуры, обнаруживаемые в окружающей среде вокруг транспортного средства, другими транспортными средствами; и
причем один или более процессоров выполняют инструкции, хранящиеся в системной памяти, для обнаружения другого транспортного средства в среде с низкой освещенностью вокруг транспортного средства, включая следующее:
прием изображения с цветовой моделью красный, зеленый, синий (RGB), захватываемого одной или более камерами, причем изображение с цветовой моделью красный, зеленый, синий (RGB) относится к среде с низкой освещенностью вокруг транспортного средства;
преобразование изображения с цветовой моделью красный, зеленый, синий (RGB) в изображение с цветовым пространством LAB;
фильтрацию канала «A» изображения LAB по одному или более пороговым значениям для получения по меньшей мере одного ограниченного изображения LAB;
извлечение контура из по меньшей мере одного ограниченного изображение LAB на основе размера и формы контура; и
классификацию контура как другого транспортного средства в среде с низкой освещенностью вокруг транспортного средства на основе сходства с классификацией транспортного средства, определяемой нейронной сетью.
11. Транспортное средство по п. 10, в котором одна или более камер содержат множество камер, и в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для приема изображения с цветовой моделью красный, зеленый, синий (RGB), содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для приема изображения с цветовой моделью красный, зеленый, синий (RGB), полученного путем объединения изображений, захватываемых на множестве камер.
12. Транспортное средство по п. 10, в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для приема изображения с цветовой моделью красный, зеленый, синий (RGB), содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для приема изображения с цветовой моделью красный, зеленый, синий (RGB) от камеры на транспортном средстве, причем изображение с цветовой моделью красный, зеленый, синий (RGB) захватывается, когда интенсивность освещения в окружающей среде вокруг транспортного средства ниже указанного порогового значения.
13. Транспортное средство по п. 10, в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для извлечения по меньшей мере одного контура, содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, чтобы:
идентифицировать множество контуров из по меньшей мере одного ограниченного изображения LAB; и
отфильтровывать по меньшей мере один контур из множества контуров, причем по меньшей мере один контур имеет форму и размер, которые с большей вероятностью соответствуют транспортному средству относительно других контуров в множестве контуров.
14. Транспортное средство по п. 10, дополнительно содержащее один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для идентификации по меньшей мере одной представляющей интерес области в по меньшей мере одном кадре ограниченного изображения LAB, включая для каждого из по меньшей мере одного контура вырезку представляющей интерес области из по меньшей мере одного ограниченного изображения LAB, которое включает в себя контур; и
в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для классификации контура как другого транспортного средства в окружающей среде вокруг транспортного средства, содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, чтобы:
отправлять представляющую интерес область в нейронную сеть; и
принимать классификацию обратно от нейронной сети, причем классификация классифицирует контур как транспортное средство.
15. Транспортное средство по п. 10, в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для классификации контура как другого транспортного средства в окружающей среде вокруг транспортного средства, содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для отправления по меньшей мере одного контура вместе с данными расстояний от лидарного датчика в нейронную сеть.
16. Транспортное средство по п. 10, в котором один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для классификации контура как другого транспортного средства в окружающей среде вокруг транспортного средства, содержат один или более процессоров, выполняющих инструкции, хранящиеся в системной памяти, для классификации по меньшей мере одного контура как транспортного средства, транспортное средство выбирается из числа: легковой автомобиль, фургон, грузовик или мотоцикл.
17. Способ для использования в транспортном средстве, причем способ предназначен для обнаружения другого транспортного средства в среде с низкой освещенностью вокруг транспортного средства, причем способ содержит этапы, на которых:
принимают изображение с цветовой моделью красный, зеленый, синий (RGB), захватываемое одной или более камерами на транспортном средстве, причем изображение с цветовой моделью красный, зеленый, синий (RGB) относится к среде с низкой освещенностью вокруг транспортного средства;
преобразуют изображение с цветовой моделью красный, зеленый, синий (RGB) в изображение с цветовым пространством LAB;
фильтруют канал «A» изображения LAB по по меньшей мере одному пороговому значению для получения по меньшей мере одного ограниченного изображения LAB;
извлекают контур из ограниченного изображения LAB на основе размера и формы контура; и
классифицируют контур как другое транспортное средство в среде с низкой освещенностью вокруг транспортного средства на основе сходства с классификацией транспортного средства, определяемой нейронной сетью.
18. Способ по п. 17, в котором этап приема изображения с цветовой моделью красный, зеленый, синий (RGB), захватываемого одной или более камерами на транспортном средстве, содержит этап, на котором принимают изображение с цветовой моделью красный, зеленый, синий (RGB), захватываемое одной или более камерами, когда интенсивность освещения в окружающей среде вокруг транспортного средства ниже указанного порогового значения.
19. Способ по п. 18, в котором этап приема изображения с цветовой моделью красный, зеленый, синий (RGB), захватываемого одной или более камерами, когда интенсивность освещения в окружающей среде вокруг транспортного средства ниже указанного порогового значения, содержит этап, на котором принимают изображение с цветовой моделью красный, зеленый, синий (RGB), захватываемое одной или более камерами в ночное время.
20. Способ по п. 18, в котором этап классификации контура как другого транспортного средства в окружающей среде вокруг транспортного средства содержит этап, на котором классифицируют по меньшей мере один контур как транспортного средства, причем транспортное средство выбирается из числа: легковой автомобиль, фургон, грузовик или мотоцикл.
RU2018102638A 2017-01-25 2018-01-24 Обнаружение транспортных средств в условиях низкой освещенности RU2018102638A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/415,733 US20180211121A1 (en) 2017-01-25 2017-01-25 Detecting Vehicles In Low Light Conditions
US15/415,733 2017-01-25

Publications (1)

Publication Number Publication Date
RU2018102638A true RU2018102638A (ru) 2019-07-25

Family

ID=61283751

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018102638A RU2018102638A (ru) 2017-01-25 2018-01-24 Обнаружение транспортных средств в условиях низкой освещенности

Country Status (6)

Country Link
US (1) US20180211121A1 (ru)
CN (1) CN108345840A (ru)
DE (1) DE102018101366A1 (ru)
GB (1) GB2560625A (ru)
MX (1) MX2018000835A (ru)
RU (1) RU2018102638A (ru)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796204B2 (en) * 2017-02-27 2020-10-06 Huawei Technologies Co., Ltd. Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
CN109697458A (zh) * 2018-11-27 2019-04-30 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
CN112912896B (zh) * 2018-12-14 2024-06-28 苹果公司 机器学习辅助的图像预测
KR102751276B1 (ko) * 2019-06-07 2025-01-10 현대자동차주식회사 자율주행차량의 위치 인식 장치 및 그 방법
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US12249189B2 (en) * 2019-08-12 2025-03-11 Micron Technology, Inc. Predictive maintenance of automotive lighting
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US12497055B2 (en) 2019-08-21 2025-12-16 Micron Technology, Inc. Monitoring controller area network bus for vehicle control
US12210401B2 (en) 2019-09-05 2025-01-28 Micron Technology, Inc. Temperature based optimization of data storage operations
EP3806065A1 (en) 2019-10-11 2021-04-14 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
CN110909666B (zh) * 2019-11-20 2022-10-25 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11568688B2 (en) * 2020-08-25 2023-01-31 Motional Ad Llc Simulation of autonomous vehicle to improve safety and reliability of autonomous vehicle
CN112308803B (zh) * 2020-11-25 2021-10-01 哈尔滨工业大学 一种基于深度学习的自监督低照度图像增强及去噪方法
EP4113460A1 (en) * 2021-06-29 2023-01-04 Ford Global Technologies, LLC Driver assistance system and method improving its situational awareness
JP7537027B2 (ja) * 2021-07-26 2024-08-20 京セラ株式会社 学習済みモデル生成方法、学習済みモデル生成装置、及び学習済みモデル生成システム
US11766938B1 (en) * 2022-03-23 2023-09-26 GM Global Technology Operations LLC Augmented reality head-up display for overlaying a notification symbol over a visually imperceptible object
WO2023194826A1 (en) * 2022-04-04 2023-10-12 3M Innovative Properties Company Thermal imaging with ai image identification
WO2024146446A1 (en) * 2023-01-04 2024-07-11 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
CN117523526B (zh) * 2023-11-02 2024-07-30 深圳鑫扬明科技有限公司 一种基于机器视觉的车辆检测系统及方法
CN117459669B (zh) * 2023-11-14 2024-06-14 镁佳(武汉)科技有限公司 一种基于虚拟摄像头的视觉应用开发方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
CN105313782B (zh) * 2014-07-28 2018-01-23 现代摩比斯株式会社 车辆行驶辅助系统及其方法

Also Published As

Publication number Publication date
MX2018000835A (es) 2018-11-09
US20180211121A1 (en) 2018-07-26
CN108345840A (zh) 2018-07-31
GB2560625A (en) 2018-09-19
GB201801029D0 (en) 2018-03-07
DE102018101366A1 (de) 2018-07-26

Similar Documents

Publication Publication Date Title
RU2018102638A (ru) Обнаружение транспортных средств в условиях низкой освещенности
CN106384117B (zh) 一种车辆颜色识别方法及装置
US20190087961A1 (en) Signal identifying device, signal identifying method, and driving support system
US20150286884A1 (en) Machine learning approach for detecting mobile phone usage by a driver
CN107679508A (zh) 交通标志检测识别方法、装置及系统
CN104670085B (zh) 车道脱离警报系统
KR102059906B1 (ko) 장면에서 안개를 검출하기 위한 방법 및 이미지 캡처링 디바이스
WO2010137563A1 (ja) 画像処理装置
JP6722041B2 (ja) 監視システム
CN112204566A (zh) 基于机器视觉的图像处理方法和设备
CN105809131A (zh) 一种基于图像处理技术进行车位积水检测的方法及系统
US9256803B2 (en) Automatic detection of persistent changes in naturally varying scenes
CN110830794A (zh) 光源检测方法、终端及存储介质
JP2016110373A (ja) カーブミラー検出装置
CN114643926A (zh) 远光灯的控制方法、系统、设备及存储介质
US10417518B2 (en) Vehicle camera system
Wang et al. A new pedestrian detection algorithm used for Advanced Driver-Assistance System with one cheap camera
WO2018029066A1 (en) Method for detecting a led light source in a sequence of frames, method for detecting a traffic light which comprises at least one led light source, and vehicle
CN105448095A (zh) 一种黄标车检测方法和装置
Pavitha et al. RIOD: Reinforced image-based object detection for unruly weather conditions
CN104866811B (zh) 一种车辆视频中机动车辆的车身颜色自动识别方法
KR101875786B1 (ko) 도로영상에서 후미등영역을 이용한 차량식별방법
KR102188162B1 (ko) 안개 상황에서 차량 검출 방법 및 시스템
Lee et al. A warning system for obstacle detection at vehicle lateral blind spot area
Tsai et al. Nighttime Traffic Light Detection with Arrow Signal Recognition Using a Vision and Learning Based Approach

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20210125