CN105809103A - 虚拟自主响应试验台 - Google Patents
虚拟自主响应试验台 Download PDFInfo
- Publication number
- CN105809103A CN105809103A CN201610024389.2A CN201610024389A CN105809103A CN 105809103 A CN105809103 A CN 105809103A CN 201610024389 A CN201610024389 A CN 201610024389A CN 105809103 A CN105809103 A CN 105809103A
- Authority
- CN
- China
- Prior art keywords
- virtual
- described virtual
- vehicle
- virtual environment
- computing equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/048—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Geometry (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Motorcycle And Bicycle Frame (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种计算设备包括处理电路和数据存储介质,并且被编程为接收表示与在虚拟环境中操作虚拟车辆相关的车辆控制措施的用户输入,根据车辆控制措施虚拟导航虚拟车辆穿过虚拟环境,收集虚拟传感器数据以及处理收集到的虚拟传感器数据。
Description
背景技术
自主车辆被期望解读沿着路边的某些标志。例如,自主车辆被期望在停车标志处停车。自主车辆解读标志的一种方式是通过收集真实世界传感器数据“教导”自主车辆特定标志的样子。收集真实世界传感器数据包括设定物理测试或带着传感器到处驾驶以收集相关数据。在识别路标的情况下,收集传感器数据可以包括收集数以千计不同的路标的图片。根据统一的交通控制设备手册(ManualonUniformTrafficControlDevices),有超过500种联邦政府批准的交通标志。
附图说明
图1说明了具有编程为接收和处理虚拟传感器数据的系统的示例自主车辆;
图2是自主车辆的示例部件的框图;
图3A说明了编程为生成虚拟传感器数据的虚拟环境的示例视图;
图3B说明了编程为生成虚拟传感器数据的虚拟环境的另一个示例视图;
图4是可以被实施以在虚拟环境中测试和/或训练一个或多个虚拟车辆子系统的示例过程的过程流程图。
具体实施方式
开发自主车辆包括相对于驾驶环境测试自主过程。多种多样的测试场景被用于彻底确认自主过程。公开了作为真实世界测试的替代的虚拟环境。所公开的虚拟环境可以包括用于自主驾驶过程的虚拟试验台。传感器模型和图像处理软件可以与虚拟环境和动态交互式驾驶场景交互。虚拟测试可以提供用于驾驶过程的多样且彻底的确认以补充使用真实车辆进行的测试和为其做准备。相比于真实世界测试,虚拟测试在时间、金钱和资源方面可能更便宜。模拟在真实世界测试中模拟将是危险或困难的驾驶场景存在最低的相关风险,使得测试大范围和大数量的场景更容易并且在开发自主控制的过程早期进行。通过整合摄像机与激光雷达、雷达和超声波传感器并且确定对所解读的传感器数据的车辆响应,工具可以在用于自主驾驶的传感器融合过程的开发期间使用。
该方法可以吸收传感器数据并且使用样本数据识别需要被设计和改进的虚拟车辆的周围环境的关键元素。例如,识别路标的分类器可能需要使用这些标志的图像——包括大而多样的图像集——来训练以便避免数据集偏差并且促进在一系列条件下的正确检测。在虚拟环境中,数以千计的模拟的摄像机图像可以在数秒内生成,使得这种方法成为最小化偏差并且优化分类器性能的一种有效方法。生成表示在美国的所有交通标志的数据库也将是可能的。
级联分类器——其可以在OpenCV(开放源代码计算机视觉类库)C++库中找到——可以用于识别多种路标。这些标志的图像可以在具有随机化的取向、与摄像机的距离、阴影和照明条件、和部分遮挡的虚拟环境中生成。机器学习过程可以吸收这些图像连同其中路标的位置和边界框作为输入,使用图像处理技术生成特征并且训练分类器以识别每个标志类型。类似的过程可以被实施以开发用于其他传感器类型的检测和识别过程。
示出的元件可以采取许多不同的形式并且包括多个和/或替代部件和设备。所说明的示例部件并不旨在进行限制。事实上,可以使用附加或替代部件和/或实施方式。
如图1所示,自主车辆100包括车辆系统105,车辆系统105被编程为接收在虚拟环境中通过计算设备110生成的虚拟传感器数据。计算设备110可以被编程为模拟虚拟环境。虚拟环境可以呈现多个驾驶场景。每个驾驶场景可以包括道路,该道路具有道路上或沿着路边的各种对象。例如,驾驶场景可以包括行驶中或停放的其它车辆、街道标志、树木、灌木、建筑物、行人、或诸如此类。不同的驾驶场景可以进一步包括不同的天气条件,例如雨、雪、雾等。此外,驾驶场景可以限定不同类型的道路或地形。示例可以包括高速公路、地面街道、山路、或诸如此类。
计算设备110——其可以包括数据存储介质110A和处理电路110B——可以被编程为模拟行驶通过虚拟环境的虚拟车辆。模拟可以包括基于呈现在虚拟环境中的条件收集虚拟传感器数据的虚拟传感器。计算设备110可以被编程为收集虚拟传感器数据,如将在真实车辆上收集的那样。例如,计算设备110可以模拟具有犹如虚拟传感器在真实的车辆上的虚拟环境视野的虚拟传感器。因此,虚拟传感器数据可以反映关于检测例如标志的真实世界条件。在真实世界条件中,车辆传感器的标志视野可以部分或完全被对象——例如另一车辆或树——阻断。通过模拟虚拟传感器具有犹如它在真实车辆上的视野,虚拟传感器可以根据在真实世界条件下传感器将具有的视野收集虚拟数据。
计算设备110的输出可以包括虚拟传感器数据,虚拟传感器数据可以用于测试目的、训练目的、或两者并且可以表示由于模拟导航虚拟车辆通过虚拟环境而由虚拟传感器收集到的传感器数据。虚拟传感器数据最终可以用于生成校准数据,校准数据可以上传到车辆系统105,使得自主车辆100(真实世界车辆)的一个或多个子系统可以根据在测试或训练期间当导航虚拟车辆通过虚拟环境时发生的收集到的虚拟传感器数据来校准。校准数据可以由相同或不同的计算设备110来生成,并且可以从多个虚拟传感器数据集生成。此外,在多次模拟期间生成的虚拟传感器数据可以被合计并且处理以生成校正数据。因此,计算设备110不必在收集虚拟传感器数据之后立即输出任何校准数据。采用校准数据,真实世界车辆子系统可以被“训练”以根据如由虚拟传感器数据表示的在虚拟环境中模拟的场景识别某些场景。
尽管作为轿车进行说明,但是自主车辆100可以包括任何客用或商用机动车,例如小汽车、卡车、运动型多用途车、跨界车、厢式货车、小型货车、出租车、公共汽车等。此外,自主车辆100可以被配置为在完全自主(例如,无人驾驶)模式或部分自主模式下操作。
图2说明了自主车辆100的示例部件。如所示的,自主车辆100包括用户界面设备115、导航系统120、通信接口125、自主驾驶传感器130、自主模式控制器135和处理设备140。
用户界面设备115可以被配置或编程为在自主车辆100操作过程中呈现信息给用户,例如驾驶员。此外,用户界面设备115可以被配置或编程为接收用户输入。因此,用户界面设备115可以被定位在自主车辆100的乘客舱中。在一些可能的方法中,用户界面设备115可以包括触敏显示屏幕。
导航系统120可以被配置或编程为确定自主车辆100的位置。导航系统120可以包括配置或编程为三角测量自主车辆100相对于卫星或基于陆地的发射塔的位置的全球定位系统(GPS)接收器。因此,导航系统120可以被配置或编程为进行无线通信。导航系统120可以进一步被配置或编程为制定从当前位置到选定的目的地的路线,以及经由例如用户界面设备115显示到选定的目的地的地图和当前行驶方向。在一些情况下,导航系统120可以根据用户偏好制定路线。用户偏好的示例可以包括最大化燃料效率、减少行驶时间、行驶最短的距离、或诸如此类。
通信接口125可以被配置或编程为促进自主车辆100的部件和其它设备——例如远程服务器或当使用例如车辆与车辆通信协议时甚至另一车辆——之间的有线和/或无线通信。通信接口125可以被配置或编程为从移动电话供应商的塔和与车辆关联的远程信息处理服务交付网络(SDN)接收消息并发送消息至移动电话供应商的塔和与车辆关联的远程信息处理服务交付网络(SDN),其进而与用户的移动设备——例如手机、平板计算机、便携式计算机、密钥卡、便携式信息终端、或配置用于经由次级或相同的移动电话供应商进行无线通信的任何其他电子设备——建立通信。通过SDN至远程信息处理收发器的蜂窝通信也可以从互联网连接设备发起,例如从PC(个人电脑)、便携式电脑、笔记本电脑、或WiFi连接的电话。通信接口125也可以被配置或编程为使用任何数目的通信协议——例如 低能耗(LowEnergy),或Wi-Fi(无线保真技术)——从自主车辆100到用户的远程设备或任何其他设备直接通信。车辆与车辆通信协议的示例可以包括,例如,专用短程通信(DSRC)协议。相应地,通信接口125可以被配置或编程为从远程服务器和/或其他车辆接收消息和/或发送消息到远程服务器和/或其他车辆。
自主驾驶传感器130可以包括被配置或编程为生成当自主车辆100在自主(例如,无人驾驶)模式中操作时帮助导航自主车辆100的信号的任何数量的设备。自主驾驶传感器130的示例可以包括雷达传感器、激光雷达传感器、视觉传感器、或诸如此类。当车辆在自主模式中操作时,自主驾驶传感器130帮助自主车辆100“看到”道路和车辆周围环境和/或越过各种障碍物。在一个可能的实施方式中,自主驾驶传感器130可以根据由于相对于虚拟环境所执行的模拟而由计算设备110输出的虚拟驾驶数据来校准。
自主模式控制器135可以被配置或编程为当车辆在自主模式中操作时控制一个或多个子系统145。可以由自主模式控制器135控制的子系统145的示例可以包括制动子系统、悬挂子系统、转向子系统、和动力传动子系统。自主模式控制器135可以通过输出信号至与这些子系统145关联的控制单元来控制这些子系统145中的任何一个或多个。自主模式控制器135可以至少部分基于由自主驾驶传感器130生成的信号来控制子系统145。在一个可能的例子中,自主模式控制器135可以根据由于相对于虚拟环境所执行的模拟而由计算设备110输出的虚拟驾驶数据来校准。
处理设备140可以被编程为接收和处理由计算设备110生成的虚拟数据信号。处理虚拟数据信号可以包括例如生成用于自主驾驶传感器130、自主模式控制器135、或两者的校准设置。校准设置可以“教导”自主驾驶传感器130和自主模式控制器135以更好地解读自主车辆100周围的环境。
图3A-3B说明了被编程为生成虚拟传感器数据的虚拟环境150的示例视图。图3A示出了来自车载传感器——例如摄像机——的虚拟视野。换言之,图3A示出了摄像机将如何“看到”虚拟环境150。然而,图3B示出了一个可能的“试验者”视野。“试验者”视野允许摄像机或其他传感器被定位在虚拟车辆外部、虚拟车辆的驾驶员的座椅处、或相对于虚拟车辆的任何其他位置。
通过呈现在虚拟环境150中的交互式虚拟场景,用户可以导航虚拟车辆通过虚拟环境150以测试标志和障碍物检测过程、观察自主驾驶过程性能、或体验自主和手动驾驶模式之间的切换。虚拟环境150可以实时呈现例如路标检测分类器的输出,如图3A所示,显示每个检测到的标志的位置和直径。
计算设备110整合采用三维建模和动画工具创建的虚拟驾驶环境和传感器模型以在相对短的时间量生成大量的虚拟传感器数据。在标志检测的情况下,记录的数据中的相关参数——例如照明以及路标取向——可以被随机化以确保多样的数据集具有最小偏差。此外,虚拟车辆的某些系统可以在虚拟环境中控制。例如可以控制虚拟车辆的节气门、制动器、转向和其他驾驶员输入。因此,计算设备110可以测试真实世界自主车辆可以如何响应经由虚拟环境呈现的各种条件。换言之,使用虚拟环境中的虚拟车辆,计算设备110可以模拟当呈现有类似于例如以上讨论的虚拟传感器数据的传感器数据时真实世界车辆将如何响应。
相比于收集真实世界数据,收集虚拟数据在时间、金钱和资源方面更便宜。在短短几分钟内,数以千计的给定的路标类型的虚拟图像可以被接收和被分析。相当数量的真实世界数据将花费几个小时来收集。
图4是用于根据当导航虚拟环境时收集到的虚拟传感器数据而测试和/或训练一个或多个自主驾驶传感器130的示例过程400的过程流程图。
在框405,计算设备110可以加载虚拟环境的模拟。虚拟环境的模拟可以包括在真实世界操作期间自主车辆可见的元素。例如,虚拟环境可以包括虚拟道路、树木、标志、交通控制设备(例如停止行进号志)、桥梁和其它基础设施(例如路灯)、其他车辆、行人、建筑物、人行道、路边等。此外,虚拟环境可以被编程为呈现不同的道路和结构。例如,不同的道路可以包括十字路口、公路、具有停放的车辆的住宅街道、城市地区、农村地区、高速公路、入口匝道、出口匝道、隧道、桥梁、污垢或碎石道路、具有不同的曲率和道路坡度的道路、平坦的道路、带凹坑的道路、穿过火车轨道的道路,等等。此外,虚拟环境可以模拟不同的天气和照明条件。例如,虚拟环境可以模拟雨、雪、冰等,以及黎明、白天、夜晚、黄昏、和夜间照明条件。
在框410,计算设备110可以接收选择各种测试参数的用户输入。测试参数可以包括,例如,选择驾驶条件的类型的用户输入。因此,用户输入可以包括天气条件、照明条件、或两者(例如,在黄昏下雨)的选择,以及包括道路类型或区域(例如,十字路口、公路、城市地区、农村地区,等)的任何其他因素的选择。
在框415,计算设备110可以根据在框410接收到的用户输入生成虚拟环境。虚拟环境可以呈现在显示屏幕155上。虚拟环境可以根据以上讨论的“试验者”视野或来自一个或多个自主车辆传感器130——例如车载摄像机——的视野来呈现。此外,显示屏幕可以呈现具有在框405选择的各种条件的虚拟环境,包括天气条件、照明条件、或诸如此类。在一些可能的例子中,生成虚拟环境可包括生成随机测试参数。随机测试参数的示例可以包括例如随机照明条件、随机天气条件、随机标志放置、随机标志取向等。
在框420,计算设备110可以导航虚拟车辆通过虚拟环境。导航通过虚拟环境可以包括经由例如用户输入确定终点和导航虚拟车辆通过虚拟环境到终点。虚拟车辆的自主操作可以基于传感器输入,犹如虚拟车辆是在由计算设备110模拟的真实世界环境中导航的自主车辆那样。可选择地,导航虚拟环境可以包括显示如将显示给一个或多个自主驾驶传感器130的虚拟环境。因此,代替显示行驶通过虚拟环境或虚拟驾驶员的视野的虚拟车辆,用户可以仅看到自主驾驶传感器130的各种视野。
在一个可能的实施方式中,在框420,计算设备110可以响应于表示车辆控制措施的用户输入而导航虚拟车辆通过虚拟环境。车辆控制措施可以包括控制虚拟车辆中的某些虚拟系统的命令。这样的系统的示例可以包括虚拟节气门系统、虚拟制动系统、虚拟转向系统、或诸如此类。因此,虚拟车辆命令可以用于实时虚拟导航虚拟车辆通过虚拟环境。
在框425,计算设备110可以生成表示由虚拟传感器收集到的数据的虚拟传感器数据。因此,虚拟传感器数据可以表示导航通过与模拟的环境相同的真实世界环境的真实世界自主车辆传感器130已收集到的数据。例如,虚拟传感器数据可以表明自主车辆传感器130是否已识别出例如部分隐藏——例如部分被树阻挡——或在低照明条件下(例如在黄昏或夜间,附近没有路灯)的停车标志。在一个可能的例子中,生成虚拟传感器数据包括根据传感器类型捕获摄像机图像数据或光线追踪的传感器数据并且将所捕获的摄像机图像数据或光线追踪的传感器数据存储到存储设备中,在存储设备中,这些数据可以根据信号处理代码被访问和被处理。数据可以在被输出到例如对象检测模块之前以反映真实世界传感器的局限性的方式进行处理。对象检测模块可以处理模拟的传感器数据并输出包括关于任何检测到的对象的相对位置、大小和对象类型的信息。检测到的对象可以使用覆盖在显示每个传感器的视野点的模拟窗口(例如,显示屏幕155)上的标记和标签来显示。计算设备的输出可以被加盖时间戳并写入到文件中供以后研究或使用。
在框430,计算设备110可以处理虚拟传感器数据以生成输出数据,输出数据可以包括测试数据、教导数据、或二者。输出数据可以基于在框425生成的虚拟传感器数据。就是说,输出数据可以帮助识别用于自主驾驶传感器130的特定设置以适当地识别在框410选择的场景下的路标、行人、车道标记、其他车辆等。在一些情况下,输出数据可以表示包括与在最大场景集中识别最多数量的对象相关联的设置的虚拟传感器数据的趋势。在其它情况下,输出数据可以针对一场景集,在这种情况下,可以生成用于在自主车辆100中最终使用的多个输出数据集。最终,输出数据,或输出数据的集合,可以被加载到车辆系统105中作为例如在真实世界自主车辆100中操作的校准数据。当校准数据被加载到车辆系统105中时,自主驾驶传感器130可以应用适当的设置以正确地识别在框410选择的场景下的对象。
通常,所描述的计算系统和/或设备可以使用许多计算机操作系统中的任何一个,包括但并不限于以下的版本和/或变体:福特操作系统、Microsoft操作系统、Unix操作系统(如,加利福尼亚红木滩的甲骨文公司发售的操作系统)、纽约阿蒙克市的国际商业机器公司发售的AIXUNIX操作系统、Linux操作系统、加利福尼亚库比蒂诺的苹果公司发售的MacOSX和iOS操作系统、加拿大滑铁卢的黑莓公司发售的黑莓OS以及谷歌公司和开放手机联盟开发的安卓操作系统。计算设备的示例包括,但不限于,车载车辆计算机、计算机工作站、服务器、台式机、笔记本电脑、便携式电脑、或手持式计算机、或一些其他计算系统和/或设备。
计算设备通常包括计算机可执行的指令,其中指令可以通过例如上面所列的那些的一种或多种计算设备来执行。计算机可执行的指令可以从计算机程序来编译或解读,计算机程序使用多种程序设计语言和/或技术建立,这些语言和/或技术包括但不限于JavaTM、C、C++、VisualBasic、JavaScript、Perl等中单独一个或结合。通常,处理器(如微处理器)如从存储器、计算机可读介质等接收指令,并且执行这些指令,从而执行一个或多个过程,包括一个或多个在此所述的过程。这样的指令和其它数据可以使用多种计算机可读介质存储和传送。
计算机可读介质(也称为处理器可读介质)包括参与提供计算机可读(如通过计算机的处理器)的数据(如指令)的非暂时性(如有形的)介质。这样的介质可以采取许多形式,包括但不限于非易失性介质和易失性介质。非易失性介质可以包括,例如光盘或磁盘以及其他持续内存。易失性介质可以包括例如动态随机存取存储器(DRAM),其典型地构成主存储器。这样的指令可以通过一个或多个传送介质来传送,包括同轴电缆、铜线和光纤,包括包含耦接到计算机的处理器的系统总线的线。计算机可读介质的普遍形式包括,例如软盘(floppydisk)、柔性盘(flexibledisk)、硬盘、磁带、任何其它磁性介质、CD-ROM(光盘只读存储器)、DVD(数字化视频光盘)、任何其它光学介质、穿孔卡片、纸带、任何其它具有孔排列模式的物理介质、RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、FLASH-EEPROM(闪速电可擦除可编程只读存储器),任何其它存储芯片或内存盒,或任何其它计算机可读的介质。
数据库、数据储存库、或在此所描述的其它数据存储可以包括用于存储、访问和检索多种数据的各种类型的机制,包括层次数据库、文件系统中的文件集、专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个这样的数据存储通常包括在使用例如上述提到的那些之一的计算机操作系统的计算设备内,并且经由网络以各种方式中的任意一种或多种进行访问。文件系统可以从计算机操作系统访问,并且可以包括以多种格式存储的文件。RDBMS除了使用用于创建、存储、编辑和执行存储过程的语言之外,通常使用结构化查询语言(SQL),例如以上提到的过程化SQL(PL/SQL)语言。
在一些示例中,系统元件可以被实施为在一个或多个计算设备(如,服务器,个人电脑等)上的计算机可读指令(如,软件),存储在与此相关的计算机可读介质(如,盘,存储器等)上。计算机程序产品可以包含存储在计算机可读介质中用于执行在此所述的功能的这样的指令。
至于在此所述的过程、系统、方法、启发等,应当理解的是,虽然这些过程的步骤等已被描述成根据一定的有序序列发生,但是这样的过程可以实施为以不同于在此所述顺序的顺序来执行所述步骤。进一步应当理解的是,某些步骤可以同时执行,其它步骤可以增加,或在此所述的某些步骤可以省略。换言之,提供在此的过程的描述目的在于说明某些实施例,而不应以任何方式被解释为限制权利要求。
因此,应当理解的是,上述说明书旨在说明而不是限制。除了提供的示例,在阅读上述说明书的基础之上许多实施例和应用是显而易见的。本发明的范围不应参照上述说明书来确定,而是应该参照所附权利要求连同这些权利要求所享有的全部等效范围来确定。可以预见和预期未来的发展将会发生在在此所讨论的领域,且本发明所公开的系统和方法将被结合到这些未来的实施例中。总之,应当理解的是,本发明能够进行修改和变化。
在权利要求中使用的所有术语旨在被给予它们如本领域技术人员所理解的通常含义,除非在此作出明确相反的指示。特别是单数冠词如“一”,“该”,“所述”等的使用应被理解为叙述一个或多个所示元件,除非权利要求中叙述了明确相反的限制。
提供摘要以允许读者快速弄清此技术公开的本质。提交该摘要的情况下,应理解其不用于解释或限制权利要求的范围和含义。此外,在前述具体实施方式中,可以看出,为了精简本发明的目的,不同的特征被集合在不同的实施例中。这种公开方法不应被解释为反映所要求保护的实施例需要比在每项权利要求中清楚叙述的更多的特征的意图。相反,如以下权利要求反映的那样,发明主旨在于少于单一公开的实施例的所有特征。因此,以下权利要求以此方式结合到具体实施方式中,而每条权利要求自身作为单独要求保护的主题。
Claims (20)
1.一种计算设备,包含处理电路和数据存储介质,其中所述计算设备被编程为:
接收表示与在虚拟环境中操作虚拟车辆相关的车辆控制措施的用户输入;
根据所述车辆控制措施来虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理所述收集到的虚拟传感器数据。
2.根据权利要求1所述的计算设备,其中所述计算设备被编程为至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据。
3.根据权利要求1所述的计算设备,其中所述计算设备被编程为从所述虚拟传感器数据生成校准数据,其中所述校准数据被上传到自主车辆。
4.根据权利要求1所述的计算设备,其中所述计算设备被编程为实时虚拟导航所述虚拟车辆穿过所述虚拟环境。
5.根据权利要求4所述的计算设备,其中所述虚拟传感器至少部分基于包含在自主车辆中的自主驾驶传感器。
6.根据权利要求1所述的计算设备,其中所述车辆控制措施包括控制虚拟节气门系统、虚拟制动系统和虚拟转向系统中的至少一个。
7.根据权利要求1所述的计算设备,其中生成所述虚拟环境包括生成具有随机测试参数的所述虚拟环境。
8.根据权利要求7所述的计算设备,其中生成具有随机测试参数的所述虚拟环境包括生成模拟随机照明条件、随机天气条件、随机标志放置和随机标志取向中的至少一个的所述虚拟环境。
9.一种方法,包含:
接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入;
模拟包含所述至少一个测试参数的所述虚拟环境;
虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理收集到的所述虚拟传感器数据。
10.根据权利要求1所述的方法,进一步包含至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据。
11.根据权利要求1所述的方法,进一步包含从所述虚拟传感器数据生成用于上传到自主车辆的校准数据。
12.根据权利要求1所述的方法,其中至少部分基于包含在所述虚拟车辆中的虚拟传感器而虚拟导航所述虚拟车辆穿过所述虚拟环境。
13.根据权利要求12所述的方法,其中所述虚拟传感器至少部分基于包含在自主车辆中的自主驾驶传感器。
14.根据权利要求1所述的方法,进一步包含至少部分基于所述用户输入而生成所述虚拟环境。
15.根据权利要求14所述的方法,其中生成所述虚拟环境包括生成模拟天气条件的所述虚拟环境。
16.根据权利要求14所述的方法,其中生成所述虚拟环境包括生成模拟照明条件的所述虚拟环境。
17.一种计算系统,包含:
显示屏幕;以及
具有处理电路和数据存储介质的计算设备,其中所述计算设备被编程为:
接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入;
模拟包含所述至少一个测试参数的所述虚拟环境;
虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理收集到的所述虚拟传感器数据;
其中使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航被呈现在所述显示屏幕上。
18.根据权利要求17所述的计算系统,其中所述计算设备被编程为至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据并且经由所述显示屏幕输出所述虚拟传感器数据。
19.根据权利要求17所述的计算系统,其中所述计算设备被编程为至少部分基于所述用户输入而生成所述虚拟环境,其中生成所述虚拟环境包括生成模拟天气条件和照明条件中的至少一个的所述虚拟环境。
20.根据权利要求17所述的计算系统,其中所述虚拟环境在所述用户显示设备上的所述呈现包括对天气条件和照明条件中的至少一个的图示。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562106074P | 2015-01-21 | 2015-01-21 | |
| US62/106,074 | 2015-01-21 | ||
| US14/945,791 | 2015-11-19 | ||
| US14/945,791 US20160210383A1 (en) | 2015-01-21 | 2015-11-19 | Virtual autonomous response testbed |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105809103A true CN105809103A (zh) | 2016-07-27 |
Family
ID=55534719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610024389.2A Withdrawn CN105809103A (zh) | 2015-01-21 | 2016-01-14 | 虚拟自主响应试验台 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20160210383A1 (zh) |
| CN (1) | CN105809103A (zh) |
| DE (1) | DE102016100492A1 (zh) |
| GB (1) | GB2536549A (zh) |
| MX (1) | MX2016000873A (zh) |
| RU (1) | RU2015156117A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107153363A (zh) * | 2017-05-08 | 2017-09-12 | 百度在线网络技术(北京)有限公司 | 无人驾驶汽车的仿真测试方法及装置、设备与可读介质 |
| CN107784151A (zh) * | 2016-08-26 | 2018-03-09 | 福特全球技术公司 | 雷达和超声传感器的物理建模 |
| CN109740184A (zh) * | 2018-12-07 | 2019-05-10 | 吉林大学 | 二次压入实现凹坑形微阵列结构单元表面平坦化的方法 |
| CN112146664A (zh) * | 2019-06-28 | 2020-12-29 | 罗伯特·博世有限公司 | 用于提供数字的道路地图的方法 |
| CN114207693A (zh) * | 2019-05-27 | 2022-03-18 | 哲纳提公司 | 用于支持生成用于测试自主驾驶和/或高级驾驶员辅助系统功能的场景的方法和服务器 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10769453B2 (en) | 2017-05-16 | 2020-09-08 | Samsung Electronics Co., Ltd. | Electronic device and method of controlling operation of vehicle |
| US10229363B2 (en) * | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
| US10474964B2 (en) | 2016-01-26 | 2019-11-12 | Ford Global Technologies, Llc | Training algorithm for collision avoidance |
| US11210436B2 (en) * | 2016-07-07 | 2021-12-28 | Ford Global Technologies, Llc | Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions |
| US10521677B2 (en) * | 2016-07-14 | 2019-12-31 | Ford Global Technologies, Llc | Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms |
| EP3485378A1 (en) * | 2016-08-02 | 2019-05-22 | Siemens Aktiengesellschaft | Monitoring and controlling unit for use in an autonomous system with self-x properties |
| US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
| CN111226268A (zh) | 2017-05-02 | 2020-06-02 | 密歇根大学董事会 | 用于自动驾驶车辆的模拟车辆交通 |
| US10803323B2 (en) | 2017-05-16 | 2020-10-13 | Samsung Electronics Co., Ltd. | Electronic device and method of detecting driving event of vehicle |
| US10558217B2 (en) | 2017-08-28 | 2020-02-11 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
| CN107527074B (zh) * | 2017-09-05 | 2020-04-07 | 百度在线网络技术(北京)有限公司 | 用于车辆的图像处理方法和装置 |
| US10885240B2 (en) * | 2017-11-02 | 2021-01-05 | Uatc, Llc | Deterministic simulation framework for autonomous vehicle testing |
| US11584390B2 (en) | 2017-12-28 | 2023-02-21 | Intel Corporation | System and method for simulation of autonomous vehicles |
| JP7061873B2 (ja) * | 2017-12-28 | 2022-05-02 | ジオテクノロジーズ株式会社 | 情報処理装置、情報処理プログラム及び情報処理方法 |
| US11954651B2 (en) * | 2018-03-19 | 2024-04-09 | Toyota Jidosha Kabushiki Kaisha | Sensor-based digital twin system for vehicular analysis |
| US10817752B2 (en) | 2018-05-31 | 2020-10-27 | Toyota Research Institute, Inc. | Virtually boosted training |
| EP3584725A1 (en) * | 2018-06-18 | 2019-12-25 | Istanbul Okan Üniversitesi | Accelerated virtual autonomous vehicle testing system in real road conditions |
| US11508049B2 (en) * | 2018-09-13 | 2022-11-22 | Nvidia Corporation | Deep neural network processing for sensor blindness detection in autonomous machine applications |
| US20200134494A1 (en) * | 2018-10-26 | 2020-04-30 | Uatc, Llc | Systems and Methods for Generating Artificial Scenarios for an Autonomous Vehicle |
| US10482003B1 (en) | 2018-11-09 | 2019-11-19 | Aimotive Kft. | Method and system for modifying a control unit of an autonomous car |
| US11422551B2 (en) * | 2018-12-27 | 2022-08-23 | Intel Corporation | Technologies for providing a cognitive capacity test for autonomous driving |
| CN109885929B (zh) * | 2019-02-19 | 2023-07-07 | 百度在线网络技术(北京)有限公司 | 自动驾驶决策规划数据复现方法及装置 |
| CN109933856B (zh) * | 2019-02-19 | 2023-07-07 | 百度在线网络技术(北京)有限公司 | 自动驾驶决策规划数据复现方法及装置 |
| WO2022180759A1 (ja) * | 2021-02-26 | 2022-09-01 | 三菱電機株式会社 | 制御ロジック生成システム、制御ロジック生成方法、制御ロジック生成プログラム、及び制御ロジック実行装置 |
| EP4202753A1 (de) * | 2021-12-21 | 2023-06-28 | dSPACE GmbH | Erzeugen von testdaten zum testen eines einen sensordatenstrom auswertenden steuersystems eines kraftfahrzeugs |
| EP4202760A1 (de) * | 2021-12-21 | 2023-06-28 | dSPACE GmbH | Computerimplementiertes verfahren zum erstellen einer dreidimensionalen simulationsumgebung |
| US20240069505A1 (en) * | 2022-08-31 | 2024-02-29 | Gm Cruise Holdings Llc | Simulating autonomous vehicle operations and outcomes for technical changes |
| CN121411850A (zh) | 2024-07-24 | 2026-01-27 | 通用汽车环球科技运作有限责任公司 | 自动驾驶车辆模拟中控制转移的自适应交互式人机界面 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080027590A1 (en) * | 2006-07-14 | 2008-01-31 | Emilie Phillips | Autonomous behaviors for a remote vehicle |
| CN101239626A (zh) * | 2007-02-09 | 2008-08-13 | 财团法人车辆研究测试中心 | 虚拟道路边界的辅助驾驶装置 |
| CN101872559A (zh) * | 2010-06-08 | 2010-10-27 | 广东工业大学 | 一种面向汽车驾驶模拟器的虚拟驾驶主动安全预警系统及预警方法 |
| CN102522022A (zh) * | 2011-12-13 | 2012-06-27 | 中联重科股份有限公司 | 驾驶设备虚拟训练系统的操作机构信号采集系统及设备 |
| US20120290169A1 (en) * | 2011-05-10 | 2012-11-15 | GM Global Technology Operations LLC | Novel sensor alignment process and tools for active safety vehicle applications |
| CN202748964U (zh) * | 2012-07-06 | 2013-02-20 | 长安大学 | 一种基于计算机的虚拟驾驶系统 |
| CN103050027A (zh) * | 2012-12-28 | 2013-04-17 | 武汉理工大学 | 具有立体视觉的驾驶模拟器 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5590062A (en) * | 1993-07-02 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Simulator for producing various living environments mainly for visual perception |
| US7363567B2 (en) * | 2003-08-28 | 2008-04-22 | Agilent Technologies, Inc. | System and method for electronic device testing using random parameter looping |
| JP4211594B2 (ja) * | 2003-12-18 | 2009-01-21 | 日産自動車株式会社 | 3次元路面走行環境モデルおよび同モデルを備えた車両挙動制御システムの評価装置 |
| KR20110059134A (ko) * | 2009-11-27 | 2011-06-02 | 주식회사 맵퍼스 | 학습 기능을 갖는 내비게이션 단말기 및 이를 위한 학습 방법 |
| US8913056B2 (en) * | 2010-08-04 | 2014-12-16 | Apple Inc. | Three dimensional user interface effects on a display by using properties of motion |
| EP2608153A1 (en) * | 2011-12-21 | 2013-06-26 | Harman Becker Automotive Systems GmbH | Method and system for playing an augmented reality game in a motor vehicle |
-
2015
- 2015-11-19 US US14/945,791 patent/US20160210383A1/en not_active Abandoned
- 2015-12-28 RU RU2015156117A patent/RU2015156117A/ru not_active Application Discontinuation
-
2016
- 2016-01-13 DE DE102016100492.8A patent/DE102016100492A1/de not_active Withdrawn
- 2016-01-14 CN CN201610024389.2A patent/CN105809103A/zh not_active Withdrawn
- 2016-01-21 MX MX2016000873A patent/MX2016000873A/es unknown
- 2016-01-21 GB GB1601126.4A patent/GB2536549A/en not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080027590A1 (en) * | 2006-07-14 | 2008-01-31 | Emilie Phillips | Autonomous behaviors for a remote vehicle |
| CN101239626A (zh) * | 2007-02-09 | 2008-08-13 | 财团法人车辆研究测试中心 | 虚拟道路边界的辅助驾驶装置 |
| CN101872559A (zh) * | 2010-06-08 | 2010-10-27 | 广东工业大学 | 一种面向汽车驾驶模拟器的虚拟驾驶主动安全预警系统及预警方法 |
| US20120290169A1 (en) * | 2011-05-10 | 2012-11-15 | GM Global Technology Operations LLC | Novel sensor alignment process and tools for active safety vehicle applications |
| CN102522022A (zh) * | 2011-12-13 | 2012-06-27 | 中联重科股份有限公司 | 驾驶设备虚拟训练系统的操作机构信号采集系统及设备 |
| CN202748964U (zh) * | 2012-07-06 | 2013-02-20 | 长安大学 | 一种基于计算机的虚拟驾驶系统 |
| CN103050027A (zh) * | 2012-12-28 | 2013-04-17 | 武汉理工大学 | 具有立体视觉的驾驶模拟器 |
Non-Patent Citations (1)
| Title |
|---|
| SHUIYING WANG 等: "Shader-based Sensor Simulation for Autonomous Car Testing", 《2012 15TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784151A (zh) * | 2016-08-26 | 2018-03-09 | 福特全球技术公司 | 雷达和超声传感器的物理建模 |
| CN107153363A (zh) * | 2017-05-08 | 2017-09-12 | 百度在线网络技术(北京)有限公司 | 无人驾驶汽车的仿真测试方法及装置、设备与可读介质 |
| CN109740184A (zh) * | 2018-12-07 | 2019-05-10 | 吉林大学 | 二次压入实现凹坑形微阵列结构单元表面平坦化的方法 |
| CN109740184B (zh) * | 2018-12-07 | 2022-04-12 | 吉林大学 | 二次压入实现凹坑形微阵列结构单元表面平坦化的方法 |
| CN114207693A (zh) * | 2019-05-27 | 2022-03-18 | 哲纳提公司 | 用于支持生成用于测试自主驾驶和/或高级驾驶员辅助系统功能的场景的方法和服务器 |
| CN114207693B (zh) * | 2019-05-27 | 2025-09-19 | 哲纳提公司 | 用于支持生成用于测试自主驾驶和/或高级驾驶员辅助系统功能的场景的方法和服务器 |
| CN112146664A (zh) * | 2019-06-28 | 2020-12-29 | 罗伯特·博世有限公司 | 用于提供数字的道路地图的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2016000873A (es) | 2016-07-20 |
| RU2015156117A (ru) | 2017-07-04 |
| DE102016100492A1 (de) | 2016-07-21 |
| GB201601126D0 (en) | 2016-03-09 |
| GB2536549A (en) | 2016-09-21 |
| US20160210383A1 (en) | 2016-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809103A (zh) | 虚拟自主响应试验台 | |
| US20160210382A1 (en) | Autonomous driving refined in virtual environments | |
| US12164410B2 (en) | Autonomous vehicle testing systems and methods | |
| US20160210775A1 (en) | Virtual sensor testbed | |
| CN109211575B (zh) | 无人驾驶汽车及其场地测试方法、装置及可读介质 | |
| CN107031656B (zh) | 用于车轮止动器检测的虚拟传感器数据生成 | |
| US11221399B2 (en) | Detecting spurious objects for autonomous vehicles | |
| CN107843440B (zh) | 一种自动驾驶车辆性能测试系统及方法 | |
| US12315316B2 (en) | Systems and methods for modeling and simulation in vehicle forensics | |
| CN114077541A (zh) | 验证用于自动驾驶车辆的自动控制软件的方法和系统 | |
| CN115031743A (zh) | 对收集的相对于公共道路路段的信息关联的系统和方法 | |
| US20190378363A1 (en) | Management of data and software for autonomous vehicles | |
| CN116391161A (zh) | 在自主载具运行期间模拟情景的载具内操作 | |
| JP2019525148A (ja) | 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信 | |
| CN107589418A (zh) | 用于护柱接收器检测的虚拟传感器数据生成 | |
| CN108805930A (zh) | 自动驾驶车辆的定位方法和系统 | |
| US20240232460A1 (en) | Machine learning for autonomous vehicles using parameterizable features | |
| CN116311131A (zh) | 一种基于多目环视的智能驾培增强方法、系统、装置 | |
| CN114722931A (zh) | 车载数据处理方法、装置、数据采集设备和存储介质 | |
| US10991178B2 (en) | Systems and methods for trailer safety compliance | |
| JP7025372B2 (ja) | 物体識別装置、方法およびシステム | |
| US20240169112A1 (en) | Simulation fidelity for end-to-end vehicle behavior | |
| CN115237747A (zh) | 车辆软件影子模式测试 | |
| US20240232457A1 (en) | Test validation | |
| Murray et al. | Mobile mapping system for the automated detection and analysis of road delineation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20160727 |