[go: up one dir, main page]

CN114401876B - 用于预测自行车轨迹的系统和方法 - Google Patents

用于预测自行车轨迹的系统和方法 Download PDF

Info

Publication number
CN114401876B
CN114401876B CN201980100435.4A CN201980100435A CN114401876B CN 114401876 B CN114401876 B CN 114401876B CN 201980100435 A CN201980100435 A CN 201980100435A CN 114401876 B CN114401876 B CN 114401876B
Authority
CN
China
Prior art keywords
bicycle
rider
features
processor
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980100435.4A
Other languages
English (en)
Other versions
CN114401876A (zh
Inventor
关健
李培
李游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN114401876A publication Critical patent/CN114401876A/zh
Application granted granted Critical
Publication of CN114401876B publication Critical patent/CN114401876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于预测骑行者骑行自行车的轨迹的方法和系统。该系统包括通信接口，该通信接口被配置为接收自行车正在行驶的区域的地图和获取的与自行车相关的传感器数据。该系统包括至少一个处理器，该至少一个处理器被配置为在地图中定位自行车、识别正在骑行自行车的骑行者，并基于自行车的定位识别自行车周围的一个或以上物体。至少一个处理器还被配置为从传感器数据中提取自行车、骑行者和一个或以上物体的特征。至少一个处理器还被配置为使用学习模型基于提取的特征，预测自行车的轨迹。

Description

用于预测自行车轨迹的系统和方法
相关申请的交叉引用
本申请与[添加发明人]的题为[添加标题]的国际申请、[添加发明人]的题为[添加标题]的国际申请，以及[添加发明人]的题为[添加标题]的国际申请有关，所有这些都是同时提交。所有上述申请的全部内容通过引用并入本文。
技术领域
本说明书涉及用于预测自行车轨迹的系统和方法，更具体地，涉及使用从地图和传感器数据中提取的特征来预测自行车轨迹的系统和方法。
背景技术
车辆与其他车辆、行人、自行车以及交通标志、路障、围栏等物体共用道路。因此，驾驶员需要不断调节驾驶，以避免车辆与此类障碍物碰撞。虽然有些障碍物通常是静态的，因此易于避免，但有些障碍物可能正在移动。对于正在移动的障碍物，驾驶员不仅要观察其当前位置，还要预测其移动轨迹以确定其未来位置。例如，车辆附近的自行车可以直行、停止或转弯。驾驶员通常基于诸如骑行者提供的手势、自行车的行进速度等的观察来进行预测。
自动驾驶车辆需要做出类似的决定来避开障碍物。因此，自动驾驶技术在很大程度上依赖于对其他正在移动的障碍物轨迹的自动预测。然而，现有的预测系统和方法受限于车辆“看见”(例如，收集相关数据)的能力、处理数据的能力以及基于数据做出准确预测的能力。因此，自动驾驶车辆可以受益于对现有预测系统和方法的改进。
本说明书的实施例通过提供使用从地图和传感器数据提取的特征预测自行车轨迹的系统和方法，来改善自动驾驶中的现有预测系统和方法。
发明内容
本说明书的实施例提供一种预测骑行者骑行自行车的轨迹的系统。所述系统包括通信接口，所述通信接口被配置为接收所述自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据。所述系统包括至少一个处理器，所述至少一个处理器被配置为在所述地图中定位所述自行车，识别正在骑行所述自行车的所述骑行者，并基于所述自行车的定位识别所述自行车周围的一个或以上物体。所述至少一个处理器还被配置为从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征。所述至少一个处理器还被配置为使用学习模型基于提取的特征，预测所述自行车的轨迹。
本说明书的实施例还提供一种预测骑行者骑行自行车的轨迹的方法。所述方法包括通过通信接口接收所述自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据。所述方法还包括通过至少一个处理器，在所述地图中定位所述自行车，识别正在骑行所述自行车的所述骑行者，并基于所述自行车的定位，识别所述自行车周围的一个或以上物体。所述方法还包括通过所述至少一个处理器，从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征。所述方法还包括通过所述至少一个处理器，使用学习模型基于提取的特征，预测所述自行车的轨迹。
本说明书的实施例还提供一种非暂时性计算机可读介质，其上存储有指令，当由至少一个处理器执行时，使得所述至少一个处理器执行操作。所述操作包括接收所述自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据。所述操作还包括在所述地图中定位所述自行车，识别正在骑行所述自行车的所述骑行者，并基于所述自行车的定位，识别所述自行车周围的一个或以上物体。所述操作还包括从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征。所述操作还包括使用学习模型基于提取的特征，预测所述自行车的轨迹。
应当理解，上述一般描述和以下详细描述仅为示例性和解释性的，并且不限制如权利要求所述的本发明。
附图说明
图1A根据本说明书的实施例示出了包括车辆车道右侧的自行车车道的示例性路段的示意图。
图1B根据本说明书的实施例示出了包括在两个车辆车道中间的自行车车道的示例性路段的示意图。
图1C根据本说明书的实施例示出了包括车辆车道右侧相反方向的两条自行车车道的示例性路段的示意图。
图2根据本说明书的实施例示出了用于预测自行车轨迹的示例性系统的示意图。
图3根据本说明书的实施例示出了其上配备有传感器的示例性车辆。
图4是根据本说明书的实施例的用于预测自行车轨迹的示例性服务器的框图。
图5是根据本说明书的实施例的用于预测自行车轨迹的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。
图1A根据本说明书的实施例示出了包括车辆车道102和104右侧的自行车车道106的示例性路段100的示意图。如图1A所示，路段100向东延伸，在十字路口面对红绿灯140。可以设想，路段100可以在任何其他方向上延伸，并且不一定与红绿灯相邻。
路段100可以是单向道路或双向道路的一部分。出于描述的目的，图1A仅示出了单个方向上的两个车辆车道。然而，可以设想，路段100可以包括更多或更少的车辆车道，并且车辆车道可以在彼此相反的两个方向上并且由分隔物隔开。如图1A所示，路段100包括车辆车道102和104，以及车辆车道104右侧的自行车车道106。在一些实施例中，自行车车道106可以通过分隔物108，例如护栏、栅栏、植物带或禁止进入区域，与车辆车道104隔开。在一些实施例中，自行车车道106可以不与车辆车道104分离，或者仅通过标线隔开。
各种车辆可以在车辆车道102和104上行驶。例如，车辆101可以在车辆车道102上向东行驶。在一些实施例中，车辆101可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。在一些实施例中，车辆101可以是自动或半自动车辆。
各种自行车可以在自行车车道106上行驶。例如，由骑行者A骑行的自行车130，可以在自行车车道106上向东行驶。与本说明书一致，“自行车”可以是机械自行车、电动自行车、踏板车、悬浮滑板、SegwayTM或不是机动车辆并且允许在自行车车道106上的任何交通工具。在一些实施例中，自行车车道106可以用车道标线来标记以表明它是自行车车道。例如，如图1A所示，可以在自行车车道106上标记词语“自行车车道”，和/或标记指向预期交通方向的方向箭头。在另一个示例中，可以在自行车车道106上标记替代文字或附加文字的自行车图标。
路段100上车辆和自行车的交通可以由红绿灯140和行人红绿灯142调节。例如，红绿灯140可以调节车辆交通，行人红绿灯142可以调节行人和自行车交通。在一些实施例中，红绿灯140可以包括三种颜色的灯：红色、黄色和绿色，以在十字路口100中发出通行权信号。在一些实施例中，红绿灯140可以另外包括转向保护灯以调节十字路口100处的左、右和/或U形转弯。例如，左转向保护灯可以允许某些车道(通常是最左侧车道)中的车辆左转，而不必让行于在相反方向直行的车辆。行人红绿灯142可以在两种模式之间切换：“步行”模式和“禁止步行”模式。取决于设计，行人红绿灯142可以显示不同的文字或图标来表明模式。例如，允许行人和自行车通过时，行人红绿灯142可以显示行人图标，以及停止相同交通的手图标。在一些实施例中，行人红绿灯142可以另外使用不同的颜色、声音(例如，哔哔声)和/或闪烁以表明模式。
可以设想，自行车130可以在不受红绿灯管制的地方常规地转弯。例如，自行车130可以左转以便进入道路左侧的自行车车道。在这种情况下，骑行者A通常可以在进入车辆车道之前对车辆做出手势。例如，骑行者A可以将他的左臂指向左侧以表示左转。骑行者A可以举起左臂或将右臂指向右侧以表示右转。骑行者A可以将左臂指向下方或将他的右手放在他的腰部后面，以表示他计划停车。
在一些实施例中，车辆101可以配备有或与自行车轨迹预测系统(例如，图2中所示的系统200)通信，以预测自行车(例如，自行车130)的轨迹，以便做出决定以在其自己的行驶路径中避开该自行车。例如，在图1A的设置中，自行车130可以以三个候选轨迹行驶：左转的候选轨迹151、直行的候选轨迹152、停车的候选轨迹153。候选轨迹151可能会干扰车辆101的行驶路径。与本说明书的实施例一致，自行车轨迹预测系统可以对自行车130、正在骑行自行车130的骑行者A和周围物体(例如，红绿灯140、行人红绿灯412和沿路段100的任何交通标志)进行“观察”。自行车轨迹预测系统然后基于这些观察，对自行车130可能遵循哪个候选轨迹做预测。在一些实施例中，可以使用诸如神经网络的学习模型来执行预测。在一些实施例中，可以为各个候选轨迹151-153确定概率。
图1B根据本说明书的实施例示出了包括在两个车辆车道112和114中间的自行车车道116的示例性路段110的示意图。与路段100类似，路段110也可以是单向或双向道路的一部分，并且可以包括比图1B所示的更多或更少的车道。车辆车道112和114和自行车车道116类似于结合图1A描述的车辆102和104和自行车车道106。与位于最右侧车辆车道的右侧的自行车车道106不同，自行车车道116位于两个车辆车道112和114之间。自行车车道116可以通过分隔物118与每个车辆车道隔开。车辆交通和自行车交通可以通过红绿灯140和行人红绿灯142，以与结合图1A描述的类似方式来调节。
在图1B的设置中，自行车130可以以四个候选轨迹行驶：左转的候选轨迹161、直行的候选轨迹162、右转的候选轨迹163和停车的候选轨迹164。候选轨迹163可能会干扰车辆101的行驶路径。与本说明书的实施例一致，自行车轨迹预测系统可以基于对自行车130、正在骑行自行车130的骑行者A和周围物体(例如，红绿灯140、行人红绿灯412和沿路段100的任何交通标志)的观察，对自行车130可能遵循哪个候选轨迹做预测。
图1C根据本说明书的实施例示出了包括车辆车道122和124的右侧的相反方向的两条自行车车道126-A和126-B的示例性路段120的示意图。同样，类似于路段100，路段120也可以是单向或双向道路的一部分，并且可以包括比图1C所示的更多或更少的车道。车辆车道122和124类似于结合图1A描述的车辆102和104。与具有位于车辆车道104右侧的单个自行车车道106的路段100不同，路段100具有彼此相反方向的两个自行车车道126-A和126-B，并且都位于车辆车道104的右侧。与车辆车道124相邻的自行车车道126-A可以通过分隔物128与车辆车道隔开。
与与车辆车道104沿相同方向延伸的自行车车道106不同，自行车车道126-A沿与车辆车道124相反方向延伸。如图1C所示，骑行者A可能在自行车车道126-A上正在向西骑行自行车130，并且骑行者B可能在自行车车道126-B上正在向东骑行自行车131。因此，自行车130和车辆101在它们行驶的方向上彼此相对。车辆交通和自行车交通可以通过红绿灯140和行人红绿灯142，以与结合图1A描述的类似方式来调节。
在图1C的设置中，自行车130可以以四个候选轨迹行驶：左转的候选轨迹171、直行的候选轨迹172、右转的候选轨迹173和停车的候选轨迹174。自行车131可以以三个候选轨迹行驶：左转的候选轨迹175、直行的候选轨迹176、以及停车的候选轨迹177。候选轨迹173和候选轨迹175可能潜在地干扰车辆101的行驶路径。与本说明书的实施例一致，自行车轨迹预测系统可以基于对自行车130-131，正在骑行自行车130-131的骑行者A和B，以及周围的物体(例如，红绿灯140、行人红绿灯412和沿路段100的任何交通标志)的观察，对自行车130和131可能遵循哪个候选轨迹做预测。
图2根据本说明书的实施例示出了用于预测自行车轨迹的示例性系统200的示意图。为了便于说明，以图1A的道路设置为例。然而，应当理解，系统200也适用于其他道路设置，例如，图1B和图1C所示的那些道路设置。系统200可以包括自行车轨迹预测服务器210(为简单起见，也被称为服务器210)。服务器210可以是配置或编程以预测自行车轨迹的通用服务器，或专门设计用于预测自行车轨迹的专有设备。可以设想，服务器210可以是独立服务器或独立服务器的集成组件。在一些实施例中，服务器210可以集成到车辆(例如车辆101)上的系统中。
如图2所示，服务器210可以接收和分析通过各种来源收集的数据。例如，可以通过沿着道路配备的一个或以上传感器220和/或配备在通过车道102行驶的车辆101上的一个或以上传感器230连续地、定期地、或间歇地捕获数据。传感器220和230可以包括雷达、激光雷达、相机(例如，监控相机、单目/双目相机、摄像机)、速度计或任何其他合适的传感器以捕获表征自行车130、正在骑行自行车130的骑行者A和自行车130周围物体的数据，例如红绿灯140和行人红绿灯142。例如，传感器220可以包括一个或以上监控相机，其捕获自行车130和红绿灯140-142的图像。
在一些实施例中，传感器230可以包括激光雷达，其测量车辆101和自行车130之间的距离，并确定自行车130在3D地图中的位置。在一些实施例中，传感器230还可以包括GPS/IMU(惯性测量单元)传感器，以捕获车辆101的位置/姿势数据。在一些实施例中，传感器230可以另外包括相机，以捕获自行车130的图像，包括骑行者A正在骑行自行车和红绿灯140-142。由于传感器220和传感器230捕获的图像来自不同的角度，它们可以彼此补充以提供自行车130、骑行者A和周围物体的更详细信息。在一些实施例中，传感器220和230可以获取追踪移动物体(例如，车辆、自行车、行人等)轨迹的数据。
在一些实施例中，传感器230可以配备在车辆101上，因此与车辆101一起行驶。例如，图3根据本说明书的实施例示出了其上配备有传感器340-360的示例性车辆101。车辆101可以具有车身310，其可以是任何车身样式，例如运动型车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装车。在一些实施例中，如图3所示，车辆101可以包括一对前轮和一对后轮320。然而，可以设想，车辆101可以具有更少的轮子或能使车辆101四处移动的等效结构。车辆101可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆101可以被配置为自动或半自动车辆。
如图3所示，根据本说明书的实施例，图2的传感器230可以包括各种传感器340、350和360。传感器340可以通过安装结构330安装到主体310。安装结构330可以是安装或以其他方式附接到车辆101的主体310的机电设备。在一些实施例中，安装结构330可以使用螺钉、粘合剂或其它安装机构。车辆101可以使用任何合适的安装机构在车身310内部或外部附加配备传感器350和360。可以设想，传感器340-360可以配备在车辆101上的方式不受图3中所示的示例的限制，并且可以根据传感器340-360和/或车辆101的类型进行修改以实现期望的传感性能。
与一些实施例一致，传感器340可以是通过用脉冲激光照射目标并测量反射脉冲来测量到目标的距离的激光雷达。然后可以使用激光返回时间和波长的差异来制作目标的数字3D表示。例如，传感器340可以测量车辆101和自行车130或其他物体之间的距离。用于激光雷达扫描的光可以是紫外线、可见的或近红外。因为窄激光束可以以非常高的分辨率绘制物理特征，所以激光雷达扫描仪特别适用于在3D地图中定位物体。例如，激光雷达扫描仪可以捕获点云数据，该点云数据可以用于定位车辆101、自行车130和/或其他物体。
在一些实施例中，传感器350可以包括安装在车辆101的车身310上的一个或以上相机。虽然图3显示传感器350被安装在车辆101的前部，但是可以设想，传感器350可以被安装在车辆101的其他位置，例如侧面、镜子后面、挡风玻璃上、机架，或后端。传感器350可以被配置为捕获车辆101周围物体(例如，道路上的自行车(包括，例如自行车130和正在骑行它的骑行者A)、红绿灯(例如，140和142)和/或交通标志)的图像。在一些实施例中，相机可以是单目或双目相机。双目相机可以获取指示物体的深度的数据(即，物体与相机的距离)。在一些实施例中，相机可以是随时间捕捉图像帧的摄像机，从而记录物体的运动。
如图3所示，车辆101可以另外配备有传感器360，其可以包括在导航单元中使用的传感器，例如GPS接收器和一个或以上IMU传感器。GPS是一个全球导航卫星系统，向GPS接收器提供地理位置和时间信息。IMU是一种电子设备，它使用各种惯性传感器(例如加速度计和陀螺仪，有时还包括磁力计)来测量和提供车辆的比力、角速率，有时还提供车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器360可以在车辆101行驶时提供其实时姿势信息，包括车辆101在每个时间点的位置和方向(例如，欧拉角)。
与本说明书一致，传感器340-360可以通过网络与服务器210通信，以连续地、定期地、或间歇地发送传感器数据。在一些实施例中，任何合适的网络可以用于通信，例如无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络、卫星通信网络，和/或本地或短距离无线网络(例如，BluetoothTM)。
返回参考图2，系统200还可以包括3D地图数据库240。3D地图数据库240可以存储3D地图。3D地图可以包括覆盖不同区域的地图。例如，3D地图(或地图部分)可以覆盖十字路口100的区域。在一些实施例中，服务器210可以与3D地图数据库240通信，以基于车辆101的位置检索相关的3D地图(或地图部分)。例如，可以检索包含车辆101的GPS位置及其周围区域的地图数据。在一些实施例中，3D地图数据库240可以是服务器210的内部组件。例如，3D地图可以存储在服务器210的存储器中。在一些实施例中，3D地图数据库240可以在服务器210的外部，并且3D地图数据库240和服务器210之间的通信可以通过网络(例如，上述的各种网络)发生。
服务器210可以被配置为分析从传感器230(例如，传感器340-360)接收的传感器数据和从3D地图数据库240接收的地图数据，以预测自行车(例如，自行车130)的轨迹。图4是根据本说明书的实施例的用于预测自行车轨迹的示例性服务器210的框图。服务器210可以包括通信接口402、处理器404、存储器406和存储器408。在一些实施例中，服务器210可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或单独的具有专用功能的设备。服务器210的组件可以在集成设备中，或者分布在不同位置但通过网络(未示出)相互通信。
通信接口402可以通过直接通信链路、无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络和/或本地无线网络(例如，BluetoothTM或WiFi)，或其他通信方法，向诸如传感器220和230之类的组件发送数据和接收数据。在一些实施例中，通信接口402可以是综合服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。作为另一示例，通信接口402可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以通过通信接口402来实现。在这样的实现中，通信接口402可以通过网络发送和接收携带表示各种类型信息的数字数据流的电气、电磁或光信号。
与一些实施例一致，通信接口402可以接收由传感器220和/或230获取的传感器数据401，以及由3D地图数据库240提供的地图数据403，并将接收到的信息提供给存储器406和/或存储器408用于存储或提供给处理器404进行处理。传感器数据401可以包括捕获自行车(例如自行车130)、正在骑行自行车的骑行者以及自行车周围的其他物体的信息。传感器数据401可以包含随时间捕获的数据，这些数据表征物体的运动。在一些实施例中，地图数据403可以包括点云数据。
通信接口402还可以接收学习模型405。在一些实施例中，学习模型405可以被处理器404应用，以基于从传感器数据401和地图数据403提取的特征，预测自行车轨迹。在一些实施例中，学习模型405可以是预测模型，例如决策树学习模型或逻辑回归模型。决策树使用对项目的观察(在分支中表示)来预测项目的目标值(在叶子中表示)。例如，决策树模型可以预测几个假设结果的概率，例如，自行车130的候选轨迹的概率。在一些实施例中，梯度提升可以与决策树学习模型组合，以形成预测模型作为决策树的集合。例如，学习模型405可以成为由阶段决策树形成的梯度提升决策树模型。在一些实施例中，学习模型可以是预测离散变量的值的逻辑回归模型。例如，逻辑回归模型可以用于对几个假设结果进行排序，例如，对自行车130的候选轨迹进行排序。
在一些实施例中，学习模型405可以使用已知的自行车轨迹和它们各自的样本特征(例如包括自行车速度、自行车的方向、正在骑行自行车的骑行者的手势、自行车车道的车道标记、行人红绿灯的状态、自行车车道和车辆车道之间的分隔物的类型等的语义特征)来训练。样本特征还可以包括从描述自行车运动的数据中提取的非语义特征。在一些实施例中，学习模型405可以通过服务器210或另一计算机/服务器提前训练。
处理器404可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器404可以被配置为专用于预测自行车轨迹的单独处理器模块。备选地，处理器404可以被配置为共享处理器模块，用于执行与自行车轨迹预测相关或无关的其他功能。例如，共享处理器可以进一步基于预测的自行车轨迹做出自动驾驶决策。
如图4所示，处理器404可以包括多个模块，例如定位单元440、物体识别单元442、特征提取单元444、轨迹预测单元446等。这些模块(以及任何相应的子模块或子单元)可以是用于与其他组件一起使用的处理器404的硬件单元(例如，集成电路的部分)，或者执行程序的一部分。该程序可以存储在计算机可读介质(例如，存储器406和/或存储408)上，并且当由处理器404执行时，它可以执行一个或以上功能。虽然图4示出了单元440-446都在一个处理器404内，但是可以设想，这些单元可以分布在彼此附近或远离的多个处理器之间。
定位单元440可以被配置为在地图数据403中，定位其轨迹正被预测的自行车(例如，自行车130)。在一些实施例中，传感器数据401可以包含自行车的捕获的各种数据以辅助定位。例如，由安装在车辆101上的传感器340捕获的激光雷达数据可以在点云数据中揭示自行车130的位置。在一些实施例中，自行车130的捕获的点云数据可以与地图数据401匹配以确定车辆的位置。在一些实施例中，可以使用诸如同时定位和映射(SLAM)的定位方法来定位自行车。
在一些实施例中，自行车(例如，自行车130)的位置可以在地图数据401上被标记。例如，点云数据P1的子集被标记为对应于时间T1的自行车130、点云数据P2的子集被标记为对应于时间T2的自行车130、点云数据P3的子集被标记为对应于时间T3的自行车130等。标记的子集表示自行车现有的移动轨迹和移动速度。
物体识别单元442可以识别正在骑行自行车的骑行者，例如正在骑行自行车130的骑行者A。物体识别单元442还可以识别自行车周围的物体。这些物体可以包括例如红绿灯104、交通标志、车道标记、分隔物108和其他车辆等。在一些实施例中，可以应用各种图像处理方法，例如图像分割、分类和识别方法来识别骑行者和物体。在一些实施例中，机器学习技术还可以用于识别。骑行者和物体可以提供对自行车轨迹预测有用的附加信息。例如，骑行者可以使用手势来指示他正在骑行的自行车的预期轨迹。作为另一个例子，如果自行车以高速行驶，则它不太可能突然停车。或者，如果调节自行车车道的行人红绿灯指示不通过，则自行车可能不会立即移动。
特征提取单元444可以被配置为从传感器数据401和地图数据403中提取指示自行车未来轨迹的特征。提取的特征可以是语义的或非语义的。语义特征可以包括例如自行车速度、自行车前进方向、自行车车道的车道标记、行人红绿灯的状态、骑行者的手势、以及自行车车道和车辆车道之间的分隔物的类型等。可以使用各种特征提取工具，例如图像分割、物体检测等。例如，骑行者可以被识别为以相同速度与自行车移动的物体。然后可以应用手势检测方法来检测骑行者手臂的运动。作为另一个例子，可以基于颜色和/或对比度信息从传感器数据中检测车道标记，因为标记通常是白色油漆，且路面通常是黑色或灰色的。当颜色信息可用时，可以基于其不同的颜色(例如，白色)来识别车道标记。当灰度信息可用时，可以基于车道标记与背景(例如，普通道路路面的深灰色)形成对比的不同阴影(例如，浅灰色)，来识别车道标记。作为另一示例，可以通过检测图像像素强度的变化(例如，由闪烁、闪烁或颜色变化引起)，来检测红绿灯信号。在一些实施例中，机器学习技术还可以被用于提取特征。
轨迹预测单元446可以使用提取的特征预测自行车轨迹。在一些实施例中，轨迹预测单元446可以确定至少两个候选轨迹，例如自行车130的候选轨迹151-153(如图1A所示)。在一些实施例中，轨迹预测单元446可以应用用于预测的学习模型405。例如，学习模型405可以基于提取的特征，确定每个候选轨迹的概率。或者，学习模型405可以通过向候选轨迹分配排序数字，对候选轨迹进行排序。在一些实施例中，具有最高概率或排名的候选轨迹可以被确定为自行车的预测轨迹。
在一些实施例中，在应用学习模型405之前，轨迹预测单元446可以首先删除与任何一个特征冲突的一个或以上候选轨迹。例如，如果骑行者发出手势，以指示他将左转，则可以清除右转轨迹，因为自行车将右转的可能性基本上很低。作为另一个例子，如果自行车正在行驶的自行车车道之间的分隔物是栅栏或植物带，则可以清除左转轨迹。通过去除某些候选轨迹，轨迹预测单元446简化了预测任务并节省了处理器404的处理能力。
在一些实施例中，轨迹预测单元446可以将确定的各个候选轨迹的概率与阈值进行比较。如果候选轨迹中没有一个具有超过阈值的概率，则轨迹预测单元446可以确定预测不够可靠，并且需要附加的“观察”来改进预测。在一些实施例中，轨迹预测单元446可以确定可以获取什么附加传感器数据并生成要传送到传感器220和/或230以用于捕获附加数据的控制信号。例如，可以确定激光雷达应以不同的角度倾斜，或者相机应该调节其焦点。控制信号可以通过通信接口402被提供给传感器220和/或230。
存储器406和存储器408可以包括提供的任何适当类型的大容量存储器，以存储处理器404可能需要执行的任何类型的信息。存储器406和存储器408可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。存储器406和/或存储器408可以被配置为存储可以由处理器404执行的一个或以上计算机程序，以执行本文公开的自行车轨迹功能。例如，存储器406和/或存储器408可以被配置为存储可以由处理器404执行的，以基于从通过各种传感器220和/或230捕获的传感器数据401和地图数据403提取的特征，来预测自行车轨迹的程序。
存储器406和/或存储器408还可以被配置为存储处理器404使用的信息和数据。例如，存储器406和/或存储器408可以被配置为存储由传感器220和/或230捕获的传感器数据401、从3D地图数据库240接收的地图数据403，以及学习模型405。存储器406和/或存储器408还可以被配置为存储在特征提取和轨迹预测期间由处理器404生成的中间数据，例如，特征、候选轨迹和候选轨迹的计算概率。各种类型的数据可以被永久存储、定期删除或在处理完每一帧数据后立即被忽略。
图5根据本说明书的实施例示出了用于预测自行车轨迹的示例性方法500的流程图。例如，方法500可以由系统200实现，除其它外，该系统200包括服务器210和传感器220和230。然而，方法500不限于该示例性实施例。方法500可以包括如下所述的步骤S502-S520。应当理解，一些步骤可以是可选的，以执行本文提供的说明书。此外，一些步骤可以同时被执行，或者以不同于图5所示的顺序被执行。为了描述目的，方法500将被描述为预测自行车130(如图1A-1C所示)的轨迹，以帮助车辆101(如图1A-1C所示)的自动驾驶决策。然而，方法500可以被实施用于可以受益于自行车轨迹的准确预测的其他应用。
在步骤S502中，服务器210接收自行车130正在行驶的区域的地图。在一些实施例中，服务器210可以基于例如通过传感器360收集的GPS数据来确定车辆101的位置，并识别该位置周围的地图区域。服务器210可以从3D地图数据库240接收相关的3D地图数据，例如，地图数据403。
在步骤S504中，服务器210接收捕获自行车130和周围物体的传感器数据。在一些实施例中，传感器数据可以通过各种传感器(例如，沿道路安装的传感器220和/或配备在车辆101上的传感器230(包括例如，传感器340-360))捕获。传感器数据可以包括测速仪获取的自行车速度、相机获取的图像(包括视频图像)、激光雷达获取的点云数据等。在一些实施例中，可以随时间捕获传感器数据，以追踪自行车130和周围物体的运动。传感器可以通过网络与服务器210通信，以连续地或定期地或间歇地发送传感器数据，例如，传感器数据401。
方法500进行到步骤S506，其中服务器210在地图中定位自行车130。在一些实施例中，(例如，通过传感器340)捕获的自行车130的点云数据，可以与地图数据403匹配以在地图中确定自行车的位置。在一些实施例中，诸如SLAM的定位方法可以被用于定位自行车130。在一些实施例中，可以在地图数据403上标记不同时间点对应的自行车130的位置，以追踪自行车的先前轨迹和移动速度。点云数据的标记可以由服务器210自动或在人工协助下执行。
在步骤S508中，服务器210识别正在骑行自行车的骑行者。在步骤S510中，服务器210识别自行车130周围的其他物体。例如，这些物体可以包括例如红绿灯140和142、分隔物108、交通标志和车道标记等。骑行者的特征这些对象可以提供对预测自行车130的轨迹有用的附加信息。在一些实施例中，可以应用各种图像处理方法和机器学习方法来识别骑行者和物体。
在步骤S512中，服务器210从传感器数据401和地图数据403中提取自行车130、正在骑行自行车的骑行者A和周围物体的特征。在一些实施例中，提取的特征可以包括语义的或非语义的，其表示自行车的未来轨迹。例如，自行车130的提取特征可以包括例如自行车速度和自行车前进方向等。骑行者的提取特征可以包括手势。周围物体的提取特征可以包括例如自行车车道的车道标记、红绿灯的状态、自行车车道和车辆车道之间的分隔物的类型、以及交通标志的信息。在一些实施例中，可以应用各种特征提取方法，其包括图像处理方法和机器学习方法。
在步骤S514中，服务器210确定自行车130的多个候选轨迹。候选轨迹是自行车130可能遵循的可能轨迹。例如，自行车130可以遵循四个候选轨迹151-153(图1A中所示)中的一个，即，左转、直行、或停车。在一些实施例中，服务器210可以删除与任何一个特征冲突的一个或以上候选轨迹。这个可选的过滤步骤可以帮助简化预测任务并节省服务器210的处理能力。例如，如果骑行者做出手势指示他将左转，则可以清除右转轨迹，因为自行车将右转的可能性很低。
方法500进行到步骤S516以确定每个候选轨迹的概率。在一些实施例中，服务器210可以应用用于预测的学习模型405。在一些实施例中，学习模型405可以是预测模型，例如决策树学习模型或逻辑回归模型。例如，学习模型405可以是梯度提升决策树模型。在一些实施例中，学习模型405可以使用已知的自行车轨迹及其各自的样本特征来训练。
在步骤S516中，学习模型405可以用于基于提取的特征，确定每个候选轨迹的概率。例如，可以确定自行车130有10％的概率遵循侯选轨迹151进行左转，50％的概率遵循候选轨迹152直行，40％的概率遵循候选轨迹153停车。
在步骤S518中，服务器210可以将概率与预定阈值进行比较。在一些实施例中，预定阈值可以是高于50％的百分比，例如60％、70％、80％或90％。如果没有概率高于阈值(S518：否)，则可以认为预测不可靠。在一些实施例中，方法500可以返回到步骤S504以接收附加传感器数据以改进预测。在一些实施例中，服务器210可以确定可以获取哪些附加传感器数据并生成控制信号以引导传感器220和/或230捕获要在步骤S504中接收的附加数据。
如果至少最高概率高于阈值(S518：是)，则服务器210可以在步骤S520中通过从候选轨迹中选择对应的候选轨迹来预测自行车轨迹。在一些实施例中，具有最高概率的候选轨迹可以被确定为自行车的预测轨迹。例如，当候选轨迹152具有最高概率时，它可以被选为自行车130的预测轨迹。
通过方法500提供的预测结果可用于帮助车辆控制或驾驶员的驾驶决策。例如，自动驾驶车辆可以基于自行车的预测轨迹做出自动控制决策，以免与它们碰撞。该预测还可以用于帮助提醒驾驶员调整其预期的驾驶路径和/或速度，以避免碰撞。例如，可以提供诸如哔哔声之类的音频提醒。
本说明书的另一方面涉及一种非暂时性计算机可读介质，其上存储有指令，当指令被执行时使一个或以上处理器执行如上所述的方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是其上存储有计算机指令的存储设备或存储器模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
对本领域技术人员显而易见的是，可以对所公开的系统和相关方法进行各种修改和变化。考虑到公开的系统和相关方法的说明书和实践，其他实施例对于本领域技术人员将是显而易见的。
本说明书和示例旨在仅被认为是示例性的，具体范围由以下权利要求及其等同物表示。

Claims (13)

1.一种预测骑行者骑行自行车的轨迹的系统，包括：
通信接口，被配置为接收所述自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据；以及
至少一个处理器，被配置为：
在所述地图中定位所述自行车；
识别正在骑行所述自行车的所述骑行者；
检测所述骑行者的手势；
基于所述自行车的定位，识别所述自行车周围的一个或以上物体，所述一个或以上物体包括分隔物、车道标记和交通标志；
从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征，所述骑行者的特征包括骑行者的手势，所述一个或以上物体的特征包括车道标记信息、分隔物的类型和交通标志的信息；以及
使用学习模型基于提取的特征，预测所述自行车的轨迹，所述学习模型是决策树模型或逻辑回归模型；
其中，为了预测所述自行车的轨迹，所述至少一个处理器还被配置为：
确定至少两个候选轨迹；
删除与任何一个所述特征冲突的候选轨迹；
使用所述学习模型基于所述提取的特征，确定每个候选轨迹的概率；以及
将具有最高概率的候选轨迹确定为所述自行车的预测轨迹；以及
当所述最高概率低于预定阈值时，请求获取与所述自行车相关的附加传感器数据。
2.根据权利要求1所述的系统，其中，为了预测所述自行车的轨迹，所述至少一个处理器还被配置为：
使用所述学习模型基于所述提取的特征，对所述至少两个候选轨迹排序；以及
将具有最高等级的候选轨迹确定为所述自行车的预测轨迹。
3.根据权利要求1所述的系统，其中，所述传感器数据包括由激光雷达获取的点云数据和由相机获取的图像。
4.根据权利要求1所述的系统，其中，所述一个或以上物体包括所述自行车面对的行人红绿灯，其中，为了提取所述一个或以上物体的特征，所述至少一个处理器还被配置为确定所述行人红绿灯的状态。
5.根据权利要求1所述的系统，其中，所述一个或以上物体包括所述自行车正沿行的自行车车道，其中，为了提取所述一个或以上物体的特征，所述至少一个处理器还被配置为检测所述自行车车道的方向和路径。
6.根据权利要求1所述的系统，其中，为了提取所述骑行者的特征，所述至少一个处理器还被配置为确定所述自行车的速度。
7.根据权利要求1所述的系统，其中，所述传感器数据由安装在正行驶在所述自行车正在行驶的所述区域中的车辆上的至少一个传感器获取，其中，所述通信接口还被配置为将所述自行车的预测轨迹提供给所述车辆。
8.一种预测骑行者骑行自行车的轨迹的方法，包括：
通过通信接口接收所述自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据；
通过至少一个处理器，在所述地图中定位所述自行车；
通过所述至少一个处理器，识别正在骑行所述自行车的所述骑行者；
通过所述至少一个处理器，检测所述骑行者的手势；
通过所述至少一个处理器，基于所述自行车的定位，识别所述自行车周围的一个或以上物体，所述一个或以上物体包括分隔物、车道标记和交通标志；
通过所述至少一个处理器，从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征，所述骑行者的特征包括骑行者的手势，所述一个或以上物体的特征包括车道标记信息、分隔物的类型和交通标志的信息；以及
通过所述至少一个处理器，使用学习模型基于提取的特征，预测所述自行车的轨迹，所述学习模型是决策树模型或逻辑回归模型；
其中，为了预测所述自行车的轨迹，通过所述至少一个处理器：
确定至少两个候选轨迹；
删除与任何一个所述特征冲突的候选轨迹；
使用所述学习模型基于所述提取的特征，确定每个候选轨迹的概率；以及
将具有最高概率的候选轨迹确定为所述自行车的预测轨迹；以及
当所述最高概率低于预定阈值时，请求获取与所述自行车相关的附加传感器数据。
9.根据权利要求8所述的方法，其中，所述传感器数据包括由激光雷达获取的点云数据和由相机获取的图像。
10.根据权利要求8所述的方法，其中，提取特征还包括：
确定所述自行车面对的行人红绿灯的状态；
检测所述自行车正沿行的自行车车道的方向和路径；以及
确定所述自行车的速度。
11.根据权利要求8所述的方法，其中，所述传感器数据由安装在正行驶在所述自行车正在行驶的所述区域中的车辆上的至少一个传感器获取，其中，所述方法还包括将所述自行车的预测轨迹提供给所述车辆。
12.一种非暂时性计算机可读介质，其上存储有指令，当由至少一个处理器执行时，使得所述至少一个处理器执行操作，所述操作包括：
接收自行车正在行驶的区域的地图和获取的与所述自行车相关的传感器数据；
在所述地图中定位所述自行车；
识别正在骑行所述自行车的骑行者；
检测所述骑行者的手势；
基于所述自行车的定位，识别所述自行车周围的一个或以上物体，所述一个或以上物体包括分隔物、车道标记和交通标志；
从所述传感器数据中提取所述自行车、所述骑行者和所述一个或以上物体的特征，所述骑行者的特征包括骑行者的手势，所述一个或以上物体的特征包括车道标记信息、分隔物的类型和交通标志的信息；以及
使用学习模型基于提取的特征，预测所述自行车的轨迹，所述学习模型是决策树模型或逻辑回归模型；
其中，预测所述自行车的轨迹包括：
确定至少两个候选轨迹；
删除与任何一个所述特征冲突的候选轨迹；
使用所述学习模型基于所述提取的特征，确定每个候选轨迹的概率；以及
将具有最高概率的候选轨迹确定为所述自行车的预测轨迹；以及
当所述最高概率低于预定阈值时，请求获取与所述自行车相关的附加传感器数据。
13.根据权利要求12所述的计算机可读介质，其中提取特征还包括：
确定所述自行车面对的行人红绿灯的状态；
检测所述自行车正沿行的自行车车道的方向和路径；以及
确定所述自行车的速度。
CN201980100435.4A 2019-09-30 2019-09-30 用于预测自行车轨迹的系统和方法 Active CN114401876B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/109350 WO2021062593A1 (en) 2019-09-30 2019-09-30 Systems and methods for predicting bicycle trajectory

Publications (2)

Publication Number Publication Date
CN114401876A CN114401876A (zh) 2022-04-26
CN114401876B true CN114401876B (zh) 2024-08-16

Family

ID=75337591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980100435.4A Active CN114401876B (zh) 2019-09-30 2019-09-30 用于预测自行车轨迹的系统和方法

Country Status (3)

Country Link
US (1) US20220172607A1 (zh)
CN (1) CN114401876B (zh)
WO (1) WO2021062593A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735051B2 (en) * 2020-03-27 2023-08-22 Toyota Research Institute, Inc. Detection of bicyclists near ego vehicles
CN114274975A (zh) * 2021-12-16 2022-04-05 武汉路特斯汽车有限公司 端对端自动驾驶控制方法、装置、电子设备及存储介质
US12327474B1 (en) * 2022-09-13 2025-06-10 Marc Dammers Traffic warning system for detecting and warning of bicycle traffic
US20240111308A1 (en) * 2022-09-27 2024-04-04 Symbotic Llc Logistics autonomous vehicle with robust object detection, localization and monitoring
DE102023106631A1 (de) 2023-03-16 2024-09-19 Cariad Se Steuervorrichtung und Verfahren zum Anpassen einer Trajektorie eines Fahrzeugs
US20250034912A1 (en) * 2023-07-28 2025-01-30 Volvo Car Corporation Door lock for cyclist protection
US12524789B2 (en) * 2023-11-01 2026-01-13 Google Llc Defining data structures and algorithms for protobuf based differential management systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN109948830A (zh) * 2019-01-29 2019-06-28 青岛科技大学 面向人自混杂环境的自行车轨迹预测方法、设备和介质
US10421453B1 (en) * 2014-10-02 2019-09-24 Waymo Llc Predicting trajectories of objects based on contextual information

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022706B4 (de) * 2010-06-04 2020-08-13 Volkswagen Ag Verfahren zur adaptiven Parametrisierung von Fahrerassistenzsystemen und Pre-Crash-Sicherheitssystemen
JP5682236B2 (ja) * 2010-11-05 2015-03-11 トヨタ自動車株式会社 走行計画生成装置
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
CN104228831B (zh) * 2013-06-14 2019-05-14 福特全球技术公司 用于防止机动车的轮胎损伤的方法
DE102014205920A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zum Betreiben eines Wärmespeichers eines Kraftfahrzeugs
JP6128059B2 (ja) * 2014-05-30 2017-05-17 株式会社デンソー 退避走行支援装置
US11210744B2 (en) * 2017-08-16 2021-12-28 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
WO2019168530A1 (en) * 2018-02-28 2019-09-06 Nissan North America, Inc. Transportation network infrastructure for autonomous vehicle decision making
CN108447076B (zh) * 2018-03-16 2021-04-06 清华大学 基于深度增强学习的多目标跟踪方法
JP6977887B2 (ja) * 2018-06-27 2021-12-08 日本電信電話株式会社 レーン推定装置、方法およびプログラム
US10831210B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Trajectory generation and optimization using closed-form numerical integration in route-relative coordinates
US11392127B2 (en) * 2018-10-15 2022-07-19 Zoox, Inc. Trajectory initialization
CN110223318A (zh) * 2019-04-28 2019-09-10 驭势科技（北京）有限公司 一种多目标轨迹的预测方法、装置、车载设备及存储介质
US11161502B2 (en) * 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10421453B1 (en) * 2014-10-02 2019-09-24 Waymo Llc Predicting trajectories of objects based on contextual information
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN109948830A (zh) * 2019-01-29 2019-06-28 青岛科技大学 面向人自混杂环境的自行车轨迹预测方法、设备和介质

Also Published As

Publication number Publication date
WO2021062593A1 (en) 2021-04-08
CN114401876A (zh) 2022-04-26
US20220172607A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN114450703B (zh) 预测行人的移动轨迹的系统和方法
US20220169263A1 (en) Systems and methods for predicting a vehicle trajectory
CN114401876B (zh) 用于预测自行车轨迹的系统和方法
CN110001658B (zh) 用于车辆的路径预测
US10691962B2 (en) Systems and methods for rear signal identification using machine learning
US20210271260A1 (en) Navigating a vehicle based on a detected barrier
EP3647734A1 (en) Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle
CN119984309A (zh) 用于车辆导航的系统和方法
KR20210089588A (ko) 신호등 검출을 위한 시스템들 및 방법들
EP2574958A1 (en) Road-terrain detection method and system for driver assistance systems
CN113825979A (zh) 用于基于图像分析的车辆导航的系统和方法
EP3784989A1 (en) Systems and methods for autonomous vehicle navigation
US20220171066A1 (en) Systems and methods for jointly predicting trajectories of multiple moving objects
GB2621499A (en) Systems and methods for vehicle navigation
KR20170126909A (ko) 자율 주행을 위한 약도
US12054144B2 (en) Road information generation apparatus
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
EP3530521B1 (en) Driver assistance method and apparatus
CN107054358A (zh) 两轮车的倾斜识别
US20220277647A1 (en) Systems and methods for analyzing the in-lane driving behavior of a road agent external to a vehicle
US10546202B2 (en) Proving hypotheses for a vehicle using optimal experiment design
JP2021163432A (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
US12033510B2 (en) Division line recognition apparatus
CN115195746A (zh) 地图生成装置
JP2022146384A (ja) 物体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant