[go: up one dir, main page]

CN114144814B - 用于测量车辆中对象的质量的系统、装置和方法 - Google Patents

用于测量车辆中对象的质量的系统、装置和方法 Download PDF

Info

Publication number
CN114144814B
CN114144814B CN202080049934.8A CN202080049934A CN114144814B CN 114144814 B CN114144814 B CN 114144814B CN 202080049934 A CN202080049934 A CN 202080049934A CN 114144814 B CN114144814 B CN 114144814B
Authority
CN
China
Prior art keywords
occupants
skeletal
image
occupant
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080049934.8A
Other languages
English (en)
Other versions
CN114144814A (zh
Inventor
Y·弗里德曼
G·特鲁格曼
N·尼森霍尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN114144814A publication Critical patent/CN114144814A/zh
Application granted granted Critical
Publication of CN114144814B publication Critical patent/CN114144814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Air Bags (AREA)
  • Image Analysis (AREA)

Abstract

提供用于估计车辆舱室中的一个或多个乘员的质量的方法和系统，其包括：获得所述一个或多个乘员的多个图像，包括由图像传感器捕获的车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示以及将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到骨架模型以及分析所述骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征并且还处理所述骨架模型的一个或多个提取的特征以估计所述一个或多个乘员的质量。

Description

用于测量车辆中对象的质量的系统、装置和方法
交叉引用
本申请要求2019年7月9日提交的名称为“SYSTEMS,DEVICES AND METHODS FORMEASURING THE MASS OF OBJECTS IN A VEHICLE(用于测量车辆中对象的质量的系统、装置和方法)”的美国临时申请序列号62/871,787号(律师档案号GR004/USP)的权益，其全部公开内容以引用的方式并入本文。
技术领域
本发明在其一些实施例中涉及估计一个或多个对象的质量，并且更具体地，但不仅仅涉及测量和确定车辆中乘坐对象的质量，并且基于测得的乘坐对象的质量来控制车辆的系统，诸如车辆的安全气囊系统。
援引并入
本说明书中提及的所有公开、专利以及专利申请都以引用的方式并入本文中，其引用的程度如同每个单独的公开、专利或专利申请经特定并且单独地指示以引用的方式并入一般。
背景技术
配备有安全气囊系统的汽车在现有技术中是众所周知的。因此，将安全气囊系统引入汽车中极大地改善了汽车乘员的安全。在此类安全气囊系统中，感测到汽车碰撞，安全气囊快速充气，从而确保在汽车碰撞中乘员的安全。现在，此类安全气囊系统已经挽救了许多生命。遗憾的是，如果乘员的质量和身材很小，例如在乘员是儿童的情况下，安全气囊也可能造成致命伤害。为应对这种情况，美国国家高速公路运输和安全管理局(NHTSA)规定，从2006型号生产年开始，所有汽车都应配备自动抑制系统，以检测是否存在儿童或婴儿并抑制安全气囊。
因此，现在正在开发安全气囊和安全带技术，以根据碰撞的严重性、车辆乘员的身材和姿势、安全带使用以及驾驶员或乘员与安全气囊的距离来调整安全气囊的展开。例如，适应性安全气囊系统利用多级安全气囊来调整安全气囊内的压力。安全气囊内的压力越大，安全气囊在与乘员接触时对乘员施加的力就越大。这些调整允许系统对于大多数碰撞以适度力展开安全气囊，并且仅对于最严重的碰撞保留最大力安全气囊。安全气囊控制单元(ACU)与车辆的一个或多个传感器通信以确定乘员的位置、质量或相对身材。关于乘员和碰撞的严重性的信息由ACU使用，以确定是否应抑制或展开安全气囊，如果展开，则以各种输出水平展开。例如，基于所接收的乘员的测得质量(例如，高、中、低)，ACU可以相应地操作安全气囊。
用于更新ACU的先前质量估计技术包括利用机械解决方案，例如嵌入车辆座椅内的压力垫或光学传感器。例如，名称为“Optical weight sensor for vehicular safetyrestraint systems(用于车辆安全约束系统的光学重量传感器)”的美国专利号5,988,676公开了光学重量传感器，该光学重量传感器被配置成确定坐在车辆座椅上的乘员的重量，并且安装在座椅框架与车辆座椅的安装结构之间。先前的质量估计系统和安全气囊技术在至少一些方面可能不太理想。先前的重量估计系统不准确，例如由于车辆加速度，有时提供错误的质量估计。另外，先前解决方案的技术可能比用于车辆的理想技术更大。另外，先前的质量估计技术的成本可能大于理想情况的成本。先前的光谱仪可能体积有些大，并且在至少一些情况下可能需要比理想情况下更多的对准。
鉴于上述内容，用于估计和/或测量和/或分类车辆内部中的对象的质量的改进的系统、装置和方法将是有益的。理想地，此类系统将是精确、紧凑的，与其它装置和系统，例如车辆的系统和装置集成，足够坚固且成本低。
发明内容
根据本发明的第一实施例，提供了一种用于估计车辆舱室中的一个或多个乘员的质量的方法，所述方法包括：提供处理器，所述处理器被配置成：获得所述一个或多个乘员的多个图像，其中所述多个图像包括由图像传感器捕获的车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型的一个或多个关键点与视点的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量。
在实施例中，所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型，以得到有效的骨架模型。
在实施例中，所述预定义过滤标准包括限定一个或多个乘员的有效姿态或定向的特定选择规则。
在实施例中，所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
在实施例中，所述置信度等级基于所述一个或多个关键点的测得概率热图。
在实施例中，所述预定义过滤标准基于高密度模型。
在实施例中，所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计质量。
在实施例中，所述输出信号与所述车辆的单元中的一个或多个的操作相关联。
在实施例中，所述车辆的单元选自：安全气囊；电子稳定控制(ESC)单元；安全带。
在实施例中，所述2D图像序列是所述舱室的视觉图像。
在实施例中，所述3D图像序列是以下各项中的一者或多者：反射光图案图像；立体图像。
在实施例中，所述图像传感器选自：飞行时间(ToF)摄像头；立体摄像头。
在实施例中，所述姿态检测算法被配置成识别所获得的2D图像中的一个或多个乘员的姿态和定向。
在实施例中，所述姿态检测算法被配置成：在所述2D图像序列的至少一个2D图像中识别所述一个或乘员身体部分的多个关键点；链接各对所述检测到的多个关键点，以生成所述乘员在所述2D图像中的骨架表示。
在实施例中，所述关键点是所述乘员身体的关节。
在实施例中，所述姿态检测算法是OpenPose算法。
根据权利要求1所述的方法，其中所述一个或多个提取的特征是所述乘员：肩部长度；躯干长度；膝盖长度；骨盆位置；髋部宽度中的一者或多者。
根据本发明的第二实施例，提供了一种用于估计车辆舱室中的一个或多个乘员的质量的方法，所述方法包括：提供处理器，所述处理器被配置成：获得所述一个或多个乘员的多个图像，其中所述多个图像包括由图像传感器捕获的所述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；分析所述3D图像序列的一个或多个3D图像以提取所述一个或多个乘员的一个或多个深度值；将提取的深度值相应地应用于所述骨架表示，以得到所述一个或多个乘员的缩放骨架表示，其中所述缩放骨架模型包括关于所述骨架模型与视点的距离的信息；分析所述缩放骨架表示以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量分类。
在实施例中，所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架表示，以得到有效的骨架表示。
在实施例中，所述预定义过滤标准包括限定一个或多个乘员的有效姿态或定向的特定选择规则。
在实施例中，所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
在实施例中，所述置信度等级基于所述一个或多个关键点的测得概率热图。
在实施例中，所述预定义过滤标准基于高密度模型。
在实施例中，所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分类。
在实施例中，所述输出信号对应于所述车辆的单元中的一个或多个的操作。
根据本发明的第三实施例，提供了一种用于估计车辆舱室中的一个或多个乘员的质量的系统，所述系统包括：感测装置，所述感测装置包括：照明模块，所述照明模块包括一个或多个照明源，所述一个或多个照明源被配置成照射所述车辆舱室；至少一个成像传感器，所述至少一个成像传感器被配置成捕获所述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；以及至少一个处理器，所述至少一个处理器被配置成：对获得的2D图像序列中的每一个应用姿态检测算法，以得到所述一个或多个乘员的一个或多个骨架表示；将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型中的一个或多个关键点与视点的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量。
在实施例中，所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型，以得到有效的骨架模型。
在实施例中，所述预定义过滤标准包括限定一个或多个乘员的有效姿态或定向的特定选择规则。
在实施例中，所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
在实施例中，所述置信度等级基于一个或多个关键点的测得概率热图。
在实施例中，所述预定义过滤标准基于高密度模型。
在实施例中，所述感测装置选自：ToF感测装置；立体感测装置。
在实施例中，所述感测装置是结构光图案感测装置，并且所述至少一个照明源被配置成以预定义结构光图案将调制光投射在所述车辆舱室上。
在实施例中，所述预定义结构光图案由多个漫射光元件构成。
在实施例中，所述光元件形状是以下各项中的一者或多者：点；线；条纹；或其组合。
在实施例中，所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分类。
在实施例中，所述输出信号对应于所述车辆的单元中的一个或多个的操作。
在实施例中，所述车辆的单元选自：
安全气囊；电子稳定控制(ESC)单元；安全带。
根据本发明的第三实施例，提供了一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步骤：获得一个或多个乘员的2D(二维)图像序列和3D(三维)图像序列，其中所述3D图像具有根据照明图案的多个图案特征；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型中的一个或多个关键点与视点的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取特征以估计每个所述一个或多个乘员的质量或身体质量分类。
附图说明
通过参考以下阐述了说明性实施例的详细描述和附图，将获得对本公开的特征和优点的更好理解，在所述实施例中使用了本公开的原理。
图1A和图1B分别示出了根据本公开的一些实施例的车祸之前和之后的车辆舱室的侧视图，其中使用质量估计系统激活安全气囊；
图1C示出了根据本公开的一些实施例的被配置成且能够捕获场景的图像的成像系统的示意图；
图1D示出了根据本公开的一些实施例的感测系统的示意图，所述感测系统被配置成且能够捕获包括一个或多个对象的车辆舱室的反射的结构光图像，并分析捕获的图像以估计一个或多个对象的质量；
图2A是根据本公开的一些实施例的在图1B所示的成像系统中操作的处理器的框图；
图2B是根据本公开的一些实施例的示出了捕获一个或多个对象的一个或多个图像并估计对象的质量的步骤的流程图；
图3A和图3B示出了根据本公开的一些实施例的包括反射光图案的两个图像；
图4A和图4B示出了根据本公开的一些实施例的包括标注表示的骨架的捕获的图像；
图4C-4G示出了根据本公开的一些实施例的包括标注表示的骨架的捕获的图像；
图4H-4K示出了根据本公开的一些实施例的车辆中的一个或多个乘员的测得质量随乘员的各个测得的身体特性特征变化的数据分布；
图5A和图5B示出了根据本公开的一些实施例的基于预定义过滤标准过滤掉的车辆的内部乘客室的捕获的图像的实例；
图6是根据本公开的一些实施例的示出了每个乘员的骨架模型的生成的流程图；
图7A是根据本公开的一些实施例的用于测量车辆中的一个或多个乘员的质量的方法的示意性高层级流程图；
图7B示出了根据本公开的一些实施例的包括车辆内部乘客室的组合的3D图层和骨架层的图像；
图7C是根据本公开的其它实施例的用于确定车辆中的一个或多个乘员的质量的方法的示意性流程图；
图8是根据本公开的其它实施例的用于测量车辆中的一个或多个乘员的质量的方法的示意性流程图；以及
图9A-9C示出了根据实施例的坐在车辆舱室中的一个或多个乘员的质量预测结果的图。
具体实施方式
在以下描述中，将描述本发明的各个方面。出于解释的目的，阐述具体细节以便提供对本发明的透彻理解。对于本领域技术人员显而易见的是，存在细节不同而不影响其基本性质的本发明的其它实施例。因此，本发明不受附图中示出的且在说明书中描述的内容的限制，而是仅如所附权利要求中所指示的，其中适当范围仅由对所述权利要求的最宽泛的解释来确定。本文公开的配置可以多种方式中的一种或多种组合，以通过分析乘坐对象的一个或多个图像，来提供具有内部乘客室的车辆中的一个或多个乘坐对象(例如，驾驶员或乘客)的改进的质量测量方法、系统和装置。本文公开的配置的一个或多个部件可以多种方式彼此组合。
如本文所述的系统和方法包括获得包括一个或多个对象，例如，一个或多个乘员(例如，车辆驾驶员或乘客)的车辆内部乘客室的一个或多个图像；以及至少一个处理器，其用以从获得的图像提取视觉数据和深度数据，组合视觉数据和深度数据，并分析组合的数据以估计车辆中的一个或多个对象的质量。
根据其它实施例，如本文所述的包括一个或多个成像装置和一个或多个照明源的系统和方法可用于捕获车辆内部乘客室的一个或多个图像，所述车辆内部乘客室包括一个或多个对象，例如一个或多个乘员(例如，车辆驾驶员或乘客)；以及至少一个处理器，其用以从捕获的图像中提取视觉数据和深度数据，组合所述视觉数据和所述深度数据并分析组合的数据以估计所述车辆中的一个或多个对象的质量。
具体而言，根据一些实施例，提供了用于测量具有内部乘客室的车辆中的一个或多个乘坐对象(例如，驾驶员或乘客)的质量的方法，所述方法包括使用至少一个处理器：获得所述一个或多个乘员的多个图像，其中所述多个图像包括2D(二维)图像和3D(三维)图像，例如由图像传感器捕获的车辆舱室的2D图像序列和3D图像序列；在获得的2D图像序列中的每一个上应用姿态检测算法，以得到所述一个或多个乘员的一个或多个骨架表示；将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型的一个或多个关键点与视场的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量分类。
根据一些实施例，成像装置和一个或多个照明源可以安装和/或嵌入到车辆中，具体地安装和/或嵌入到车辆的舱室中(例如，靠近车辆的前镜或仪表板和/或集成到顶置控制台中)。
根据另一实施例，提供了一种成像系统，所述成像系统包括：一个或多个照明源，所述一个或多个照明源被配置成以预定义结构光图案将一个或多个光束投射在包括一个或多个乘员的车辆舱室上；成像装置，所述成像装置包括被配置成捕获多个图像的传感器，所述多个图像包括例如来自车辆舱室中的一个或多个乘员的结构光图案的反射；以及一个或多个处理器，所述一个或多个处理器被配置成：获得所述一个或多个乘员的多个图像，其中所述多个图像包括一个或多个2D(二维)图像和3D(三维)图像，例如由图像传感器捕获的车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法，以得到所述一个或多个乘员的一个或多个骨架表示；将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型的一个或多个关键点与视场的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量分类。
根据一些实施例，所述系统和方法被配置成生成一个或多个输出，例如输出信号，所述输出信号可基于测得质量与车辆的一个或多个装置、单元、应用程序或系统的操作相关联。例如，输出信号可包括被配置成一旦被激活就优化车辆的单元性能的信息。在一些情况下，车辆的单元或系统可包括车辆的安全气囊、座椅，并且/或者根据乘员的分布和测得质量优化车辆的电子稳定控制(ESC)。
有利地，根据实施例的系统和方法可包括感测系统，所述感测系统包括例如单个成像装置，以捕获场景的一个或多个图像，并且从捕获的图像提取视觉数据、深度数据和诸如散斑图案的其它数据，以例如实时地检测振动(例如，微振动)。例如，根据实施例，可以使用包括例如单个成像装置和单个照明源的独立感测系统来估计车辆的乘员的质量分类。在一些情况下，成像系统可包括多于一个成像装置和照明源。在一些情况下，可以使用两个或更多个成像装置。
如本文所使用，相似字符指代相似元素。
在阐述本发明的详细描述之前，阐述下文将使用的某些术语的定义可能是有帮助的。
如本文所使用，术语“质量”涵盖身体包含的物质的量，如通过其在给定力下的加速度或通过重力场施加于其的力所测量的。然而，如在通常使用中，本发明还指测量对象的“重量”，其中“重量”涵盖重力场施加于身体的质量的力。
如本文所使用，术语“光”涵盖具有电磁波谱的紫外部分、可见部分或红外部分中的一者或多者中的波长的电磁辐射。
如本文所使用，术语“结构光”被定义为将已知像素图案投射到场景上的过程。当入射在表面上时这些变形的方式允许视觉系统提取场景中的对象的深度信息和表面信息。
如在本申请中使用的术语“图案”和“图案特征”是指下文论述的结构化照明。术语“图案”用于表示由任何不均匀照明产生的形式和形状，特别是采用具有均匀或不同特性(例如，形状、尺寸、强度等)的多个图案特征(例如，线、条纹、点、几何形状等)的结构化照明。作为非限制性实例，结构光照明图案可包括多条平行线作为图案特征。在一些情况下，图案是已知的且经过校准。
如本文所使用，术语“调制结构光图案”被定义为以已知像素图案将调制光投射到场景上的过程。
如本文所使用，术语“深度图”被定义为含有关于场景对象的表面与视点的距离的信息的图像。深度图可以呈用z轴数据连接所有点的网格形式。
如本文所使用，术语“对象”或“乘坐对象”或“乘员”被定义为感测的任何目标，包括任何数量的特定元件和/或背景，并且包括具有特定元件的场景。所公开的系统和方法可应用于作为对象的整个成像目标和/或应用于作为成像场景内的对象的特定元件。“对象”的非限制性实例可包括一个或多个人员，例如车辆乘客或驾驶员。
现在参考附图，图1A是根据实施例的车辆110的侧视图，其示出了乘客舱室105，该乘客舱室包括车辆110单元和感测系统100，该感测系统被配置成且能够获得视觉数据(例如，视频图像)和立体数据(例如，深度图)，例如车辆内的区域和对象的2D(二维)图像和3D(三维)图像并例如实时或接近实时地分析视觉数据和立体数据以得到车辆中的对象(例如乘员)的质量(例如身体质量分类)。
具体地说，感测系统100被配置成监测车辆110内的区域和对象以获得区域和对象的视频图像和深度图，并且使用一个或多个处理器分析获得的视频图像和深度图以估计对象的质量。根据实施例，此类对象的非限制性实例可以是车辆的乘员(例如驾驶员111或乘客112)中的一者或多者。
根据一些实施例，感测系统100可安装、安置、集成和/或嵌入到车辆110中，特别是车辆的舱室中，使得舱室内部并且舱室中存在的对象可包括例如一个或多个车辆乘员(例如，驾驶员、乘客、宠物等)，与舱室相关联的一个或多个对象(例如，门、窗、头枕、扶手等)等。
根据一些实施例，所述系统和方法被配置成生成输出，例如一个或多个输出信号106、107，该一个或多个输出信号可以与车辆的单元中的一个或多个的操作相关联，以基于测得的对象质量控制车辆110的一个或多个装置、应用程序或系统。例如，包括如由感测系统110测量的一个或多个乘员(例如驾驶员111和乘客112)的估计质量的输出信号106、107可以传输到ACU 108和/或车辆计算系统(VCS)109，所述ACU和/或车辆计算系统被配置成在发生事故的情况下激活一个或多个安全气囊系统，例如驾驶员111的可变强度安全气囊系统111’和乘客112的可变强度安全气囊系统112’。根据实施例，可变强度安全气囊111’、112’可以具有不同的激活水平(例如，强/中/弱)，并且可变强度安全气囊内的压力相应地被激活以匹配车辆乘员的估计质量分类。换句话说，信号可以被发送至ACU 108或VCS 109，其根据每个乘员的测得的类别激活一个或多个安全气囊。具体地说，适应性安全气囊系统可利用多级安全气囊来根据接收到的质量估计调整安全气囊内的压力。安全气囊内的压力越大，安全气囊在与乘员接触时对乘员施加的力就越大。例如，如图1B中所示，在驾驶员111重量为约100kg且乘客112(儿童)重量小于30kg的情况下，在碰撞时，根据乘客估计质量实时地展开每个乘客和驾驶员的安全气囊，例如，对于‘100kg’重量驾驶员111强有力(高压力)展开，对于30kg乘客不太有力(中或低压力)展开。替代地或组合地，可以传输包括每个乘员的质量估计结果的输出以控制车辆的座椅安全带预张力。例如，在碰撞时，根据质量估计向座椅安全带(例如，座椅安全带111”、112”)施加预张力，使得乘客得到最佳保护。
在其它实施例中，包括质量估计数据的输出可用于根据车辆中的乘员分布来优化车辆的电子稳定控制(ESC)；和/或激活停用其中质量估计可相关的车辆的单元中的任一个。
根据一些实施例，系统100可以包括例如不同类型的一个或多个传感器，例如2D成像装置和/或3D成像装置和/或RF成像装置和/或振动传感器(微振动)等等，以捕获车辆舱室的感测数据。具体地说，2D成像装置可以捕获例如来自不同角度的车辆舱室的图像，并且生成舱室的原始视觉图像。在实施例中，系统100可以包括成像装置和至少一个处理器，所述成像装置被配置成捕获车辆舱室的2D和3D图像，所述至少一个处理器用以分析图像以生成舱室的深度图。在另一实施例中，系统100可以使用一个或多个振动传感器检测舱室中一个或多个对象的振动(例如微振动)，和/或分析捕获的2D或3D图像以识别对象的振动(例如微振动)。
根据另一实施例，系统100还可以包括用于分析捕获的2D和/或3D图像的面部检测器传感器和/或面部检测和/或面部识别软件模块。
在实施例中，系统100可以包含包括一个或多个处理器的计算单元或可以与其进行通信，所述一个或多个处理器被配置成接收由系统100的传感器捕获的感测数据，并且根据计算机视觉算法和/或机器学习算法中的一者或多者来分析数据，以估计车辆舱室中一个或多个乘员的质量，如本文下面将说明的。
具体地说，根据实施例，一个或多个处理器被配置成组合车辆舱室的2D数据(例如，捕获的2D图像)和3D数据(深度图)，以得到车辆舱室中的一个或多个对象(例如车辆乘员)的质量分类。
有利地，系统100仅提供最小硬件，例如用于捕获车辆110内部的视觉图像和深度图像的一个或多个传感器和成像器。在一些情况下，连接到系统100的接口可以供应必要的电力，并且将获取的数据传送到车辆的计算和/或处理单元(例如VCS 109和/或ACU 108)，其中利用其计算能力使所有处理都在进行。因此，根据一些实施例，安装系统100变得非常容易并且使用现成部件。
图1C示出了根据实施例的感测系统102的示意图，所述感测系统被配置成且能够捕获包括一个或多个对象(例如驾驶员111和/或乘客112)的场景(例如车辆舱室)的图像，并且分析捕获的图像以估计一个或多个对象的质量。在一些情况下，感测系统102可以是图1A和图1B的系统100。根据实施例，系统102包括：成像装置120，该成像装置被配置成且能够捕获一个或多个对象(例如，场景105中的对象111、112)的感测数据；以及控制单元150，该控制单元被配置成分析捕获的感测数据以确定一个或多个对象的质量。
任选地，成像装置120和控制单元150一起集成在单个装置中。在一些情况下，成像装置120和控制单元150分开集成在不同装置中。
根据一个实施例，成像装置120可以是ToF(飞行时间)成像装置，该成像装置包括用于获得场景的3D数据的一个或多个ToF传感器(例如连续波调制(CWM)传感器或其它类型的ToF传感器)以及用于获得场景的2D的一个或多个传感器。
根据一个实施例，成像装置120可以是立体成像装置，该立体成像装置包括用于获得场景的3D数据的一个或多个立体成像器和用于获得场景的2D的一个或多个成像器。
根据一个实施例，成像装置120可以是结构光成像装置，该结构光成像装置包括用于获得场景的3D数据的一个或多个成像器和用于获得场景的2D的一个或多个成像器，如本文下面在图1D中所说明的。
具体地说，在实施例中，成像装置120包括被配置成照射场景105的照明模块130以及被配置成捕获场景的2D和/或3D图像的成像模块123。在一些情况下，成像模块123包括一个或多个成像器，例如不同类型的摄像头或摄像机，例如摄像头126、122。例如，摄像头126可以捕获场景的3D图像或3D视频图像(例如，用于测量场景的深度和场景中的对象的深度)，而摄像头122可以捕获场景的2D图像(例如，原始视觉图像)。例如，摄像头126可以是具有两个或更多个透镜的立体摄像头，例如，每个透镜具有单独的图像传感器，摄像头122可以是2D摄像头。替代地或组合地，摄像头126可以是3D摄像头，其适于捕获从场景中存在的对象反射的结构光图案的漫射光元件的反射。在一些情况下，成像模块123可包括被配置成捕获场景的2D和3D图像的单个摄像头。
照明模块130被配置成使用诸如照明源132、134的一个或多个照明源照射场景105。在一些实施例中，照明模块130被配置成使用宽光束光(例如高强度泛光)照射场景，以实现场景(例如，车辆内部)的良好可见性，并且相应地用于捕获场景的标准图像。在一些实施例中，照明模块被配置成使用结构光和非结构光(例如，泛光)交替地照射场景，并且相应地捕获场景的2D图像和3D图像。例如，成像模块123可以在泛光中捕获一个或多个2D图像，并且在结构光中连续地捕获3D图像，以得到车辆内部的替代深度帧和视频帧。例如，照明源132可以是宽光束照明源，并且照明源134可以是结构光源。在一些情况下，2D和3D图像由单个成像器捕获。在一些情况下，2D和3D图像由多个同步图像捕获。应当理解，本发明的实施例可以使用任何其他类型的照明源和成像器来获得车辆内部的视觉图(例如，2D图像)和深度图(例如，3D图像)。
在一些实施例中，2D和3D图像彼此适当地对准(例如，同步)，使得一个图像中的每个点(例如，像素)可分别在另一图像中找到。这可以根据构建结构的方式自动发生，或者需要两种不同模式之间的额外对准步骤。
根据一个实施例，结构光图案可以由多个漫射光元件，例如点、线、形状和/或它们的组合构成。根据一些实施例，一个或多个光源(例如光源134)可以是激光器等，其被配置成发射相干光或非相干光，使得结构光图案是相干或非相干结构光图案。
根据一些实施例，照明模块130被配置成照射场景的选定部分。
在实施例中，光源134可包括用于生成诸如例如均匀覆盖视场的光斑图案的图案的一个或多个光学元件。这可通过使用一个或多个分束器来实现，该分束器包括光学元件，诸如衍射光学元件(DOE)、分割镜、一个或多个漫射器或被配置为将单个激光光斑分成多个光斑的任何类型的分束器。诸如点、线、形状和/或它们的组合的其他图案可投射在场景上。在一些情况下，照明单元不包括DOE。
根据一些实施例，成像器126可以是CMOS或CCD传感器。例如，传感器可包括光敏或光响应元件的二维阵列，例如光电二极管的二维阵列或电荷耦合装置(COD)的二维阵列，其中成像器126的每个像素测量光从照明模块130行进(到对象并返回到焦平面阵列)所花费的时间。
在一些情况下，成像模块123还可以包括一个或多个光学带通滤波器，例如，用于仅使与照明单元具有相同波长的光通过。
成像装置120可任选地包括缓冲器，该缓冲器通信地耦合到成像器126以接收由成像器126测量、捕获或以其他方式感测或获取的图像数据。缓冲器可以暂时存储图像数据，直到图像数据被处理。
根据实施例，成像装置120被配置成估计感测数据，包括例如场景的视觉图像(例如，2D图像)和深度参数，例如检测到的对象到成像装置的距离。例如，由一个或多个处理器(例如处理器152)分析测得的感测数据，以基于获得的3D数据提取包括检测到的对象到成像装置的距离的3D数据(例如，深度图)并且从视觉图像提取检测到的对象的姿态/定向，并且组合两种类型的数据以确定场景105中的对象的质量，如本文将进一步详细描述的。
控制板150可以包括一个或多个处理器152、存储器154和通信电路156。控制板150的部件可以被配置成传输、存储和/或分析捕获的感测数据。具体地说，一个或多个处理器被配置成分析所捕获的感测数据以提取视觉数据和深度数据。
图1D示出了根据实施例的感测系统103的示意图，所述感测系统被配置成且能够捕获包括一个或多个对象(例如，驾驶员111和/或乘客112)的车辆舱室的反射的结构光图像并分析捕获的图像以估计一个或多个对象的质量。在一些情况下，感测系统103可以是图1A和图1B的系统100。根据实施例，系统103包括：结构光成像装置124，该结构光成像装置被配置成且能够捕获一个或多个对象(例如，场景105中的对象111、112)的感测数据；以及控制单元150，该控制单元被配置成分析捕获的感测数据以确定一个或多个对象的质量。
任选地，成像装置124和控制单元150一起集成在单个装置中。在一些情况下，成像装置120和控制单元150分开集成在不同装置中。
在实施例中，结构光成像装置124包括结构光照明模块133和用以捕获场景的图像的成像传感器125(例如，摄像头、红外摄像头等)，所述结构光照明模块被配置成例如在一个或多个光谱中将结构光图案(例如，调制结构光)投射在场景105上。成像传感器125适于捕获从场景中存在的对象反射的结构光图案的漫射光元件的反射。因此，成像传感器125可适于在由照明模块133施加的光谱中操作，以便捕获反射的结构光图案。
根据实施例，成像传感器125可包括成像器127，该成像器包括用于将来自场景的反射光和图像聚集到成像器127上的一个或多个透镜。
根据实施例，成像传感器125可以捕获场景的视觉图像(例如，2D图像)和包括反射光图案的图像，所述包括反射光图案的图像可以由一个或多个处理器处理以提取3D图像以用于通过定量发射的光信号在从场景中的一个或多个对象中弹回时所遇到的改变来进一步测量场景的深度和场景中的对象的深度，并且使用传感器的至少一个像素中的反射光图案特性标识对象和/或场景与成像装置的距离。
在实施例中，源自对由成像传感器125捕获的图像的分析的深度数据和视觉数据(例如，2D图像)是时间同步的。换句话说，由于质量分类源自对(成像系统的)相同成像传感器捕获的共同图像的分析，因此它们也可以是固有地时间(暂时)同步的，因此进一步简化导出数据与场景中的对象的相关性。
照明模块133被配置成例如在诸如由照明源135发射的近红外光的一个或多个光谱中将结构光图案投射在场景105上。结构光图案可以由多个漫射光元件构成。根据一些实施例，照明模块133可包括一个或多个光源，例如单个相干或非相干光源135，例如激光器等，其被配置成发射相干光使得结构光图案是相干结构光图案。
根据一些实施例，照明模块133被配置成照射场景的选定部分。
在实施例中，照明模块133可包括用于生成诸如例如均匀覆盖视场的光斑图案的图案一个或多个光学元件。这可通过使用一个或多个分束器来实现，该分束器包括光学元件，诸如衍射光学元件(DOE)、分割镜、一个或多个漫射器或被配置为将单个激光光斑分成多个光斑的任何类型的分束器。诸如点、线、形状和/或它们的组合的其他图案可投射在场景上。在一些情况下，照明单元不包括DOE。
具体地，照明源135可被控制以便以多个空间或二维图案产生或发射光，例如，调制光。照明可采取电磁能的各种各样的波长或波长范围中的任一者的形式。例如，照明可包含在电磁波谱的光学范围或部分中的波长的电磁能，所述波长包含人类可见范围或部分(例如，约390nm-750nm)中的波长以及/或者电磁波谱的近红外(NIR)(例如，约750nm-1400nm)或红外(例如，约750nm-1mm)部分和/或近紫外(NUV)(例如，约400nm-300nm)或紫外(例如，约400nm-122nm)部分中的波长。特定波长是示例性的，而不意在限制。可以采用电磁能的其他波长。在一些情况下，照明源135波长可以是830nm或840nm或850nm或940nm范围中的任一者。
根据一些实施例，成像器127可以是CMOS或CCD传感器。例如，传感器可包括光敏或光响应元件的二维阵列，例如光电二极管的二维阵列或电荷耦合装置(COD)的二维阵列，其中成像器127的每个像素测量光从照明源135行进(到对象并返回到焦平面阵列)所花费的时间。
在一些情况下，成像传感器125还可以包括一个或多个光学带通滤波器，例如，用于仅使与照明模块133具有相同波长的光通过。
成像装置124可任选地包括缓冲器，该缓冲器通信地耦合到成像器127以接收由成像器127测量、捕获或以其他方式感测或获取的图像数据。缓冲器可以暂时存储图像数据，直到图像数据被处理。
根据实施例，成像装置124被配置成估计感测数据，包括例如场景的视觉图像和深度参数，例如检测到的对象到成像装置的距离。例如，由一个或多个处理器(例如处理器152)分析测得的感测数据以从图案图像提取包括检测到的对象到成像装置的距离的3D数据(例如，深度图)并且从视觉图像提取检测到的对象的姿态/定向，并且组合两种类型的数据以确定场景105中的对象的质量，如本文将进一步详细描述的。
控制板150可以包括一个或多个处理器152、存储器154和通信电路156。控制板150的部件可以被配置成传输、存储和/或分析捕获的感测数据。具体地说，一个或多个处理器(例如处理器152)被配置成分析捕获的感测数据以提取视觉数据和深度数据。
任选地，成像装置124和控制单元150一起集成在单个装置或系统(例如系统100)中。在一些情况下，成像装置124和控制单元150分开集成在不同装置中。
图2A是根据实施例的在图1A、1B、1C和1D所示的系统100、101和102中的一个或多个中操作的处理器152的框图。在图2A所示的实例中，处理器152包括捕获模块212；深度图模块214；估计模块，例如姿态估计模块216；集成模块218；特征提取模块220；滤波器模块222；质量预测模块224；3D图像数据存储器232；2D图像数据存储器234；深度图表示数据存储器236；标注数据存储器238；骨架模型数据存储器240和测量数据存储器242。在未示出的替代实施例中，处理器152可以包括额外和/或不同和/或更少模块或数据存储器。同样地，由处理器152的各种实体执行的功能在不同实施例中可能不同。
在一些方面，模块可以在软件(例如，子例程和代码)中实施。在一些方面，一些或所有模块可以在硬件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)、控制器、状态机、门控逻辑、分立硬件部件或任何其它合适的装置)和/或两者的组合中实施。本公开中进一步描述了根据主题技术的各个方面的这些模块的额外特征和功能。
任选地，模块可以集成到一个或多个基于云的服务器中。
捕获模块212获得场景中的一个或多个对象(例如，车辆中的一个或多个乘客或驾驶员)的场景(例如，车辆内部乘客室)的图像。在一个实施例中，处理器152指示一个或多个传感器(例如，图1C中所示的成像装置120或图1D中所示的成像装置124)捕获场景的图像以进一步提取场景中的对象或场景本身的2D和3D数据(例如，图像)。作为一个实例，捕获模块212可以例如同步地和/或顺序地获得视觉图像(例如，原始2D图像)序列和包括场景中的一个或多个对象的深度数据(例如，3D图像)的图像序列。根据实施例，分析2D图像以确定对象的姿态和定向，同时分析3D图像以产生对象的深度图表示，如下文将详细解释的。
在一个实施例中，如上文所述，捕获模块212获得由照明器照射的对象的3D图像和/或由立体传感器和/或ToF传感器获得的图像，所述照明器将具有特定照明图案的结构光投射到对象上。对象的捕获的图像为深度图的未来生成提供了有用的信息。例如，用结构光照射的对象的捕获的图像包括对应于投射到对象上的照明图案的特定图案特征。图案特征可以是条纹、线、点或其它几何形状，并且包括均匀或非均匀特性，例如形状、大小和强度。在一些情况下，图像由诸如立体传感器或ToF传感器的其它传感器捕获，深度数据以不同方式呈现。图3B中描述了用特定结构光(例如，点)照射的示例性捕获的图像310。捕获的图像310包括坐在车辆前座椅处的两个乘员315(例如，驾驶员)和325(儿童乘客)。在一些情况下，捕获的图像310和相关图像数据(例如，每个像素的强度、深度和梯度)存储在3D图像数据存储器232中，并且捕获的视觉图像(例如，2D图像)和相关图像数据存储在2D图像数据存储器234中，如下文更全面地描述的。
深度图模块214从图像3D数据存储器242检索被照射对象的捕获的3D图像，并且根据被照射对象的捕获的图像(例如，图案图像)生成对象的深度图表示。如上文所描述的，对象的深度图表示指包含关于对象的表面的不同部分和/或场景与指定视点的距离的信息的图像。指定视点可以是捕获对象的图像的传感器的位置。在实施例中，深度图表示存储在深度图表示数据存储器236处，如下文更全面地描述的。下文参考图3A进一步描述示例性深度图表示。
在一个实施例中，深度图模块214识别并分析图案特征，以用于导出捕获的图像的深度信息。基于与对象相关联的已识别和分析的图案特征，深度图模块214生成对象的深度图表示。深度信息的实例可以是由于捕获的图像中的对象上的每个像素的深度差异造成的对象的几何变形。对象上的像素的“深度”是指实际对象上的像素与指定视点(例如，传感器的位置)之间的距离。
在一些实施例中，深度图模块214基于光图案与图像传感器之间的三角测量来生成捕获的图像中的对象的深度图表示，可以提取由光图案照射的对象的深度。检测到的图案指投射到对象上且在捕获的图像中渲染的图案，且参考图案指由照明器提供的原始照明图案。对于具有投射到对象上的照明图案的结构光，在捕获的对象的图像中检测到的图案是结构光的原始照明图案的失真版本。原始图案的失真版本包括由于对象的深度导致的移位和其它失真。通过将检测到的图案与原始照明图案或将检测到的图案的部分与原始照明图案的相应部分进行比较，深度图模块214识别偏移或失真并生成对象的深度图表示。
图3A示出了根据实施例的包括反射光图案光斑的捕获的图像335的实例。为了说明，使用灰度颜色对反射光图案光斑的每个光斑进行着色，其中每种颜色表示光斑与参考点(例如，摄像头)的距离。例如，标度282包括距摄像头约40cm的距离的灰度颜色，并且颜色表示在距摄像头约140cm距离内连续地改变为黑色标度，以此类推，颜色标度根据距离变化。因此，分析图3B中所示的捕获的图像285的多图案光斑281以得到如图3A所示的场景的深度表示图像287。例如，驾驶员腿上的反射点簇(由椭圆345呈现)通常距摄像头约20-50cm，而驾驶员的中心质量(由椭圆355呈现)离摄像头更远(约50-80cm)。根据实施例，深度图模块214接收并分析车辆舱室的图像(例如图像335)，以根据捕获的图像中的检测到的图案与传感器的距离提取深度图表示，该深度图表示包括捕获的图像中的每个反射图案位置(例如像素)的深度值。
姿态估计模块216从2D图像数据存储器234检索捕获的车辆的被照射的乘坐对象(通常是一个或多个人员)的原始图像(2D图像)，并分析该原始图像以识别图像中的一个或多个人员并进一步估计他们的姿态。在一些情况下，识别包括生成图形表示，例如叠加在捕获的图像中的每个已识别人员上的点的骨架。在一些实施例中，包括叠加的骨架的图像存储在标注数据存储器238处。
在一个实施例中，姿态估计器模块216使用DNN(深度神经网络)在每个检索到的图像中识别一个或多个人员，并在已识别对象处叠加(例如标记)多个标注，例如选定的关键点位置。如果对象是已识别人员(例如，乘客或驾驶员)，则关键点表示在捕获的人员的身体图像处检测到的身体标志(例如关节身体点)。根据实施例，检测到的关键点可以图形方式表示为已识别人员的身体的关键点或骨架的框架。根据实施例，骨架的每个关键点包括人体图像处的坐标(x，y)。在一些情况下，通过标记如图4A和图4B中所示的两条线之间的连接线来链接每两个关键点来形成骨架。
集成模块218获得每个对象的形成的骨架(例如，2D骨架)和深度图表示，并将它们组合(例如，将它们混合)以得到骨架模型，例如，包括每个对象的3D数据的3D骨架。在实施例中，集成过程包括以计算方式组合形成的骨架(2D骨架)和深度图表示以得到骨架模型，该骨架模型包括(x，y，z)坐标系中骨架模型中每个关键点的数据。在实施例中，骨架模型包括与在形成的骨架模型处的每个关节关键点有关的深度数据，例如人员在场景中的每个点的位置(x，y)和该点与(x，y，z)坐标系中的相应图像传感器的距离(z)。换句话说，形成的骨架的每个关键点在2D图像中具有坐标。由于捕获的2D和3D图像彼此共同配准，因此根据实施例，可以获得3D图中相同坐标的3D值。因此，获得一些关键点或每个关键点的Z值，例如(距离)。组合过程的实例在图6中示出。
在一些情况下，骨架模型数据存储在骨架模型数据存储器240处。
在实施例中，特征提取模块220被配置成且能够分析骨架模型数据，并提取场景处的每个相关的已识别人员的一个或多个数据测量值。通常，提取的测量值包括与成像人员有关的数据，以及旨在提供信息的输出导出值(例如，特征)和关于人员的非冗余信息。具体地说，车辆中的成像乘员(例如，人员)的提取的特征可包括乘员的身体部位的测得长度，例如乘员；躯干；肩部的长度；髋部宽度和骨盆位置等。
通常，估计就座人员的质量，即使是通过人眼，也比估计站立人员的质量要困难得多，因为人员的主要身体部分(例如，腿部、膝盖或手)是隐藏的和/或没有完全呈现出来。具体地，基于车辆中的身体部位测量值(例如骨架测量值)来估计例如人员的乘坐对象的质量因此具有挑战性，因为人的骨架以高度非标准姿态(例如坐姿或“屈膝”姿势)可见。根据实施例，需要识别这些非标准姿态(例如，“屈膝”姿势)并且避免在质量估计过程中使用它们以便产生准确的质量估计。根据实施例，滤波器模块222被配置成通过从骨架模型数据存储器232获得包括对象的骨架模型数据的图像，并且基于预定义过滤标准(例如预定义过滤标准)过滤掉获得的图像中的一个或多个，来解决这一问题。包括骨架模型数据(例如，有效的骨架模型数据)的剩余有效图像可以保存在骨架模型数据存储器240处，以用于进一步确定对象的质量。
在一些情况下，预定义过滤标准包括特定的选择规则，其定义对象的有效姿态、姿势或定向，并且进一步丢弃“异常”姿态。根据实施例，“异常”姿态可以定义为不反映或呈现对象的全部或几乎全部主要部分的对象的身体姿态(例如，由骨架模型标记)或身体部分。过滤标准的非限制性实例包括：已识别对象的骨架特征和/或已识别异常姿态之间的定义空间关系；短成像身体部分长度，远离高密度区域定位的对象图像位置。
根据实施例，已识别对象的骨架特征之间的定义空间关系包括例如对象部分之间的预定义关系。具体地，在对象是坐在车辆中的乘员的情况下，所述标准包括乘员身体部位之间的定义空间关系，例如乘员的肩部与躯干或手之间的关系，坐姿中躯干与膝盖之间的关系等。在一些情况下，(例如，在坐姿中)测量测得的骨架乘员身体器官(例如，膝盖；肩部；手)之间的空间关系，并将其与预定义的身体比例参数进行比较。例如，如图5B中所示，驾驶员522的肩部与躯干之间的空间关系与预定义的比例参数不匹配，因此图像501将被丢弃。在一些情况下，与乘员的身体比例和特征有关的数据存储在标注数据存储器238处，并由滤波模块222检索以相应地丢弃或确认乘员的捕获的图像和/或骨架模型。
根据实施例，高密度过滤标准包括根据一个或多个车辆参数的测得参数生成高密度模型(例如，诸如八维矢量的高维度空间矢量)。高密度模型可以包括对于已识别人员的每个关键点(身体关节)，在捕获的图像中的关键点可能定位的允许区域。如果高密度模型识别出关键点在此区域之外，则丢弃此图像。通过分析具有良好“标准”坐姿的图像来提供每个关节的允许区域。
在一些情况下，生成的高密度参数存储在感测系统(例如系统100、102或103)处(例如，在处理器152或存储装置154处，或在远程处理器或数据库例如云数据存储器处)。然后，将每个生成的骨架放置在生成的高维空间处和/或与生成的高维空间进行比较，以确定相对于高密度模型的骨架的空间中的位置。因此，丢弃包括不在距此空间中的高密度区域预定距离内的骨架的图像。例如，将过滤掉位于远离密度中心的生成的骨架。
根据实施例，质量预测模块224从骨架模型数据存储器240获得对象的有效图像，并分析有效图像以确定对象的质量。在一些实施例中，所述分析包括将提取的有效骨架数据的特征插入回归模块，例如被配置成且能够估计质量的预训练回归模块。在一些情况下，预训练回归模块可以使用根据例如XGBoost方法训练的“决策树”，其中每个决策树根据对象的测得特征表示每个捕获的图像中的对象的测得质量。例如，每个形成的树可以包括关于捕获的乘员的特征(例如，乘员的肩膀长度；躯干长度；基于有效图像测量的膝盖长度)的数据。根据实施例，使用预训练回归模块优化乘员的质量估计过程，以为每个捕获的对象(例如，人员)提供最准确的质量预测(例如，估计预测)。应理解，根据实施例，可使用其它类型的预训练方法。
在一些实施例中，如下文更全面地描述的，每个对象的测量质量存储在质量测量数据存储器242处。
处理器152的3D图像数据存储器232存储捕获的特定对象(例如，人员)或场景(例如，车辆舱室)的3D图像以及与捕获的图像相关的图像数据。在实施例中，存储在3D图像数据存储器232中的捕获的3D图像可以是包括对应于投射到对象上的照明图案的特定图案特征的图像。例如，图像可以包括如图3A中所示的一个或多个反射光斑。在其它实施例中，3D图像可以是从立体摄像头或ToF传感器或任何已知3D捕获装置或方法获得的图像。
处理器152的深度图数据存储器234存储由深度图模块214生成的对象的深度图表示和相关数据。例如，深度图数据存储器234存储原始深度图表示和相关深度数据以及增强深度图表示和相关深度数据。如上文描述的，原始深度图表示指源自原始捕获的图像的深度图表示。
处理器152的深度图表示数据存储器236存储由深度图模块214生成的对象的深度图表示和相关数据。例如，深度图数据存储器234存储原始深度图表示和相关深度数据以及增强深度图表示和相关深度数据。具体地说，在一些情况下，相关数据可包括根据每个图像像素与图像传感器的测得距离的图像的光图案的图像表示。
处理器152的标注数据存储器238存储由姿态估计模块216生成的对象的骨架表示和相关数据。例如，标注数据存储器234存储每个对象的原始2D图像和相关叠加骨架。根据一个实施例，标注数据存储器234还可以存储骨架处的每个像素或关键点的相关数据，例如一个或多个置信度等级。置信度等级可以定义为关键点热图的强度等级，由例如姿态估计模块216识别的。例如，姿态估计模块216可以包括或使用DNN以为捕获的图像处的一些或每个关键点提供“概率热图”。在实施例中，每个关键点的“概率热图”可以例如存储在标注数据存储器238处。对于每个骨架点，DNN(例如，姿态估计模块216)通过调整概率图中的最大点的强度来表述生成的骨架的关键点的位置的置信度、相关性和准确性。例如，如图4A中所示，对于骨架411处的每个关键点(例如，关键点442、443、444、452、453、462、463、464、465、472、473和474)，生成与DNN的置信度评级有关的概率热图。概率热图还可以例如与密度标准得分一起使用，以确定骨架关键点的置信度等级，并相应地批准或丢弃捕获的图像。
在一些情况下，根据图像中已识别对象划分原始图像。例如，捕获的车辆舱室的图像按照每个车辆座椅(例如，前座椅或后座椅)被分成一个或多个图像。
图4A和图4B分别示出了捕获的车辆内部乘客室412、422的图像410、420的实例，所述图像包括两个成像乘员，即图像410中的驾驶员404和乘客406以及图像422中的驾驶员416和乘客418。在实施例中，图像410、420由安装在车辆的前部区段上(例如，在前部居中镜上或附近)的成像装置捕获。在实施例中，姿态估计器模块242从2D图像数据存储器244检索捕获的被照射对象(例如，乘员404、406、416和418)的原始视觉图像，并在图像中的人员上生成骨架(例如，捕获的图像410、420上的骨架411和421)。例如，如图4A中所示，捕获的图像410的左侧中的对象被识别为坐在车辆乘客前座椅上的人员(例如，乘客406)，其中骨架411叠加在乘客的中心身体上。在实施例中，姿态估计模块216被配置成通过检测已识别对象上的标志(例如，关键点)并通过连接线链接已识别标志来识别和定位乘客身体的主要部位/关节(例如，肩部、踝关节、膝盖、手腕等)。例如，如图4A中所示，由姿态估计模块246进行的骨架生成过程包括：识别由线444链接的关键点442、443以用于估计乘客肩部；识别关键点452、453以用于估计乘客的躯干；识别关键点462、463、464、465以用于估计乘客膝盖；识别关键点472、473、474以用于估计乘客的右手，以及识别关键点482、483以用于估计乘客的左手。根据实施例，通过经训练以识别特定关键点的DNN来获得关键点。
在一些情况下，对于每个已识别关键点，应用“概率图”以得到限定已识别关键点的准确性的置信度等级。
在一些情况下，在车辆包括多个座椅(例如，后座椅、前座椅、驾驶员座椅、婴儿座椅等)，并且捕获的图像包括坐在不同座椅上的许多乘员时，模块可以例如单独地识别每个座椅和坐在已识别座椅上的乘员，以用于相应地为每个对象(例如，乘客和/或驾驶员)生成骨架。例如，如图4B中所示，可以识别驾驶员座椅和驾驶员，因此，第二骨架可以叠加在已识别驾驶员上。
根据实施例，一旦例如由一个或多个处理器(例如，处理器152)为一个或多个对象(例如为每个对象)生成骨架表示，就对对象的一个或多个骨架特性进行分析以估计对象的质量。例如，如图4C-4G中所示，捕获包括两个乘员482、484的车辆内部舱室后座的图像480。例如，图像480可以是车辆舱室的多个捕获的帧中的一个帧。根据实施例，分析叠加在乘员484上的骨架486，以得到乘员的身体(例如骨架)特性，例如乘员484肩部(图4C)、髋部(图4D)、躯干(图4E)、腿部(图4F)的长度以及质量中心(图4G)。在一些情况下，基于这五个测得的骨架部分估计乘员的质量。在其它实施例中，可以测量乘员的不同和/或另外身体器官或乘员周围环境中的元件。
图4H-4K示出了根据实施例的车辆中的一个或多个乘员的估计质量随乘员的各个测得的身体特性特征，例如肩部(图4H)、躯干(图4I)、髋部(图4J)和腿部(图4K)变化的数据分布。图4H-4K的每个图形处的竖直线表示围绕已识别对象移动的一个或多个主体。每个身体部分的质量估计(例如图4I的躯干长度估计)包括同一对象(例如，人员的躯干)的噪声和图像间的变化。有利地，组合同一对象的不同身体部位的不同测量值得到准确的质量估计。
应当强调的是，由于诸如乘员的腿部测量的较不稳健的测量，图4H-4K中的一些图形包括较少的数据。
在一个实施例中，姿态估计模块216使用例如从滤波器数据存储器获得的一个或多个滤波器处理每个图像，以检查和生成置信度等级。置信度等级基于形成的骨架的可靠性和/或准确性，并且特别用于检验每个已识别关键点的可靠性和准确性。在一些情况下，置信度等级可以基于由姿态估计模块216(例如，DNN)测量的置信度等级评级和使用姿态密度模型测量的密度标准得分来确定。
根据实施例，姿态密度模型从姿态估计模块216获得每个图像的骨架，并将每个对象的骨架配置放置在高维度空间中，以丢弃在距此空间中的高密度区域预定距离内的任何配置。在一些情况下，该距离由当前帧的关键点的8向量与从完整训练数据计算的平均点之间的欧几里得距离确定。在一个实施例中，置信概率基于骨架在骨架空间中的局部密度来配置。在一些情况下，对获得的估计执行时间平滑，以减少噪声和波动。
图2B是根据一个实施例的流程图250，其示出了捕获一个或多个对象(例如，场景256中的对象254、255)的一个或多个图像252并估计对象的质量的步骤。在一些情况下，场景可以是具有一个或多个座椅的车辆内部乘客，并且对象是坐在这些座椅上的一个或多个乘客和/或驾驶员。如图2B中所示，包括一个或多个照明器265的成像装置262向场景256中的对象254、255提供具有特定照明图案(例如，光斑)的结构光，并且传感器266捕获场景256中的对象254、255的一个或多个图像。在其它实施例中，装置262可以是或可以包括立体成像器或ToF成像器。例如，成像装置可以是ToF成像装置，并且照明器包括被配置成将光投射到场景上的照明源，并且传感器是ToF传感器，其被配置成捕获包括来自场景中的一个或多个对象的所述调制结构光图案的反射的多个图像。在一些情况下，成像装置262可以是包括如本领域已知的立体成像器的立体成像装置。
在各种实施例中，投射光图案可以是例如均匀覆盖场景或场景的选择性部分的光斑图案。当光投射到场景中时，来自光图案的光斑落到一个或多个感兴趣对象上。在一些情况下，光由照明器265使用衍射光学元件(DOE)投射以将单个激光光斑拆分成多个光斑，如图1B中所述。诸如点、线、形状和/或它们的组合的其他图案可投射在场景上。在一些情况下，照明单元不包括DOE。
在一些情况下，每个反射光图案(例如，光斑)被ToF传感器像素266中的一者或多者覆盖。例如，每个光斑可被5×5像素窗口覆盖。
在一个实施例中，处理器152可以指示照明器265用特定调制结构光照射对象254、265。将一个或多个反射图案图像260和清晰图像270(例如，不包括反射光图案的视觉图像)提供给处理器152以生成深度图表示264以及对象254、255的骨架模型表示266。为了生成对象254、255中的每一个的骨架模型表示266，处理器152首先通过将场景空间256中的每个点与对象的特定部分相关联来识别原始图像(270)中的捕获的对象的姿态和/或定向(272)。例如，在对象254、255是两个车辆乘客(例如，人员)的情况下，乘客图像中的每个点或选定点链接到特定身体器官，例如腿部、躯干等。然后，处理器152通过基于例如测得的置信度等级(如上文所述)检验每个已识别对象的可靠性并应用空间中的每个已识别点的置信度等级来过滤已识别点(274)。此后，在一些情况下，处理器152根据已识别对象的已识别姿态和/或定向和/或置信度等级将捕获的图像拆分成一个或多个图像(276)，以生成每个已识别对象的骨架表示(278)。在一些情况下，可以通过对图像应用OpenPose算法和/或其它DNN算法(例如，被配置成提取身体姿态的DensePose)来检测和测量对象的位置和定向。
根据实施例，为了生成对象254、255的深度图表示264，处理器152分析捕获的图像260中的渲染的反射图案特征和/或ToF数据和/或立体数据，以得到每个反射图案距参考点的深度，例如距离。在一些情况下，图案是光斑形状图案，并且生成的深度图表示264包括叠加在捕获的图像252上的点的网格，其中每个点指示图像的表面的深度，如图3A中所示。处理器152接着将深度图表示(264)与骨架标注表示(278)集成(例如组合)以得到每个对象的骨架模型表示(266)。根据实施例，接着由处理器152分析每个对象的骨架模型表示(266)，以提取对象特征(268)，例如，在已识别对象是人员的情况下，身体部分的长度或宽度。提取的特征的非限制性实例可包括对象的身体部分长度，例如肩部、躯干、膝盖长度。
在一些实施例中，处理器152根据预定义过滤标准过滤骨架模型呈现图像，以得到一个或多个有效骨架模型呈现(269)。在一些情况下，过滤标准基于每个已识别点的测得置信度评级以及如本文关于图2A所述的一个或多个选择规则。在一些情况下，为每个分析帧分配一个等级，反映已识别对象形状和位置的准确性和可靠性。
根据实施例，基于提取的特征，处理器152确定每个对象的质量(280)。例如，将每个捕获的图像的提取特征插入到质量模型(例如预训练回归质量模型)中，该模块接收每个获得的图像随时间(t)推移的提取的对象特征以确定场景中的每个对象的质量(280)或质量分类(282)。在实施例中，质量模型考虑先前质量预测，如从先前图像处理步骤获得的，以选择最准确的质量预测结果。在一些实施例中，质量模型还考虑每个骨架模型的测量等级，以及任选地还考虑所提供的置信度等级，以得到最准确的质量预测结果。
在一些实施例中，激活时间滤波器以稳定和去除异常值，使得在每个时间戳处提供单个预测。例如，时间滤波可以包括去除无效图像并基于先前的有效帧确定质量预测。如果所需输出是连续质量值(例如，其可包括任何数值，例如，5，97.3，42.1 60等)，则其是时间滤波器的输出。
替代地或组合地，可以根据诸如儿童、青少年、成人的许多预定质量类别来确定场景中的每个已识别对象(例如对象254、255)的质量分类(282)。例如，重量为60kg和/或在50-65kg之间的车辆乘客将被分类为“小个子成人”或“青少年”，而重量为25kg或在25kg范围内的儿童将被分类为“儿童”。
图5A和5B示出了根据实施例的基于预定义过滤标准过滤掉的车辆的内部乘客室的捕获的图像500、501的实例。如图5A和图5B中所示，获得的图像500、501中的每一个包括由叠加在乘员的主要身体部分上的若干线形成的图形骨架呈现。根据实施例，分析这些骨架中的每一个以区分包括“异常”或“无效”姿态的图像，并保留选定图像(例如，包括有效姿态的有效图像)，所述选定图像将用于进一步准确的乘员质量测量钙化。
图5A示出了坐在车辆的乘客前座椅上的乘客512的捕获的图像500，所述捕获的图像将基于预定义过滤标准例如由于测量的躯干短而被过滤掉。具体地，如图像500中所示，乘客512相对于成像传感器向前倾斜，并且因此，测得的骨架518的乘客的躯干长度516(例如，在骨架点511与513之间测量的颈部与骨盆之间的长度)相对于肩部宽度较短。由于基于图像500中所示的此类位置的质量估计是困难的且不准确(由于预定义过滤标准中定义的测得的躯干短)，因此将从车辆舱室的捕获的图像过滤掉该图像。
图5B示出了坐在车辆的驾驶员座椅上的驾驶员522的捕获的图像501和叠加在驾驶员上身上的成形骨架528。根据实施例，将从车辆舱室的捕获的图像的列表中过滤掉图像501，因为骨架528强调的驾驶员身体的捕获的图像远离高密度区域定位。具体地，驾驶员的身体图像位于“骨架配置空间”中的低密度区域(例如，骨架拟合在远离密度中心处)，这意味着已识别人员的身体正从“标准”坐姿倾斜，并且因此关节比允许的位置更远。
图6是根据一个实施例的流程图600，其示出了通过组合图3B中所示的乘员的深度图表示335和图4A和4B中所示的乘员的2D骨架表示图像422，生成图3B中所示的乘员的骨架模型(3D骨架模型650)。如图6中所示，捕获的图像325在捕获的乘员(例如，人员)上渲染图案特征。乘员的深度图表示335源自乘员的捕获的图像325，其中乘员的深度图表示335提供乘员的深度信息，而2D骨架表示422提供关于乘员的姿态、定向和尺寸信息。骨架模型650通过组合乘员的深度图表示335和对象的2D骨架表示422来创建。根据实施例，通过将深度值(例如，从围绕该点的最近深度点计算)应用于每个骨架关键点来创建骨架模型650。替代地或组合地，骨架区域中的平均深度可以作为单个恒定数字提供。该数字可以用作每个提供的骨架的物理“标度”，如关于图8进一步解释的。
图7A是根据实施例的用于测量车辆中的一个或多个乘员的质量的方法700的示意性高层级流程图。例如，所述方法可以包括根据一个或多个质量分类类别例如实时地确定坐在车辆座椅上的一个或多个乘员的质量，以及相应地输出一个或多个信号以激活和/或提供与车辆单元或应用程序中的一者或多者的激活相关联的信息。方法700的一些阶段可以至少部分地由至少一个计算机处理器，例如由处理器152和/或车辆计算单元执行。可以提供相应的计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质具有随其包含的计算机可读程序，并且被配置成执行方法700的相关阶段。在其它实施例中，所述方法包括与结合图7描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以与结合图7A描述的次序不同的次序执行。在一些实施例中，所述方法的一些步骤是任选的，例如过滤过程。
在步骤710处，根据实施例，获得包括一个或多个视觉图像的多个图像，所述视觉图像是例如车辆舱室的2D图像序列和3D图像序列。获得的2D和3D图像序列包括一个或多个乘员(例如，坐在车辆后部和/或后排座椅中的驾驶员和/或乘客)的图像。根据一些实施例，3D图像是包括反射光图案和/或ToF数据和/或任何立体数据的图像，而2D图像是不包括诸如反射光图案的额外数据的清晰原始视觉图像。在一些实施例中，位于车辆舱室中，例如位于图1A中所示的车辆前区段处的图像传感器同步地和/或依序地捕获多个图像(例如，2D和3D图像)。在一些情况下，实时地获得和处理图像。
在步骤720处，对获得的2D图像序列应用一个或多个姿态检测算法以检测车辆舱室中的乘员的姿态和定向。具体地说，姿态检测算法被配置成标识和/或测量特征，例如位置；定向；身体器官；乘员的身长和身宽。例如，可以通过对图像和/或密集姿态应用OpenPose算法来检测和测量对象的位置和定向。具体地说，根据实施例，随时间(t)将例如DNN(深度神经网络)的神经网络应用于每个获得的2D图像以在每个已标识乘员上生成(例如，叠加)骨架层。骨架层可以包括描述乘员的关节的多个关键点位置。换句话说，关键点表示在形成如图4A和4B所示的骨架表示的捕获的身体图像处检测到的身体标志(例如，关节身体点)。根据实施例，骨架表示的每个关键点包括乘员身体图像处的已识别坐标(x,y)，用于提取已识别乘员的特征。
在一些实施例中，姿态估计方法可以进一步用于识别每个获得的2D图像中的乘员和/或乘员的座椅。
在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或多个特征，例如乘员的身体部位和乘员的座椅位置。
在一些实施例中，已识别乘员彼此分离以得到每个已识别乘员的单独的图像。在一些实施例中，每个单独的图像包括已识别乘员，并且任选地包括乘员周围环境，例如乘员的座椅。
在一些实施例中，基于图像中的已识别乘员的数目划分2D图像序列中的每个获得的2D图像，从而为每个已识别乘员生成单独的骨架。
在一些实施例中，向空间(例如，车辆舱室)中的每个估计的关键点分配置信度等级。
在步骤730处，根据实施例，分析3D图像序列以生成乘员的深度图表示。例如，捕获的用结构光照射的对象的3D图像包括对应于投射到对象上的照明图案的特定图案特征。图案特征可以是条纹、线、点或其它几何形状，并且包括均匀或非均匀特性，例如形状、大小和强度。图3A中描述了用特定结构光(例如，点)照射的示例性捕获的图像。
在步骤740处，根据实施例，组合每个图像的每个乘员的3D图表示和骨架标注层，以得到例如每个乘员的骨架模型(3D骨架模型)。通常，生成的骨架模型用于识别从成像装置获得的图像中的乘员的定向/姿态/距离。具体地说，骨架模型包括诸如乘员相对于X-Y-Z坐标系的3D关键点(x,y,z)表示的数据，其中(x,y)点表示获得的图像中乘员身体接合表面的位置，并且(z)表示相关(x,y)关键点表面与图像传感器的距离。
例如，图7B根据实施例示出了包括车辆内部乘客室782的组合的3D图层和骨架层的图像780。图像780示出了坐在车辆座椅处的乘客785和用于估计每个相关身体部分距图像传感器的距离(例如深度)的多个反射光图案(例如点)788。图像还包括骨架790，所述骨架通过由连接线连接乘客身体处的若干对选定关键点而形成。
应当强调的是，虽然图7A的步骤730和740包括获得反射光图案图像以得到每个图像的深度数据，但本发明可以包括通过任何类型的3D系统、装置和方法(例如本领域已知的立体摄像头和/或ToF传感器)来获得3D图像和/或提取深度数据。
在步骤750处，分析骨架模型以提取乘员的一个或多个特征。在实施例中，提取的特征可以包括数据，例如车辆中每个乘员的测得姿态和/或定向。在一些实施例中，特征还可以包括乘员的一个或多个身体部位(例如，乘员的主要身体部位，例如肩部、髋部、躯干、腿部、身体等)的长度。有利地，生成的骨架模型提供每个身体部分的“真实长度”(例如，或实际长度)，而不是在仅获得人的2D图像的情况下可以获得的“投射长度”。基于3D数据的分析提高了质量估计的准确性，因为“投射长度”在提供质量估计方面非常有限(例如，对角度敏感等)。例如，如图7B所示，分析包括点的反射光图案的获得的图像780和叠加在坐在车辆前座椅或后座椅处的乘客的图像上的骨架，以估计例如肩部、髋部、躯干、腿部、身体等人体部位的长度。
在步骤760处，根据实施例，分析每个乘员的一个或多个骨架模型以基于例如预定义过滤标准过滤掉(例如，去除或删除)一个或多个骨架模型，并得到乘员的有效骨架模型(例如，适合于质量估计)。预定义过滤标准包括定义用于估计乘员质量的所需姿态和定向的选择规则。例如，预定义过滤标准包括定义乘员的“异常”或“无效”姿态或定向的选择规则。“异常’姿态或定向可以定义为乘员的姿态或定向，其中由于例如乘员的坐姿不标准或者由于乘员相对于图像传感器成像的角度使得可能无法完全看到乘员，而未呈现或成像完整或几乎完整的骨架表示。在一些情况下，不标准的姿态可与乘员未坐直的姿态，例如处于弯曲位置有关。因此，对这些“异常”骨架表示的分析用于丢弃被定义为“异常”(例如，不准确或错误测量)的姿态，并且因此在质量估计过程中忽略这些骨架。过滤标准的非限制性实例包括已识别对象的骨架特征和/或已识别异常姿态之间的定义的空间关系。被丢弃的姿态的非限制性实例在图5A和5B中示出。
在一些情况下，可以使用姿态密度模型方法来过滤分析图像。根据实施例，姿态密度模型方法包括将每个对象骨架配置放置在高维度空间中并丢弃在距此空间中的高密度区域预定距离内的任何配置。
在步骤770处，根据实施例，分析乘员的有效骨架模型以估计乘员的质量。在一些实施例中，分析过程包括将提取的有效骨架模型的特征插入测量模型(例如预训练回归模型)，所述预训练回归模型被配置成基于当前和先前(t-i)质量测量值估计乘员在时间(t)的质量。在一些情况下，估计模型是机器学习估计模型，其被配置成确定乘员的质量和/或质量分类。在一些情况下，测量模型被配置成提供预测质量的连续值，或执行更粗略的估计并根据质量类别(例如，儿童、小个子成人、正常人、大个子成人)对乘员进行分类。
替代地或组合地，处理乘员的有效骨架模型以根据预定质量分类对每个乘员进行分类。例如，体重为约60kg，例如50-65kg的乘客将被分类为“小个子成人”子类别，而体重为约25kg，例如在10-30kg范围内的儿童将被分类为“儿童”子类别。
图7C是根据实施例的用于估计车辆中的一个或多个乘员的质量的方法705的示意性流程图。方法705呈现前述方法700的所有步骤，但还包括在步骤781处，根据一个或多个测量的质量子类别(例如，儿童、小个子成人、正常人、大个子成人)对已识别乘员进行分类。
在步骤782处，基于每个已识别乘员的测量和确定的质量或质量分类来生成输出，例如输出信号。例如，包括估计质量和/或质量分类的输出信号可以被传输到安全气囊控制单元(ACU)，以确定是否应抑制还是展开安全气囊，如果展开，则以各种输出水平展开。
根据其它实施例，包括质量估计的输出可以控制车辆的HVAC(加热、通风和空气调节)系统；和/或根据车辆乘员中的每一个的测量质量优化车辆的电子稳定控制(ESC)。
图8是根据另一实施例的用于测量车辆中的一个或多个乘员的质量的方法800的示意性流程图。例如，所述方法可以包括根据一个或多个质量分类类别例如实时地确定坐在车辆座椅上的一个或多个乘员的质量，以及相应地输出一个或多个信号以激活一个或多个车辆单元。方法800的一些阶段可以至少部分地由至少一个计算机处理器，例如由处理器152和/或车辆计算单元执行。可以提供相应的计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质具有随其包含的计算机可读程序，并且被配置成执行方法800的相关阶段。在其它实施例中，所述方法包括与结合图8描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以与结合图8描述的次序不同的次序执行。
在步骤810处，根据实施例，获得包括一个或多个视觉图像的多个图像，所述视觉图像是例如车辆舱室的2D图像序列和3D图像序列。获得的2D和3D图像序列包括一个或多个乘员(例如，坐在车辆后部和/或后排座椅中的驾驶员和/或乘客)的图像。根据实施例，3D图像可以是任何类型的立体图像，例如由立体摄像头捕获的图像。替代地或组合地，3D图像可以由ToF图像传感器捕获。替代地或组合地，3D图像可包括反射光图案。2D图像可以是例如不包括反射光图案的清晰视觉图像。在一些实施例中，位于车辆舱室中，例如位于图1A中所示的车辆前区段处的图像传感器同步地和/或依序地捕获多个图像(例如，2D和3D图像)。
根据实施例，3D图像可包括乘员的深度图表示。例如，捕获的用结构光照射的对象的3D图像可包括对应于投射到对象上的照明图案的特定图案特征。图案特征可以是条纹、线、点或其它几何形状，并且包括均匀或非均匀特性，例如形状、大小和强度。图3A中描述了用特定结构光(例如，点)照射的示例性捕获的图像。在其它实施例中，不同类型的3D图像可用于提取深度图。
在一些情况下，实时地获得和处理图像。在一些情况下，2D图像和3D图像可以由单个图像传感器捕获。在一些情况下，2D图像和3D图像可以由不同图像传感器捕获。
在步骤820处，对获得的2D图像序列应用一个或多个检测算法，例如，姿态检测和/或姿势检测算法以检测车辆舱室中的乘员的姿态和定向。具体地说，姿态检测算法被配置成生成每个乘员的骨架表示(例如，2D骨架表示)或2D骨架模型，以识别和/或测量特征，例如位置；定向；身体部位；乘员的长度和宽度。例如，可以通过对图像应用OpenPose算法来检测和测量对象的位置和定向。具体地说，根据实施例，随时间(t)将诸如DNN(深度神经网络)的神经网络应用于每个获得的2D图像，以在每个已识别乘员上生成(例如，叠加)骨架层(例如，2D骨架表示)。骨架层可以包括描述乘员的关节的多个关键点位置。换句话说，关键点表示在形成如图4A和4B所示的骨架表示的捕获的身体图像处检测到的身体标志(例如，关节身体点)。根据实施例，骨架表示的每个关键点包括乘员身体图像处的已识别坐标(x,y)，用于提取已识别乘员的特征。
在一些实施例中，姿态估计方法可以进一步用于识别每个获得的2D图像中的乘员和/或乘员的座椅。
在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或多个特征，例如乘员的身体部位和乘员的座椅位置。
在一些实施例中，已识别乘员彼此分离以得到每个已识别乘员的单独的图像。在一些实施例中，每个单独的图像包括已识别乘员，并且任选地包括乘员周围环境，例如乘员的座椅。
在一些实施例中，基于图像中的已识别乘员的数目划分2D图像序列中的每个获得的2D图像，从而为每个已识别乘员生成单独的骨架。
在一些实施例中，向空间(例如，车辆舱室)中的每个估计的关键点分配置信度等级。
在步骤830处，根据实施例，分析3D图像(例如，深度图)以提取关于场景或场景中的对象(例如，乘员)或车辆的座椅距诸如图像传感器的参考点的距离的一个或多个距离或深度值。需要提取这些深度值，因为捕获的2D图像中的彼此远离地定位的对象被错误地看作具有相同大小。因此，为了测量车辆中乘员的实际大小，一个或多个提取的深度值可以用作参考标度，例如标度因子或归一化因子，以调整骨架模型的绝对值。在一些情况下，可以通过例如以像素测量乘员的特征的平均深度值(例如，骨架值，例如髋部、宽度、肩部、躯干和/或其它身体器官)来提取一个或多个距离值。在一些情况下，提取单个标度因子。在一些情况下，为每个乘员和/或为每个获得的图像提取标度因子。
在步骤840处，分析2D骨架模型以提取乘员的一个或多个特征。在实施例中，提取的特征可以包括数据，例如车辆中每个乘员的测得姿态和/或定向。在一些实施例中，特征还可以包括乘员的一个或多个身体器官(例如，乘员的主要身体部位，例如肩部、髋部、躯干、腿部、身体等)的长度。
在步骤850处，根据实施例，分析每个乘员的一个或多个2D骨架模型以基于例如提取的一个或多个特征和预定义过滤标准过滤掉(例如，去除或删除)一个或多个2D骨架模型，从而得到乘员的有效2D骨架模型(例如，适合于重量估计)。预定义过滤标准包括定义用于估计乘员质量的所需姿态和定向的选择规则。例如，预定义过滤标准包括定义乘员的“异常”姿态或定向的选择规则。“异常”姿态或定向可以定义为乘员的姿态或定向，其中由于例如乘员的坐姿不标准或者由于乘员相对于图像传感器成像的角度使得可能无法完全看到乘员，而未呈现或成像完整或几乎完整的骨架表示。在一些情况下，不标准的姿态可与乘员未坐直的姿态，例如处于弯曲位置有关。因此，对这些“异常”骨架模型表示的分析用于丢弃被定义为“异常”的姿态(例如，不准确或错误测量)，并且因此删除这些骨架。过滤标准的非限制性实例包括已识别对象的骨架特征和/或已识别异常姿态之间的定义的空间关系。被丢弃的姿态的非限制性实例在图5A和5B中示出。
在一些情况下，可以使用姿态密度模型方法来过滤分析图像。根据实施例，姿态密度模型方法包括将每个对象骨架配置放置在高维度空间中并丢弃在距此空间中的高密度区域预定距离内的任何配置。
在步骤860处，将测得的例如每个乘员或每个图像的标度因子相应地应用于相关乘员的有效2D骨架模型，以得到乘员的缩放的2D骨架模型(例如，乘员的适当缩放的2D骨架模型)。乘员的缩放的2D骨架模型包括关于骨架模型距视点(例如，图像传感器)的距离的信息。
在步骤870处，根据实施例，分析乘员的缩放骨架模型以估计乘员的质量。在一些实施例中，分析过程包括将提取的缩放的2D骨架模型的特征插入测量模型，例如被配置成估计乘员的质量的预训练回归模型。在一些情况下，测量模型是被配置成确定乘员的质量和/或质量分类的机器学习估计模型。在一些情况下，测量模型被配置成提供预测质量的连续值，或执行更粗略的估计并根据质量类别(例如，儿童、小个子成人、正常人、大个子成人)对乘员进行分类。
替代地或组合地，处理乘员的有效骨架模型以根据预定质量分类对每个乘员进行分类。例如，体重为约60kg，例如50-65kg的乘客将被分类为“小个子成人”子类别，而体重为约25kg，例如在10-30kg范围内的儿童将被分类为“儿童”子类别。
图9A示出了根据实施例的基于随时间推移对捕获的图像的分析以及过滤掉车辆中的乘员的无效图像，车辆舱室中的一个或多个乘员的质量预测结果(Y轴)随这些乘员的实际测量质量(X轴)变化的图901。具体地，分析每个捕获的图像，并且针对已识别有效图像生成质量预测，同时丢弃无效图像。在实施例中，图形901的每个点表示根据实施例捕获和分析的帧。如从图中可以清楚地示出的，乘员的预测质量在乘员的实际测量质量的范围内。例如，基于本方法和系统，相应地预测质量为100Kg的乘员的预测质量在80-120kg的范围内(且平均值为约100kg)。
图9B示出了根据实施例的质量分类的质量预测百分比呈现902。例如，0-35kg的质量分类的质量预测为100％，25-70为95.9％，60+为94％。
图9C示出了根据实施例的基于对车辆中的乘员的捕获的图像，例如图像910、920和930的分析，坐在车辆舱室中的一个或多个乘员的质量预测结果(Y轴)随这些乘员的实际测量质量(X轴)变化的图903的另一实例。如图9C中所示，在一些情况下，诸如图像910的一些无效图像未被过滤掉，并且因此影响质量预测的准确性。通常，诸如2D图像910的无效图像将被例如实时地自动过滤掉，以分析仅包括乘员的标准位置(例如，有效图像)的图像，并因此获得准确的质量预测。
在一些情况下，对乘员的非标准位置(例如图像910中所示的位置)的识别可用于激活或停用车辆单元中的一个或多个，例如安全气囊。例如，可以向车辆的计算机和/或处理器报告基于如本文所述的姿态估计模型对乘员使其头部弯曲或移动离开道路的识别，并且相应地可以激活车辆安全气囊或危险警报装置。
应理解，本发明的实施例可包括车辆中的乘员的质量估计和/或质量确定。例如，系统和方法可以提供对乘员的快速和准确的估计。
在另外的实施例中，处理单元可以是数字处理装置，其包含执行装置的功能的一个或多个硬件中央处理单元(CPU)。在其他另外的实施例中，数字处理装置还包括被配置为执行可执行指令的操作系统。在一些实施例中，数字处理装置任选连接到计算机网络。在另外的实施例中，数字处理装置任选地连接到互联网，使得所述数字处理装置能够访问万维网。在又另外的实施例中，数字处理装置任选连接到云计算基础设施。在其它实施例中，数字处理装置任选连接到内联网。在其它实施例中，数字处理装置任选连接到数据存储装置。
根据本文的描述，作为非限制性实例，合适的数字处理装置包含服务器计算机、台式计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、上网本计算机、上网平板计算机、机顶盒计算机、手持式计算机、互联网器具、移动智能手机、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域技术人员将认识到，许多智能手机适用于本文所述的系统中。所属领域技术人员还将认识到，具有任选的计算机网络连接性的选择电视适合在本文所描述的系统中使用。合适的平板计算机包含具有所属领域技术人员已知的小册子、平板和可转换配置的平板计算机。
在一些实施例中，数字处理装置包含被配置成执行可执行指令的操作系统。例如，操作系统是包含程序和数据的软件，其管理装置的硬件，并且为应用程序的执行提供服务。所属领域技术人员将认识到，作为非限制性实例，合适的服务器操作系统包含FreeBSD、OpenBSD、Linux、Mac OS XWindows以及所属领域技术人员将认识到，作为非限制性实例，合适的个人计算机操作系统包含Mac 以及例如之类的UNIX类操作系统。在一些实施例中，操作系统由云计算提供。所属领域技术人员还将认识到，作为非限制性实例，合适的移动智能电话操作系统包含OS、Research InBlackBerry WindowsOS、WindowsOS、以及
在一些实施例中，所述装置包含存储装置和/或存储器装置。存储和/或存储器装置是一个或多个物理设备，用于暂时或永久存储数据或程序。在一些实施例中，所述装置是易失性存储器，并且需要电力来维持所存储的信息。在一些实施例中，所述装置是非易失性存储器，并且当所述数字处理装置未被供电时保留所存储的信息。在另外的实施例中，非易失性存储器包括快闪存储器。在一些实施例中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施例中，非易失性存储器包括相变随机存取存储器(PRAM)。在其它实施例中，装置是存储装置，作为非限制性实例，包括CD-ROM、DVD、闪存存储器装置、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储装置。在另外的实施例中，存储装置和/或存储器装置是诸如本文中所公开的那些的装置的组合。
在一些实施例中，数字处理装置包含将视觉信息发送给用户的显示器。在一些实施例中，显示器是阴极射线管(CRT)。在一些实施例中，显示器是液晶显示器(LCD)。在另外的实施例中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施例中，显示器是有机发光二极管(OLED)显示器。在各种另外的实施例中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施例中，显示器是等离子显示器。在其它实施例中，显示器是视频投射器。在又另外的实施例中，显示器是例如本文所公开的那些装置的组合。
在一些实施例中，数字处理装置包含从用户接收信息的输入装置。在一些实施例中，输入装置是键盘。在一些实施例中，输入装置是指向装置，作为非限制性实例，所述指向装置包含鼠标、轨迹球、跟踪板、操纵杆、游戏控制器或触笔。在一些实施例中，输入装置是触摸屏或多触摸屏。在其它实施例中，输入装置是用于捕获语音或其它声音输入的麦克风。在其它实施例中，输入装置是捕获运动或视觉输入的摄像机。在又另外的实施例中，输入装置是例如本文所公开的那些装置的组合。
在一些实施例中，本文所公开的系统包含使用程序编码的一个或多个非暂时性计算机可读存储介质，所述程序包含可由任选地联网数字处理装置的操作系统执行的指令。在另外的实施例中，计算机可读存储介质是数字处理装置的有形部件。在又另外的实施例中，计算机可读存储介质任选地可以从数字处理装置移除。
在一些实施例中，作为非限制性实例，计算机可读存储介质包含CD-ROM、DVD、快闪存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，所述程序和指令永久地、基本上永久地、半永久地或非暂时地编码在介质上。在一些实施例中，本文所公开的系统包含至少一个计算机程序或其用途。计算机程序包含指令序列，所述指令序列可在数字处理装置的CPU中执行，写入以执行特定任务。计算机可读指令可以实施为程序模块，例如功能、对象、应用程序编程接口(API)、数据结构等等，所述程序模块执行特定任务或实施特定抽象数据类型。根据本文所提供的公开内容，所属领域技术人员将认识到，计算机程序可以用各种语言的各种版本来编写。
计算机可读指令的功能性可以按需要在各种环境中组合或分布。在一些实施例中，计算机程序包括指令序列。在一些实施例中，计算机程序包括多个指令序列。在一些实施例中，从一个位置提供计算机程序。在其它实施例中，从多个位置提供计算机程序。在各种实施例中，计算机程序包含一个或多个软件模块。在各种实施例中，计算机程序部分或全部包含一个或多个网络应用程序、一个或多个移动应用程序、一个或多个独立应用程序、一个或多个网络浏览器插件、扩展、外接程序或外接程序或其组合。在一些实施例中，计算机程序包含提供到移动数字处理装置的移动应用程序。在一些实施例中，移动应用程序在制造时被提供到移动数字处理装置。在其它实施例中，移动应用程序经由本文所描述的计算机网络被提供到移动数字处理装置。
鉴于本文所提供的公开内容，通过所属领域技术人员已知的技术使用所属领域已知的硬件、语言和发展环境来产生移动应用程序。所属领域的技术人员将认识到，移动应用程序是以多种语言编写的。作为非限制性实例，合适的编程语言包含C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML以及具有或没有CSS的XHTML/HTML或其组合。
合适的移动应用程序开发环境可以从若干来源获得。作为非限制性实例，商业上可用的开发环境包含AirplaySDK、alcheMo、Celsius、Bedrock、FlashLite,.、NET Compact Framework、Rhomobile以及WorkLight移动平台。作为非限制性实例，其它开发环境可免费获得，包含但不限于Lazarus、MobiFlex、MoSyn以及Phonegap。此外，作为非限制性实例，移动装置制造商分发软件开发工具包，所述软件开发工具包包含但不限于iPhone和iPad(iOS)SDK、AndroidTMSDK、SDK、BREW SDK、OS SDK、Symbian SDK、webOS SDK以及Mobile SDK。
所属领域技术人员将认识到，作为非限制性实例，若干商业论坛可用于分发移动应用程序，所述移动应用程序包含应用商城、AndroidTM市场、应用世界、用于掌上装置的应用商城、用于webOS应用目录、用于移动市场的用于装置的特色服务、应用程序以及DSi商店。
在一些实施例中，本文所公开的系统包含软件、服务器和/或数据库模块，或其用途。鉴于本文所提供的公开内容，软件模块是通过所述领域技术人员已知的技术，使用所属领域技术人员已知的机器、软件和语言来创建的。本文所公开的软件模块以多种方式实施。在各种实施例中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施例中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施例中，作为非限制性实例，一个或多个软件模块包括网络应用程序、移动应用程序和独立应用程序。在一些实施例中，软件模块在一个计算机程序或应用程序中。在其它实施例中，软件模块在多于一个计算机程序或应用程序中。在一些实施例中，软件模块托管在一个机器上。在其它实施例中，软件模块托管在多于一个机器上。在另外的实施例中，软件模块托管在云计算平台上。在一些实施例中，软件模块托管在一个位置的一个或多个机器上。在其它实施例中，软件模块托管在多于一个位置的一个或多个机器上。
在一些实施例中，本文所公开的系统包含一个或多个数据库或所述数据库的用途。鉴于本文提供的公开内容，本领域的技术人员将认识到，许多数据库适用于如本文所述存储和检索信息。在各种实施例中，作为非限制性实例，合适的数据库包括关系数据库、非关系数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。在一些实施例中，数据库是基于互联网的。在另外的实施例中，数据库是基于网络的。在又另外的实施例中，数据库是基于云计算的。在其它实施例中，数据库基于一个或多个本地计算机存储装置。
在以上描述中，实施例是本发明的实例或实施方式。“一个实施例”、“实施例”或“一些实施例”的各种出现不一定都指相同的实施例。
尽管可在单个实施例的上下文中描述本发明的各种特征，但所述特征还可单独地或以任何合适的组合提供。相反地，尽管为了清楚起见，本文可在单独实施例的上下文中描述本发明，但本发明还可在单个实施例中实施。
说明书中对“一些实施例”、“实施例”、“一个实施例”或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性包含在本发明的至少一些实施例中，但不一定包含在所有实施例中。
应理解，本文中采用的措辞和术语不应被解释为限制性的并且仅用于描述目的。
参考随附的描述、图和实例可以更好地理解本发明教示的原理和用途。
应理解，本文中阐述的细节并不解释为对本发明的应用的限制。
此外，应理解，可以各种方式执行或实践本发明，并且可以在除上述描述中概述的实施例之外的实施例中实施本发明。
应当理解，术语“包括”、“包含”、“组成”和它们的语法变型形式不排除添加一个或多个部件、特征、步骤或整数或它们的组，并且这些术语应被解释为指定部件、特征、步骤或整数。
如果说明书或权利要求书提到“附加”元件，则不排除存在不止一个的附加元件。
应当理解，在权利要求书或说明书提到“一种”或“一个”元件的情况下，这样的提及不应被解释为仅存在一个该元件。应当理解，在说明书陈述“可以”、“可能”或“能够”包含部件、特征、结构或特性的情况下，不要求包含特定部件、特征、结构或特性。在适用的情况下，尽管可以使用状态图、流程图或两者来描述实施例，但本发明不限于那些图示或对应描述。例如，流程不需要移动通过每个示出的框或状态，或者以与示出和描述的完全相同的顺序移动。本发明的方法可以通过手动地、自动地或其组合地执行或完成所选择的步骤或任务来实施。
权利要求书和说明书中呈现的描述、实例、方法和材料不应被解释为限制性的，而应仅被解释为说明性的。除非另外定义，否则本文中使用的技术术语和科学术语的含义是本发明所属领域的一般技术人员通常所理解的含义。本发明可在测试或实践中使用与本文所描述的方法和材料等效或类似的方法和材料来实施。
虽然已经参照有限数目的实施例描述了本发明，但是这些不应被解释为对本发明范围的限制，而是作为一些优选实施例的范例。其它可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应由迄今为止所描述的内容限制，而应由所附权利要求及其合法等效物限制。
本说明书中所提及的所有公开、专利和专利申请在此以全文引用的方式并入本说明书中，同样，每个单独的公开、专利或专利申请也特定且单独地指示以引用的方式并入本文中。另外，本申请中对任何参考文件的引用或标识不应被解释为承认此类参考文件可作为本发明的现有技术而获得。就使用章节标题而言，不应将章节标题解释为必定限制性的。

Claims (33)

1.一种用于估计车辆舱室中的一个或多个乘员的质量的方法，所述方法包括：
提供处理器，所述处理器被配置成：
获得所述一个或多个乘员的多个图像，其中所述多个图像包括由图像传感器捕获的所述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；
对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；
将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型的一个或多个关键点与视点的距离的信息；
分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；
处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量；
其中所述处理器被配置成并且能够基于预定义过滤标准过滤掉一个或多个骨架模型，以得到有效骨架模型，且其中所述预定义过滤标准包括限定所述一个或多个乘员的有效姿态或定向的特定选择规则，其中所述预定义过滤标准包括骨架特征之间的定义空间关系，且其中所述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间关系。
2.根据权利要求1所述的方法，其中所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
3.根据权利要求2所述的方法，其中所述置信度等级基于所述一个或多个关键点的测得概率热图。
4.根据权利要求1所述的方法，其中所述预定义过滤标准基于高密度模型。
5.根据权利要求1所述的方法，其中所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计质量。
6.根据权利要求5所述的方法，其中所述输出信号与所述车辆的单元中的一个或多个的操作相关联。
7.根据权利要求6所述的方法，其中所述车辆的单元选自：
安全气囊；电子稳定控制(ESC)单元；安全带。
8.根据权利要求1所述的方法，其中所述2D图像序列是所述舱室的视觉图像。
9.根据权利要求1所述的方法，其中所述3D图像序列是以下各项中的一者或多者：
反射光图案图像；立体图像。
10.根据权利要求1所述的方法，其中所述图像传感器选自：
飞行时间(ToF)摄像头；立体摄像头。
11.根据权利要求1所述的方法，其中所述姿态检测算法被配置成识别获得的2D图像中的一个或多个乘员的姿态或定向。
12.根据权利要求1所述的方法，其中所述姿态检测算法被配置成：
在所述2D图像序列的至少一个2D图像中识别所述一个或乘员身体部分的多个关键点；
链接各对所述检测到的多个关键点，以生成所述2D图像中的所述乘员的骨架表示。
13.根据权利要求12所述的方法，其中所述关键点是所述乘员的身体的关节。
14.根据权利要求1所述的方法，其中所述姿态检测算法是OpenPose算法。
15.根据权利要求1所述的方法，其中所述一个或多个提取的特征是所述乘员：
肩部长度；躯干长度；膝盖长度；骨盆位置；髋部宽度中的一者或多者。
16.一种用于估计车辆舱室中的一个或多个乘员的质量的方法，所述方法包括：
提供处理器，所述处理器被配置成：
获得所述一个或多个乘员的多个图像，其中所述多个图像包括由图像传感器捕获的所述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；
对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；
分析所述3D图像序列的一个或多个3D图像以提取所述一个或多个乘员的一个或多个深度值；
将提取的深度值相应地应用于所述骨架表示，以得到所述一个或多个乘员的缩放骨架表示，其中所述缩放骨架模型包括关于所述骨架模型与视点的距离的信息；
分析所述缩放骨架表示以提取所述一个或多个乘员中的每一个的一个或多个特征；
处理所述一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量分类；
其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架表示以得到有效骨架表示，且其中所述预定义过滤标准包括限定所述一个或多个乘员的有效姿态或定向的特定选择规则，其中所述预定义过滤标准包括骨架特征之间的定义空间关系，且其中所述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间关系。
17.根据权利要求16所述的方法，其中所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
18.根据权利要求17所述的方法，其中所述置信度等级基于所述一个或多个关键点的测得概率热图。
19.根据权利要求16所述的方法，其中所述预定义过滤标准基于高密度模型。
20.根据权利要求16所述的方法，其中所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分类。
21.根据权利要求20所述的方法，其中所述输出信号对应于所述车辆的单元中的一个或多个的操作。
22.一种用于估计车辆舱室中的一个或多个乘员的质量的系统，所述系统包括；
感测装置，所述感测装置包括：
照明模块，所述照明模块包括一个或多个照明源，所述一个或多个照明源被配置成照射所述车辆舱室；
至少一个成像传感器，所述至少一个成像传感器被配置成捕获所述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；以及
至少一个处理器，所述至少一个处理器被配置成：
对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；
将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型中的一个或多个关键点与视点的距离的信息；
分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；以及
处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量；
其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型以得到有效骨架模型，且其中所述预定义过滤标准包括限定所述一个或多个乘员的有效姿态或定向的特定选择规则，其中所述预定义过滤标准包括骨架特征之间的定义空间关系，且其中所述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间关系。
23.根据权利要求22所述的系统，其中所述预定义过滤标准基于所述2D骨架表示中的一个或多个关键点的测得置信度等级。
24.根据权利要求23所述的系统，其中所述置信度等级基于所述一个或多个关键点的测得概率热图。
25.根据权利要求22所述的系统，其中所述预定义过滤标准基于高密度模型。
26.根据权利要求22所述的系统，其中所述感测装置选自：ToF感测装置；立体感测装置。
27.根据权利要求22所述的系统，其中所述感测装置是结构光图案感测装置，并且所述至少一个照明源被配置成以预定义结构光图案将调制光投射在所述车辆舱室上。
28.根据权利要求27所述的系统，其中所述预定义结构光图案由多个漫射光元件构成。
29.根据权利要求28所述的系统，其中所述光元件形状是以下各项中的一者或多者：点；线；条纹；或其组合。
30.根据权利要求22所述的系统，其中所述处理器被配置成生成一个或多个输出信号，所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分类。
31.根据权利要求30所述的系统，其中所述输出信号对应于所述车辆的单元中的一个或多个的操作。
32.根据权利要求31所述的系统，其中所述车辆的单元选自：
安全气囊；电子稳定控制(ESC)单元；安全带。
33.一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步骤：
获得一个或多个乘员的2D(二维)图像序列和3D(三维)图像序列，其中所述3D图像具有根据照明图案的多个图案特征；
对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一个或多个骨架表示；
将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型中的一个或多个关键点与视点的距离的信息；
分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；
处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量分类；
其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型以得到有效骨架模型，且其中所述预定义过滤标准包括限定所述一个或多个乘员的有效姿态或定向的特定选择规则，其中所述预定义过滤标准包括骨架特征之间的定义空间关系，且其中所述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间关系。
CN202080049934.8A 2019-07-09 2020-07-09 用于测量车辆中对象的质量的系统、装置和方法 Active CN114144814B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962871787P 2019-07-09 2019-07-09
US62/871,787 2019-07-09
PCT/IL2020/050767 WO2021005603A1 (en) 2019-07-09 2020-07-09 Systems, devices and methods for measuring the mass of objects in a vehicle

Publications (2)

Publication Number Publication Date
CN114144814A CN114144814A (zh) 2022-03-04
CN114144814B true CN114144814B (zh) 2025-06-24

Family

ID=74113874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080049934.8A Active CN114144814B (zh) 2019-07-09 2020-07-09 用于测量车辆中对象的质量的系统、装置和方法

Country Status (4)

Country Link
US (2) US11861867B2 (zh)
EP (1) EP3966740A4 (zh)
CN (1) CN114144814B (zh)
WO (1) WO2021005603A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020136658A1 (en) * 2018-12-28 2020-07-02 Guardian Optical Technologies Ltd Systems, devices and methods for vehicle post-crash support
US20220036576A1 (en) * 2020-07-30 2022-02-03 Zahid F. Mian Detection of broken or flawed wheels
US11807181B2 (en) * 2020-10-27 2023-11-07 GM Global Technology Operations LLC Vision-based airbag enablement
US11930302B2 (en) * 2021-02-09 2024-03-12 Ford Global Technologies, Llc Enhanced sensor operation
JP7667620B2 (ja) * 2021-02-24 2025-04-23 株式会社Subaru 車両の車内マルチモニタリング装置
FR3120728B1 (fr) * 2021-03-09 2023-10-13 Faurecia Clarion Electronics Europe Système et procédé de détection pour habitacle de véhicule automobile
CN112926698B (zh) * 2021-04-23 2024-02-13 上海海事大学 一种大型旋转装备振动预测与装配评价方法
US11941787B2 (en) * 2021-08-23 2024-03-26 Microsoft Technology Licensing, Llc Denoising depth data of low-signal pixels
US12374128B2 (en) * 2021-12-21 2025-07-29 Covidien Lp Non-contact depth sensing monitoring in vehicles
US12017657B2 (en) * 2022-01-07 2024-06-25 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud
IT202200006038A1 (it) * 2022-03-28 2023-09-28 Univ Degli Studi Di Verona “sistema, metodo e software di acquisizione e stima della postura e del movimento del corpo umano”
EP4303821A1 (en) * 2022-07-07 2024-01-10 Aptiv Technologies Limited Seated passenger height estimation
CN119894725A (zh) * 2022-09-21 2025-04-25 金泰克斯公司 结构化照明系统
US20240308456A1 (en) * 2023-03-16 2024-09-19 Ford Global Technologies, Llc Systems and methods of adjustable component management for a vehicle
EP4451213A1 (en) * 2023-04-19 2024-10-23 Aptiv Technologies AG Depth estimation for interior sensing
US12462586B2 (en) 2023-07-10 2025-11-04 Nvidia Corporation Occupant evaluation using multi-modal sensor fusion for in-cabin monitoring systems and applications
US20250022290A1 (en) * 2023-07-10 2025-01-16 Nvidia Corporation Image-based three-dimensional occupant assessment for in-cabin monitoring systems and applications
WO2025163012A1 (en) * 2024-01-30 2025-08-07 Sony Semiconductor Solutions Corporation Time-of-flight circuitry, vehicle safety system, and methods
US20250278846A1 (en) * 2024-03-01 2025-09-04 Toyota Research Institute, Inc. Vehicle seat force tracking system

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
US5983147A (en) 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US5988676A (en) 1997-10-01 1999-11-23 Breed Automotive Technology, Inc. Optical weight sensor for vehicular safety restraint systems
US7197180B2 (en) * 2001-05-30 2007-03-27 Eaton Corporation System or method for selecting classifier attribute types
US6577936B2 (en) * 2001-07-10 2003-06-10 Eaton Corporation Image processing system for estimating the energy transfer of an occupant into an airbag
US6781676B2 (en) * 2002-03-22 2004-08-24 Trw Inc. Structured lighting detection of vehicle occupant type and position
DE10306159A1 (de) * 2003-02-14 2004-08-26 Daimlerchrysler Ag Verfahren zur Voreinstellung eines Insassenschutzsystems eines Fahrzeugs
JP4623501B2 (ja) * 2005-02-18 2011-02-02 タカタ株式会社 検知システム、報知装置、駆動装置、車両
US8014565B2 (en) * 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
US8073190B2 (en) 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8260502B2 (en) * 2009-04-22 2012-09-04 Toyota Motor Engineering & Manufacturing North America, Inc. Occupant detection and imaging system
JP5422735B2 (ja) * 2009-05-11 2014-02-19 ウニヴェルシテート ツ リューベック 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
RU2540846C2 (ru) * 2010-01-11 2015-02-10 Телефонактиеболагет Л М Эрикссон (Пабл) Технология для оценки качества видео
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
CA2858398C (en) * 2011-12-16 2018-08-14 Universitat Zu Lubeck Method and apparatus for estimating a pose
US10033979B2 (en) * 2012-03-23 2018-07-24 Avigilon Fortress Corporation Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
WO2014112635A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置
CN105144199B (zh) * 2013-02-21 2019-05-28 Iee国际电子工程股份公司 支持多种功能的基于成像装置的乘坐者监控系统
TWI542320B (zh) * 2013-12-30 2016-07-21 中原大學 以深度圖影像與骨架特徵點進行人體重量估測之方法
EP2957861A1 (en) * 2014-06-17 2015-12-23 Expert Ymaging, SL Device and method for automated parameters calculation of an object
JP2016054450A (ja) * 2014-09-04 2016-04-14 株式会社東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2016046212A1 (en) * 2014-09-22 2016-03-31 Foundation For Research And Technology - Hellas (Forth) Apparatuses, method and systems for recovering a 3-dimensional skeletal model of the human body
US10146303B2 (en) * 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
KR101858694B1 (ko) * 2015-11-03 2018-06-27 엘지전자 주식회사 차량 및 그 제어방법
US10019629B2 (en) * 2016-05-31 2018-07-10 Microsoft Technology Licensing, Llc Skeleton-based action detection using recurrent neural network
CN108062505B (zh) * 2016-11-09 2022-03-18 微软技术许可有限责任公司 用于基于神经网络的动作检测的方法和设备
US10252688B2 (en) * 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
JP7317794B2 (ja) * 2017-07-12 2023-07-31 ジェンテックス コーポレイション 環境から情報を取得するシステムおよび方法
WO2019111244A1 (en) * 2017-12-04 2019-06-13 Guardian Optical Technologies Ltd. Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
US10321728B1 (en) * 2018-04-20 2019-06-18 Bodygram, Inc. Systems and methods for full body measurements extraction
US10499180B1 (en) * 2018-05-17 2019-12-03 Zoox, Inc. Three-dimensional sound for passenger notification
DE102018207977B4 (de) * 2018-05-22 2023-11-02 Zf Friedrichshafen Ag Innenüberwachung für Sicherheitsgurteinstellung
US20210269045A1 (en) * 2018-06-26 2021-09-02 Tamir Anavi Contextual driver monitoring system
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
CN109559373B (zh) * 2018-10-25 2022-10-18 武汉亘星智能技术有限公司 一种基于2d人体图像进行量体的方法及系统
CN111433082A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于检测车内冲突的系统和方法
US11417122B2 (en) * 2018-11-21 2022-08-16 Lg Electronics Inc. Method for monitoring an occupant and a device therefor
WO2020136658A1 (en) * 2018-12-28 2020-07-02 Guardian Optical Technologies Ltd Systems, devices and methods for vehicle post-crash support
CN109409348A (zh) * 2018-12-29 2019-03-01 北京卡路里信息技术有限公司 一种用户体征的确定方法、装置、设备和存储介质
US11928682B2 (en) * 2019-05-15 2024-03-12 Worldpay, Llc Methods and systems for generating a unique signature based on user movements in a three-dimensional space

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Occupant Posture Analysis With Stereo and Thermal Infrared Video: Algorithms and Experimental Evaluation;Mohan Manubhai Trivedi等;《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》;20041130;第53卷(第6期);第1698-1712页 *

Also Published As

Publication number Publication date
WO2021005603A1 (en) 2021-01-14
US11861867B2 (en) 2024-01-02
EP3966740A1 (en) 2022-03-16
EP3966740A4 (en) 2022-07-06
US20240087165A1 (en) 2024-03-14
US12412302B2 (en) 2025-09-09
CN114144814A (zh) 2022-03-04
US20220292705A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
CN114144814B (zh) 用于测量车辆中对象的质量的系统、装置和方法
US20240265554A1 (en) System, device, and methods for detecting and obtaining information on objects in a vehicle
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
CN113302076B (zh) 用于车辆碰撞后支持的系统、装置和方法
US7379195B2 (en) Device for the detection of an object on a vehicle seat
JP4810052B2 (ja) 乗員センサ
Trivedi et al. Occupant posture analysis with stereo and thermal infrared video: Algorithms and experimental evaluation
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
US20150347831A1 (en) Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters
CN113286979B (zh) 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法
Devy et al. Detection and classification of passenger seat occupancy using stereovision
Boverie et al. Comparison of structured light and stereovision sensors for new airbag generations
JP2021056968A (ja) 物体判定装置
CN121190890B (zh) 一种基于多源信息融合的汽车乘员状态分类方法及系统
CN119006564A (zh) 通过身高估计的载具乘客安全性
CN121190890A (zh) 一种基于多源信息融合的汽车乘员状态分类方法及系统
Yoon Single-imager occupant detection based on surface reconstruction
Ring 3D Perception for Vehicle Inner Space Monitoring
Trivedi et al. Occupant posture analysis with stereo and thermal infrared video: Algorithms and experimental

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220915

Address after: Michigan, USA

Applicant after: GENTEX Corp.

Address before: Tel Aviv Yafa, Israel

Applicant before: GUARDIAN OPTICAL TECHNOLOGIES LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant