CN105807912A - 车辆、用于控制该车辆的方法和其中的手势识别装置 - Google Patents
车辆、用于控制该车辆的方法和其中的手势识别装置 Download PDFInfo
- Publication number
- CN105807912A CN105807912A CN201510482883.9A CN201510482883A CN105807912A CN 105807912 A CN105807912 A CN 105807912A CN 201510482883 A CN201510482883 A CN 201510482883A CN 105807912 A CN105807912 A CN 105807912A
- Authority
- CN
- China
- Prior art keywords
- driver
- vein pattern
- image
- hand
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0026—Lookup tables or parameter maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及车辆、用于控制该车辆的方法和其中的手势识别装置。提供了一种车辆,该车辆包括存储单元,存储单元根据驾驶者的手的旋转角度存储包括多个基准静脉图案图像的静脉图案查询表。该车辆还包括图像采集单元,其采集包括驾驶者的手的图像的驾驶者图像。该车辆还包括控制器,其从驾驶者图像中提取驾驶者的手的静脉图案图像,通过将静脉图案图像与静脉图案查询表进行比较来验证驾驶者,并基于静脉图案图像来确定驾驶者的手势,驾驶者的手势包括驾驶者的手的位置、驾驶者的手所指向的方向和驾驶者的手的旋转角度中的至少一个。
Description
技术领域
本发明的实施例涉及车辆、用于控制该车辆的方法和其中的手势识别装置,并且更特别地涉及识别驾驶者的手势的车辆、用于控制该车辆的方法和其中的手势识别装置。
背景技术
通常,车辆是使用化石燃料或电力作为动力源,沿道路或铁路行驶的运输设备。
近来的车辆除了简单地执行运输货物和乘客的功能之外,通常还包括音频设备和视频设备,使得驾驶者能够在驾驶期间收听音乐或观看图像。显示到驾驶者的目的地的路线的导航设备也广泛安装在车辆中。此外,近来在车辆中安装了集成有音频设备、视频设备和导航设备的音频/视频/导航(AVN)设备。
当驾驶者试图在驾驶期间操纵AVN设备时,驾驶者的视觉被转移,并且驾驶者的手需要从方向盘移动到AVN设备,因此事故风险可能增大。
发明内容
因此,本公开的一个方面提供一种检测驾驶者的手势并识别与检测到的手势对应的控制指令的车辆。还提供用于控制该车辆的方法和该车辆中所包括的手势识别装置。
本公开的另一方面提供一种车辆,其检测驾驶者的手中形成的静脉图案,以便更精确地识别驾驶者的手势,并基于检测到的静脉图案检测驾驶者的手势。还提供用于控制该车辆的方法和该车辆中所包括的手势识别装置。
将在以下描述中部分地阐述本公开的其他方面,并且本公开的其他方面部分地从描述中显而易见,或者可以通过实践本公开来学习。
根据本公开的一个方面,车辆包括存储静脉图案查询表的存储单元,该静脉图案查询表包括根据驾驶者的手的旋转角度的多个基准静脉图案图像。该车辆还包括图像采集单元,其采集包括驾驶者的手的图像在内的驾驶者图像。该车辆还包括控制器,其从驾驶者图像中提取驾驶者的手的静脉图案图像,通过将静脉图案图像与静脉图案查询表进行比较来验证驾驶者,并基于静脉图案图像来确定驾驶者的手势,驾驶者的手势包括驾驶者的手的位置、驾驶者的手所指向的方向和驾驶者的手的旋转角度中的至少一个。
该车辆可以进一步包括根据驾驶者的手的旋转角度来显示多个基准手势图像的显示器。
当显示多个基准手势图像中的一个基准手势图像时,控制器可以采集与这一个基准手势图像对应的基准驾驶者图像。
控制器可以将基准驾驶者图像二值化,并可以从二值化的基准驾驶者图像中提取基准静脉图案图像。
控制器可以基于基准静脉图案图像来生成静脉图案查询表。
控制器可以将驾驶者图像二值化,可以从二值化的驾驶者图像中提取静脉图案图像,并可以基于静脉图案图像的位置来确定驾驶者的手的位置。
控制器可以基于多个基准静脉图案图像对静脉图案图像进行旋转变换,并可以基于静脉图案图像的旋转角度来确定驾驶者的手所指向的方向。
控制器可以基于多个基准静脉图案图像对静脉图案图像的大小进行变换,并可以基于静脉图案图像的大小变换比率来确定驾驶者的手的高度。
控制器可以在多个基准静脉图案图像中搜索与静脉图案图像匹配的基准静脉图案,并可以基于与静脉图案图像匹配的基准静脉图案来确定驾驶者的手的旋转角度。
控制器可以通过处理由图像采集单元连续采集的多个驾驶者图像来确定连续的驾驶者手势,并可以基于连续的驾驶者手势来确定驾驶者的移动。
控制器可以基于驾驶者的移动来确定驾驶者的控制指令。
当从驾驶者图像提取多个静脉图案图像时,控制器可以通过比较多个静脉图案图像与静脉图案查询表来区分多个驾驶者,并可以验证基于静脉图案图像区分的多个驾驶者。
根据本公开的另一方面,用于控制车辆的方法包括存储静脉图案查询表,该静脉图案查询表包括根据驾驶者的手的旋转角度的多个基准静脉图案图像。该方法还包括:采集包括驾驶者的手的图像在内的驾驶者图像;从驾驶者图像中提取驾驶者的手的静脉图案图像。该方法还包括通过将静脉图案图像与静脉图案查询表进行比较来验证驾驶者。该方法还包括基于静脉图案图像来确定驾驶者的手势,驾驶者的手势包括驾驶者的手的位置、驾驶者的手所指向的方向和驾驶者的手的旋转角度中的至少一个。
存储静脉图案查询表的步骤可以包括根据驾驶者的手的旋转角度来显示多个基准手势图像,采集与基准手势图像对应的基准驾驶者图像,从基准驾驶者图像中提取基准静脉图案图像,并且基于基准静脉图案图像来生成静脉图案查询表。
基于静脉图案图像来确定驾驶者的手势的步骤可以包括基于多个基准静脉图案图像对静脉图案图像进行旋转变换,并且基于静脉图案的旋转角度来确定驾驶者的手所指向的方向。
基于静脉图案图像来确定驾驶者的手势的步骤可以包括基于多个基准静脉图案图像对静脉图案图像的大小进行变换,并且基于静脉图案图像的大小变换比率来确定驾驶者的手的高度。
基于静脉图案图像来确定驾驶者的手势的步骤可以包括在多个基准静脉图案图像中搜索与静脉图案图像匹配的基准静脉图案,并且基于与静脉图案图像匹配的基准静脉图案来确定驾驶者的手的旋转角度。
该方法可以进一步包括通过处理由图像采集单元连续采集的多个驾驶者图像来确定连续的驾驶者手势,基于连续的驾驶者手势来确定驾驶者的移动,并且基于驾驶者的移动来确定驾驶者的控制指令。
验证驾驶者的步骤可以包括当从驾驶者图像提取了多个静脉图案图像时,通过比较多个静脉图案图像与静脉图案查询表来区分多个驾驶者,并且验证基于静脉图案图像区分的多个驾驶者。
根据本公开的又一方面,手势识别装置包括存储静脉图案查询表的存储器,该静脉图案查询表包括根据驾驶者的手的旋转角度的多个基准静脉图案图像。该装置还包括摄像机模块,其采集包括驾驶者的手的图像在内的驾驶者图像。该装置还包括图形处理器,其从驾驶者图像中提取驾驶者的手的静脉图案图像,并将静脉图案图像与静脉图案查询表进行比较。该装置还包括主处理器,其基于静脉图案图像来确定驾驶者的手势,驾驶者的手势包括驾驶者的手的位置、驾驶者的手所指向的方向和驾驶者的手的旋转角度中的至少一个。
图形处理器可以将驾驶者图像二值化,并可以从二值化的驾驶者图像中提取静脉图案图像,并且主处理器可以基于静脉图案图像的位置来确定驾驶者的手的位置。
图形处理器可以基于多个基准静脉图案图像对静脉图案图像进行旋转变换,并且主处理器可以基于静脉图案的旋转角度来确定驾驶者的手所指向的方向。
图形处理器可以基于多个基准静脉图案图像对静脉图案图像的大小进行变换,并且主处理器可以基于静脉图案图像的大小变换比率来确定驾驶者的手的高度。
图形处理器可以在多个基准静脉图案图像中搜索与静脉图案图像匹配的基准静脉图案,并且主处理器可以基于与静脉图案图像匹配的基准静脉图案来确定驾驶者的手的旋转角度。
附图说明
根据以下结合附图对实施例的描述,本公开的这些方面和/或其他方面将变得明显且更容易理解。
图1是根据本发明的实施例的车辆的外部的视图。
图2是根据本发明的实施例的车辆的内部的视图。
图3是根据本发明的实施例的手势识别装置的配置的图示。
图4是根据本发明的实施例的、手势识别装置中所包括的发光单元和图像采集单元的视图。
图5是根据本发明的实施例的、车辆中所包括的各种电子设备之间的电连接的图示。
图6是根据本发明的实施例的、车辆中所包括的音频/视频/导航(AVN)设备的配置的图示。
图7是根据本发明的实施例的、使用车辆登记静脉图案的操作的流程图。
图8是根据本发明的实施例的、用于使用车辆登记驾驶者的静脉图案的基准手势图像的示例的视图。
图9是根据本发明的实施例的、车辆采集驾驶者的图像的示例的视图。
图10是根据本发明的实施例的、使用车辆采集的驾驶者的图像的示例的视图。
图11是根据本发明的实施例的、用于使用车辆登记驾驶者的静脉图案的基准手势图像的另一示例的视图。
图12是根据本发明的实施例的、车辆采集驾驶者的图像的另一示例的视图。
图13是根据本发明的实施例的、使用车辆采集的驾驶者的图像的另一示例的视图。
图14是根据本发明的实施例的、由车辆生成的查询表的视图。
图15A和图15B是根据本发明的实施例的、车辆的驾驶者验证和手势识别操作的流程图。
图16是根据本发明的实施例的、为了执行驾驶者验证和手势识别而使用车辆采集的驾驶者的图像的示例的视图。
图17和图18是根据本发明的实施例的、车辆校正驾驶者的静脉图案图像的示例的视图。
图19是根据本发明的实施例的、车辆搜索静脉图案查询表的视图。
图20是根据本发明的实施例的、为了执行驾驶者验证和手势识别而由车辆采集的驾驶者的图像的另一示例的视图。
图21是根据本发明的实施例的、为了执行驾驶者验证和手势识别而由车辆采集的驾驶者的图像的又一示例的视图。
具体实施方式
在说明书中所描述的实施例和说明书的附图所示的配置仅仅是本发明的示例性实施例,并且可以存在可替代在提交本发明的申请时的说明书的实施例和附图的各种修改示例。
在下文中,将参考附图详述本发明的实施例。
图1是根据本发明的实施例的车辆的外部的视图,而图2是根据本发明的实施例的车辆的内部的视图。
参考图1和图2,根据本发明的实施例,车辆1可以包括构成车辆1的外部的车体11到16、支撑车辆1内的部件的底盘(未示出)、以及使车体11到16和底盘移动的车轮21和22。
车轮21和22包括设置在车辆1前面的前轮21和设置在车辆1后面的后轮22,并且通过车轮21和22的旋转,车体11到16和底盘可以向前或向后移动。
车体11到16可以包括发动机盖11、前护盖12、顶盖13、车门14、后备箱盖15和后顶盖侧板16。
此外,安装在车体11到16前面的前窗17、安装在车门14处的侧窗18和安装在车体11到16后面的后窗19可以设置在车体11到16外。
乘客就座的座椅S1和S2、控制车辆1的操作且具有用于显示车辆1的行驶信息的各种仪表的仪表盘30(仪表设置在仪表盘30中)、操纵车辆1的行驶方向的方向盘50、以及识别驾驶者手势(gesture)的手势识别装置100可以设置在车体11到16中。
座椅S1和S2可以允许驾驶者以舒适且稳定的姿势操纵车辆1,并且可以包括驾驶者就座的驾驶者座椅S1、伙伴乘客就座的乘客座椅S2、以及放置在车辆1后面的后座(未示出)。
仪表板31设置在仪表盘30中并且指示关于行驶的信息。仪表板31包括诸如速度计、油量表、自动变速选择杆显示灯、转速计和测距仪的部件。中央表板(centerfascia)33具有设置在中央表板33中的用于操纵车辆1中所包括的附连设备的控制面板。中央控制台35具有设置在中央控制台35中的变速杆和停车制动杆。并且在仪表盘30中可以设置输出音频(例如,音乐)和视频(例如,图像)的音频/视频/导航(AVN)设备200。
中央表板33被设置在驾驶者座椅S1和乘客座椅32之间,并且在中央表板33中可以安装用于调整音频设备、空调和加热器的操纵单元、用于调整车体11到16内的温度的空调通风孔、以及雪茄插孔。
中央控制台35可以设置在中央表板33下面,在驾驶者座椅S1和乘客座椅S2之间,并且在中央控制台35中可以安装用于变速的变速杆和用于停车的停车制动杆。
AVN设备200是根据驾驶者的控制指令输出音频或视频/图像的设备。具体地,AVN设备200可以基于驾驶者的控制指令来播放音乐、影片(例如,视频),或者可以引导去目的地的路线。
方向盘50附连到仪表盘30从而可绕转向轴旋转,并且驾驶者可以将方向盘50顺时针或逆时针旋转以改变车辆1的前进方向。
手势识别装置100可以设置在车体11到16内的天花板上,如图2所示。然而,手势识别装置100不限于设置在车体11到16内的天花板上,而可以设置在可检测到驾驶者的手的位置,例如在仪表盘30中、在中央表板33中或在中央控制台35中。
下面将详细描述手势识别装置100的配置和操作。
在底盘中可以设置各种部件(图1和图2中未示出)。这些部件可以包括,例如通过燃烧燃料而生成动力以便移动车辆1的动力生成设备、向动力生成设备供应燃料的燃料设备、用于冷却已变热的动力生成设备的冷却设备、排放燃料燃烧所生成的气体的排气设备、将由动力生成设备生成的动力传送到车轮21和22的动力传送设备、将由方向盘50操纵的车辆1的前进方向传送到车轮21和22的转向设备、停止车轮21和22的旋转的制动设备、以及吸收由道路导致的车轮21和22的振动的悬挂设备。
在下文中,将描述根据本发明的实施例的手势识别装置100的配置和操作。
图3是根据本发明的实施例的手势识别装置的配置的图示,而图4是根据本发明的实施例的在手势识别装置中所包括的发光单元和图像采集单元的视图。
参考图3和图4,手势识别装置100包括:从驾驶者接收控制指令的输入单元120;朝向驾驶者身体的一部分发光的发光单元130;接收从驾驶者身体的该部分反射的光的图像采集单元140;与车辆1中所包括的其他电子设备通信的通信单元150;以及控制手势识别装置100整体操作的控制器110。
输入单元120可以包括从驾驶者接收用于控制手势识别装置100的操作的各种控制指令的输入按钮121。例如,输入按钮121可以接收用于激活来自用户的手势识别装置100的手势识别的手势识别激活指令或用于停用手势识别的手势识别停用指令。
输入按钮121可以是推动开关、拨动开关、滑动开关、膜片开关、触摸开关或拨号盘。
发光单元130可以包括发射红外线的第一光源131和第二光源132。
第一光源131和第二光源132可以被安装在车体11到16内的天花板上,并且可以向下发射红外线,如图4所示。
然而,第一光源131和第二光源132的位置不限于车体11到16内的天花板。例如,第一光源131和第二光源132可以被安装在设置于驾驶者前面的中央表板33中,或者安装在设置于驾驶者横向方向上的中央控制台35中。另外,第一光源131可以被设置在车体11到16内的天花板上,而第二光源132可以被设置在中央表板33中。此外,第一光源131可以设置在中央控制台35中,而第二光源132可以设置在中央表板33中。
以此方式,第一光源131和第二光源132的位置不限于特定位置,并且可以是第一光源131和第二光源132可朝向用户身体的一部分发射红外线的位置。
发射红外线的发光二极管(LED)、红外线激光或红外线灯可以用作第一光源131和第二光源132。
图像采集单元140可以包括接收从驾驶者身体的该部分反射的红外线的摄像机模块141。
摄像机模块141可以被设置在车体11到16内的天花板上,并且可以采集来自车体11到16内的天花板的向下红外图像,如图4所示。
然而,摄像机模块141的位置不限于车体11到16内的天花板。例如,摄像机模块141可以被安装在设置于驾驶者前面的中央表板33中,或者可以被设置在设置于驾驶者横向方向上的中央控制台35中。当摄像机模块141被安装在中央表板33中时,摄像机模块141可以采集来自中央表板33的向后红外图像。此外,当摄像机模块141被安装在中央控制台35中时,摄像机模块141可以采集来自中央控制台35的向上红外图像。
以此方式,摄像机模块141的位置不限于特定位置,并且可以是摄像机模块141可邻近用户并可采集用户身体的该部分的图像的位置。
摄像机模块141可以包括聚焦光的透镜(未示出)和将光转换成电信号的图像传感器(未示出)。
这里,接收具有与红外线对应的波长的光的红外图像传感器,或者接收包括红外线和可见光线在内的光的通用图像传感器可以用作图像传感器。特别地,当通用图像传感器被用作该图像传感器时,摄像机模块141可以进一步包括阻挡可见光线并且仅透射红外线的红外滤光器(未示出)。
互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器可以用作图像传感器。
通信单元150可以包括控制域网络(CAN)通信模块151,其使用CAN通信协议与车辆1中所包括的各种电子设备通信。
下面将详细描述手势识别装置100使用CAN通信模块151与车辆中所包括的其他电子设备通信的情况。
控制器110可以包括:输入/输出接口117,其传达手势识别装置100中所包括的各种部件与控制器110之间的数据输入/输出;用于存储程序(例如,软件代码)和数据的存储器115;执行图像处理的图形处理器113;以及根据存储在存储器中的程序和数据执行运算(例如,算术运算)的主处理器111。此外,控制器111可以包括系统总线119,其为输入/输出接口117、存储器115、图形处理器113和主处理器111之间的数据发送/接收的路径。
输入/输出接口117可以接收来自输入单元120的控制指令数据、来自图像采集单元140的图像数据或来自通信单元150的通信数据,并且可以经由系统总线119将接收到数据传输到主处理器111、图形处理器113或存储器115。
此外,输入/输出接口117可以将由主处理器111输出的各种控制信号和数据发送到通信单元150。
存储器115可以存储用于控制手势识别装置100的操作的控制程序和控制数据,或者可以存储由主处理器111输出的控制信号和由图形处理器113输出的图像数据。
存储器115可以包括易失性存储器(未示出)(例如,静态随机存取存储器(S-RAM)或动态随机存取存储器(D-RAM))和非易失性存储器(未示出)(例如,闪存存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或电可擦除可编程只读存储器(EEPROM))。
非易失性存储器可以作为易失性存储器的辅助存储器设备而运行,并且可以存储用于控制手势识别装置100的操作的控制程序和控制数据。此外,即使在手势识别装置100断电时,非易失性存储器也可以保持已存储的数据,并且可以存储用于驾驶者验证的静脉图案查询表(LUT)。
易失性存储器可以从非易失性存储器加载控制程序和控制数据,并且可以存储由主处理器111输出的控制信号和由图形处理器113输出的图像数据。与非易失性存储器不同的是,当手势识别装置100断电时,易失性存储器会丢失已存储的数据。
图形处理器113处理从图像采集单元140接收到的图像数据或存储在存储器115中的图像数据。例如,图形处理器113可以将从图像采集单元140的摄像机模块141接收到的图像数据二值化(binarize),或者可以将图像数据进行旋转/变换,或者可以改变图像数据的大小。此外,图形处理器113可以通过将两个图像相互比较来确定它们是否相互匹配。
主处理器111可以根据存储在存储器115中的控制程序和控制数据,执行用于控制输入单元120、发光单元130、图像采集单元140和通信单元150的操作。
例如,主处理器111可以处理从输入单元120的输入按钮121接收到的驾驶者的控制指令,并且可以输出与这些输入控制指令对应的控制信号。
此外,主处理器111可以基于图形处理器113的图像处理结果来识别驾驶者的控制指令,并且可以输出与所识别的控制指令对应的控制信号。具体地,主处理器111可以基于图形处理器113的图像处理结果来确定驾驶者的手势,并且可以基于持续的驾驶者的手势来确定驾驶者的控制指令。此外,主处理器111可以通过通信单元150将所确定的驾驶者的控制指令发送到车辆1中所包括的各种电子设备,例如AVN设备。
如上所述,主处理器111和图形处理器113已经被描述为是彼此区分开的。然而,本发明的实施例不限于此。主处理器111和图形处理器113可以提供为一个处理器。
在一些方面中,控制器110可以基于驾驶者的手势来识别驾驶者的控制指令,并且可以根据所识别的驾驶者的控制指令来控制手势识别装置100中所包括的各种部件的操作。
因此,下面描述的手势识别装置100的操作可以被解释为通过控制器110的控制操作来执行。
如上所述,已经描述了手势识别装置100的配置。然而,车辆1中所包括的电子设备不限于手势识别装置100,并且各种电子设备可以相互通信。
图5是根据本发明的实施例的、车辆中所包括的各种电子设备之间的电连接的图示,而图6是根据本发明的实施例的、车辆中所包括的音频/视频/导航(AVN)设备的配置的图示。
如图5所示,车辆1可以包括各种电子设备200、310、320和330以及手势识别装置100。
例如,车辆1可以包括上述AVN设备200、调整供应到车辆1的发动机的燃料并控制发动机操作的发动机控制单元(ECU)310、控制车辆1的制动的线控制动系统320、先进驾驶者辅助系统(ADAS)330、以及手势识别装置100,ADAS330通过包括前部防碰撞功能、车道偏离警告功能、盲点监视功能和后方监视功能来辅助驾驶者的驾驶。
此外,车辆1中所包括的各种电子设备100、200、310、320和330可以通过CAN通信线路300相互发送/接收数据,如图5所示。换句话说,手势识别装置100可以通过CAN通信线路300将数据发送到其他电子设备200、310、320和330,并且可以通过CAN通信线路300从其他电子设备200、310、320和330接收数据。
例如,手势识别装置100可以通过驾驶者的手势接收关于AVN设备200的控制指令,并且可以通过CAN通信将输入控制指令发送到AVN设备200。
此外,当登记/注册(register)静脉图案时,手势识别装置100可以使用AVN设备200向驾驶者引导基准手势,并且可以基于由AVN设备200引导的基准手势来生成用于驾驶者验证的静脉图案查询表。
将简要描述图5所示的各种电子设备100、200、310、320和330中的AVN设备200。
如上所述,AVN设备200可以播放音乐或影片,或者可以基于驾驶者的控制指令来引导去目的地的路线。
AVN设备200可以包括与驾驶者交互并显示图像的用户接口220、输入声音的声音输入单元230、输出声音的声音输出单元240、与车辆1的其他电子设备100、310、320和330通信的通信单元250、以及控制AVN设备200的整体操作的控制器210。
这里,用户接口220可以包括从驾驶者接收控制指令并根据驾驶者的控制指令来显示各种图像信息的触摸屏221。触摸屏221可以接收驾驶者的控制指令,可以可视地显示与驾驶者输入的控制指令对应的各种信息,并且可以包括检测驾驶者是否触摸了触摸板或驾驶者的触摸坐标的触摸板(未示出)、显示图像信息的显示器(未示出)、以及控制触摸屏221操作的触摸屏控制器(未示出)。
此外,通信单元250可以包括使用CAN通信协议与车辆1中所包括的其他电子设备100、310、320和330通信的CAN通信模块251。
控制器210控制AVN设备200中所包括的各种配置的整体操作。
例如,如果通过通信单元250从手势识别装置100接收到图像显示请求,则控制器210可以控制用户接口220的触摸屏221和声音输出单元240,使得该图像可以被显示。
如上所述,手势识别装置100和AVN设备200分开地设置并相互通信。然而,本发明的实施例不限于此。例如,手势识别装置100和AVN设备200可以一体地设置,并且AVN设备200可以通过手势识别装置100接收驾驶者的控制指令。
然而,在下文中,为了理解,假设手势识别装置100和AVN设备200分开地设置。
如上所述,已经描述了车辆1和手势识别装置100的配置。
在下文中,将描述车辆1和手势识别装置100的操作。首先,将描述使用车辆1和手势识别装置100登记驾驶者的静脉图案的操作。
将参考图7到图14描述车辆1的登记静脉图案的方法(1000)。
图7是根据本发明的实施例的、使用车辆登记静脉图案的操作的流程图。图8是根据本发明的实施例的、用于使用车辆登记驾驶者的静脉图案的基准手势图像的示例的视图。图9是根据本发明的实施例的、车辆采集驾驶者图像的示例的视图。图10是根据本发明的实施例的、使用车辆采集的驾驶者图像的示例的视图。图11是根据本发明的实施例的、用于使用车辆登记驾驶者的静脉图案的基准手势图像的另一示例的视图。图12是根据本发明的实施例的、车辆采集驾驶者的图像的另一示例的视图。图13是根据本发明的实施例的、使用车辆采集的驾驶者的图像的另一示例的视图。图14是根据本发明的实施例的由车辆生成的查询表的视图。
车辆1确定是否登记驾驶者U(在方框1010处)。具体地,车辆1可以确定从驾驶者U是否输入了静脉图案登记指令。
驾驶者U可以使用各种方法向车辆1输入静脉图案登记指令。例如,驾驶者U可以通过手势识别装置100的输入按钮121输入静脉图案登记指令。如果输入了驾驶者的静脉图案登记指令,则手势识别装置100可以执行用于登记静脉图案的准备操作。手势识别装置100可以使用发光单元130发射红外线,并且可以使用图像采集单元140采集红外图像。
作为另一示例,驾驶者U可以通过AVN设备200的触摸屏221输入静脉图案登记指令。如果驾驶者U使用AVN设备200输入静脉图案登记指令,则AVN设备200使用通信单元250将静脉图案登记指令发送到手势识别装置100。此外,如果通过通信单元150接收到静脉图案登记指令,则手势识别装置100可以执行用于登记静脉图案的准备操作。
如果确定登记驾驶者U(1010,是),则车辆1引导用于登记静脉图案的基准手势(在方框1020处)。具体地,AVN设备200可以根据手势识别装置100的请求来显示用于登记静脉图案的基准手势图像。
手势识别装置100可以请求AVN设备200显示用于登记驾驶者U的静脉图案的基准手势图像。此外,如果从手势识别装置100请求显示基准手势图像,则AVN设备200可以在触摸屏221上显示先前存储的基准手势图像,或者可以在触摸屏221上显示从手势识别装置100接收到的基准手势图像。
例如,AVN设备200可以在触摸屏221的屏幕400上显示第一基准手势图像401,如图8所示。第一基准手势可以是驾驶者U将他/她的手指展开并且驾驶者的手背向上的手势,如在第一基准手势图像401中显示的。
此外,AVN设备200可以通过使用声音输出单元240播放语音指令,引导驾驶者U做出与触摸屏221上显示的图像相同的手势。
随后,车辆1采集驾驶者的图像(在方框1030处)。具体地,手势识别装置100使用图像采集单元140采集驾驶者的图像并分析采集到的驾驶者的图像。
驾驶者U可以做出与在AVN设备200的触摸屏221上显示的基准手势图像相同的手势。
例如,如果在AVN设备200上显示了第一基准手势图像401,则驾驶者U可以将他/她的手放在中央控制台35上,并且可以做出驾驶者的手背向上的第一基准手势。
如果驾驶者U做出在第一基准手势图像401中显示的第一基准手势,则从手势识别装置100的发光单元130发射的红外线从驾驶者的手背被反射,如图9所示。
此外,手势识别装置100的图像采集单元140可以从反射自驾驶者U的手的红外线采集第一驾驶者图像501,如图10所示。
在此情况下,红外线可以从驾驶者的手的皮肤表面反射,并且可以通过透射穿过驾驶者U的皮肤从驾驶者的手中形成的静脉反射。结果,由图像采集单元140采集的图像可以包括驾驶者U的手的形状和驾驶者U的手中形成的静脉的图像。
由于人具有唯一/独特的静脉图案,因此车辆1可以使用驾驶者U的手中形成的静脉图案来识别驾驶者U,并且可以验证驾驶者U。另外,车辆1也可以使用静脉图案的形状来识别驾驶者U的手势。
手势识别装置100可以从第一驾驶者图像501中移除除了驾驶者的手的图像之外的其他物体,以便采集更精确的静脉图案图像。
具体地,手势识别装置100对第一驾驶者图像501执行图像平滑。可以从被执行图像平滑的第一驾驶者图像501中删除静脉图案,使得在第一驾驶者图像501中仅保留驾驶者的手的形状。手势识别装置100可以根据执行了图像平滑的第一驾驶者图像501来确定驾驶者的手的图像。随后,手势识别装置100可以从第一驾驶者图像501中删除除了驾驶者的手的图像之外的所有图像。
以此方式,除了驾驶者的手的图像之外的所有图像被移除了的第一驾驶者图像501的大小减小,使得可以减少用于图像处理的时间。
随后,车辆1将驾驶者图像二值化(在方框1040处)。具体地,车辆1中所包括的手势识别装置100将驾驶者图像二值化。
根据从驾驶者U的手反射的红外线的强度,驾驶者图像可以表现出各种亮度。例如,指示驾驶者的手的那部分被显示为亮,而不指示驾驶者的手的那部分被显示为暗。此外,指示驾驶者的手中形成的静脉的一部分与驾驶者的手的其他部分相比,可以被显示为暗。
手势识别装置100可以简化驾驶者图像并且可以将驾驶者图像二值化,使得驾驶者图像中所包括的静脉图案可以是清晰的。换句话说,手势识别装置100可以将驾驶者图像变换成包括黑色和白色的单色图像。
例如,手势识别装置100可以基于预定基准亮度值,将驾驶者图像中所包括的像素的亮度值变换成指示黑色的“0”和指示白色的“1”。
具体地,如果驾驶者图像中所包括的像素的亮度值等于或大于基准亮度值,则手势识别装置100可以存储指示白色的“1”,并且如果驾驶者图像中所包括的像素的亮度值小于基准亮度值,则手势识别装置100可以存储指示黑色的“0”。
以此方式,二值化的驾驶者图像仅包括指示白色的“1”和指示黑色的“0”,与图像采集单元140采集的驾驶者图像相比被简化。
作为另一示例,手势识别装置100可以通过分析驾驶者图像的直方图来计算基准亮度值,并且可以根据计算出的基准亮度值来将驾驶者图像二值化。图像的直方图可以是根据亮度值的像素数目的分布。
具体地,手势识别装置100可以根据驾驶者图像生成驾驶者图像的直方图。随后,手势识别装置100可以对驾驶者图像执行直方图均衡化。驾驶者图像可以通过直方图均衡化变得更清晰。随后,手势识别装置100可以根据执行了直方图均衡化的驾驶者图像的直方图计算基准亮度值。例如,手势识别装置100可以通过将执行了直方图均衡化的驾驶者图像中所包括的所有像素的亮度值进行平均,以此计算基准亮度值。
在二值化的驾驶者图像中,与图像采集单元140采集的驾驶者图像相比,手的形状和静脉图案被更清晰地显示。
随后,手势识别装置100根据二值化的驾驶者图像生成静脉图案图像(在方框1050处)。具体地,手势识别装置100从二值化的驾驶者图像中提取关注区域(ROI),并且根据ROI内的图像生成静脉图案图像。
图像采集单元140采集的驾驶者图像可以包括驾驶者的静脉图案和驾驶者的手的形状。手势识别装置100可以从静脉图案图像设定仅包括驾驶者U的静脉图案的ROI,以便提取驾驶者U的静脉图案。
例如,手势识别装置100可以基于在第一驾驶者图像501中显示的手的形状来设定ROI,如图10所示。具体地,手势识别装置100可以从第一驾驶者图像501基于小指和手主体相互接触的边界、食指和手主体相互接触的边界、以及手主体和手腕之间的边界的两端,来设定具有矩形形状502的ROI。即,手势识别装置100可以将第一驾驶者图像501中与手主体(或手掌或手背)对应的那部分设定为ROI。
此外,手势识别装置100可以将ROI内的图像存储为第一静脉图案图像502。第一静脉图案图像502可以仅包括从驾驶者图像中移除了驾驶者的手的形状的且在驾驶者U的手主体中形成的静脉图案,如图10所示。
随后,手势识别装置100确定静脉图案登记是否完成(在方框1060处)。具体地,手势识别装置100可以确定是否生成与多个基准手势对应的静脉图案图像。
驾驶者U可以将他/她的手放在各种位置,可以将他/她的手指向各种方向,并且可以将他/她的手旋转若干角度。这里,手的位置是驾驶者U的手放在车辆内的位置,手的方向是手指从手主体指向的方向,并且手的旋转角度是手基于手臂旋转的角度。
特别地,当驾驶者U旋转手时,图像采集单元140采集的静脉图案根据手的旋转角度变换成不同形状。具体地,即使当驾驶者U改变手的位置或手的方向时,静脉图案本身不改变。然而,当驾驶者U旋转手时,静脉图案的形状改变,并且因此难以验证驾驶者U或识别驾驶者U的手势。
出于该原因,当登记静脉图案时,手势识别装置100采集驾驶者U的关于各种基准手势的静脉图案图像,并且各种基准手势是具有驾驶者的手的不同旋转角度的手势。
换句话说,通过旋转驾驶者U的手,手势识别装置100可以采集在手的各种旋转角度下的驾驶者U的静脉图案图像。例如,通过旋转驾驶者U的手约180°,手势识别装置100可以采集从手背到手掌的静脉图案图像。
以此方式,为了采集在手的各种旋转角度下的静脉图案图像,手势识别装置100可以使用AVN设备200显示用于旋转驾驶者U的手的基准手势图像,并且可以采集在驾驶者的手的各种旋转角度下的静脉图案图像。
如果确定没有完成静脉图案登记(1060,否),则手势识别装置100从方框1020继续图7的过程,再次引导基准手势(1020),采集驾驶者图像(1030),将驾驶者图像二值化(1040),以及生成静脉图案图像(1050)。
在生成了与第一基准手势对应的静脉图案之后,手势识别装置100可以生成与第二基准手势对应的静脉图案图像。
例如,AVN设备200可以在触摸屏221的屏幕400上显示第二基准手势图像402,如图11所示。这里,第二基准手势可以是手从第一基准手势旋转约30°的手势,如在第二基准手势图像402中显示的。
驾驶者U可以根据AVN设备200的引导做出与在触摸屏221上显示的基准手势图像相同的手势。即,驾驶者U可以根据第二基准手势图像402做出第二基准手势。
如果驾驶者U做出第二基准手势,则手势识别装置100可以采集与第二基准手势对应的第二驾驶者图像511,如图12和图13所示。采集第二驾驶者图像511的手势识别装置100可以将第二驾驶者图像511二值化,并且可以根据二值化的第二驾驶者图像511生成第二静脉图案图像512。
以此方式,车辆1的手势识别装置100重复地执行驾驶者图像采集、驾驶者图像二值化和静脉图案图像生成,直到采集了与所有基准手势对应的静脉图案图像。
如果确定静脉图案登记完成(1060,是),则手势识别装置100生成静脉图案查询表(在方框1070处)。
车辆1中所包括的手势识别装置100可以通过将手的旋转角度与对应于手的旋转角度的静脉图案图像关联来生成静脉图案查询表,如图14所示。这里,手的旋转角度指示根据每个基准手势的手的旋转角度。
例如,在第一基准手势图像(参见图8的401)中显示的第一基准手势可以是具有“0”度旋转角度的基准手势,并且对应于第一基准手势生成的第一静脉图案图像(参见图10的502)可以与“0”度旋转角度关联并且可以被存储。
此外,在第二基准手势图像(参见图11的402)中显示的第二基准手势可以是具有“30”度旋转角度的基准手势,并且对应于第二基准手势生成的第二静脉图案图像(参见图13的512)可以与“30”度旋转角度关联并且可以被存储。
如上所述,手势识别装置100可以向驾驶者U引导各种基准手势,并且可以在引导基准手势时采集驾驶者U的手中形成的静脉图案的图像。而且,手势识别装置100基于采集的静脉图案图像来生成用于驾驶者验证和驾驶者手势识别的静脉图案查询表。
接下来将描述车辆1和手势识别装置100使用驾驶者U的静脉图案验证驾驶者U和识别驾驶者U的手势的情形。
图15A和图15B是根据本发明的实施例的、车辆的驾驶者验证和手势识别操作的流程图。图16是根据本发明的实施例的、为了执行驾驶者验证和手势识别而使用车辆采集的驾驶者图像的示例的视图。图17和图18是根据本发明的实施例的、车辆校正驾驶者的静脉图案图像的示例的视图。图19是根据本发明的实施例的、车辆搜索静脉图案查询表的视图。图20是根据本发明的实施例的、为了执行驾驶者验证和手势识别而由车辆采集的驾驶者图像另一示例的视图。
将参考图15A到图20描述使用手势识别装置100进行驾驶者验证和手势识别的方法(1100)。具体地,将描述使用手势识别装置100确定驾驶者U的停止手势的方法。
在方框1110处,手势识别装置100确定是否激活手势识别。具体地,手势识别装置100可以确定从驾驶者U是否输入了手势识别激活指令。
驾驶者U可以使用各种方法向车辆1输入手势识别激活指令。例如,驾驶者U可以通过手势识别装置100的输入按钮121输入手势识别激活指令。如果输入了驾驶者U的手势识别激活指令,则手势识别装置100可以为手势识别执行准备操作。手势识别装置100可以使用发光单元130发射红外线,并且可以使用图像采集单元140采集红外图像。
作为另一示例,驾驶者U可以使用AVN设备200的触摸屏221输入手势识别激活指令。如果驾驶者U使用AVN设备200输入手势识别激活指令,则AVN设备200使用通信单元250将手势识别激活指令发送到手势识别装置100。此外,如果通过通信单元150接收到手势识别激活指令,则手势识别装置100可以为手势识别执行准备操作。
作为又一示例,驾驶者U可以使用预定手势输入手势识别激活指令。在此情况下,如果驾驶者U进入车辆1,则手势识别装置100可以为手势识别执行准备操作,并且如果驾驶者U做出预定的手势识别激活手势,则手势识别装置100可以激活手势识别功能。
如果手势识别被激活(1110,是),则手势识别装置100可以采集驾驶者图像(在方框1120处)。具体地,手势识别装置100使用图像采集单元140采集驾驶者图像并且分析采集的驾驶者图像。
驾驶者U可以做出与要被输入到车辆1的控制指令对应的手势。例如,如果驾驶者U将右手(如果方向盘放置在车辆右边,则为左手)放在中央控制台35上,则从手势识别装置100的发光单元130发射的红外线可以从驾驶者U的手背反射,并且手势识别装置100的图像采集单元140可以采集图16中所示的驾驶者图像600。
如上所述,由图像采集单元140采集的驾驶者图像可以包括驾驶者U的手的形状和驾驶者U的手中形成的静脉图案。
在此情况下,手势识别装置100可以从驾驶者图像600中移除除了驾驶者的手的图像之外的图像,以便采集更精确的静脉图案图像。
具体地,手势识别装置100对驾驶者图像600执行图像平滑。从被执行图像平滑的驾驶者图像600中删除静脉图案,在驾驶者图像600中仅保留驾驶者的手的形状。手势识别装置100可以根据执行了图像平滑的驾驶者图像600确定驾驶者的手的图像。随后,手势识别装置100可以从驾驶者图像600中删除除了驾驶者的手的图像之外的所有图像。
随后,手势识别装置100将驾驶者图像二值化(在方框1130处)。具体地,车辆1中所包括的手势识别装置100将驾驶者图像二值化。
手势识别装置100可以简化驾驶者图像并且可以将驾驶者图像二值化,使得驾驶者图像中所包括的静脉图案可以是清晰的。换句话说,手势识别装置100可以将驾驶者图像变换成包括黑色和白色的单色图像。
例如,手势识别装置100可以基于预定基准亮度值,将驾驶者图像中所包括的像素的亮度值变换成指示黑色的“0”和指示白色的“1”。
作为另一示例,手势识别装置100可以通过分析驾驶者图像的直方图来计算基准亮度值,并且可以根据计算出的基准亮度值将驾驶者图像二值化。
在二值化的驾驶者图像中,与图像采集单元140采集的驾驶者图像相比,手的形状和静脉图案被更清晰地显示。
随后,手势识别装置100根据二值化的驾驶者图像生成静脉图案图像并计算驾驶者U的手的位置(在方框1140处)。
具体地,手势识别装置100可以从二值化的驾驶者图像中提取ROI并可以根据ROI内的图像生成静脉图案图像。
例如,手势识别装置100可以基于驾驶者图像600中显示的手的形状来设定ROI,如图16所示。具体地,手势识别装置100可以从驾驶者图像600基于小指和手主体相互接触的边界、食指和手主体相互接触的边界、以及手主体和手腕之间的边界的两端,来设定具有矩形形状的ROI。即,手势识别装置100可以将第一驾驶者图像601中与手主体(或手掌或手背)对应的一部分设定为ROI。
此外,手势识别装置100可以将ROI内的图像存储为静脉图案图像602。静脉图案图像602可以仅包括从驾驶者图像中移除了驾驶者的手的形状的且在驾驶者U的手主体中形成的静脉图案,如图16所示。
此外,手势识别装置100可以基于ROI的位置P1确定驾驶者U的手的位置(x1,y1)。
随后,手势识别装置100校正静脉图案图像并计算驾驶者的手的方向(在方框1150处)。具体地,车辆1中所包括的手势识别装置100可以对静脉图案图像进行旋转变换,或者可以对静脉图案图像进行平移。
在驾驶期间,驾驶者U可能将他/她的手放在任意位置,可能用手指向任意方向,或者可能执行用于输入控制指令的手势。这样,为了从放在任意位置并指向任意方向的驾驶者的手的图像中提取静脉图案,手势识别装置100可以对静脉图案图像进行仿射变换。
仿射变换包括平移、缩放、旋转和剪切,并且可以具有公式1中示出的基本形式。
[公式1]
T(x)=Ax+b
其中T(x)是仿射变换,A是任意矩阵,b是任意向量,并且x是要被变换的向量。
例如,为了执行图17的图示(a)中所示的旋转变换,手势识别装置100可以应用公式2。
[公式2]
其中x2和y2是变换后的坐标,θ是旋转角度,并且x1和y1是变换前的坐标。
此外,为了执行图17的图示(b)中所示的剪切,手势识别装置100可以应用公式3。
[公式3]
其中x2和y2是变换后的坐标,A是变换位移,并且x1和y1是变换前的坐标。
此外,为了执行图17的图示(c)中所示的剪切变换,手势识别装置100可以应用公式4。
[公式4]
其中x2和y2是变换后的坐标,B是变换位移,并且x1和y1是变换前的坐标。
通过使用仿射变换,手势识别装置100可以校正静脉图案图像,以便将静脉图案图像与静脉图案查询表进行比较。
例如,当驾驶者U将他/她的手指向任意方向θ时,如图17所示,手势识别装置100可以采集具有以θ倾斜的矩形形状的静脉图案图像602,如图18所示。
手势识别装置100可以通过对具有倾斜的矩形形状的静脉图案图像602执行旋转变换,采集校正的静脉图案图像602’,如图18所示。
此外,手势识别装置100可以基于静脉图案图像602在变换前倾斜的角度θ,计算驾驶者U的手所指向的方向(从车辆1前方偏离的角度)。
作为另一示例,当驾驶者U将他/她的手放在任意高度时,手势识别装置100可以通过对静脉图案图像602执行缩放变换,采集具有与静脉图案查询表中存储的静脉图案图像相同大小的静脉图案图像602’。
此外,手势识别装置100可以基于变换前的静脉图案图像602的大小和变换后的静脉图案图像602’的大小之间的差,计算驾驶者U的手的高度。
随后,车辆1验证驾驶者U并计算驾驶者的手的旋转角度(在方框1160处)。
具体地,车辆1中所包括的手势识别装置100通过将校正的车辆图案图像与静脉图案查询表进行比较,验证驾驶者U。
例如,手势识别装置100将驾驶者U的静脉图案图像602’与存储在静脉图案查询表中的静脉图案图像502和512进行比较,如图19所示。作为比较的结果,如果从静脉图案查询表中检索到与静脉图案图像602’相同的静脉图案图像,则手势识别装置100可以确定驾驶者U是登记的驾驶者。如果从静脉图案查询表中没有检索到与静脉图案图像602’相同的静脉图案图像,则手势识别装置100可以确定驾驶者U是未登记的驾驶者。
此外,手势识别装置100可以通过将静脉图案图像与静脉图案查询表进行比较,确定驾驶者U的手基于驾驶者U的手臂旋转的角度。
例如,静脉图案查询表的静脉图案图像中的第一静脉图案图像502可以与驾驶者U的静脉图案图像602’相同,如图19所示,并且手势识别装置100可以确定驾驶者U的手旋转“0”角度(手背向上)。
随后,车辆1确定驾驶者U是否为登记的驾驶者(在方框1170处)。
具体地,如果从静脉图案查询表中检索到与静脉图案图像602’相同的静脉图案图像,则手势识别装置100可以确定驾驶者U是已验证的,并且如果从静脉图案查询表中没有检索到与静脉图案图像602’相同的静脉图案图像,则手势识别装置100可以确定驾驶者U是未验证的。
如果确定驾驶者U是登记的驾驶者(1170,是),则车辆1确定驾驶者U的停止手势(在方框1180处)。
具体地,车辆1的手势识别装置100可以存储驾驶者的手的位置、驾驶者的手所指向的方向、驾驶者的手的高度和驾驶者的手的旋转角度,以便确定驾驶者U的停止手势。
如果确定驾驶者U不是登记的驾驶者(1170,否),则手势识别装置100终止手势识别。
如上所述,车辆1可以使用驾驶者U的静脉图案来确定驾驶者U的停止手势。具体地,车辆1可以确定驾驶者的手的位置、驾驶者的手所指向的方向、驾驶者的手的高度和驾驶者的手的旋转角度。
此外,车辆1可以通过对连续采集的驾驶者图像执行上面描述的驾驶者的停止手势确定功能,以此确定驾驶者U的连续停止手势,即驾驶者U的移动。
例如,在根据图16所示的驾驶者图像600确定驾驶者U的停止手势之后,车辆1可以根据图20所示的驾驶者图像610确定驾驶者U的停止手势。
随后,车辆1可以基于根据图16所示的驾驶者图像600确定的驾驶者的手的位置(x1,y1)、驾驶者的手所指向的方向、驾驶者的手的高度和驾驶者的手的旋转角度与根据图20所示的驾驶者图像610确定的驾驶者的手的位置(x2,y2)、驾驶者的手所指向的方向、驾驶者的手的高度和驾驶者的手的旋转角度之间的差,确定驾驶者的移动,即驾驶者的手的移动和旋转。
此外,车辆1可以基于驾驶者的移动来确定将要由驾驶者输入的控制指令。
以此方式,当使用驾驶者的手中形成的静脉图案确定了驾驶者的手势时,车辆1可以将该驾驶者与伙伴乘客区分开。
图21是根据本发明的实施例的、为了执行驾驶者验证和手势识别而由车辆采集的驾驶者图像的又一示例的视图。
例如,当手势识别装置100捕获驾驶者U1的手的图像和伙伴乘客U2的手的图像时,如图21所示,手势识别装置100可以将驾驶者的手的图像621和伙伴乘客的手的图像623从捕获的图像620分离。
随后,手势识别装置100可以从驾驶者的手的图像621和伙伴乘客的手的图像623提取驾驶者U1的静脉图案图像622和伙伴乘客U2的静脉图案图像624。
随后,手势识别装置100可以通过将驾驶者U1的静脉图案图像622和伙伴乘客U2的静脉图案图像624与静脉图案查询表进行比较,以此将驾驶者U1的静脉图案图像622和伙伴乘客U2的静脉图案图像624区分开。
结果,手势识别装置100可以根据驾驶者U1和伙伴乘客U2被拍摄的图像620确定驾驶者的停止手势,并且可以根据驾驶者的连续停止手势确定驾驶者的移动。此外,手势识别装置100可以根据驾驶者的移动识别驾驶者的控制指令。
车辆1不限于仅识别驾驶者的手势。
例如,当驾驶者U1和伙伴乘客U2均登记了手势图案时,车辆1可以识别驾驶者U1的手势和伙伴乘客U2的手势两者。
当手势识别装置100捕获了驾驶者U1的手的图像和伙伴乘客U2的手的图像两者时,如图21所示,手势识别装置100可以将驾驶者的手的图像621和伙伴乘客的手的图像623从捕获的图像620分离,由此采集驾驶者U1的静脉图案图像622和伙伴乘客U2的静脉图案图像624。
随后,手势识别装置100可以通过将驾驶者U1的静脉图案图像622和伙伴乘客U2的静脉图案图像624与静脉图案查询表进行比较,以此将驾驶者U1的静脉图案图像622与伙伴乘客U2的静脉图案图像624区分开。
手势识别装置100可以分别确定驾驶者U1的停止手势和伙伴乘客U2的停止手势。此外,手势识别装置100可以分别确定驾驶者U1的移动和伙伴乘客U2的移动。
结果,手势识别装置100可以通过来自驾驶者U1和伙伴乘客U2的移动接收控制指令。
如上所述,车辆1和手势识别装置100可以提取驾驶者的静脉图案,并且可以根据提取的静脉图案的形状确定驾驶者的停止手势。此外,车辆1和手势识别装置100可以根据驾驶者的连续停止手势来确定驾驶者的控制指令。
如上所述,能够提供一种检测驾驶者的手势并识别与检测到的手势对应的控制指令的车辆、用于控制该车辆的方法、以及该车辆中所包括的手势识别装置。
另外,能够提供一种为了更精确地识别驾驶者的手势而检测在驾驶者的手中形成的静脉图案并基于检测到的静脉图案来检测驾驶者的手势的车辆、用于控制该车辆的方法、以及该车辆中所包括的手势识别装置。
尽管已经示出并描述了本发明的少数实施例,但是本领域技术人员应当理解,在不偏离本发明的原理和精神的情况下,可以对这些实施例进行修改,本发明的保护范围由权利要求和它们的等同形式限定。
Claims (24)
1.一种用于车辆的手势识别装置,其包括:
存储单元,其用于根据驾驶者的手的旋转角度,存储包括多个基准静脉图案图像的静脉图案查询表;
图像采集单元,其用于采集驾驶者图像,所述驾驶者图像包括所述驾驶者的手的图像;以及
控制器,其用于:
从所述驾驶者图像中提取所述驾驶者的手的静脉图案图像;
通过将提取的静脉图案图像与所述静脉图案查询表进行比较,验证所述驾驶者;以及
基于所述提取的静脉图案图像来确定所述驾驶者的手势,所述驾驶者的手势包括所述驾驶者的手的位置、所述驾驶者的手所指向的方向和所述驾驶者的手的旋转角度中的至少一个。
2.根据权利要求1所述的手势识别装置,还包括显示器,所述显示器用于根据所述驾驶者的手的旋转角度来显示多个基准手势图像。
3.根据权利要求2所述的手势识别装置,其中当显示所述多个基准手势图像中的一个基准手势图像时,所述控制器采集与所述一个基准手势图像对应的基准驾驶者图像。
4.根据权利要求3所述的手势识别装置,其中所述控制器将所述基准驾驶者图像二值化,并从二值化的基准驾驶者图像中提取基准静脉图案图像。
5.根据权利要求4所述的手势识别装置,其中所述控制器基于所述基准静脉图案图像来生成所述静脉图案查询表。
6.根据权利要求1所述的手势识别装置,其中所述控制器基于所述提取的静脉图案图像的位置来确定所述驾驶者的手的位置。
7.根据权利要求1所述的手势识别装置,其中所述控制器基于所述多个基准静脉图案图像来对所述提取的静脉图案图像进行旋转变换,并且基于所述提取的静脉图案图像的旋转角度来确定所述驾驶者的手所指向的方向。
8.根据权利要求1所述的手势识别装置,其中所述控制器基于所述多个基准静脉图案图像对所述提取的静脉图案图像的大小进行变换,并且基于所述提取的静脉图案图像的大小变换比率来确定所述驾驶者的手的高度。
9.根据权利要求1所述的手势识别装置,其中所述控制器在所述多个基准静脉图案图像中搜索与所述提取的静脉图案图像匹配的基准静脉图案,并且基于与所述提取的静脉图案图像匹配的所述基准静脉图案来确定所述驾驶者的手的旋转角度。
10.根据权利要求1所述的手势识别装置,其中所述控制器通过处理由所述图像采集单元连续采集的多个驾驶者图像来确定连续的驾驶者手势,并且基于所述连续的驾驶者手势来确定所述驾驶者的移动。
11.根据权利要求10所述的手势识别装置,其中所述控制器基于所述驾驶者的移动来确定所述驾驶者的控制指令。
12.根据权利要求1所述的手势识别装置,其中当从所述驾驶者图像中提取多个静脉图案图像时,所述控制器通过将所述多个静脉图案图像与所述静脉图案查询表进行比较来区分多个驾驶者,并且验证基于所述静脉图案图像区分的所述多个驾驶者。
13.一种用于控制车辆的方法,所述方法包括以下步骤:
根据驾驶者的手的旋转角度来存储包括多个基准静脉图案图像的静脉图案查询表;
采集驾驶者图像,所述驾驶者图像包括所述驾驶者的手的图像;
从所述驾驶者图像中提取所述驾驶者的手的静脉图案图像;
通过将提取的静脉图案图像与所述静脉图案查询表进行比较,验证所述驾驶者;以及
基于所述提取的静脉图案图像来确定所述驾驶者的手势,所述驾驶者的手势包括所述驾驶者的手的位置、所述驾驶者的手所指向的方向和所述驾驶者的手的旋转角度中的至少一个。
14.根据权利要求13所述的方法,其中存储所述静脉图案查询表的步骤包括:
根据所述驾驶者的手的旋转角度来显示多个基准手势图像;
采集与所述基准手势图像对应的基准驾驶者图像;
从所述基准驾驶者图像中提取基准静脉图案图像;以及
基于所述基准静脉图案图像来生成所述静脉图案查询表。
15.根据权利要求13所述的方法,其中基于所述提取的静脉图案图像来确定所述驾驶者的手势的步骤包括:
基于所述多个基准静脉图案图像,对所述提取的静脉图案图像进行旋转变换;以及
基于所述静脉图案图像的旋转角度,确定所述驾驶者的手所指向的方向。
16.根据权利要求13所述的方法,其中基于所述提取的静脉图案图像来确定所述驾驶者的手势的步骤包括:
基于所述多个基准静脉图案图像,对所述提取的静脉图案图像的大小进行变换;以及
基于所述提取的静脉图案图像的大小变换比率,确定所述驾驶者的手的高度。
17.根据权利要求13所述的方法,其中基于所述提取的静脉图案图像来确定所述驾驶者的手势的步骤包括:
在所述多个基准静脉图案图像中搜索与所述提取的静脉图案图像匹配的基准静脉图案;以及
基于与所述提取的静脉图案图像匹配的所述基准静脉图案来确定所述驾驶者的手的旋转角度。
18.根据权利要求13所述的方法,还包括以下步骤:
通过处理由图像采集单元连续采集的多个驾驶者图像来确定连续的驾驶者手势;
基于所述连续的驾驶者手势来确定所述驾驶者的移动;以及
基于所述驾驶者的移动来确定所述驾驶者的控制指令。
19.根据权利要求13所述的方法,其中验证所述驾驶者的步骤包括:
当从所述驾驶者图像中提取多个静脉图案图像时,通过将所述多个静脉图案图像与所述静脉图案查询表进行比较来区分多个驾驶者;以及
验证基于所述静脉图案图像区分的所述多个驾驶者。
20.一种手势识别装置,其包括:
存储器,其用于根据驾驶者的手的旋转角度来存储包括多个基准静脉图案图像的静脉图案查询表;
摄像机模块,其用于采集驾驶者图像,所述驾驶者图像包括所述驾驶者的手的图像;
图形处理器,其用于从所述驾驶者图像中提取所述驾驶者的手的静脉图案图像,并且将提取的静脉图案图像与所述静脉图案查询表进行比较;以及
主处理器,其用于基于所述提取的静脉图案图像来确定所述驾驶者的手势,所述驾驶者的手势包括所述驾驶者的手的位置、所述驾驶者的手所指向的方向和所述驾驶者的手的旋转角度中的至少一个。
21.根据权利要求20所述的手势识别装置,其中所述主处理器基于所述提取的静脉图案图像的位置来确定所述驾驶者的手的位置。
22.根据权利要求20所述的手势识别装置,其中所述图形处理器基于所述多个基准静脉图案图像对所述提取的静脉图案图像进行旋转变换,并且所述主处理器基于所述提取的静脉图案图像的旋转角度来确定所述驾驶者的手所指向的方向。
23.根据权利要求20所述的手势识别装置,其中所述图形处理器基于所述多个基准静脉图案图像对所述提取的静脉图案图像的大小进行变换,并且所述主处理器基于所述提取的静脉图案图像的大小变换比率来确定所述驾驶者的手的高度。
24.根据权利要求20所述的手势识别装置,其中所述图形处理器在所述多个基准静脉图案图像中搜索与所述提取的静脉图案图像匹配的基准静脉图案,并且所述主处理器基于与所述提取的静脉图案图像匹配的所述基准静脉图案来确定所述驾驶者的手的旋转角度。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2015-0009823 | 2015-01-21 | ||
| KR1020150009823A KR20160090047A (ko) | 2015-01-21 | 2015-01-21 | 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105807912A true CN105807912A (zh) | 2016-07-27 |
| CN105807912B CN105807912B (zh) | 2020-10-20 |
Family
ID=56408091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510482883.9A Active CN105807912B (zh) | 2015-01-21 | 2015-08-07 | 车辆、用于控制该车辆的方法和其中的手势识别装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9898652B2 (zh) |
| KR (1) | KR20160090047A (zh) |
| CN (1) | CN105807912B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170264A (zh) * | 2016-12-07 | 2018-06-15 | 福特全球技术公司 | 车辆用户输入控制系统和方法 |
| CN109366497A (zh) * | 2018-11-12 | 2019-02-22 | 奇瑞汽车股份有限公司 | 车载机器人、车载机器人的控制方法、装置及存储介质 |
| CN110008918A (zh) * | 2019-04-11 | 2019-07-12 | 成都合纵连横数字科技有限公司 | 一种摩托车模拟器驾驶员姿态识别方法 |
| CN111052047A (zh) * | 2017-09-29 | 2020-04-21 | 苹果公司 | 用于自动手势和手指识别的静脉扫描设备 |
| CN111587437A (zh) * | 2018-01-11 | 2020-08-25 | 华为技术有限公司 | 使用视频管的活动识别方法 |
| CN112298102A (zh) * | 2019-07-31 | 2021-02-02 | 比亚迪股份有限公司 | 车辆控制的方法、装置、存储介质及电子设备和车辆 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112016006824B4 (de) * | 2016-06-08 | 2020-10-29 | Mitsubishi Electric Corporation | Fahrzeugmontierte Informationsverarbeitungsvorrichtung, fahrzeugmontierte Vorrichtung, und fahrzeugmontiertes Informationsverarbeitungsverfahren |
| FR3060473A1 (fr) * | 2016-12-16 | 2018-06-22 | Peugeot Citroen Automobiles Sa | Pavillon de toit de vehicule automobile comportant un dispositif de commande sans contact d’au moins un composant electrique. |
| FR3064090B1 (fr) * | 2017-03-17 | 2021-09-17 | Valeo Comfort & Driving Assistance | Module de commande pour habitacle de vehicule |
| FR3065783B1 (fr) * | 2017-04-28 | 2019-07-12 | Valeo Comfort And Driving Assistance | Module de commande pour habitacle de vehicule |
| US10229309B2 (en) * | 2017-05-12 | 2019-03-12 | Dura Operations, Llc | Biometric control member |
| DE102017208756B4 (de) | 2017-05-23 | 2020-09-10 | Bayerische Motoren Werke Aktiengesellschaft | Steuerung einer Komponente eines Kraftfahrzeugs aufweisend einen Sensor zur Abtastung eines biometrischen Merkmals |
| FR3075402B1 (fr) * | 2017-12-20 | 2021-01-08 | Valeo Comfort & Driving Assistance | Dispositif de visualisation d'un habitacle de vehicule, habitacle et procede de visualisation associes |
| KR20200126479A (ko) | 2019-04-29 | 2020-11-09 | 주식회사 웰파인 | 아로니아를 유효성분으로 함유하는 항비만 음료 및 그 제조방법 |
| CN111845757A (zh) * | 2019-04-30 | 2020-10-30 | 通用汽车环球科技运作有限责任公司 | 分心驾驶消除系统 |
| KR102850052B1 (ko) * | 2019-09-23 | 2025-08-26 | 삼성전자주식회사 | 차량의 제어 장치 및 방법 |
| CN112115799B (zh) * | 2020-08-24 | 2023-12-26 | 青岛小鸟看看科技有限公司 | 基于标记点的三维手势的识别方法、装置及设备 |
| EP3961483B1 (en) * | 2020-09-01 | 2025-11-05 | Aptiv Technologies AG | Method and system for authenticating an occupant within an interior of a vehicle |
| CN114220166A (zh) * | 2021-12-02 | 2022-03-22 | 每刻深思智能科技(北京)有限责任公司 | 手势识别方法、电子设备、存储介质及程序产品 |
| FR3143165A1 (fr) * | 2022-12-09 | 2024-06-14 | Psa Automobiles Sa | Procédé et dispositif de contrôle de système embarqué de véhicule par signe |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080068591A1 (en) * | 2000-09-20 | 2008-03-20 | Hitachi, Ltd. | Personal identification system |
| CN103324274A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 一种人机交互方法和装置 |
| CN103442114A (zh) * | 2013-08-16 | 2013-12-11 | 中南大学 | 一种基于动态手势的身份认证方法 |
| KR20140087866A (ko) * | 2012-12-31 | 2014-07-09 | 현대자동차주식회사 | 정맥 영상을 이용한 제스처 인식 방법 및 인식 장치 |
| CN104462908A (zh) * | 2013-09-12 | 2015-03-25 | 中国电信股份有限公司 | 一种触摸屏手指书写签名的方法和系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100428540B1 (ko) | 2001-07-03 | 2004-04-28 | 주식회사 테크스피어 | 개인 식별을 위한 손등의 혈관패턴 인식 장치 및 그 방법 |
| JP3900893B2 (ja) * | 2001-11-02 | 2007-04-04 | ソニー株式会社 | 操舵装置、ドライバー認証方法、自動車 |
| KR20060070280A (ko) * | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
| JP4692174B2 (ja) * | 2005-09-14 | 2011-06-01 | 株式会社日立製作所 | 個人認証装置及びドア開閉システム |
| JP2007115072A (ja) | 2005-10-21 | 2007-05-10 | Yoko Arimasa | 指静脈認証システムと指静脈認証装置 |
| JP4704185B2 (ja) * | 2005-10-27 | 2011-06-15 | 富士通株式会社 | 生体認証システム及び生体認証方法 |
| JP4670619B2 (ja) | 2005-12-07 | 2011-04-13 | 株式会社日立製作所 | 生体情報照合システム |
| JP4640295B2 (ja) * | 2006-09-07 | 2011-03-02 | 株式会社日立製作所 | 個人認証装置及び方法 |
| JP4680158B2 (ja) * | 2006-09-13 | 2011-05-11 | 株式会社日立製作所 | 生体認証装置 |
| JP5065965B2 (ja) * | 2008-03-31 | 2012-11-07 | 富士通株式会社 | 非接触型生体認証装置の生体誘導制御方法及び非接触型生体認証装置 |
| JP5392900B2 (ja) * | 2009-03-03 | 2014-01-22 | 現代自動車株式会社 | 車載機器の操作装置 |
| WO2010106644A1 (ja) * | 2009-03-17 | 2010-09-23 | 富士通株式会社 | データ照合装置およびプログラム |
| JP5436010B2 (ja) | 2009-04-08 | 2014-03-05 | 日立マクセル株式会社 | 操作装置 |
| WO2012011181A1 (ja) * | 2010-07-22 | 2012-01-26 | 富士通株式会社 | 静脈撮像装置 |
| CN103370727A (zh) * | 2011-04-22 | 2013-10-23 | 株式会社日立制作所 | 血管图像摄影装置及生物体认证装置 |
-
2015
- 2015-01-21 KR KR1020150009823A patent/KR20160090047A/ko not_active Ceased
- 2015-08-07 CN CN201510482883.9A patent/CN105807912B/zh active Active
- 2015-08-10 US US14/822,759 patent/US9898652B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080068591A1 (en) * | 2000-09-20 | 2008-03-20 | Hitachi, Ltd. | Personal identification system |
| CN103324274A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 一种人机交互方法和装置 |
| KR20140087866A (ko) * | 2012-12-31 | 2014-07-09 | 현대자동차주식회사 | 정맥 영상을 이용한 제스처 인식 방법 및 인식 장치 |
| CN103442114A (zh) * | 2013-08-16 | 2013-12-11 | 中南大学 | 一种基于动态手势的身份认证方法 |
| CN104462908A (zh) * | 2013-09-12 | 2015-03-25 | 中国电信股份有限公司 | 一种触摸屏手指书写签名的方法和系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170264A (zh) * | 2016-12-07 | 2018-06-15 | 福特全球技术公司 | 车辆用户输入控制系统和方法 |
| CN108170264B (zh) * | 2016-12-07 | 2023-06-23 | 福特全球技术公司 | 车辆用户输入控制系统和方法 |
| CN111052047A (zh) * | 2017-09-29 | 2020-04-21 | 苹果公司 | 用于自动手势和手指识别的静脉扫描设备 |
| CN111052047B (zh) * | 2017-09-29 | 2022-04-19 | 苹果公司 | 用于自动手势和手指识别的静脉扫描设备 |
| CN111587437A (zh) * | 2018-01-11 | 2020-08-25 | 华为技术有限公司 | 使用视频管的活动识别方法 |
| CN111587437B (zh) * | 2018-01-11 | 2023-10-24 | 华为技术有限公司 | 使用视频管的活动识别方法 |
| CN109366497A (zh) * | 2018-11-12 | 2019-02-22 | 奇瑞汽车股份有限公司 | 车载机器人、车载机器人的控制方法、装置及存储介质 |
| CN110008918A (zh) * | 2019-04-11 | 2019-07-12 | 成都合纵连横数字科技有限公司 | 一种摩托车模拟器驾驶员姿态识别方法 |
| CN110008918B (zh) * | 2019-04-11 | 2023-06-06 | 成都合纵连横数字科技有限公司 | 一种摩托车模拟器驾驶员姿态识别方法 |
| CN112298102A (zh) * | 2019-07-31 | 2021-02-02 | 比亚迪股份有限公司 | 车辆控制的方法、装置、存储介质及电子设备和车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160210504A1 (en) | 2016-07-21 |
| US9898652B2 (en) | 2018-02-20 |
| KR20160090047A (ko) | 2016-07-29 |
| CN105807912B (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105807912B (zh) | 车辆、用于控制该车辆的方法和其中的手势识别装置 | |
| KR101537936B1 (ko) | 차량 및 그 제어방법 | |
| US10229654B2 (en) | Vehicle and method for controlling the vehicle | |
| US10732760B2 (en) | Vehicle and method for controlling the vehicle | |
| CN109476315B (zh) | 驾驶员辅助装置及具有该装置的车辆 | |
| US9235269B2 (en) | System and method for manipulating user interface in vehicle using finger valleys | |
| CN106467060B (zh) | 显示装置及包括该显示装置的车辆 | |
| JP5261554B2 (ja) | 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース | |
| JP5029470B2 (ja) | プロンプター式操作装置 | |
| JP2004067031A (ja) | 操作者判別装置およびこれを用いた車載装置 | |
| US20200201320A1 (en) | Mobile terminal and remote operation method | |
| JP5286035B2 (ja) | 車速制御装置 | |
| CN107944333A (zh) | 自动驾驶控制设备、具有该设备的车辆及其控制方法 | |
| KR20160036242A (ko) | 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 | |
| CN104583904B (zh) | 用于输入对机动车部件的控制命令的方法 | |
| US20150003682A1 (en) | Gesture recognition apparatus using vehicle steering wheel, and method for recognizing hand | |
| JP2012248011A (ja) | 画像認識装置 | |
| CN210618064U (zh) | 车辆中控交互设备及车辆 | |
| KR20200037725A (ko) | 기기 제어 장치 | |
| WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
| KR101809916B1 (ko) | 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치 | |
| JP2018195052A (ja) | 画像処理装置、画像処理プログラム及びジェスチャ認識システム | |
| CN114945083B (zh) | 周边图像显示装置 | |
| US11314346B2 (en) | Vehicle control device and vehicle control method | |
| KR100939831B1 (ko) | 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |