CN115810203B - 一种障碍物躲避识别方法、系统、电子设备及存储介质 - Google Patents
一种障碍物躲避识别方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115810203B CN115810203B CN202211634663.XA CN202211634663A CN115810203B CN 115810203 B CN115810203 B CN 115810203B CN 202211634663 A CN202211634663 A CN 202211634663A CN 115810203 B CN115810203 B CN 115810203B
- Authority
- CN
- China
- Prior art keywords
- image
- image set
- identified
- obstacle
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种障碍物躲避识别方法、系统、电子设备及存储介质,其中,方法包括:对输入的待识别视频进行分帧处理,得到待识别图像集合;通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合,所述关键点包括人体鼻尖、肩关节点和髋关节点;获取障碍物的出现位置和出现时间;根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。本发明实施例能够减少需要识别的关键点,从而提高躲避识别的处理效率,可广泛应用于人工智能技术领域。
Description
技术领域
本发明涉及人工智能技术领域,尤其是一种障碍物躲避识别方法、系统、电子设备及存储介质。
背景技术
随着人工智能技术的快速发展,人机交互游戏的人机界面也从用键盘来控制游戏人物的移动,用鼠标来控制瞄准和射击动作等方式逐渐发展到通过麦克风控制游戏人物移动或发动技能,通过摄像头或传感器获取用户动作从而控制任人物移动等等。在基于摄像头的人机互动躲避障碍物游戏中,需要判断用户是否成功躲避了障碍物。但是相关技术中的躲避识别方法,需要识别的人体骨骼关键点多,计算量大,计算复杂,步骤繁多,计算效率低。综合上述,相关技术中存在的技术问题亟需得到解决。
发明内容
有鉴于此,本发明实施例提供一种障碍物躲避识别方法、系统、电子设备及存储介质,以实现提高躲避识别的处理效率。
一方面,本发明提供了一种障碍物躲避识别方法,所述方法包括:
对输入的待识别视频进行分帧处理,得到待识别图像集合;
通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合,所述关键点包括人体鼻尖、肩关节点和髋关节点;
获取障碍物的出现位置和出现时间;
根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。
可选地,所述对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
对输入的待识别视频进行视频划分处理,得到若干个视频段;
根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
可选地,在所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合之前,包括对所述人体区域标记模型进行训练,步骤包括:
获取人体图像训练集;
对所述人体图像训练集中的每一张图像进行标记框选处理,得到标记图像集;
将所述标记图像集输入到所述人体区域标记模型,得到标记结果;
根据所述标记结果和所述标记图像集的标记确定训练的损失值;
根据所述损失值对所述人体区域标记模型的参数进行更新。
可选地,所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合,包括:
将所述待识别图像集合中的每一帧图像输入所述人体区域标记模型,得到图像标记框集合;
根据所述图像标记框集合对所述待识别图像集合进行切割处理,得到切割图像集合;
对所述切割图像集合进行热力图生成处理,得到热力图像集合;
将所述切割图像集合和所述热力图像集合确定为预处理图像集合。
可选地,在所述将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合之前,包括对所述关键点识别模型进行训练,步骤包括:
获取识别图像训练集,所述识别图像训练集包括切割训练图像和热力训练图像;
将所述识别图像训练集输入到所述关键点识别模型,对所述识别图像训练集中的人体鼻尖、肩关节点和髋关节点进行识别,得到关键点识别结果;
根据所述关键点识别结果和识别图像训练集的标签确定训练的损失值;
根据所述损失值对所述关键点识别模型的参数进行更新。
可选地,所述根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果,包括:
从所述标注图像集合中选取人体处于中立位置的图像作为参考图像;
根据所述参考图像的识别结果获取标记关键点,根据所述标记关键点确定参考垂直线;
根据所述障碍物的出现时间从所述标注图像集合中获取得到待判断图像;
根据所述障碍物的出现位置、所述参考垂直线和待判断图像的关键点识别结果进行躲避判断,得到障碍物躲避识别结果。
另一方面,本发明实施例还提供了一种障碍物躲避识别系统,包括:第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合;
第二模块,用于通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
第三模块,用于将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合;
第四模块,用于获取障碍物的出现位置和出现时间;
第五模块,用于根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。
可选地,所述第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
第一单元,用于对输入的待识别视频进行视频划分处理,得到若干个视频段;
第二单元,用于根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
另一方面,本发明实施例还公开了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
另一方面,本发明实施例还公开了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
另一方面,本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:对输入的待识别视频进行分帧处理,得到待识别图像集合;通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合,所述关键点包括人体鼻尖、肩关节点和髋关节点;获取障碍物的出现位置和出现时间;根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。本发明实施例通过人体区域标记模型和关键点识别模型进行躲避识别处理,减少需要识别的关键点,从而提高躲避识别的处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种障碍物躲避识别方法的流程图;
图2是本申请实施例提供的一种中立位置的关键点位识别示意图;
图3是本申请实施例提供的一种朝右侧躲避的关键点位识别示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在相关技术中,对于基于摄像头的人机互动躲避障碍物游戏,需要识别人体多个骨骼关节点,例如包括头部、颈部、尾椎、髋部等不同关节的坐标,并预设标准人体骨骼关键点模型进行识别,从而判断用户是否成功躲避了障碍物,但是该方法需要识别的人体骨骼关键点多,计算量大,计算复杂,步骤繁多,计算效率低。
有鉴于此,参照图1,本发明实施例提供一种障碍物躲避识别方法,包括:
S101、对输入的待识别视频进行分帧处理,得到待识别图像集合;
S102、通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
S103、将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合,所述关键点包括人体鼻尖、肩关节点和髋关节点;
S104、获取障碍物的出现位置和出现时间;
S105、根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。
在本发明实施例中,通过对输入的待识别视频进行分帧处理,得到待识别图像集合,再对待识别图像集合进行逐帧分析,能够得出实时的障碍物躲避识别结果。本发明实施例通过预先训练的人体区域标记模型对待识别图像集合进行预处理,得到预处理图像集合,该预处理主要通过人体区域标记模型对背景进行过滤,标记并裁剪出人体区域,以减少背景噪音的影响;再根据裁剪出的人体区域图像生成颜色热力图,将人体区域图像和颜色热力图作为预处理图像集合输入关键点识别模型进行关键点识别,关键点包括人体鼻尖、肩关节点和髋关节点,识别标注得到标注图像集合。接着获取障碍物的出现位置和出现时间,根据障碍物的出现位置和出现时间对标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。本发明实施例通过人体区域标记模型和关键点识别模型对少量的关键点进行识别,从而减少识别处理的时间,提高躲避识别效率。
进一步作为优选的实施方式,上述步骤S101中,所述对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
对输入的待识别视频进行视频划分处理,得到若干个视频段;
根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
在本发明实施例中,基于摄像头的人机互动躲避障碍物游戏中,预先在智能终端设备上设置用于获取用户肢体动作的摄像头,该智能终端设备可包括手提电脑、智能电视、平板电脑等可进行人机交互的智能设备,在该智能终端设备上设置摄像头获取用户肢体动作,根据人机互动躲避障碍物游戏的开始时间进行摄像头得到待识别视频。接着对输入的待识别视频进行视频划分,可根据时间段或视频长度进行划分。在本发明实施例中根据每一分钟进行一次视频划分,划分得到多个视频段,再根据预设的帧率对每个视频段进行提取处理,该预设帧率可根据实际情况进行自主设计,提取每帧图像得到待识别图像集合。
进一步作为优选的实施方式,在所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合之前,包括对所述人体区域标记模型进行训练,步骤包括:
获取人体图像训练集;
对所述人体图像训练集中的每一张图像进行标记框选处理,得到标记图像集;
将所述标记图像集输入到所述人体区域标记模型,得到标记结果;
根据所述标记结果和所述标记图像集的标记确定训练的损失值;
根据所述损失值对所述人体区域标记模型的参数进行更新。
在本发明实施例中,通过预先训练的人体区域标记模型对待识别图像集合进行预处理,在此之前,需要对人体区域标记模型进行训练。本发明实施例通过获取人体图像训练集对人体区域标记模型进行训练,该人体图像训练集包括大量的人体图像,人体区域标记模型可以使用卷积神经网络构建。本发明实施例通过对大量人体图像进行手动标记框选对矩形坐标点,将所述标记图像集输入到所述人体区域标记模型,输出人体标记框四个顶点坐标,得到标记结果。将标记结果和预先对标记图像集进行标记的矩形坐标点确定训练的损失值,根据损失值对人体区域标记模型的参数进行更新,当损失值即训练误差小于预设值时对人体区域标记模型停止训练,得到训练好的人体区域标记模型。本发明实施例通过人体区域标记模型对图像进行人体标记框选,从而减少图像的背景噪音,提高了障碍物躲避识别的准确度。
进一步作为优选的实施方式,所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合,包括:
将所述待识别图像集合中的每一帧图像输入所述人体区域标记模型,得到图像标记框集合;
根据所述图像标记框集合对所述待识别图像集合进行切割处理,得到切割图像集合;
对所述切割图像集合进行热力图生成处理,得到热力图像集合;
将所述切割图像集合和所述热力图像集合确定为预处理图像集合。
在本发明实施例中,通过预先训练的人体区域标记模型对待识别图像集合进行预处理,首先将待识别图像集合中的每一帧图像输入人体区域标记模型,得到标记好的图像标记框集合,再根据图像标记框集合对待识别图像集合进行切割处理,从而去除多余的背景图像,得到切割图像集合,该切割图像集合为只包含人体区域的图像集合。接着对切割图像集合中的每一张切割图像进行热力图生成处理,得到热力图像集合。对切割图像生成热力图可采用热力生成公式进行处理,热力生成公式如下所示:
式中,Yxy表示图像坐标点(x,y)处的滤波系数值,px为图像水平方向的中点值,py为图像垂直方向的中点值,表示标准差。
通过热力生成公式计算得出的值叠加到原图像坐标(x,y)的原始像素值(Rxy,Gxy,Bxy),得到新的图像素值(YRxy,YGxy,YBxy),即为热力图像。最后将将切割图像集合和热力图像集合确定为预处理图像集合,通过将预处理图像集合输入到关键点识别模型进行训练,从而提高关键点识别模型的识别精度,提高对障碍物躲避识别的准确性。
进一步作为优选的实施方式,在所述将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合之前,包括对所述关键点识别模型进行训练,步骤包括:
获取识别图像训练集,所述识别图像训练集包括切割训练图像和热力训练图像;
将所述识别图像训练集输入到所述关键点识别模型,对所述识别图像训练集中的人体鼻尖、肩关节点和髋关节点进行识别,得到关键点识别结果;
根据所述关键点识别结果和识别图像训练集的标签确定训练的损失值;
根据所述损失值对所述关键点识别模型的参数进行更新。
在本发明实施例中,关键点识别模型可采用卷积神经网络进行搭建,并通过识别图像训练集对关键点识别模型进行训练,该识别图像训练集包括大量的切割训练图像和热力训练图像。本发明实施例同样采用有监督学习方法进行关键点识别模型的训练,通过对切割训练图像进行关键点标记,将识别图像训练集输入到关键点识别模型,通过关键点识别模型对识别图像训练集中的人体鼻尖、肩关节点和髋关节点进行识别,输出得到关键点识别结果。再将模型输出的关键点识别结果和预先标记好的识别图像训练集的标签确定训练的损失值,根据损失值对关键点识别模型的参数进行更新。本发明实施例中的关键点识别模型对人体鼻尖、肩关节点和髋关节点进行识别,其中肩关节点包括左肩关节点和右肩关节点,髋关节点包括左髋关节点和右髋关节点,本发明实施例通过识别少量的关键点即可进行障碍物躲避识别,减少了复杂的计算过程,提高了识别效率。
进一步作为优选的实施方式,所述根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果,包括:
从所述标注图像集合中选取人体处于中立位置的图像作为参考图像;
根据所述参考图像的识别结果获取标记关键点,根据所述标记关键点确定参考垂直线;
根据所述障碍物的出现时间从所述标注图像集合中获取得到待判断图像;
根据所述障碍物的出现位置、所述参考垂直线和待判断图像的关键点识别结果进行躲避判断,得到障碍物躲避识别结果。
在本发明实施例中,从标注图像集合中选取人体处于中立位置的图像作为参考图像,在基于摄像头的人机互动躲避障碍物游戏中,可以通过在智能终端设备的显示界面上进行提示,提醒用户站直处于中立位置,然后通过摄像头获取人体处于中立位置的图像作为参考图像。参照图2,根据参考图像的识别结果获取标记关键点,包括鼻尖A、左肩关节点B、右肩关节点C、左髋关节点D、右髋关节点E,并根据标记关键点确定参考垂直线。本发明实施例在参考图像中经过D点和E点的中点作一条垂直线记为参考垂直线L,再根据障碍物的出现时间从标注图像集合中获取得到待判断图像,标注图像集合中的每张标注图像都带有时间标签,从而能跟根据障碍物的出现时间获得待判断图像进行障碍物躲避识别,减少计算的复杂度。最后根据障碍物的出现位置、参考垂直线和待判断图像的关键点识别结果进行躲避判断,得到障碍物躲避识别结果。
在一种可行的实施例中,预先在智能终端设备上设置用于获取用户肢体动作的摄像头,并预先训练好人体区域标记模型和识别人体鼻尖、肩关节点、髋关节点的关键点识别模型。此处所指的智能终端设备可以是:带有摄像头的手机、iPad、电脑、电视、智能交互大屏等。智能终端设备上的摄像头用于监测用户信息,当获取到用户髋关节以上的肢体图像时,将此用户认定为操作用户;当同时获取到多个用户的肢体图像时(即多人同框时),以所占面积最大的用户为操作用户。当操作用户确定启动游戏后,首先通过游戏界面提示,提醒用户站直处于中立位。通过预先训练的人体区域标记模型和关键点识别模型提取操作用户髋关节以上的图像,识别并标注关键点,作为参考图像。参照图3,当障碍物出现在屏幕左侧时,假设操作用户朝右侧进行躲避,其中VDAC为A点到C点在垂直方向投影的水平距离,VDAB(未图示)为A点到B点在垂直方向投影的水平距离。则当B点移动到参考垂直线L右侧,且VDAC/VDAB小于阈值时,可判断用户向右躲避。同样,当C点移动到参考垂直线L左侧,且VDAB/VDAC小于阈值时,可判断用户向左躲避;结合并对比游戏中障碍物出现位置及时间段,判断用户是否成功完成了一次躲避操作。其中,本发明实施例中的阈值可以设置为0.5,根据实际情况可进行调整。本发明实施例可应用于人机交互的实时游戏中,在附带有摄像头的智能电视机上,人机交互游戏为智能电视中的其中一款应用。该游戏规则是要用户腿部不动,通过左右移动肩膀躲避自由落体的鸡蛋。在开启游戏以后,摄像头实时识别游戏用户。当游戏界面中出现自由落体中的鸡蛋,而在鸡蛋掉在游戏界面高度的1/2之前,如果识别到游戏用户已依据本发明实施例的一种障碍物躲避识别方法识别得到结果为完成一次躲避动作,则成功躲避了鸡蛋,如果用户依据本发明实施例的一种障碍物躲避识别方法识别得到结果为未进行躲避动作,则没有成功躲避鸡蛋,鸡蛋会砸碎,游戏失败。
另一方面,本发明实施例还提供了一种障碍物躲避识别系统,包括:第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合;
第二模块,用于通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
第三模块,用于将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合;
第四模块,用于获取障碍物的出现位置和出现时间;
第五模块,用于根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果。
进一步作为优选的实施方式,所述第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
第一单元,用于对输入的待识别视频进行视频划分处理,得到若干个视频段;
第二单元,用于根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
可以理解的是,上述障碍物躲避识别方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述障碍物躲避识别方法实施例相同,并且达到的有益效果与上述障碍物躲避识别方法实施例所达到的有益效果也相同。
与图1的方法相对应,本发明实施例还提供了一种电子设备,包括处理器以及存储器;所述存储器用于存储程序;所述处理器执行所述程序实现如前面所述的方法。
与图1的方法相对应,本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
综上所述,本发明实施例具有以下优点:本发明实施例通过人体区域标记模型和关键点识别模型仅识别鼻尖、肩关节、髋关节三个部位关节点,进一步识别判断两点之间的垂直距离及其比值,即可判断用户是否能成功躲过障碍物,减少了躲避识别的复杂度,提高了躲避识别的处理效率。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种障碍物躲避识别方法,其特征在于,所述方法包括:
对输入的待识别视频进行分帧处理,得到待识别图像集合;
通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合,所述关键点包括人体鼻尖、肩关节点和髋关节点;
获取障碍物的出现位置和出现时间;
根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果;
所述根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果,包括:
从所述标注图像集合中选取人体处于中立位置的图像作为参考图像;
根据所述参考图像的识别结果获取标记关键点,根据所述标记关键点确定参考垂直线;
根据所述障碍物的出现时间从所述标注图像集合中获取得到待判断图像;
根据所述障碍物的出现位置、所述参考垂直线和待判断图像的关键点识别结果进行躲避判断,得到障碍物躲避识别结果。
2.根据权利要求1所述的方法,其特征在于,所述对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
对输入的待识别视频进行视频划分处理,得到若干个视频段;
根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
3.根据权利要求1所述的方法,其特征在于,在所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合之前,包括对所述人体区域标记模型进行训练,步骤包括:
获取人体图像训练集;
对所述人体图像训练集中的每一张图像进行标记框选处理,得到标记图像集;
将所述标记图像集输入到所述人体区域标记模型,得到标记结果;
根据所述标记结果和所述标记图像集的标记确定训练的损失值;
根据所述损失值对所述人体区域标记模型的参数进行更新。
4.根据权利要求1所述的方法,其特征在于,所述通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合,包括:
将所述待识别图像集合中的每一帧图像输入所述人体区域标记模型,得到图像标记框集合;
根据所述图像标记框集合对所述待识别图像集合进行切割处理,得到切割图像集合;
对所述切割图像集合进行热力图生成处理,得到热力图像集合;
所述对所述切割图像集合进行热力图生成处理,得到热力图像集合,包括:
根据热力生成公式对所述切割图像集合中每一张切割图像进行计算,得到滤波系数值集合;
将所述滤波系数值集合与所述切割图像集合中对应的切割图像的像素值进行叠加处理,得到热力图像集合;
将所述切割图像集合和所述热力图像集合确定为预处理图像集合。
5.根据权利要求1所述的方法,其特征在于,在所述将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合之前,包括对所述关键点识别模型进行训练,步骤包括:
获取识别图像训练集,所述识别图像训练集包括切割训练图像和热力训练图像;
将所述识别图像训练集输入到所述关键点识别模型,对所述识别图像训练集中的人体鼻尖、肩关节点和髋关节点进行识别,得到关键点识别结果;
根据所述关键点识别结果和识别图像训练集的标签确定训练的损失值;
根据所述损失值对所述关键点识别模型的参数进行更新。
6.一种障碍物躲避识别系统,其特征在于,所述系统包括:
第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合;
第二模块,用于通过预先训练的人体区域标记模型对所述待识别图像集合进行预处理,得到预处理图像集合;
第三模块,用于将所述预处理图像集合输入预先训练的关键点识别模型进行关键点标注处理,得到标注图像集合;
第四模块,用于获取障碍物的出现位置和出现时间;
第五模块,用于根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果;
所述第五模块,用于根据所述障碍物的出现位置和出现时间对所述标注图像集合进行躲避识别处理,得到障碍物躲避识别结果,包括:
从所述标注图像集合中选取人体处于中立位置的图像作为参考图像;
根据所述参考图像的识别结果获取标记关键点,根据所述标记关键点确定参考垂直线;
根据所述障碍物的出现时间从所述标注图像集合中获取得到待判断图像;
根据所述障碍物的出现位置、所述参考垂直线和待判断图像的关键点识别结果进行躲避判断,得到障碍物躲避识别结果。
7.根据权利要求6所述的系统,其特征在于,所述第一模块,用于对输入的待识别视频进行分帧处理,得到待识别图像集合,包括:
第一单元,用于对输入的待识别视频进行视频划分处理,得到若干个视频段;
第二单元,用于根据预设帧率对每个视频段进行提取处理,得到待识别图像集合。
8.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;
所述存储器用于存储程序;
所述处理器执行所述程序实现权利要求1至5中任一项所述的方法。
9.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211634663.XA CN115810203B (zh) | 2022-12-19 | 2022-12-19 | 一种障碍物躲避识别方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211634663.XA CN115810203B (zh) | 2022-12-19 | 2022-12-19 | 一种障碍物躲避识别方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115810203A CN115810203A (zh) | 2023-03-17 |
| CN115810203B true CN115810203B (zh) | 2024-05-10 |
Family
ID=85486148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211634663.XA Active CN115810203B (zh) | 2022-12-19 | 2022-12-19 | 一种障碍物躲避识别方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115810203B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598237A (zh) * | 2016-11-30 | 2017-04-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于虚拟现实的游戏交互方法及装置 |
| CN107894773A (zh) * | 2017-12-15 | 2018-04-10 | 广东工业大学 | 一种移动机器人的导航方法、系统及相关装置 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
| KR102151494B1 (ko) * | 2019-11-12 | 2020-09-03 | 가천대학교 산학협력단 | 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법 |
| CN112052786A (zh) * | 2020-09-03 | 2020-12-08 | 上海工程技术大学 | 一种基于网格划分骨骼的行为预测方法 |
| CN112473121A (zh) * | 2020-11-13 | 2021-03-12 | 海信视像科技股份有限公司 | 一种显示设备及基于肢体识别的躲避球显示方法 |
| CN112990057A (zh) * | 2021-03-26 | 2021-06-18 | 北京易华录信息技术股份有限公司 | 一种人体姿态识别方法、装置及电子设备 |
| KR20210110064A (ko) * | 2020-02-28 | 2021-09-07 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN114582030A (zh) * | 2022-05-06 | 2022-06-03 | 湖北工业大学 | 一种基于服务机器人的行为识别方法 |
| CN115213903A (zh) * | 2022-07-19 | 2022-10-21 | 深圳航天科技创新研究院 | 一种基于障碍规避的移动机器人路径规划方法及装置 |
| CN115424236A (zh) * | 2022-08-15 | 2022-12-02 | 南京航空航天大学 | 一种融合行人意图和社会力模型的行人过街轨迹预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11449061B2 (en) * | 2016-02-29 | 2022-09-20 | AI Incorporated | Obstacle recognition method for autonomous robots |
| US10843077B2 (en) * | 2018-06-08 | 2020-11-24 | Brian Deller | System and method for creation, presentation and interaction within multiple reality and virtual reality environments |
-
2022
- 2022-12-19 CN CN202211634663.XA patent/CN115810203B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598237A (zh) * | 2016-11-30 | 2017-04-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于虚拟现实的游戏交互方法及装置 |
| CN107894773A (zh) * | 2017-12-15 | 2018-04-10 | 广东工业大学 | 一种移动机器人的导航方法、系统及相关装置 |
| CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
| KR102151494B1 (ko) * | 2019-11-12 | 2020-09-03 | 가천대학교 산학협력단 | 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법 |
| KR20210110064A (ko) * | 2020-02-28 | 2021-09-07 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN112052786A (zh) * | 2020-09-03 | 2020-12-08 | 上海工程技术大学 | 一种基于网格划分骨骼的行为预测方法 |
| CN112473121A (zh) * | 2020-11-13 | 2021-03-12 | 海信视像科技股份有限公司 | 一种显示设备及基于肢体识别的躲避球显示方法 |
| CN112990057A (zh) * | 2021-03-26 | 2021-06-18 | 北京易华录信息技术股份有限公司 | 一种人体姿态识别方法、装置及电子设备 |
| CN114582030A (zh) * | 2022-05-06 | 2022-06-03 | 湖北工业大学 | 一种基于服务机器人的行为识别方法 |
| CN115213903A (zh) * | 2022-07-19 | 2022-10-21 | 深圳航天科技创新研究院 | 一种基于障碍规避的移动机器人路径规划方法及装置 |
| CN115424236A (zh) * | 2022-08-15 | 2022-12-02 | 南京航空航天大学 | 一种融合行人意图和社会力模型的行人过街轨迹预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Path Planning and Evaluation for Obstacle Avoidance of Manipulator Based on Improved Artificial Potential Field and Danger Field;Zhao, Jiangbo 等;《PROCEEDINGS OF THE 33RD CHINESE CONTROL AND DECISION CONFERENCE (CCDC 2021)》;20211231;全文 * |
| 人机合作多模式兵乓球机器人竞赛系统;仇婷;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20150815(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115810203A (zh) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12039454B2 (en) | Microexpression-based image recognition method and apparatus, and related device | |
| US12154381B2 (en) | Method, device, electronic equipment and storage medium for positioning macular center in fundus images | |
| CN107168527B (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
| CN104077579B (zh) | 基于专家系统的人脸表情图像识别方法 | |
| CN111222486B (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN113128368B (zh) | 一种人物交互关系的检测方法、装置及系统 | |
| CN110531853B (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
| WO2020125499A9 (zh) | 一种操作提示方法及眼镜 | |
| CN113591562B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| CN108304819B (zh) | 姿态识别系统及方法、存储介质 | |
| CN110796018A (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN109635752A (zh) | 人脸关键点的定位方法、人脸图像处理方法和相关装置 | |
| CN111126280A (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| CN112101315A (zh) | 一种基于深度学习的运动评判指导方法和系统 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| US20240395067A1 (en) | Method and system for identifying human interactive behavior based on multi-view comparison | |
| CN116051631A (zh) | 光斑标注方法及系统 | |
| CN111618856B (zh) | 基于视觉兴奋点的机器人控制方法、系统及机器人 | |
| CN113870639A (zh) | 一种基于虚拟现实的训练评估方法及系统 | |
| CN115294623B (zh) | 一种人体全身动作捕捉方法、装置、存储介质及终端 | |
| CN115810203B (zh) | 一种障碍物躲避识别方法、系统、电子设备及存储介质 | |
| CN113505729B (zh) | 基于人体面部运动单元的面试作弊检测方法及系统 | |
| Patel et al. | Gesture recognition using mediapipe for online realtime gameplay |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |