CN110898404B - 深度视觉防撞游泳眼镜 - Google Patents

Abstract

本发明提供一种深度视觉防撞游泳眼镜，包括倾角传感器、中空桩头、安装于桩头内的锂电池、两个中空镜框、安装于镜框上边缘的防撞预警灯以及安装于述镜框内的镜片，在两个镜框之间的鼻梁处对称设有两个视角调节支架，视角调节支架之间设有集成在一个模块内的深度摄像头和深度图像处理单元，模块通过转轴连接视角调节支架，转轴为中空轴，模块与锂电池和防撞预警灯之间导线连接；其中深度摄像头配置为采集前方物体的深度图像，倾角传感器配置为采集眼镜与重力方向间的角度差，深度图像处理单元配置为根据深度图像和角度差获取眼镜与前方物体的距离信息并通过防撞预警灯发出告警。如此，可让游泳者避免前方碰撞，特别适用于仰泳、自由泳。

Description

深度视觉防撞游泳眼镜

技术领域

本发明涉及游泳眼镜技术领域，具体涉及一种深度视觉防撞游泳眼镜。

背景技术

游泳的各种泳姿中仰泳和自由泳都是不便于观察前方的泳姿，其中仰泳看天空或者游泳馆的天花板，自由泳则看向侧面，在游泳锻炼时，由于无法观察前方而容易与前方游泳者或者墙壁等障碍物发生碰撞。

因此，本领域需要一种新的游泳眼镜来解决上述问题。

发明内容

为了解决现有技术中的上述问题，即为了解决如何检测游泳者与周围障碍物的距离并提示游泳者，以避免发生碰撞的问题。本发明提供的一种深度视觉防撞游泳眼镜，所述眼镜包括倾角传感器、中空桩头、安装于所述桩头内的锂电池、两个中空镜框、安装于所述镜框上边缘的防撞预警灯以及安装于所述镜框内的镜片，在两个所述镜框之间的鼻梁处对称设有两个视角调节支架，所述视角调节支架之间设有集成在一个模块内的深度摄像头和深度图像处理单元，所述模块通过转轴连接所述视角调节支架，所述转轴为中空轴，所述模块与所述锂电池和所述防撞预警灯之间导线连接；

其中，所述深度摄像头配置为采集前方物体的深度图像，所述倾角传感器配置为采集所述眼镜与重力方向间的角度差，所述深度图像处理单元配置为根据所述深度图像和所述角度差获取所述眼镜与前方物体的距离信息并通过所述防撞预警灯发出告警。

优选地，所述深度摄像头包括红外光发射器、CMOS传感器和处理器，

所述红外光发射器，配置为向前方发射设定波长的红外光脉冲；

所述CMOS传感器，配置为接收被前方物体反射回来的红外光脉冲；

所述处理器，配置为基于发射的红外光脉冲与所述CMOS传感器在各个像素点上接收到的红外光脉冲之间的时间差，获取前方物体的深度图像。

优选地，所述处理器包括逻辑或运算单元、距离计算单元和深度图像获取单元，

所述逻辑或运算单元，配置为将发射的红外光脉冲与所述CMOS传感器在各个像素点上接收到的红外光脉冲进行逻辑或运算后，输出一频率信号；

所述距离计算单元，配置为基于所述频率信号和发射的红外光脉冲的脉冲宽度，获取相应被测点与CMOS传感器像素点之间的距离值；

所述深度图像获取单元，配置为基于所述距离值获取前方物体的深度图像。

优选地，所述距离计算单元进一步配置为按下式所示方法获取被测点与CMOS传感器像素点之间的距离值：

其中，L表示被测点与CMOS传感器像素点之间的距离值，C表示光速，f表示所述频率信号的频率值，t₁表示发射的红外光脉冲的脉冲宽度。

优选地，所述深度图像处理单元进一步配置执行如下操作：

基于所述深度图像构建前方物体在球坐标系下的曲面图像；

基于所述曲面图像获取水面边界曲线；

基于所述眼镜与重力方向之间的角度差获取所述眼镜的上下朝向；

在所述眼镜朝上时，获取所述水面边界曲线以上的所述曲面图像，并将所述水面边界曲线以上的曲面图像与预设的三维球面安全边界进行距离做差比较，基于比较结果并通过所述防撞预警灯发出告警。

在所述眼镜朝下时，获取水面边界曲线以下的所述曲面图像，并将所述水面边界曲线以下的曲面图像与所述三维球面安全边界进行距离做差比较，基于比较结果并通过所述防撞预警灯发出告警。

优选地，“基于所述深度图像构建前方物体在球坐标系下的曲面图像”具体包括：

提取所述深度图像的像素深度信息，构建前方物体在球坐标系下的曲面图像，所述曲面图像的原点为所述深度摄像头光学镜头的中心点，所述曲面图像如下式所示：

其中，A表示前方物体的曲面图像，

表示所述曲面图像上的点距离所述原点的距离r随着θ、

变化的函数，所述θ表示垂直张角，所述

表示水平张角。

优选地，“基于所述曲面图像获取水面边界曲线”具体包括：

按下式所示的方法获取所述水面边界曲线：

其中，W₁表示所述水面边界曲线，

表示当θ,

变化时，计算偏导数

产生的奇异点集合所构成的曲线函数。

优选地，“获取水面边界曲线以上的所述曲面图像”具体包括：

按下式所示方法获取所述水面边界曲线以上的所述曲面图像

其中，W₂表示前方物体在水面边界曲线以上的曲面图像，

表示θ,

在水面边界曲线以上部分变化时深度点构成的曲面函数并满足θ＞θ_surface|_θ∈W1，所述θ_surface表示所述水面边界曲线对应的垂直张角。

优选地，“获取水面边界曲线以下的所述曲面图像”具体包括：

按下式所示方法获取所述水面边界曲线以下的所述曲面图像

其中，W₃表示前方物体在水面边界曲线以下的曲面图像，

表示θ,

在水面边界曲线以下部分变化时深度点构成的曲面函数并满足θ＜θ_surface|_θ∈W1，所述θ_surface表示所述水面边界曲线对应的垂直张角。

优选地，所述倾角传感器安装于所述镜框内或者桩头内。

本发明的优点是：

本发明提供的深度视觉防撞游泳眼镜，可精确检测检测游泳者与前方障碍物的距离并提示游泳者，以避免发生碰撞。

进一步地，与微波测距和超声波测距相比，采用深度摄像头，其适应性更强、体积更小、成本更低，更加适用于游泳眼镜。

附图说明

图1是本发明实施例中的一种深度视觉防撞游泳眼镜的主要结构示意图。

图2是本发明实施例中的一种深度视觉防撞游泳眼镜中电路功能模块示意图。

图3是本发明实施例中的一种深度摄像头的主要结构示意图。

图4是本发明实施例中的一种处理器的主要结构示意图。

图5是本发明实施例中的一种三维球面安全边界及物体表面轮廓的坐标示意图。

具体实施方式

参阅附图1和图2，图1和图2示例性示出了深度视觉防撞游泳眼镜的主要结构，如图1所示，该眼镜包括倾角传感器(图中未示出)、中空桩头1、安装于桩头1内的锂电池2、两个中空镜框3、安装于镜框3上边缘的防撞预警灯4以及安装于镜框3内的镜片8，在两个镜框3之间的鼻梁处对称设有两个视角调节支架5，视角调节支架5之间设有集成在一个模块内的深度摄像头6和深度图像处理单元7，该模块通过转轴连接视角调节支架5，该转轴为中空轴，用于布设导线，该模块与锂电池和防撞预警灯4之间导线连接；其中，深度摄像头6配置为采集前方物体的深度图像，倾角传感器配置为采集眼镜与重力方向间的角度差，深度图像处理单元7配置为根据深度图像和角度差获取眼镜与前方物体的距离信息并通过防撞预警灯4发出告警。

具体地，锂电池2可以为两块，分别安装于两个桩头1内，如此，即可以增加电池容量，也可以是眼镜整体的重量分布更加合理，不影响眼镜佩戴的舒适性。两个镜框3为中空的，里面可布设导线，使导线不暴露在水中，增加眼镜的使用寿命。锂电池2与深度摄像头6、深度图像处理单元7以及两个防撞预警灯4之间导线连接，深度摄像头6与深度图像处理单元7之间信号连接，倾角传感器与深度图像处理单元7之间信号连接，深度图像处理单元7与防撞预警灯4之间信号连接。防撞预警灯4可以为两个，分别对称地安装在两个镜框3的上边缘。防撞预警灯4可以为低亮度LED颗粒，达到警示的同时又不至于刺眼。

深度图像的获取由深度摄像头6实现。深度摄像头6通过发射特定波长的红外光脉冲，照射到前方物体后反射回来，由CMOS传感器测量红外光脉冲在各像素位置的时间差，从而获得深度图像。具体地，深度摄像头6使用红外光学的飞行时间测量TOF(Time ofFlight)原理，将特定波长(优选850nm)的红外光经过脉冲调制后由红外光发射器61发射，所发射红外光脉冲遇到前方障碍物后反射回来，由CMOS传感器62捕捉各个像素点上反射的红外光脉冲，处理器63将发射的红外光脉冲与接收到的红外光脉冲做“逻辑或”运算，然后测量逻辑或运算之后输出频率信号的频率，然后计算出被测点到深度摄像头CMOS像素点的距离。

参阅附图3，图3示例性示出了深度摄像头的主要结构，如图3所示，深度摄像头6包括红外光发射器61、CMOS传感器62和处理器63，红外光发射器61配置为向前方发射设定波长的红外光脉冲；CMOS传感器62配置为接收被前方物体反射回来的红外光脉冲；处理器63配置为基于发射的红外光脉冲与CMOS传感器在各个像素点上接收到的红外光脉冲之间的时间差，获取前方物体的深度图像。

参阅附图4，图4示例性示出了处理器的主要结构，如图4所示，处理器63包括逻辑或运算单元631、距离计算单元632和深度图像获取单元633。逻辑或运算单元631，配置为将发射的红外光脉冲与CMOS传感器在各个像素点上接收到的红外光脉冲进行逻辑或运算后，输出一频率信号；距离计算单元632配置为基于频率信号和发射的红外光脉冲的脉冲宽度，获取相应被测点与CMOS传感器像素点之间的距离值；深度图像获取单元633配置为基于距离值获取前方物体的深度图像。具体地，基于前方所有被测点与CMOS传感器像素点之间的距离值的集合，获取前方物体的深度图像。

进一步地，距离计算单元632可进一步配置为按下式所示方法获取被测点与CMOS传感器像素点之间的距离值：

其中，L表示被测点与CMOS传感器像素点之间的距离值，C表示光速，f表示频率信号的频率值，t₁表示发射的红外光脉冲的脉冲宽度。本实施例中，C的单位为m/s，L的单位为m。

深度图像处理单元7通过其数字通信接口接收深度摄像头6的深度图像，并提取其像素深度信息，构建出三维深度曲面图像，从而通过三维场景重建算法识别前方物体的形状和距离。通过倾角传感器获取眼镜的上下朝向，从而判断游泳者泳姿，进而确定是采用水面以上的曲面图像去与预设三维球面安全边界进行比较，还是采用水面以下的曲面图像去与三维球面安全边界进行比较，并基于比较结果产生预警信息，通过防撞预警灯4警示游泳者。

优选地，深度图像处理单元7进一步配置执行如下操作：

步骤S1：基于深度图像构建前方物体在球坐标系下的曲面图像；具体地，提取深度图像的像素深度信息，构建前方物体在球坐标系下的曲面图像，曲面图像的原点为深度摄像头光学镜头的中心点，该曲面图像如公式(2)所示：

其中，A表示前方物体的曲面图像，

表示曲面图像上的点距离原点的距离r随着θ、

变化的函数，θ表示垂直张角，

表示水平张角。θ、

的张角范围可以是小于或等于80度，优选地，这两个张角均为80度，如此，游泳者前方垂直和水平80度的前方物体表面就表达出来r。

步骤S2：基于曲面图像获取水面边界曲线；具体地，按公式(3)所示的方法获取水面边界曲线：

其中，W₁表示水面边界曲线，

表示当θ,

变化时，计算偏导数

产生的奇异点集合所构成的曲线函数，计算该曲线时，深度图像处理单元对曲面图像A的求θ方向的偏导，记录每一个奇异点，再构成曲线。例如深度图像在θ,

方向分别是M和N个分度，即深度图像总共获得M×N个深度点，在计算水面边界曲线W₁时，沿

方向扫描，扫描步进数记为n，n从1到N，对于每一个确定的n，再沿θ方向扫描，扫描步进数记为m，m从1到M，计算随m变化时深度r的θ偏导，偏导计算可使用标准的一阶差分运算，找出奇异点对应的点m值，记为m_qn，这样一共可以找出N个奇异值点对应的m值：m_q1…m_qn…m_qN，这些点构成水面边界曲线W₁。

步骤S3：基于眼镜与重力方向之间的角度差获取眼镜的上下朝向；具体地，倾角传感器可以安装于镜框内或者桩头内，倾角传感器配置为采集眼镜与重力方向间的角度差。深度图像处理单元7从倾角传感器读出倾角的角度数值，即眼镜与重力方向的角度差，通过角度差来判断眼镜的上下朝向。在游泳者仰泳时眼镜朝上，角度180度左右，例如大于160度，小于200度。此时可以理解为游泳者为仰泳，需要判断水面以上的前方物体的距离信息。在游泳者非仰泳时眼镜朝上，角度差为0度左右，例如大于-60度，小于60度。此时可以理解为游泳者为非仰泳，需要判断水面以下的前方物体的距离信息。倾角传感器可以采用陀螺仪和加速度计组合传感器芯片MPU6050。

步骤S4：在眼镜朝上时，获取水面边界曲线以上的曲面图像，并将水面边界曲线以上的曲面图像与预设的三维球面安全边界进行距离做差比较，基于比较结果并通过防撞预警灯发出告警。具体地，按公式(4)所示方法获取水面边界曲线以上的曲面图像

其中，W₂表示前方物体在水面边界曲线以上的曲面图像，

表示θ,

在水面边界曲线以上部分变化时深度点构成的曲面函数并满足θ＞θ_surface|_θ∈W1，θ_surface表示所述水面边界曲线对应的垂直张角。在计算该曲面图像W₂时，对于M×N点的水面边界曲线W₁，扫描步进数记为n，从1到N，对于每一个n，只要比较m值与曲面图像W₂上对应的奇异点对应m_qn，所有大于m_qn的点都属于曲面图像W₂的点，否则是水面边界曲线W₁以下部分的点，这样就可以获得一个水面上的点阵曲面W₂，曲面上的总点数是

步骤S5：在眼镜朝下时，获取水面边界曲线以下的曲面图像，并将水面边界曲线以下的曲面图像与三维球面安全边界进行距离做差比较，基于比较结果并通过防撞预警灯发出告警。具体地，按公式(5)所示方法获取所述水面边界曲线以下的所述曲面图像

其中，W₃表示前方物体在水面边界曲线以下的曲面图像，

表示θ,

在水面边界曲线以下部分变化时深度点构成的曲面函数并满足θ＜θ_surface|_θ∈W1，θ_surface表示水面边界曲线对应的垂直张角。

在步骤S4和S5中，在获取水面边界曲线以上或以下的曲面图像后，再与三维球面安全边界进行距离做差比较即可判断游泳者与前方物体是否在安全距离内，若不在安全的距离范围内，则通过防撞预警灯发出告警，以提醒游泳者。

下面以非仰泳为例进行详细说明。

参阅附图5，图5示例性示出了三维球面安全边界及物体表面轮廓的坐标表示，如图5所示，眼镜处于游泳池水面以下深度为h处，CMOS传感器62的CMOS平面位于深度摄像头6光学镜头的后面，深度摄像头6的红外光发射器61不断向前方发射红外光脉冲，由于测量曲面被游泳池水面分割，而发射的红外光光脉冲会在水面产生折射而影响深度图像的像素深度信息，考虑人游泳的场景，将测量曲面的评估限定在水面之下，即分析的前方物体轮廓只考虑水面下的部分，这样需要计算出水面与前方物体轮廓曲面相交的曲线，如图5所示，曲线上点的垂直张角为β，这一张角的计算可以由物体轮廓曲面的奇异点获得，奇异点即轮廓曲面沿垂直方向不光滑的点，这种不光滑是由于红外光光脉冲穿越水面折射会使得测量曲面连续性发生变化，所以对物体轮廓曲面求θ方向的一阶偏导数，即可获得水面边界曲线W₁。进而得到在水面以下的前方物体的轮廓W₃。游泳者碰撞报警信号的产生通过计算属于物体水下曲面图像W₃的各点的距离r安全范围获得，各个点的距离r和设定的三维球面安全边界的比较。报警级别按照测量物体曲面侵入安全球面的情况设置。优选地，安全球面的半径可设置三级，R黄、R橙和R红，分别对应1米、5米和10米，防撞预警灯4包括红光LED、橙光LED以及黄光LED，在前方物体离游泳者小于等于1米时，红光LED闪烁。在前方物体离游泳者小于等于5米，大于1米时，橙光LED闪烁；在前方物体离游泳者小于等于10米，大于5米时，黄光LED闪烁。

基于本发明提供的深度视觉防撞游泳眼镜，在使用过程中，游泳者将深度摄像头6调整到朝向头顶方向合适的角度，接通电源后，开始游泳，深度摄像头6采集的含有距离信息的深度图像送到深度图像处理单元7计算，当检测到前方有碰撞危险时，控制防撞预警灯4闪烁，并可根据距离情况分级别警示。本发明能够精确测量前方物体与游泳者的距离，以避免发生碰撞，尤其适用于仰泳、自由泳。

本发明采用深度摄像头6用于游泳眼镜的距离测量，对比微波技术和超声波技术实现的测距方法，深度摄像头6还具有环境适应性强、体积小、成本低的优点。

本发明中的处理器63将发射的红外光脉冲与CMOS传感器62在各个像素点上接收到的红外光脉冲进行“逻辑或”运算，如此巧妙地将飞行时间的测量转变为了逻辑信号的频率测量，这一转换使得后续信号处理由两路信号变为了一路，提高了测量的效率，对于多点深度信息的测量，提升效率显著。

以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (9)

1.一种深度视觉防撞游泳眼镜，其特征在于，所述眼镜包括倾角传感器、中空桩头、安装于所述桩头内的锂电池、两个中空镜框、安装于所述镜框上边缘的防撞预警灯以及安装于所述镜框内的镜片，在两个所述镜框之间的鼻梁处对称设有两个视角调节支架，所述视角调节支架之间设有集成在一个模块内的深度摄像头和深度图像处理单元，所述模块通过转轴连接所述视角调节支架，所述转轴为中空轴，所述模块与所述锂电池和所述防撞预警灯之间导线连接；

其中，所述深度摄像头配置为采集前方物体的深度图像，所述倾角传感器配置为采集所述眼镜与重力方向间的角度差，所述深度图像处理单元配置为根据所述深度图像和所述角度差获取所述眼镜与前方物体的距离信息并通过所述防撞预警灯发出告警；

所述深度图像处理单元进一步配置执行如下操作：

基于所述深度图像构建前方物体在球坐标系下的曲面图像；

基于所述曲面图像获取水面边界曲线；

基于所述眼镜与重力方向之间的角度差获取所述眼镜的上下朝向；

在所述眼镜朝上时，获取所述水面边界曲线以上的所述曲面图像，并将所述水面边界曲线以上的曲面图像与预设的三维球面安全边界进行距离做差比较，基于比较结果并通过所述防撞预警灯发出告警；

在所述眼镜朝下时，获取水面边界曲线以下的所述曲面图像，并将所述水面边界曲线以下的曲面图像与所述三维球面安全边界进行距离做差比较，基于比较结果并通过所述防撞预警灯发出告警。

2.如权利要求1所述的深度视觉防撞游泳眼镜，其特征在于，所述深度摄像头包括红外光发射器、CMOS传感器和处理器，

所述红外光发射器，配置为向前方发射设定波长的红外光脉冲；

所述CMOS传感器，配置为接收被前方物体反射回来的红外光脉冲；

所述处理器，配置为基于发射的红外光脉冲与所述CMOS传感器在各个像素点上接收到的红外光脉冲之间的时间差，获取前方物体的深度图像。

3.如权利要求2所述的深度视觉防撞游泳眼镜，其特征在于，所述处理器包括逻辑或运算单元、距离计算单元和深度图像获取单元，

所述逻辑或运算单元，配置为将发射的红外光脉冲与所述CMOS传感器在各个像素点上接收到的红外光脉冲进行逻辑或运算后，输出一频率信号；

所述距离计算单元，配置为基于所述频率信号和发射的红外光脉冲的脉冲宽度，获取相应被测点与CMOS传感器像素点之间的距离值；

所述深度图像获取单元，配置为基于所述距离值获取前方物体的深度图像。

4.如权利要求3所述的深度视觉防撞游泳眼镜，其特征在于，所述距离计算单元进一步配置为按下式所示方法获取被测点与CMOS传感器像素点之间的距离值：

其中，L表示被测点与CMOS传感器像素点之间的距离值，C表示光速，f表示所述频率信号的频率值，t₁表示发射的红外光脉冲的脉冲宽度。

5.如权利要求1所述的深度视觉防撞游泳眼镜，其特征在于，“基于所述深度图像构建前方物体在球坐标系下的曲面图像”具体包括：

提取所述深度图像的像素深度信息，构建前方物体在球坐标系下的曲面图像，所述曲面图像的原点为所述深度摄像头光学镜头的中心点，所述曲面图像如下式所示：

其中，A表示前方物体的曲面图像，

表示所述曲面图像上的点距离所述原点的距离r随着θ、

变化的函数，所述θ表示垂直张角，所述

表示水平张角。

6.如权利要求5所述的深度视觉防撞游泳眼镜，其特征在于，“基于所述曲面图像获取水面边界曲线”具体包括：

按下式所示的方法获取所述水面边界曲线：

其中，W₁表示所述水面边界曲线，

表示当θ,

变化时，计算偏导数

产生的奇异点集合所构成的曲线函数。

7.如权利要求6所述的深度视觉防撞游泳眼镜，其特征在于，“获取水面边界曲线以上的所述曲面图像”具体包括：

按下式所示方法获取所述水面边界曲线以上的所述曲面图像

其中，W₂表示前方物体在水面边界曲线以上的曲面图像，

表示θ,

在水面边界曲线以上部分变化时深度点构成的曲面函数并满足θ＞θ_surface|_θ∈W1，所述θ_surface表示所述水面边界曲线对应的垂直张角。

8.如权利要求6所述的深度视觉防撞游泳眼镜，其特征在于，“获取水面边界曲线以下的所述曲面图像”具体包括：

按下式所示方法获取所述水面边界曲线以下的所述曲面图像

其中，W₃表示前方物体在水面边界曲线以下的曲面图像，

表示θ,

在水面边界曲线以下部分变化时深度点构成的曲面函数并满足θ＜θ_surface|_θ∈W1，所述θ_surface表示所述水面边界曲线对应的垂直张角。

9.如权利要求1所述的深度视觉防撞游泳眼镜，其特征在于，所述倾角传感器安装于所述镜框内或者桩头内。

Images