CN102813574B - 基于眼动跟踪的视觉假体图像采集装置 - Google Patents

Abstract

本发明公开了一种视觉假体的图像采集装置，包括眼动信号采集及处理模块、摄像头和转动云台。眼动信号采集及处理模块采集眼球的眼动信号并根据该信号发出控制信号以控制转动云台的转动，使固定在转动云台上的摄像头转向该眼球的转动方向并采集该方向的图像。其中，眼动信号采集及处理模块包括眼动摄像头以拍摄该眼球的瞳孔的移动的视频，还包括眼动视频接收及处理单元以接收该视频并通过该视频获取眼球的转动方向。本发明通过实时获取眼球转动的方向进而控制转动云台带动摄像头转向该方向并采集该方向的图像，很好地实现对人眼视觉及眼动功能的仿生，使使用者获得更加接近正常视觉的假体视觉体验。

Description

基于眼动跟踪的视觉假体图像采集装置

技术领域

本发明涉及生物医学工程领域，尤其涉及一种基于眼动跟踪的用于视觉假体的图像采集装置。

背景技术

视觉假体是一种植入式医用电子设备，能够在一定程度上恢复重度失明患者的视觉。它利用大多数失明患者往往只有视觉通路的一部分发生病变，而其余部分神经组织的结构和功能尚完好的特点，对视觉通路的完好部位施加特定的人工电刺激，来兴奋神经细胞，模拟自然光刺激的效果，让使用者产生视觉感受。视觉假体系统通常包括位于使用者体外图像采集装置(通常为微型摄像头)、图像处理装置、电刺激编码装置和植入使用者体内(通常为视觉神经系统)的微电极阵列，通过将图像采集装置获取的外界图像信息进行处理、编码，并通过微电极阵列对视觉神经系统进行刺激，从而在使用者的视皮层产生视觉，让使用者复明。

一般地，正常人的单眼视觉的视野范围的视角大约为上60°、下75°、外95°及内60°，即135°×155°(视野范围的高×视野范围的宽)，而双眼视觉的视野范围的视角更是能达到135°×190°。另外，正常人的视觉焦点在黄斑区对应的视野范围中，此时的视角约20°×20°。如果视野范围内有其它引起注意的事件，正常人会通过控制眼肌使眼球转动，使该注意区域落在黄斑区对应的视野范围内。

目前，视觉假体中用于图像采集的摄像头视角范围仅有40°×40°左右，远小于正常人的单眼视觉的视野范围。因此如果将摄像头固定在使用者所配戴的镜架上，使用者需通过转动头部或身体来获得不同注意区域的图像，这增加了使用者的使用负担。可见，现有技术的视觉假体没有很好地实现对人眼视觉及眼动功能的仿生，不能充分利用人眼通过眼动对目标快速搜索、定位的生理特点。

考虑到视网膜病变的失明患者的眼肌及控制眼肌的神经很可能完好，而且植入视觉假体不会损伤眼肌及控制眼肌的神经，因此患者依旧拥有控制眼球转动的能力。另外由于人眼的转动具有协同性，两眼会同时转向目标注意区域，所以即使植入视觉假体的过程中对眼肌及控制眼肌的神经造成一定损伤，另一侧眼球依旧具有完好的眼动能力。

因此，本领域的技术人员致力于开发一种视觉假体的图像采集装置，基于使用者的眼动信号实现对目标图像的定位采集。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种视觉假体的图像采集装置，通过采集使用者的眼动信号，控制图像采集装置的摄像头转向目标的方向，采集目标图像。

为实现上述目的，本发明提供了一种视觉假体的图像采集装置，其特征在于，包括眼动信号采集及处理模块、摄像头和转动云台；所述眼动信号采集及处理模块采集眼球的眼动信号，根据所述眼动信号获取所述眼球的转动方向，并发出控制信号以控制所述转动云台的转动，使固定在所述转动云台上的所述摄像头转向所述眼球的所述转动方向并采集所述转动方向的图像。

进一步地，眼动信号采集及处理模块包括眼动摄像头和眼动视频接收及处理单元；所述眼动信号采集及处理模块采集所述眼球的所述眼动信号的过程为所述眼动摄像头拍摄所述眼球的瞳孔的视频；所述眼动信号采集及处理模块根据所述眼动信号获取所述眼球的所述转动方向的过程为所述眼动视频接收及处理单元接收所述眼球的所述瞳孔的所述视频并通过所述视频获取所述眼球的所述转动方向。

进一步地，所述眼动信号采集及处理模块还包括LED单元以对所述瞳孔进行照明。

进一步地，所述LED单元包括至少一个LED，所述LED单元的发光强度不小于400mcd。

进一步地，所述眼动信号采集及处理模块和所述转动云台固定在眼镜上；所述眼动摄像头设置在所述眼镜的一个镜片上，所述眼动视频接收及处理单元设置在所述眼镜的眼镜腿上，所述眼镜腿与所述镜片同侧或者不同侧；所述转动云台设置在所述眼镜的鼻梁架上。

进一步地，所述眼镜上还设置有电源以向所述眼动信号采集及处理模块和所述摄像头供电。

进一步地，所述眼镜是墨镜。

进一步地，所述眼动摄像头的外径不大于8mm且所述眼动摄像头具备微焦距拍摄功能。

进一步地，所述转动云台的所述转动对于所述眼动信号采集及处理模块发出的所述控制信号的响应延迟在毫秒量级。

进一步地，所述摄像头的外径不大于12mm，所述摄像头的视角不小于30°，所述摄像头的帧率不小于24fps。

在本发明的较佳实施方式中，本发明的视觉假体的图像采集装置设置在失明患者配戴的墨镜上，包括眼动信号采集及处理模块、摄像头和转动云台。摄像头固定在转动云台上，转动云台设置在墨镜的鼻梁架上，摄像头朝向外。眼动信号采集及处理模块包括眼动摄像头、LED单元、眼动视频接收及处理单元和数据线。眼动摄像头和LED单元设置在墨镜的一个镜片上，眼动摄像头朝向内。使用时，失明患者配戴该墨镜，开启电源后，本发明的视觉假体的图像采集装置即开始工作。眼动摄像头启用微焦距拍摄功能，自动对焦到使用者的眼球的瞳孔部位并拍摄该瞳孔的移动的视频。眼动摄像头把拍摄的视频通过数据线实时地传送给眼动视频接收及处理单元，眼动视频接收及处理单元对该视频进行分析，从瞳孔的移动情况获取眼球的转动方向并向转动云台发出相应的控制信号。转动云台接收到该控制信号后发生转动，带动摄像头一起转动到该方向。由此摄像头就可以采集到该方向的图像。

由此可见，本发明的视觉假体的图像采集装置通过实时获取眼球转动的方向进而控制转动云台带动摄像头转向该方向来采集该方向的图像，使摄像头可以获得比现有技术中的固定式的摄像头更广阔、接近于人眼的视野范围，并可以充分利用人眼通过眼动对目标快速搜索、定位的生理特点，很好地实现对人眼视觉及眼动功能的仿生，使使用者获得更加接近正常视觉的假体视觉体验。本发明采用的是非侵入式的眼动信号的采集方法，可以快速准确地获得使用者的眼动信号。本发明的视觉假体的图像采集装置轻便易携，可以使使用者获得很好的使用体验。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的视觉假体的图像采集装置的结构示意图。

图2是图1所示的视觉假体的图像采集装置的眼动摄像头和LED单元部分的放大的结构示意图。

图3是图1所示的视觉假体的图像采集装置的摄像头和转动云台部分的放大的结构示意图。

具体实施方式

如图1-3所示，在本发明的一个实施例中，本发明的视觉假体的图像采集装置设置在失明患者配戴的墨镜上，包括眼动信号采集及处理模块、摄像头20和转动云台30。其中，摄像头20固定在转动云台30上，转动云台30设置在墨镜的鼻梁架53上。摄像头20朝向外(即朝向离开配戴该墨镜的患者的方向)，转动云台30接收由眼动信号采集及处理模块发出的控制信号并发生相应的转动，其转动时将带动摄像头20一起转动。

眼动信号采集及处理模块包括眼动摄像头11、LED单元12、眼动视频接收及处理单元13和数据线14。其中，眼动摄像头11和LED单元12设置在墨镜的一个镜片51上，眼动摄像头11朝向内(即朝向配戴该墨镜的患者的方向)并且眼动摄像头11在镜片51上的位置可以使其采集到配戴该墨镜的使用者的眼球的瞳孔的移动的视频。可以通过在镜片51上打多个孔，使用紧固件或粘合剂将眼动摄像头11和LED单元12固定在这些孔的位置上而实现眼动摄像头11和LED单元12在镜片51上的固定。较佳地，眼动摄像头11设置在镜片51中间位置处。LED单元12设置在眼动摄像头11旁，以在需要的时候对眼动摄像头11拍摄的部位进行照明。在本实施例中，LED单元12是6个LED构成的阵列，该阵列围绕眼动摄像头11均匀分布在镜片51上。在本发明的其它实施例中，LED单元12也可以是单个的LED，或者多个LED构成的阵列。眼动视频接收及处理单元13设置在墨镜的眼镜脚52上，摄像头11采集到的瞳孔的移动的视频通过数据线14被传送到眼动视频接收及处理单元13并被处理。在本实施例中，眼镜脚52和镜片51处于该墨镜的同侧(如图1、2所示的墨镜的右侧)，但在本发明的其它实施例中，也可以使安装有眼动视频接收及处理单元13的眼镜脚和安装有眼动摄像头11及LED单元12的镜片处于墨镜的不同侧，只要合适地设置数据线以实现将摄像头11采集到的瞳孔的移动的视频传送到眼动视频接收及处理单元13即可。

在眼镜脚52上还设置有电源40，以向眼动信号采集及处理模块的眼动摄像头11、LED单元12、眼动视频接收及处理单元13以及摄像头20供电。

本实施例中，摄像头20的外径不大于12mm，摄像头20的视角不小于30°，摄像头20的帧率不小于24fps。眼动摄像头11的外径不大于8mm，且眼动摄像头11具备微焦距拍摄功能。LED单元12的发光强度不小于400mcd。转动云台30是一个多维度的转动云台，其转动维度向左不小于45°、向右不小于45°、向上不小于30°、向下不小于30°，其在接收到眼动信号采集及处理模块发出的控制信号后发生的相应的转动对于该控制信号的响应延迟在毫秒量级。

在使用本发明的视觉假体的图像采集装置时，失明患者配戴设置有本发明的视觉假体的图像采集装置的墨镜，开启电源40后，本发明的视觉假体的图像采集装置即开始工作。眼动摄像头11启用微焦距拍摄功能，自动对焦到镜片51所对应的使用者的眼球的瞳孔部位，如图1、2所示的本实施例的眼动摄像头11自动对焦到使用者的右眼的瞳孔部位，然后拍摄该瞳孔的移动的视频，即采集该瞳孔的移动信息以获得该眼球的眼动信号。

眼动摄像头11把拍摄的瞳孔的移动的视频通过数据线14实时地传送给眼动视频接收及处理单元12。眼动视频接收及处理单元12包含微处理器，以对接收的视频进行分析，从瞳孔的移动信息获取眼球的转动方向。眼动视频接收及处理单元12可以判断环境亮度，在环境亮度较暗的情况下，眼动视频接收及处理单元12通过数据线14向LED单元12发出控制信号以开启LED单元12对眼动摄像头11的拍摄部位(即瞳孔)进行照明；在环境亮度较好的情况下，则不需要开启LED单元12。

眼动视频接收及处理单元12根据获取的眼球的转动方向确定摄像头20的转动方向并向转动云台30发出相应的控制信号，转动云台30接收到该控制信号后发生转动，带动摄像头20一起转动到该方向。这样摄像头20就可以采集该方向的图像了，继而将该图像发送给视觉假体的图像处理装置，使使用者产生关于该图像的假体视觉。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域的技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种视觉假体的图像采集装置，其特征在于，包括眼动信号采集及处理模块、摄像头和转动云台；所述眼动信号采集及处理模块采集眼球的眼动信号，根据所述眼动信号获取所述眼球的转动方向，并发出控制信号以控制所述转动云台的转动，使固定在所述转动云台上的所述摄像头转向所述眼球的所述转动方向并采集所述转动方向的图像；

所述眼动信号采集及处理模块包括眼动摄像头和眼动视频接收及处理单元；所述眼动信号采集及处理模块采集所述眼球的所述眼动信号的过程为所述眼动摄像头拍摄所述眼球的瞳孔的视频；所述眼动信号采集及处理模块根据所述眼动信号获取所述眼球的所述转动方向的过程为所述眼动视频接收及处理单元接收所述眼球的所述瞳孔的所述视频并通过所述视频获取所述眼球的所述转动方向。

2.如权利要求1所述的视觉假体的图像采集装置，其中所述眼动信号采集及处理模块还包括LED单元以对所述瞳孔进行照明。

3.如权利要求2所述的视觉假体的图像采集装置，其中所述LED单元包括至少一个LED，所述LED单元的发光强度不小于400mcd。

4.如权利要求1到3中任意一项所述的视觉假体的图像采集装置，其中所述眼动信号采集及处理模块和所述转动云台固定在眼镜上；所述眼动摄像头设置在所述眼镜的一个镜片上，所述眼动视频接收及处理单元设置在所述眼镜的眼镜腿上，所述眼镜腿与所述镜片同侧或者不同侧；所述转动云台设置在所述眼镜的鼻梁架上。

5.如权利要求4所述的视觉假体的图像采集装置，其中所述眼镜上还设置有电源以向所述眼动信号采集及处理模块和所述摄像头供电。

6.如权利要求5所述的视觉假体的图像采集装置，其中所述眼镜是墨镜。

7.如权利要求6所述的视觉假体的图像采集装置，其中所述眼动摄像头的外径不大于8mm且所述眼动摄像头具备微焦距拍摄功能。

8.如权利要求7所述的视觉假体的图像采集装置，其中所述转动云台的所述转动对于所述眼动信号采集及处理模块发出的所述控制信号的响应延迟在毫秒量级。

9.如权利要求8所述的视觉假体的图像采集装置，其中所述摄像头的外径不大于12mm，所述摄像头的视角不小于30°，所述摄像头的帧率不小于24fps。