CN106406504A - 人机交互界面的氛围渲染系统与方法 - Google Patents

Abstract

一种人机交互界面的氛围渲染系统与方法，通过提取视频/图像/软件的主色，并根据提取的主色信息进行氛围渲染，不仅可以对视频/图像进行氛围渲染，也可以对常用软件进行渲染，通过对用户操作进行渲染，使得用户在识别到氛围变化时能判断其操作结果的正确性或操作效果的满意度，以进行进一步的操作，并可借助人眼特点对视频/图像上的区域进行划分，使得渲染效果大大提升。

Description

人机交互界面的氛围渲染系统与方法

技术领域

本发明涉及计算机界面氛围渲染领域，尤其涉及一种人机交互界面的氛围渲染系统与方法。

背景技术

人机交互是一门研究系统与用户之间的交互关系的学科，其中系统可以是各种各样的机器，也可以是计算机化的系统和软件，人机交互界面通常是指用户可见的部分，用户通过人机交互界面与系统交流，并进行操作。人机交互经历了以下发展阶段：基于键盘和字符显示器的交互阶段，基于鼠标和图形显示器的交互阶段，以及基于多媒体技术的交互阶段。

众所周知，色彩是一幅作品最直观的艺术表现，是对画面气氛的升华，更是艺术家情感的直接表达。艺术家将色彩常识与创作经验相结合，使这种情感转化成色彩和图像语言，将色彩有序地组织在画面中，用最直观的视觉表达方式将创作的情感抒发出来，烘托出作品的主题气氛从而形成艺术家极具个人特色的色彩语言和艺术风格。

此外，光的刺激能够影响人的情绪，这种刺激必须和空间所应具有的气氛相适应，光以非物质的形式存在，无法直接感触却能够照亮物体、渲染空间气氛。光本身的形态对环境的渲染作用。

通过光的作用，能够使展示效果更加生动直观，且借助空间结构形式的光的形态对环境的渲染作用，通过光的色彩渲染环境氛围，通过光影效果渲染氛围，这种营造氛围的方式，均能够增加用户的直观感应，调节用户使用的满意程度，使得用户在不同操作时调节出不同的氛围，愉悦身心，这在视频/图像/软件的渲染中尤其重要，已引起大家的重视。

现有技术照明渲染对象单一，通常只针对视频-图像进行处理并产生照明光源，对于其他常用且功能十分强大的软件则无法处理，存在较大的功能局限性，另外，现有技术在获取视频-图像上的子区域时通常采用简单的随机或预定义方式求取视频-图像的子区域，通过获取子区域主色/强度等常用简单方法作为光色参数转化的方法，技术手段简单，灵活性较差，渲染效果较差。急需客服克服现有技术存在的缺陷，提升渲染效果，增加用户的满意度。

发明内容

本发明的一个目的在于提供一种人机交互界面的氛围渲染系统与方法，既可以独立对人机交互界面中的图像或视频进行渲染，又可与用户和人机交互设备中的软件进行交互通信。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，不仅可以对视频-图像进行渲染，更可以对常用软件进行渲染，适用范围较广。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，可对用户操作进行渲染，用户在识别到氛围变化时可判断其操作结果的正确性或操作效果的满意度等，并根据其(氛围渲染结果)结果做出进一步的操作。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，在获取视频-图像上的子区域上借助人眼特点进行划分，同时又根据渲染需求及功能不同对视频-图像做出不同划分，渲染效果大大提升。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，利用人眼划分区域以及针对于不同渲染方式的划分子区域的方法进行渲染，渲染效果好。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，采用多线程调用流程，大大提高了运算效率，确保了后续算法的加入。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，应用范围广，适于应用于多种软件，例如，应用软件、教学软件、行业软件、游戏娱乐软件、网络软件、图形处理软件、编程软件和安全软件等。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，对实时用户的操作进行照明渲染，其渲染效果包括工具选择提示、效果渲染、光影效果模拟或延伸、整体氛围渲染等。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，可根据不同软件自身的特点专门进行预定义设置，也可以在原有功能的基础上让用户自定义设置。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，系统与软件之间的通信包括多种形式。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，该系统一方面可以独立对人机交互界面进行渲染，提出了利用人眼视觉方法以及视觉诱引色的概念，渲染功能多样，渲染效果好。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，另一方面可与用户和人机交互设备中的软件进行交互通信，其处理对象大大增加，应用范围更加广泛。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，增加用户的直观感应，愉悦用户的身心，提高用户的使用满意度。根据用户的心情、所处环境等来调节氛围。利用色彩营造宜人的氛围，采用因地制宜的配色方案。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，可提高工作软件的使用效率、烘托和营造更好的工作氛围、增强娱乐软件的娱乐性。

本发明的另一目的在于提供一种人机交互界面的氛围渲染系统与方法，减少由于两帧之间相近颜色频繁变化而造成的灯珠闪烁，提高画面延伸的视觉体验。

为满足本发明的以上目的以及本发明的其他目的及优势，本发明提供一种人机交互界面的氛围渲染方法，其中所述方法包括以下步骤：

(A)提取视频/图像/软件的主色；

(B)根据提取的主色信息进行氛围渲染。

根据本发明一实施例，其中所述步骤(A)包括以下步骤：

(A.1)对图片划定区域；

(A.2)利用图像处理算法和模式识别方法进行分析和处理；以及

(A.3)获取可供照明设备识别的光色渲染参数。

在所述步骤(A.1)中，通过对所述图片进行分块来划定区域，其中适于通过顺时针或逆时针的方式对所述图片进行分块。

所述步骤(A.2)包括以下步骤：

(A.21)依次提取各区域对应的RGB像素矩阵；

(A.22)RGB矩阵转换为HSV直方图；

(A.23)统计HSV直方图获得主色HSV值；

(A.24)计算主色与上一帧主色色差，并比较；

(A.25)若色差在允许范围内，则执行步骤(A.26)，若色差不在允许范围内，则执行步骤(A.27)；

(A.26)该区域对应灯珠颜色变成该帧主色颜色；以及

(A.27)该区域对应灯珠颜色不变，与上一帧主色颜色相同。

优选地，在各区域分别设置对应的照明设备，以分别对各区域进行氛围渲染。

优选地，在所述步骤(A.21)中，隔N行M列提取RGB像素矩阵，其中N≥1，M≥1。

根据本发明一实施例，所述步骤(B)中的主色信息为视觉诱引色信息，所述步骤(A)包括以下步骤：

(A.4)划定提取主色区域；

(A.5)确定视觉诱引色所在区域；

(A.6)确定视觉诱引色并提取；以及

(A.7)验证视觉诱引色。

其中所述步骤(A.5)包括以下步骤：

(A.51)提取主色区域对应的RGB像素矩阵；

(A.52)RGB像素矩阵转换为HSV矩阵；

(A.53)统计HSV直方图；

(A.54)设定饱和度、亮度和数量阈值；以及

(A.55)找出所有满足阈值条件的HSV区间，确定数量最多的HSV区间作为视觉诱引色区间

其中在所述步骤(A.7)中，通过做仿二值化处理来验证主色。

在所述步骤(A.4)中，适于将主色区域划定为二块、三块、四块或者更多块，根据不同的划定区域的方式，在各块上分别设置相应的照明设备。

优选地，在所述步骤(B)中，调用提取视觉诱引色算法，灯珠显示视觉诱引色；或者调用分块提取主色算法，灯珠显示分块提取的主色。

一种通过与人机交互设备中的软件通信进行氛围渲染的方法，适于用户通过与人机交互设备中的软件进行交互通信来渲染氛围，其特征在于，所述方法包括以下步骤：

(1)检测软件发送消息的方式；

(2)检测用户的操作意图；

(3)发送指令给照明设备；以及

(4)按照用户的操作意图进行氛围渲染。

其中，用户在运用软件的菜单或工具时，需要单击或双击菜单选项、工具栏图标或使用快捷键，敲入文字或代码操作，软件或根据用户的操作做出相应的变化，该变化会被氛围渲染单元捕捉到，并在用户操作前进行预测以及操作之后的氛围渲染。

在文字处理软件操作中，氛围渲染单元在鼠标选中色板图标和单击色板图标时做出反应，其中在鼠标选中色板图标时，氛围渲染单元获取鼠标的精确位置，判断其所对应的工具图标、类型以及色板中的颜色，分析处理并将信息发送给照明设备，照明设备全部显示或闪烁显示与鼠标选中的颜色图标相同的颜色以提示用户选择的颜色；在用户单击色板的颜色图标时，选中文本的背景变化为颜色图标的颜色，氛围渲染单元判断其显示颜色和背景变化文本的所在位置，进而使得文本对应位置的照明设备显示颜色图标的颜色，以进行局部渲染，使得文本信息更加突出。

在演示文稿软件操作中，对幻灯片做淡入或淡出动态操作时，氛围渲染单元接收到windows消息后或实时定位到鼠标位置及对应图标后，发送消息给照明设备，以使照明设备有规律的按某种颜色由暗到亮由浅到深或由亮到暗由深到浅进行变换，其颜色是根据幻灯片的主色或次主色或视觉诱引色或其他方法确定的。

在软件工程师的编程软件工作时，氛围渲染单元在编程软件工作时显示增强注意力又能放松眼睛的光，且光强和颜色保持不变，在一段时间后自动改变灯光的颜色或频率，以提示工程师做出调整，适当休息。

对于照相摄影软件，氛围渲染单元适于检测不同的场景，获取其基本的色彩信息，对不同的场景进行渲染，以使图像的场景延伸到整个空间，提升照片或摄影的整体氛围感。

对于安全软件，氛围渲染单元实时捕捉软件中的各种安全数据，当某一数据低于最低安全标准或高出安全值时，照明设备会立刻发出灯光警告。

对于教学软件，氛围渲染单元通过显示某一或某几种颜色，或闪烁某一或某几种颜色，提示学习者集中意力或适当休息，其中提示集中注意力的时间间隔和适当休息的时间间隔由系统根据实验数据自动配置，或者由用户根据自身的习惯进行配置。

对于辅助软件，氛围渲染单元适于根据3D构图软件作品的色彩、光的来源对其进行渲染。

在家居装饰中，氛围渲染单元检测出房间内各个位置的光的强弱、色彩，并根据其分布位置及变化对其进行实时渲染。

在图片浏览方面，在正常的图片预览时，氛围渲染单元适于对下一张图片或上一张图片进行渲染，其渲染效果根据下一张或上一张图片的色彩特点，下一张对应的渲染区域在图片显示区域的右侧方向，上一张对应的渲染区域在图片显示区域的左侧方向。

针对图片信息进行处理时，氛围渲染单元实时检测图片信息的变化，并在检测到变化后对变化后的图片进行渲染。

附图说明

图1是根据本发明的一种人机交互界面的氛围渲染系统的结构示意图。

图2是根据本发明的一种人机交互界面的氛围渲染系统的框图。

图3是根据本发明的第一个优选实施例进行氛围渲染的流程图。

图4是根据本发明的上述第一个优选实施例的划定区域示意图。

图5是根据本发明的上述第一个优选实施例的图片背景延伸方法流程图。

图6是根据本发明的第二个优选实施例的人眼正视图的示意图。

图7是根据本发明的上述第二个优选实施例的提取视觉诱引色的示意图。

图8是根据本发明的上述第二个优选实施例的按照视觉诱引色进行氛围渲染的流程图。

图9是根据本发明的上述第二个优选实施例的提取视觉诱引色区间的流程图。

图10A至图10C是根据本发明的上述第二个优选实施例的提取主色区域划分方式示意图。

图11A至图11C是根据本发明的上述第二个优选实施例的各区域对应的照明设备位置示意图。

图12是根据本发明的上述第二个优选实施例提取视觉诱引色的流程图。

图13A和图13B是根据本发明的上述第二个优选实施例提取主色采用的两种算法的调用方法示意图。

图14是根据本发明的第三个优选实施例的氛围渲染流程图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

如图1和图2所示，一种人机交互界面的氛围渲染系统，包括一人机交互设备10、一云服务器20和一氛围渲染单元30，其中所述人机交互设备10、所述云服务器20和所述氛围渲染单元30相联接，所述氛围渲染单元30为所述人机交互设备10提供氛围渲染，以满足用户的需求。

进一步地，所述氛围渲染单元30包括多个照明设备31以及多个分析处理单元32，其中所述照明设备31连接于所述分析处理单元32，执行所述分析处理单元32发送的指令，按照所述分析处理单元32的光色渲染参数对所述人机交互设备10的人机交互界面11进行氛围渲染。该人机交互界面的氛围渲染系统一方面适于独立对人机交互界面进行渲染，另一方面适于用户和人机交互设备中的软件进行交互通信。

值得一提的是，所述照明设备31为独立于所述人机交互设备10之外的用于氛围渲染的照明设备。

实施例一

对于人机交互界面，比如图像、视频等带有画面的信号，该系统可对其进行氛围渲染，如图3所示，渲染方法如下步骤：(1)对图片划定区域(101)；(2)利用图像处理算法和模式识别方法进行分析和处理，并提取主色(102)；(3)获取可供照明设备识别的光色渲染参数(103)；以及(4)根据提取的主色信息进行氛围渲染(104)。

通过图像或视频帧的背景画面延伸来进行氛围渲染，其中画面延伸采用分块提取主色的方法。

本实施例采用上下左右四个方向对图片进行延伸，每一个方向都配有一定数量的所述照明设备31，其中所述照明设备31可以实施为灯具或灯珠，本实施例优选为彩色的灯珠。通常情况下，优选地，上方与下方的所述照明设备31的个数相同，左方与右方的所述照明设备31的个数相同。针对于不同尺寸的所述人机交互设备10的显示器，所需使用的所述照明设备31的数量会有差异，根据所述照明设备31的个数，采用一对一或多对一的方法对图片边缘进行分块。

在所述步骤(1)中，所述图片包括图像、视频图片和软件图片，所述分析处理单元32按照顺时针方向或逆时针方向对图像或者视频图片划定区域，即进行分块，如图4所示为顺时针划定区域示意图。在本优选实施例中，针对于某一图像或者视频帧中的某一帧40，沿着图片四周边缘41(指定边缘的宽度为W)按顺时针的方向划定为多个小的区域，值得一提的是，也可以按照逆时针的方向划定多个小的区域，这些小区域则成为块42，所述块42的一边已经由W确定，另一边则由显示器的宽度以及灯珠的个数共同决定。

图5所示为图片背景延伸流程图，在所述步骤(2)中，通过所述分析处理单元32利用图像处理算法和模式识别算法进行分析和处理。其中在本优选实施例中，所述步骤(2)包括以下步骤：(2.1)提取第一块42对应的RGB像素矩阵；(2.2)RGB矩阵转换为HSV矩阵；(2.3)统计HSV直方图，并获得该所述块42的主色HSV值；(2.4)检测是否为最后一块，若是最后一块，执行步骤(2.5)，若不是最后一块，执行步骤(2.10)；(2.5)比较该帧该区域的主色与上一帧该区域的主色，并计算该帧主色与一帧该区域的主色色差：(2.6)若色差在允许范围内，则执行步骤(2.7)，若色差不在允许范围内，则执行步骤(2.8)；(2.7)该区域对应灯珠颜色不变，与上一帧主色颜色相同；(2.8)该区域对应灯珠颜色变成该帧主色颜色；(2.9)检测是否为最后一块区域，若为最后一块区域，则该帧图片延伸结束，若不是最后一块区域，则按照逆时针或顺时针提取下一块区域的主色；(2.10)采用隔N行M列的方式按照逆时针或顺时针提取下一块区域对应的RGB像素矩阵，并返回所述步骤(2.3)，依次进行图片延伸。

值得一提的是，根据分块结果提取图片中某一块42的RGB像素矩阵，为节省时间可采用隔N行M列提取的方法，其中N≥1，M≥1，为节省时间，优选地，N＞1，M＞1。将提取到的像素矩阵全部转化为HSV矩阵，并统计HSV直方图，得到该块的主色HSV值。本发明HSV的范围分别为0-360，1-100和0-250，直方图HSV的区间长度可根据测试结果找出效果最好的一组。

在提取主色后需要与该区域对应的上一帧主色进行比较，本发明是计算色差值，当色差足够小时保持该区域对应的灯珠颜色不变，否则将新的主色值在对应灯珠上进行显示，其中二者的色差允许范围预先通过所述分析处理单元32进行设置。上述做法的目的是减少由于两帧之间相近颜色频繁变化而造成的灯珠闪烁，提高画面延伸的视觉体验。

在所述步骤(4)中，所述分析处理单元32将获取的光色渲染参数传送给所述照明设备31，所述照明设备31接收指令后，按照所述光色渲染参数对所述图片进行氛围渲染，以满足使用者的需求。

实施例二

在观看视频时，人们容易被色彩较艳丽、亮度较高、运动较快的人或事物所吸引，所以会将更多的注意力放在这些人或事物身上，甚至会忽略周围的事物和背景，比如，图片四周是绿色的枝叶，中间是一朵朵红色的玫瑰，我们更希望凸显艳丽的红色而非渲染绿色。

1.人眼视觉氛围延伸

人眼的视角很小，如果以看得见的标准来计算，人眼的视角约为150度，但是按看得清楚地标准，视角就只有5度左右了，正因为这样，人为了扩大视野范围，就得骨碌碌的转动眼球，左右顾盼，有时还得转动一下头部。

人的视觉范围，10-15°以内是视力敏锐区，即中心视野，对图像的颜色及细节部分的分辨能力最强，20°以内能正确识别图形等信息，为有效视野，20-30°虽然视力及色辨别能力开始降低，但对活动信息比较敏感，30°之外视力就下降很多。

人们在进行人机交互时，人与设备的相对位置不同，人眼观察到的图像或视频画面也会不同。就好比在电影院观看电影时，不同位置的观众其视角不同，观看感受也会不同。一般情况下，距离荧幕较近的观众需要通过转动眼球或扭动脖子才可以看清全部画面，距离荧幕较远的观众则很容易看到整个画面，然而太远的距离又会影响清晰度，而偏离荧幕的观众看到画面中的事物会存在不同程度上的变形。

本发明提出了正视角氛围烘托，以突出视频帧的吸引观者眼球的重点事物。所谓“正视角”是在人与交互设备处在一定相对位置时，从人眼角度观察图像或视频，能够达到最佳的效果。图6所示即为人眼正视角图，该正视图中明确标出了人与交互设备的相对位置，其中D表示人眼距离人机交互设备的垂直距离，其垂足是在宽度为W和高度为H的人机交互设备的中心处，D值的实际大小因人而异，其标准是观者的眼睛舒适，看到的图像或视频清晰。图中的椭圆形区域为人眼的有效区域，人眼对该区域的颜色等活动信息比较敏感，其大小由人眼与人机交互设备的距离D以及人眼的有效视野角度α决定，角度α一般在20-30°之间。

在正视图中有效视野已经确定，人们在观看图片或视频时有很大一部分时间是停留在有效视野中的，不管是从舒适角度、清晰角度还是从图片或视频本身角度来说都是如此。因此可以将图像或视频原本的大小缩小至有效视野内，在有效视野内进行氛围的眼神或视觉诱引色提取，其中视觉诱引色通俗地讲即为吸引眼球的主色。如果人眼距离人机交互设备的距离D比较大，或者人机交互设备的宽度W和高度H比较小，则观者的有效视野可以触及到图像或视频的边缘，甚至超过图像或视频的大小，此时的有效视野则可看作是整个图像或视频。

为了突出重点，本发明提出了一种提取视觉诱引色的算法。图7所示为整幅图片示意图，其中图片中间部分为提取并判断该帧图片中的视觉诱引色的区域，该区域可位于图片的中间区域或者是在人眼可正视的范围内，是人眼最先也最容易注意的区域，提取主色区域距离图片边缘的宽度为W。

2.确定区域主色HSV区间

如图8至图13B所示，本发明采用以下方法来提取视觉诱引色，进而对图像或者视频进行氛围渲染。

(A)划定提取主色区域(201)；

(B)确定视觉诱引色所在区域(202)；

(C)确定视觉诱引色并提取(203)；以及

(D)验证视觉诱引色(204)；

(E)根据视觉诱引色进行氛围渲染(205)。

确定视觉诱引色所在区域后，在所述步骤(C)中，则可以提取该区域的RGB像素矩阵，为提高效率，可采用上文所述的隔N行M列的方式采集RGB像素矩阵。将采集到的RGB像素矩阵全部转换为HSV矩阵，然后计算得到HSV直方图。通常情况下，颜色鲜艳、亮度较高且达到一定数量(即范围较大)的事物最容易吸引眼球。本发明设定饱和度S-threshold、亮度V-threshold和数量百分比Ratio-threshold作为甄别视觉诱引色的三要素。从HSV直方图中统计出所有大于三要素的HSV区间，如果无满足三要素的区间，则表示该帧图片无需特别突出某一事物，即无视觉诱引色。若满足该三要素的HSV区间个数大于零，则选择数量较多的作为视觉诱引色区间，并记录下该HSV区间内包含图片中点的数量MaxNum。

2.1确定视觉诱引色所在区域

在所述步骤(B)中，将提取的视觉诱引色区域进一步划分，其目的是将视觉诱引色区域细化，并根据统计的细化区域的视觉诱引色信息来对应显示到氛围渲染的灯珠上，从而能够更加准确地对主色进行氛围(包括亮度、颜色、色温等)渲染。

主色细化的方式有很多种，具体的划分方式需要根据具体的被渲染的图像或视频而定。图10A至图10B示出了三种划分方式，这三种方式都将主色区域划分为四块，当然还可以划分为两块、三块或者更多块。本实施例主要以四块为例进行说明。

图10A是主色区域中心线为分界线将主色区域均分为左上UpLeft、左下LowLeft、右上UpRight和右下LowRight四块。图10B则是以主色区域的对角线为分界线将主色区域划分为上Up、下Low、左Left、右Right四块。上述两种划分方式应用范围较广，对多数图像或视频适用，由于两种不同的划分方式对应的灯珠位置不同，其渲染效果也会不同。图10C是在图10B的基础上去除主色区域中间部分得到的，此种划分方式主要适用于图像或视频中间部位的颜色亮度等组成是固定的或变化较小的情况下，比如图像中出现一个转盘，当转盘转动时中间区域的颜色组成部分是不变的，而四周区域是在不断变化，并且旋转速度越快其四周的颜色变化越快。图10C中间部位的大小可通过预定义的方式进行确定，也可以通过图像处理和计算的方式实时监测确定。

确定主色划分区域之后，则要对划分的区域进行处理，为详细说明处理方法，本文以图10A为例。

由图9流程图已经得到提取视觉诱引色区域的主色HSV区间，下一步则分别统计LU、LD、RU、RD四个区域分布在主色HSV区间内的点的数量，分别记为ULNum、LLNum、URNum、LRNum。它们满足式(1)，四个变量的大小体现了主色在四个区域中的分布情况，数量越大则主色在该区域中的个数越多，该区域则更容易引起注意。

ULNum+LLNum+URNum+LRNum＝MaxNum (1)

为重点突出主色所在区域，可通过计算各区域的主色数量与总数量MaxNum的比值得到对应区域的主色百分比。主色百分比则比主色数量本身更能清楚的反应各区域的主色分布情况。设定RatioOne(比如等于60％)、RatioTwo(比如等于80％)、RatioThree(比如等于90％)分别作为一个、两个、三个区域主色百分比的阈值。如果某一个区域主色百分比大于RatioOne，则表明该区域为主色所在区域，其对应的灯珠应显示主色的颜色。如果某两个区域的百分比之和大于RatioTwo，则这两区域共同组成主色所在区域，它们所对应的灯珠则显示主色的颜色。同样用百分比RatioThree作为鉴定某三个区域的百分比之和的阈值，如果三个区域的百分比之和大于RatioThree，则该三个区域为主色所在区域，它们所对应的灯珠则显示主色的颜色。若四个区域没有满足上述三种情况，则表明该主色是均匀分布于四个区域中，这时需要将所有灯珠全部显示成主色的颜色。图11A至图11C表示四个区域对应的灯珠位置设置的方式，灯珠分别相对应的设置在各区域上，以对各区域分别进行渲染，使得渲染效果大大提升，更能符合用户的需求。

2.2确定视觉诱引色

通常情况下会人为选取区间中H、S、V三个区间的左边界(中间值或右边界)作为主色HSV值，然后转换为RGB值。这种做法比较简单，但人为认定的HSV值并不一定是图片中真实存在的值，容易引起色差。另外，这种做法的精确度受到HSV区间长度的影响，区间长度越大则对HSV值的影响越大，从而对最终计算得到的主色RGB值影响越大。为避免上述问题，本发明采用直接选取图片本身真实颜色的方式进行。由于HSV像素矩阵是图片中的RGB像素矩阵转换得到的，因此只需选取真实存在的HSV，然后转换为RGB即可。上文已经确定主色区间，而视觉诱引色一定在主色区间内，因此只需在图片中找出满足主色区间的HSV值即可。但是，本文对视觉诱引色更偏重于高饱和度、高亮度的颜色，因此在找寻HSV时附加S值满足大于主色区间S的中间值和V值大于主色区间V的中间值这两个条件。如此便兼顾了高饱和度、高亮度和图片真实颜色两个方面。如果图片中不存在HSV满足条件，则可以选择饱和度和亮度其中一个，找寻图片中满足主色区间的所有点中饱和度最大(亮度最大)的HSV值。如此视觉诱引色值已经得到，然后将主色对应显示到主色所在区域对应的灯珠上。

2.3快速验证视觉诱引色

为了达到很好的效果，视频中播放的每一帧都应通过上述方法提取视觉诱引色，但这样做的结果会大大增加运算量，影响效率。通常情况下，视频播放是具有节奏性和连续性的，某两个连续的帧之间可能具有很大的相似性，如果某一帧存在视觉诱引色区间，那么紧邻的下一帧有可能具有相同或相近的主色区间。通过这一特性，本文提出了一种快速验证主色的方法，这种方法是建立在其前一帧或前几帧具有视觉诱引色区间的基础上的。

举例说明，如果某一帧已经具有视觉诱引色HSV区间，那在它之后的五帧首先要进行仿二值化处理，这里的二值化并非传统意义上的二值化。传统二值化是将图像上的像素点的灰度值设置为0或255，整个图像呈现出明显的只有黑和白的视觉效果。本发明中仿二值化是借助于传统二值化的阈值比较方法，它处理图像的结果是黑色和某一相近彩色的相结合。传统二值化设定某一阈值T，大于T的像素值设为255，小于T的像素值设为0。仿二值化的阈值是具有一定区间长度的HSV区间，满足该区间的像素值保持其HSV不变，在区间外的像素值全部为黑色即亮度V为0。这样便得到了一幅只有主色区间的点是彩色，其余点都是黑色的图片。然后对这幅特殊的图片进行统计主色点数量得到MaxNum，并调用确定视觉诱引色区域的算法以及确定视觉诱引色。

提取主色区域具体流程图如图12所示。首先，检测上一帧或上五帧是否存在视觉诱引色区间，若存在，则按照上述方式进行仿二值化处理，然后确定视觉诱引色所在区域，确定视觉诱引色，并对视觉诱引色所在区域进行显示。如果检测发现上一帧或上五帧不存在视觉诱引色区间，则需要按照本发明上述提取视觉诱引色区间的方式，重新确定提取区域的视觉诱引色区间，然后确定视觉诱引色所在区域，确定视觉诱引色，并对视觉诱引色所在区域进行显示，如果重新确定提取后，依然无法找到视觉诱引色区间，则证明无视觉诱引色，则需要按照实施例一种的方式来提取主色进行氛围渲染。

图13A和图13B为上述两种算法调用流程图，其中图13A为普通调用流程图，图13B为多线程调用流程图。

通常情况下，需要检测图片中是否有需要重点突出的事物，如果有则所有灯珠显示该事物主色即视觉诱引色即可。如果没有则需要对图片四周做延伸即采用分块提取主色。为此使用上述两种算法的顺序如图13A和图13B所示。本文采用多线程调用流程，这种方式大大提高了运算效率，确保了后续算法的加入。

实施例三

通过与人机交互设备中的软件交互通信进行氛围渲染。

当用户在使用软件时，软件对用户的操作做出相应的变化，照明系统则针对软件的变化做出相应的照明渲染，用户在识别到氛围变化时可判断其操作结果的正确性或操作效果的满意度等，并根据其结果做出进一步的操作。该软件可实时对用户的操作进行照明渲染，其渲染效果包括工具选择提示、效果选软、光影效果模拟或延伸、整体氛围渲染等。

如图14所示，通过与人机交互设备中的软件交互通信进行氛围渲染的方法包括以下步骤：(1)检测软件发送消息的方式(301)；(2)检测用户的操作意图(302)；(3)发送指令给照明设备(303)；以及(4)按照用户的操作意图进行氛围渲染(304)。

通常情况下，软件可分类为应用软件、教学软件、行业软件、游戏娱乐软件、网络软件、图形处理软件、编程软件、安全软件等。其中每款软件又细分为很多具体的软件，比如行业软件又包括餐饮软件、美容健身软件、会员管理软件、收银软件等。针对于不同功能的软件，该系统既有对大部分软件的共通的渲染功能，又有针对某一或某几款软件的特有渲染功能。

3.1介绍系统对软件的共通渲染功能。

所谓共通渲染功能是指对大部分软件都能适用的一种普遍使用的渲染功能。对于绝大多数软件而言，菜单或工具是其正常工作的最基本功能单元，每一个简单的或复杂的应用都是靠这些小单元去实现的。用户在运用菜单或工具时，需要按照一定的规则，如单击或双击菜单选项、工具栏图标，或使用快捷键，敲入文字或代码等操作时，软件会根据用户的操作意图做出相应的变化，此变化会被氛围渲染单元30捕捉到，并在用户操作前进行预测以及操作之后的氛围渲染。

比如在OFFICE办公软件中的文字处理软件中，例如在word软件或wordpages软件中，有设置文字的背景颜色从而突出文本的工具图标，在用户单击此图标时会出现不同颜色组成的色板，用户只需要在色板中选择一个颜色图标进行单击即可改变选中文本的背景色，但鼠标放在颜色图标上并不起作用。该系统会在鼠标选中色板图标和单击色板图标的两个关键时刻做出反应。在鼠标选中色板图标时氛围渲染单元30可通过获取windows消息获取鼠标位置的方式或直接定位鼠标位置的方式获取鼠标的精确位置，并由此判断其所对应的工具图标和类型，以及色板中的颜色，然后通过一系列的分析处理将信息发送给照明设备31，照明设备31会全部显示或闪烁显示与鼠标选中的颜色图标相同的颜色以用于提示用户其选择的颜色。在用户单击色板中的颜色图标时，选中文本的背景会迅速变化为颜色图标的颜色，此时氛围渲染单元30不仅要判断其显示颜色还要判断背景变化文本的所在位置，然后将文本对应位置的照明设备31显示颜色图标的颜色，以达到精确的局部渲染功能，使得文本信息更加突出。

在演示文稿软件操作中，比如在PPT(PowerPoint)制作过程中，需要对某一幻灯片做淡入或淡出动态操作，这时用户需要在动画菜单中选中淡入或淡出的工具图标，氛围渲染单元30在接收到windows消息后或实时定位到鼠标位置及对应图标后，可迅速做出反应，使得照明设备有规律的按某种颜色由暗到亮由浅到深或由亮到暗由深到浅进行变换，其颜色是根据幻灯片的主色或次主色或视觉诱引色或其他方法确定的。

获取软件本身发出消息的方式作为氛围渲染单元的数据源是方便、准确且安全的方法，但这种方法的前提是软件厂商肯提供合作。如无法获取消息本身则可以通过对使用软件的分析，对软件中的工具图标、菜单文字等进行预定义处理，对其的特点进行分析和处理，建立小型数据库，在操作中可直接从数据库中提取并比对即可。

3.2针对于某一或某几种软件所特有的功能。

该功能一般需要根据软件自身的特定专门进行预定义设置，也可以在原有功能的基础上让用户自定义设置。

比如，软件工程师在用编程软件工作时，需要保证高度的注意力，而长时间的编程工作又会伤害到身体健康，为此氛围渲染单元30可保证在编程软件工作时显示可以增强注意力又能放松眼睛的光，且保证光强和颜色保持不变，目的是提高工程师的工作效率且缓解眼睛疲劳。另外，在一段时间比如一小时后改变灯光的颜色或频率，提示工程师做出调整，适当休息。

比如，对于目前很流行的照相摄影软件。其特效相机中有很多不同色调的场景对照片或摄像进行画面渲染，比如唯美、蓝调、自然等。照明系统可以检测不同的场景，并获取其基本的色彩信息(颜色、饱和度、亮度等)，然后对不同的场景进行渲染，使得图像的场景延伸到整个空间，提升照片或摄影的整体氛围感。

比如在安全软件的使用或后台运行中，氛围渲染单元30时刻捕捉软件中的各种安全数据，当某一数据低于最低安全标准或高出安全值时，照明设备31会立刻发出灯光警告，告知用户对安全软件进行升级、病毒排杀或立即采取其他补救措施。

比如在教学软件中，氛围渲染单元30可通过显示某一或某几种颜色，或闪烁某一或某几种颜色，提示学习者集中注意力或适当休息。其提示集中注意力的时间间隔和适当休息的时间间隔可以由系统根据实验数据自动配置，也可以用户根据自身的习惯进行配置。

比如在辅助软件中，例如3D构图软件，以3DS MAX为例。3DS MAX软件为三维动画渲染和制作软件，广泛应用于广告、影视、工业设计、建筑设计、三维动画、多媒体制作、游戏、辅助教学以及工程可视化等领域。氛围渲染单元30可根据其作品的色彩、光的来源等对其进行渲染。

比如在家居装饰中，房间内的光源有一个或多个，光的直接照射以及物体表面对光的反射等造成了房间内光分布的不均匀，氛围渲染单元30可检测出房间内各个位置的光的强弱、色彩等，并根据其分布位置对其进行渲染。当然这个渲染是实时的，如果房间内的光有变化，氛围渲染单元30会自动跟随光的变化而进行相适应的渲染。

比如，在图片浏览方面，通过键盘或鼠标可以对图片进行前后翻页，实现图片按某一顺序呈现。氛围渲染单元提出了一种照片预览功能，该功能可以在正常的图片预览时，对下一张图片或上一张图片进行渲染，其渲染结果依据下一张或上一张图片的色彩特点(主色、次主色、视觉诱引色、照度等)。下一张对应的渲染区域在图片显示区域的右侧方向，上一张对应的渲染区域在图片显示区域的左侧方向。此种对应方式适用于通常图片浏览的方式，左侧表示正在浏览图片的上一张图片对应位置，右侧表示下一张图片对应位置。

比如，利用photoshop打开某一张图片。在未处理之前，可根据图片的自身的特点(整幅图片的主色、次主色或图片中某一区域的主色、次主色等)进行整体或局部渲染。如果对图像做出某一操作(色彩平衡等)时，图片的信息(色彩、背景等)也会做出相应的变化，这时可有两个处理思路。一种是通过消息或实时定位获取鼠标的精确位置，然后根据鼠标的位置划定鼠标周围的某一小块区域，通过分析小区域内信息(图标信息、菜单信息等)，并根据信息做出操作的初步或精确判断。但上述方法对精确度要求较高，且处理速度受到多方面的影响，为此可采用第二种方式。第二种方式是只针对图片信息进行处理，氛围渲染单元实时的检测图片的信息(主色、次主色等)的变化，并在检测到变化后迅速对变化后的图片进行渲染。

该系统与软件之间的通信可以有几种形式。第一种可以是软件直接与系统通信，需要渲染的数据来自软件厂商，厂商可以提供渲染数据信息，系统只需要根据数据信息的内容直接或做出少许加工后直接进行照明渲染。第二种是软件与系统之间通过媒介进行通信，该媒介可以是自定义控件、DLL、某种类型的接口，其特点是该媒介能与软件相互之间进行通信，或作为软件功能的某一部分，并且媒介可以将需要渲染的数据信息进行分析处理，最后将加工后的渲染信息通信给系统进行照明渲染。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (23)

1.一种人机交互界面的氛围渲染方法，其特征在于，所述方法包括以下步骤：

（A）提取视频/图像/软件的主色；

（B）根据提取的主色信息进行氛围渲染。

2.根据权利要求1所述的方法，其中所述步骤（A）包括以下步骤：

（A.1）对图片划定区域；

（A.2）利用图像处理算法和模式识别方法进行分析和处理；以及

（A.3）获取可供照明设备识别的光色渲染参数。

3.根据权利要求2所述的方法，其中，在所述步骤（A.1）中，通过对所述图片进行分块来划定区域，其中适于通过顺时针或逆时针的方式对所述图片进行分块。

4.根据权利要求2或3所述的方法，其中所述步骤（A.2）包括以下步骤：

（A.21）依次提取各区域对应的RGB像素矩阵；

（A.22）RGB矩阵转换为HSV直方图；

（A.23）统计HSV直方图获得主色HSV值；

（A.24）计算主色与上一帧主色色差，并比较；

（A.25）若色差在允许范围内，则执行步骤（A.26），若色差不在允许范围内，则执行步骤（A.27）；

（A.26）该区域对应灯珠颜色变成该帧主色颜色；以及

（A.27）该区域对应灯珠颜色不变，与上一帧主色颜色相同。

5.根据权利要求4所述的方法，其中，在各区域分别设置对应的照明设备，以分别对各区域进行氛围渲染。

6.根据权利要求4所述的方法，其中，在所述步骤（A.21）中，隔N行M列提取RGB像素矩阵，其中N≥1，M≥1。

7.根据权利要求1所述的方法，其中所述步骤（B）中的主色信息为视觉诱引色信息，所述步骤（A）包括以下步骤：

（A.4）划定提取主色区域；

（A.5）确定视觉诱引色所在区域；

（A.6）确定视觉诱引色并提取；以及

（A.7）验证视觉诱引色。

8.根据权利要求7所述的方法，其中所述步骤（A.5）包括以下步骤：

（A.51）提取主色区域对应的RGB像素矩阵；

（A.52）RGB像素矩阵转换为HSV矩阵；

（A.53）统计HSV直方图；

（A.54）设定饱和度、亮度和数量阈值；以及

（A.55）找出所有满足阈值条件的HSV区间，确定数量最多的HSV区间作为视觉诱引色区间。

9.根据权利要求7所述的方法，其中在所述步骤（A.7）中，通过做仿二值化处理来验证主色。

10.根据权利要求7至9任一所述的方法，其中在所述步骤（A.4）中，适于将主色区域划定为二块、三块、四块或者更多块，根据不同的划定区域的方式，在各块上分别设置相应的照明设备。

11.根据权利要求10所述的方法，其中，在所述步骤（B）中，调用提取视觉诱引色算法，灯珠显示视觉诱引色；或者调用分块提取主色算法，灯珠显示分块提取的主色。

12.一种通过与人机交互设备中的软件通信进行氛围渲染的方法，适于用户通过与人机交互设备中的软件进行交互通信来渲染氛围，其特征在于，所述方法包括以下步骤：

（1）检测软件发送消息的方式；

（2）检测用户的操作意图；

（3）发送指令给照明设备；以及

（4）按照用户的操作意图进行氛围渲染。

13.根据权利要求12所述的方法，其中，用户在运用软件的菜单或工具时，需要单击或双击菜单选项、工具栏图标或使用快捷键，敲入文字或代码操作，软件或根据用户的操作做出相应的变化，该变化会被氛围渲染单元捕捉到，并在用户操作前进行预测以及操作之后的氛围渲染。

14.根据权利要求12或13所述的方法，其中，在文字处理软件操作中，氛围渲染单元在鼠标选中色板图标和单击色板图标时做出反应，其中在鼠标选中色板图标时，氛围渲染单元获取鼠标的精确位置，判断其所对应的工具图标、类型以及色板中的颜色，分析处理并将信息发送给照明设备，照明设备全部显示或闪烁显示与鼠标选中的颜色图标相同的颜色以提示用户选择的颜色；在用户单击色板的颜色图标时，选中文本的背景变化为颜色图标的颜色，氛围渲染单元判断其显示颜色和背景变化文本的所在位置，进而使得文本对应位置的照明设备显示颜色图标的颜色，以进行局部渲染，使得文本信息更加突出。

15.根据权利要求12或13所述的方法，其中，在演示文稿软件操作中，对幻灯片做淡入或淡出动态操作时，氛围渲染单元接收到windows消息后或实时定位到鼠标位置及对应图标后，发送消息给照明设备，以使照明设备有规律的按某种颜色由暗到亮由浅到深或由亮到暗由深到浅进行变换，其颜色是根据幻灯片的主色或次主色或视觉诱引色或其他方法确定的。

16.根据权利要求12或13所述的方法，其中，在软件工程师的编程软件工作时，氛围渲染单元在编程软件工作时显示增强注意力又能放松眼睛的光，且光强和颜色保持不变，在一段时间后自动改变灯光的颜色或频率，以提示工程师做出调整，适当休息。

17.根据权利要求12或13所述的方法，其中，对于照相摄影软件，氛围渲染单元适于检测不同的场景，获取其基本的色彩信息，对不同的场景进行渲染，以使图像的场景延伸到整个空间，提升照片或摄影的整体氛围感。

18.根据权利要求12或13所述的方法，其中，对于安全软件，氛围渲染单元实时捕捉软件中的各种安全数据，当某一数据低于最低安全标准或高出安全值时，照明设备会立刻发出灯光警告。

19.根据权利要求12或13所述的方法，其中，对于教学软件，氛围渲染单元通过显示某一或某几种颜色，或闪烁某一或某几种颜色，提示学习者集中意力或适当休息，其中提示集中注意力的时间间隔和适当休息的时间间隔由系统根据实验数据自动配置，或者由用户根据自身的习惯进行配置。

20.根据权利要求12或13所述的方法，其中，对于辅助软件，氛围渲染单元适于根据3D构图软件作品的色彩、光的来源对其进行渲染。

21.根据权利要求12或13所述的方法，其中，在家居装饰中，氛围渲染单元检测出房间内各个位置的光的强弱、色彩，并根据其分布位置及变化对其进行实时渲染。

22.根据权利要求12或13所述的方法，其中，在图片浏览方面，在正常的图片预览时，氛围渲染单元适于对下一张图片或上一张图片进行渲染，其渲染效果根据下一张或上一张图片的色彩特点，下一张对应的渲染区域在图片显示区域的右侧方向，上一张对应的渲染区域在图片显示区域的左侧方向。

23.根据权利要求12或13所述的方法，其中，针对图片信息进行处理时，氛围渲染单元实时检测图片信息的变化，并在检测到变化后对变化后的图片进行渲染。