[go: up one dir, main page]

CN112256827A - 一种手语翻译方法、装置、计算机设备及存储介质 - Google Patents

一种手语翻译方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112256827A
CN112256827A CN202011122840.7A CN202011122840A CN112256827A CN 112256827 A CN112256827 A CN 112256827A CN 202011122840 A CN202011122840 A CN 202011122840A CN 112256827 A CN112256827 A CN 112256827A
Authority
CN
China
Prior art keywords
translation
data
sign language
model group
translation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011122840.7A
Other languages
English (en)
Inventor
洪振厚
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011122840.7A priority Critical patent/CN112256827A/zh
Priority to PCT/CN2020/134561 priority patent/WO2021179703A1/zh
Publication of CN112256827A publication Critical patent/CN112256827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种手语翻译方法、装置、计算机设备及存储介质，涉及手语翻译领域。本发明可对不同区域的聋哑人士的手语进行翻译，通过获取用户发送的携带区域信息的手语数据，根据区域信息选择与所述区域信息关联的翻译模型组，从而针对不同区域的聋哑人士，采用相应的翻译模型，提高了翻译结果的准确性；采用翻译模型组对所述手语数据进行翻译，并获取翻译数据，从而实现聋哑人士和普通人的无障碍交流。

Description

一种手语翻译方法、装置、计算机设备及存储介质
技术领域
本发明涉及手语翻译领域，尤其涉及一种手语翻译方法、装置、计算机设备及存储介质。
背景技术
随着我国残疾人事业的发展，聋哑人参与社会的需求也在不断增强。近些年，随着语言学，计算机科学，图形图像学，机械精细化等各个学科的相关研究的不断完善，国内外对手语翻译系统的研究也在不断深入，市场上也出现了许多便携式手语语音互译设备，比如手语让不懂手语的人也能与使用手语的残障人士顺畅沟通，方便了听障人士与普通人的日常沟通，这些研究主要集中在基于视觉手语翻译器。
基于视觉手语翻译器的主要工作过程是：通过图像采集设备采集手部关键点动作，进而获得手势数据，再将手语成可视化的文字或通过语音软件将朗读出来，反之将正常人的语言转化为文字就可以实现双方沟通。现有的视觉手语翻译器虽然将手语识别和手语合成结合起来，实现对手语数据的翻译，然而不同国家或地区采用不同的手语标准，手语的姿势也不是统一的，现有技术中的手语翻译系统忽略用户个体差异性和地区差异性的问题，导致在使用智能手语翻译设备对手语进行识别的过程中出现误识别的情况，干扰了聋哑人与正常人之间的交流。也会存在因为地区差异性导致的手语翻译结果不准确的问题。
综上所述，现有的手语翻译装置主要存在：不同区域的手语动作的差异性，导致手势识别精度低、翻译准确度不够的问题。
发明内容
针对现有的手语翻译设备存在的不同区域的手语动作的差异性，导致手势识别精度低、翻译准确度不够的问题，现提供一种旨在提高针对不同区域的手语翻译结果的精度的基于一种手语翻译方法、装置、计算机设备及存储介质。
为实现上述目的，本发明提供一种手语翻译方法，包括：
获取用户发送的携带区域信息的手语数据；
根据所述区域信息选择与预设区域范围关联的翻译模型组；
其中，每一所述翻译模型组关联一预设区域范围，所述翻译模型组包括至少两个翻译模型；
采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
将所述翻译数据转换为音频数据。
优选的，根据所述区域信息选择与预设区域范围关联的翻译模型组，包括：
将所述区域信息与多个预设区域范围进行匹配，以获取与所述区域信息匹配的所述预设区域范围；
获取与所述预设区域范围关联的所述翻译模型组。
优选的，根据所述区域信息选择与所述区域信息关联的翻译模型组，之前还包括：
获取与所述区域信息关联的训练样本集合和与区域信息关联的测试样本集合；
采用所述训练样本集合对初始分类模型组中的每一个初始分类模型分别进行训练；
采用所述测试样本集合对训练后的每一个所述初始分类模型进行测试，若测试结果符合预设要求，则将训练后的所述初始分类模型作为翻译模型；
每一个与所述区域信息关联的翻译模型组包括多个所述翻译模型。
优选的，采用所述翻译模型组对所述手语数据进行翻译，获取翻译数据，包括：
分别采用所述翻译模型组中的每一个翻译模型对所述手语数据进行翻译，以获取语义概率；
将所有所述语义概率中最高的语义概率对应的语义数据作为翻译数据。
优选的，采用所述翻译模型组中的每一个翻译模型对所述手语数据进行翻译，以获取语义概率，包括：
所述手语数据包括EMG信号；
提取所述手语数据中的EMG信号，采用算分平均的方式对所述EMG信号进行降噪，并对降噪后的信号进行切割以获取特征数据；
将所述特征数据输入所述翻译模型，通过所述翻译模型对所述特征数据进行识别以获取所述语义概率。
优选的，所述将所述翻译数据转换为音频数据，其特征在于，包括：
将所述翻译数据映射到预设手语语音库，获取与所述翻译数据匹配的音频数据；
其中，所述预设手语语音库包括：翻译数据及与所述翻译数据关联的音频数据。
优选的，所述将所述翻译数据转换为音频数据，其特征在于，包括：
识别所述翻译数据的语义信息，采用语音转换器将所述语义信息转换为所述音频数据。
为实现上述目的，本发明还提供了一种手语翻译装置，包括：
获取单元，用于获取用户发送的携带区域信息的手语数据；
模型选择单元，根据所述区域信息选择与预设区域范围关联的翻译模型组；
翻译单元，用于采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
转换单元，用于将所述翻译数据转换为音频数据。
为实现上述目的，本发明还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时上述方法的步骤。
本发明提供的一种手语翻译方法、装置、计算机设备及存储介质，可用于对不同区域的聋哑人士的手语进行翻译，通过获取用户发送的携带区域信息的手语数据，根据区域信息选择与所述区域信息关联的翻译模型组，从而针对不同区域的聋哑人士，采用相应的翻译模型，提高了翻译结果的准确性；采用翻译模型组对所述手语数据进行翻译，并获取翻译数据，从而实现聋哑人士和普通人的无障碍交流。
附图说明
图1为本发明所述的手语翻译方法的一种实施例的流程图；
图2为本发明在根据所述区域信息选择与预设区域范围关联的翻译模型组之前一种实施例的方法流程图；
图3为本发明采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据的一种实施例的方法流程图；
图4为本发明采用所述翻译模型组中的每一个翻译模型对所述手语数据进行翻译，以获取语义概率一种实施例的方法流程图；
图5为本发明所述的手语翻译装置的一种实施例的模块图；
图6为本发明所述的计算机设备一实施例的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提供的一种手语翻译方法、装置、计算机设备及存储介质，适用于智能医疗业务领域。本发明可用于对不同区域的聋哑人士的手语进行翻译，通过获取用户发送的携带区域信息的手语数据，根据区域信息选择与所述区域信息关联的翻译模型组，从而针对不同区域的聋哑人士，采用相应的翻译模型，提高了翻译结果的准确性；采用翻译模型组对所述手语数据进行翻译，并获取翻译数据，从而实现聋哑人士和普通人的无障碍交流。
实施例一
请参阅图1，本实施例的一种手语翻译方法，包括以下步骤：
S1.获取用户发送的携带区域信息的手语数据；
在本步骤中，所述区域信息为用户(听障人士)的位置信息，所述位置信息可以包括定位信息、归属地信息。所述位置信息可以通过用户使用的移动终端中的定位模块获取，区域信息可以是用户的归属地的信息，根据该位置信息区分用户使用的手语区域(如：不同的国家或地区)。定位信息可以是用户当前的所在位置，如根据智能终端中的定位模块定位获取的信息。归属地信息可以是用户的户籍地信息，也可以是用户自行填写的信息。
所述手语数据可以通过手环、臂环等传感器捕捉肌肉在静止或收缩时产生微弱电流所形成的生物电信号，这些传感器是由导电纱制成的可以捕捉手的动作和相应手指的位置，而这些动作和位置代表手语中的字母、数字、单词和短语，手环装置可以将手指的运动转化为电信号然后发送到手环上的电路板上，该电路板可以将信号无线传输到智能手机上等移动终端设备，生成了手语数据。
S2.根据所述区域信息选择与预设区域范围关联的翻译模型组；
其中，每一所述翻译模型组关联一预设区域范围，所述翻译模型组包括至少两个翻译模型。
进一步地，所述步骤S2包括：
S21.将所述区域信息与多个预设区域范围进行匹配，以获取与所述区域信息匹配的所述预设区域范围；
在本实施例中，每个翻译模型组关联一预设区域范围，不同的预设区域范围之间不互相重叠，不同的预设区域范围对应不同的翻译模型组，可采用数据库存储翻译模型组。本实施例中的手语数据携带有区域信息，在对来自不同区域的手语数据进行翻译的时候，可根据手语数据对应的区域信息，查询数据库，以选择与该区域信息相匹配的预设区域范围。
S22.获取与所述预设区域范围关联的所述翻译模型组。
在本实施例中，根据该预设区域范围确定相应的翻译模型组，从而采用翻译模型组中相对应的翻译模型对手语数据进行翻译。区域信息为用户(听障人士)的位置信息，所述位置信息可以包括定位信息、归属地信息。
作为举例而非限定，当手语数据携带的区域信息为四川省时，根据该区域信息从数据库中选择与四川省相匹配的翻译模型对手语数据进行翻译；当手语数据携带的区域信息为江苏省时，根据该区域信息从数据库中选择与江苏省相匹配的翻译模型对手语数据进行翻译，依此类推。
需要说明的是：如果存储翻译模型组的数据库中不存在与区域信息相匹配的翻译模型，则对翻译模型进行训练，并将训练好的模型组存储到数据库中，对数据库的翻译模型组进行更新，从而可以对来自不同区域的手语数据有更好的翻译模型的匹配，以获得翻译准确度更高的、针对性更强的手语翻译结果。
其中，所述翻译模型组可以是将初始分类模型组进行训练得到的，也可以是事先训练好的翻译模型组。
进一步地，在所述步骤S2之前还包括(参考图2所示)：
A1.获取与区域信息关联的训练样本集合和与区域信息关联的测试样本集合；
在本步骤中，练样本集合是用于发现和预测潜在关系的一组数据，包括没有进行手语动作语义标记的手语数据，测试样本集合是用于评估预测关系强度和效用的一组数据，包括进行手语动作语义标记的手语数据。
其中，标记方式可以采用人工标记的方式对手语动作语义进行标记。
A2.采用所述训练样本集合对初始分类模型组中的每一个初始分类模型分别进行训练；
在本步骤中，可以由来自不同区域的多个不同性别及年龄段的用户根据手机提示针对同一手语姿势演示不同情绪状态下的动作，通过手环、臂环等传感器捕捉肌肉在静止或收缩时产生微弱电流所形成的生物电信号，获取手语数据，通过初始分类模型，对获取的手语数据进行翻译，并通过反馈机制，对翻译的结果进行反馈和更新，并生成相应的手语翻译库。例如通过传感器捕捉到的手语动作的实际语义是“便利店在哪里”，通过初始分类模型，对手语语义进行翻译，如果翻译的结果同样是“便利店在哪里”，则不进行更新和反馈，生成相应的存有此语义的手语翻译库，如果翻译的结果不是“便利店在哪里”，则将错误的翻译结果进行反馈，并对初始分类模型进行更新。
其中，在初始分类模型组的训练阶段，训练样本的来源可以由同一区域(社区)的用户提供，同时，在利用训练集合进行模型的训练过程中，只有训练集合可用。测试集合仅在对得到的模型进行准确度测试的时候可用。测试集合是独立于训练集合，但是遵循与训练集合中数据相同的概率分布的一组数据。
A3.采用所述测试样本集合对训练后的每一个所述初始分类模型进行测试，若测试结果符合预设要求，则将训练后的所述初始分类模型作为翻译模型；
在本步骤中，测试结果是指利用初始分类模型对手语数据进行翻译的结果，可以采用测试样本集合中的进行了语义标记的手语数据对初始翻译模型的翻译准确率进行测试，例如，测试样本集合中有100组手语数据，通过手语初始翻译模型分别对100组手语数据进行测试，若测试结果的准确率大于等于90％，则判断该初始翻译模型符合预设要求，将训练好的初始分类模型作为翻译的模型。
A4.每一个与所述区域信息关联的翻译模型组包括多个所述翻译模型；
在本实施例中，所述翻译模型选择以下至少两种模型：
长短期记忆模型，门控循环单元模型，序列到序列模型。
长短期记忆模型(Long-Short Term Memory)是一种可以应用于语音识别、语言建模、翻译的一种特殊的递归神经网络(Recurrent Neural Network,RNN)，在传统的RNN中，在训练过程中，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆，因此长短期记忆模型被提出；传统的神经网络做不到信息的时序关联。例如，当输入的手语数据的语义是“你好”，传统的经过训练的可以进行手语翻译的神经网络模型，虽然翻译的结果可以是“你好”，但是没有记忆效果，不能生产特定的手语翻译库，不能对未来同样的手语数据进行正确的翻译，即传统的神经网络做不到根据之前的判断事件来推理得到下一个事件，因此长短期记忆模型的网络结构中存在回环，使得之前的训练信息得以保留，虽然传统的递归神经网络(RNN)也可以解决这一问题，但是长短期记忆模型的性能要更好，因此被选做翻译模型。
门控循环单元(Gated Recurrent Unit，简称GRU)是一种常用的门控循环神经网络，是长短期记忆模型的一个变体，门控循环单元保持了长短期记忆模型的效果同时又使结构更加简单，处理速度快，所以它也非常流行，因此本方案中选择此模型作为训练的翻译模型。
序列到序列模型(Sequence-To-Sequenc，Seq2Seq)在翻译、语音识别等任务上同样具有良好的性能，可以对语音数据、文本数据、视频数据等一系列具有连续关系的数据进行很好的处理，其联合了两个循环神经网络。一个神经网络负责接收源句子，另一个循环神经网络负责将句子输出成翻译的语言。这两个过程分别称为编码和解码的过程，通过编码解码的过程，在实际对翻译模型进行训练的过程中，通过使用该模型可以避免错误累计的情况。
S3.采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
在本步骤中，针对来自不同区域的手语数据，通过训练好的翻译模型，对输入的不同来自不同区域的手语数据进行翻译，获取准确的翻译结果，并生成相应特定的手语翻译库，提高针对不同区域的手语数据翻译结果的准确率，避免了不同区域手语动作相同，手语语音不同的问题。
进一步地，参阅图3所示，所述步骤S3可包括：
S31.分别采用所述翻译模型组中的每一个翻译模型对所述手语数据进行翻译，以获取语义概率；
在本步骤中，对所述手语数据进行翻译是指对获取的同一手语语义的手语数据，分别采用模型组中的每一个模型，分别进行翻译，并分别获取翻译结果。
S32.将所有所述语义概率中最高的语义概率对应的语义数据作为翻译数据。
在本步骤中，是将分别获取的同一手语语义的翻译结果进行对比，例如通过不同的翻译模型分别获取的语义概率分别是90％、92％、95％，则选择语义概率为95％的语义数据作为翻译数据。
进一步地，在所述步骤S31可包括(参考图4所示)：
S311.提取所述手语数据中的EMG信号，采用算分平均的方式对所述EMG信号进行降噪，并对降噪后的信号进行切割以获取特征数据；
具体地，在本实施例中，确定所述EMG信号的起始点和终点，对所述EMG信号进行算分平均，在对经算法平均后的信号进行db12小波变换降噪；识别信号是否在预设阈值范围内，若是，则该信号为活动段(若信号高于起始阈值且低于偏移阈值则视为活动段)，提取活动段对应的特征数据。
S312.将所述特征数据输入所述翻译模型，通过所述翻译模型对所述特征数据进行识别以获取所述语义概率；
在本步骤中，在完成通过翻译模型对手语数据特征提取的任务后，最后输出为表示当前手语语义的概率，其中所述翻译模型可以是长短期记忆模型，门控循环单元模型，序列到序列模型。例如翻译模型具体可以是长短期记忆模型，同时，由于长短期记忆模型本身被用来训练根据训练样本集合中的手语数据，判断当前手语数据的特征，最后输出为表示当前手语语义的概率，最后利用这些条件随机模型替换通过传统的特征提取函数获取当前数据的某个特征的概率的步骤，因此也缓解了条件随机场模型对于人工提供的特征提取函数和翻译结果相关性的依赖问题。
S4.将所述翻译数据转换为音频数据。
在本步骤中，可以采用TTS(Text to speech)文字转语音技术来完成翻译数据到音频数据的转换。
进一步地，所述步骤S4可以包括：
将所述翻译数据映射到预设手语语音库，获取与所述翻译数据匹配的音频数据；
其中，所述预设手语语音库包括：翻译数据及与所述翻译数据关联的音频数据。
在本实施例中，通过预设手语语音库存储音频数据。
需要强调的是，为进一步保证上述音频数据的私密和安全性，上述音频数据还可以存储于一区块链的节点中。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本实施例中，可以将获取的手语语音库反馈给不同区域的用户，或者存在云端，由有需求的用户自行下载。所述音频数据可以是手语语音库里面的数据，也可以是根据翻译数据获得的音频数据。
其中，可将数据音频以手语翻译设备自带的发音模块，通过发音语音的方式展示出来。如音频数据代表的文字含义是“便利店在哪里”，利用发音模块将音频数据朗读出来，供聋哑人士与普瑞人的正常沟通。
进一步地，所述步骤S4还可以包括：
识别所述翻译数据的语义信息，采用语音转换器将所述语义信息转换为所述音频数据。
在本实施例中，可以采用自然语言处理技术(简称NLP)对所述翻译数据的语义信息进行处理，所述翻译数据的语义信息可以是文字信息，所述文字信息可以是一句话，也可以是一个词语。通过句法语义分析，对翻译数据的语义信息进行句法分析、多义词消歧，获取准确率高的完整语义信息。例如翻译数据的语义信息是“你好我想请问一下便利店在哪里谢谢你”，通过采用自然语言处理技术进行处理之对翻译数据的语义信息进行处理后，可以获取“你好，我想请问一下，便利店在哪里，谢谢你”的语义信息，该语义信息的表述更清晰。所述语音转换器采用TTS(Text to speech)文字转语音技术，来完成翻译数据到音频数据的转换，以便实现聋哑人士和普通人士的无障碍沟通。
在本实施例中，手语翻译方法可用于对不同区域的聋哑人士的手语进行翻译，通过获取用户发送的携带区域信息的手语数据，根据区域信息选择与所述区域信息关联的翻译模型组，从而针对不同区域的聋哑人士，采用相应的翻译模型，提高了翻译结果的准确性；采用翻译模型组对所述手语数据进行翻译，并获取翻译数据，从而实现聋哑人士和普通人的无障碍交流。
实施例二
请参阅图5，本实施例的一种翻译装置1，包括：获取单元11、模型选择单元12、翻译单元13、转换单元14，其中：
获取单元11，用于获取用户发送的携带区域信息的手语数据；
所述区域信息为用户(听障人士)的位置信息，所述位置信息可以包括定位信息、归属地信息。所述位置信息可以通过用户使用的移动终端中的定位模块获取，区域信息可以是用户的归属地的信息，根据该位置信息区分用户使用的手语区域(如：不同的国家或地区)。所述手语数据可以通过手环、臂环等传感器捕捉肌肉在静止或收缩时产生微弱电流所形成的生物电信号，并将所述信号发送到手机等移动终端，生成手语数据。
模型选择单元12，用于根据所述区域信息选择与预设区域范围关联的翻译模型组；
本实施例中，所述翻译模型组可以是将初始分类模型组进行训练得到的，也可以是事先训练好的翻译模型组。在根据所述区域信息选择与所述区域信息关联的翻译模型组之前还包括：
获取与所述区域信息关联的训练样本集合和与区域信息关联的测试样本集合；
采用所述训练样本集合对初始分类模型组中的每一个初始分类模型分别进行训练；
采用所述测试样本集合对训练后的每一个所述初始分类模型进行测试，若测试结果符合预设要求，则将训练后的所述初始分类模型作为翻译模型；
每一个与所述区域信息关联的翻译模型组包括多个所述翻译模型。
翻译单元13，用于采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
所述翻译模型选择以下至少两种模型：长短期记忆模型，门控循环单元模型，序列到序列模型。针对来自不同区域的手语数据，通过训练好的翻译模型，对输入的不同来自不同区域的手语数据进行翻译，获取准确的翻译结果，并生成相应特定的手语翻译库，提高针对不同区域的手语数据翻译结果的准确率。
转换单元14，用于将所述翻译数据转换为音频数据；
可以采用TTS(Text To Speech)文字转语音技术来完成翻译数据到音频数据的转换，可将数据音频以手语翻译设备自带的发音模块，通过发音语音的方式展示出来，利用发音模块将音频数据朗读出来，供聋哑人士与普瑞人的正常沟通。
在本实施例中，可用于对不同区域的聋哑人士的手语进行翻译，通过获取用户发送的携带区域信息的手语数据，根据区域信息选择与所述区域信息关联的翻译模型组，从而针对不同区域的聋哑人士，采用相应的翻译模型，提高了翻译结果的准确性；采用翻译模型组对所述手语数据进行翻译，并获取翻译数据，从而实现聋哑人士和普通人的无障碍交流。
实施例三
为实现上述目的，本发明还提供一种计算机设备2，该计算机设备2包括多个计算机设备2，实施例二的手语翻译装置1的组成部分可分散于不同的计算机设备2中，计算机设备2可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备2至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器23、网络接口22以及手语翻译装置1(参考图6)。需要指出的是，图6仅示出了具有组件-的计算机设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例一的手语翻译方法的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器23在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器23通常用于控制计算机设备2的总体操作例如执行与所述计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器23用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述的手语翻译装置1等。
所述网络接口22可包括无线网络接口或有线网络接口，该网络接口22通常用于在所述计算机设备2与其他计算机设备2之间建立通信连接。例如，所述网络接口22用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件21-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述手语翻译装置1还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器23)所执行，以完成本发明。
实施例四
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器23执行时实现相应功能。本实施例的计算机可读存储介质用于存储手语翻译装置1，被处理器23执行时实现实施例一的手语翻译方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种手语翻译方法，其特征在于，包括：
获取用户发送的携带区域信息的手语数据；
根据所述区域信息选择与预设区域范围关联的翻译模型组；
其中，每一所述翻译模型组关联一预设区域范围，所述翻译模型组包括至少两个翻译模型；
采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
将所述翻译数据转换为音频数据。
2.根据权利要求1所述的手语翻译方法，其特征在于，根据所述区域信息选择与预设区域范围关联的翻译模型组，包括：
将所述区域信息与多个预设区域范围进行匹配，以获取与所述区域信息匹配的所述预设区域范围；
获取与所述预设区域范围关联的所述翻译模型组。
3.根据权利要求1所述的手语翻译方法，其特征在于，根据所述区域信息选择与所述区域信息关联的翻译模型组，之前还包括：
获取与所述区域信息关联的训练样本集合和与区域信息关联的测试样本集合；
采用所述训练样本集合对初始分类模型组中的每一个初始分类模型分别进行训练；
采用所述测试样本集合对训练后的每一个所述初始分类模型进行测试，若测试结果符合预设要求，则将训练后的所述初始分类模型作为翻译模型；
每一个与所述区域信息关联的翻译模型组包括多个所述翻译模型。
4.根据权利要求1所述的手语翻译方法，其特征在于，采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据，包括：
分别采用所述翻译模型组中的每一个所述翻译模型对所述手语数据进行翻译，以获取语义概率；
将所有所述语义概率中最高的语义概率对应的语义数据作为翻译数据。
5.根据权利要求4所述的手语翻译方法，其特征在于，采用所述翻译模型组中的每一个翻译模型对所述手语数据进行翻译，以获取语义概率，包括：
所述手语数据包括EMG信号；
提取所述手语数据中的EMG信号，采用算分平均的方式对所述EMG信号进行降噪，并对降噪后的信号进行切割以获取特征数据；
将所述特征数据输入所述翻译模型，通过所述翻译模型对所述特征数据进行识别以获取所述语义概率。
6.根据权利要求1所述的手语翻译方法，将所述翻译数据转换为音频数据，其特征在于，包括：
将所述翻译数据映射到预设手语语音库，获取与所述翻译数据匹配的音频数据；
其中，所述预设手语语音库包括：翻译数据及与所述翻译数据关联的音频数据。
7.根据权利要求1所述的手语翻译方法，将所述翻译数据转换为音频数据，其特征在于，包括：
识别所述翻译数据的语义信息，采用语音转换器将所述语义信息转换为所述音频数据。
8.一种手语翻译装置，其特征在于，包括：
获取单元，用于获取用户发送的携带区域信息的手语数据；
模型选择单元，根据所述区域信息选择与预设区域范围关联的翻译模型组；
翻译单元，用于采用所述翻译模型组中的所述翻译模型对所述手语数据进行翻译，获取翻译数据；
转换单元，用于将所述翻译数据转换为音频数据。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202011122840.7A 2020-10-20 2020-10-20 一种手语翻译方法、装置、计算机设备及存储介质 Pending CN112256827A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011122840.7A CN112256827A (zh) 2020-10-20 2020-10-20 一种手语翻译方法、装置、计算机设备及存储介质
PCT/CN2020/134561 WO2021179703A1 (zh) 2020-10-20 2020-12-08 一种手语翻译方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122840.7A CN112256827A (zh) 2020-10-20 2020-10-20 一种手语翻译方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112256827A true CN112256827A (zh) 2021-01-22

Family

ID=74244342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122840.7A Pending CN112256827A (zh) 2020-10-20 2020-10-20 一种手语翻译方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112256827A (zh)
WO (1) WO2021179703A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780013A (zh) * 2021-07-30 2021-12-10 阿里巴巴（中国）有限公司 一种翻译方法、设备和可读介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067362A (zh) * 2021-11-16 2022-02-18 平安普惠企业管理有限公司 基于神经网络模型的手语识别方法、装置、设备及介质
CN114157920B (zh) * 2021-12-10 2023-07-25 深圳Tcl新技术有限公司 一种展示手语的播放方法、装置、智能电视及存储介质
CN115546897A (zh) * 2022-10-19 2022-12-30 维沃移动通信有限公司 手语识别方法、装置、电子设备及可读存储介质
CN120808449B (zh) * 2025-09-15 2025-12-23 果不其然无障碍科技(苏州)有限公司 一种基于眼动追踪的手语关键区域数据集构建方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295603A (zh) * 2016-08-18 2017-01-04 广东技术师范学院 汉语手语双向翻译系统、方法和装置
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法
WO2017161741A1 (zh) * 2016-03-23 2017-09-28 乐视控股（北京）有限公司 聋哑人进行信息交流的方法、装置及智能终端
CN109214347A (zh) * 2018-09-19 2019-01-15 北京因时机器人科技有限公司 一种跨语种的手语翻译方法、装置和移动设备
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法
CN109960814A (zh) * 2019-03-25 2019-07-02 北京金山数字娱乐科技有限公司 模型参数搜索方法以及装置
CN110008839A (zh) * 2019-03-08 2019-07-12 西安研硕信息技术有限公司 一种自适应手势识别的智能手语交互系统及方法
CN110413106A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于语音和手势的增强现实输入方法及系统
CN110992783A (zh) * 2019-10-29 2020-04-10 东莞市易联交互信息科技有限责任公司 一种基于机器学习的手语翻译方法及翻译设备
CN111354246A (zh) * 2020-01-16 2020-06-30 浙江工业大学 一种用于帮助聋哑人交流的系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282377B2 (en) * 2007-05-31 2016-03-08 iCommunicator LLC Apparatuses, methods and systems to provide translations of information into sign language or other formats
CN110210721B (zh) * 2019-05-14 2023-11-21 株洲手之声信息科技有限公司 一种远程手语在线翻译客服分配方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161741A1 (zh) * 2016-03-23 2017-09-28 乐视控股（北京）有限公司 聋哑人进行信息交流的方法、装置及智能终端
CN106295603A (zh) * 2016-08-18 2017-01-04 广东技术师范学院 汉语手语双向翻译系统、方法和装置
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法
CN109214347A (zh) * 2018-09-19 2019-01-15 北京因时机器人科技有限公司 一种跨语种的手语翻译方法、装置和移动设备
CN110008839A (zh) * 2019-03-08 2019-07-12 西安研硕信息技术有限公司 一种自适应手势识别的智能手语交互系统及方法
CN109960814A (zh) * 2019-03-25 2019-07-02 北京金山数字娱乐科技有限公司 模型参数搜索方法以及装置
CN110413106A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于语音和手势的增强现实输入方法及系统
CN110992783A (zh) * 2019-10-29 2020-04-10 东莞市易联交互信息科技有限责任公司 一种基于机器学习的手语翻译方法及翻译设备
CN111354246A (zh) * 2020-01-16 2020-06-30 浙江工业大学 一种用于帮助聋哑人交流的系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780013A (zh) * 2021-07-30 2021-12-10 阿里巴巴（中国）有限公司 一种翻译方法、设备和可读介质

Also Published As

Publication number Publication date
WO2021179703A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
US10977452B2 (en) Multi-lingual virtual personal assistant
CN112256827A (zh) 一种手语翻译方法、装置、计算机设备及存储介质
CN110795543B (zh) 基于深度学习的非结构化数据抽取方法、装置及存储介质
US10438586B2 (en) Voice dialog device and voice dialog method
CN115036022B (zh) 健康风险评估方法和评估系统、计算机设备、存储介质
Hezarjaribi et al. Speech2Health: a mobile framework for monitoring dietary composition from spoken data
CN111274797A (zh) 用于终端的意图识别方法、装置、设备及存储介质
CN111695338A (zh) 基于人工智能的面试内容精炼方法、装置、设备及介质
CN109492221B (zh) 一种基于语义分析的信息回复方法及可穿戴设备
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
WO2023029501A1 (zh) 智能问诊方法、装置、电子设备及存储介质
CN107832720A (zh) 基于人工智能的信息处理方法和装置
CN115186080A (zh) 一种智能问答数据处理方法、系统、计算机设备及介质
CN114067362A (zh) 基于神经网络模型的手语识别方法、装置、设备及介质
CN120472884A (zh) 方言识别模型的训练方法及装置、方言识别方法
CN119739817A (zh) 智能对话方法、装置、计算机设备、存储介质及产品
CN115132182B (zh) 一种数据识别方法、装置、设备及可读存储介质
CN115982343B (zh) 摘要生成方法、训练摘要生成模型的方法及装置
HK40043402A (zh) 一种手语翻译方法、装置、计算机设备及存储介质
CN114913995B (zh) 自助就诊方法、装置、设备及存储介质
CN116702743A (zh) 文本相似度检测方法和装置、电子设备及存储介质
CN116189663A (zh) 韵律预测模型的训练方法和装置、人机交互方法和装置
CN113988214A (zh) 一种基于语音识别结果的相似用户推荐方法及装置
CN119692368B (zh) 一种语音翻译方法、系统和相关装置
CN119296817B (zh) 问诊回复话术推荐方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043402

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122