公开(公告)号：CN115995121A

公开(公告)日：2023-04-21

申请号：CN202211367427.6

申请日：2022-11-02

Applicant: 吉林大学

Inventor： 温泉 ,  边钦 ,  许秋阳 ,  赵柏富 ,  霍寅虎 ,  栾星

IPC: G06V40/70 ,  G06V10/80 ,  G06V40/14 ,  G06V40/12 ,  G06V10/82 ,  G06V10/774 ,  G06V10/764

Abstract: 本发明涉及一种基于attention模块的多模态的生物识别方法，属于计算机生物识别领域。包括数据采集和预处理阶段、神经网络模型训练和验证阶段、attention模块特征融合阶段和部署应用阶段。优点是采用多模态生物特征进行身份识别，弥补了单个模态上生物特征不充分和单模态生物特征不安全的问题，多模态之间进行相互影响，有助于提取到更加全面有效的生物特征，提取方法中采用arcloss函数作为损失函数，相较于softmax loss损失函数，提升了模型识别率，基于特征层融合的过程中采用attention机制的思想，具有更好的特征融合性能，同时相较于传统的给每一个模态的特征学习一个权重，然后将特征进行加权级联，这样使每一个模态的特征都能更好的发挥作用。

公开(公告)号：CN115830295A

公开(公告)日：2023-03-21

申请号：CN202211461800.4

申请日：2022-11-17

Applicant: 吉林大学

Inventor： 温泉 ,  赵柏富 ,  边钦 ,  许秋阳 ,  胡兴军 ,  霍寅虎

IPC: G06V10/20 ,  G06V10/54 ,  G06T7/90 ,  G06N3/08 ,  G06N3/084 ,  G06F17/16 ,  G06F17/13 ,  G06T5/00 ,  G06V10/82 ,  G06V10/80

Abstract: 本发明涉及一种基于多元融合触觉再现的纸币数字防伪方法，属于信息安全和人机交互的交叉领域。包括触觉特征的提取，采用BP神经网络模型将触觉特征“配方”化，用户的解密，将得到的渲染模型信息和配方信息发送到触觉特征渲染单元中，将配方信息中的权重分配到渲染模型信息，得到有权重的渲染模型信息，再将得到的有权重的渲染模型信息发送到信号驱动单元，得到可以在触觉交互界面实现触觉再现的触觉驱动信号，实现触觉再现的功能，从而实现多元融合的触觉防伪。有益效果是提出一种基于形状、纹理、温度等触觉融合的“配方”，给用户最真的裸指触觉反馈，可应用在数字人民币的防伪、数字专辑的真伪、数字车票的真伪等方向。

公开(公告)号：CN113408459B

公开(公告)日：2022-08-30

申请号：CN202110730524.6

申请日：2021-06-29

Applicant: 吉林大学

Inventor： 温泉 ,  许秋阳 ,  文皓 ,  许李灿 ,  边钦 ,  胡兴军

IPC: G06V20/59 ,  G06V40/20 ,  G06V40/16 ,  G10L15/22 ,  G06N3/08

Abstract: 本发明涉及一种基于贝叶斯定理的车辆多模态交互方法，属于人机交互技术领域。根据驾驶员的语音、动作等多种交互方式进行检测输入，得到相关信息后，由贝叶斯分析推断用户的真实意图，将用户的真实意图输入反馈执行装置，经过相关处理后，以视觉、听觉、触觉等多种方式与用户进行反馈。有益效果是：通过采集声音和驾驶员行为信息两类信息综合得出结论，判断驾驶员的状态或者意图，相较于现有技术，这种数据采集方式可靠性更高，通过贝叶斯公式计算后得出的结果与实际情况更加接近，针对反馈执行装置，通过如语音提示、文字提示、震动等涵盖视觉听觉触觉的较为全面的反馈执行方式，为用户提供了更为精准的反馈。

公开(公告)号：CN115690887A

公开(公告)日：2023-02-03

申请号：CN202211429381.6

申请日：2022-11-15

Applicant: 吉林大学

Inventor： 温泉 ,  许秋阳 ,  霍寅虎 ,  边钦 ,  胡兴军 ,  任金东

IPC: G06V40/16 ,  G06V20/59 ,  G06V10/82 ,  G06V10/774 ,  G10L25/63

Abstract: 本发明涉及一种基于多模态网络的驾驶员情绪智能识别的方法，属于智慧交通技术领域。包括多模态情绪数据采集，数据预处理，搭建基于多模态网络的情绪识别网络模型，多模态情绪干预。优点是提出的多模态情绪识别网络模型综合多个模态信息进行识别判断，相比于单模态情绪识别，可一定程度下提高识别准确率；本发明提出的面部情绪识别模型在识别精度得到保障的情况下，实现了参数下降，大幅减少计算资源的消耗，提高识别速度；本发明提出的驾驶员情绪识别方法可降低因驾驶员的不良情绪导致交通事故的发生概率，同时可为智能驾驶座舱中的驾驶员意图推断做出贡献。

公开(公告)号：CN113408459A

公开(公告)日：2021-09-17

申请号：CN202110730524.6

申请日：2021-06-29

Applicant: 吉林大学

Inventor： 温泉 ,  许秋阳 ,  文皓 ,  许李灿 ,  边钦 ,  胡兴军

IPC: G06K9/00 ,  G10L15/22 ,  G06N3/08

Abstract: 本发明涉及一种基于贝叶斯定理的车辆多模态交互方法，属于人机交互技术领域。根据驾驶员的语音、动作等多种交互方式进行检测输入，得到相关信息后，由贝叶斯分析推断用户的真实意图，将用户的真实意图输入反馈执行装置，经过相关处理后，以视觉、听觉、触觉等多种方式与用户进行反馈。有益效果是：通过采集声音和驾驶员行为信息两类信息综合得出结论，判断驾驶员的状态或者意图，相较于现有技术，这种数据采集方式可靠性更高，通过贝叶斯公式计算后得出的结果与实际情况更加接近，针对反馈执行装置，通过如语音提示、文字提示、震动等涵盖视觉听觉触觉的较为全面的反馈执行方式，为用户提供了更为精准的反馈。