-
公开(公告)号:CN111338471B
公开(公告)日:2021-04-16
申请号:CN202010087802.6
申请日:2020-02-11
Applicant: 吉林大学
Abstract: 本发明涉及一种应用于融合静电力和空气压膜触觉再现装置的图像渲染方法,属于虚拟现实与人机交互领域。从图像的轮廓和纹理角度出发:首先建立切向触觉反馈力与静电力和空气压膜幅度之间的映射模型以及静电力的频率与感知粗糙度之间的感知模型,然后根据轮廓的梯度信息表示变化的快慢,呈现凹凸性,可表征图像的大体走势,建立切向触觉反馈力与图像轮廓的梯度信息之间的渲染模型;纹理的高度信息表征纹理表面的粗糙度,建立粗糙度感知强度与图像纹理的高度信息之间的模型,从而实现了图像轮廓和纹理的触觉再现,有效的提高了视觉对象触觉再现的真实感,更加的符合人类主观心理感受,使触觉再现效果更好。
-
公开(公告)号:CN108983985B
公开(公告)日:2021-02-05
申请号:CN201810978284.X
申请日:2018-08-24
Applicant: 吉林大学
IPC: G06F3/01
Abstract: 本发明涉及一种基于多元触觉反馈方式的盲文触觉再现装置和方法,属于人机交互领域。触觉反馈方式包括振动、静电力和空气压膜效应触觉反馈,可单向改变法向力、双向改变切向力。装置包括定位单元、处理单元、信号加载装置和交互单元。定位单元,用于获取手指位置信息并发送给处理单元;处理单元根据接收到的位置信息得到驱动触觉反馈信号的参数,并发送给信号加载装置;信号加载装置产生对应的驱动信号,同时驱动交互单元;交互单元可以改变手指受到的切向力和法向力,使手指感知多元触觉力作用。本发明采用多元触觉反馈方式,通过改变手指受到的不同触觉力再现特定六点制盲文,可有效地提高盲人阅读的效率和准确性。
-
公开(公告)号:CN108536280B
公开(公告)日:2021-01-01
申请号:CN201810093553.4
申请日:2018-01-30
Applicant: 吉林大学
IPC: G06F3/01
Abstract: 本发明涉及一种应用指垫的静电力和振动融合触觉再现装置及方法,属于人机交互领域。包括:定位单元、触觉处理单元和指垫单元,触觉再现方法是定位单元实时获取指垫在多媒体终端屏的位置信息,触觉处理单元对指垫的位置信息进行处理并产生静电力驱动信号幅度参数和振动驱动信号幅度参数,通过无线方式传输到指垫单元上,指垫单元将生成静电力驱动信号和振动驱动信号输入到静电屏和振动源中,分别产生静电力和振动,使手指皮肤发生变形,从而使用户手指感受到触觉反馈。本发明优点是:在平面交互的过程中,可同时改变手指受到的切向反馈力和法向反馈力,从而呈现更真实的触觉感受,可移植性好,可实现多点触觉反馈。
-
公开(公告)号:CN118916683A
公开(公告)日:2024-11-08
申请号:CN202411389473.5
申请日:2024-10-08
Applicant: 吉林大学
IPC: G06F18/213 , G06F18/214 , G06F18/24 , G06N3/042 , G06N3/0985 , G06F18/25
Abstract: 本发明属于人工智能的多模态讽刺检测技术领域,具体涉及一种基于联合注意力和图学习增强的多模态讽刺检测方法,包括:提取图像文本对的初始图像特征和初始文本特征;对所述初始图像特征和初始文本特征进行联合交叉注意力学习处理,获取联合注意力的图像特征和联合注意力的文本特征;利用图学习对所述联合注意力的文本特征进行增强;将增强后的文本特征和联合注意力的图像特征进行结合,利用结合后的特征预测讽刺倾向。本发明利用联合注意力机制以同时捕捉模态内与模态间的语义不一致性,利用图学习的方式使单模态内捕捉到的内在联系更好地融入到多模态信息当中,以解决多模态讽刺检测任务中的模态间讽刺信息不一致问题。
-
公开(公告)号:CN118395985B
公开(公告)日:2024-10-22
申请号:CN202410866352.9
申请日:2024-07-01
Applicant: 吉林大学
IPC: G06F40/295 , G06N3/042 , G06N3/0455 , G06N3/094 , G06N3/096
Abstract: 本发明公开了一种基于知识蒸馏与变分自编码器的命名实体识别方法,属于人工智能的自然语言处理技术领域,包括以下步骤:构建有偏数据集对BERT‑large模型进行训练,获得有偏模型,作为教师模型;构建含跨域实体的数据集,结合变分自编码器对BERT‑large模型进行训练,获得学生模型;获取教师模型的输出特征,并从学生模型的变分自编码器的映射空间中解耦出鲁棒性特征和非鲁棒性特征;基于知识蒸馏将非鲁棒性特征与教师模型的输出特征进行拟合,进一步解耦出学生模型中更加鲁棒的特征,基于解耦出的鲁棒性特征进行命名实体识别。本发明实现了对命名实体识别任务中捷径学习的有效缓解,提升了命名实体识别任务的准确性。
-
公开(公告)号:CN111291677B
公开(公告)日:2022-09-09
申请号:CN202010081104.5
申请日:2020-02-05
Applicant: 吉林大学
Abstract: 本发明涉及动态视频触觉特征提取及渲染的方法,属于虚拟现实与人机交互领域。包括解压缩处理接收到的视频,视频预处理,基于帧间的颜色直方图特征分割镜头,对分割后的每个镜头内的所有帧,提取融合了时空域触觉显著性特征的显著图,根据视频帧的显著图进行像素点级别的触觉渲染。本发明通过提取融合了时空特性的视频帧显著性特征,将视频内容区分为显著性区域以及非显著性区域。同时采用视觉通道和触觉通道的一一映射关系,对视频帧施加像素级的触觉刺激。通过终端产生实时的触觉反馈,丰富了用户观看视频的真实感体验。可以广泛地应用于视频教育、多媒体娱乐以及人机交互之中。(56)对比文件王党校等.计算机触觉: 虚拟现实环境的力触觉建模和生成《.计算机辅助设计与图形学学报》.2016,第28卷(第6期),第881-895页.Wang D等.Configuration-basedoptimization for six degree-of-freedomhaptic rendering for fine manipulation.《IEEE Transactions on Haptics》.2013,第6卷(第2期),第167-180页.
-
公开(公告)号:CN110032281B
公开(公告)日:2021-06-04
申请号:CN201910322023.7
申请日:2019-04-19
Applicant: 吉林大学
Abstract: 本发明涉及一种基于融合静电力与振动触觉再现装置的3D凸起渲染方法,属于虚拟现实与人机交互领域。根据深度图像获取深度信息,通过建立的心理物理模型用振动渲染法向的轮廓感;并由深度值计算梯度信息,根据建立的心理物理模型及IP0.625转换方法用静电力渲染切向凸起的轮廓变化,通过这种基于深度图像的3D凸起渲染方法对轮廓信息进行呈现。本发明根据深度图像的深度信息建立映射关系,能够实现同时对手指切向力和法向力的渲染,有更加真实的三维触觉再现效果。
-
公开(公告)号:CN111338471A
公开(公告)日:2020-06-26
申请号:CN202010087802.6
申请日:2020-02-11
Applicant: 吉林大学
Abstract: 本发明涉及一种应用于融合静电力和空气压膜触觉再现装置的图像渲染方法,属于虚拟现实与人机交互领域。从图像的轮廓和纹理角度出发:首先建立切向触觉反馈力与静电力和空气压膜幅度之间的映射模型以及静电力的频率与感知粗糙度之间的感知模型,然后根据轮廓的梯度信息表示变化的快慢,呈现凹凸性,可表征图像的大体走势,建立切向触觉反馈力与图像轮廓的梯度信息之间的渲染模型;纹理的高度信息表征纹理表面的粗糙度,建立粗糙度感知强度与图像纹理的高度信息之间的模型,从而实现了图像轮廓和纹理的触觉再现,有效的提高了视觉对象触觉再现的真实感,更加的符合人类主观心理感受,使触觉再现效果更好。
-
公开(公告)号:CN108983985A
公开(公告)日:2018-12-11
申请号:CN201810978284.X
申请日:2018-08-24
Applicant: 吉林大学
IPC: G06F3/01
CPC classification number: G06F3/016
Abstract: 本发明涉及一种基于多元触觉反馈方式的盲文触觉再现装置和方法,属于人机交互领域。触觉反馈方式包括振动、静电力和空气压膜效应触觉反馈,可单向改变法向力、双向改变切向力。装置包括定位单元、处理单元、信号加载装置和交互单元。定位单元,用于获取手指位置信息并发送给处理单元;处理单元根据接收到的位置信息得到驱动触觉反馈信号的参数,并发送给信号加载装置;信号加载装置产生对应的驱动信号,同时驱动交互单元;交互单元可以改变手指受到的切向力和法向力,使手指感知多元触觉力作用。本发明采用多元触觉反馈方式,通过改变手指受到的不同触觉力再现特定六点制盲文,可有效地提高盲人阅读的效率和准确性。
-
公开(公告)号:CN107943290A
公开(公告)日:2018-04-20
申请号:CN201711152967.1
申请日:2017-11-18
Applicant: 吉林大学
Abstract: 本发明涉及一种融合静电力与振动的触觉再现方法与装置,属于人机交互领域。包括:手指定位单元、触觉处理单元、触觉驱动单元和触觉呈现单元;手指定位单元获取手指的坐标信息,触觉处理单元提取视觉对象的视觉信息并进行渲染然后得到相应的触觉驱动信号参数,触觉驱动单元根据驱动信号参数产生相应的驱动信号,触觉呈现单元改变手指受到的切向力以及法向力,从而实现三维的触觉再现效果。其优点在于:在平面交互的过程中同时改变手指受到的切向力以及法向力,从而呈现更真实的三维触觉感受,并且装置的结构简单、容易实现、移植性好,可集成在各种多媒体终端上。
-
-
-
-
-
-
-
-
-