公开(公告)号：CN116736975B

公开(公告)日：2024-11-12

申请号：CN202310669957.4

申请日：2023-06-07

Applicant: 吉林大学

Inventor： 张利平 ,  李晓萌 ,  刘国红 ,  李春雨 ,  孙立悦 ,  何金其

IPC: G06F3/01 ,  G01N21/84 ,  G06V10/54 ,  G06V10/77 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明适用于触觉互联网技术领域，提供了一种基于堆栈式自动编码的力触觉信息的生成方法，本发明基于深度学习的图像特征提取方法，利用深度度卷积模型VGG16提取表面触觉图像的特征，并利用堆栈式自动编码的编码部分将从物理表面获取到的力触觉数据进行实时压缩，从原始力触觉信号中提取出维度远小于其自身的特征，并与上述提取出的表面材质的图像纹理特征相结合，然后在低维空间建立从表面材质的视觉纹理特征到触觉纹理特征的映射模型，获取到的表面材质的触觉纹理特征将通过解码器恢复为表面材质的触觉纹理信号。本发明很大程度上降低了触觉信息采集成本，解决了直接构建映射模型会带来参数量巨大、模型难以优化和运算时间长等问题。

公开(公告)号：CN116597171A

公开(公告)日：2023-08-15

申请号：CN202310670008.8

申请日：2023-06-07

Applicant: 吉林大学

Inventor： 张利平 ,  李晓萌 ,  马靖凯 ,  刘国红 ,  孙立悦 ,  何金其

IPC: G06V10/54 ,  G06V10/77 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明适用于触觉互联网技术领域，提供了一种基于联邦学习的表面材质触觉纹理特征获取方法，包括以下步骤：进行联邦学习；基于深度学习的图像特征提取方法，利用残差网络模型ResNet提取表面触觉图像的特征；联邦学习与堆栈式自动编码SAE结合提取触觉纹理特征，并选用平均联邦学习算法进行参数更新；联邦学习与门控循环网络GRU结合获取触觉纹理特征，并选用平均联邦学习算法进行参数更新；在训练结束后保存所有模型参数，最后通过映射模型获取触觉纹理特征并通过解码器重构触觉纹理信号。本发明解决了触觉互联网中由于用户数据量不足带来的模型性能退化问题，同时不需要用户将原始数据进行传输，从而保护用户的隐私和数据安全。

公开(公告)号：CN116630775A

公开(公告)日：2023-08-22

申请号：CN202310597443.2

申请日：2023-05-25

Applicant: 吉林大学

Inventor： 刘国红 ,  王浩明 ,  杨丽晶 ,  张利平 ,  何金其

IPC: G06V10/82 ,  G06V10/774 ,  G06V10/94 ,  G06V10/764 ,  G06V10/96 ,  G06N3/045 ,  G06N3/092 ,  G06N3/098

Abstract: 本发明适用于遥操作领域，提供了一种基于异步联邦学习和DDQN的表面材质分类方法，建立全局DDQN模型并初始化模型参数，并行地开启客户端调度和模型参数聚合进程，随机选择客户端触发训练并发送全局模型参数和通信轮次，对视触数据处理，构建DDQN环境，计算时间差分误差，更新模型参数，将参数传递到服务端，服务端利用聚合算法进行全局参数更新，再次选择进行训练的客户端，完成通信，并对复杂场景设计调度聚合算法。本发明在本地数据的大小和多样性方面均存在较大差异的情况下，也能让每个用户也都能训练出代表整个数据源的DDQN模型；用服务端和客户端通信时仅传输模型参数，不仅显著减少了通信数据量，而且保证了每个客户端的数据安全。

公开(公告)号：CN116958380A

公开(公告)日：2023-10-27

申请号：CN202310674512.5

申请日：2023-06-08

Applicant: 吉林大学

Inventor： 刘国红 ,  马靖凯 ,  李春雨 ,  杨丽晶 ,  张利平 ,  何金其

IPC: G06T15/04 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/0475 ,  G06N3/084

Abstract: 本发明适用于视觉图像信息到触觉信息的跨模态生成领域，提供了一种基于循环对抗生成网络的触觉纹理特征的生成方法，包括以下步骤：（1）进行数据预处理，将训练集和测试集中所有图像剪裁并将其灰度归一化，并将触觉的摩擦数据转化为二维的振幅谱图形式；（2）选择循环生成对抗网络作为整体网络架构,构建网络的生成模型跟判别模型；（3）循环对抗生成网络目标损失函数的构建；（4）网络训练优化与参数更新；（5）质量测试。此基于循环对抗生成网络的触觉纹理特征的生成方法，纹理图像容易采集且含有表面材质的物理特性，而循环生成对抗模型能够在不失真的条件下实现不同类型数据间的相互转换。从而实现高精度的触觉纹理特征获取。

公开(公告)号：CN116736975A

公开(公告)日：2023-09-12

申请号：CN202310669957.4

申请日：2023-06-07

Applicant: 吉林大学

Inventor： 张利平 ,  李晓萌 ,  刘国红 ,  李春雨 ,  孙立悦 ,  何金其

IPC: G06F3/01 ,  G01N21/84 ,  G06V10/54 ,  G06V10/77 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明适用于触觉互联网技术领域，提供了一种基于堆栈式自动编码的力触觉信息的生成方法，本发明基于深度学习的图像特征提取方法，利用深度度卷积模型VGG16提取表面触觉图像的特征，并利用堆栈式自动编码的编码部分将从物理表面获取到的力触觉数据进行实时压缩，从原始力触觉信号中提取出维度远小于其自身的特征，并与上述提取出的表面材质的图像纹理特征相结合，然后在低维空间建立从表面材质的视觉纹理特征到触觉纹理特征的映射模型，获取到的表面材质的触觉纹理特征将通过解码器恢复为表面材质的触觉纹理信号。本发明很大程度上降低了触觉信息采集成本，解决了直接构建映射模型会带来参数量巨大、模型难以优化和运算时间长等问题。