公开(公告)号：CN111881772A

公开(公告)日：2020-11-03

申请号：CN202010641629.X

申请日：2020-07-06

Applicant: 上海交通大学 ,  北京电子工程总体研究所

Inventor： 乐心怡 ,  李霏 ,  马国财 ,  方晓猛 ,  李钧正 ,  庞栋

IPC: G06K9/00 ,  G06N3/04 ,  B25J9/16

Abstract: 本发明提供了一种基于深度强化学习的多机械臂协同装配方法和系统，包括：多源异构传感网络由机械臂本体信息、六分力传感器信号和深度相机信号构成，所述多源异构传感网络感知机械臂、零件和环境的状态信息，在服务器上构建策略模型，根据实时状态选择最优行为，并向控制器发送控制指令，控制各机械臂相互靠近、调整位姿以及定位装配，实现最大化奖励，完成智能化装配。本发明直接从高维原始数据中学习，是端到端的控制模式，并且对多模态传感信号进行融合表征，充分提取关键特征信息的同时降低样本的复杂性，提高样本的有效性。

公开(公告)号：CN111881772B

公开(公告)日：2023-11-07

申请号：CN202010641629.X

申请日：2020-07-06

Applicant: 上海交通大学 ,  北京电子工程总体研究所

Inventor： 乐心怡 ,  李霏 ,  马国财 ,  方晓猛 ,  李钧正 ,  庞栋

IPC: G06F18/25 ,  G06F18/213 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/092 ,  B25J9/16

Abstract: 本发明提供了一种基于深度强化学习的多机械臂协同装配方法和系统，包括：多源异构传感网络由机械臂本体信息、六分力传感器信号和深度相机信号构成，所述多源异构传感网络感知机械臂、零件和环境的状态信息，在服务器上构建策略模型，根据实时状态选择最优行为，并向控制器发送控制指令，控制各机械臂相互靠近、调整位姿以及定位装配，实现最大化奖励，完成智能化装配。本发明直接从高维原始数据中学习，是端到端的控制模式，并且对多模态传感信号进行融合表征，充分提取关键特征信息的同时降低样本的复杂性，提高样本的有效性。

公开(公告)号：CN116843650A

公开(公告)日：2023-10-03

申请号：CN202310810347.1

申请日：2023-07-04

Applicant: 上海交通大学

Inventor： 乐心怡 ,  庞栋 ,  陈彩莲 ,  关新平

IPC: G06T7/00 ,  G06V10/766 ,  G06V10/77 ,  G06V10/75 ,  G06T7/73 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/084

Abstract: 本发明提供了一种融合AOI检测与深度学习的SMT焊接缺陷检测方法及系统，包括：采集原始图像数据；采用在大型通用视觉数据集上预训练的残差网络作为骨干特征提取网络；获得丰富且多尺度的卷积特征金字塔；在金字塔网络的每个层级连接一个子网络用于缺陷位置回归和缺陷分类预测；用于生成模拟样本的生成对抗网络，以及用于检测缺陷的目标检测网络与孪生神经网络的集成模型，生成对抗网络的训练基于博弈思想，由一个生成网络和一个判别网络构成；对训练单元中得到的已训练检测模型进行优化部署。本发明通过采用AOI与深度学习相结合的二阶段检测方法，解决了传统SMT焊接缺陷检测中过度依赖AOI判别所造成的缺陷误判问题，大大提升了缺陷检测的精度与可靠性。

公开(公告)号：CN115270882A

公开(公告)日：2022-11-01

申请号：CN202210917458.8

申请日：2022-08-01

Applicant: 上海交通大学 ,  上海机器人产业技术研究院有限公司

Inventor： 乐心怡 ,  庞栋 ,  袁建军 ,  刘碧珊 ,  王昶茹

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F17/13

Abstract: 本发明提供一种基于神经常微分方程的轻量化智能故障诊断方法及系统，涉及故障诊断技术领域，包括：利用工业振动传感器采集的时序数据进行旋转机械设备的智能故障诊断，使用多层感知机对传感器数据进行去噪与局部故障特征提取，基于神经常微分方程与门控循环单元网络对时序的局部故障特征进行微分动力学拟合与全局故障特征提取，通过特征解码器输出故障诊断结果。本发明利用对偶灵敏度法进行反向梯度的训练，大大减少模型的参数量和计算量，从而构建更加轻量化的故障诊断模型；通过门控循环单元与神经常微分方程相结合，针对工业振动信号的连续时间特性构建全局特征编码器，更加精细地提取故障的时序信息和动力学特征，提升故障诊断的准确率。

公开(公告)号：CN116842295A

公开(公告)日：2023-10-03

申请号：CN202310810368.3

申请日：2023-07-04

Applicant: 上海交通大学

Inventor： 乐心怡 ,  宋青洋 ,  王骥泽 ,  庞栋

IPC: G06F16/958 ,  G06F16/951 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于扩散模型的前端界面生成方法、系统、介质及终端，包括：获取图片训练数据；对所述图片训练数据进行预处理，得到对应的文字训练数据；根据所述图片训练数据和文字训练数据，对扩散模型进行训练，得到第一扩散模型，并通过所述第一扩散模型生成前端图片初稿和前端线框图初稿；通过分割模型将所述前端图片初稿和所述前端线框图初稿进行融合，得到组合后的前端图片；根据所述第一扩散模型将所述组合后的前端图片进一步融合训练，得到最终的前端界面。本发明使用互联网爬取并标注的网页图片作为训练数据，微调了原模型，在前端生成的任务上表现更为优异。