-
公开(公告)号:CN119089978B
公开(公告)日:2025-05-16
申请号:CN202411204561.3
申请日:2024-08-30
Applicant: 同济大学
IPC: G06N3/096 , B23P21/00 , G06N3/0455 , G06F18/214
Abstract: 本发明涉及一种面向电子设备装配场景多模态大模型训练方法及系统,所述方法包括以下步骤:采集电子设备装配过程所需数据,构建流程指导数据集;获取实际装配过程中的实物图像,构建关联信息数据集;将流程指导数据集和关联信息数据集输入基于Transformer的预训练模型进行训练,初步得到多模态大模型;获取同任务中人工执行装配任务的动作信息,构建人工指导多模态数据集;传入多模态大模型中,对大模型进行微调,更新装配细节提升模型性能,得到面向电子设备装配场景多模态大模型;针对未学习到的零件或装配细节,通过物理示教的交互式学习,提升模型的泛化性。与现有技术相比,本发明提高了多模态大模型的泛化性能,节约装配时间,提升了装配任务的效率。
-
公开(公告)号:CN119523473A
公开(公告)日:2025-02-28
申请号:CN202411969877.1
申请日:2024-12-30
Applicant: 同济大学
Abstract: 本发明涉及一种基于多模态信息的运功功能康复状态检测方法,包括:采集目标人物执行动作时的腕部肌电信号,并对肌电信号进行预处理和降维处理后,提取得到肌电信号特征;采集目标人物执行动作时的视频,并基于采集的视频预处理后识别得到动作分类结果作为动作识别特征;采集目标人物执行动作时的佩戴于目标人物身上的可穿戴动力学传感器的检测数据,并提取得到运动学特征,其中,运动学特征包括加速度、角速度和力信息;将同一时间窗口下的肌电信号特征、动作识别特征和运动学特征拼接后得到检测特征向量,计算检测特征向量和标准特征向量的欧氏距离得到康复状态检测结果。与现有技术相比,本发明具有检测准确率高等优点。
-
公开(公告)号:CN117752475A
公开(公告)日:2024-03-26
申请号:CN202410127991.3
申请日:2024-01-30
Applicant: 同济大学
Abstract: 本发明涉及一种可快速拆卸刚柔耦合假肢手及其控制方法。假肢手包括支撑架、手指结构、手掌结构、舵机、柔性线缆和表面肌电传感器。手指结构与手掌结构通过榫卯连接件固定连接。柔性线缆的一端固定在手指结构上,另一端固定于支撑架上。通过表面肌电信号传感器收集信号,并进行时域特征值提取;随后输入训练好的模型中,获取分类结果;再通过驱动舵机使假肢手做出相应动作。与现有技术相比,本发明中的假肢手具有较高的结构强度和良好的适应性,同时手指结构的布局可以减少柔性结构造成的手指姿势偏差,且便于拆卸、维护和升级。
-
公开(公告)号:CN115994576A
公开(公告)日:2023-04-21
申请号:CN202310033512.7
申请日:2023-01-10
Applicant: 同济大学
Abstract: 本发明公开了一种社交场景中人类注意力机制模仿学习方法,属于服务型机器人领域,具体包括:1)获取环境状态信息,再对服务型机器人进行预训练得到目标策略,将深度强化学习任务执行成功的示例作为原始教师数据;2)将环境状态信息输入到行动者网络模块中,生成动作序列,再将教师数据、动作序列和环境状态信息输入至判别器;3)将判别器的输出值作为奖励值指导模仿策略的学习;4)修改服务型机器人的目标策略函数;5)引入人类注意力机制模块,提取模仿学习网络中的浅层特征生成对抗样本;6)利用对抗样本对目标模型进行对抗训练,本发明相较于原始的深度强化学习,模拟学习的方法具有更高的鲁棒性、准确性及高效性。
-
公开(公告)号:CN113768495B
公开(公告)日:2023-03-31
申请号:CN202110900280.1
申请日:2021-08-06
Applicant: 同济大学
IPC: A61B5/11
Abstract: 本发明涉及一种集成行走步态、环境信息感知及反馈功能的智能终端,包括鞋主体,鞋主体上设有表面换能器、接触式拾音器和支撑电路元器件,表面换能器用于产生主动传感的振动信号和振动反馈,接触式拾音器用于检测表面换能器发出的特定频谱的振动信号在以人体为媒介传播后的回波信号,以及鞋主体与地面接触时的振动信号;支撑电路元器件分别连接表面换能器和接触式拾音器,用于根据回波信号中信号特定频率传递特性的变化,判断人体姿态的变化;根据鞋主体与地面接触时的振动信号判断行走路面的材质,从而根据人体姿态的变化和行走路面的材质控制表面换能器进行振动反馈。与现有技术相比,本发明具有感知参数更精细、结构更为紧凑和功能更强大等优点。
-
公开(公告)号:CN115006786A
公开(公告)日:2022-09-06
申请号:CN202210442288.2
申请日:2022-04-25
Applicant: 同济大学
IPC: A63B23/025 , A63B71/06 , A61N5/06
Abstract: 本发明涉及一种用于颈椎康复的仿生眼医疗机器人与康复评估方法,包括机器人本体,机器人本体设有7自由度颈椎操示教运动控制模块、人机交互语音模块、病人动作感知模块、云端数据库系统、机器人可视化模块和,通过机器人本体进行仿人动作以及视音多模态人工智能算法对病人的颈椎操锻炼过程动作进行交互感知与分析评价,辅助颈椎病患者获得规范化的锻炼治疗及日志记录。与现有技术相比,本发明具有帮助颈椎病患者获得较好的锻炼治疗,降低颈椎病患者康复锻炼的人工成本,保证颈椎病康复锻炼的安全性和稳定性等优点。
-
公开(公告)号:CN114924596A
公开(公告)日:2022-08-19
申请号:CN202210583505.X
申请日:2022-05-25
Applicant: 同济大学
IPC: G05D1/12
Abstract: 本发明涉及一种基于子母无人机的复杂场景目标自主搜寻方法,包括:母机接受搜索任务后判断是否能够独自完成搜索,若否时,分析目标搜寻所需子机数量并且指定子机脱离规则;被选定的子机收到对应搜索任务后脱离母机,子机单独或者和母机协同进行目标搜索;在目标搜索过程中,子机通过制定的多机移动自组网机制与母机保持通信;在子机单独或者和母机协同进行目标搜索时,采用Voronoi图将待搜索区域划分为与无人机数量一致的区域,然后利用粒子群算法更新每架无人机的运动速度和位置。与现有技术相比,本发明实现子母无人机在复杂场景下的目标搜索,还可以用于多目标跟踪等任务,提高搜索效率。
-
公开(公告)号:CN119756375A
公开(公告)日:2025-04-04
申请号:CN202411927576.2
申请日:2024-12-25
Applicant: 同济大学
Abstract: 本发明涉及一种基于视觉语言大模型的多机器人协同导航方法及系统,方法步骤包括:根据用户输入的任务指令,结合每个机器人构建的语义地图,大语言模型进行解析后将子任务指令分配给机器人;每个机器人实时获取环境图像,根据被分配的子任务指令,利用视觉语言导航大模型进行解析预测下一步动作,机器人执行相应动作并进行状态更新;操作员通过人机交互界面实时监控机器人状态、查看任务进度,并在需要时调整任务或处理执行过程中的异常,机器人根据反馈信息动态调整执行策略,优化任务完成导航。与现有技术相比,本发明将多模态数据的深度融合,赋予机器人更强的环境感知与任务理解能力,提高了多机器人系统协作效率和增强动态环境适应性。
-
公开(公告)号:CN119550345A
公开(公告)日:2025-03-04
申请号:CN202411892699.7
申请日:2024-12-20
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种结合通用与专用模型的机器人动作生成方法及系统,其中,所述的方法包括:构建通用模型和专用模型,对所述的通用模型进行预训练,对预训练后的通用模型进行参数微调,并基于微调后的通用模型训练所述的专用模型;获取任务指令和实时视觉信息,将所述的任务指令和和实时视觉信息输入微调后的通用模型,输出动作序列和任务潜在特征;获取实时点云感知数据,并将所述的实时点云感知数据与所述的动作序列和任务潜在特征输入训练后的专用模型,输出机器人连续动作。与现有技术相比,本发明提高了机器人动作生成的速度以及增强了机器人动作生成的泛化性。
-
公开(公告)号:CN119526414A
公开(公告)日:2025-02-28
申请号:CN202411871795.3
申请日:2024-12-18
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种机器人动作生成模型训练方法和动作生成方法,模型训练步骤包括:构建汽车线束操作数据集,并提取人体姿态;基于所述的数据集和人体姿态构建指令集;预训练运动分词器;获取文本‑动作词汇表;基于所述的数据集、指令集和文本‑动作词汇表预训练语言模型;构建操作数据集,基于操作数据集对预训练后的语言模型进行微调,完成训练。所述的生成方法利用经过模型训练方法训练好的模型输出人形动作序列,并将人形动作序列重定向于机器人上完成机器人动作生成。与现有技术相比,本发明提高了生成模型的泛用性,还可生成更符合汽车线束操作的机器人动作,提高了机器人操作汽车线束的灵活性。
-
-
-
-
-
-
-
-
-