-
公开(公告)号：CN117301049A
公开(公告)日：2023-12-29
申请号：CN202311206540.0
申请日：2023-09-19
Applicant: 同济大学
IPC: B25J9/16 , G06V10/774 , G06V10/82 , G06V40/20
Abstract: 本发明提出一种利用大规模语言模型评估任务完成度的服务机器人模仿学习方法，基于图像的模仿学习算法只需要专家提供动作执行的示范图像，通过逆强化算法，学习专家动作。逆强化算法在优化过程中，需要计算奖励来引导策略收敛。此外，大规模语言模型还会就当前机器人执行动作与场景，提出下一步的建议,该建议将作为下一步策略的输入组成之一。大规模语言模型的输入是文本，机器人任务执行的过程是图像数据，无法直接作为大规模语言模型的输入。针对这个问题，本发明提出一个图像转文本网络，经过训练之后ITTNet可以把图像中的场景转换为文字描述，使之可以成为大规模语言模型的输入。
-
公开(公告)号：CN116976032A
公开(公告)日：2023-10-31
申请号：CN202310983113.7
申请日：2023-08-07
Applicant: 同济大学
IPC: G06F30/17 , G06F30/27 , G06T17/00 , G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0499 , G06N3/08
Abstract: 本发明提供一种仿真环境下的三维装配体补全方法，属于三维装配与人工智能领域，具体步骤包括：1)利用三维仿真装配体构建不完整装配体集合和候选部件集合，并通过采样将不完整装配体与候选部件转化为点云；2)利用模型将装配体点云分割为部件级点云，并进行特征提取，获取点云特征；3)利用编码器对待补全装配体的部件特征进行交互建模，再利用解码器进行关系建模；4)根据解码器输出的候选部件特征，利用多层感知机网络进行多任务学习；5)根据预测值和真实值计算损失函数，设定相关训练参数并对模型进行训练。本发明实现了仿真环境下高精度的三维装配体补全，能够作为专业工具辅助三维装配体设计，缩短设计周期，提升生产效率。
-
公开(公告)号：CN116778342A
公开(公告)日：2023-09-19
申请号：CN202310964192.7
申请日：2023-08-02
Applicant: 同济大学
Abstract: 本发明提供一种基于像素和通道注意力的检测空中小型无人机的方法，属于图像检测领域，用于监控空中小型无人机。该方法包含如下步骤：待检测的高分辨率无人机图像分割为9块带有重叠的图像块，将分割后的图像输入到调整后的ResNet特征提取网络模块中，得到图像的抽象后的特征。之后特征经过特征金字塔池化操作得到不同大小的图像特征，图像特征输入到注意力机制模块网络中，使用标注的Ground Truth和最终网络输出来计算训练损失，之后依次更新网络权重，完成网络训练。小型无人机具有尺寸小、形状多变和易被遮挡等特点，而本发明提出的方法不同于常规的图像检测方法，其能够有效地从复杂的背景中检测到目标无人机。
-
公开(公告)号：CN103196917B
公开(公告)日：2015-08-19
申请号：CN201310078605.8
申请日：2013-03-13
Applicant: 同济大学 , 无锡动视科技有限公司
Abstract: 本发明涉及一种基于CCD线阵相机的在线卷板材表面瑕疵检测系统及其检测方法，所述检测系统由相机单元、光源、显示器、编码器、图像处理器和标签机组成，检测方法包括：对检测系统中相机单元采集的图像数据首先要进行Shading操作，对shading后的灰度图像瑕疵初步标记，利用等价表的概念将临近的瑕疵合并为同一瑕疵赋给同一标号，利用Intel CPU+windows的多核多线程编程。本发明最后该设计能实现实时，完整的反馈检测结果：瑕疵的个数，大小，坐标位置，形状，面积，像素均值等信息并按此来对瑕疵分类，可以对瑕疵截图并分类等功能这是或者部分是以往的产品所没有的。本发明主要是自我完善设计标记方法，将方法编写成软件应用在工业生产上。
-
公开(公告)号：CN113031437B
公开(公告)日：2022-10-25
申请号：CN202110217090.X
申请日：2021-02-26
Applicant: 同济大学
IPC: G05B13/04
Abstract: 本发明涉及一种基于动态模型强化学习的倒水服务机器人控制方法，包括：步骤1：基于深度相机获取三维空间的视觉信息；步骤2：利用深度神经网络完成对机器人、源容器和目标容器的识别，同时获得源容器、目标容器之间的相对位置信息、液体类型以及液位高度信息，完成状态信息的获取；步骤3：根据步骤2获取的信息建立动态模型模拟当前环境，并利用动态模型对策略网络进行训练；步骤4：待策略网络收敛后，将机器人的位姿信息和状态信息输入至策略网络，输出机器人动作策略；步骤5：使用步骤4预测出的机器人动作策略驱动机器人完成倒水动作。与现有技术相比，本发明具有对环境的泛化适应能力强、部署复杂度低等优点。
-
Patent Agency Ranking
公开(公告)号：CN112975968B
公开(公告)日：2022-06-28
申请号：CN202110218017.4
申请日：2021-02-26
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于第三视角可变主体演示视频的机械臂模仿学习方法，包括：从演示视频中获取演示样本，并定义演示视频视角为第三视角；获取由观察图像序列组成的样本，并定义该图像视角为第一视角；对演示样本进行从第三视角到第一视角的转换；获取示范主体特征向量和对应姿态下机械臂的特征向量，并对其进行对齐操作；预测机械臂下一帧图像的特征向量；搭建机械臂逆动力学运动控制网络，将机械臂相邻帧的图像输入到控制网络中，输出机械臂的控制信号；重复执行上述步骤，直至机械臂完成演示视频中的所有动作。与现有技术相比，本发明具有在演示视频的示范主体为非机械臂的条件下，使机械臂能够实现模仿学习的优点。
-
公开(公告)号：CN112809689B
公开(公告)日：2022-06-14
申请号：CN202110217079.3
申请日：2021-02-26
Applicant: 同济大学
Abstract: 本发明涉及一种基于语言引导的机械臂动作元模仿学习方法及存储介质，元模仿学习方法包括：基于采样控制策略引导机械臂创建示教数据；构建语言提示函数，根据当前子目标输出提示语言，引导机械臂修正当前动作；使用深度神经网络构建机械臂控制网络，基于元模仿学习的学习范式，训练控制网络自主学习自然语言指令中的关键字语义信息和像素空间的对应关系，并在测试中能够通过人的语言提示来快速适应新的任务目标和应用场景，实现更精准的机械臂动作预测。与现有技术相比，本发明具有部署复杂度低、任务完成精度高等优点。
-
公开(公告)号：CN113031437A
公开(公告)日：2021-06-25
申请号：CN202110217090.X
申请日：2021-02-26
Applicant: 同济大学
IPC: G05B13/04
Abstract: 本发明涉及一种基于动态模型强化学习的倒水服务机器人控制方法，包括：步骤1：基于深度相机获取三维空间的视觉信息；步骤2：利用深度神经网络完成对机器人、源容器和目标容器的识别，同时获得源容器、目标容器之间的相对位置信息、液体类型以及液位高度信息，完成状态信息的获取；步骤3：根据步骤2获取的信息建立动态模型模拟当前环境，并利用动态模型对策略网络进行训练；步骤4：待策略网络收敛后，将机器人的位姿信息和状态信息输入至策略网络，输出机器人动作策略；步骤5：使用步骤4预测出的机器人动作策略驱动机器人完成倒水动作。与现有技术相比，本发明具有对环境的泛化适应能力强、部署复杂度低等优点。
-
公开(公告)号：CN112975968A
公开(公告)日：2021-06-18
申请号：CN202110218017.4
申请日：2021-02-26
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于第三视角可变主体演示视频的机械臂模仿学习方法，包括：从演示视频中获取演示样本，并定义演示视频视角为第三视角；获取由观察图像序列组成的样本，并定义该图像视角为第一视角；对演示样本进行从第三视角到第一视角的转换；获取示范主体特征向量和对应姿态下机械臂的特征向量，并对其进行对齐操作；预测机械臂下一帧图像的特征向量；搭建机械臂逆动力学运动控制网络，将机械臂相邻帧的图像输入到控制网络中，输出机械臂的控制信号；重复执行上述步骤，直至机械臂完成演示视频中的所有动作。与现有技术相比，本发明具有在演示视频的示范主体为非机械臂的条件下，使机械臂能够实现模仿学习的优点。
-
公开(公告)号：CN117316010A
公开(公告)日：2023-12-29
申请号：CN202311206977.4
申请日：2023-09-19
Applicant: 同济大学
IPC: G09B9/00 , G06T19/00 , G06V10/82 , G06V10/774
Abstract: 本发明提出一种基于NVIDIA Isaac Sim指导椅子组装的元宇宙平台。通过这个平台，用户可以通过佩戴AR眼镜与Isaac Sim仿真环境进行实时交互，仿真环境通过预先训练好的AI算法可以对用户的拼装过程进行评价与指导，最终当用户拼装完成后，仿真环境会对拼装好的椅子进行稳定性验证，即通过仿真环境判断用户实际组装的椅子能否在现实世界中正常使用，提高元宇宙现实中应用，同时降低椅子装配难度，提高椅子装配的精度以及稳定性。
-
-
-
-
-
-
-
-
-
Search Results
25
records
(took 0.015 seconds)
