一种多模态分层融合的人机交互方法和系统

    公开(公告)号:CN114637404B

    公开(公告)日:2024-09-06

    申请号:CN202210312681.X

    申请日:2022-03-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种多模态分层融合的人机交互方法和系统,包括使用单目相机和麦克风对人体交互动作和语音进行视频采集,从得到的视频中提取得到视频数据和语音数据;将语音数据送入语音识别模块得到语音识别结果;将视频数据送入已训练好的骨骼提取网络得到人体骨骼序列图像和手部骨骼序列图像;将人体骨骼序列图像送入动作识别模块得到动作识别结果;将手部骨骼序列图像送入手势识别模块得到手势识别结果;将语音识别结果、动作识别结果和手势识别结果送入融合决策模块,得到综合控制指令,将综合控制指令发送至无人系统终端进行运动控制。系统硬件平台简易、交互效果好并且实时性高稳定性强。系统硬件平台简易、交互效果好并且实时性高稳定性强。

    一种基于熵增优化的大型复杂构件点云全局匹配方法

    公开(公告)号:CN114529703B

    公开(公告)日:2024-09-06

    申请号:CN202210192372.3

    申请日:2022-02-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于熵增优化的大型复杂构件点云全局匹配方法,包括获取相邻视角场景的三维点云坐标,获得源点云X与目标点云Y,对其下采样分别得到采样点云x与采样点云y;基于采样点云x与采样点云y构建物理能量模型;基于熵增定律,根据物理能量模型计算对采样点云x的当前运动的扭矩T和拉力S,根据扭矩T和拉力S计算当前施加的旋转及平移(Rk,tk),获得变换后的点集;计算当前采样点云x在引力场中的势能并记录当前迭代次数;根据势能或迭代次数确定满足预设的结束条件时,累计所有变换后的点集,对源点云X进行旋转平移,实现源点云X与目标点云Y之间的配准。提高了配准精度与鲁棒性,降低方法的失败率。

    一种基于FastRTPS和共享内存的机器人通信中间件

    公开(公告)号:CN118524140A

    公开(公告)日:2024-08-20

    申请号:CN202410769021.3

    申请日:2024-06-14

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于FastRTPS和共享内存的机器人通信中间件,主要针对机器人系统中不同主机间及同一主机内部的高效数据交换需求,结合FastRTPS技术和共享内存技术,提出了一种创新的通信架构。本发明的通信中间件通过融合这两种技术,既能应对大规模分布式系统的通信需求,又能满足对延迟敏感的实时应用的需求。该通信中间件设计中,包括传输设备、接收设备和监听设备三种主要的通信实体,通过通信层创建和管理。这种架构不仅优化了数据发送和接收流程,还通过统一的发布‑订阅接口,实现了高效的数据路由和处理,提高通信效率和实时性,预期能大幅提升机器人系统的通信性能,满足未来复杂机器人应用的高要求。

    一种面向交通场景的异常行为检测方法

    公开(公告)号:CN118470664A

    公开(公告)日:2024-08-09

    申请号:CN202410937279.X

    申请日:2024-07-12

    Applicant: 湖南大学

    Abstract: 本发明公开了一种面向交通场景的异常行为检测方法,包括采集交通场景视频数据,建立视频数据集和文本数据集;对视频数据集中的视频数据进行预处理;构建视频数据编码网络和文本数据编码网络,将预处理后的数据、文本数据集分别输入到视频数据编码网络和文本数据编码网络中进行训练分别得到视频数据的注意力编码信息和文本数据的注意力编码信息;计算视频数据的注意力编码信息和文本数据的注意力编码信息的余弦相似度,构建相似度矩阵,结合预设的损失函数得到训练好的视频数据编码网络;获取实时交通场景视频数据输入至训练好的视频数据编码网络得到实时视频数据的注意力编码信息,输入至检测头得到异常行为检测结果;有效提高行为检测准确性。

    一种基于自适应模板的三维网格重建方法

    公开(公告)号:CN118470254A

    公开(公告)日:2024-08-09

    申请号:CN202410940189.6

    申请日:2024-07-15

    Applicant: 湖南大学

    Abstract: 本申请涉及一种基于自适应模板的三维网格重建方法,该方法包括:构建三维网格重建模型;获取目标医学图像,通过特征提取模块对目标医学图像进行特征提取,得到多个不同尺度的特征图谱;GCN网格解码模块基于最小尺度的特征图谱构建自适应差分模板网格;构造平均模板网格,基于自适应差分模板网格和平均模板网格得到自适应模板网格;体素‑点云映射模块将各所述特征图谱上的体素特征分别转化为对应顶点的空间域特征;GCN网格形变模块基于所有的空间域特征对自适应模板网格进行变形,得到目标医学图像对应的三维表面网格。该方法解决了在复杂解剖结构的重建中因采用固定模板存在的局限性问题。

    一种基于边缘增强采样的机器人手术多源影像融合方法

    公开(公告)号:CN118469839A

    公开(公告)日:2024-08-09

    申请号:CN202410941877.4

    申请日:2024-07-15

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于边缘增强采样的机器人手术多源影像融合方法,使用改进多方向Sobel算子处理输入图像得到初步边缘特征图,利用双编码器对输入图像及初步边缘特征图进行编码,将每阶段编码结果输入边缘注意力增强模块计算出不同阶段边缘特征图的注意力权重,并与相同阶段输入特征进行融合,得到每阶段的边缘增强特征图;利用特征多阶融合模块使不同阶段的边缘增强特征图相融合,将输出与同阶段解码器跳接,提取二维术中影像解剖标志物的特征;使用多点透视成像模型计算提取到的二维术中解剖特征与已知的三维术前影像解剖特征间的转换矩阵,预测二维术中影像在三维术前影像中的位姿,实现机器人手术多源影像解剖特征的配准融合。

    一种基于双目视觉惯性里程计的无人机定位方法及系统

    公开(公告)号:CN115615421B

    公开(公告)日:2024-07-19

    申请号:CN202211295353.X

    申请日:2022-10-21

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于双目视觉惯性里程计的无人机定位方法及系统,通过双目相机采集周围环境图像,得到双目图像,飞控上的惯性测量单元采集IMU数据,将双目图像和IMU数据进行时间和空间同步;根据环境选择对应的图像质量检测方法进行检测,将满足环境要求的双目图像传输给双目视觉前端;双目视觉前端对双目图像提取Fast特征点,通过KLT光流算法进行跟踪,得到有效Fast特征点对,并将其传输给等变滤波器后端;等变滤波器后端利用IMU数据进行预测,得到无人机位姿,使用Fast特征点对更新无人机的位姿,得到更新后的无人机位姿。本发明中的定位方法能够在各种复杂环境下保证定位精度,并具有较快的效率和较好的扩展性。

    一种基于移动采集装置的汽车尺寸测量方法及其系统

    公开(公告)号:CN118247295A

    公开(公告)日:2024-06-25

    申请号:CN202410209642.6

    申请日:2024-02-26

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于移动采集装置的汽车尺寸测量方法及其系统,该方法包括:激光雷达与相机进行时间同步和联合标定;得到目标车辆位置作为目标检测结果;对每一帧点云数据进行拼接完成当前空间的三维重建,重现汽车外廓点云信息;分割得到地面点云与非地面点云;结合目标检测结果得到目标点云;根据目标点云提取汽车轮廓点;根据汽车轮廓点的偏航角对目标车辆的外廓尺寸中的长L和宽W进行拟合;得到目标车辆的外廓尺寸中的高H;系统包括:移动采集装置、数据预处理模块、目标检测模块、点云拼接模块、地面点分割模块、目标点云分割模块、汽车轮廓点分割模块、第一尺寸计算模块和第二尺寸计算模块。

    一种集成工人和AGV的多要素柔性作业车间调度方法

    公开(公告)号:CN118244715A

    公开(公告)日:2024-06-25

    申请号:CN202410312051.1

    申请日:2024-03-19

    Applicant: 湖南大学

    Abstract: 一种集成工人和AGV的多要素柔性作业车间调度方法,包括:S1、构建多要素柔性作业车间调度模型;S2、求解多要素柔性作业车间调度模型,对四类决策变量以四层结构的形式进行编码;S3、生成算法的初始种群;S4、获取每个个体所代表调度方案的最大完工时间,并将其倒数作为个体的适应度值;S5、通过轮盘赌选择合适的个体,设计优先工序交叉方式,构建针对变量的特定变异方式,生成下一代种群;S6、产生代表多要素柔性作业车间调度方案的甘特图,并应用于车间生产。本发明利用建模和优化算法生成合理的调度方案,然后通过生成的调度方案来合理调度车间的工件、机器、AGV和工人等进行工件加工和车间运作,提高了车间的生产效率。

    一种动态场景下移动机械臂的运动控制方法及其应用

    公开(公告)号:CN118219260A

    公开(公告)日:2024-06-21

    申请号:CN202410357010.4

    申请日:2024-03-27

    Applicant: 湖南大学

    Abstract: 本发明公开了一种动态场景下移动机械臂的运动控制方法及其应用,采用模型预测控制,对未来一段时间内的状态与控制输入量进行预测,将机械臂末端位姿与目标位姿之间的偏差作为一个二次代价项添加到代价函数,并且在移动机械臂的突出位置设置若干个碰撞点,将这些碰撞点与空间中障碍物的距离作为一个惩罚项添加到代价函数,同时将机器人的运动速度、运动加速度、机械臂关节角度运动范围、关节角加速度以及机器人自碰撞避免作为约束添加到模型预测控制器,求解出最优的一组控制输入队列作用在机器人的控制器,解决了现有移动机械臂在面对动态复杂场景下的适应力差,稳定性不足等缺陷,提高了移动机械臂机器人工作稳定性。

Patent Agency Ranking