公开(公告)号：CN119441961A

公开(公告)日：2025-02-14

申请号：CN202411266935.4

申请日：2024-09-11

Applicant: 湖南大学

Inventor： 李肯立 ,  孟颖 ,  刘楚波 ,  丁岩 ,  肖国庆 ,  唐卓 ,  罗辉章 ,  张羽丰

IPC: G06F18/241 ,  G06F18/213 ,  G06F18/25 ,  G06F18/22 ,  G06N3/0455

Abstract: 本申请涉及一种基于特征降维聚合的多模态并行优化计算方法与装置，其中，方法包括：获取第一模态嵌入层参数矩阵和第二模态嵌入层参数矩阵；对第一模态嵌入层参数矩阵和第二模态嵌入层参数矩阵进行降维和注意力计算，得到所有注意力头的重要性矩阵；根据每个注意力头的重要性矩阵、预设的注意力头舍弃率和预设的注意力头性能阈值，从所有注意力头中选择前预设数量需要保留的头，得到保留的注意力头集合；基于保留的注意力头集合，进行模态间融合、模态间相似特征聚合计算以及模态间注意力决策处理，得到注意力分数矩阵的掩码矩阵；根据掩码矩阵恢复重新组织高精度的注意力计算，取出对应的第二模态键矩阵中的特征向量进行浮点数计算。

公开(公告)号：CN118245181A

公开(公告)日：2024-06-25

申请号：CN202410266908.0

申请日：2024-03-08

Applicant: 湖南大学

Inventor： 李肯立 ,  郝少聪 ,  刘楚波 ,  孟颖 ,  彭鑫达 ,  毛洁 ,  牛若彤 ,  唐卓 ,  肖国庆 ,  段明星

IPC: G06F9/48 ,  G06F8/30 ,  G06F8/72 ,  G06F8/75

Abstract: 本申请涉及一种面向大规模超算系统的自适应程序并行划分与调度方法、装置、设备和介质。该方法包括：获取超算系统的源程序文件，对源程序文件进行代码信息提取与分析，得到变量依赖信息、源程序文件中目标循环结构对应的循环计算树和循环计算树的并行模式；基于循环计算树和超算系统的节点配置信息构建目标循环结构的备用并行划分方案，使用已建立的并行划分成本计算模型，从备用并行划分方案中选择并行计算成本最小的备用并行划分方案，得到目标循环结构的最终并行划分方案；根据最终并行划分方案、变量依赖信息、目标循环结构的循环计算树和并行模式，生成对目标循环结构实现最终并行划分方案需要的代码。采用本申请，可以提高任务并行效率。