-
公开(公告)号:CN118172706A
公开(公告)日:2024-06-11
申请号:CN202410421554.2
申请日:2024-04-09
Applicant: 安徽大学
IPC: G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0442 , G06N3/08
Abstract: 本发明公开了一种基于空间‑立体融合的事件流区分识别方法,属于事件相机技术领域,事件流利用双流框架对事件进行表示,将每个图像特征和事件体素特征分别分为三个级别,通过交换模块对双模态特征的数据进行数据交换处理,混合中等质量特征、交换低质量特征;将双模态特征与瓶颈特征一起输入融合Transformer模块;之后采用基于GRU的读出层进行增强;最后输出分类结果。本发明增强了模型的特征表达能力;引入交换模块避免了因直接融合特征得到次优解的问题;引入瓶颈机制和融合Transformer模块,使得模型有效地降低了计算复杂性和模型的复杂性,同时降低过拟合的风险;采用基于GRU的读出层,使得模型能够全面探索和利用特征之间的相关性。
-
公开(公告)号:CN118154731A
公开(公告)日:2024-06-07
申请号:CN202410338906.8
申请日:2024-03-25
Applicant: 安徽大学
IPC: G06T13/00
Abstract: 本发明涉及一种基于隐式矢量表达的高可控卡通动画辅助制作方法,包括:将首尾两个关键帧的分镜草图输入矢量描述编码器,获得矢量描述先验#imgabs0#获得两张分镜草图的隐式矢量表达θ1、θ2;获得两张分镜草图上色后的隐式矢量表达#imgabs1#将两张分镜草图上色后的隐式矢量表达#imgabs2#输入中间帧绘制模块,获得一系列中间帧隐式矢量表达;得到SVG格式的矢量图;将SVG格式的矢量图转回光栅图像,构成一段动画序列。本发明通过多模态交互与隐式矢量表达实现分镜草图自动上色;在矢量空间使用扩散模型预测中间帧的运动信息,从而实现中间帧绘制。
-
公开(公告)号:CN117496280B
公开(公告)日:2024-04-02
申请号:CN202410004772.6
申请日:2024-01-03
Applicant: 安徽大学 , 安徽中医药大学第一附属医院
IPC: G06V10/764 , G06N3/045 , G06N3/0464 , G06V10/44 , G06V10/82
Abstract: 本发明涉及提供一种基于3D卷积和多标签解码的颅脑CT影像质量控制方法。方法包括:获取待评价的颅脑CT序列图像;将待评价的颅脑CT序列图像输入至训练好的图像质量评价模型的3D卷积网络,提取待评价的颅脑CT序列图像的时空特征;将时空特征输入至图像质量评价模型基于Transformer的多标签解码器,获取查询特征;将查询特征输入至图像质量评价模型的线性分类器,预测待评价的颅脑CT序列图像存在的质量问题。本发明解决了模型效率低、数据不平衡的多标签分类问题,为颅脑CT图像的质量控制提供了新方向。
-
公开(公告)号:CN116434122A
公开(公告)日:2023-07-14
申请号:CN202310517491.6
申请日:2023-05-08
Applicant: 安徽大学
IPC: G06V20/40 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/0455 , G06N3/08 , G06N3/0464
Abstract: 本发明涉及事件识别技术,具体涉及事件识别模型的训练方法、装置、设备及事件识别方法,包括:获取事件样本数据的事件段、视频帧和标签;将事件段和视频帧分别输入待训练的事件识别模型的脉冲卷积神经网络和记忆Transformer网络,得到事件段特征和视频帧特征;将事件段特征和视频帧特征进行融合,得到识别结果;根据识别结果与标签之间的损失函数对模型参数进行调整,得到训练完成的事件识别模型。本发明训练的事件识别模型利用记忆Transformer网络处理RGB视频,更好的表示RGB视频的时间和空间信息;另一方面利用脉冲卷积神经网络处理事件流,低开销的同时保留高性能;最后将双模态数据进行融合进一步提高识别性能。
-
公开(公告)号:CN116258179A
公开(公告)日:2023-06-13
申请号:CN202310057972.3
申请日:2023-01-13
Applicant: 安徽大学
IPC: G06N3/047 , G06N3/0499 , G06N3/0464 , G06N3/045 , G06N3/082
Abstract: 本发明公开一种基于图自适应互斥分解的图神经网络方法;通过构建可学习边特征对非欧几里得图形中的结构即邻接矩阵进行分解,得到若干个与原邻接矩阵尺度相同并且彼此边集元素互斥的邻接矩阵;将得到的若干个邻接子矩阵输入图卷积网络模型,得到若干组具有差异性的图节点特征表示,同时一定程度的缓解图卷积模型过平滑的问题;通过聚合函数将得到的若干个节点特征进行融合得到不同的图节点特征,丰富图节点特征信息;将融合后图节点特征信息用于节点分类,通过多次迭代训练得到最后分类结果。
-
公开(公告)号:CN108846404A
公开(公告)日:2018-11-20
申请号:CN201810658629.3
申请日:2018-06-25
Applicant: 安徽大学
IPC: G06K9/46
Abstract: 本发明公开了一种基于相关约束图排序的图像显著性检测方法及装置,方法包括:对待检测图像进行超像素分割,建立一个闭环图模型,进而计算每一个超像素节点的先验信息;提取输入图像的颜色、纹理、位置等信息;获取每一个超像素节点的前景概率值;将前景概率值大于第一预设阈值的节点的集合作为前景种子点集合ind_fore;将前景概率值小于第二预设阈值的节点的集合作为背景种子点集合ind_back;第一预设阈值大于第二预设阈值;使用相关约束图排序的模型计算得到每个超像素节点的前景概率S_f,并使用前景概率值S_f作为最终的显著估计值S_final。应用本发明实施例,可以使显著性检测结果更加准确。
-
公开(公告)号:CN119600683A
公开(公告)日:2025-03-11
申请号:CN202411665809.6
申请日:2024-11-20
Applicant: 安徽大学
Abstract: 本发明公开了一种基于状态空间的事件流手语翻译方法,属于手语翻译技术领域,包括以下步骤:输入事件流,将其转化为事件图像,事件图像输入Mamba状态空间模块提取局部‑全局的视觉特征表示;将Mamba状态空间模块最后一层的CNN模块的局部空间特征表示FC与最后一层的全局状态空间特征表示FM输入到Temporal Conv模块中,进行时序特征融合;接着,将融合后的时序特征送入到手语嵌入模块中,进行视觉特征到语言特征的对齐;然后,使用提示模块构造出提示句子,LLM语言模块生成手语语句。本发明通过引入CNN模块和Mamba状态空间模块,能够有效提取数据的局部细节纹理信息同时实现捕捉到数据远距离的依赖关系,使得模型全面充分的提取数据信息,提升模型的性能。
-
公开(公告)号:CN114595772B
公开(公告)日:2025-02-18
申请号:CN202210236093.2
申请日:2022-03-11
Applicant: 安徽大学
IPC: G06F18/241 , G06F18/25 , G06F18/214 , G06N3/0464 , G06N3/0455 , G06N3/08 , G10L15/16
Abstract: 本发明公开一种基于Transformer融合模型的婴儿哭声分类方法;通过音频处理模块对输入的音频样本进行变换,得到音频的频谱图;将得到的频谱图通过预训练的Resnet‑50模型,得到频谱图特征;将得到的频谱图特征分别输入至频谱图增强模块和注意力机制模块,分别提取出数据增强后的特征表示和通道内和通道之间的可区分性特征表示;通过Transformer融合模块对双线性生成的特征表示进行融合,突出有用信息,抑制冗余信息,进一步增强特征图的表征能力;将融合后的特征图用于婴儿哭声分类,通过多次迭代训练得到最后分类结果。
-
公开(公告)号:CN118898705A
公开(公告)日:2024-11-05
申请号:CN202311596776.X
申请日:2023-11-28
Applicant: 安徽大学
Abstract: 本发明公开了一种基于多尺度知识蒸馏的事件跟踪方法,属于事件相机技术领域,包括以下步骤:S1、输入双模态数据,训练教师网络;其中,双模态数据包括RGB帧和事件流;S2、输入单模态事件流数据,训练学生网络,其中,单模态事件流数据包括事件流;通过三层知识蒸馏利用教师网络的参数来监督和指导学生网络的学习。通过上述方式,本发明利用多层知识蒸馏的方式来对学生网络进行多层监督,可提高目标学生网络的鲁棒性。学生网络的输入是单模态事件流数据,通过教师网络的指导,在高速推理速度的情况下实现性能的提升。利用Transformer骨干网络建立时序信息的远距离依赖关系,深入挖掘视频帧的深层次时空信息,得到更好的特征表达。
-
公开(公告)号:CN116580189A
公开(公告)日:2023-08-11
申请号:CN202310324346.6
申请日:2023-03-30
Applicant: 安徽大学
IPC: G06V10/26 , G06V20/10 , G06V10/82 , G06N3/0464 , G06N3/08 , G06V10/764
Abstract: 本发明公开一种基于光谱和空间稀疏特征表示的高光谱图像分割方法,通过构建基础网络模型,初步提取视觉特征;接着通过在光谱维度进行分组获得多组光谱特征,在每组特征中使用光谱卷积神经网络获得每组光谱内部之间的关系;再通过稀疏Transformer模块来进行多个光谱组之间的交互,获得光谱之间的序列信息;之后通过空间卷积模块来提取高光谱图像的空间局部特征,通过稀疏Transformer模块提取高光谱图像的空间全局特征,最后将获得的光谱空间特征进行分割。
-
-
-
-
-
-
-
-
-