-
公开(公告)号:CN111680541B
公开(公告)日:2022-06-21
申请号:CN202010292014.0
申请日:2020-04-14
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法,包括:针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征;然后对每个模态构建所述的多维度注意力融合网络,利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征,然后将三种模态的自相关信息进行组合,利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征;再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征;最后将所述的模态多维度特征进行拼接,确定情绪分数,进行情绪分析;该方法能够有效的在非对齐多模态数据场景下进行特征融合,充分利用多模态的关联信息,进行情绪分析。
-
公开(公告)号:CN110309810B
公开(公告)日:2021-08-17
申请号:CN201910617855.1
申请日:2019-07-10
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于批次中心相似度的行人重识别方法,包括:(1)基于经典基础网络结构,去掉网络最后的全连接层,并添加额外卷积层从而建立全卷积神经网络模型;(2)从原始训练数据集中随机选取P个行人,每个行人随机选取K个图像;(3)利用(2)得到的P*K个图像送进网络进行训练得到P*K个特征向量;(4)对每个行人的K个特征向量求一个中心向量,得到P个中心向量;(5)将P*K个特征向量中的每一个与其对应的中心向量和非同类的中心向量构成一个三元组进行回归优化。本发明方法简单易行,应用范围广,能够有效的解决行人重识别任务中错位、遮挡等问题。
-
公开(公告)号:CN110334705B
公开(公告)日:2021-08-03
申请号:CN201910553486.4
申请日:2019-06-25
Applicant: 华中科技大学
IPC: G06K9/32 , G06K9/62 , G06F40/263 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种结合全局和局部信息的场景文本图像的语种识别方法。通过提取文字图像的基本特征,随后分别提取全局和局部特征表示;全局提取分支使用全局最大池化将整图表示为一个向量,并做类别得分预测;局部聚合分支对图像的局部块分别做概率预测,然后将这一系列概率分布结合起来得到局部层面的类别预测得分;最后根据上述分支预测情况动态融合全局和局部的预测得分,得到最终识别结果。该方法同时注意到文字图像的整体特征和局部有区分性的特征,并且可以实现一步到位端到端训练。本发明相对于现有利用局部特征的技术,能够准确提取局部的有区分性的特征,在准确度、运行效率和通用性方面都取得了卓越效果,有很强的实际应用价值。
-
公开(公告)号:CN112668305A
公开(公告)日:2021-04-16
申请号:CN202011393595.3
申请日:2020-12-03
Applicant: 华中科技大学
IPC: G06F40/211 , G06F40/289 , G06N3/08
Abstract: 本发明公开了一种基于注意力机制的论文引用量预测方法与系统。对于待预测的论文,首先使用深度神经网络来提取特征,然后通过注意模块过滤掉那些不重要的句子,从而将较长的论文简化为较短的文本,再将这个精简的版本输入预测模型,即可在硬件资源有限的情况下充分利用论文信息,来更准确地预测论文引用量。该方法的预测过程分为两步:第一步,并列输入文章中的所有句子,得到每个句子的注意力权重,即为每个句子的重要性;第二步,根据每个句子的重要性,只选择一些关键的句子拼接成精简的文章,最后根据精简的文章来预测论文的引用量。本发明还提供了相应的基于注意力机制的论文引用量预测系统。
-
公开(公告)号:CN106682697B
公开(公告)日:2020-04-14
申请号:CN201611241694.3
申请日:2016-12-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于卷积神经网络的端到端目标检测方法,包括:(1)基于经典基础网络结构,去掉经典基础网络最后的全连接层,并添加额外层从而建立卷积神经网络模型;(2)从原始训练数据集中随机选取一张原始图像进行数据扩增得到扩增图像,并获得在原始图像中随机选取的目标图像块在扩增图像中的位置和边框;(3)利用步骤(2)得到的目标图像块在扩增图像中的位置和边界,回归步骤(2)中的卷积神经网络模型得到模型参数,从而得到训练后的卷积神经网络模型;(4)利用训练后的卷积神经网络模型,检测待检测图像中的目标的边界框和类别。本方法采用直接回归目标中心点坐标、宽高和类别,与同类方法相比,在速度上有很大的优势。
-
公开(公告)号:CN110334705A
公开(公告)日:2019-10-15
申请号:CN201910553486.4
申请日:2019-06-25
Applicant: 华中科技大学
Abstract: 本发明公开了一种结合全局和局部信息的场景文本图像的语种识别方法。通过提取文字图像的基本特征,随后分别提取全局和局部特征表示;全局提取分支使用全局最大池化将整图表示为一个向量,并做类别得分预测;局部聚合分支对图像的局部块分别做概率预测,然后将这一系列概率分布结合起来得到局部层面的类别预测得分;最后根据上述分支预测情况动态融合全局和局部的预测得分,得到最终识别结果。该方法同时注意到文字图像的整体特征和局部有区分性的特征,并且可以实现一步到位端到端训练。本发明相对于现有利用局部特征的技术,能够准确提取局部的有区分性的特征,在准确度、运行效率和通用性方面都取得了卓越效果,有很强的实际应用价值。
-
公开(公告)号:CN106682696B
公开(公告)日:2019-10-08
申请号:CN201611241532.X
申请日:2016-12-29
Applicant: 华中科技大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于在线示例分类器精化的多示例检测网络及其训练方法,包括:确定训练图片集,并选择每张训练图片中的多个候选区域;获得所述训练图片集中训练图片的卷积特征图,并得到各候选区域的卷积特征;将各候选区域的卷积特征输入到全连接层中,得到各候选区域的特征向量;构建一个基准示例分类器,并构建多个精化示例分类器,通过更新每个候选区域得分的权重进行在线示例分类器精化;合并整个网络中的损失函数,训练端到端的多示例检测网络。本发明将多示例分类器训练和分类器精化整合到一起,训练速度快识别准确率高,仅依赖图像标签的数据集,不需要人工对目标示例的位置和标签进行标注,适用于弱监督的目标检测问题。
-
公开(公告)号:CN110197136A
公开(公告)日:2019-09-03
申请号:CN201910394488.3
申请日:2019-05-13
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于动作边界概率的级联动作候选框生成方法,对待检测输入视频,使用特征提取网络得到特征,通过级联模型预测每个位置上属于动作边界点的概率。级联模型分为两级:第一级模型对输入特征进行粗糙的边界预测,分别预测每一个位置属于动作起点、终点和动作内部的概率;再将第一级模型的输出和原始特征串联起来当作新特征输入到第二级模型,让第二级模型再次预测每个位置上属于动作起点、终点和动作内部的概率;得到级联模型预测的概率后,将起点或终点概率大于设定的阈值的位置组合进而得到动作候选框。本方法简单易行,推广能力强,产生的候选框质量高,能有效克服视频背景杂乱和目标运动快慢变化范围大的不利因素的影响。
-
公开(公告)号:CN105242239B
公开(公告)日:2017-06-16
申请号:CN201510679278.0
申请日:2015-10-19
Applicant: 华中科技大学
Abstract: 本发明公开了一种室内子区域定位方法,包括:在给定目标区域中设置N个信号源,并将目标区域依据物理结构划分成K个子区域,终端设备接收到指纹后将其上传到服务器构成指纹集,当服务器接收到的指纹集中指纹的数目达到设定阈值后,则将当前指纹集利用分簇算法划分成K个簇,并将这K个簇一对一地匹配到K个子区域中,再将各指纹簇中所有指纹的均值作为对应子区域的区域指纹用于定位,定位时计算定位指纹和子区域指纹中所有对应信号的差值序列,得到各差值序列的方差,并将具有最小方差的子区域为最终定位结果。本发明能够解决现有指纹定位技术中人工采集指纹信号以构建指纹数据库带来的工作量大和异质设备定位精度差的问题。
-
公开(公告)号:CN103077389B
公开(公告)日:2016-08-03
申请号:CN201310004707.5
申请日:2013-01-07
Applicant: 华中科技大学
Abstract: 本发明公开了一种结合字符级和字符串级分类的文本检测和识别方法,在图像中提取可能属于同一字符的像素集形成备选字符;滤除不满足字符几何特征统计规律的备选字符;采用基于字符旋转和尺度不变性特征的字符级分类器对备选字符分类,以确定备选字符为某字符的概率;将字符两两合并形成初始字符串;计算两两字符串间的相似度,将相似度最高的两字符串合并成新的字符串,直到没有可再合并的字符串;采用基于字符串结构特征的字符串级分类器对字符串分类,以确认具有语意的字符串;利用待识别字符为某一字符的概率对字符串识别,得到语意文本。本发明将文本检测和识别过程作为一个整体,利用检测和识别的相互作用提高结果精度,简单高效。
-
-
-
-
-
-
-
-
-