一种基于时空交叉注意力的实时动作定位方法

    公开(公告)号:CN115019239A

    公开(公告)日:2022-09-06

    申请号:CN202210787330.4

    申请日:2022-07-04

    Applicant: 福州大学

    Inventor: 柯逍 缪欣

    Abstract: 本发明涉及一种基于时空交叉注意力的实时动作定位方法。首先对视频片段进行采样得到输入视频,并通过帧集划分进行关键帧的提取,将获取到视频片段输入R(2+1)D网络提取时序特征,将关键帧输入CSPNet网络提取空间特征。其次,对时序特征进行压缩,并将其与空间特征进行编码转换。计算时序特征与空间特征相互之间的潜在自适应,将其嵌入transformer自注意力进行特征的交叉表示,拼接特征并利用上下文注意力模块对特征进行融合。最后,通过回归、分类网络预测边界框位置以及运动类别,根据预测结果计算相邻帧各个类别的链接分数,采用维特比算法寻找生成动作管的最佳路径。

    一种基于级联式多尺度的密集人脸检测方法

    公开(公告)号:CN110046595B

    公开(公告)日:2022-08-09

    申请号:CN201910326673.9

    申请日:2019-04-23

    Applicant: 福州大学

    Inventor: 柯逍 李健平

    Abstract: 本发明涉及一种基于级联式多尺度的密集人脸检测方法,分别训练多种尺度范围的检测器,每种物体检测器针对特定的尺度范围,然后将其级联起来,来优化现有的网络结构,这种策略可以搭载在任何人脸检测的深度模型中,具有良好的扩展性,而且对密集小人脸检测更加适用。可以应用于密集人群监测,教室人数统计等具体场景,有着很强的应用价值。

    基于轻量流式网络和注意力机制的表情识别方法

    公开(公告)号:CN112613479B

    公开(公告)日:2022-07-08

    申请号:CN202110001577.4

    申请日:2021-01-04

    Applicant: 福州大学

    Inventor: 柯逍 林艳 王俊强

    Abstract: 本发明涉及一种基于轻量流式网络和注意力机制的表情识别方法,包括以下步骤:步骤S1:获取表情图像数据集,并预处理;步骤S2:构建包含注意力机制的轻量流式网络,并在网络的最后通过交叉熵损失函数进行分类;步骤S3根据预处理后的表情图像数据集训练包含注意力机制的轻量流式网络;步骤S4:将待测图像数据输入训练后的包含注意力机制的轻量流式网络,得到识别结果。本发明能够有效地对表情图像进行分类,提升了表情图像分类的效果。

    一种基于语义网的深度学习流程智能组装方法

    公开(公告)号:CN112183768B

    公开(公告)日:2022-07-08

    申请号:CN202011148529.X

    申请日:2020-10-23

    Applicant: 福州大学

    Abstract: 本发明提出一种基于语义网的深度学习流程智能组装方法,包括以下步骤;步骤S1:从不同框架所支持的预处理方法中任选几种作为图像数据的预处理方法,以自动或手动的方式;步骤S2:从不同框架所支持的模型结构中选取网络结构,以自动或手动的方式;步骤S3:从不同框架所支持的优化器中选取训练过程中将要使用的优化器,以自动或手动的方式;步骤S4:建立语义模型描述上述三个步骤所选取的不同框架各算法模块的功能,进行组装,构建机器学习模型训练流程,进行模型训练与结果评估;流程的智能组装与训练评估流程可重复进行,保留效果最好的模型作为最终模型;本发明能够有效地针对机器学习中深度学习的流程进行智能组装与自动探索。

    一种基于车标再定位的车标检测和识别方法

    公开(公告)号:CN110032991B

    公开(公告)日:2022-07-08

    申请号:CN201910331226.2

    申请日:2019-04-23

    Applicant: 福州大学

    Inventor: 柯逍 杜鹏强

    Abstract: 本发明涉及一种基于车标再定位的车标检测和识别方法。首先采用了颜色特征作为车牌的定位特征对车牌进行定位,通过定位出的车牌位置信息可以对车标进行大致定位。框选出车标的粗定位范围后,本发明通过一种新的基于Canny算子的车标提取方法进一步定位车标。定位完成后,由于车辆散热网形状各异,对有些情况无法精确定位,本发明提出一种基于车标再定位的思想,重新定位车标分类范围。由于车标边缘特征明显,本发明使用梯度方向直方图(HOG)特征作为分类特征。计算提取出的车标范围的梯度方向直方图(HOG)特征,送入支持向量机(SVM)进行训练分类。本发明能够有效地对车标图像进行检测。

    基于改进Resnet的实时手势识别方法

    公开(公告)号:CN113435340B

    公开(公告)日:2022-06-10

    申请号:CN202110722834.3

    申请日:2021-06-29

    Applicant: 福州大学

    Inventor: 柯逍 卞永亨

    Abstract: 本发明提出一种基于改进Resnet的实时手势识别方法,包括以下步骤:步骤S1:通过滑动窗口将视频流作为手势检测网络的输入,手势检测网络输出是否检测到手势;步骤S2:将检测结果通过滤波器,滤波器结合历史信息输出最终的检测结果;步骤S3:若滤波器的输出表示检测到手势,则将滑动窗口中的视频流输入手势分类网络,手势分类网络输出分类结果;步骤S4:对分类结果进行过滤,输出满足条件的分类结果。该方法能够有效地对视频中的手势进行识别。

    区分并增强时空特征的图卷积神经网络人体动作识别方法

    公开(公告)号:CN111339845B

    公开(公告)日:2022-06-10

    申请号:CN202010089473.9

    申请日:2020-02-13

    Applicant: 福州大学

    Inventor: 柯逍 柯力

    Abstract: 本发明公开了一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法,首先是基于神经网络自编码器的构造;其次通过一种新的表示无监督学习训练原理实现自动编码器的人体骨架信息压缩和自动编码降维;然后设计一种机制来在任何给定的时间步生成参考向量,将能够相对于生成的参考旋转隐藏状态;接着对旋转储存器网络模型构建原理及实现;最后对旋转储存器网络模型的激活函数进行分析和选择并对自动区分并增强时空特征的图卷积神经网络模型构建。本发明可以有效的提高人体动作识别的准确率。

    用于街景理解的基于动态插值重建的语义分割方法及系统

    公开(公告)号:CN110070091B

    公开(公告)日:2022-05-24

    申请号:CN201910359127.5

    申请日:2019-04-30

    Applicant: 福州大学

    Abstract: 本发明涉及一种用于街景理解的基于动态插值重建的语义分割方法及系统,该方法包括:对训练集输入图像进行预处理,使图像标准化并获取相同尺寸的预处理图像;用卷积网络提取通用特征,再获取混合空间金字塔池化特征,以这两部分级联作为编码网络提取编码特征;从卷积网络中选取中间层特征,结合编码特征计算插值权重特征,以动态插值的方式搭建解码网络,重建图像分辨率,计算解码特征;计算得到边缘增强的语义分割损失,以最小化边缘增强的语义分割损失为目标对深度神经网络进行训练;利用深度神经网络模型对待分割图像进行语义分割,输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

Patent Agency Ranking