公开(公告)号：CN116250846A

公开(公告)日：2023-06-13

申请号：CN202310249522.4

申请日：2023-03-15

Applicant: 电子科技大学

Inventor： 万金鹏 ,  李宏亮 ,  崔建华 ,  王世森 ,  何乃宇 ,  周毓轩 ,  孟凡满 ,  吴庆波 ,  许林峰 ,  潘力立

IPC: A61B5/369 ,  G06F18/2415 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/08 ,  G06F3/01 ,  A61B5/372 ,  A61B5/00

Abstract: 本发明提供一种基于数据转换的多分支运动想象脑电信号特征融合分类方法，旨在扩充网络结构宽度即网络分支的基础上，将脑电波数据转换为不同的输入格式，使用多个分支网络进行处理，使用格拉姆角场作为新的转换后的数据格式输入网络，和深度分离卷积及时频图相比提供了更加丰富的特征，有利于提高特征提取的完整性，使得不同网络分支之间具有的显著特征不同，提取的特征相互互补。转换为不同的数据格式有利于训练网络学习不同类型的特征。同时使用了分类任务中大任务和小任务以及其他任务的约束，即使用网络不同的任务目标实现多种约束，有利于网络提取到通适性更高、更全面的特征，取得了更佳的运动想象脑电信号分类效果。

公开(公告)号：CN116311525A

公开(公告)日：2023-06-23

申请号：CN202310292682.7

申请日：2023-03-23

Applicant: 电子科技大学

Inventor： 周毓轩 ,  李宏亮 ,  谢晶晶 ,  梁悦 ,  刘黛瑶 ,  万金鹏 ,  孟凡满 ,  吴庆波 ,  许林峰 ,  潘力立

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明提供一种基于跨模态融合的视频行为识别方法，包括以下步骤：对视频流进行下采样处理，将下采样后的各帧图像划分为像素块，采用线性投射层计算出图像特征向量输入Transformer空间编码器得到每帧视频的图像特征序列；对惯性运动传感器数据进行分段处理，逐段地对数据采用线性映射升维再输入Transformer时序编码器传感器特征序列；将图像特征序列作为键和值向量，将传感器特征序列作为查询向量输入带掩码Transformer时间编码器得到时序融合后的多模态特征，将多模态特征输入多层感知机MLP，由MLP输出视频识别的结果。本发明通过空间编码的Transformer和时间编码的Transformer联合地从视频流数据和惯性运动传感器数据中提取时空语义特征和人体运动特征，并基于跨模态编码的Transformer方法完成行为识别。

公开(公告)号：CN116246211A

公开(公告)日：2023-06-09

申请号：CN202310249523.9

申请日：2023-03-15

Applicant: 电子科技大学

Inventor： 王世森 ,  李宏亮 ,  何乃宇 ,  周毓轩 ,  谢晶晶 ,  梁悦 ,  孟凡满 ,  吴庆波 ,  许林峰 ,  潘力立

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06F16/783 ,  G06N3/0464

Abstract: 本发明提供一种基于时空分组注意力机制的第一视角视频描述生成方法，对输入的第一视角视频提取第一视角视频的特征谱作为区域特征；位置编码模块输出区域特征对应的位置编码；再将区域特征加上其位置编码的结果来更新区域特征；空间分组注意力模块将区域特征高维度和宽维度合并为空间维度，再对空间维度上的全部特征计算两次分组注意力以充分建模所有特征之间在空间维度上的交互关系；之后，进行空间和时间维度的交换，时间分组注意力模块对时间维度上的全部特征计算两次分组注意力并输出，再在空间维度上求平均得到第一视角视频特征编码，为解码器提供有更多时空信息的视频特征，适应第一视角视频存在的抖动和帧间变化，从而提高描述语句的质量。

公开(公告)号：CN116245164A

公开(公告)日：2023-06-09

申请号：CN202310249525.8

申请日：2023-03-15

Applicant: 电子科技大学

Inventor： 崔建华 ,  李宏亮 ,  王世森 ,  何乃宇 ,  周毓轩 ,  谢晶晶 ,  孟凡满 ,  吴庆波 ,  许林峰 ,  潘力立

IPC: G06N3/082 ,  G06N3/0464 ,  G06F17/18 ,  G06F18/23 ,  G06V10/82 ,  G06V10/774

Abstract: 本发明提供一种基于滤波器权重聚类的用于目标检测的CNN快速剪枝方法，包括目标检测模型初始化步骤；重要性评分的指数滑动平均处理步骤得到各个滤波器的重要性评分的滑动平均值；阈值计算步骤：计算卷积层的重要性评分，再将重要性评分最低的卷积层作为本次剪枝的目标卷积层；计算目标卷积层中计算其各个滤波器的重要性评分的方差，从而得到目标卷积层的重要性评分阈值；剪枝步骤：对目标卷积层的滤波器参数向量进行聚类；在目标卷积层的每个簇中，对重要性评分的滑动平均值最低且重要性评分的滑动平均值低于重要性评分阈值的滤波器进行剪枝。本发明在保证整体剪枝效果不降低的条件下，提升了用于目标检测的卷积神经网络滤波器剪枝的效率。

公开(公告)号：CN116306886A

公开(公告)日：2023-06-23

申请号：CN202310249533.2

申请日：2023-03-15

Applicant: 电子科技大学

Inventor： 何乃宇 ,  李宏亮 ,  周毓轩 ,  谢晶晶 ,  梁悦 ,  刘黛瑶 ,  孟凡满 ,  吴庆波 ,  许林峰 ,  潘力立

IPC: G06N3/082 ,  G06N3/0464 ,  G06V20/62 ,  G06V10/82

Abstract: 本发明提供一种用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，使用结构化剪枝方法，将不重要的卷积核整个剔除，可以在任意设备上实现参数压缩和计算加速。为保证目标检测的准确性，通过设计一个通道注意力打分模块来评估网络中各个卷积通道的重要性，在训练中仅保留重要性打分高于既定阈值的通道参与计算。由于打分模块的输出特征谱中抑制了即将被裁剪通道所对应的输出特征的幅值，即训练过程中冗余参数已经被剪去，则仅被保留的参数会参与下一层网络的计算，减轻计算量。本发明避免了手工设计评价指标；通道注意力打分模块具有即插即用的特性，适应性强；训练过程中非重要参数已经被抑制，极大地减少了细调剪枝网络所需时间。