-
公开(公告)号：CN115082840A
公开(公告)日：2022-09-20
申请号：CN202210980779.2
申请日：2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置，包括以下步骤：步骤S1：从输入视频中提取连续采样视频帧；步骤S2：利用数据组合操作构建融合视频帧；步骤S3：利用所提出的网络模型提取视频深度特征；步骤S4：利用视频深度特征计算通道相关性矩阵；步骤S5：将通道相关性矩阵作用于视频深度特征并进行特征融合，得到融合后特征；步骤S6：所述融合后特征经过全连接层进行分类，再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合，从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性，实现了各通道之间的信息交互，达到了更好地建模效果。
-
公开(公告)号：CN116631641B
公开(公告)日：2023-12-22
申请号：CN202310898736.4
申请日：2023-07-21
Applicant: 之江实验室
Abstract: 本发明公开了一种集成自适应相似患者图的疾病预测装置，先构建多个平衡的训练子集，然后训练相似患者图构建学习器，自动生成每个训练子集的最佳患者关联关系，再利用图神经网络算法共享关联患者之间的信息生成群体深度隐藏特征，在得到的群体深度隐藏特征上再进行一次患者关联关系和群体深度隐藏特征学习，最后针对新的患者，利用训练好的模型自动将其添加到多个训练子集中并自动生成与其他样本的关联关系和深度隐藏特征，用于疾病预测，可解决现有疾病预测装置处理不平衡数据时性能下降和无法有效共享患者之间信息的问题。
-
公开(公告)号：CN115082840B
公开(公告)日：2022-11-15
申请号：CN202210980779.2
申请日：2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置，包括以下步骤：步骤S1：从输入视频中提取连续采样视频帧；步骤S2：利用数据组合操作构建融合视频帧；步骤S3：利用所提出的网络模型提取视频深度特征；步骤S4：利用视频深度特征计算通道相关性矩阵；步骤S5：将通道相关性矩阵作用于视频深度特征并进行特征融合，得到融合后特征；步骤S6：所述融合后特征经过全连接层进行分类，再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合，从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性，实现了各通道之间的信息交互，达到了更好地建模效果。
-
公开(公告)号：CN115250246A
公开(公告)日：2022-10-28
申请号：CN202211148618.3
申请日：2022-09-21
Applicant: 之江实验室
IPC: H04L43/10 , H04L67/10 , H04L67/50 , H04L69/164 , H04L69/22
Abstract: 本发明公开了一种监测虚拟机集群中节点状态的方法和计算机系统。该方法基于通用的主/从分布式集群架构，自定义面向通信协议透明的心跳包编码及解码规则；基于全局可分发的编码元数据，设计了分段标识以及前缀匹配的身份标识编码格式，突破数据包所有字段都以字节为最小单位的编码范式，构造相对轻量级的心跳数据包。该方法应用在大规模集群中，能够有效减少监测数据所占用的系统带宽资源，提升虚拟机集群的网络吞吐量和稳定性。
-
公开(公告)号：CN114332544B
公开(公告)日：2022-06-07
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
Patent Agency Ranking
公开(公告)号：CN114494791A
公开(公告)日：2022-05-13
申请号：CN202210353591.5
申请日：2022-04-06
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出了一种基于注意力选择的transformer运算精简方法，在transformer网络的每层用注意力机制获取关联矩阵，对关联矩阵的每一行计算信息熵，获得各个局部标识对于网络任务的重要性程度，将局部标识划分为重要标识和不重要标识，每间隔一定网络层，计算不重要标识的特征参数和，将不重要标识的特征参数值加到重要标识上，删除不重要标识，仅重要标识进入网络下一层。网络训练过程中，构建交叉熵损失函数和重要性损失函数，重要性损失函数用于降低重要标识与不重要标识的关联。本发明方法从影响网络任务的判别性区域的选择角度出发，实现方法简单，有效减少网络计算量的同时，对模型精度影响很小，且可以与已知网络压缩方法同时使用，共同实现计算量压缩。
-
公开(公告)号：CN114332544A
公开(公告)日：2022-04-12
申请号：CN202210244194.4
申请日：2022-03-14
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。
-
公开(公告)号：CN114154648A
公开(公告)日：2022-03-08
申请号：CN202210124656.9
申请日：2022-02-10
Applicant: 之江实验室
IPC: G06N20/00
Abstract: 本发明涉及模型压缩领域，尤其涉及一种基于网络深度压缩的模型蒸馏方法、装置和介质，该方法使用余弦距离计算不同数据经过模型后的特征关系，基于斯皮尔曼相关公式构建损失函数，将简单模型不同层特征关系与复杂模型最后一层的特征关系进行匹配，并以此构建损失函数，引导简单模型不同层的数据特征关系向复杂模型最深层的数据特征关系靠近，使简单模型的浅层学习到更深层特征信息，从而实现网络深度的压缩。相较于大部分已有知识蒸馏方法主要应用于教师网络和学生网络相近深度的网络层，本发明方法考虑深度对网络提升的影响，直接进行浅层向深层的蒸馏学习，且本发明方法实现方法简便，效果提升显著，并可以与已有知识蒸馏方法同时使用提升效果。
-
公开(公告)号：CN117253177B
公开(公告)日：2024-04-05
申请号：CN202311545738.1
申请日：2023-11-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种动作视频分类方法、装置及介质，该方法将输入视频在空间上均匀分块，即令牌token，各块拉伸后得到的向量经过线性映射，得到第一视频特征；将第一视频特征输入编码模块中，得到第二视频特征；编码模块由若干个编码器组成；每个编码器由混合注意力及通道转移模块和多层感知机组成；混合注意力及通道转移模块用于进行混合注意力操作和通道转移操作；混合注意力包括空间注意力、时间注意力和随机注意力；第二视频特征经过空间池化操作后，送入分类器中进行分类，并得到各视频帧的分类结果；然后再使用时域均匀聚合操作，得到输入视频的分类结果。本发明的混合注意力有效降低了注意力机制的运算开销，时间复杂度低。
-
公开(公告)号：CN117292209A
公开(公告)日：2023-12-26
申请号：CN202311585233.8
申请日：2023-11-27
Applicant: 之江实验室
IPC: G06V10/764 , G06V20/40
Abstract: 本发明公开了基于时空增强三维注意力重参数化的视频分类方法及装置，将待分类视频的各视频帧在空间上均匀划分为不重叠的块，将各块经过拉伸、线性映射和叠加位置嵌入向量，得到第一视频特征；将第一视频特征经过Transformer网络进行处理，得到第二视频特征；每层网络均包含时空增强三维注意力模块和多层感知机；时空增强三维注意力模块在训练时包含三维注意力、空间注意力和时间注意力三个分支，自适应地增强具有时空关联的令牌之间的依赖关系，推理时计算等价地退化为三维注意力操作，以降低推理开销；将第二视频特征中的类别令牌利用全连接层进行分类，得到各视频帧的分类结果，再经过时域平均池化操作，得到视频的类别预测结果。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.026 seconds)
