-
公开(公告)号:CN118628876B
公开(公告)日:2024-10-15
申请号:CN202411115733.X
申请日:2024-08-14
Applicant: 珠海亿智电子科技有限公司 , 北京科技大学 , 中国科学院自动化研究所
IPC: G06V10/778 , G06V10/764 , G06V10/766 , G06V10/774
Abstract: 本发明适用计算机视觉感知领域和模型压缩技术领域,提供了一种目标检测模型的量化感知训练方法,该方法包括:构建待量化的目标检测模型的目标损失函数,该目标损失函数包括分类损失函数、回归损失函数以及任务和谐约束损失函数,基于目标损失函数,对目标检测模型进行量化感知训练,直至该目标损失函数收敛,从而使得分类任务和回归任务之间的关系变得越来越和谐,避免了不和谐的预测框的出现,提高了量化后目标检测模型在NMS后的检测性能。
-
公开(公告)号:CN118673999A
公开(公告)日:2024-09-20
申请号:CN202411141783.5
申请日:2024-08-20
Applicant: 中国科学院自动化研究所
IPC: G06N3/09 , G06N3/045 , G06N3/042 , G06N3/0499
Abstract: 本申请提供一种大模型微调方法、装置、设备、介质及程序产品,涉及人工智能技术领域。所述方法包括:对大模型中的每个自注意力层,构建重参数化因子;重参数化因子的数量为多个;重参数化因子为多头权重;基于重参数化因子,构建静态多头自注意力权重;基于静态多头自注意力权重与初始自注意力图,确定第一微调模块;基于目标前馈神经网络层与低秩适配器参数,确定第二微调模块;低秩适配器参数包括多个低秩矩阵;基于第一微调模块与第二微调模块,在训练数据上进行大模型部分参数的调整。本申请提供的大模型微调方法、装置、设备、介质及程序产品,可以将线性层的重参数化手段和注意力机制的微调结合起来,能够全面又高效地进行大模型微调。
-
公开(公告)号:CN118411546A
公开(公告)日:2024-07-30
申请号:CN202410344613.0
申请日:2024-03-25
Applicant: 中国科学院自动化研究所
IPC: G06V10/764 , G06N3/0895 , G06V10/82 , G06N3/0455
Abstract: 本发明提供一种基于掩码图像建模预训练加速模型的图像分类方法和装置,其中方法包括:将待分类图像输入至掩码图像建模预训练加速模型,得到掩码图像建模预训练加速模型输出的待分类图像的图像类别;掩码图像建模预训练加速模型是在视觉转换网络的基础上,应用样本图像集中的多个样本图像进行多阶段的自监督训练得到的,每个阶段的自监督训练过程中所应用的样本图像是从上一阶段的自监督训练过程中所应用的样本图像中筛选得到的,克服了传统方案中因复杂度和数据量提升,导致训练耗费的计算资源、占用的存储空间,以及花费时间增加,模型的训练开销太大的缺陷,减少了训练过程中计算量和数据量的需求,缩减了资源消耗,兼顾了模型性能和训练效率。
-
公开(公告)号:CN111460978B
公开(公告)日:2023-06-23
申请号:CN202010237340.1
申请日:2020-03-30
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06V20/52 , G06V40/20 , G06V20/40 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 本发明提出了一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法,监控系统包含图像处理和步态识别两种模式,上述两种模式相互融合提高幼儿行为的判定准确度。图像处理基于深度学习技术,通过对分类好的幼儿图片使用CNN进行训练,得到相应的分类模型,在空间上监测点在t时刻的幼儿动作变化数据,从而更好地预测下一帧的动作,相比于传统的单帧识别判断,本发明具有良好地预判性。为应对图像处理时可能造成的误判,本发明将步态识别融入其中,感知幼儿的行为实际动作,在幼儿行为图片学习的基础之上结合幼儿行为产生的加速度变化差和压感变化差进行反馈学习。上述两种方式相结合有效提高了幼儿行为监控的准确度和预判能力。
-
公开(公告)号:CN113657421A
公开(公告)日:2021-11-16
申请号:CN202110671327.1
申请日:2021-06-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种卷积神经网络压缩方法和装置、图像分类方法和装置,其中卷积神经网络压缩方法包括:对预训练的卷积神经网络中的各个卷积操作层分别进行卷积核聚类,得到各个卷积操作层对应的卷积核类簇;对各个卷积操作层对应的每一卷积核类簇进行卷积核剪枝;对卷积核剪枝后的卷积神经网络进行重训练,得到压缩后的卷积神经网络。本发明实现了高效的卷积核剪枝,同时,上述方式不再受卷积核分布导致的剪枝敏感度不同的限制,从而极大的节省了卷积核剪枝的计算资源和时间资源的消耗。
-
公开(公告)号:CN109325530B
公开(公告)日:2021-05-04
申请号:CN201811046300.8
申请日:2018-09-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度神经网络技术领域,具体涉及一种基于少量无标签数据的深度卷积神经网络的压缩方法,旨在解决在已有全精度网络模型基础上,对深度卷积神经网络所有层进行压缩,且不进行基于原始有标注训练数据进行再训练时,性能损失较大的问题,包括:获取原始深度卷积神经网络;对原始深度卷积神经网络中各层的权值张量进行稀疏化操作,得到多个含有较多0元素的权值张量;在已压缩的权值张量基础之上,通过少量无标注数据对压缩后的深度卷积神经网络中的批数据归一化层中的统计量进行更新,获得新的深度卷积神经网络。通过本发明实施例,实现了在仅依赖于少量无标注数据的大型深度卷积神经网络的压缩,降低了性能损失。
-
公开(公告)号:CN107437110B
公开(公告)日:2021-04-02
申请号:CN201710560643.5
申请日:2017-07-11
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及深度神经网络领域,提出了一种卷积神经网络的分块卷积优化方法及装置,旨在解决神经网络中卷积运算在硬件处理系统中的处理瓶颈问题,该优化方法包括:选择待分块卷积的卷积层,并确定其分块尺寸上限;根据分块尺寸的上限,确定输入特征图的分块数、分块尺寸;基于分块数、分块尺寸、卷积核尺寸、输入特征图尺寸、输入特征图边界填充尺寸,计算分块特征图的分块边界填充尺寸;基于分块数、分块尺寸、分块边界填充尺寸,构建基于分块边界填充的卷积,并替换原始卷积。本发明大大缓解了卷积神经网络在嵌入式硬件平台运行的资源受限问题,并在读写存储器时最大限度的提高突发长度,提高吞吐量,降低延时,提高效率。
-
公开(公告)号:CN112183637A
公开(公告)日:2021-01-05
申请号:CN202011049667.2
申请日:2020-09-29
Applicant: 中科方寸知微(南京)科技有限公司 , 中国科学院自动化研究所南京人工智能芯片创新研究院
Abstract: 本发明提出了一种基于神经网络的单光源场景光照重渲染方法及系统,包括以下步骤:对已有的图像场景光照数据集进行预处理;设计光照信息分类网络;设计内容自重建网络,为内容编码器单独构造一个完整的自编码网络;构建光照重渲染网络,光照重渲染网络由训练好的光照信息分类编码器、内容编码器和解码器组成,解码器将同时结合内容编码器和光照信息分类编码器所提供地特征进行图像特征还原;使用数据集对光照重渲染网络进行训练。基于该方法能提取处出所需的光照信息,而自重建网络使得其内部的内容编码器可以学习到足够多的图像内容特征,所以可以将准确的光照信息与图像信息相结合得到接近真实的效果,从而解决了在场景图像中的光照重渲染问题。
-
公开(公告)号:CN107368613B
公开(公告)日:2020-02-28
申请号:CN201710792394.2
申请日:2017-09-05
Applicant: 中国科学院自动化研究所
IPC: G06F16/33 , G06F40/205
Abstract: 本发明涉及文本挖掘技术领域,具体提供了一种短文本情感分析方法及装置,旨在解决如何在考虑背景信息的情况下对短文本进行情感挖掘,以提高情感挖掘准确性的技术问题。为此目的,本发明中的方法包括:获取将短文本信息输入至LSTM网络所得的向量序列,及其背景信息;依据向量序列、背景信息和预设的Attention模型,获取单词的注意力权重;依据向量序列和注意力权重,构建短文本信息对应的新的文本向量;对新的文本向量进行情感评估。同时,本发明中的装置可以执行上述方法。本发明的技术方案,通过获取与背景信息相关的注意力权重,并基于该注意力权重构建新的文本向量,结合了短文本实际内容与背景信息,从而可以更加准确地分析短文本的情感极性。
-
公开(公告)号:CN110705355A
公开(公告)日:2020-01-17
申请号:CN201910817335.5
申请日:2019-08-30
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院
Abstract: 本发明为一种基于关键点约束的人脸姿态估计方法,包括获取有待估计的人像,建立训练集通过训练集标注关键点,通过预设神经网络模型对所有训练集中的人脸标注68个关键点;对关键点进行归一化处理得到对应的关键点坐标,将关键点坐标输入至预设人脸姿态角度检测神经网络中,预设人脸姿态角度检测神经网络输出人脸姿态角度值。本发明的基于神经网络的人脸姿态角度检测方法通过预设关键点神经网络对待测人脸图像进行关键点定位获得68个关键点,采用预设人脸姿态角度检测神经网络对关键点进行检测得到人脸姿态角度值。
-
-
-
-
-
-
-
-
-