-
公开(公告)号:CN111582058A
公开(公告)日:2020-08-25
申请号:CN202010312001.5
申请日:2020-04-20
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院 , 中国科学院自动化研究所
Abstract: 本发明提出了一种使用对抗式3D分层网络进行手部姿态估计的方法及系统,对抗式3D分层网络主要包括两个部分:3D分层预测网络(3DHNet)负责各个关节点的预测,3DHNet相比传统的2D卷积神经网络能够提取到深度图中的关键信息,姿态判别网络(PDNet)负责对输入的手部姿态的合理性进行判断。通过将3DHNet和PDNet进行对抗训练,在对抗训练的过程中,PDNet的目的是尽可能的将预测的手部姿态与真实的手部姿态区分开,而3DHNet的目的则是使预测的结果尽可能地接近真实的手部姿态,来迷惑PDNet,通过这种对抗训练的方式,PDNet以一种自适应的方式为3DHNet的预测结果添加了物理约束,来使得3DHNet的预测结果更加的合理和准确。
-
公开(公告)号:CN111027568A
公开(公告)日:2020-04-17
申请号:CN201911047484.4
申请日:2019-10-30
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种迭代的神经网络批量规范化系统,包括特征预处理单元、神经网络构建单元和网络批量规范单元;所述特征预处理单元可以对需要进行识别的图片进行特征预处理,去除背景中干扰信息;所述神经网络构建单元可以训练出识别图像内容的学习网络,进一步处理图片;所述网络批量规范单元可以对神经网络的训练模式进行改进,提高训练过程中的收敛速度。本发明通过批量规范了神经网络的训练过程,减少了神经网络构建的代价,提高了神经网络的训练速度。
-
公开(公告)号:CN110929762A
公开(公告)日:2020-03-27
申请号:CN201911048238.0
申请日:2019-10-30
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院 , 中国科学院自动化研究所
Abstract: 本发明提出了一种基于深度学习的肢体语言检测与行为分析方法及系统。通过对目标的行为视频、图片以及语音进行提取,分别获取目标在不同情绪下的面部表情以及四肢行为的图片及视频,获取在相应情绪下的语音数据,丰富数据集,予以标注后制作成训练集。后使用CNN训练图片及视频帧数据,关键点为面部表情,头部动作,四肢动作,整体动作频率,这4点训练成一个集成模型,其次使用LSTM训练语音数据,最后将两个模型进行集成训练,合成集成模型,最终会产生3个模型,保证模型支持语音或图片单独检测的能力。上述过程使得本发明拥有较强的主动学习能力,并不断优化数据库,使得准确率能够随着识别次数的增加不断提升。
-
公开(公告)号:CN119441513A
公开(公告)日:2025-02-14
申请号:CN202510033310.1
申请日:2025-01-09
Applicant: 中国科学院自动化研究所 , 国网四川省电力公司电力科学研究院
Abstract: 本发明涉及混合量化技术领域,具体涉及一种视觉语言大模型混合量化方法、装置和电子设备,该方法包括:将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后图像编码器和文本编码器的输出计算第一量化误差;将多模态校准集输入视觉语言大模型,并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的量化误差存入到哈希表中;结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程,提高优化效率。
-
公开(公告)号:CN119249360A
公开(公告)日:2025-01-03
申请号:CN202411767208.6
申请日:2024-12-04
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种离线强化学习和持续在线微调的决策方法和模型,该方法包括获取原始文本‑图像对数据和历史轨迹数据,通过特征匹配验证和标准化处理得到增强状态序列;利用多层级注意力机制进行序列预测,并通过知识蒸馏和任务适应性增强得到预训练模型参数;基于稳定性评估和可塑性控制对模型进行在线知识迁移,结合经验回放优化得到优化后模型参数;最后进行多维度性能评估和资源优化。本发明通过多模态特征融合、动态知识迁移和自适应优化机制,有效解决了特征表示不充分、灾难性遗忘和优化效率低等问题,提高了模型的学习效率和泛化能力。
-
公开(公告)号:CN118886453A
公开(公告)日:2024-11-01
申请号:CN202411376160.6
申请日:2024-09-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0455 , G06N3/082 , G06N3/084 , G06N3/0985
Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品,所述基于低秩量化大模型的预测方法包括:获取预测模型,其中,预测模型为大模型;通过将预测模型中的线性层的参数进行低秩分解,得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵;基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵,构建与线性层对应的量化低秩模块,其中,量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层;通过将预测模型中的线性层替换为量化低秩模块,得到压缩后的预测模型;将输入数据输入到压缩后的预测模型,得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。
-
公开(公告)号:CN118628876A
公开(公告)日:2024-09-10
申请号:CN202411115733.X
申请日:2024-08-14
Applicant: 珠海亿智电子科技有限公司 , 北京科技大学 , 中国科学院自动化研究所
IPC: G06V10/778 , G06V10/764 , G06V10/766 , G06V10/774
Abstract: 本发明适用计算机视觉感知领域和模型压缩技术领域,提供了一种目标检测模型的量化感知训练方法,该方法包括:构建待量化的目标检测模型的目标损失函数,该目标损失函数包括分类损失函数、回归损失函数以及任务和谐约束损失函数,基于目标损失函数,对目标检测模型进行量化感知训练,直至该目标损失函数收敛,从而使得分类任务和回归任务之间的关系变得越来越和谐,避免了不和谐的预测框的出现,提高了量化后目标检测模型在NMS后的检测性能。
-
公开(公告)号:CN117975190A
公开(公告)日:2024-05-03
申请号:CN202311868899.4
申请日:2023-12-29
Applicant: 中国科学院自动化研究所
IPC: G06V10/774 , G06V10/82 , G06N3/0475 , G06N3/045 , G06N3/094
Abstract: 本发明提供一种基于视觉预训练模型的模仿学习混合样本处理方法及装置,该方法包括:获取专家样本集;向次优专家样本添加目标噪声得到噪声专家样本,根据噪声专家样本和最优专家样本得到混合样本集;标定混合样本集的权重系数,对重分布的混合样本集进行预测和评分,再根据评分结果训练策略网络和奖励函数网络,根据目标奖励函数网络对评估数据集的各样本进行评分,得到评估数据集对应的预测排序,以更新重分布的混合样本集中各样本对应的权重系数,最后根据目标策略网络对重分布后的权重系数进行模仿学习,得到优化后的专家样本。本发明所述方法针对品质不一的混合专家样本进行差异化学习,改善数据集样本分布,提升模仿学习智能体的泛化能力。
-
公开(公告)号:CN113326930B
公开(公告)日:2024-05-03
申请号:CN202010134455.8
申请日:2020-02-29
Applicant: 华为技术有限公司 , 中国科学院自动化研究所
IPC: G06N3/084 , G06N3/045 , G06N3/0464
Abstract: 本申请提供了一种数据处理方法、神经网络的训练方法及相关装置、设备,方法应用于训练设备,方法包括:将神经网络的模型参数设置为浮点数进行训练,直到训练设备训练第一神经网络达到收敛状态;确定训练后的第一神经网络中第l个卷积层包含的各个卷积核之间的相关度;其中,卷积核对应的相关度越大,训练设备在进行计算时产生的冗余计算越多;将M个卷积核进行量化训练,直至训练设备训练第一神经网络达到收敛状态,得到量化后的第二神经网络;其中,其中,M为大于0的正整数;M个卷积核为相关度较高的前M个卷积核。实施本申请,可以在提高神经网络的运算效率的同时,尽可能地保持神经网络的运算精度。
-
公开(公告)号:CN111104553B
公开(公告)日:2023-12-12
申请号:CN202010012178.3
申请日:2020-01-07
Applicant: 中国科学院自动化研究所
IPC: G06F16/75 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种高效运动互补神经网络系统,包括视频读取单元、视频类别单元和神经网络补充单元;所述视频读取单元对输入的视频进行读取,同时对视频的描述信息等文字辅助信息进行提取;所述视频类别单元根据网络等视频提取源对视频的描述信息对视频的类别进行初步判定,并将视频划分到神经网络中已有的类别分区中;所述神经网络补充单元分成两个模块,对视频分类的方法进行优化,缩短视频分类的时间。本发明针对双流法和3D卷积法分别做出提高计算光流效率和缩小网络计算量的优化方法,提升了视频提取和分类的速度。
-
-
-
-
-
-
-
-
-