-
-
公开(公告)号:CN101777059B
公开(公告)日:2011-12-07
申请号:CN200910242751.3
申请日:2009-12-16
Applicant: 中国科学院自动化研究所
Abstract: 本发明是一种提取地标性场景摘要的方法,该方法包括步骤如下:对每一幅地标性场景图像,提取颜色矩、小波纹理作为地标性场景图像的全局特征,提取SIFT描述子作为地标性场景图像的局部特征;利用全局特征对地标性场景图像库,根据图像的二维特征进行初始聚类;利用局部特征对初始聚类结果,从每一类中选取距离聚类中心最近的若干幅代表性图像,并对代表性图像进行两两匹配进行基于显著性几何验证;几何验证之后,从每一个聚类集合中提取标志性图像;利用类间几何验证对选出地标性场景图像中用户感兴趣的区域的标志性图像进行几何匹配筛选,将相同或相近视角的标志性图像聚为一类,从而实现相似类的融合,提取出地标性场景摘要。
-
公开(公告)号:CN101777059A
公开(公告)日:2010-07-14
申请号:CN200910242751.3
申请日:2009-12-16
Applicant: 中国科学院自动化研究所
Abstract: 本发明是一种提取地标性场景摘要的方法,该方法包括步骤如下:对每一幅地标性场景图像,提取颜色矩、小波纹理作为地标性场景图像的全局特征,提取SIFT描述子作为地标性场景图像的局部特征;利用全局特征对地标性场景图像库,根据图像的二维特征进行初始聚类;利用局部特征对初始聚类结果,从每一类中选取距离聚类中心最近的若干幅代表性图像,并对代表性图像进行两两匹配进行基于显著性几何验证;几何验证之后,从每一个聚类集合中提取标志性图像;利用类间几何验证对选出地标性场景图像中用户感兴趣的区域的标志性图像进行几何匹配筛选,将相同或相近视角的标志性图像聚为一类,从而实现相似类的融合,提取出地标性场景摘要。
-
公开(公告)号:CN119441513B
公开(公告)日:2025-04-29
申请号:CN202510033310.1
申请日:2025-01-09
Applicant: 中国科学院自动化研究所 , 国网四川省电力公司电力科学研究院
Abstract: 本发明涉及混合量化技术领域,具体涉及一种视觉语言大模型混合量化方法、装置和电子设备,该方法包括:将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后图像编码器和文本编码器的输出计算第一量化误差;将多模态校准集输入视觉语言大模型,并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的量化误差存入到哈希表中;结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程,提高优化效率。
-
公开(公告)号:CN119168012A
公开(公告)日:2024-12-20
申请号:CN202411194886.8
申请日:2024-08-28
Applicant: 中国科学院自动化研究所
Abstract: 本申请公开了一种基于大语言模型的强化学习奖励函数生成方法及装置。所述方法包括:获取原始任务描述数据、环境代码数据和提示词调用模板数据;将原始任务描述数据、环境代码数据、初始化提示词模板和代码总结提示词模板输入到预设大语言模型,得到第一环境变量输出结果;响应于第一环境变量输出结果满足第一预设条件,将温度参数和奖励函数生成提示词模板输入到预设大语言模型,生成第一奖励函数;将第一奖励函数输入到强化学习环境中进行训练,得到第二奖励函数,并且将第二奖励函数中与相应的任务成功率均值的最大值对应的奖励函数作为最终的奖励函数,第二奖励函数是将第一奖励函数中不满足第二预设条件的奖励函数删除之后得到的奖励函数。
-
公开(公告)号:CN117975190B
公开(公告)日:2024-11-05
申请号:CN202311868899.4
申请日:2023-12-29
Applicant: 中国科学院自动化研究所
IPC: G06V10/774 , G06V10/82 , G06N3/0475 , G06N3/045 , G06N3/094
Abstract: 本发明提供一种基于视觉预训练模型的模仿学习混合样本处理方法及装置,该方法包括:获取专家样本集;向次优专家样本添加目标噪声得到噪声专家样本,根据噪声专家样本和最优专家样本得到混合样本集;标定混合样本集的权重系数,对重分布的混合样本集进行预测和评分,再根据评分结果训练策略网络和奖励函数网络,根据目标奖励函数网络对评估数据集的各样本进行评分,得到评估数据集对应的预测排序,以更新重分布的混合样本集中各样本对应的权重系数,最后根据目标策略网络对重分布后的权重系数进行模仿学习,得到优化后的专家样本。本发明所述方法针对品质不一的混合专家样本进行差异化学习,改善数据集样本分布,提升模仿学习智能体的泛化能力。
-
公开(公告)号:CN118394422A
公开(公告)日:2024-07-26
申请号:CN202410287661.0
申请日:2024-03-13
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种用于智能硬件协同控制的提示工程方法、系统及设备,其中方法包括:基于环境感知数据确定设备状态,基于用户位置和用户活动信息确定用户所在区域;在存在设备状态改变、用户所在区域改变和用户发出命令中的至少一种的情况下,将环境感知数据输入至大型语言模型中,得到环境信息分析文本,以及将用户历史数据输入至大型语言模型中,得到用户需求文本和行为分析文本;基于环境信息分析文本、用户需求文本和行为分析文本,生成控制指令,获取用户的第一反馈信息,并基于第一反馈信息执行控制指令,得到控制指令执行后用户的第二反馈信息。该方法提高了硬件协同控制方法的灵活性和适应性,在硬件涉及人机交互的情况下更能体现其优势。
-
公开(公告)号:CN113657421B
公开(公告)日:2024-05-28
申请号:CN202110671327.1
申请日:2021-06-17
Applicant: 中国科学院自动化研究所
IPC: G06F30/27
Abstract: 本发明提供一种卷积神经网络压缩方法和装置、图像分类方法和装置,其中卷积神经网络压缩方法包括:对预训练的卷积神经网络中的各个卷积操作层分别进行卷积核聚类,得到各个卷积操作层对应的卷积核类簇;对各个卷积操作层对应的每一卷积核类簇进行卷积核剪枝;对卷积核剪枝后的卷积神经网络进行重训练,得到压缩后的卷积神经网络。本发明实现了高效的卷积核剪枝,同时,上述方式不再受卷积核分布导致的剪枝敏感度不同的限制,从而极大的节省了卷积核剪枝的计算资源和时间资源的消耗。
-
公开(公告)号:CN111582058B
公开(公告)日:2023-04-18
申请号:CN202010312001.5
申请日:2020-04-20
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06V40/10 , G06V10/44 , G06V10/42 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0475 , G06N3/09 , G06N3/094
Abstract: 本发明提出了一种使用对抗式3D分层网络进行手部姿态估计的方法,对抗式3D分层网络主要包括两个部分:3D分层预测网络(3DHNet)负责各个关节点的预测,3DHNet相比传统的2D卷积神经网络能够提取到深度图中的关键信息,姿态判别网络(PDNet)负责对输入的手部姿态的合理性进行判断。通过将3DHNet和PDNet进行对抗训练,在对抗训练的过程中,PDNet的目的是尽可能的将预测的手部姿态与真实的手部姿态区分开,而3DHNet的目的则是使预测的结果尽可能地接近真实的手部姿态,来迷惑PDNet,通过这种对抗训练的方式,PDNet以一种自适应的方式为3DHNet的预测结果添加了物理约束,来使得3DHNet的预测结果更加的合理和准确。
-
公开(公告)号:CN114756517A
公开(公告)日:2022-07-15
申请号:CN202210295189.6
申请日:2022-03-24
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F16/174 , G06F17/16 , G06K9/62 , G06N3/04 , G06T7/11 , G06V10/774
Abstract: 本发明公开了一种基于可微量化训练的视觉Transformer压缩方法及系统,属于人工智能的技术领域。包括以下步骤:步骤一、将输入图片进行分块处理,并通过线性映射转换成对应的图片序列;步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理,得到压缩后的图片序列;步骤三、将压缩后的图片序列进行分类处理,输出预测的概率值。在执行步骤一至步骤三时引入了可微量化步长训练方法,基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度;同时,步骤二在执行局部信息量化时引入了可微量化偏置训练方法,基于可微量化偏置训练方法自动学习得到最优的量化区间,保留负激活区域的信息。降低了因量化导致的性能损失,提高了量化精度。
-
-
-
-
-
-
-
-
-