-
公开(公告)号:CN119884981A
公开(公告)日:2025-04-25
申请号:CN202510345153.8
申请日:2025-03-24
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F18/2431 , G06F18/25 , G06F18/21 , G06F18/213 , G06N3/0464 , G06F123/02
Abstract: 本发明公开了一种基于记忆增强多模态大模型的用户偏好解析方法,包括多模态交互数据采集与预处理、时序偏好层级识别与分类、跨模态偏好一致性分析、隐式偏好提取与验证、跨域偏好边界识别与迁移规则生成、多层次偏好冲突协调与决策、记忆增强偏好模型更新与应用。本发明通过自适应时间衰减模型实现不同类型偏好的精确时序分类;利用跨模态对齐映射函数解决多通道偏好信号的协调融合;采用低干扰验证策略实现隐式偏好的高效捕捉。
-
公开(公告)号:CN119441513A
公开(公告)日:2025-02-14
申请号:CN202510033310.1
申请日:2025-01-09
Applicant: 中国科学院自动化研究所 , 国网四川省电力公司电力科学研究院
Abstract: 本发明涉及混合量化技术领域,具体涉及一种视觉语言大模型混合量化方法、装置和电子设备,该方法包括:将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后图像编码器和文本编码器的输出计算第一量化误差;将多模态校准集输入视觉语言大模型,并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的量化误差存入到哈希表中;结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程,提高优化效率。
-
公开(公告)号:CN119249360A
公开(公告)日:2025-01-03
申请号:CN202411767208.6
申请日:2024-12-04
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种离线强化学习和持续在线微调的决策方法和模型,该方法包括获取原始文本‑图像对数据和历史轨迹数据,通过特征匹配验证和标准化处理得到增强状态序列;利用多层级注意力机制进行序列预测,并通过知识蒸馏和任务适应性增强得到预训练模型参数;基于稳定性评估和可塑性控制对模型进行在线知识迁移,结合经验回放优化得到优化后模型参数;最后进行多维度性能评估和资源优化。本发明通过多模态特征融合、动态知识迁移和自适应优化机制,有效解决了特征表示不充分、灾难性遗忘和优化效率低等问题,提高了模型的学习效率和泛化能力。
-
公开(公告)号:CN118886453A
公开(公告)日:2024-11-01
申请号:CN202411376160.6
申请日:2024-09-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0455 , G06N3/082 , G06N3/084 , G06N3/0985
Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品,所述基于低秩量化大模型的预测方法包括:获取预测模型,其中,预测模型为大模型;通过将预测模型中的线性层的参数进行低秩分解,得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵;基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵,构建与线性层对应的量化低秩模块,其中,量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层;通过将预测模型中的线性层替换为量化低秩模块,得到压缩后的预测模型;将输入数据输入到压缩后的预测模型,得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。
-
公开(公告)号:CN110929239B
公开(公告)日:2021-11-19
申请号:CN201911045860.6
申请日:2019-10-30
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明涉及一种基于唇语指令的终端解锁方法,在采集过程中,取几帧图像进行人脸的获取,并提取部分关键特征点。在验证过程中,同理提取需要识别人脸的关键特征点,采用facenet网络计算人脸特征的欧氏距离,进行比较阈值判断。在采集时用户可自行设计指令动作,在识别时做出相同动作即可,这样动作指令不易被他人窃取,提高了认证的安全性。同时,该唇语指令解锁方法无需在终端上进行大规模的运算,极大的降低了硬件性能要求,提高了识别速度。本发明能够避免空间内某一象限堆积造成梯度过大的问题,并提高网络学习和训练效率,起到主动学习训练模型的效果,解决了传统的固定指令动作易暴露的问题。
-
公开(公告)号:CN111023022B
公开(公告)日:2021-09-21
申请号:CN201911367654.7
申请日:2019-12-26
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: F21S9/03 , F21V33/00 , F21V21/116 , F21V21/15 , F21V21/22 , F21V21/36 , F21W131/103 , F21Y115/10
Abstract: 本发明公开了一种基于人工智能图像识别监测的智能LED太阳能路灯,属于智能路灯领域。一种基于人工智能图像识别监测的智能LED太阳能路灯,包括内置有图像识别芯片和控制器的摄像头和灯杆,所述灯杆上端固定连接有太阳能电池板和LED灯,所述LED灯通过固定架固定连接在所述的灯杆上,所述灯杆上固定连接有风速仪,所述的风速仪与所述的摄像头电性相连;本发明升降筒中的灯杆向下移动,实现灯杆的整体重心降低,确保稳定性,提高抗风性,实现推动稳固杆向上移动,与此同时灯杆上的长杆向下移动,使得稳固杆插入长杆中的稳固插孔中,进一步稳固灯杆,实现提供整体灯杆的稳固性能。
-
公开(公告)号:CN110598097A
公开(公告)日:2019-12-20
申请号:CN201910817466.3
申请日:2019-08-30
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院
IPC: G06F16/9535 , G06K9/00 , G06N3/04 , G06N3/08 , G06F16/23
Abstract: 本发明公开了一种基于CNN的发型推荐系统、方法、设备及存储介质,包括参照图片数据化单元、人脸识别单元和评价更新单元;所述参照图片数据化单元对百度云端接口传送的含人脸的发型参考照片进行识别并标签化,使用CNN网络训练并生成发型参照数据库;所述人脸识别单元对用户的人脸进行脸型识别,并定位到具体面部区域,进一步准确添加参照发型;所述评价更新单元汇总不同种脸型在网上的发型评价,结合用户实时使用的评价,对每一款脸型的推荐发型进行排名更新。本发明使用CNN网络学习人脸的特征,通过分割或者关键点的方式训练出一个模型,当输入一个人脸之后会在图像数据库中找到匹配的发型,便于用户更加精准迅速地识别出适合自己的发型。
-
公开(公告)号:CN108334945A
公开(公告)日:2018-07-27
申请号:CN201810088723.X
申请日:2018-01-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于神经网络技术领域,具体涉及一种深度神经网络的加速与压缩方法及装置。旨在解决现有技术对深度神经网络进行压缩和加速占用大量内存并且精度下降的问题。本发明提供深度神经网络的加速与压缩方法,包括获取原始深度神经网络中各层的输入数据与参数矩阵;基于输入数据与参数矩阵,计算原始深度神经网络中各层的二值矩阵与浮点系数;将二值矩阵替换原始深度神经网络各层的参数矩阵,并在原始深度神经网络中构建尺度因子层,基于浮点系数初始化尺度因子层的参数,得到新的深度神经网络。本发明的方案能够将神经网络的网络参数二值化,占用更少的内存且提升精度。
-
公开(公告)号:CN107480770A
公开(公告)日:2017-12-15
申请号:CN201710624244.0
申请日:2017-07-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及神经网络技术领域,具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量,并基于预先设定的量化位宽,对权值张量和输入特征张量进行定点量化,并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量,得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽,无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩,减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置,具有上述有益效果。
-
公开(公告)号:CN119293139B
公开(公告)日:2025-03-14
申请号:CN202411806624.2
申请日:2024-12-10
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F16/31 , G06F16/334 , G06F16/35 , G06F18/10 , G06F18/213 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种用于增强大语言模型多模态长上下文对话能力的记忆检索方法,包括对原始多模态对话序列进行基于信息密度的自适应切分并提取局部特征;构建三层特征金字塔结构实现多尺度特征表示;通过特征压缩和时序依赖图建模增强特征的时序表达能力;基于特征稳定性评估构建记忆向量序列;对查询数据进行结构化表示并与记忆向量进行多层次交互;通过层次化索引和多维度相似度计算实现高效检索;基于用户反馈定期优化记忆序列。本发明能够有效提升模型在长对话场景下的多模态信息理解和检索能力,具有重要的实践应用价值。
-
-
-
-
-
-
-
-
-