-
公开(公告)号：CN119441513B
公开(公告)日：2025-04-29
申请号：CN202510033310.1
申请日：2025-01-09
Applicant: 中国科学院自动化研究所 , 国网四川省电力公司电力科学研究院
Abstract: 本发明涉及混合量化技术领域，具体涉及一种视觉语言大模型混合量化方法、装置和电子设备，该方法包括：将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器，并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化，基于量化前后图像编码器和文本编码器的输出计算第一量化误差；将多模态校准集输入视觉语言大模型，并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化，根据量化前后视觉语言大模型的输出计算第二量化误差；将各量化方案及对应的量化误差存入到哈希表中；结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程，提高优化效率。
-
公开(公告)号：CN119293139A
公开(公告)日：2025-01-10
申请号：CN202411806624.2
申请日：2024-12-10
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06F16/31 , G06F16/334 , G06F16/35 , G06F18/10 , G06F18/213 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种用于增强大语言模型多模态长上下文对话能力的记忆检索方法，包括对原始多模态对话序列进行基于信息密度的自适应切分并提取局部特征；构建三层特征金字塔结构实现多尺度特征表示；通过特征压缩和时序依赖图建模增强特征的时序表达能力；基于特征稳定性评估构建记忆向量序列；对查询数据进行结构化表示并与记忆向量进行多层次交互；通过层次化索引和多维度相似度计算实现高效检索；基于用户反馈定期优化记忆序列。本发明能够有效提升模型在长对话场景下的多模态信息理解和检索能力，具有重要的实践应用价值。
-
公开(公告)号：CN110889326B
公开(公告)日：2022-07-01
申请号：CN201910981576.3
申请日：2019-10-16
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
Abstract: 本发明公开了一种基于人体检测的插队行为监测警告系统、方法、装置和存储介质，包括队列检测单元、插队行为检测单元和特征识别单元；所述队列检测单元对室内情景进行基础建模，确定检测队列的范围；所述插队行为检测单元通过使用眨眼识别技术，定位检测人脸并确认插队人脸；所述特征识别单元借助摄像头进行人脸拍摄，对拍摄人脸进行特征识别并进行播报，完成插队行为的警告。本发明实现了对插队的不文明行为进行高精度化的自动检测的功能，有助于警示插队行为，促进和谐排队。
-
公开(公告)号：CN108334945B
公开(公告)日：2020-12-25
申请号：CN201810088723.X
申请日：2018-01-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于神经网络技术领域，具体涉及一种深度神经网络的加速与压缩方法及装置。旨在解决现有技术对深度神经网络进行压缩和加速占用大量内存并且精度下降的问题。本发明提供深度神经网络的加速与压缩方法，包括获取原始深度神经网络中各层的输入数据与参数矩阵；基于输入数据与参数矩阵，计算原始深度神经网络中各层的二值矩阵与浮点系数；将二值矩阵替换原始深度神经网络各层的参数矩阵，并在原始深度神经网络中构建尺度因子层，基于浮点系数初始化尺度因子层的参数，得到新的深度神经网络。本发明的方案能够将神经网络的网络参数二值化，占用更少的内存且提升精度。
-
公开(公告)号：CN119476375B
公开(公告)日：2025-03-25
申请号：CN202510053059.5
申请日：2025-01-14
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06N3/0495 , G06N3/084
Abstract: 本发明公开了一种用于深度神经网络的量化训练方法和系统，该方法包括：获取原始神经网络模型和验证数据集，通过层级敏感度评估和拓扑分析生成量化优先级；基于层敏感度矩阵，为各层配置差异化量化参数并建立量化约束；构建误差补偿机制，生成误差补偿策略；执行双尺度自适应量化训练，对前向和反向传播分别采用独立优化的量化策略；根据训练状态和资源约束动态调整量化参数；评估模型性能和资源效率。本发明通过多维度敏感度评估、动态量化策略和系统误差补偿，提升了量化训练的精度和效率，同时保证了部署资源约束的满足。
-
Patent Agency Ranking
公开(公告)号：CN119476375A
公开(公告)日：2025-02-18
申请号：CN202510053059.5
申请日：2025-01-14
Applicant: 中科南京人工智能创新研究院 , 中国科学院自动化研究所
IPC: G06N3/0495 , G06N3/084
Abstract: 本发明公开了一种用于深度神经网络的量化训练方法和系统，该方法包括：获取原始神经网络模型和验证数据集，通过层级敏感度评估和拓扑分析生成量化优先级；基于层敏感度矩阵，为各层配置差异化量化参数并建立量化约束；构建误差补偿机制，生成误差补偿策略；执行双尺度自适应量化训练，对前向和反向传播分别采用独立优化的量化策略；根据训练状态和资源约束动态调整量化参数；评估模型性能和资源效率。本发明通过多维度敏感度评估、动态量化策略和系统误差补偿，提升了量化训练的精度和效率，同时保证了部署资源约束的满足。
-
公开(公告)号：CN118886453B
公开(公告)日：2024-11-29
申请号：CN202411376160.6
申请日：2024-09-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0455 , G06N3/082 , G06N3/084 , G06N3/0985
Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品，所述基于低秩量化大模型的预测方法包括：获取预测模型，其中，预测模型为大模型；通过将预测模型中的线性层的参数进行低秩分解，得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵；基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵，构建与线性层对应的量化低秩模块，其中，量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层；通过将预测模型中的线性层替换为量化低秩模块，得到压缩后的预测模型；将输入数据输入到压缩后的预测模型，得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。
-
公开(公告)号：CN118171697B
公开(公告)日：2024-08-30
申请号：CN202410584793.X
申请日：2024-05-13
Applicant: 国网山东省电力公司济南供电公司 , 中国科学院自动化研究所
Inventor： 胥明凯 , 任志刚 , 李琮 , 杨杰 , 陈显达 , 王淑颖 , 王思源 , 刘昭 , 刘晓 , 刘哲 , 王万国 , 胡庆浩 , 李章明 , 高翔 , 邵帅 , 郑义斌 , 张雨薇
IPC: G06N3/0464 , G06N3/082
Abstract: 本发明的一种深度神经网络压缩的方法、装置、计算机设备和存储介质，属于卷积神经网络技术领域，方法包括：获取原始深度神经网络的权重矩阵；通过局部结构化稀疏处理对权重矩阵进行稀疏剪枝；通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩，获得压缩权重；将压缩权重放入adam模块进行微调，获得压缩后的输变电缺陷识别模型。本发明通过结构化稀疏提高了计算效率，通过乘积量化降低了存储开销，结构化稀疏和乘积量化两者协同工作，大大提高了深度神经网络的压缩率。
-
公开(公告)号：CN116912637B
公开(公告)日：2023-12-22
申请号：CN202311174427.9
申请日：2023-09-13
Applicant: 国网山东省电力公司济南供电公司 , 中国科学院自动化研究所
IPC: G06V10/774 , G06V10/77 , G06V10/25 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/0895 , G06N3/082 , G06T7/00
Abstract: 本发明公开了一种输变电缺陷识别的方法、装置、计算机设备和存储介质，属于图像处理技术领域，应用于变电站场景的方法包括：获取变电站缺陷检测数据集，对变电站缺陷检测数据集进行图像预处理，生成样本集；利用训练集训练卷积神经网络，建立基于YoloV3模型的变电站缺陷识别模型；基于双门动态剪枝方法对变电站缺陷识别模型进行轻量化处理，获得轻量化变电站缺陷识别模型：利用验证集对轻量化变电站缺陷识别模型进行验证；实时采集变电站缺陷监测图像，并输入轻量化变电站缺陷识别模型进行变电站缺陷检测。本发明能够及时发现和鉴别变电站(56)对比文件琚泽立 等.基于轻量化网络的变电站缺陷图片检测算法.电网与清洁能源.2020,(08),第47-53页.胥明凯 等.应用于GIS绝缘缺陷诊断的改进BP神经网络识别方法《.第三届智能电网会议论文集——智能用电》.2019,第288-291页.Mashhadi M.B et.al.Pruning thePilots: Deep Learning-Based Pilot Designand Channel Estimation for MIMO-OFDMSystems《.IEEE TRANSACTIONS ON WIRELESSCOMMUNICATIONS》.2021,第20卷(第10期),第6315-28页.周仿荣;方明;马御棠;潘浩.基于YOLO v3的输电线路缺陷快速检测方法.云南电力技术.2020,(04),第116-120页.
-
公开(公告)号：CN110689447A
公开(公告)日：2020-01-14
申请号：CN201910817334.0
申请日：2019-08-30
Applicant: 中国科学院自动化研究所南京人工智能芯片创新研究院
Abstract: 本发明一种基于深度学习的社交软件用户发布内容的实时检测方法，属于深度学习和图像处理技术领域。所述方法包括：进行模板标注，生成标注模板信息；利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息；根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据。
-
-
-
-
-
-
-
-
-
Search Results
64
records
(took 0.029 seconds)
