-
公开(公告)号：CN117593215B
公开(公告)日：2024-03-29
申请号：CN202410077241.X
申请日：2024-01-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。
-
公开(公告)号：CN117593215A
公开(公告)日：2024-02-23
申请号：CN202410077241.X
申请日：2024-01-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。
-
公开(公告)号：CN120046664A
公开(公告)日：2025-05-27
申请号：CN202510510093.0
申请日：2025-04-23
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 深圳市道通智能航空技术股份有限公司 , 智洋创新科技股份有限公司
IPC: G06N3/0495 , G06F17/16 , G06F17/18
Abstract: 本发明属于人工智能技术领域，为解决现有的大语言模型量化方法无法同时保障大模型的低成本硬件部署和推理效率的问题，提供一种基于极坐标体系的大模型量化压缩方法及系统。其中，基于极坐标体系的大模型量化压缩方法包括从第一存储单元中调取预存的大语言模型的原始权重参数分布，并将其处理成标准高斯分布，得到相应符合标准高斯分布的权重矢量，再转化为对应极坐标表征；分别构建各个所述极坐标表征的方向码本和模长码本，得到符合分布特征和量化敏感度特性的矢量码本并传输至第二存储单元进行存储。其能够同时保障大模型的低成本硬件部署和推理效率。
-
-
Search Results
3
records
(took 0.062 seconds)
