-
公开(公告)号：CN117574961A
公开(公告)日：2024-02-20
申请号：CN202410051188.6
申请日：2024-01-15
Applicant: 成都信息工程大学
IPC: G06N3/0455 , G06N3/084 , G06F16/35 , G06N3/048
Abstract: 本发明涉及一种将适配器注入预训练模型的参数高效化方法和装置，通过将一个可以用于适配各种下游任务的适配器模块注入预训练模型，所述适配器模块设置在靠近输出端，由于在训练过程中，除适配器层外的所有参数会被冻结，而适配器模块的参数靠近输出端，这样使得反向传播的距离大大减小，不仅使得计算梯度的时间大大减小，而且用于存储梯度信息所消耗的显存也会大大减小。从而使得本发明方法能够以极低的成本去适配下游任务，解决以往参数高效化方法虽然可以极大地减少参数，但其训练的时间和硬件成本并没有大幅度减小的问题。
-
公开(公告)号：CN108898225B
公开(公告)日：2020-07-17
申请号：CN201810416774.0
申请日：2018-05-04
Applicant: 成都信息工程大学 , 成都智睿通拓科技有限公司
Abstract: 本发明涉及一种基于人机协同学习的数据标注方法，其包括：1、由领域专家制定分类标准和标注规范，并给出样例作为金标数据；2、以金标数据作为聚类的中心点对数据进行聚类处理，选出银标数据来训练标注人员，利用金标数据对标注人员进行测试，测试通过即可进行下一步的标注；3、利用金标数据和银标数据作为训练集对未分类的数据进行分类，得到的置信度高的数据可直接采用，并将其加入训练数据集重新训练分类器；4、从待标注数据集中选取出最值得标注的数据，分发给标注人员进行标注，将得到的标注结果加入训练集重新训练分类器；迭代步骤3和4，直至分类器的精度达到预设的阈值。本发明能够有效降低人工标注的成本，同时保证标注的高质量。
-
公开(公告)号：CN110609899B
公开(公告)日：2022-04-19
申请号：CN201910809516.3
申请日：2019-08-29
Applicant: 成都信息工程大学
IPC: G06F16/35 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于改进BERT模型的特定目标情感分类方法，包括：采集公开或自行构造的数据集，对自行构造的数据集进行人工标注，初始化BERT模型参数后将采集的数据集作为模型的输入，数据集中的句子经过分词处理后全部输入到模型中，得到目标词的编码，对目标词的编码进行进行最大池化处理、全连接层、函数分类得到分类结果，对多目标任务，将全连接输出结果利用神经网络进行不同目标之间的特征组合，然后进行分类。本发明的技术方案在进行特定目标情感分类时，对目标词与整个句子的上下文建立很好地编码联系，提高了分类的准确性和泛化能力。进一步的，将多个目标的分类结果利用神经网络进行串连处理，提取出不同目标之间的内在联系和相互影响。
-
公开(公告)号：CN108898225A
公开(公告)日：2018-11-27
申请号：CN201810416774.0
申请日：2018-05-04
Applicant: 成都信息工程大学 , 成都智睿通拓科技有限公司
Abstract: 本发明涉及一种基于人机协同学习的数据标注方法，其包括：1、由领域专家制定分类标准和标注规范，并给出样例作为金标数据；2、以金标数据作为聚类的中心点对数据进行聚类处理，选出银标数据来训练标注人员，利用金标数据对标注人员进行测试，测试通过即可进行下一步的标注；3、利用金标数据和银标数据作为训练集对未分类的数据进行分类，得到的置信度高的数据可直接采用，并将其加入训练数据集重新训练分类器；4、从待标注数据集中选取出最值得标注的数据，分发给标注人员进行标注，将得到的标注结果加入训练集重新训练分类器；迭代步骤3和4，直至分类器的精度达到预设的阈值。本发明能够有效降低人工标注的成本，同时保证标注的高质量。
-
公开(公告)号：CN111046171B
公开(公告)日：2022-08-16
申请号：CN201910809268.2
申请日：2019-08-29
Applicant: 成都信息工程大学
IPC: G06F16/35
Abstract: 本发明涉及一种基于细粒度标注数据的情感判别方法，方法包括：采集财经新闻数据，将新闻数据划分为标注样例集和未标注样例集，通过标注样例集和未标注样例集对第一分类器和第二分类器进行训练，使第一分类器能够筛选出文章中的关键句，第二分类器判别文章的情感倾向，分别得到第一分类器的模型参数和第二分类器的模型参数，将分类结果中置信度高的数据加入到标注样例集中，并利用主动学习理论，从未标注样例集中选出最值得标注的数据C发给人工进行标注，以此循环训练情感判别模型，直到达到分类精度，训练结束，得到判别模型。
-
Patent Agency Ranking
公开(公告)号：CN118964552A
公开(公告)日：2024-11-15
申请号：CN202410955938.2
申请日：2024-07-17
Applicant: 成都信息工程大学
IPC: G06F16/332 , G06F16/33 , G06F40/126 , G06F40/216
Abstract: 本发明涉及一种基于对比解码的大语言模型幻觉缓解方法，通过从大模型最终层的预测信息中剔除潜在的幻觉成分，增强输出内容的真实性，设计多层融合机制，充分利用模型各层预测的概率分布信息。引入幻觉信息筛选模型，以简洁高效的方式，整合并分析大语言模型低层中可能蕴含的幻觉信息。通过在幻觉问答数据集上对幻觉信息筛选模型进行训练，使其能够精准捕捉并拟合数据集中普遍存在的幻觉数据特征，从而实现对幻觉信息的有效识别与过滤。在解码阶段，将模型最终层输出的概率分布与幻觉信息筛选模型输出的概率分布进行对比解码，以此差异为指导，动态调整下一个标记的生成概率分布，从而引导大语言模型在解码过程中更倾向产生真实、无幻觉的内容。
-
公开(公告)号：CN118780341A
公开(公告)日：2024-10-15
申请号：CN202410891816.1
申请日：2024-07-04
Applicant: 成都信息工程大学
IPC: G06N3/084 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及一种基于Inception模块的提示微调方法，通过将一个用于下游任务的提示网络插入预训练模型内部，该网络包含有随机选取预训练模型词表进行初始化的连续提示，以及与连续提示相连接的多个尺寸递增的带有上下投影的瓶颈网络，其形状类似于Inception模块，起到对单一连续提示向量的深度和宽度进行高效扩充的作用。在针对下游任务微调预训练模型时，冻结主干模型使得仅提示网络可以进行参数更新，因提示网络放置于预训练模型的中后部，在反向传播过程中距离较短任务相关信息损失少，同时优化训练时间和内存占用。
-
公开(公告)号：CN117574961B
公开(公告)日：2024-03-22
申请号：CN202410051188.6
申请日：2024-01-15
Applicant: 成都信息工程大学
IPC: G06N3/0455 , G06N3/084 , G06F16/35 , G06N3/048
Abstract: 本发明涉及一种将适配器注入预训练模型的参数高效化方法和装置，通过将一个可以用于适配各种下游任务的适配器模块注入预训练模型，所述适配器模块设置在靠近输出端，由于在训练过程中，除适配器层外的所有参数会被冻结，而适配器模块的参数靠近输出端，这样使得反向传播的距离大大减小，不仅使得计算梯度的时间大大减小，而且用于存储梯度信息所消耗的显存也会大大减小。从而使得本发明方法能够以极低的成本去适配下游任务，解决以往参数高效化方法虽然可以极大地减少参数，但其训练的时间和硬件成本并没有大幅度减小的问题。
-
公开(公告)号：CN111563164B
公开(公告)日：2022-06-28
申请号：CN202010379339.2
申请日：2020-05-07
Applicant: 成都信息工程大学 , 成都点石瑞达科技有限公司
IPC: G06F16/35 , G06F40/289 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于图神经网络的特定目标情感分类任务，包括采集数据集并初始化BERT模型，通过BERT模型得到每个目标词的一维特征向量，将目标词的特征向量输入到图卷积神经网络模型中，构造网络拓扑图,并计算邻接矩阵，根据邻接矩阵通过三种方式来获取网络拓扑图中节点的三种特征，引入关系分类任务，整个模型在分类上分为两个阶段两个任务，两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类。本发明采用图神经网络，对句子中出现的多个主体进行构图，同时对多个目标进行处理，更符合人类判断情感极性的认知规律，有助于保证模型的效果，与此同时引入关系分类任务进行辅助分类，更进一步提升了分类的准确率。
-
公开(公告)号：CN111563164A
公开(公告)日：2020-08-21
申请号：CN202010379339.2
申请日：2020-05-07
Applicant: 成都信息工程大学 , 成都点石瑞达科技有限公司
IPC: G06F16/35 , G06F40/289 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于图神经网络的特定目标情感分类任务，包括采集数据集并初始化BERT模型，通过BERT模型得到每个目标词的一维特征向量，将目标词的特征向量输入到图卷积神经网络模型中，构造网络拓扑图,并计算邻接矩阵，根据邻接矩阵通过三种方式来获取网络拓扑图中节点的三种特征，引入关系分类任务，整个模型在分类上分为两个阶段两个任务，两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类。本发明采用图神经网络，对句子中出现的多个主体进行构图，同时对多个目标进行处理，更符合人类判断情感极性的认知规律，有助于保证模型的效果，与此同时引入关系分类任务进行辅助分类，更进一步提升了分类的准确率。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.024 seconds)
