-
公开(公告)号：CN113673242B
公开(公告)日：2024-10-15
申请号：CN202110960433.1
申请日：2021-08-20
IPC: G06F40/289 , G06F40/211 , G06F18/2415 , G06F18/23 , G06N3/084 , G06N3/0895
Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。
-
公开(公告)号：CN114564964B
公开(公告)日：2023-05-26
申请号：CN202210172989.9
申请日：2022-02-24
Applicant: 杭州中软安人网络通信股份有限公司 , 复旦大学 , 杭州文图思锐云技术有限公司
IPC: G06F40/30 , G06F16/35 , G06F18/2413
Abstract: 本发明提供一种基于k近邻对比学习的未知意图检测方法，其特征在于，包括以下步骤：步骤S1，利用已知意图的语料构建经验风险损失；步骤S2，构建语义表示模型，采用k近邻对比学习与经验风险损失对所述语义表示模型进行训练；步骤S3，将待测文本输入至训练后的语义表示模型，以获取所述待测文本的语义表示；步骤S4，采用下游检测算法检测所述语义表示是否为未知意图，并输出为已知意图的语义表示的类别。该基于k近邻对比学习的未知意图检测方法在语义表示学习阶段和未知检测阶段都不依赖于语义分布的任何假设，而且检测精度高、设计简单且应用场景广泛，解决了现有意图检测方法在现实场景应用受限的缺陷。
-
公开(公告)号：CN115222063A
公开(公告)日：2022-10-21
申请号：CN202110430015.1
申请日：2021-04-21
Applicant: 复旦大学
Abstract: 本发明提供一种基于集成学习的神经网络动态早退方法，包括：步骤1，采用相关性损失和多样性损失之和训练多层神经网络及其内部分类器，得到训练好的神经网络和训练好的内部分类器；步骤2，将待处理的数据输入训练好的神经网络，在训练好的神经网络的第一层，计算第一个训练好的内部分类器对数据分类的中间预测结果，得到各个类别的投票数；步骤3，将中间预测结果中的最大票数与预先设定的阈值进行比较，当最大票数大于阈值时，则将最大票数的类别作为最终预测结果，同时从训练好的神经网络退出，反之，则进入训练好的下一层神经网络，通过下一个内部分类器进行投票，直至新的中间预测结果的最大值大于阈值，则退出。
-
公开(公告)号：CN113221551B
公开(公告)日：2022-07-29
申请号：CN202110592818.7
申请日：2021-05-28
Applicant: 复旦大学
Abstract: 本发明提供一种基于序列生成的细粒度情感分析方法，包括：步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量He；步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y＜t转换为已输出文本序列步骤3，将隐变量He以及已输出文本序列输入解码器进行解码，得到当前时刻t的输出分布Pt；步骤4，将输出分布Pt输入索引生成器，生成当前时刻输出索引，并采用束搜索方法自回归生成输出序列。本发明将整体细粒度情感分析任务统一定义为索引序列生成任务。基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。
-
公开(公告)号：CN113221576A
公开(公告)日：2021-08-06
申请号：CN202110608812.4
申请日：2021-06-01
Applicant: 复旦大学
IPC: G06F40/295 , G06K9/62 , G06F16/35
Abstract: 本发明涉及识别技术领域，提供了一种基于序列到序列架构的命名实体识别方法，由于构件的命名实体识别模型包括编码器和解码器，解码器的输出为命名实体位置和文本标签，通过预设样本对命名实体识别模型进行训练后，将待测文本输入命名实体识别模型，得到识别结果序列，对命名实体识别模型输出的识别结果序列进行解码，得到多个命名实体以及每个命名实体所对应的文本标签，因此，本发明在不同场景的命名实体识别中不再需要针对不同命名实体设计不同的标签，能够使用完全一样的模型来解决不同场景的命名实体识别任务，设计简单，应用场景广泛。
-
Patent Agency Ranking
公开(公告)号：CN102750646A
公开(公告)日：2012-10-24
申请号：CN201210183781.3
申请日：2012-06-06
Applicant: 复旦大学 , 东方有线网络有限公司
Abstract: 本发明属于电信技术领域，具体涉及一种适合广电运营商的三户模型。该模型中有四个实体：客户组、客户、用户和账户，其中“客户”和“客户组”之间的关系明确了“人和地址”的关系，每个家庭成员相当于“客户组”下的“客户”，两者的关系符合一对多的关系。该模型强调关联到人，利用该模型，业务支撑系统可以做到细致的客户划分，便于灵活扩展个性化功能，更符合广电业务的特点。
-
公开(公告)号：CN119149662A
公开(公告)日：2024-12-17
申请号：CN202310709647.0
申请日：2023-06-15
Applicant: 复旦大学
IPC: G06F16/33 , G06F40/211 , G06F40/30 , G06N20/00 , G06F40/284
Abstract: 本发明提供了一种使用人工智能反馈的句子表示对比学习方法，用于根据待识别句子得到对应的句子表示，具有这样的特征，包括以下步骤：步骤S1，根据大语言模型LLMs和现有数据构建训练集；步骤S2，根据训练集训练现有的语言模型，并根据损失函数更新语言模型，将训练完成的语言模型作为句子编码器；步骤S3，将待识别句子输入句子编码器，得到对应的句子表示。总之，本方法能够生成高质量的句子表示。
-
公开(公告)号：CN116680395A
公开(公告)日：2023-09-01
申请号：CN202210163630.5
申请日：2022-02-22
Applicant: 复旦大学
IPC: G06F16/35 , G06F40/205 , G06N20/00
Abstract: 本发明提供一种基于对比学习的文本摘要框架构建方法，由于评价指标优化是一个不可直接优化的目标，因此，本发明的方法使用基于正负样本的对比学习来让文本摘要模型学习区分高质量与低质量的样本，从而使得生成的文本摘要与原文相符且通顺流畅，本发明的方法适用于抽取式以及生成式的自动文本摘要，该方法是端到端的，几乎不影响最终的解码速度，因此，构建出的是高效且统一的文本摘要框架。
-
公开(公告)号：CN115409078A
公开(公告)日：2022-11-29
申请号：CN202110591329.X
申请日：2021-05-28
Applicant: 复旦大学
Abstract: 本发明提供了一种基于集成重建机制的对抗样本攻击的防御方法，用于语言模型防御对抗样本攻击，包括以下步骤：步骤1，在语言模型的训练过程中，同时加入三个预定的损失函数来保持语言模型对于带噪声样本的重建能力；步骤2，对语言模型的输入样本注入不同的噪声，重建得到多个不同的重建样本，并对重建样本进行集成推理完成一次样本重建，并得到一个取平均值的模型置信度的打分，通过多次样本重建来防御对抗样本攻击，其中，损失函数包括模型下游任务的微调损失函数、预训练采用的MASK掩码预测损失以及基于梯度回传的重建原有字词的损失。
-
公开(公告)号：CN115269822A
公开(公告)日：2022-11-01
申请号：CN202110480011.4
申请日：2021-04-30
Applicant: 复旦大学
IPC: G06F16/35 , G06F40/216 , G06F40/289 , G06N3/08 , G06N5/04
Abstract: 本发明提供了一种基于神经网络早退机制的序列标注加速方法，用于判断预训练语言模型在进行序列标注任务时是否进行早退，包括以下步骤：对于L层的预训练语言模型，在每一层之后都添加一个内部分类器，在进行序列标注任务时，通过句子级别的序列标注早退机制或词级别的序列标注早退机制来判断预训练语言模型是否进行早退。本发明的一种基于神经网络早退机制的序列标注加速方法能够应用于在自然语言处理中较为基础的序列标注任务，在加速3‑4倍的同时只给模型带来微小的性能损失。
-
-
-
-
-
-
-
-
-
Search Results
31
records
(took 0.016 seconds)
