-
公开(公告)号：CN113673242B
公开(公告)日：2024-10-15
申请号：CN202110960433.1
申请日：2021-08-20
IPC: G06F40/289 , G06F40/211 , G06F18/2415 , G06F18/23 , G06N3/084 , G06N3/0895
Abstract: 本发明公开了一种基于K邻近结点算法和对比学习的文本分类方法，该方法在训练阶段使用对比学习拉进类内距离，拉远类间距离，并且结合交叉熵损失，辅助对比学习进行联合训练，在推理过程中，通过联合训练好的模型，结合最邻近结点算法，进行联合预测，计算待推断文本的分类；本发明不仅能够在文本分类的准确率上取得比目前业内使用的文本分类方式更高的结果，而且在模型的鲁棒性上也取得了极大的提升。
-
公开(公告)号：CN114564964B
公开(公告)日：2023-05-26
申请号：CN202210172989.9
申请日：2022-02-24
Applicant: 杭州中软安人网络通信股份有限公司 , 复旦大学 , 杭州文图思锐云技术有限公司
IPC: G06F40/30 , G06F16/35 , G06F18/2413
Abstract: 本发明提供一种基于k近邻对比学习的未知意图检测方法，其特征在于，包括以下步骤：步骤S1，利用已知意图的语料构建经验风险损失；步骤S2，构建语义表示模型，采用k近邻对比学习与经验风险损失对所述语义表示模型进行训练；步骤S3，将待测文本输入至训练后的语义表示模型，以获取所述待测文本的语义表示；步骤S4，采用下游检测算法检测所述语义表示是否为未知意图，并输出为已知意图的语义表示的类别。该基于k近邻对比学习的未知意图检测方法在语义表示学习阶段和未知检测阶段都不依赖于语义分布的任何假设，而且检测精度高、设计简单且应用场景广泛，解决了现有意图检测方法在现实场景应用受限的缺陷。
-
公开(公告)号：CN115222063A
公开(公告)日：2022-10-21
申请号：CN202110430015.1
申请日：2021-04-21
Applicant: 复旦大学
Abstract: 本发明提供一种基于集成学习的神经网络动态早退方法，包括：步骤1，采用相关性损失和多样性损失之和训练多层神经网络及其内部分类器，得到训练好的神经网络和训练好的内部分类器；步骤2，将待处理的数据输入训练好的神经网络，在训练好的神经网络的第一层，计算第一个训练好的内部分类器对数据分类的中间预测结果，得到各个类别的投票数；步骤3，将中间预测结果中的最大票数与预先设定的阈值进行比较，当最大票数大于阈值时，则将最大票数的类别作为最终预测结果，同时从训练好的神经网络退出，反之，则进入训练好的下一层神经网络，通过下一个内部分类器进行投票，直至新的中间预测结果的最大值大于阈值，则退出。
-
公开(公告)号：CN113221551B
公开(公告)日：2022-07-29
申请号：CN202110592818.7
申请日：2021-05-28
Applicant: 复旦大学
Abstract: 本发明提供一种基于序列生成的细粒度情感分析方法，包括：步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量He；步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y＜t转换为已输出文本序列步骤3，将隐变量He以及已输出文本序列输入解码器进行解码，得到当前时刻t的输出分布Pt；步骤4，将输出分布Pt输入索引生成器，生成当前时刻输出索引，并采用束搜索方法自回归生成输出序列。本发明将整体细粒度情感分析任务统一定义为索引序列生成任务。基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。
-
公开(公告)号：CN113221576A
公开(公告)日：2021-08-06
申请号：CN202110608812.4
申请日：2021-06-01
Applicant: 复旦大学
IPC: G06F40/295 , G06K9/62 , G06F16/35
Abstract: 本发明涉及识别技术领域，提供了一种基于序列到序列架构的命名实体识别方法，由于构件的命名实体识别模型包括编码器和解码器，解码器的输出为命名实体位置和文本标签，通过预设样本对命名实体识别模型进行训练后，将待测文本输入命名实体识别模型，得到识别结果序列，对命名实体识别模型输出的识别结果序列进行解码，得到多个命名实体以及每个命名实体所对应的文本标签，因此，本发明在不同场景的命名实体识别中不再需要针对不同命名实体设计不同的标签，能够使用完全一样的模型来解决不同场景的命名实体识别任务，设计简单，应用场景广泛。
-
Patent Agency Ranking
公开(公告)号：CN102750646A
公开(公告)日：2012-10-24
申请号：CN201210183781.3
申请日：2012-06-06
Applicant: 复旦大学 , 东方有线网络有限公司
Abstract: 本发明属于电信技术领域，具体涉及一种适合广电运营商的三户模型。该模型中有四个实体：客户组、客户、用户和账户，其中“客户”和“客户组”之间的关系明确了“人和地址”的关系，每个家庭成员相当于“客户组”下的“客户”，两者的关系符合一对多的关系。该模型强调关联到人，利用该模型，业务支撑系统可以做到细致的客户划分，便于灵活扩展个性化功能，更符合广电业务的特点。
-
公开(公告)号：CN120012842A
公开(公告)日：2025-05-16
申请号：CN202510043329.4
申请日：2025-01-10
Applicant: 复旦大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/048 , G06F9/50
Abstract: 本发明提供一种可变内存环境下细料度尺寸控制的大型语言模型压缩方法，包括计算激活值感知的权重矩阵的步骤、对其激活值感知的权重矩阵的绝对值矩阵进行迭代分解的步骤、对迭代分解出的多个残差数据块进行重要性评估和排序的步骤、以及根据可用内容容量的变化以及重要性排序动态加载残差数据块以构成不同压缩模型的步骤。通过这样的方法，能够使得压缩模型很好地适应可变内存环境，从而能够在本地设备中部署模型，并且由于优先加载重要性更高的残差数据块，因此压缩模型仍具有与原大型语言模型接近的优秀性能，即使是在极端压缩比的情况下也是如此，因此压缩模型也无需再经过训练，使得模型在本地设备中的部署更为方便和高效。
-
公开(公告)号：CN114091478B
公开(公告)日：2025-04-01
申请号：CN202111444136.8
申请日：2021-11-30
Applicant: 复旦大学
Abstract: 本发明提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于构建的预训练模型CoG‑BART，采用对话级Transformer模块对待测对话进行上下文建模，从而解决了话语之间的长距离依赖问题，同时由于整体模型架构均由Transformer组成，因此引入了更少的结构先验假设；其次，由于采用了有监督对比学习来训练模型，在充分利用标签信息的情况下，不仅能够增加模型训练时的稳定性并增强模型的泛化性，还使得相同情感的样本间内聚，不同情感的样本相互斥，因此改进了相似情感难以区分的问题；最后，由于辅助性回复生成任务能够根据给定的上文信息获取更准确的下文，从而使得模型在判断话语情感时能考虑更加丰富的上下文信息，提升模型识别对话的情感标签的精确性。
-
公开(公告)号：CN117909441A
公开(公告)日：2024-04-19
申请号：CN202211232474.X
申请日：2022-10-10
Applicant: 复旦大学
IPC: G06F16/33 , G06F16/332 , G06F18/213
Abstract: 本发明目的在于提供一种基于标签平滑的多跳回答问题框架，用于缓解模型的过分自信以及答案边界的不确定问题。本发明提供了一种基于标签平滑的多跳回答问题框架，包括：步骤S1，输入问题和候选文章列表粗筛得到3篇待选文章；步骤S2，通过对3篇待选文章两两分组的方式组成3个配对，再一次通过细筛的方式选择最优配对；步骤S3，将选出的最优配对的两篇文章以及问题一起输入模型，通过预训练语言模型回答问题。
-
公开(公告)号：CN115270764A
公开(公告)日：2022-11-01
申请号：CN202110480038.3
申请日：2021-04-30
Applicant: 复旦大学
IPC: G06F40/216 , G06F40/126 , G06F40/242 , G06F40/284
Abstract: 本发明提供了一种基于子词编码和逆文档频率遮蔽的中文预训练方法，用于中文语言模型的预训练，包括以下步骤：步骤1，收集中文语料，根据语料通过迭代算法学习一元语言模型，得到词典和出现概率；步骤2，基于一元语言模型对中文语言模型的输入文本进行子词编码，得到子词元素序列；步骤3，计算子词元素序列中每个子词元素的逆文档频率；步骤4，通过逆文档频率遮蔽预测任务来进行预训练，将逆文档频率最高的子词元素进行遮蔽，中文语言模型通过对被遮蔽的子词元素进行预测来进行预训练；步骤5，将语料输入中文语言模型，经过子词编码和计算逆文档频率后通过逆文档频率遮蔽预测任务进行预训练，在计算训练后得到训练好的中文语言模型。
-
-
-
-
-
-
-
-
-
Search Results
31
records
(took 0.018 seconds)
