一种使用门控注意力机制预估电商广告点击通过率的方法

    公开(公告)号:CN118747664A

    公开(公告)日:2024-10-08

    申请号:CN202410868274.6

    申请日:2024-06-28

    Abstract: 本申请涉及深度学习、电商广告、点击通过率预估、门控网络、注意力机制、特征交叉等技术,并公开了一种使用门控注意力机制预估电商广告点击通过率的方法。该方法为:收集电商广告数据集,在数据输入层对数据集进行预处理,然后划分为训练集、验证集和测试集。处理后的数据输入到特征嵌入层,得到特征嵌入向量。接着,将特征嵌入向量输入到门控混合注意力模块,分别训练浅层模型和深层模型所需的特征嵌入向量。随后,将门控混合注意力模块输出的两类特征嵌入向量分别输入到特征交互层中的域矩阵因子分解机和增强深度交互网络中,进行特征的低阶交互和高阶交互。最终,在预测层中,将深层模型与浅层模型的输出结合,得到用户点击目标物品的预测概率。本发明适用于广告点击通过率预测、用户行为预测、用户兴趣预测等二分类预测问题领域。

    一种基于广度视角的虚假新闻检测方法

    公开(公告)号:CN119493864A

    公开(公告)日:2025-02-21

    申请号:CN202411451132.6

    申请日:2024-10-17

    Abstract: 本发明提出了一种基于广度视角的虚假新闻检测方法。旨在解决现有检测方法中忽视新闻背景及传播时间动态性的问题。该方法通过构建宏观和微观新闻背景,对原帖子的发布背景进行观察,分别提取流行度导向和新颖度导向的特征,并利用预训练模型BERT提取新闻的语义特征。本发明还引入了时间图快照和图卷积神经网络相结合的方法,提取虚假新闻的时间动态特征和结构特征,形成多阶段图快照,捕捉虚假新闻的扩散过程。最终将广度视角特征、传播结构特征与文本语义特征进行融合,通过SoftMax分类器实现新闻真假分类。该方法能够更有效地分析新闻背景、传播规律及其动态特征,从而提高虚假新闻检测的准确性和时效性。

    一种基于MMoE多任务的中文医学命名实体识别的方法

    公开(公告)号:CN119443104A

    公开(公告)日:2025-02-14

    申请号:CN202411565905.3

    申请日:2024-11-05

    Abstract: 本发明公开了一种基于MMoE多任务的中文医学命名实体识别的方法,具体来说文本输入BERT模型得到序列特征以及整体语义特征;后续根据实体类别数确定任务个数并设置多个专家;最后将特征输入MMoE‑NER模块,得到各任务概率输出矩阵。本发明的模型优点在于提出了一种不依赖于单一模型的多个专家模型,从而显著减轻单一模型监督带来的问题,并利用ResNet‑CNN卷积神经网络来解决实体边界信息模糊的问题,后续对实体采取负采样的训练学习方式来缓解数据集漏标所带来的问题,最终提高模型对实体的识别效果。

    一种基于图神经网络的神经时间门时序增强会话推荐方法

    公开(公告)号:CN117556133A

    公开(公告)日:2024-02-13

    申请号:CN202311478469.1

    申请日:2023-11-08

    Abstract: 本发明公开了一种基于图神经网络的神经时间门时序增强会话推荐方法。本模型主要流程:将用户的历史会话点击序列作为输入,构建会话图和时间会话;通过图神经网络和循环神经网络分别学习项目和时间特征,拼接成项目向量表示;所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;通过神经时间门融合长短期偏好,生成最终的偏好嵌入;融合项目嵌入与最终的偏好嵌入,输入到归一化指数函数以对候选项目进行最终的评分预测。本发明主要提出了一种基于时态会话的充分挖掘时序信息的方法,解决了在图编码过程中丢失原序列时序的问题,减少用户无意点击项目的影响,使模型能挖掘到更精准的用户偏好,提高推荐系统的关键性能。

    一种基于注意力机制交互的中文医学命名实体识别方法

    公开(公告)号:CN117787276A

    公开(公告)日:2024-03-29

    申请号:CN202310808846.7

    申请日:2023-07-03

    Abstract: 本发明公开了一种基于注意力机制交互的中文医学命名实体识别方法,包括如下步骤:步骤一:获取3个公开的中文医学命名实体识别数据集,其内部都各自划分了训练集以及测试集;步骤二:将数据集进行两种预处理,一种用于预训练BERT模型,另一种用于训练中文医学命名实体识别模型;步骤三:使用步骤二的第一种数据对BERT模型进行预训练;步骤四,将步骤3)得到的新模型作为新的预训练语言模型;步骤五:第二种数据通过深层语义提取模块,获得文本深层语义特征;步骤六:第二种数据通过浅层语义提取模块,获得文本浅层语义特征;步骤七:通过交互层对深浅层语义进行交互融合,获得整体特征;步骤八:将整体特征传入预测层,进行最终的实体预测。本发明的模型优点在于使用预训练增强了模型在医疗领域方面的知识,利用TransformerBlock提升了模型泛化能力以及模型的收敛速度,并使用高低阶语义注意力交互融合网络加强模型全面理解文本语义,利用GlobalPointer增强了模型对嵌套实体的识别效果。

    一种基于图神经网络的神经时间门自适应融合会话推荐方法

    公开(公告)号:CN116662532A

    公开(公告)日:2023-08-29

    申请号:CN202310804951.3

    申请日:2023-07-03

    Abstract: 本发明公开了一种基于图神经网络的神经时间门自适应融合会话推荐方法。本模型分为五个层次:会话图构建层、会话嵌入层、注意力网络层、神经时间门层和评分预测层,具体包括:将用户历史会话点击序列作为输入来构建会话图;通过图神经网络学习项目在会话图上的嵌入,得到项目嵌入的向量表示;所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;通过神经时间门融合长期偏好和短期偏好,生成最终的偏好嵌入;融合项目嵌入与最终的偏好嵌入,输入到归一化指数函数以对候选项目进行评分预测。本发明主要提出了一个基于神经时间门的长期偏好和短期偏好在维度层面的细粒度融合的方法,学习到更有代表性和更全面的融合偏好嵌入,使模型能挖掘到更精准的用户偏好,提高推荐系统的关键性能。

Patent Agency Ranking