用于流处理系统的算子并发度调优方法及装置

    公开(公告)号:CN116225696A

    公开(公告)日:2023-06-06

    申请号:CN202310068747.X

    申请日:2023-02-06

    Abstract: 本申请提供一种用于流处理系统的算子并发度调优方法及装置,所述方法包括:对处于背压状态的流处理任务进行超量扩容调优处理,以使各个所述流处理任务当前均处于待缩容状态并作为目标流处理任务;根据历史调优信息对所述流处理系统中的抽象算子进行训练以生成GP模型,根据所述GP模型中的历史估计负载和所述目标流处理任务的当前工作负载计算得到工作负载适应性得分和自设计WOP采集函数;根据所述GP模型和所述自设计WOP采集函数确定所述抽象算子的最优并发度。本申请能够不依赖调优内置规则,充分利用过往调优经验,同时通过超量分配计算资源以解除数据堆积再缩容的策略有效地提升了资源重部署的效率,从而能够在生产环境中真正地落地实现。

    文本分类方法、电子设备及计算机存储介质

    公开(公告)号:CN113254655B

    公开(公告)日:2021-09-17

    申请号:CN202110757754.1

    申请日:2021-07-05

    Abstract: 本发明提供了一种文本分类方法、电子设备及计算机存储介质,其中,该方法包括:获取多个话题类别及其对应的多个词和多个文档;统计每个话题类别的所有文档中包含该话题类别对应的每个词的第一文档数量和所有话题类别的所有文档中包含每个话题类别的每个词的第二文档数量;计算每个话题类别的每个词的第一文档数量与第二文档数量的比值,作为词对话题覆盖率;若词的词对话题覆盖率大于设定阈值,将该词选作相应话题类别的特征词,得到相应类别特征词袋;对待分类文档分词,以得到待分类文档的词袋模型;计算待分类文档的词袋模型与各类别特征词袋的相似度;根据各相似度确定该待分类文档的类别。通过上述方案能够利用较少标注完成文本分类任务。

    专利文本分类方法、电子设备及计算机存储介质

    公开(公告)号:CN113254656A

    公开(公告)日:2021-08-13

    申请号:CN202110763595.6

    申请日:2021-07-06

    Abstract: 本发明提供了一种专利文本分类方法、电子设备及计算机存储介质,其中,该方法包括:获取专利文本的字向量表示;利用卷积神经网络提取字向量表示中的短语特征;利用长短时记忆网络提取字向量表示中的上下文特征;利用注意力层为长短时记忆网络输出的隐层特征向量添加不同权重,以突出区分度较大部分并降低文本结构和重复度较高结构权重,得到第一注意力层的输出;利用全连接层将第一注意力层的输出压缩为与短语特征的维度匹配的特征向量;将专利文本的短语特征和上下文特征连接得到输入向量,利用第二注意力层为输入向量添加注意力权重,以减少融合过程信息损失,得到融合特征向量,用于对专利文本分类。通过上述方案能够提高专利文本分类准确性。

    文本分类方法、电子设备及计算机存储介质

    公开(公告)号:CN113254655A

    公开(公告)日:2021-08-13

    申请号:CN202110757754.1

    申请日:2021-07-05

    Abstract: 本发明提供了一种文本分类方法、电子设备及计算机存储介质,其中,该方法包括:获取多个话题类别及其对应的多个词和多个文档;统计每个话题类别的所有文档中包含该话题类别对应的每个词的第一文档数量和所有话题类别的所有文档中包含每个话题类别的每个词的第二文档数量;计算每个话题类别的每个词的第一文档数量与第二文档数量的比值,作为词对话题覆盖率;若词的词对话题覆盖率大于设定阈值,将该词选作相应话题类别的特征词,得到相应类别特征词袋;对待分类文档分词,以得到待分类文档的词袋模型;计算待分类文档的词袋模型与各类别特征词袋的相似度;根据各相似度确定该待分类文档的类别。通过上述方案能够利用较少标注完成文本分类任务。

    针对公共安全多文档的摘要提取模型训练方法、摘要提取方法及装置

    公开(公告)号:CN119416775A

    公开(公告)日:2025-02-11

    申请号:CN202411309717.4

    申请日:2024-09-19

    Abstract: 本申请提供针对公共安全多文档的摘要提取模型训练方法、摘要提取方法及装置,方法包括:基于记载有公共安全内容的多个原始文档生成对应的多文档异质图;采用多文档异质图训练由依次相接的图卷积网络、图注意力网络以及强化学习模型构成的本地摘要提取模型,以使该本地摘要提取模型用于根据输入的多文档异质图,输出该多文档异质图对应的多个目标句子,以形成该多文档异质图的摘要数据。本申请能够提高自动获取多个公共安全文档之间的跨文档信息的效率及可靠性,能够有效提高公共安全多文档的摘要提取模型的训练效率以及泛化性,进而能够有效提高多个公共安全文档的摘要提取的全面性、准确性及高效性。

    基于多粒度采样的算力网络多维资源联合预测方法及系统

    公开(公告)号:CN118555216B

    公开(公告)日:2024-09-20

    申请号:CN202411008898.7

    申请日:2024-07-26

    Abstract: 本发明提供一种基于多粒度采样的算力网络多维资源联合预测方法及系统,涉及算力网络技术领域,该方法包括以下步骤:对于算力网络中的每个算力节点,基于各项资源在多个历史时间点历史状态数据,构建每项资源的历史状态信息序列;对每项资源的历史状态信息序列采用多个采样间隔进行采样,对于每项资源构建多个采样序列;对于同种资源的采样序列进行注意力聚合,得到每个采样序列的第一聚合向量;对于相同采样间隔进行采样的不同种资源的采样序列对应的第一聚合向量进行注意力聚合,得到对应每个第一聚合向量的第二聚合向量;将同种资源的采样序列对应的第二聚合向量输入到预设的预测模型中,得到该种资源预测的资源状态。

    一种基于语义增强机制的关系抽取方法及系统

    公开(公告)号:CN117195895B

    公开(公告)日:2024-08-02

    申请号:CN202311115750.9

    申请日:2023-08-31

    Abstract: 本发明提供一种基于语义增强机制的关系抽取方法及系统,所述方法的步骤包括:基于预设的编码模型对检测语句进行编码,得到初始语句向量,所述初始语句向量中包括对应检测语句中的每个词语的初始词向量;基于主体识别模块识别初始语句向量中的可能主体词向量,并输入到语义增强模块中;基于语义增强模块的分类层对可能主体词向量进行预分类,并构建对于每个可能主体词向量的相似词表;基于可能主体词向量的预分类结果和相似词表构建对于每个主体词向量的增强词向量;基于可能主体词向量构建主体语句向量,基于增强词向量构建增强语句向量,将初始语句向量、主体语句向量和增强语句向量输入到预设的客体与关系识别模块,得到实体关系分类结果。

    基于因果流行度去偏的项目推荐方法和系统

    公开(公告)号:CN118312653A

    公开(公告)日:2024-07-09

    申请号:CN202410404163.X

    申请日:2024-04-06

    Inventor: 邵蓥侠 史一斐

    Abstract: 本发明提供一种基于因果流行度去偏的项目推荐方法和系统,所述方法包括:基于每个已曝光的项目对应的各个历史时间段的项目流行度,得到每个项目对应的固定项目流行度;基于预存储的推荐模型、固定项目流行度、优化用户嵌入向量集合和优化项目嵌入向量集合得到用户与已曝光的项目之间的预测分数,并且基于预测分数对用户推荐已曝光的项目。本发明能够通过融合项目流行度和用户兴趣量化用户一致性,从而缓解流行度偏差对推荐结果的影响。

    跨媒体科研资源特征提取模型训练、特征提取方法及装置

    公开(公告)号:CN114818660A

    公开(公告)日:2022-07-29

    申请号:CN202210754761.0

    申请日:2022-06-30

    Abstract: 本申请提供一种跨媒体科研资源特征提取模型训练方法、特征提取方法及装置,训练方法包括:基于跨媒体科研资源数据实时采集系统获取不同媒体来源的科研资源数据并进行数据结构化处理;根据其中的科研资源文本数据对第一深度学习模型进行模型训练及优化,以形成科研资源文本语义特征提取模型;并根据科研资源图像数据对第二深度学习模型进行模型训练及优化,以形成科研资源图像语义特征提取模型。本申请能够专门适用于科研资源数据的语义特征学习,提高跨媒体科研资源数据提取的可靠性、便捷性及有效性,能够提高采用科研资源数据训练后的深度学习模型面向科研资源数据进行特征提取时的表征能力,提高提取结果的全面性、多样性、准确性及可靠性。

Patent Agency Ranking