一种图数据库数据导入方法、系统、电子设备、介质

    公开(公告)号:CN116992065B

    公开(公告)日:2024-01-12

    申请号:CN202311250823.5

    申请日:2023-09-26

    Abstract: 本发明提供了一种图数据库数据导入方法、系统、电子设备、介质,包括导入任务发起模块、导入任务执行模块和导入任务监控模块。其中,导入任务发起模块包括:配置图数据库信息,配置图数据格式转换脚本,按行读取数据文件,调用API提交导入任务;导入任务执行模块包括:通过API接收导入任务,将任务分发到数据导入集群,读取图数据库配置信息,读取数据动态处理脚本,解析数据得到图数据库插入语句,执行插入语句将数据写入图数据库;导入任务监控模块包括:收集导入执行信息,汇总数据,生成导入任务执行情况报表。本发明方法支持大规模图数据的高效导入,且实现方法简单,支持不同格式的数据文件,可以随时查看导入进度。

    一种图数据集加载方法、系统、电子设备、介质

    公开(公告)号:CN116594958A

    公开(公告)日:2023-08-15

    申请号:CN202310606081.9

    申请日:2023-05-25

    Abstract: 本发明提供了一种图数据集加载方法、系统、电子设备、介质,包括:获取图数据集,并解析前N条图数据,得到预览图数据;基于预览图数据通过交互式的方式配置图数据集字段映射关系,得到图数据集字段映射关系配置文件;对图数据集再次进行完整解析,得到解析图数据;读取图数据集字段映射关系配置文件;从解析图数据中读取对应的图结构点/边/属性,得到标准格式的图结构。本发明方法可以加载任意格式的图数据集,极大地提升了在图计算的过程中在图数据集上的加载效率。

    一种同义词挖掘方法、装置、存储介质及电子设备

    公开(公告)号:CN116340469B

    公开(公告)日:2023-08-11

    申请号:CN202310615472.7

    申请日:2023-05-29

    Abstract: 本说明书公开了一种同义词挖掘方法、装置、存储介质及电子设备,本说明书实施例基于用户同一会话下的搜索词序列所产生的搜索日志序列中的曝光日志和点击日志,确定出搜索日志序列的编码字符串和搜索词序列的搜索词串。基于“换词搜索后点击”代表换词之前的搜索词与换词后点击时的搜索词很大可能是同义词的原理,根据预设的编码字符模式,从搜索词串中提取子搜索词串,基于子搜索词串,挖掘出候选同义词对,并基于候选同义词对,确定出最终同义词对。在此方法中,采用用户针对搜索词的上下文日志,以及结合用户执行点击行为前后的搜索词来挖掘同义词,可以避免同一搜索词在不同语境下的不同意思,从而提高挖掘同义词对的准确性。

    一种同义词挖掘方法、装置、存储介质及电子设备

    公开(公告)号:CN116340469A

    公开(公告)日:2023-06-27

    申请号:CN202310615472.7

    申请日:2023-05-29

    Abstract: 本说明书公开了一种同义词挖掘方法、装置、存储介质及电子设备,本说明书实施例基于用户同一会话下的搜索词序列所产生的搜索日志序列中的曝光日志和点击日志,确定出搜索日志序列的编码字符串和搜索词序列的搜索词串。基于“换词搜索后点击”代表换词之前的搜索词与换词后点击时的搜索词很大可能是同义词的原理,根据预设的编码字符模式,从搜索词串中提取子搜索词串,基于子搜索词串,挖掘出候选同义词对,并基于候选同义词对,确定出最终同义词对。在此方法中,采用用户针对搜索词的上下文日志,以及结合用户执行点击行为前后的搜索词来挖掘同义词,可以避免同一搜索词在不同语境下的不同意思,从而提高挖掘同义词对的准确性。

    一种基于云原生技术的图计算平台

    公开(公告)号:CN117009038A

    公开(公告)日:2023-11-07

    申请号:CN202311283918.7

    申请日:2023-10-07

    Abstract: 本发明公开一种基于云原生技术的图计算平台,该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统;其中,软硬件协同系统、图存储系统、图计算引擎运行在后端,图开发工场运行在前端。软硬件协同系统提供硬件计算资源和软硬件适配环境,图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块,图计算引擎包括图查询引擎、图分析引擎和图学习引擎,图开发工场系统为基于图计算引擎构建的面向图计算领域的可视化操作系统,以K8s容器化的技术部署,用于将图计算算法的整个开发过程组件化、流程化和可视化。本发明的平台架构清晰、可扩展性强、使用门槛低、计算效率高。

    一种模型训练和业务执行方法、装置、存储介质及设备

    公开(公告)号:CN119150804B

    公开(公告)日:2025-03-18

    申请号:CN202411628434.6

    申请日:2024-11-14

    Abstract: 本说明书公开了一种模型训练和业务执行方法、装置、存储介质及设备。所述模型训练方法包括:根据预设的数据并行维度和序列并行维度将样本数据切分为多个子样本,并将各子样本分配到不同的图形处理器GPU上;针对每个GPU,在将分配到该GPU上的子样本输入部署在该GPU上的目标模型后,确定目标模型中的每一个子层所对应的激活值并存储,其中,针对每个子层,若该子层对应的层级小于指定层级,则将该子层对应的激活值存储到中央处理器CPU中,并在该GPU中将该子层对应的激活值进行删除;确定目标模型的损失值,并根据损失值以及每个子层所对应的激活值,对目标模型进行训练。本方案有效提高了模型的训练效率和GPU的利用率。

    一种模型训练和业务执行方法、装置、存储介质及设备

    公开(公告)号:CN119150804A

    公开(公告)日:2024-12-17

    申请号:CN202411628434.6

    申请日:2024-11-14

    Abstract: 本说明书公开了一种模型训练和业务执行方法、装置、存储介质及设备。所述模型训练方法包括:根据预设的数据并行维度和序列并行维度将样本数据切分为多个子样本,并将各子样本分配到不同的图形处理器GPU上;针对每个GPU,在将分配到该GPU上的子样本输入部署在该GPU上的目标模型后,确定目标模型中的每一个子层所对应的激活值并存储,其中,针对每个子层,若该子层对应的层级小于指定层级,则将该子层对应的激活值存储到中央处理器CPU中,并在该GPU中将该子层对应的激活值进行删除;确定目标模型的损失值,并根据损失值以及每个子层所对应的激活值,对目标模型进行训练。本方案有效提高了模型的训练效率和GPU的利用率。

    一种基于云原生技术的图计算平台

    公开(公告)号:CN117009038B

    公开(公告)日:2024-02-13

    申请号:CN202311283918.7

    申请日:2023-10-07

    Abstract: 本发明公开一种基于云原生技术的图计算平台,该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统;其中,软硬件协同系统、图存储系统、图计算引擎运行在后端,图开发工场运行在前端。软硬件协同系统提供硬件计算资源和软硬件适配环境,图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块,图计算引擎包括图查询引擎、图分析引擎和图学习引擎,图开发工场系统为基于图计算引擎构建的面向图计算领域的可视化操作系统,以K8s容器化的技术部署,用于将图计算算法的整个开发过程组件化、流程化和可视化。本发明的平台架构清晰、可扩展性强、使用门槛低、计算效率高。

    一种图数据库数据导入方法、系统、电子设备、介质

    公开(公告)号:CN116992065A

    公开(公告)日:2023-11-03

    申请号:CN202311250823.5

    申请日:2023-09-26

    Abstract: 本发明提供了一种图数据库数据导入方法、系统、电子设备、介质,包括导入任务发起模块、导入任务执行模块和导入任务监控模块。其中,导入任务发起模块包括:配置图数据库信息,配置图数据格式转换脚本,按行读取数据文件,调用API提交导入任务;导入任务执行模块包括:通过API接收导入任务,将任务分发到数据导入集群,读取图数据库配置信息,读取数据动态处理脚本,解析数据得到图数据库插入语句,执行插入语句将数据写入图数据库;导入任务监控模块包括:收集导入执行信息,汇总数据,生成导入任务执行情况报表。本发明方法支持大规模图数据的高效导入,且实现方法简单,支持不同格式的数据文件,可以随时查看导入进度。

Patent Agency Ranking