-
公开(公告)号:CN114385785B
公开(公告)日:2024-12-17
申请号:CN202111594472.0
申请日:2021-12-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种支持高并发的大规模生成式语言模型快速推理方法及系统,方法包括:获取第i步的前序文本的注意力中间值和第i步的预测文本,并保存第i步的前序文本的注意力中间值;获取第i步的预测文本对应的注意力中间值,根据第i步的预测文本对应的注意力中间值与第i步的前序文本对应的注意力中间值获取第i+1步的前序文本对应的注意力输出结果;根据第i+1步的前序文本对应的注意力输出结果生成第i+1步的预测文本。本发明能够加速大规模生成式语言模型的推理速度,缩短用户等待模型输出的时间。
-
公开(公告)号:CN112817722B
公开(公告)日:2024-08-23
申请号:CN202110141136.4
申请日:2021-02-01
Abstract: 本发明公开了一种基于优先级的分时调度方法、终端及存储介质,方法包括:确定各个待调度任务的所属用户;获取第一预设时长内各个用户已运行任务的时长,根据各个用户已运行任务的时长在各个待调度任务中确定目标任务;为目标任务分配运行资源。本发明在对各个用户的任务进行调度时,根据一定时长内各个用户已经运行任务的时长确定当前需要被分配运行资源的任务,可以实现各个用户的任务完成进度更平均。
-
公开(公告)号:CN114386384B
公开(公告)日:2024-03-19
申请号:CN202111482009.7
申请日:2021-12-06
Applicant: 鹏城实验室
IPC: G06F40/194 , G06F16/2458
Abstract: 本发明公开了一种大规模长文本数据的近似重复检测方法、系统及终端,通过将传统数据库中的倒排索引结构引入到分布式计算框架中,实现了文档相似检测的分布式分区,并且通过倒排表分区方式实现Simhash技术的分布式计算,为其带来可扩展性,最后通过在计算过程中嵌入传统数据库领域的前缀剪枝技术,来进一步减少分布式重复检测过程中倒排分区的通讯读写代价和simhash计算的验证代价。
-
公开(公告)号:CN116737363A
公开(公告)日:2023-09-12
申请号:CN202310519363.5
申请日:2023-05-09
Applicant: 鹏城实验室
IPC: G06F9/50 , G06F12/0802 , G06N3/08
Abstract: 本发明涉及人工智能,提供了一种深度学习平台的数据集缓存加速方法、系统、设备及介质,该方法包括:响应于任务指令,将远端存储的目标数据集映射至数据集抽象组件;基于数据集抽象组件对加速引擎组件进行绑定;根据目标数据集从所有处理节点中确定出用于执行训练任务的工作节点;根据缓存配置参数,对工作节点的缓存区域进行配置,并对缓存区域与加速引擎组件进行映射关系建立,形成逻辑存储,以使目标数据集通过加速引擎组件映射至缓存区域;将训练任务挂载至逻辑存储,以便于训练任务通过缓存区读取目标数据集。本发明实施例提供的数据集缓存加速方法能够解决计算应用程序与异构存储之间的兼容性问题,同时提升数据读取的速度。
-
公开(公告)号:CN115437647A
公开(公告)日:2022-12-06
申请号:CN202211011412.6
申请日:2022-08-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种适配多框架的微服务部署方法、装置、终端及存储介质,方法包括:获取算法管理界面中的算法框架信息,通过Mysql数据库存储对应字段的算法框架信息;获取已提交的算法名称信息,并根据已提交的算法名称信息将训练管理层中已训练的深度学习模型发送至模型管理层;通过模型管理层调用与已训练的深度学习模型适配的推理应用服务,并根据推理应用服务部署已训练的深度学习模型对应的微服务。本发明通过模型管理层调用适配的推理应用服务,并规范不同框架所训练的模型存储方式差异性,统一模型的训练、推理资源规格及存储要求,可以兼容多个框架和不同类型的硬件设备,方便用户高效、快速地部署深度学习模型应用服务。
-
公开(公告)号:CN114386384A
公开(公告)日:2022-04-22
申请号:CN202111482009.7
申请日:2021-12-06
Applicant: 鹏城实验室
IPC: G06F40/194 , G06F16/2458
Abstract: 本发明公开了一种大规模长文本数据的近似重复检测方法、系统及终端,通过将传统数据库中的倒排索引结构引入到分布式计算框架中,实现了文档相似检测的分布式分区,并且通过倒排表分区方式实现Simhash技术的分布式计算,为其带来可扩展性,最后通过在计算过程中嵌入传统数据库领域的前缀剪枝技术,来进一步减少分布式重复检测过程中倒排分区的通讯读写代价和simhash计算的验证代价。
-
公开(公告)号:CN114218918B
公开(公告)日:2025-02-14
申请号:CN202111447284.5
申请日:2021-11-30
Applicant: 鹏城实验室
IPC: G06F40/194 , G06F40/289 , G06F40/111
Abstract: 本发明公开了语料相似检测方法、装置、智能终端及存储介质,其中,上述语料相似检测方法包括:获取输入文档集合;分别对上述输入文档集合中的各个输入文档进行分布式预处理,获取待检测编码文档集合,其中,上述分布式预处理包括字符剔除、分词和单词格式转换,上述待检测编码文档集合中包括多个待检测编码文档,上述待检测编码文档中的各个单词为整数类型的编码;基于上述待检测编码文档集合进行语料相似检测。与现有技术相比,本发明中在进行文档比较时,只需要分别对文档中的单词进行比较,且只需要进行整数类型的数据比较,有利于减少计算量、降低比较时间,提高语料相似检测的效率。
-
公开(公告)号:CN112529176B
公开(公告)日:2025-02-07
申请号:CN202011395802.9
申请日:2020-12-03
Applicant: 鹏城实验室
Abstract: 本发明公开了一种加速脉冲神经网络的训练方法、终端及存储介质,所述方法包括:获取用于训练的脉冲序列和初始突触权值,根据所述脉冲序列和所述初始突触权值生成脉冲神经元的输入信号;获取基于所述输入信号产生的实际输出脉冲序列;获取期望输出脉冲序列,根据所述实际输出脉冲序列以及所述期望输出脉冲序列对所述初始突触权值进行更新,以实现对脉冲神经网络进行训练。本发明通过主机设备读取图片数据并转成脉冲序列以及设定初始权值。然后将脉冲神经网络训练中最耗时的参数更新任务交由专门的加速设备处理,提高了参数更新的速度,进而加速了脉冲神经网络的训练过程。从而解决了现有技术中脉冲神经网络的训练过程耗时长的问题。
-
公开(公告)号:CN112215063B
公开(公告)日:2024-08-23
申请号:CN202010909591.X
申请日:2020-09-02
Applicant: 鹏城实验室
IPC: G06V20/40 , G06V20/58 , G06V20/62 , G06V10/774
Abstract: 本发明公开了一种车牌脱敏方法、终端及存储介质。所述方法包括:获取目标视频,获取目标视频的每一帧中各个车辆对应的车辆空间信息,其中,车辆空间信息包括帧序号、车辆ID以及车辆位置信息;根据目标视频中每一帧中的各个车辆的车辆空间信息获取目标视频中每一帧中的各个车辆的第一车牌空间信息;根据第一车牌空间信息获取目标车牌空间信息;根据目标车牌空间信息对目标视频中的各个车牌进行脱敏处理。本发明通过对目标视频中的车辆进行跟踪,获取每一帧中各个车辆的车辆空间信息,再根据车辆的车辆空间信息获取每一帧中的车牌的车牌空间信息,进而根据车牌空间信息进行车牌脱敏处理,实现了对视频中的车牌信息进行脱敏。
-
公开(公告)号:CN113326147B
公开(公告)日:2024-04-05
申请号:CN202110544547.8
申请日:2021-05-19
Applicant: 鹏城实验室
IPC: G06F9/54
Abstract: 本发明公开了一种大规模分布式作业状态控制方法、装置、终端及存储介质,方法包括:接收目标消息体,其中,所述目标消息体是当目标作业的子任务状态发生变更时生成的;根据接收到所述目标消息体的接收时间戳和所述目标消息体的生成时间戳确定消息传输延迟时刻;若在所述消息传输延迟时刻前没有接收到新的所述目标消息体,则根据在所述消息传输延迟时刻前存储的所述目标消息体对所述目标作业的状态值进行更新处理。本发明可以避免作业管理系统中显示的作业状态值与实际状态不符。
-
-
-
-
-
-
-
-
-