-
公开(公告)号:CN118428489A
公开(公告)日:2024-08-02
申请号:CN202410587245.2
申请日:2024-05-13
Applicant: 南开大学
Abstract: 本发明公开一种深度学习任务运行方法、装置、介质及产品,涉及深度学习技术领域,方法包括:创建一个能够满足运行环境信息和运行资源信息的Docker容器,在Docker容器中运行深度学习任务代码,同时在守护进程发现运行深度学习任务代码的子进程已结束时,查询子进程的执行状态,当子进程异常退出时重新开始在Docker容器中运行深度学习任务代码,从而将一个深度学习任务放置在一个独立的Docker容器中运行,使不同的深度学习任务在不同的运行环境下运行,实现运行环境的个性化配置,通过守护进程检测的方式确保深度学习任务的正常执行。
-
公开(公告)号:CN117608797A
公开(公告)日:2024-02-27
申请号:CN202311650471.2
申请日:2023-12-05
Applicant: 南开大学
IPC: G06F9/48 , G06N3/0464 , G06F9/445 , G06F12/0811
Abstract: 本发明公开一种PyTorch框架中加速库的高效调用方法及装置,涉及加速库高效调用技术领域,在绑定句柄时,预先基于单例模式创建句柄绑定类,仅在第一次绑定时生成句柄实例,后续则直接取出句柄实例,在计算显存空间时,创建第一高速缓存Cache类,仅在第一次计算时计算卷积核参数类的显存空间,后续则直接取出卷积核参数类的显存空间,在选取卷积算法时,创建第二高速缓存Cache类,仅在第一次选取时选取卷积核参数类的卷积算法,后续则直接取出卷积核参数类的卷积算法,能够在支持OpenCL的计算设备上,实现PyTorch框架中加速库的高效调用,有利于将PyTorch框架转码到支持OpenCL的计算设备上。
-
公开(公告)号:CN116955214A
公开(公告)日:2023-10-27
申请号:CN202310875847.3
申请日:2023-07-17
Applicant: 南开大学
Abstract: 本公开公开了OpenCL设备及其内存的管理方法,涉及信息技术领域,基于内存管理模块与OpenCL设备上的内存地址之间的索引信息获取内存地址;通过内存地址索引OpenCL设备上内存地址对应的存储区;基于存储内存地址的存储张量对存储区进行调用,存储张量为预设深度学习框架中的数据存储单位;基于预设深度学习框架对存储张量进行生命周期机制的管理,以对存储区进行生命周期机制的管理。与相关技术相比,预设深度学习框架使用内存管理模块获取内存地址,基于内存地址与存储张量之间的映射关系,实现预设深度学习框架对存储区的间接管理,且根据获取内存地址的预设深度学习框架种类的不同,实现不同种类的深度学习框架对存储区的管理。
-
公开(公告)号:CN115293126A
公开(公告)日:2022-11-04
申请号:CN202210700368.3
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F40/194 , G06K9/62 , G06F16/31 , G06F16/383
Abstract: 本公开公开了大规模文本数据的去重方法及装置、电子设备和存储介质,涉及数据处理领域,主要技术方案包括:将第一待去重数据划分至少两个数据段,每个数据段包含至少两个数据;在第一数据段内,分别针对单个数据执行预设哈希算法,得至少一个哈希分块;对第一数据段内的至少两个数据执行去重计算,得第二待去重数据;依次将第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对;根据比对结果的相似度进行二次去重计算,并继续执行第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比,本公开实施例将大规模数据拆分成小段数据,然后依次对每段数据进行去重操作,进而实现文本数据去重规模突破设备内存限制。
-
公开(公告)号:CN115268856A
公开(公告)日:2022-11-01
申请号:CN202210698398.5
申请日:2022-06-20
Applicant: 南开大学
Abstract: 本公开公开了OpenCL CUB库的实现方法及装置、电子设备和存储介质,涉及人工智能技术领域,基于OpenCL编程标准,设计CUB库相关算法,并且对于CUB库的封装、调用、编译方面进行重新设计,实现了基于OpenCL标准的CUB库,可为OpenCL版本深度学习框架和OpenCL应用程序开发提供高效支持。
-
公开(公告)号:CN118132086A
公开(公告)日:2024-06-04
申请号:CN202410342345.9
申请日:2024-03-25
Applicant: 南开大学
Abstract: 本发明公开了一种将CUDA代码转为OpenCL代码的方法及系统,涉及人工智能技术领域,该方法包括获取待转换的CUDA代码;采用文件分析器,确定CUDA代码中的源文件和头文件;基于libclang工具,对源文件和头文件进行语法解析,得到CUDA代码的语法树;对于每一语法树,对语法树进行遍历,当识别出语法树中含有特定的token令牌时,基于代码转换规则,对token令牌进行重写,并将重写后的令牌放入语法树,得到重写后的语法树;根据各重写后的语法树,得到OpenCL代码。本发明将CUDA程序转为OpenCL程序的转换规则具体化,通过触发转换规则实现了CUDA代码到OpenCL代码的准确转换。
-
公开(公告)号:CN117852079A
公开(公告)日:2024-04-09
申请号:CN202410003071.0
申请日:2024-01-02
Applicant: 南开大学
Abstract: 本发明公开一种深度学习模型搭建平台权限登录管理方法及系统,涉及软件工程技术领域,该方法包括响应于用户端的登录请求,获取用户端对应的角色权限列表,获取用户登录深度学习平台时生成的用户标识,获取操作页面,在用户端操作时,根据用户标识和用户请求接口判断用户端是否合法,并根据角色权限列表判断用户端是否拥有操作请求对应的权限,若是,则向用户端发送操作请求对应的数据,以构建深度学习模型。本发明通过两次权限判定,即用户端是否合法和用户端是否拥有操作请求对应的权限,提高了安全性,同时保持用户登录和权限管理过程的便捷性和友好性。
-
公开(公告)号:CN115757831A
公开(公告)日:2023-03-07
申请号:CN202211502425.3
申请日:2022-11-28
Applicant: 南开大学
IPC: G06F16/36 , G06F16/28 , G06F40/216
Abstract: 本发明提出一种领域知识图谱半自动化构建的方法及装置,其中方法包括:对图书原文文档进行标注获取领域内实体关系三元组数据,组织成结构化数据,根据结构化数据构建精确标注知识图谱;根据三元组数据的实体关系及上下文内容基于seq2seq模型生成主语、宾语的描述,补全精确标注知识图谱中实体描述信息;基于补全实体描述信息的精确标注知识图谱通过Bert模型进行实体及关系预测,结合人工标注的实体关系信息构建领域知识图谱。本发明通过半自动化构建的方法及装置,利用人工标注提高数据的精确度,同时半自动化的构建算法可以在降低人工成本的同时挖掘数据之间的潜在关系,构建更为全面的领域知识图谱。
-
公开(公告)号:CN115293157A
公开(公告)日:2022-11-04
申请号:CN202210700387.6
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F40/289 , G06F40/216
Abstract: 本公开公开了中文文本的提取方法及装置、电子设备和存储介质,具体涉及数据处理技术领域,对待处理文本数据按照预设分割方法进行处理,得到至少两个文本单元;分别检测每个文本单元中的总字符长度,以及分别检测每个文本单元中的中文字符长度;计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值;若所述比值超过目标中文占比阈值,则保留当前文本单元内的所有字符。通过以文本数据的行为单位,并根据行中的总字符长度与中文字符长度的比值以及根据行中总字符长度确定的中文占比阈值进行确定是否保留当前行中的全部字符,既有效地提取了中文文本信息,也有效地保留了中文句子中原本包含的其他语言的信息。
-
公开(公告)号:CN115292444A
公开(公告)日:2022-11-04
申请号:CN202210698401.3
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F16/33 , G06F16/383 , G06F40/216 , G06F40/284
Abstract: 本申请提供了一种文本数据的筛选方法、装置、电子设备及存储介质,主要技术方案包括:将待处理文本数据通过第一筛选策略进行筛选,第一筛选策略用于根据首位标点及末位标点进行数据筛选;将待处理文本数据通过第二筛选策略进行筛选,第二筛选策略用于对待处理文本数据中的预设控制符进行筛选;将待处理文本数据通过第三筛选策略进行筛选,第三筛选策略用于根据待处理文本数据中出现预设敏感词汇的占比进行筛选;将待处理文本数据通过第四筛选策略进行筛选,第四筛选策略用于根据待处理文本数据的文本总长度进行筛选。与相关技术筛选结果存在误差或导致正常文本数据丢失相比,此方法可以将冗余文本、敏感文本或者过短文本去除,得到高质量的文本。
-
-
-
-
-
-
-
-
-