-
公开(公告)号:CN117827188A
公开(公告)日:2024-04-05
申请号:CN202410004305.3
申请日:2024-01-02
Applicant: 南开大学
IPC: G06F8/34 , G06F8/38 , G06F3/0486
Abstract: 本发明公开一种深度学习平台在web应用中的可视化方法及系统,涉及软件工程技术领域,该方法包括.对于每一深度学习算法节点,根据拖拽指令将深度学习算法节点拖拽至画布中,利用Antv g6工具构建深度学习算法节点的行为模式;行为模式包括节点自由拖拽、节点选中状态和节点相互关联;基于深度学习算法节点的行为模式,对深度学习算法节点执行相应的操作,根据深度学习算法节点的行为模式,对深度学习算法节点的参数信息进行修改和保存,构建得到深度学习模型,最后运行深度学习模型,得到深度学习模型运行的文字信息以及图表信息,本发明可快速地为用户展示深度学习模型的流程以及结果,为用户提供良好的体验。
-
公开(公告)号:CN116976430A
公开(公告)日:2023-10-31
申请号:CN202310871880.9
申请日:2023-07-17
Applicant: 南开大学
IPC: G06N3/10
Abstract: 本公开公开了OpenCL PyTorch的实现方法,涉及机器学习技术领域。主要技术方案包括:首先,基于OpenCL标准实现可在OpenCL设备中运算的OpenCL算子库;其中,所述OpenCL算子库用于接收PyTorch框架发送的算子调用信息;其次,建立所述OpenCL算子库与OpenCL核函数库之间的链接;其中,所述OpenCL核函数库包含至少一个用户开发的OpenCL核函数接口或开源OpenCL计算库的核函数接口;最后,基于所述OpenCL算子库,实现PyTorch框架对所述OpenCL核函数库的调用。通过将PyTorch框架的OpenCL算子调用需求进行分解,并基于OpenCL核函数库调用OpenCL设备进行执行计算;PyTorch框架可以利用支持OpenCL标准的设备训练和部署深度学习模型,实现了可支持OpenCL编程标准的完整深度学习框架。
-
公开(公告)号:CN115292474A
公开(公告)日:2022-11-04
申请号:CN202210700372.X
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F16/335 , G06F16/383 , G06F40/103 , G06F40/284
Abstract: 本公开提供了一种海量网络数据处理系统及其的构建方法、装置。数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理;文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取;文本过滤模块基于过滤策略对数据进行过滤,所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成;去重模块基于去重策略对数据进行去重,所述去重策略采用先局部去重,再整体二次去重的方式;数据筛选模块基于筛选策略进行筛选,所述筛选策略根据文本困惑度得到;文本格式处理模块对文本数据格式进行配置。实现了利用海量网络数据进行高质量文本数据系统的构建。
-
公开(公告)号:CN113392772A
公开(公告)日:2021-09-14
申请号:CN202110669815.9
申请日:2021-06-17
Applicant: 南开大学
Abstract: 本发明公开了一种面向文字识别的文字图像收缩变形增强方法,属于计算机领域。一种面向文字识别的文字图像收缩变形增强方法包括:获取“原文字图像”尺寸及颜色信息;创建一个与“原文字图像”尺寸相同的空白“新文字图像”;设置“原文字图像”和“新文字图像”具有相同的基准点;设置收缩变形系数k;遍历“新文字图像”上的每一个像素点R,根据收缩变形函数f(d)计算出在“原文字图像”上对应的像素点P,并将“新文字图像”上的像素点R的颜色值设置为“原文字图像”中像素点P的颜色值;完成“新文字图像”的生成。本发明将给定的文字图像进行收缩变形来建立新风格的文字图像,从而丰富机器学习的训练数据集,并提高文字识别的准确率。
-
公开(公告)号:CN111930597A
公开(公告)日:2020-11-13
申请号:CN202010813538.X
申请日:2020-08-13
IPC: G06F11/30 , G06F40/216 , G06N3/04 , G06N3/08
Abstract: 本发明涉及网络通信,为能够及时、主动发现服务异常以及时采取应对措施,提高网络中心的稳定性,本发明,基于迁移学习的日志异常检测方法,处理对象为源数据、目标数据:具体包括三部分:1)特征构建部分;形成日志数据的向量序列,作为迁移学习部分的输入;2)迁移学习部分;首先将源数据形成的向量序列输入长短期记忆LSTM网络,对模型参数进行训练;然后将目标数据形成的向量序列输入上一阶段初步训练好参数的模型,并对模型参数进行再次调整3)主动学习部分:迭代地更新数据和模型。本发明主要应用于网络通信日志数据处理场合。
-
公开(公告)号:CN118132086A
公开(公告)日:2024-06-04
申请号:CN202410342345.9
申请日:2024-03-25
Applicant: 南开大学
Abstract: 本发明公开了一种将CUDA代码转为OpenCL代码的方法及系统,涉及人工智能技术领域,该方法包括获取待转换的CUDA代码;采用文件分析器,确定CUDA代码中的源文件和头文件;基于libclang工具,对源文件和头文件进行语法解析,得到CUDA代码的语法树;对于每一语法树,对语法树进行遍历,当识别出语法树中含有特定的token令牌时,基于代码转换规则,对token令牌进行重写,并将重写后的令牌放入语法树,得到重写后的语法树;根据各重写后的语法树,得到OpenCL代码。本发明将CUDA程序转为OpenCL程序的转换规则具体化,通过触发转换规则实现了CUDA代码到OpenCL代码的准确转换。
-
公开(公告)号:CN117852079A
公开(公告)日:2024-04-09
申请号:CN202410003071.0
申请日:2024-01-02
Applicant: 南开大学
Abstract: 本发明公开一种深度学习模型搭建平台权限登录管理方法及系统,涉及软件工程技术领域,该方法包括响应于用户端的登录请求,获取用户端对应的角色权限列表,获取用户登录深度学习平台时生成的用户标识,获取操作页面,在用户端操作时,根据用户标识和用户请求接口判断用户端是否合法,并根据角色权限列表判断用户端是否拥有操作请求对应的权限,若是,则向用户端发送操作请求对应的数据,以构建深度学习模型。本发明通过两次权限判定,即用户端是否合法和用户端是否拥有操作请求对应的权限,提高了安全性,同时保持用户登录和权限管理过程的便捷性和友好性。
-
公开(公告)号:CN115293157A
公开(公告)日:2022-11-04
申请号:CN202210700387.6
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F40/289 , G06F40/216
Abstract: 本公开公开了中文文本的提取方法及装置、电子设备和存储介质,具体涉及数据处理技术领域,对待处理文本数据按照预设分割方法进行处理,得到至少两个文本单元;分别检测每个文本单元中的总字符长度,以及分别检测每个文本单元中的中文字符长度;计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值;若所述比值超过目标中文占比阈值,则保留当前文本单元内的所有字符。通过以文本数据的行为单位,并根据行中的总字符长度与中文字符长度的比值以及根据行中总字符长度确定的中文占比阈值进行确定是否保留当前行中的全部字符,既有效地提取了中文文本信息,也有效地保留了中文句子中原本包含的其他语言的信息。
-
公开(公告)号:CN115292444A
公开(公告)日:2022-11-04
申请号:CN202210698401.3
申请日:2022-06-20
Applicant: 南开大学
IPC: G06F16/33 , G06F16/383 , G06F40/216 , G06F40/284
Abstract: 本申请提供了一种文本数据的筛选方法、装置、电子设备及存储介质,主要技术方案包括:将待处理文本数据通过第一筛选策略进行筛选,第一筛选策略用于根据首位标点及末位标点进行数据筛选;将待处理文本数据通过第二筛选策略进行筛选,第二筛选策略用于对待处理文本数据中的预设控制符进行筛选;将待处理文本数据通过第三筛选策略进行筛选,第三筛选策略用于根据待处理文本数据中出现预设敏感词汇的占比进行筛选;将待处理文本数据通过第四筛选策略进行筛选,第四筛选策略用于根据待处理文本数据的文本总长度进行筛选。与相关技术筛选结果存在误差或导致正常文本数据丢失相比,此方法可以将冗余文本、敏感文本或者过短文本去除,得到高质量的文本。
-
公开(公告)号:CN115292242A
公开(公告)日:2022-11-04
申请号:CN202210700365.X
申请日:2022-06-20
Applicant: 南开大学
Abstract: 本公开公开了大规模文本数据处理系统的构建方法及装置、电子设备和存储介质,涉及数据处理领域,主要技术方案包括:配置多任务并行处理策略,以执行数据处理中对应的不同任务;配置执行不同任务处理的自动化流转;按照预设配置策略配置分时处理不同任务;基于预设数据库对多任务进行管理及纠错,以完成所述数据处理系统的构建。与相关技术相比,本公开实施例提供的数据处理系统进行了各种优化策略的配置,实现多任务并行处理,任务处理自动化流转,分时处理不同任务,以及对存放多任务的文件进行管理及纠错,且本公开实施例提供的各种优化策略同时也可作为数据处理系统性能提升手段与鲁棒的错误处理方法,从而实现了数据处理系统的鲁棒性提升。
-
-
-
-
-
-
-
-
-