基于有向无环图的任务编排调度系统

    公开(公告)号:CN115658261A

    公开(公告)日:2023-01-31

    申请号:CN202211298514.0

    申请日:2022-10-23

    Abstract: 本发明公开了基于有向无环图的任务编排调度系统,包括任务触发器、流程解析引擎、任务启动器、任务加载器、任务执行器、任务总线;任务触发器,任务流的启动者,负责启动任务执行流;规则解析引擎,负责解析使用者配置的规则,本发明能够解除依赖超时风险;在上游某个任务超时,不会因为等待该任务而导致其他的任务无法执行带来的请求保持问题,提高服务器CPU使用效率;能够节省开发成本;性能提升;释放主线程的请求等待问题,在上游接口请求耗时越不均匀,中台接口请求越复杂时,能体现本技术的性能优势;能够提高效率;适用于海量数据的复杂业务场景,可以更好的匹配复杂的业务场景,让整个任务编排根据业务可以实现模块化管理。

    基于多元高斯分布建模的无监督碗粥表面缺陷检测方法

    公开(公告)号:CN118674696A

    公开(公告)日:2024-09-20

    申请号:CN202410732284.7

    申请日:2024-06-06

    Abstract: 本发明公开了基于多元高斯分布建模的无监督碗粥表面缺陷检测方法,涉及碗粥产品检测技术领域,该基于多元高斯分布建模的无监督碗粥表面缺陷检测方法,包括以下步骤:S1:碗粥图像预处理,针对处理后的图像进行特征提取;特征提取的具体步骤包括:加载预训练的多元高斯分布无监督学习模型;设置中间特征层的输出,注册钩子函数,提取模型中不同层的特征;首次提出了基于多元高斯分布的无监督学习模型,并将其应用于碗粥流水产线的表面缺陷检测。与传统模型相比,它有效提高了异常检测的准确性和效率,无需标注数据,能自动学习并识别图像特征。利用预训练模型自主提取关键特征,简化了处理流程,且对新型或未知缺陷具有更强的适应性。

    一种自动持续采集网络数据微调大语言模型的方法

    公开(公告)号:CN118673200A

    公开(公告)日:2024-09-20

    申请号:CN202410780041.0

    申请日:2024-06-17

    Abstract: 本发明公开了一种自动持续采集网络数据微调大语言模型的方法,涉及软件开发技术领域,该自动持续采集网络数据微调大语言模型的方法,包括以下流程:所述度任务的创建与配置、基于搜索引擎的主题内容抓取、页面主体内容解析、固定地址的页面内容抓取、清洗内容数据、内容分句、分段组合、关键词的提取、构建训练服务、生成训练数据并推送、执行大语言模型训练,该自动持续采集网络数据微调大语言模型的方法,通过可视化操作使用户自由上传含有自定义内容的文件,再以自动化的处理、清洗、解析流程将自定义内容投喂给大语言模型中,使大语言模型的训练过程更加方便、简洁、易懂,减轻了专业技术人员操作大语言模型的训练流程。

    一种从文件中提取数据微调大语言模型的方法

    公开(公告)号:CN118585497A

    公开(公告)日:2024-09-03

    申请号:CN202410740264.4

    申请日:2024-06-07

    Abstract: 本发明公开了一种从文件中提取数据微调大语言模型的方法,涉及软件开发技术领域,一种从文件中提取数据微调大语言模型的方法,此方法使得用户在前台可视化界面上传文件,后台服务端自动将文件的内容提取并生成训练数据推送至大语言模型中,通过编写前台可视化界面实现用户任意文件的上传下载功能,使用Java搭建后台服务端将文件包含内容提取并存储,支持文件格式有Word、Excel、Pdf等十余种;之后将文件内容清洗并按分隔符分割成一条条的语句,再根据实际的大语言模型训练场景需要将语句拼接为大小合适的段落;将段落的关键词提取出来并保存,使用Python搭建执行微调大语言模型的训练服务,接成完整报文推送给训练服务,执行具体的大语言模型训练工作。

    一种电石打样状态的检测方法、装置及电子设备

    公开(公告)号:CN116310725A

    公开(公告)日:2023-06-23

    申请号:CN202310279192.3

    申请日:2023-03-21

    Abstract: 本发明提供一种电石打样状态的检测方法、装置及电子设备。该方法包括:获取电石打样过程中历史图像,以及与各历史图像对应的电石打样状态。基于历史图像和电石打样状态,进行神经网络训练,得到第一预测模型。以第一预测模型为教师模型,基于教师模型和学生模型的检测精度,对学生模型进行多尺度知识蒸馏训练,将训练得到的学生模型确定为电石打样检测模型;获取电石打样过程的实时图像,并将实时图像输入电石打样检测模型,得到电石打样的实时状态。本发明基于历史图像和打样状态训练第一预测模型,经知识蒸馏训练得到简化后的学生模型。基于简化后的学生模型对电石打样检测,提升了电石打样状态识别的效率,实现了电石打样实时检测。

Patent Agency Ranking