一种基于多源多库的实时流处理方法和系统

    公开(公告)号:CN116910152A

    公开(公告)日:2023-10-20

    申请号:CN202310733117.X

    申请日:2023-06-20

    Abstract: 公开了一种基于多源多库的实时流处理方法和系统,包括响应于接受客户端的访问请求,网关中心根据请求的数据类型转发到组件提供者,并对客户端的请求参数进行校验;控制器解析客户端的提交信息获取所需的资源数量并向资源管理器请求资源;响应于资源管理器存在足够的可用资源,启动执行器并向资源管理器注册资源占用情况;执行器运行完毕自动释放资源并通知资源管理器。本申请通过流处理控制器和流处理执行器的一主多从架构,充分使用了各服务器资源,减少了分布环境下的数据流量,并提高了数据传输的安全性。

    一种基于集成算法的多算法融合图像比对方法和系统

    公开(公告)号:CN115410007A

    公开(公告)日:2022-11-29

    申请号:CN202211041157.X

    申请日:2022-08-29

    Abstract: 本发明提出了一种基于集成算法的多算法融合图像比对方法,包括:S1、获取图片集并将同一对象的图片进行分别划分到静态集和动态集,并对同一对象的图片赋予关联actorId;S2、利用多种算法分别对静态集和动态集进行图片特征向量的提取,以获得基础特征和衍生特征;S3、基于获得的基础特征以及衍生特征和关联actorId构造样本;S4、将样本代入预设的集成算法训练、测评并保存最佳模型;S5、将获得图片的基础特征和衍生特征输入至保存的最佳模型,以获得预测结果。通过利用集成算法去学习多算法之间的特点,能够弥补单算法的不足以及加权策略的主观倾向经验带来的以偏概全的影响,提高模型泛化能力,提高图像比对准确率和召回率,为图像聚档提供可靠的比对服务。

    一种基于多模态的网站类型判断方法及装置

    公开(公告)号:CN114239689A

    公开(公告)日:2022-03-25

    申请号:CN202111392189.X

    申请日:2021-11-19

    Abstract: 本发明提出了一种基于多模态的网站类型判断方法及装置,该方法包括:基于所述网站的URL爬取网页html文件和网页截图;使用第一神经网络模型对所述网页截图进行识别确定所述网站的图片分类标签;使用第二神经网络模型和第三神经网络对网页html文件进行识别确定所述网站的内容文本语义标签和标题文本语义标签,并通过监管信息平台基于网址URL获取备案信息标签;基于所述图片分类标签、内容文本语义标签、标题文本语义标签和备案信息标签确定所述网站的最终类型。本发明中,使用多模态技术将多种分类结果进行融合,并设计具体的融合策略,使得网站类型的识别率大大提高。

    一种多个服务器的管理方法、系统及计算机存储介质

    公开(公告)号:CN111600749A

    公开(公告)日:2020-08-28

    申请号:CN202010358132.7

    申请日:2020-04-29

    Abstract: 本发明提供了一种服务器的管理方法、系统及计算机存储介质,多个服务器包括管理服务器和业务节点服务器,所述方法包括:在管理服务器处对业务节点服务器进行注册;根据已经注册的业务节点服务器的业务类型,在业务节点服务器中确定每种业务类型的业务管理服务器;管理服务器发送第一控制指令至业务管理服务器;业务管理服务器根据第一控制指令控制与业务管理服务器的业务类型相同的服务器。根据本发明的方法、系统及计算机存储介质,通过统一的管理入口,对相同业务类型的服务器进行批量操作,从而减少了大量服务器的管理和维护时间,减少相应的人力成本,以及降低了对网络和计算资源的占用,提高了服务器的管理效率。

    一种不同可信度关联数据查找方法、终端设备及存储介质

    公开(公告)号:CN114048233B

    公开(公告)日:2025-05-06

    申请号:CN202111186321.1

    申请日:2021-10-12

    Abstract: 本发明涉及一种不同可信度关联数据查找方法、终端设备及存储介质,该方法中包括:S1:根据需要查找的关联数据中主数据和从数据的类型,从多个数据来源中采集关联数据,并根据数据来源的可信度对各数据的数据源等级进行分级,并对各关联数据的来源时间进行标注;S2:对数据进行预处理,剔除无效数据;S3:根据同一数据源等级对应的所有数据中各从数据出现的次数,设定每个从数据的关联等级;S4:根据从数据的关联等级和来源时间,在按照可信度从大到小排列的不同等级的数据库中,对关联数据进行入库和数据库降级操作;S5:根据需要的关联等级从对应等级的数据库中查找主数据对应的从数据。本发明具有可定期更新、运算速度快的特点。

    一种基于流水线实现5G业务数据负载均衡的方法及系统

    公开(公告)号:CN117177298A

    公开(公告)日:2023-12-05

    申请号:CN202311053143.4

    申请日:2023-08-21

    Abstract: 本发明提出了一种基于流水线实现5G业务数据负载均衡的方法,该方法包括如下步骤:响应于初始化,将CPU核划分为调度核和业务核;所述调度核接收报文、解析报文和提取内层五元组,并根据提取的所述内层五元组进行哈希值计算;所述调度核对计算得到的所述哈希值进行取模,根据计算结果调度给指定的所述业务核;完成计算后,所述调度核重新把报文放入到调度队列。通过使用内层五元组进行负载均衡,把流量负载均衡、同源通宿的分配到不同的核上,确保同一条流的上下行在同一个CPU的核处理,使得处理过程实现流的有状态以及高性能、高并发的无锁的处理。

    行人重识别模型的训练方法、装置、计算设备及存储介质

    公开(公告)号:CN113936302B

    公开(公告)日:2023-04-07

    申请号:CN202111295755.5

    申请日:2021-11-03

    Abstract: 本发明公开一种行人重识别模型的训练方法、装置、计算设备及存储介质,该方法包括:获取第一行人重识别训练数据集所述第一行人重识别训练数据集输入预设的行人重识别模型进行处理,并基于处理结果得到第一损失函数所述第一行人重识别训练数据集进行处理得到第二行人重识别训练数据集所述第二行人重识别训练数据集输入远程监督网络进行处理,并根据处理结果得到第二损失函数;所述第一损失函数和第二损失函数所述预设的行人重识别模型,得到目标行人重识别模型。根据本发明实施例通过增加监督网络提供监督信息来实现不增加识别网络复杂度的前提下,扩充训练样本数量的同时也有效提升了行人重识别网络的识别性能。

    一种统一管理的大数据组件部署系统和方法

    公开(公告)号:CN115617361A

    公开(公告)日:2023-01-17

    申请号:CN202211324623.5

    申请日:2022-10-27

    Abstract: 本申请涉及一种统一管理的大数据组件部署系统和方法,所述系统包括软件仓库,软件仓库用于存储各版本大数据组件和基础依赖软件包,以及用于对大数据组件和软件包进行统一的管理、维护和下发;工作台,所述工作台包括可视化操作界面,用于对软件包、服务器和组件部署进行管理和操作;指令中心,所述指令中心集成了通用操作的脚本和主脚本。本发明通过对大数据组件进行统一的管理,利用编写好的各组件部署流程模板和一些执行脚本,实现了对大数据组件统一的、可视化的、零感知的部署,简化了项目过程中对大数据组件部署的难度,降低了人员的技术要求,节约时间和人力成本。

    一种不同可信度关联数据查找方法、终端设备及存储介质

    公开(公告)号:CN114048233A

    公开(公告)日:2022-02-15

    申请号:CN202111186321.1

    申请日:2021-10-12

    Abstract: 本发明涉及一种不同可信度关联数据查找方法、终端设备及存储介质,该方法中包括:S1:根据需要查找的关联数据中主数据和从数据的类型,从多个数据来源中采集关联数据,并根据数据来源的可信度对各数据的数据源等级进行分级,并对各关联数据的来源时间进行标注;S2:对数据进行预处理,剔除无效数据;S3:根据同一数据源等级对应的所有数据中各从数据出现的次数,设定每个从数据的关联等级;S4:根据从数据的关联等级和来源时间,在按照可信度从大到小排列的不同等级的数据库中,对关联数据进行入库和数据库降级操作;S5:根据需要的关联等级从对应等级的数据库中查找主数据对应的从数据。本发明具有可定期更新、运算速度快的特点。

    一种数据识别方法、终端设备及存储介质

    公开(公告)号:CN110851687A

    公开(公告)日:2020-02-28

    申请号:CN201911092398.5

    申请日:2019-11-11

    Abstract: 本发明涉及一种数据识别方法、终端设备及存储介质,该方法中根据待识别数据的特征构建待识别数据的特征模板,针对每个待识别数据,通过该特征模板进行匹配,将能够匹配的待识别数据作为识别数据;所述特征模板包括多层,所述匹配为分别对每一层进行匹配,当所有层均能够匹配时为待识别数据能够匹配。本发明与全量获取方法相比,能够有效较少数据存储空间;与精准识别方法相比,不用针对每一种数据分别开发一个识别方案,通用性强,且能通过模板发现网络上新上线的但匹配已有模板的一些数据。

Patent Agency Ranking