一种基于流水线实现5G业务数据负载均衡的方法及系统

    公开(公告)号:CN117177298A

    公开(公告)日:2023-12-05

    申请号:CN202311053143.4

    申请日:2023-08-21

    Abstract: 本发明提出了一种基于流水线实现5G业务数据负载均衡的方法,该方法包括如下步骤:响应于初始化,将CPU核划分为调度核和业务核;所述调度核接收报文、解析报文和提取内层五元组,并根据提取的所述内层五元组进行哈希值计算;所述调度核对计算得到的所述哈希值进行取模,根据计算结果调度给指定的所述业务核;完成计算后,所述调度核重新把报文放入到调度队列。通过使用内层五元组进行负载均衡,把流量负载均衡、同源通宿的分配到不同的核上,确保同一条流的上下行在同一个CPU的核处理,使得处理过程实现流的有状态以及高性能、高并发的无锁的处理。

    行人重识别模型的训练方法、装置、计算设备及存储介质

    公开(公告)号:CN113936302B

    公开(公告)日:2023-04-07

    申请号:CN202111295755.5

    申请日:2021-11-03

    Abstract: 本发明公开一种行人重识别模型的训练方法、装置、计算设备及存储介质,该方法包括:获取第一行人重识别训练数据集所述第一行人重识别训练数据集输入预设的行人重识别模型进行处理,并基于处理结果得到第一损失函数所述第一行人重识别训练数据集进行处理得到第二行人重识别训练数据集所述第二行人重识别训练数据集输入远程监督网络进行处理,并根据处理结果得到第二损失函数;所述第一损失函数和第二损失函数所述预设的行人重识别模型,得到目标行人重识别模型。根据本发明实施例通过增加监督网络提供监督信息来实现不增加识别网络复杂度的前提下,扩充训练样本数量的同时也有效提升了行人重识别网络的识别性能。

    一种应对标签标注不完整的多标签分类的方法及装置

    公开(公告)号:CN115908921A

    公开(公告)日:2023-04-04

    申请号:CN202211457173.7

    申请日:2022-11-21

    Abstract: 本申请提出了一种应对标签标注不完整的多标签分类的方法及装置,该方法包括以下步骤:S1、获取验证集和训练集,并且将验证集中的每张图片均人工标记上多个类别标签;以及S2、基于训练集和总损失函数训练多标签分类模型,其中,总损失函数包括正标签损失函数、负标签损失函数以及未标记标签损失函数;以及S3、基于验证集和再平衡参数计算获得未标记标签损失函数;以及S4、最终获得训练完成的多标签分类模型。本申请通过利用少部分标注完整的验证集来指导纠正大型多标签训练集中的标签标注不完整部分损失函数的计算,有效地节约了人工标记成本并提升了多标签分类任务的准确率。

    一种基于分布式内存数据库的数据抽样方法和装置

    公开(公告)号:CN115470212A

    公开(公告)日:2022-12-13

    申请号:CN202211122878.3

    申请日:2022-09-15

    Abstract: 本申请涉及一种基于分布式内存数据库的数据抽样方法,其将分布式内存数据库当做过滤容器,数据过滤规则为过滤条件。过滤容器属性包括分布式集群服务器、数据缓存大小、数据缓存策略。过滤条件包括基于规则按MD5算法计算出128位HASH值、基于HASH值构建数据存储内存数据库组织规则,从而在大数据海量数据面前实现快速并准确的根据自定义规则抽取数据。其能够满足PB设置各大量级别的数据抽样效果,并能够满足在业务使用过程中不影响业务的效率短时间内得到需要的抽样结果数据效果。在各种行业中经过海量数据的抽样分析能够快速掌握态势,并提前做出各种预警和判断,能够为生活生产,事情发展,灾难预测等各个领域实战中具有重大意义。

    一种基于动态适配的服务质检方法及存储介质

    公开(公告)号:CN115423237A

    公开(公告)日:2022-12-02

    申请号:CN202210758082.0

    申请日:2022-06-29

    Abstract: 本申请涉及一种基于动态适配的服务质检方法及存储介质,该方法将各类服务的质检需求,形成统一的任务池,根据不同任务对应的资源类型,抽样形成质检区的资源池,执行服务对应的处理引擎,结合资源种类、数据量、并发数等维度的特性,自动分析出各类服务的运行指标,发布到生产环境;实时监测大数据平台运行环境的变化,动态调整各类服务的运行指标;实现对各类服务的科学、有序、安全的管理,确保大数据平台稳定安全运行,支撑各业务场景下的大数据应用需求。

    一种基于零拷贝的多用户发包方法、系统及存储介质

    公开(公告)号:CN115185686A

    公开(公告)日:2022-10-14

    申请号:CN202210804246.9

    申请日:2022-07-07

    Abstract: 本发明提出了一种基于零拷贝的多用户发包方法、系统及存储介质,该方法包括如下步骤:获取用户的数据包;配置对数据包进行内存分配及存储,为数据包的buffer预留存储空间;对所述数据包进行灵活重组;发送重组后的所述数据包。通过在数据包首个buffer预留一定的空间,用于数据包首部改造及添加用户特征相关标识,采用多段式数据包描述符灵活重组数据包,多用户共享原始数据包数据,不需要对原始包进行拷贝操作。

    多节点数据检索方法、装置以及计算机存储介质

    公开(公告)号:CN115017176A

    公开(公告)日:2022-09-06

    申请号:CN202210573359.2

    申请日:2022-05-25

    Abstract: 本发明涉及一种多节点数据检索方法、装置及存储介质。其中方法包括:对获取到的检索任务进行归一化处理后,通过预设调度缓存区对各个资源节点进行检索资源以及检索任务的调度,获取当前业务场景关联的资源节点相应的检索引擎,通过调整方案以及检索引擎,得到业务场景的检索结果,对检索结果进行去重以及排序处理,将经过去重及排序后的各个资源节点的检索结果进行融合,得到当前的业务场景的返回结果集。本发明满足了大数据业务分析需求,解决困扰已久的多节点海量数据检索的结果展示不准确、检索效率低下的问题,提高复杂业务场景下的多节点数据检索的效率和准确性。

    一种基于文本数据读取的方法和系统

    公开(公告)号:CN113626385B

    公开(公告)日:2022-07-15

    申请号:CN202110767562.9

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074B

    公开(公告)日:2022-05-31

    申请号:CN202010351007.3

    申请日:2020-04-28

    Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

    基于动态评估的数据探查方法和装置

    公开(公告)号:CN111581431B

    公开(公告)日:2022-05-20

    申请号:CN202010351013.9

    申请日:2020-04-28

    Abstract: 本发明公开了一种基于动态评估的数据探查方法和装置,通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查,得到第一探查结果;对第一探查结果进行评估,得到评估结果,根据评估结果对探查流程进行动态调整,获得动态匹配的探查规则,并通过探查规则获得第二探查结果;计算第二探查结果的有效探查项比例,根据有效探查比例判断探查规则的有效性,对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径,实现不同类型数据的自动探查工作,提高数据探查的工作效率,结合不同的数据源和探查结果,智能推荐探查结果,实现所有接入数据源的自动探查工作,高效支撑各种不同数据源的探查,提升大数据智能化接入效率。

Patent Agency Ranking