一种Hadoop日志无损压缩方法和系统

    公开(公告)号:CN109901978A

    公开(公告)日:2019-06-18

    申请号:CN201711298672.5

    申请日:2017-12-08

    Inventor: 王杰斌 林文辉

    Abstract: 本发明实施例提供了一种Hadoop日志无损压缩方法和系统,将日志文件中的日志信息逐行进行解析切分,获取日志字段;其中,不同的日志字段标识不同的类别;判断所述日志字段是否在其对应类别的字典中,若判断结果为否,则为所述日志字段分配其在所述字典中对应的表项序号,并存入其对应类别的字典;逐行提取字典中记录的所述日志字段的表项序号进行编码并写入缓存中的压缩内容。大大减少了hadoop日志的存储空间,同时Hadoop日志文件增大对压缩、解压缩过程的耗时影响较小。

    一种用于为目标数据提供编码的系统及方法

    公开(公告)号:CN109871861A

    公开(公告)日:2019-06-11

    申请号:CN201811612338.7

    申请日:2018-12-27

    Abstract: 本发明公开了一种用于为目标数据提供编码的系统及方法,属于税务数据应用技术领域。本发明系统包括:训练模块,获取训练数据,所述训练数据包括分类编码表及历史发票数据,对分类编码表及历史发票数据进行训练,获取训练结果,基于训练结果生成多个训练模型;模型合并模块,基于多组训练模型,对多组训练模型进行合并,对训练结果的相同数据集叠加;编码提供模块,读取训练结果数据,所述编码模块接设有多个接口,接收接口传输的需要编码的目标数据,对需要编码的目标数据提供编码信息。本发明依据实际数据情况对历史数据进行详细有效的预处理,剔除干扰信息、提高训练准确率。

    一种基于靶标模型的食品风险量化分级方法及系统

    公开(公告)号:CN109829614A

    公开(公告)日:2019-05-31

    申请号:CN201811604420.5

    申请日:2018-12-26

    Abstract: 本发明公开了一种基于靶标模型的食品风险量化分级方法及系统,所述方法包括:获取食品的检测数据,根据检测数据所属的分类将所属检测数据划分至预设的多个指标内;计算每个指标的不合格率以及平均不合格度;根据每个指标下的不合格率和不合格度,使用预设的靶标模型计算对应指标的风险等级;输出各个指标的风险等级,并对所述各个指标的风险等级根据预设规则进行预警;所述方法及系统通过对多样性的食品检测数据进行融合形成多个指标,通过靶标模型的建立对各指标的进行评价,获得食品风险量化分级,以实现食品风险程度的定量刻画,直观反映食品的安全概况,可帮助食品安全领域人员提升认知和分析能力,提高食品安全监管的科学性和有效性。

    基于微服务架构的食品/药品分析方法和系统

    公开(公告)号:CN109783532A

    公开(公告)日:2019-05-21

    申请号:CN201811519584.8

    申请日:2018-12-12

    Abstract: 本公开涉及一种基于微服务架构的食品/药品分析方法和系统,属于食品与药品数据分析技术领域。其中,所述方法包括:按照提供的检索项目和分析维度项目生成数据请求;按照所述分析维度采集符合所述检索项目的数据;按照设定的统计算法对采集到的数据进行计算得到结果数据,和输出所述结果数据。本公开不仅从多个维度反映了食品与药品的质量安全概况,而且可帮助食品/药品安全领域人员全面了解数据的分布态势。本公开采用微服务的架构,使得前后端解耦,实现了并行开发、自动化测试以及独立部署,不仅提升了开发效率,增强了代码可维护性,而且能更好地应对复杂多变的前端需求。

    一种用于为对象文本描述确定默认分类信息的方法及系统

    公开(公告)号:CN109766440A

    公开(公告)日:2019-05-17

    申请号:CN201811542359.6

    申请日:2018-12-17

    Abstract: 本发明公开了一种用于为对象文本描述确定默认分类信息的方法及系统,其中方法包括:基于分类信息标准,构建对象文本描述的默认分类信息模型;获取已建立对应关系的所述对象文本描述和分类信息作为历史训练数据,对所述默认分类信息模型进行训练,生成经过训练的默认分类信息模型;获取对象文本描述中的非默认分类信息的对象文本描述,当所述非默认分类信息的对象文本描述占描述所述对象名称的对象文本描述次数超过预设比例时,建立所述非默认分类信息的对象文本描述与所述对象的分类信息的可信对应关系;将所述非默认分类信息的对象文本描述与所述对象的分类编码的可信对应关系加入到所述默认分类信息模型,更新所述默认分类信息模型。

    基于负载均衡的分布式数据传输方法和系统

    公开(公告)号:CN104852857B

    公开(公告)日:2018-07-31

    申请号:CN201410153071.5

    申请日:2014-04-16

    Inventor: 林文辉

    Abstract: 本发明实施例提供了种基于负载均衡的分布式数据传输方法和系统。该方法主要包括:将分布式数据传输系统中的各个传输节点分成多个层次,在每个层次中包括多个传输节点,在分布式数据传输系统中设置个负载均衡管理节点,负载均衡管理节点根据接收到的各个传输节点的节点状态信息,按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。本发明实施例实现了对整个数据传输过程进行有效的检测和管理,可以根据各个传输节点的节点状态信息按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制,实时调整分布式数据传输系统的网络架构,从而提高了分布式数据传输系统的数据传输的效率。

    一种基于PKI的租户划分及权限认证的系统和方法

    公开(公告)号:CN106921481A

    公开(公告)日:2017-07-04

    申请号:CN201511001536.6

    申请日:2015-12-28

    Inventor: 张先强 林文辉

    Abstract: 本发明公开了一种基于PKI的租户划分及权限认证的系统和方法。本发明提供了一种基于PKI的Openstack云系统中权限认证的方法,包括:使用CA系统向LDAP目录服务器发送CRL;用户通过USBKey里面的或者储存在IE里面的数字证书向基于Openstack的云系统发起连接请求;利用所述云系统将获得到的用户的证书信息进行解析,并通过Keystone模块发送到LDAP目录服务器;利用所述LDAP目录服务器对该证书进行认证,并验证用户是否合法,其中包括是否是CA颁发的有效证书,是否存在CRL列表中,然后向所述云系统返回校验结果;认证失败,所述云系统拒绝该用户的连接请求;认证成功,所述云系统允许该用户的连接请求。采用基于PKI的数字证书登录系统,不仅能够有效地保障用户的身份认证问题,防止非法用户伪造或假冒用户身份,具有很高的安全性。

    一种基于LRA受理点信息的数字证书管理方法及装置

    公开(公告)号:CN104468104A

    公开(公告)日:2015-03-25

    申请号:CN201310421476.8

    申请日:2013-09-16

    Abstract: 本发明提出了一种基于LRA受理点信息的数字证书管理方法及装置,其特征在于在用户数字证书的签发以及证书的整个生命周期中对证书进行完善的管理。通过对证书的属性进行扩展,同时在CA中心和LDAP目录服务器中对证书的受理点信息进行有效管理,在证书的整个生命周期中,可以有效地对证书签发时间、签发人等信息进行追溯,为PKI体系的安全管理提供了保障。本发明是对PKI建立一套完善的管理体系的有效补充,也可以满足更多类型的业务需求。同时,应用系统可以通过目录服务器得到完整的有效信息,方便用户使用。

    对用户加密密钥恢复进行管理的方法和系统

    公开(公告)号:CN103916237A

    公开(公告)日:2014-07-09

    申请号:CN201210591471.5

    申请日:2012-12-30

    Abstract: 本发明实施例提供了一种对用户加密密钥恢复进行管理的方法和系统。该方法包括:认证中心接收到证书注册中心发送的用户证书密钥恢复请求,认证中心在用户证书的扩展选项中加入恢复申请事由信息,向密钥管理中心发送包含用户证书的扩展选项的密钥恢复服务请求;密钥管理中心对密钥恢复请求信息进行解析,获取用户信息和恢复申请事由,根据用户信息恢复出用户的加密密钥对,将恢复申请事由和加密密钥对进行关联保存,并将加密密钥对返回给认证中心。本发明实施例通过将用户密钥恢复信息引入到用户证书的扩展选项中,可以实现让密钥管理中心获取更完善的密钥恢复申请信息,实现了密钥管理中心对用户加密密钥恢复进行有效管理、识别。

    一种业务交互网络的预测方法及装置

    公开(公告)号:CN114519445B

    公开(公告)日:2025-02-18

    申请号:CN202011294355.8

    申请日:2020-11-18

    Abstract: 本公开涉及数据处理技术领域,尤其涉及一种业务交互网络的预测方法及装置,解决建立的业务交互网络不完整,以及无法对潜在的业务关系进行预测的问题,方法为:获取采集的各个业务数据,建立交互网络,再建立邻接矩阵和特征矩阵,再将所述邻接矩阵和所述特征矩阵,输入预测模型,得到业务交互预测矩阵,然后将所述业务交互预测矩阵中元素进行处理后,生成业务交互网络矩阵,并基于所述业务交互网络矩阵确定预测的业务交互网络。这样,采用业务数据生成的交互网络,预测业务交互网络,规避建立预测交互网络时,需要检索确定同种业务类型的全部交互对象,使得建立的业务交互网络不完整的弊端,而且能够预测出存在潜在交互可能的交互对象。

Patent Agency Ranking