-
公开(公告)号:CN106446168A
公开(公告)日:2017-02-22
申请号:CN201610849787.8
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN106446168B
公开(公告)日:2019-11-01
申请号:CN201610849787.8
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/25
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN106101018A
公开(公告)日:2016-11-09
申请号:CN201610397801.5
申请日:2016-06-07
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L12/861 , H04L29/08
CPC classification number: H04L49/9047 , H04L67/1097 , H04L67/141 , H04L67/2842
Abstract: 本发明公开了一种面向分布式海量数据加载系统的可靠数据发送方法,消息结构包括消息头和消息体两部分构成;消息头包括:消息ID,消息类型和自定义消息。该消息可以通过http,https,TCP/IP或者其他类型的网络传输协议进行网络传输。接收终端可以根据消息头部的消息ID进行去重,验证等操作并且返回处理结果。按照本发明提供的方法,用户可以准确,有效的向分布式系统中发送数据。
-
公开(公告)号:CN105871705A
公开(公告)日:2016-08-17
申请号:CN201610397804.9
申请日:2016-06-07
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L12/58
CPC classification number: H04L51/043 , H04L51/08 , H04L51/12
Abstract: 本发明公开了一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法,其特征在于,包括以下几个步骤:步骤一:分解电子邮件内容;步骤二:对电子邮件内容中各个部分进行重复判断;步骤三:对电子邮件内容进行重新组织;本发明可以对海量的电子邮件进行内容重复的判断,有效的降低了海量电子邮件处理过程中因电子邮件处理内容处理带来的资源开销。
-
-
-