-
公开(公告)号:CN114297236A
公开(公告)日:2022-04-08
申请号:CN202111449843.6
申请日:2021-11-30
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/2455 , G06F16/2458 , G06F21/60 , G06F16/22
Abstract: 本发明涉及一种数据血缘分析方法、终端设备及存储介质,该方法中包括:S1:提取数据的流转流程中经过的所有数据表,并基于数据表级别、数据项级别和数据行级别三个分析维度分别设定在各数据表中的唯一标识;S2:根据数据的流转流程中各数据的上下游唯一标识,构建表征数据流转流程的映射表;S3:根据待分析数据对应的分析维度,从映射表中查找待分析数据在该分析维度下对应的上下游唯一标识,基于提取的上下游唯一标识构建表征待分析数据在该分析维度下的数据流转流程的有向图。本发明实现了数据表、数据项、数据行三种维度的数据溯源,细化了数据溯源的颗粒度,能够追踪数据处理流程,为快速定位问题节点、查询变更数据点提供便利。
-
公开(公告)号:CN112055087A
公开(公告)日:2020-12-08
申请号:CN202010947696.4
申请日:2020-09-10
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明给出了一种Mongodb集群快速部署、迁移和维护的方法及系统,包括对Mongodb的集群部署过程中的配置文件进行修改,将集群所有节点的IP地址与对应主机名的映射写入主节点的/etc/hosts配置文件中,并基于映射将其他节点的配置文件中的IP地址替换为对应主机名,降低了集群中所有节点之间对IP地址的耦合性,当某个节点需要迁移或维护时,只需要将该节点的实例停掉,将/etc/hosts配置文件中待迁移/维护的节点的IP地址替换为新节点的IP地址,最后在新节点上运行相应的Mongodb实例,从而实现Mongodb的快速部署、迁移和维护,同时使得各节点之间的IP地址不能通过Mongodb的集群相关命令看到,只能通过IP地址映射的配置文件查看。本发明解决了传统的Mongodb集群部署繁琐,迁移麻烦,维护不方便的问题。
-
公开(公告)号:CN111782996A
公开(公告)日:2020-10-16
申请号:CN202010477008.2
申请日:2020-05-29
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/957 , G06F9/48
Abstract: 本申请实施例公开了异步请求处理方法和装置。该方法的一具体实施方式包括:接收由当前页面产生的至少一个异步请求信息;将至少一个异步请求信息存入预设的内存队列池;执行如下请求提取步骤:从内存队列池中依次提取异步请求信息,并通过浏览器执行提取的异步请求信息;确定浏览器执行提取的异步请求信息后是否符合请求结束条件;如果符合,结束针对当前页面的请求;如果不符合,基于内存队列池中的未被提取过的异步请求信息,继续执行请求提取步骤。该实施方式实现了在大规模的异步请求信息存在时,避免因为短时间内同时出现大量异步请求信息而引的起浏览器假死或奔溃的现象。
-
公开(公告)号:CN111181972A
公开(公告)日:2020-05-19
申请号:CN201911409676.5
申请日:2019-12-31
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明公开了一种PPTP数据实时解析的处理方法,包括如下过程:步骤一:读取客户端和服务端的通信报文,落地成文件并解析,获取已知数据值;步骤二:计算nthash的值,得到解密后续业务报文所需要的密钥;步骤三:在计算过程中,检验是否生成新的破解结果,如果有则写入缓存,同时解密落地文件;步骤四:检查密钥是否破解过,如果是则利用密钥和账号信息从缓存中取出破解结果,解密数据;步骤五:数据解密还原成明文后,进行还原判断。通过该方法,可以实时解析访问的明文内容,进而对敏感行为进行监控。
-
公开(公告)号:CN111080463A
公开(公告)日:2020-04-28
申请号:CN201911285935.8
申请日:2019-12-13
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06Q50/00 , G06F40/30 , G06F16/906
Abstract: 本发明提供了一种关键通讯节点识别方法、装置及存储介质,该方法包括:基于通讯的内容从群通讯人员中确定需要重点关注的人员作为重点通讯节点;对群通讯人员中除重点通讯人员之外的人员进行共同通讯判断,如果具有共同通讯特征,则将具有共同通讯特征的节点作为共同通讯节点;将重点通讯节点和共同通讯节点进行合并组成核心人员集合;基于人员在群中的身份类型、活跃度、发言内容及加入群数确定核心人员集合中的人是否为关键通讯节点,如果是,则将该人标记关键通讯节点的标签。本发明对所有通讯节点进行逐级递进式的分析,进而自动发现处于塔尖的关键通讯节点,其发现关键通讯节点的效率高。
-
公开(公告)号:CN110825717A
公开(公告)日:2020-02-21
申请号:CN201910959733.0
申请日:2019-10-10
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/21 , G06F16/2458
Abstract: 本发明提供了一种身份识别的数据归一方法、装置及介质,该方法首先构建对应的身份属性数据集;然后判断是否存在识别身份属性数据集的匹配规则,如果是,使用规则匹配方法对身份属性数据集进行识别,如果否,使用路径匹配方法对身份属性数据集进行识别;再对获得的识别结果中的至少两条数据记录进行可信度计算,如果可信度达到一定阈值,则将所述至少两条数据记录进行归一操作后保存在数据库中。本发明根据数据记录的不同特点,自适应的选择使用规则匹配算法还是使用路径匹配算法,能够快速将符合规则特征的身份归一化,还能够更全面将无明显一致特征的身份进行归一化,这种方法将极大提高身份归一的准确性,并提出了规则匹配算法及路径匹配算法。
-
公开(公告)号:CN106059798B
公开(公告)日:2019-10-01
申请号:CN201610328707.4
申请日:2016-05-18
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: H04L12/24
Abstract: 本发明公开了一种基于节点集合的多层管理系统。该系统包括:形成树形结构的多个节点,其中,在树形结构中包括至少由一个节点构成的分组,一个分组中的节点隶属于同一个父亲节点且具有相同属性;以及设置于节点上的管理装置,其中,管理装置用于对一个或多个分组,或一个分组中的多个节点下发批量操作命令。通过本发明,在面临机器繁多、环境复杂的情况,能够提供一种灵活的但又定制化高的方式。
-
公开(公告)号:CN110209507A
公开(公告)日:2019-09-06
申请号:CN201910407305.7
申请日:2019-05-16
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F9/54 , G06F16/2457
Abstract: 本发明提供了一种基于消息队列的数据处理方法、装置、系统及存储介质,所述方法包括:获取至少一个源数据库的源数据;将所述源数据存储至消息传输队列,并将所述消息传输队列通过消息通道发送至目标消息队列;基于所述目标消息队列得到相应的源数据,将所述相应的源数据存储至对应的目标数据库。根据本发明的方法、装置、系统及存储介质,使得数据源库与数据仓库之间通信解耦,实现高效率的数据汇聚,将不同来源的数据集成起来,统一数据的通信规范,让数据发挥更大的效益。
-
公开(公告)号:CN110175210A
公开(公告)日:2019-08-27
申请号:CN201910346093.6
申请日:2019-04-26
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明提供一种数据分发方法、装置、系统及存储介质,所述方法包括:获取来自至少一个数据源的原始数据;基于生成规则对所述原始数据进行处理生成待分发数据;根据分发规则向对应的目标分发所述待分发数据;其中,所述生成规则包括根据所述分发规则生成所述待分发数据的目标编号。根据本发明的方法、装置、系统及计算机存储介质,通过将数据生成规则和分发规则有效地结合,实现对于不同结构的多源化数据的分发配置耦合度低、灵活、扩展性和通用度高,以提高数据开发的使用效率,更好地满足客户需求。
-
公开(公告)号:CN110032594A
公开(公告)日:2019-07-19
申请号:CN201910218315.6
申请日:2019-03-21
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/25
Abstract: 本发明提供了一种可定制化的多源数据库的数据抽取方法、装置及存储介质,该方法包括:获取数据抽取系统的当前时间,作为数据抽取的开始时间;从ETL的日志表中的到当前的最小FLAG作为抽取数据起始点;接收输入的数据抽取策略,所述抽取策略包括待抽取的数据源;在待抽取的数据源中从抽取数据起始点基于数据抽取策略进行数据的抽取,抽取完成后将抽取记录到日志表。本发明提出了数据抽取系统,租户向该平台提交数据抽取需求后,经管理员审批通过,所述服务服务提供商完成数据的抽取并反馈至租户,这样租户就不再需要维护独立的数据抽取系统,提高了系统性能,且数据的抽取过程可通过审批机制提高数据系统的安全性。
-
-
-
-
-
-
-
-
-