一种分布式多系统用户行为日志的采集方法

    公开(公告)号:CN107786641B

    公开(公告)日:2020-10-27

    申请号:CN201710922501.9

    申请日:2017-09-30

    Inventor: 蔡剑研

    Abstract: 本发明一种分布式多系统用户行为日志的采集方法,包括作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统,在REST服务层记录用户的业务日志,能够最真实地采集并记录用户请求的相关参数,能够最直接表达用户的意愿,对后期的用户行为分析,提供更加可靠的数据来源,不需要在业务处理中采集参数并传递很多次,减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中,通过用户的业务日志分析用户访问和操作习惯,便于改进应用的用户体验,提升服务效果,通过系统日志用于解决和排查应用出现的问题,解决应用的异常,保证应用的稳定性。

    一种APP Android新版本灰度发布的方法

    公开(公告)号:CN109871232A

    公开(公告)日:2019-06-11

    申请号:CN201910109799.0

    申请日:2019-02-11

    Inventor: 蔡剑研 林一新

    Abstract: 本发明涉及一种APP Android新版本灰度发布的方法,其中,APP负责收集用户数据并反馈至云端,形成维度信息,而云端设置灰度发布节点和维度,进行自动灰度发布,并可监测发布情况和提前终止发布,发布结束后,可生成数据详尽的发布报告,以供参考。本发明实现了多维度的精确发布控制和随时终止的功能,提高了灰度发布的准确性、安全性和便利性。

    一种分布式多系统用户行为日志的采集方法

    公开(公告)号:CN107786641A

    公开(公告)日:2018-03-09

    申请号:CN201710922501.9

    申请日:2017-09-30

    Inventor: 蔡剑研

    Abstract: 本发明一种分布式多系统用户行为日志的采集方法,包括作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统,在REST服务层记录用户的业务日志,能够最真实地采集并记录用户请求的相关参数,能够最直接表达用户的意愿,对后期的用户行为分析,提供更加可靠的数据来源,不需要在业务处理中采集参数并传递很多次,减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中,通过用户的业务日志分析用户访问和操作习惯,便于改进应用的用户体验,提升服务效果,通过系统日志用于解决和排查应用出现的问题,解决应用的异常,保证应用的稳定性。

    寻找热点商品的方法、控制系统、设备、存储介质及终端

    公开(公告)号:CN115730122A

    公开(公告)日:2023-03-03

    申请号:CN202211493058.5

    申请日:2022-11-25

    Abstract: 本发明属于爬虫技术领域,公开了一种寻找热点商品的方法、控制系统、设备、存储介质及终端,寻找热点商品的方法包括选取网站;爬取搜索页的列表;爬取详情页面;存储数据;步分析数据,生成图表。本发明设计一种选取通用的爬虫框架,充分利用多台机器的带宽速度爬取数据,利用多台机器的IP爬取网站数据,有效的提高爬取效率。遍历搜索页中所有选项分类及筛选条件的所有页数URL,获取详情页URL,写入redis数据库中,再通过redis中的详情页面url,爬取详情页面中的具体数据,将数据存储到数据库,另外编写统计分析逻辑,输出统计图表,也可以通过商品产地等坐标生成商品热力分布图。有效的提高爬取效率。

    一种基于zookeeper的主从本地定时任务处理方法及系统

    公开(公告)号:CN110266779A

    公开(公告)日:2019-09-20

    申请号:CN201910496227.2

    申请日:2019-06-10

    Inventor: 蔡剑研

    Abstract: 本发明提供一种基于zookeeper的主从本地定时任务处理方法,需提供zookeeper服务和复数个应用服务器,在每一应用服务器启动时,在zookeeper目录下创建一个节点,并为节点分配一节点数字,存储在对应应用服务器内存;当zookeeper目录下的节点数字变化时,zookeeper服务广播通知各应用服务器;在各应用服务器收到广播后,获取zookeeper目录下所有节点数字,生成节点列表存储于本地内存;每一应用服务器获取本地存储的节点列表,从节点列表中获取第一个数字与当前应用服务器对应的节点数字进行比较,若一致,则判当前应用服务器为主节点,执行定时任务,否则,判当前任务为从节点,不执行定时任务。本发明还提供一种基于zookeeper的主从本地定时任务处理系统,实现主从本地定时任务的高效处理。

    一种基于脚本规则的用户标签转化方法及系统

    公开(公告)号:CN109189774A

    公开(公告)日:2019-01-11

    申请号:CN201811075601.3

    申请日:2018-09-14

    Inventor: 蔡剑研 邵隆

    Abstract: 本发明属于数据处理技术领域,公开了一种基于脚本规则的用户标签转化方法及系统,根据业务需求自定义主题,创建目标对象的主题,定义主题名称和主题唯一标识,一个主题对应一张宽表;根据创建的主题,创建目标对象的标签和标签唯一标识;创建标签对应的标签脚本规则,定义标签规则名,标签规则唯一标识,输入参数,监听规则,选择要生产的标签,将创建的标签规则中的输入参数与外部数据来源进行一对一绑定,在外部数据进入时通过监听规则和处理规则转化生成为创建的标签。本发明即可实现在同类行业中的标签规则复用,减少业务人员重复的工作,降低用户成本。

    一种定时数据增量同步的方法

    公开(公告)号:CN103955491B

    公开(公告)日:2017-04-19

    申请号:CN201410151907.8

    申请日:2014-04-15

    Abstract: 本发明提供一种定时数据增量同步的方法,本发明是一种基于时间戳增量抽取的技术,主要包括线程调度引擎和数据处理引擎,将业务系统中的变化数据按一定的频率准确地捕获到,并且通过查询数据总记录数,分析增量区间数据量大小,计算系统的可用内存,估计优化同步时的预计使用内存,合理分配数据同步内存。本发明能够很好地避免增量数据过大时导致内存溢出,降低数据增量同步时对业务系统造成的压力,从而确保在进行数据增量时现有业务也可以正常运行。

    一种智能数据分发流程引擎及其同步数据的方法

    公开(公告)号:CN104991952A

    公开(公告)日:2015-10-21

    申请号:CN201510422846.9

    申请日:2015-07-17

    CPC classification number: G06F17/30575

    Abstract: 本发明一种智能数据分发流程引擎,包括客户端API接口、配置分析引擎、流程引擎、配置库、流程配置库,其中,通过共享平台调用客户端API接口,生成流程编排描述文件并发送给配置分析引擎;该配置分析引擎解析流程编排描述文件,对配置参数进行分析,生成流程引擎所能理解的配置信息并保存到配置库中,同时生成可执行的流程编排实例保存到流程配置库中;流程引擎监控配置库的状态,当配置库发现变化时,流程引擎会执行最新的配置信息,并为流程编排实例提供运行环境,并解释流程编排实例对象;本发明能够根据不同的配置将数据源端的数据自动同步到各种不同的数据接收端,具备良好的可扩充性和灵活性,可无缝地集成到各种应用系统中。

    一种定时数据增量同步的方法

    公开(公告)号:CN103955491A

    公开(公告)日:2014-07-30

    申请号:CN201410151907.8

    申请日:2014-04-15

    CPC classification number: G06F17/30578 G06F9/4843

    Abstract: 本发明提供一种定时数据增量同步的方法,本发明是一种基于时间戳增量抽取的技术,主要包括线程调度引擎和数据处理引擎,将业务系统中的变化数据按一定的频率准确地捕获到,并且通过查询数据总记录数,分析增量区间数据量大小,计算系统的可用内存,估计优化同步时的预计使用内存,合理分配数据同步内存。本发明能够很好地避免增量数据过大时导致内存溢出,降低数据增量同步时对业务系统造成的压力,从而确保在进行数据增量时现有业务也可以正常运行。

Patent Agency Ranking