Web主题信息提取方法及系统

    公开(公告)号:CN102750392B

    公开(公告)日:2014-07-16

    申请号:CN201210235115.X

    申请日:2012-07-09

    Abstract: 本发明公开一种Web主题信息提取方法及系统。其中在Web主题信息提取方法中,通过根据指定Web页面的编码格式获得Web页面的分页链接格式,根据分页链接格式获得指定分页中的全部内容链接信息,其中内容链接信息包括内容链接地址;对于每个内容链接信息,获取内容链接地址指向的链接页面的Html源代码,分析链接页面的编码格式;根据链接页面的编码格式,提取链接页面的Web主题信息,并生成页面快照。由于可获得指定分页中全部内容链接信息相关联的Web主题信息,从而便于用户对Web信息的灵活定制,并有效避免访问时间的耗费和通信流量的损失。

    数据血缘溯源方法和系统
    3.
    发明公开

    公开(公告)号:CN116414891A

    公开(公告)日:2023-07-11

    申请号:CN202111643076.2

    申请日:2021-12-29

    Abstract: 本公开公开了一种数据血缘溯源方法和系统,涉及数据治理领域。该方法包括:在数据治理过程中,植入数据之间数据表和字段粒度的依赖关系,作为血缘数据埋点;在ETL任务过程中,根据依赖关系,确定采集的第一数据集的第一元素与经过原子操作后的第二数据集的第二元素之间的第一血缘关系,其中,第一元素和第二元素包括行标识、元素属性和时间窗口参数;以及根据第一血缘关系,对数据进行血缘溯源。本公开由于元素中包括行标识,即在表和字段级维度的血缘分析技术上进一步细粒化到行级别的数据血缘计算,从而能够实现行粒度的数据血缘分析。

    接口缓冲方法和系统
    4.
    发明公开

    公开(公告)号:CN101800663A

    公开(公告)日:2010-08-11

    申请号:CN201010107574.0

    申请日:2010-02-09

    Abstract: 本发明提供一种接口缓冲方法和系统,涉及接口技术。其中一种接口缓冲方法,包括:接收接口请求信息;根据所述接口请求信息生成接口请求标识符;将所述接口请求信息和所述接口请求标识符构成的请求数据存入请求中间表;计算当前可用并发量;从所述请求中间表中读取不大于所述当前可用并发量的请求数据,将所述请求数据载入到请求队列;将所述请求队列中的请求数据封装成请求报文;和将所述请求报文通过内部接口机发送给外部接口机进行处理。本发明避免了由于大量用户请求而造成接口宕机的情况,使平台摆脱外部接口机的性能约束,保证了平台稳定运行。

    基于教育信息的大数据处理方法、装置及系统、存储介质

    公开(公告)号:CN113722301A

    公开(公告)日:2021-11-30

    申请号:CN202110859432.8

    申请日:2021-07-28

    Abstract: 本发明提供了一种基于教育信息的大数据处理方法及装置、系统、存储介质,所述方法包括:至少通过API对设定区域内的教育数据及多种文件类型数据的批量采集,将采集到的各来源的异构数据进行跨域汇聚;对数据采集行为进行统一调度与监控,在数据采集任务异常时进行告警;至少按操作数据层、明细数据层、服务数据层、数据应用层的分层方式将所采集到的数据进行存储;对所采集的数据进行标准制定,基于所制定的标准对采集到的数据进行清洗,基于清洗后的数据进行设定方式的治理,而实现数据服务开放共享互融互通、数据决策支持;响应于数据查询及数据统计请求,将汇总结果作为响应结果进行输出或发送。本发明顺应了教育改革预期,加快了教育现代化。

    接口缓冲方法和系统
    6.
    发明授权

    公开(公告)号:CN101800663B

    公开(公告)日:2011-12-21

    申请号:CN201010107574.0

    申请日:2010-02-09

    Abstract: 本发明提供一种接口缓冲方法和系统,涉及接口技术。其中一种接口缓冲方法,包括:接收接口请求信息;根据所述接口请求信息生成接口请求标识符;将所述接口请求信息和所述接口请求标识符构成的请求数据存入请求中间表;计算当前可用并发量;从所述请求中间表中读取不大于所述当前可用并发量的请求数据,将所述请求数据载入到请求队列;将所述请求队列中的请求数据封装成请求报文;和将所述请求报文通过内部接口机发送给外部接口机进行处理。本发明避免了由于大量用户请求而造成接口宕机的情况,使平台摆脱外部接口机的性能约束,保证了平台稳定运行。

    一种分层的智能状态监视方法
    7.
    发明公开

    公开(公告)号:CN115563975A

    公开(公告)日:2023-01-03

    申请号:CN202211404275.2

    申请日:2022-11-10

    Abstract: 本发明公开了一种分层的智能状态监视方法,步骤包括:获取统一平台下的所有业务的历史运维日志数据然后构建数据集;构建关键词库集W1;构建业务分类模型;构建业务运行状态分类模型;获取统一平台产生的运维日志数据输入给业务分类模型以识别出产生运维日志数据的业务的业务类型,然后业务运行状态分类模型基于业务分类模型的业务分类结果进一步识别出运维日志数据对应的业务运行状态。本发明在训练业务分类模型时,考虑了W1中每个关键字在数据集S2的各个业务中存现的频次特征,在训练业务运行状态分类模型时,以细化后特正样本集为训练样本,对应的运行状态分类词库集为目标输出,训练得到的模型具有更准确地业务分类及状态分类能力。

    用于数据采集和/或数据可视化展现的方法、装置及系统

    公开(公告)号:CN109710685A

    公开(公告)日:2019-05-03

    申请号:CN201811616196.1

    申请日:2018-12-28

    Abstract: 本公开涉及用于数据采集和/或数据可视化展现的方法、装置及系统。一种对关于数据采集和/或数据可视化展现的业务需求数据进行处理的方法,其特征在于包括:初始说明接收步骤,初始说明至少包括对所述业务需求的描述、实现所述业务需求所依赖的一个或多个功能、以及与所述一个或多个功能相关的一个或多个参数,其中,初始说明中的与所述一个或多个功能相关的内容被彼此分开地描述;处理步骤,包括:对初始说明进行检查,以确定初始说明是否符合信息化表达语言规范;和对确定无误的初始说明进行内容解析,以生成由计算机可读的配置文件,其中,配置文件中的与所述一个或多个功能相关的内容能够被单独读取以便按照彼此解耦的方式执行相应的功能。

    Web主题信息提取方法及系统

    公开(公告)号:CN102750392A

    公开(公告)日:2012-10-24

    申请号:CN201210235115.X

    申请日:2012-07-09

    Abstract: 本发明公开一种Web主题信息提取方法及系统。其中在Web主题信息提取方法中,通过根据指定Web页面的编码格式获得Web页面的分页链接格式,根据分页链接格式获得指定分页中的全部内容链接信息,其中内容链接信息包括内容链接地址;对于每个内容链接信息,获取内容链接地址指向的链接页面的Html源代码,分析链接页面的编码格式;根据链接页面的编码格式,提取链接页面的Web主题信息,并生成页面快照。由于可获得指定分页中全部内容链接信息相关联的Web主题信息,从而便于用户对Web信息的灵活定制,并有效避免访问时间的耗费和通信流量的损失。

Patent Agency Ranking