一种基于时间感知的增量机器爬虫方法

    公开(公告)号:CN108763537B

    公开(公告)日:2021-05-18

    申请号:CN201810551090.1

    申请日:2018-05-31

    Abstract: 一种基于时间感知的增量机器爬虫方法,根据每个页面的基于初始爬行时间表T={t1,t2,...,tn}的相似性得分序列PTS和最大相似性阈值δ,将大于最大相似性阈值δ的相似性得分和对应的初始时间戳去掉,得到优化的相似性得分时间序列new_PTS和优化的爬行计划时间表new_T;如果优化的爬行计划时间表new_T的时间戳数|new_T|大于最佳爬行频次,就根据优化的相似性得分序列new_PTS得出降维后的时间感知相似性协方差矩阵,用MIQP算法得出页面的最佳爬行时间表,对发生变化的网页进行增量更新。本发明可以为目标页面制定最优的页面刷新策略,从而降低页面的刷新代价,减少数据冗余的产生,提高爬虫的效率并保证抓取资源的新鲜性。

    一种基于过程重要度的线程划分方法

    公开(公告)号:CN110069347A

    公开(公告)日:2019-07-30

    申请号:CN201910357150.0

    申请日:2019-04-29

    Abstract: 一种基于过程重要度的线程划分方法,包括步骤:生成过程初始划分方案及计算过程重要度,以及结合过程初始划分方案和过程的重要度,生成过程最佳划分方案,本发明以基于机器学习的线程划分方法生成过程初始划分方案为基础,采用学科交叉研究方法,将可靠性理论中的重要度理论(Importance Theory)引入到线程划分方法研究中,根据过程的特征计算其重要度,并利用人工干预的优势,探索了隐式划分(初始划分方案生成过程)基础上加入显式划分方法(人工干预划分标志位),利用性能评估模型评估,从而找出过程的最佳划分方案,验证了显式并行化的效果总是优于隐式并行化的理论。

    云环境下基于MDB<base:Sup>+</base:Sup>树的多域连接关键词的搜索方法

    公开(公告)号:CN106980796A

    公开(公告)日:2017-07-25

    申请号:CN201710186150.X

    申请日:2017-03-27

    Abstract: 云环境下基于MDB+树的多域连接关键词的搜索方法,数据拥有者将每一个数据记录构建成基于MDB+树的安全索引,并将各数据记录对应的文档进行加密,然后将加密的索引以及加密的文档外包给云服务器,数据用户向数据拥有者请求搜索授权,数据拥有者根据授权规则决定是否授权,假如用户获得授权,数据拥有者向数据用户分发一个搜索陷门和解密秘钥,数据用户提交搜索陷门给云服务器,云服务器接收到用户提交的搜索陷门时,利用匹配算法搜索MDB+树,找出与用户查询需求匹配的所有记录。本发明有益效果:保证了用户的隐私及数据的安全,并且能快速的满足用户需求的查询,克服了以往绝大多数方案的线性查询的缺点。

    终端设备间分享数字许可权利证书的方法

    公开(公告)号:CN103442020B

    公开(公告)日:2016-09-28

    申请号:CN201310432119.1

    申请日:2013-09-22

    Abstract: 终端设备间分享数字许可权利证书的方法,首先原终端设备A验证其具有的数字许可权利证书是否合法,然后对该证书解析并重新计算获得分享后终端设备A具有的证书,再利用设备B的硬件信息,生成一个与设备B硬件信息绑定的权利证书license2,license2中包含的权限即为从license1中分享出的权限。本发明将数字权利证书通过UID值与设备的硬件信息绑定,确保了权利证书只能合法使用与某台固定的设备,有效防止权利证书被非法适用于其他设备,保护了内容提供商与合法用户的权益,而且在分享中没有第三方参与,使得权利分享过程变得更方便、实用,同时也降低了用户分享信息泄露的可能,保护了用户隐私。

Patent Agency Ranking