公开(公告)号：CN111881337A

公开(公告)日：2020-11-03

申请号：CN202010784262.7

申请日：2020-08-06

Applicant: 成都信息工程大学

Inventor： 岳希 ,  梁云浩 ,  唐聃 ,  高燕 ,  蔡红亮 ,  张海清

IPC: G06F16/951

Abstract: 本发明公开了一种基于Scrapy框架的数据采集方法、系统及存储介质，使用先后发送两次请求，第一次请求得到更新cookie、第二次请求携带更新的cookie得到数据的方式，结合延迟请求和先后发送两次请求，每次请求都使用上一次请求返回的更新cookie，请求后提取出返回的更新cookie，同时解决了ip限制和动态cookie的限制，解决了现有技术中难以通过爬虫爬取动态网页数据的问题，实现了克服动态网页的反爬机制、高效快速的获得所需数据的目的。

公开(公告)号：CN111539870A

公开(公告)日：2020-08-14

申请号：CN202010115336.8

申请日：2020-02-25

Applicant: 成都信息工程大学

Inventor： 唐聃 ,  张航 ,  蔡红亮 ,  刘敦龙 ,  曾琼

IPC: G06T1/00 ,  G06T5/00

Abstract: 本发明公开了一种基于纠删码的新媒体图像的篡改恢复方法及装置，其方法包括：在对N*M纠删码进行编码时，确定用于编造跳跃纠删码的跳跃间隔个数参数J和每行的编码循环起始点参数T；根据所述J和所述T，对所述N*M纠删码中的新媒体图像数据块进行编码处理，得到包含所述纠删码阵列中每行跳跃校验块的N*(M+1)跳跃纠删码；在对所述N*(M+1)跳跃纠删码进行篡改恢复时，利用所述跳跃校验块恢复出所述N*(M+1)跳跃纠删码中被篡改的新媒体图像数据块。

公开(公告)号：CN110457161A

公开(公告)日：2019-11-15

申请号：CN201910681574.2

申请日：2019-07-26

Applicant: 成都信息工程大学

Inventor： 唐聃 ,  袁炜 ,  蔡红亮 ,  高燕 ,  刘善政 ,  曾琼

IPC: G06F11/10 ,  G06F11/14 ,  G06F16/182

Abstract: 本发明属于信息数据处理技术领域，公开了一种高效高可靠的大数据存储系统、方法、计算机程序，按照配置中心设置获取用户上传的数据；阵列化模块，计算出编码的阵列；读取阵列化模块计算的阵列，按照阵列进行编码；主节点和从节点之间互相发送心跳信息，读取配置中心的心跳延迟时间；解析出失效节点信息；进行数据恢复；根据要下载的数据ID查询各个原始数据分块的位置；读取配置中心的设置，负责分配编码后的分块存储节点，以及数据恢复时选择的新生节点；配置中心，负责管理系统中的各种参数；存储编码后的分块。本发明提供了一种存储效率达到最优、高效、高可靠性、易扩展的大数据存储解决方案。