一种应用于互联网金融的真实数据获取方法

    公开(公告)号:CN110276680B

    公开(公告)日:2021-05-07

    申请号:CN201910441730.8

    申请日:2019-05-24

    Abstract: 本发明公开了一种应用于互联网金融的真实数据获取方法,涉及国家互联网金融监测领域。首先梳理各网贷机构业务的交易明细数据,进行业务评估;各网贷机构在本地存储一份符合标准的数据,并进行自查,将自查的数据接入国家互联网应急中心。然后各网贷机构通过SDK工具包进行埋点,国家互联网应急中心对各网贷机构实时接入的交易明细数据进行正确性验证,并反馈给网贷机构;同时抽取各网贷机构接入的实时交易数据,按出借和借款业务形成数据流,围绕出借人和借款人两个维度生成披露数据。最后国家互联网应急中心对用户开放数据查验,查验反馈窗口。本发明实现对网贷机构实时接入数据的真实性验证以及进行实时、动态监管的目的。

    一种可保持janusGraph数据一致性的分布式高效并行加载方法

    公开(公告)号:CN112685419A

    公开(公告)日:2021-04-20

    申请号:CN202011622773.5

    申请日:2020-12-31

    Inventor: 谢铭 蒲路 孟宪文

    Abstract: 本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法,属于分布式图数据库领域,首先构建分布式结构;创建两个空的分布式队列;然后,实时接收数据并解析后存入队列一中;数据处理模块逐条取出,调用分布式索引模块中存在对应ID的数据加载到图数据库中,并将无法调用ID的点的唯一标志存入队列二中,点处理模块判断能否获取各标志对应的ID,如果能,则继续获取下一个进行判断;否则,将各标志加载到图数据库中,并产生对应的ID;同时将S与ID的对应关系保存;集群管理模块找寻主节点,并对各子节点分发任务,各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。

    一种基于spring boot框架的动态api可视化生成方法

    公开(公告)号:CN112685032A

    公开(公告)日:2021-04-20

    申请号:CN202011628408.5

    申请日:2020-12-31

    Inventor: 谢铭 刘大鹏

    Abstract: 本发明公开了一种基于spring boot框架的动态api可视化生成方法,属于信息处理领域,首先,通过可视化界面配置数据源和注册api接口,然后,通过选择已配置的某数据源,逐个选择数据源中的各数据表,通过数据表中的字段类型配置输入参数及计算公式,根据数据表中的字段配置输出参数,同时填写api名称和自定义api地址。最后,调用api接口,通过spring boot拦截器获取请求的api地址及请求参数,并获取请求数据源的输入参数及计算公式、输出参数,判断是否与自定义api中的各参数匹配,将匹配的输入参数及计算公式、输出参数拼接出查询语句到相对应的数据源中查询,并返回json格式的数据给请求端。本发明动态生成api接口,供前端页面或外部程序调用,大大减少重复性工作。

    支持自定义插件的动态配置多数据库分布式持久化方法

    公开(公告)号:CN112667747A

    公开(公告)日:2021-04-16

    申请号:CN202011634276.7

    申请日:2020-12-31

    Inventor: 谢铭 郑佳星 蒲路

    Abstract: 本发明是一种支持自定义插件的动态配置多数据库分布式持久化方法,对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明方法包括:搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台;loadtool实现自动化配置,上传配置文件到Zookeeper;Pasca监控Zookeeper以动态更新配置;将接入的实时数据或离线数据发往Kafka集群,Pasca启动数据持久化通道,对接入的数据持久化。本发明具有自动化、动态配置、统一化优点,能方便的简单、灵活、高效的持久化数据,充分利用大数据集群的存储和计算资源。

    一种基于HBase的文件分片方法

    公开(公告)号:CN109710572B

    公开(公告)日:2021-02-02

    申请号:CN201811638552.X

    申请日:2018-12-29

    Abstract: 本发明公开了一种基于HBase的文件分片方法,属于计算机领域。首先从系统中读取对大文件分片的配置文件和按分片粒度进行读取的配置文件,对某个大文件进行分片。文件内容的写入读取按分片的顺序进行,通过多个并列线程将每个分片的内容以独立的键值存入HBase数据表中。同时将每个分片的元数据信息以新增列的方式存储在HBase元数据信息表中。然后若文件内容的写入读取是指定片,按照指定的分片编号写入读取文件内容;若文件内容的写入读取是随机读取,设定随机读取的字节开始位置和读取内容大小;最后当服务端异常导致写入或读取中断,在服务恢复后重新上传或读取断点的分片即可。本发明使大文件存储更加高效可靠,具有较强的实用性和适配性。

    一种视频关键帧提取方法
    27.
    发明授权

    公开(公告)号:CN107832694B

    公开(公告)日:2021-01-12

    申请号:CN201711047162.0

    申请日:2017-10-31

    Abstract: 本发明公开了一种视频关键帧提取算法,属于信息安全技术领域。该算法首先计算当前输入视频流中某帧的水平方向的黑边宽度和垂直方向的黑边高度,以及该帧有效图像区域的宽度和高度;然后计算该帧的有效图像区域的特征信息,并与上一帧比较,计算差异度;差异度大于阈值时,将该差异帧中的数据与缓存区中的每帧数据分别比较,计算该帧的相似度;该差异帧的相似度大于阈值时,将该差异帧与缓存区中的该某帧视为相似,将非差异帧计数加1,达到非差异帧累计数最大值,输出该帧为差异帧并写入缓存区,统计该帧的Y值的方差值和UV值的方差值,并输出关键帧和空白帧。本发明算法通过C语言实现,可应用于多视频多线程的调用,适应性强,高效快速。

    一种应用于互联网移动应用基础数据上报方法

    公开(公告)号:CN109739515A

    公开(公告)日:2019-05-10

    申请号:CN201811635956.3

    申请日:2018-12-29

    Abstract: 本发明提供了一种应用于互联网移动应用基础数据上报方法,属于移动终端技术领域。本发明通过对移动应用商店的原生移动应用数据进行整理,在管理侧制定出移动应用基础数据上报接口和移动应用数据更新接口,移动应用商店通过调用相应的接口将移动应用基础信息或变更信息上报给管理侧系统,管理侧系统对数据进行核验,将核验结果返回给移动应用商店,实现APP上架或更新。本发明实现了一种规范的移动应用上报接口和更新接口,保证了用户使用应用软件的安全性,同时管理侧系统收集到所有应用商店的移动应用基础数据,可进一步对移动应用基础数据进行计算、分析和统计。

Patent Agency Ranking