一种缓存式SQLite读取方法

    公开(公告)号:CN115952204B

    公开(公告)日:2023-05-16

    申请号:CN202310241086.6

    申请日:2023-03-14

    Abstract: 本发明提出了一种缓存式SQLite读取方法,包括写缓存方法和读缓存方法,写缓存方法为:读取SQLite所有数据表表名,将其插入到内存数据库Redis列表Ⅰ中,定义列表Ⅰ的key为SQLite文件的数据库名;将每一张数据表的每一行的主键序列化字符串后插入到内存数据库Redis的列表Ⅱ中,定义列表Ⅱ的key为数据库名和表名的拼接;将每一张表的每一行内容均序列化后写入到内存数据库Redis中;读缓存方法为:读取所有主键序列化字符串;读取所有行内容。本发明将SQLite数据表内容写入到内存数据库Redis中,读取数据通过读取内存数据库Redis中缓存内容实现,读写分离,实现了在分布式环境下读取SQLite。

    一种数据处理系统消息订阅发布装置

    公开(公告)号:CN116260893B

    公开(公告)日:2023-09-12

    申请号:CN202310068318.2

    申请日:2023-02-06

    Abstract: 本发明公开了一种数据处理系统消息订阅发布装置,数据处理系统包括多个节点,每个节点上运行至少一个数据处理服务,包括至少一个节点上设置消息代理模块,每个所述数据处理服务均设置消息订阅模块和消息发布模块,消息订阅模块,通过IPC方式或TCP方式订阅消息;消息发布模块通过IPC或TCP方式发布;消息代理模块,通过TCP方式订阅其它节点发布的消息并将其通过IPC方式发布;通过IPC方式订阅本节点发布的消息并将其通过TCP和IPC方式发布。本发明设计合理,采用TCP和IPC方式进行订阅发布,减小了系统内部通过TCP网络传输的数据量,提高了通信效率。

    一种分布式数据处理集群高可用方法和装置

    公开(公告)号:CN115878696A

    公开(公告)日:2023-03-31

    申请号:CN202310201739.8

    申请日:2023-03-06

    Abstract: 本发明公开了一种分布式数据处理集群高可用方法和装置,包括:多个数据处理子单元共用的分布式锁控制器在发起抢锁的时,不断查询分布式缓存中是否存在多个数据处理子单元的第一锁信息,若存在,则读取分布式缓存中的第一锁信息并判断第一锁信息的节点标识是否一致,若一致且处理标志为处理,则创建第二锁信息并将服务状态控制器的数据处理状态设置为活跃,第二锁信息为利用最新的更新时间戳和通用唯一标识码更新后的第一锁信息,将第二锁信息存储,并将数据处理状态为活跃的一个数据处理子单元,或者一个数据处理服务单元,或者一个节点作为主状态对数据进行处理。该方法可以解决集群时间不连续情况下分布式锁的可用性问题。

    一种数据处理系统消息订阅发布装置

    公开(公告)号:CN116260893A

    公开(公告)日:2023-06-13

    申请号:CN202310068318.2

    申请日:2023-02-06

    Abstract: 本发明公开了一种数据处理系统消息订阅发布装置,数据处理系统包括多个节点,每个节点上运行至少一个数据处理服务,包括至少一个节点上设置消息代理模块,每个所述数据处理服务均设置消息订阅模块和消息发布模块,消息订阅模块,通过IPC方式或TCP方式订阅消息;消息发布模块通过IPC或TCP方式发布;消息代理模块,通过TCP方式订阅其它节点发布的消息并将其通过IPC方式发布;通过IPC方式订阅本节点发布的消息并将其通过TCP和IPC方式发布。本发明设计合理,采用TCP和IPC方式进行订阅发布,减小了系统内部通过TCP网络传输的数据量,提高了通信效率。

Patent Agency Ranking