-
公开(公告)号:CN118210825B
公开(公告)日:2024-07-26
申请号:CN202410634809.3
申请日:2024-05-22
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F16/2453 , G06F16/2455 , G06F16/22
Abstract: 本发明提供了数据库查询性能优化方法、装置、电子设备和存储介质,通过扩展PostgresSQL内存缓冲区域得到索引共享缓冲区域,该索引共享缓冲区域供索引数据申请使用,且独立于共享缓冲区域维护,考虑到在索引的检索过程中,越接近根节点的索引数据越频繁地被读取访问,所以,索引共享缓冲区域的淘汰策略保证在进行换入换出操作时,索引数据所处的层级越低,越接近根节点,被淘汰的几率越低,越不容易被换出,建立了索引共享缓冲区域的写回进程,该写回进程的唤醒时间间隔更长,且单次写回修改的索引数据的数据量更少,保证了索引数据可以更长时间地留在索引共享缓冲区域内,在执行查询语句时减少使用索引数据的读取消耗,从而能极大地改善查询性能。
-
公开(公告)号:CN118466857A
公开(公告)日:2024-08-09
申请号:CN202410924390.5
申请日:2024-07-11
Applicant: 航天宏图信息技术股份有限公司
Abstract: 本发明提供了一种大尺寸数据写入方法、装置、设备及介质,包括:初始化数据写入事务,以在目标数据库中申请连续内存缓冲区,并为连续内存缓冲区添加目标标记,数据写入事务用于保证将至少一条待处理数据写入至磁盘的物理页面流程中的数据完整性和一致性,目标标记用于使连续内存缓冲区被数据写入事务独占使用;按照连续内存缓冲区的运行机制,将各待处理数据连续且正序地缓存至连续内存缓冲区内,以及将连续内存缓冲区内缓存的数据写入至磁盘的物理页面;在待处理数据写入完毕之后,针对连续内存缓冲区执行清理操作,以及针对目标标记执行删除操作。本发明可以有效降低申请Buffer的时间消耗,同时能够有效地减少磁盘寻址时间。
-
公开(公告)号:CN118210455B
公开(公告)日:2024-08-06
申请号:CN202410627166.X
申请日:2024-05-21
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种超长字段数据读写性能优化方法、装置、电子设备和存储介质,该方法中,每个数据块的大小与数据页的存储容量相同,可以大幅度减少原始数据拆分得到的数据块的数量,建立了有效的数据块组织方式,保证多个数据块按正序地连续地存储到待写入的连续数据页中,多个数据块写入时,预先申请并占用多个待写入的连续数据页,通过线程池并行有序地将多个数据块写入对应的待写入的连续数据页,随着拆分的数据块的数量的减少和并行化的引入,可以极大地提升写入性能,读取原始数据时,寻找到起始的数据页的位置,后续仅需连续读取目标连续数据页(即多个连续数据页)即可完成原始数据的读取,极大地减少磁盘寻址时间,提升了读取性能。
-
公开(公告)号:CN118466857B
公开(公告)日:2024-11-15
申请号:CN202410924390.5
申请日:2024-07-11
Applicant: 航天宏图信息技术股份有限公司
Abstract: 本发明提供了一种大尺寸数据写入方法、装置、设备及介质,包括:初始化数据写入事务,以在目标数据库中申请连续内存缓冲区,并为连续内存缓冲区添加目标标记,数据写入事务用于保证将至少一条待处理数据写入至磁盘的物理页面流程中的数据完整性和一致性,目标标记用于使连续内存缓冲区被数据写入事务独占使用;按照连续内存缓冲区的运行机制,将各待处理数据连续且正序地缓存至连续内存缓冲区内,以及将连续内存缓冲区内缓存的数据写入至磁盘的物理页面;在待处理数据写入完毕之后,针对连续内存缓冲区执行清理操作,以及针对目标标记执行删除操作。本发明可以有效降低申请Buffer的时间消耗,同时能够有效地减少磁盘寻址时间。
-
公开(公告)号:CN118210825A
公开(公告)日:2024-06-18
申请号:CN202410634809.3
申请日:2024-05-22
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F16/2453 , G06F16/2455 , G06F16/22
Abstract: 本发明提供了数据库查询性能优化方法、装置、电子设备和存储介质,通过扩展PostgresSQL内存缓冲区域得到索引共享缓冲区域,该索引共享缓冲区域供索引数据申请使用,且独立于共享缓冲区域维护,考虑到在索引的检索过程中,越接近根节点的索引数据越频繁地被读取访问,所以,索引共享缓冲区域的淘汰策略保证在进行换入换出操作时,索引数据所处的层级越低,越接近根节点,被淘汰的几率越低,越不容易被换出,建立了索引共享缓冲区域的写回进程,该写回进程的唤醒时间间隔更长,且单次写回修改的索引数据的数据量更少,保证了索引数据可以更长时间地留在索引共享缓冲区域内,在执行查询语句时减少使用索引数据的读取消耗,从而能极大地改善查询性能。
-
公开(公告)号:CN118210455A
公开(公告)日:2024-06-18
申请号:CN202410627166.X
申请日:2024-05-21
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种超长字段数据读写性能优化方法、装置、电子设备和存储介质,该方法中,每个数据块的大小与数据页的存储容量相同,可以大幅度减少原始数据拆分得到的数据块的数量,建立了有效的数据块组织方式,保证多个数据块按正序地连续地存储到待写入的连续数据页中,多个数据块写入时,预先申请并占用多个待写入的连续数据页,通过线程池并行有序地将多个数据块写入对应的待写入的连续数据页,随着拆分的数据块的数量的减少和并行化的引入,可以极大地提升写入性能,读取原始数据时,寻找到起始的数据页的位置,后续仅需连续读取目标连续数据页(即多个连续数据页)即可完成原始数据的读取,极大地减少磁盘寻址时间,提升了读取性能。
-
-
-
-
-