-
公开(公告)号:CN119342126B
公开(公告)日:2025-04-15
申请号:CN202411881995.7
申请日:2024-12-19
Applicant: 西南财经大学
Abstract: 本发明提供了一种多版本报文数据存储解析系统及方法,涉及数据处理技术领域。本发明通过缓存原始数据报文队列,并按照滑动窗口机制从缓存队列中截取到最小存储单元后进行持久化存储,其目的是使不同采样频率的数据采集与发送装置,均能以持久化周期确定的最小存储单元来保存原始数据,使其具备标准化的数据结构和长度,并可适配不同的采集周期,再以最小压缩单元将已存的各个最小存储单元进行打包压缩,从而减小了网络与接收端的压力;在以最小存储单元和最小压缩单元进行处理时,按照命名规范赋予两类文件名称,在原始数据查询模块置入规范的多版本解析配置文件来解析各版本原始数据,避免了版本混乱,实现了不同版本原始数据的同时存储和解析。
-
公开(公告)号:CN119342126A
公开(公告)日:2025-01-21
申请号:CN202411881995.7
申请日:2024-12-19
Applicant: 西南财经大学
Abstract: 本发明提供了一种多版本报文数据存储解析系统及方法,涉及数据处理技术领域。本发明通过缓存原始数据报文队列,并按照滑动窗口机制从缓存队列中截取到最小存储单元后进行持久化存储,其目的是使不同采样频率的数据采集与发送装置,均能以持久化周期确定的最小存储单元来保存原始数据,使其具备标准化的数据结构和长度,并可适配不同的采集周期,再以最小压缩单元将已存的各个最小存储单元进行打包压缩,从而减小了网络与接收端的压力;在以最小存储单元和最小压缩单元进行处理时,按照命名规范赋予两类文件名称,在原始数据查询模块置入规范的多版本解析配置文件来解析各版本原始数据,避免了版本混乱,实现了不同版本原始数据的同时存储和解析。
-
公开(公告)号:CN119250370A
公开(公告)日:2025-01-03
申请号:CN202411447096.6
申请日:2024-10-16
Applicant: 西南财经大学
IPC: G06Q10/063 , G06Q10/10
Abstract: 本发明公开了一种基于有记忆规则引擎的数据处理方法、系统及介质,属于数据处理技术领域。方法包括:建立可动态扩展的有记忆可擦除算子库;选取任务所需算子;为各个算子设置数据源,将所有算子转变为独立的算子对象,根据所有算子对象的连接关系生成任务公式文本;将任务公式文本保存到数据库中;当处理目标数据时,先将目标数据输入数据预处理模块进行预处理得到第一数据;然后将第一数据输入任务执行引擎,任务执行引擎从数据库中加载任务公式文本对第一数据进行分析运算得到计算结果值;最后将计算结果值输入结果信号处理模块执行目标任务。同时适用时序、非时序数据业务场景,且同时适用无需记忆历史值场景和多历史记忆值的场景。
-
-