-
公开(公告)号：CN107317838B
公开(公告)日：2020-11-17
申请号：CN201710371260.3
申请日：2017-05-24
Applicant: 重庆邮电大学
Abstract: 本发明请求保护一种基于流式数据处理架构的天文元数据归档方法及系统，属天文数据处理领域。首先，在数据源部署Agent。Agent实时监控数据源，一旦有新的数据产生，Agent的监控模块会立即解析新的观测数据并生成相应的元数据；其次，Agent的数据采集模块会实时采集监控模块生成的元数据，并通过网络传输到指定元数据归档平台；而后归档平台的缓存模块会实时接收数据源过来的元数据，并将元数据写入分布式缓存队列中；最后归档平台的流式数据处理组件会实时从缓存队列中读取元数据，并处理成时空维度的关联子图写入到图形数据库中。通过实时元数据归档，可减少冗余数据占据的网络带宽，减少系统占用的物理缓存成本，同时保证观测数据的实时共享。
-
公开(公告)号：CN108388662A
公开(公告)日：2018-08-10
申请号：CN201810196046.3
申请日：2018-03-09
Applicant: 重庆邮电大学
IPC: G06F17/30
Abstract: 本发明涉及一种面向天文数据实时查询逻辑计划建立动态优化算法，属于计算机领域。该算法包括以下步骤：S1：针对天文数据特点以及特定的天文应用需求，对天文数据Fits文件的五个信噪比值SN_U、SN_I、SN_G、SN_R、SN_Z进行查询；S2：对输入的查询请求条件进行对错校验和语义解析；S3：生成查询树，对查询树进行动态优化。本发明在进行实时查询并且查询数据海量的时候，能够有效的减少查询中间量，在不影响查询精度的同时提升查询速度。
-
公开(公告)号：CN107317838A
公开(公告)日：2017-11-03
申请号：CN201710371260.3
申请日：2017-05-24
Applicant: 重庆邮电大学
Abstract: 本发明请求保护一种基于流式数据处理架构的天文元数据归档方法及系统，属天文数据处理领域。首先，在数据源部署Agent。Agent实时监控数据源，一旦有新的数据产生，Agent的监控模块会立即解析新的观测数据并生成相应的元数据；其次，Agent的数据采集模块会实时采集监控模块生成的元数据，并通过网络传输到指定元数据归档平台；而后归档平台的缓存模块会实时接收数据源过来的元数据，并将元数据写入分布式缓存队列中；最后归档平台的流式数据处理组件会实时从缓存队列中读取元数据，并处理成时空维度的关联子图写入到图形数据库中。通过实时元数据归档，可减少冗余数据占据的网络带宽，减少系统占用的物理缓存成本，同时保证观测数据的实时共享。
-
-
Search Results
3
records
(took 0.019 seconds)
