便于海量多源异构数据的清洗整合存储的方法

    公开(公告)号:CN112347093B

    公开(公告)日:2021-08-03

    申请号:CN202011225571.7

    申请日:2020-11-05

    Abstract: 本发明涉及一种便于海量多源异构数据的清洗整合存储的方法,属于海量多源异构数据处理领域,海量多源异构数据处理中全局因素无法整合等问题;本发明通过构造数据源集合、遍历集合,记录类型及数据协议、数据接入环节、协议适配环节,形成1阶数据,推送缓存队列、拉取1阶数据,清洗环节,形成2阶数据,推送缓存队列、取2阶数据,主被动混合模式转换整合环节,形成3阶数据,推送缓存队列以及最终拉取3阶数据,分布存储环节,完成最终存储。本发明提供的方法,方便快捷、流程化明确,可降低海量多源异构数据的清洗整合存储各环节的耦合程度,通过逐层迁移、降阶处理,可有效降低海量数据压力、削峰填谷,能够提升整个方法过程的鲁棒性。

    一种基于Spark的分布式时空对象邻近查询方法

    公开(公告)号:CN112699173A

    公开(公告)日:2021-04-23

    申请号:CN202110024086.1

    申请日:2021-01-08

    Abstract: 本发明是一种基于Spark的分布式时空对象邻近查询方法,为了解决查询过程中,缺乏支撑海量数据频繁更新和并行查询的索引结构,导致对海量时空数据分布式存储和维护的支持性较差的问题;该方法以Spark为计算引擎,以Cassandra为存储引擎的分布式时空对象邻近查询,根据查询的空间网格集合,然后运用分布式计算模型对Cassandra的索引模型与存储模型进行查询,计算出每一个时空对象距离目标位置的最近距离;通过自定义的排序方法,计算距离目标位置最近的K个时空对象,完成K个邻近时空对象的查询。本方法实现了索引与数据分离,保证了数据的局部性,并结合时空网格索引,进行分布式时空对象邻近查询,具有快速查询、有效查询等特点。

    一种基于GIS的水力模型结果符号化动态展示方法及系统

    公开(公告)号:CN114091134A

    公开(公告)日:2022-02-25

    申请号:CN202111362888.X

    申请日:2021-11-17

    Abstract: 本发明涉及工程技术与地理信息工程技术的一个交叉领域,更具体的说是一种基于GIS的水力模型结果符号化动态展示方法及系统,该方法包括以下步骤:S1:将EPANET水力模型Inp文件转为与之各个管网模型对象对应的Shp文件,建立GIS数据与Inp文件的对应关系;S2:设置调整水力模型参数调用EPANET计算库进行水力模拟计算,将计算结果写入Hash表中来缓存模拟时序数据;S3:调用ArcGIS二次开发组件库中的唯一值渲染接口对模拟结果时序数据进行分级渲染动态展示;一种基于GIS的水力模型结果符号化动态展示方法系统,该系统包括Inp文件导入模块、供水水力模型参数设置模块、水力模型模拟计算模块和运行状态时间动态图展示模块。

    一种基于Hxknn车载终端数据轨迹查询处理方法

    公开(公告)号:CN114090708A

    公开(公告)日:2022-02-25

    申请号:CN202111343459.8

    申请日:2021-11-13

    Abstract: 本发明涉及计算机应用领域,更具体的说是一种基于Hxknn车载终端数据轨迹查询处理方法,一种基于Hxknn车载终端数据轨迹查询处理方法,该方法包括以下步骤:S1:根据EMD和小波变换相结合对车载大数据进行清洗处理;S2:使用Z曲线将高维车载终端数据降维成一维数据,使用填充曲线编码解码来完成高维数据和低维数据之间的转换;S3:使用knn算法结合MTR度量方法和剪枝策略的Hxknn查询算法来查询移动对象轨迹数据;本方法能够将具有时间和空间属性的终端复杂数据,进行高效快速的清洗处理,同时从海量的车载终端数据中快速查找目标数据,具有快速查询、有效查询等特点。

    便于海量多源异构数据的清洗整合存储的方法

    公开(公告)号:CN112347093A

    公开(公告)日:2021-02-09

    申请号:CN202011225571.7

    申请日:2020-11-05

    Abstract: 本发明涉及一种便于海量多源异构数据的清洗整合存储的方法,属于海量多源异构数据处理领域,海量多源异构数据处理中全局因素无法整合等问题;本发明通过构造数据源集合、遍历集合,记录类型及数据协议、数据接入环节、协议适配环节,形成1阶数据,推送缓存队列、拉取1阶数据,清洗环节,形成2阶数据,推送缓存队列、取2阶数据,主被动混合模式转换整合环节,形成3阶数据,推送缓存队列以及最终拉取3阶数据,分布存储环节,完成最终存储。本发明提供的方法,方便快捷、流程化明确,可降低海量多源异构数据的清洗整合存储各环节的耦合程度,通过逐层迁移、降阶处理,可有效降低海量数据压力、削峰填谷,能够提升整个方法过程的鲁棒性。

    一种基于消息池流转模式的时空数据自动化服务发布方法

    公开(公告)号:CN114090290A

    公开(公告)日:2022-02-25

    申请号:CN202111367999.X

    申请日:2021-11-18

    Abstract: 本发明涉及时空数据的服务处理领域,更具体的说是一种基于消息池流转模式的时空数据自动化服务发布方法,步骤一:运行消息缓冲池;步骤二:创建数据源;步骤三:上传数据源;步骤四:共享数据源;步骤五:解压数据源;所述解压数据源为通过数据解压模块监听消息缓冲池,当数据解压模块收到通知后,将数据源进行解压,解压完成后推送通知到消息缓冲池步骤六:数据缓存切片;所述数据缓存切片为通过缓存切片模块持续监听消息缓冲池,当缓存切片模块收到通知后,缓存切片模块将数据进行分层切片,切片完成后推送通知到消息缓冲池;步骤七:服务发布;可以减少时空数据在服务发布过程中过多的人工操作,提升时空数据服务发布的便捷性。

    基于混合计算模式的云计算QoS保障调度优化方法

    公开(公告)号:CN112711473A

    公开(公告)日:2021-04-27

    申请号:CN202110027054.7

    申请日:2021-01-09

    Abstract: 本发明是一种基于混合计算模式的云计算QoS保障调度优化方法,属于云计算QoS保障调度优化领域,目的是解决云计算环境下,任务执行复杂、资源合理分配难度较高的问题,通过降维转化为单一指标,由遗传算法模式进行模糊结果的求解;然后将运算结果作为输入,由蚁群算法模式进行最终结果的求解,综合考虑云计算环境下,服务执行周期、服务能源成本、服务迁移消耗这三项指标约束,通过混合计算模式,将遗传方法与蚁群算方法进行了分阶应用;本发明避免现有算法短板的浮现、并与其互补优势,在调度优化问题求解上将更加高效,任务执行复杂以及资源合理分配难度大大降低。

Patent Agency Ranking