HDFS的数据存储方法及装置

    公开(公告)号:CN114371810A

    公开(公告)日:2022-04-19

    申请号:CN202011101718.1

    申请日:2020-10-15

    Abstract: 本发明涉及数据存储技术领域,具体涉及一种HDFS的数据存储方法及装置。所述方法包括:获取将待存储数据存入当前数据缓存器中后,所述当前数据缓存器的数据记录数;若所述数据记录数不小于预设上限值,并且不大于数据块的数据记录数上限,则将所述待存储数据存入所述当前数据缓存器中;对所述当前数据缓存器中缓存的数据进行HDFS写入;其中,所述预设上限值为所述数据块的数据记录数上限与预设系数之积。本发明实施例提供的HDFS的数据存储方法及装置,可以最大程度地在保留待存储数据原有特征的情况下合并小规模数据,使得数据在HDFS中的存储可以趋近于块大小,从而减少HDFS中小数据块的数量。

    基于区块链的NB-IoT中终端交易处理方法及装置

    公开(公告)号:CN113472825A

    公开(公告)日:2021-10-01

    申请号:CN202010237761.4

    申请日:2020-03-30

    Abstract: 本发明提供一种基于区块链的NB‑IoT中终端交易处理方法及装置,方法包括:将NB‑IoT中的终端作为区块链中的终端节点,对于任一所述终端节点,根据该终端节点产生有效的区块和无效的区块的数量,确定该终端节点的状态;获取所述区块链中除该终端节点以外的其他终端节点根据该终端节点的状态对该终端节点的投票结果,并获取该终端节点的投票统计结果;根据该终端节点的投票统计结果确定该终端节点是否为代理节点,若是,则使用该终端节点收集所述区块链中所有终端节点之间的交易,并根据所述交易产生区块,并将产生的所述区块传递到所述其他终端节点。本发明能够降低异常节点竞选为代理节点的可能,保证了系统的安全性和稳定性。

    位置数据处理方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118820638A

    公开(公告)日:2024-10-22

    申请号:CN202410484435.1

    申请日:2024-04-22

    Abstract: 本发明公开了一种位置数据处理方法、装置、设备、介质及计算机程序产品,所述方法包括:获取原始位置数据,并对所述原始位置数据进行预处理和栅格化,得到样本数据;根据样本数据对预设的最小二乘法数学模型进行训练,得到训练好的最小二乘法数学模型以及模型参数;获取待处理位置数据,将所述待处理位置数据作为输入数据,并将所述输入数据以及所述模型参数输入至所述最小二乘法数学模型,得到所述最小二乘法数学模型输出的距离偏移量;根据所述距离偏移量计算得到所述待处理位置数据中缺失位置的经纬度信息。本发明基于最小二乘法和大数据技术建立位置数据影响因子与经纬度信息之间的关系模型,可以快速且准确地计算出缺失位置的经纬度信息。

    HDFS的数据存储方法及装置

    公开(公告)号:CN114371810B

    公开(公告)日:2023-10-27

    申请号:CN202011101718.1

    申请日:2020-10-15

    Abstract: 本发明涉及数据存储技术领域,具体涉及一种HDFS的数据存储方法及装置。所述方法包括:获取将待存储数据存入当前数据缓存器中后,所述当前数据缓存器的数据记录数;若所述数据记录数不小于预设上限值,并且不大于数据块的数据记录数上限,则将所述待存储数据存入所述当前数据缓存器中;对所述当前数据缓存器中缓存的数据进行HDFS写入;其中,所述预设上限值为所述数据块的数据记录数上限与预设系数之积。本发明实施例提供的HDFS的数据存储方法及装置,可以最大程度地在保留待存储数据原有特征的情况下合并小规模数据,使得数据在HDFS中的存储可以趋近于块大小,从而减少HDFS中小数据块的数量。

    基于区块链的NB-IoT中终端交易处理方法及装置

    公开(公告)号:CN113472825B

    公开(公告)日:2023-01-13

    申请号:CN202010237761.4

    申请日:2020-03-30

    Abstract: 本发明提供一种基于区块链的NB‑IoT中终端交易处理方法及装置,方法包括:将NB‑IoT中的终端作为区块链中的终端节点,对于任一所述终端节点,根据该终端节点产生有效的区块和无效的区块的数量,确定该终端节点的状态;获取所述区块链中除该终端节点以外的其他终端节点根据该终端节点的状态对该终端节点的投票结果,并获取该终端节点的投票统计结果;根据该终端节点的投票统计结果确定该终端节点是否为代理节点,若是,则使用该终端节点收集所述区块链中所有终端节点之间的交易,并根据所述交易产生区块,并将产生的所述区块传递到所述其他终端节点。本发明能够降低异常节点竞选为代理节点的可能,保证了系统的安全性和稳定性。

Patent Agency Ranking