-
公开(公告)号：CN113868230B
公开(公告)日：2024-06-04
申请号：CN202111220042.2
申请日：2021-10-20
Applicant: 重庆邮电大学
IPC: G06F16/21 , G06F16/215 , G06F16/2455
Abstract: 本发明涉及一种基于Spark计算框架的大表连接优化方法，属于大数据计算领域。该方法包括：S1：利用谓词下推结合压缩布隆过滤器进行数据清洗，过滤掉大表中大量无效的数据，避免大量无用数据进入到shuffle阶段；S2：搭建基于Spark的数据倾斜检测模型，通过蓄水池采样算法统计出全局Map阶段Key值分布；S3：采用中间数据簇分割策略，对倾斜数据簇根据平均负载额定容量进行切割，使出现频次多的Key进入到其他处理快的分区中，使Key处于均匀分布状态。本发明能滤掉大量无用数据，改进数据倾斜情况，缩短连接查询时间，解决Spark集群节点内存溢出问题，提高用户满意度。
-
公开(公告)号：CN115376317A
公开(公告)日：2022-11-22
申请号：CN202211004685.8
申请日：2022-08-22
Applicant: 重庆邮电大学 , 北京钢铁侠科技有限公司
Abstract: 本发明属于智能交通技术领域，具体涉及一种基于动态图卷积和时序卷积网络的交通流预测方法，该方法包括：获取路口节点中待预测的交通流数据，并对待预测的交通流数据进行预处理；将预处理后的交通流数据输入到训练好的交通流预测模型中，得到该路口节点交通流预测结果；根据交通流预测结果对该路口进行交通管制；本方法能更加完整提取交通流数据的时空特征，提高交通流预测的准确性，同时采用时序图卷积，解决了模型梯度不稳定、动态变化响应慢等问题，这对缓解城市交通拥堵，提高行使效率具有重要意义。
-
公开(公告)号：CN113868230A
公开(公告)日：2021-12-31
申请号：CN202111220042.2
申请日：2021-10-20
Applicant: 重庆邮电大学
IPC: G06F16/21 , G06F16/215 , G06F16/2455
Abstract: 本发明涉及一种基于Spark计算框架的大表连接优化方法，属于大数据计算领域。该方法包括：S1：利用谓词下推结合压缩布隆过滤器进行数据清洗，过滤掉大表中大量无效的数据，避免大量无用数据进入到shuffle阶段；S2：搭建基于Spark的数据倾斜检测模型，通过蓄水池采样算法统计出全局Map阶段Key值分布；S3：采用中间数据簇分割策略，对倾斜数据簇根据平均负载额定容量进行切割，使出现频次多的Key进入到其他处理快的分区中，使Key处于均匀分布状态。本发明能滤掉大量无用数据，改进数据倾斜情况，缩短连接查询时间，解决Spark集群节点内存溢出问题，提高用户满意度。
-
公开(公告)号：CN113988817B
公开(公告)日：2024-04-12
申请号：CN202111330590.0
申请日：2021-11-11
Applicant: 重庆邮电大学
IPC: G06Q10/10 , G06Q50/26 , G06F16/215 , G06V10/762 , G06V10/764 , G06N3/006
Abstract: 本发明属于脏数据检测与清理领域，涉及一种基于智慧数据平台脏数据清理方法，包括；本发明对原始数据进行检测，并对原始数据进行规范化；将规范化的原始数据进行Hashing处理，得到数据对应的hash数据；使用聚类分析选择hash数据中的最优质心，原始数据中包括已聚类数据、原始分割数据；使用恒等判定公式将已聚类数据与原始分割数据的交集进行恒等判定，寻找出缺失的或不需要的脏数据；对找出的脏数据基于Rider‑Firefly混合算法进行清理；本发明提出的算法在脏数据和干净数据之间的区分能力相对于传统算法具有强鲁棒性。
-
公开(公告)号：CN114356531A
公开(公告)日：2022-04-15
申请号：CN202210033164.9
申请日：2022-01-12
Applicant: 重庆邮电大学
Abstract: 本发明属于计算机技术领域，具体涉及一种基于K‑means聚类和排队理论的边缘计算任务分类调度方法，该方法包括：终端模块向边缘计算节点发出任务请求；采用训练好的K‑means算法模型对任务进行分类，将分类后的任务保存到对应的队列中；计算边缘计算节点的资源可用性，根据资源可用性对边缘计算节点进行筛选；根据排队理论将分类后的任务分配给筛选后的边缘计算节点，完成任务分类调度；本方法能有效地调度和分配任务，减少任务的等待时间，提高了设备的利用率。
-
Patent Agency Ranking
公开(公告)号：CN114219477A
公开(公告)日：2022-03-22
申请号：CN202111296962.2
申请日：2021-11-03
Applicant: 重庆邮电大学
IPC: G06Q20/38 , G06Q20/40 , G06F16/901 , G06F16/903
Abstract: 本发明属于区块链技术领域，具体涉及一种基于链上存储的区块链数据存储扩展方法，包括：引入半节点存储部分区块详细数据以及全部区块索引值；引入副链存储哈希区块组数据；区块链网络中各节点对交易数据优化打包；将打包的交易数据发送给背书节点验证，验证后进行区块排序压缩；领导节点对排序压缩的区块进行接受与验证，验证成功将此区块广播至该网络所有节点并上链存储；散列新区块高度达到预设值时，多个连续新区块合为一个哈希区块组，根据各哈希区块组数据存储数量决定新节点是否存储数据，该发明对区块链的数据进行了结构优化与压缩，同时引入半节点减少区块链网络数据的臃肿，并能够保证所有节点在对交易数据查询时的效率以及真实性。
-
公开(公告)号：CN113988817A
公开(公告)日：2022-01-28
申请号：CN202111330590.0
申请日：2021-11-11
Applicant: 重庆邮电大学
IPC: G06Q10/10 , G06Q50/26 , G06F16/215 , G06K9/62 , G06V10/762 , G06V10/764 , G06N3/00
Abstract: 本发明属于脏数据检测与清理领域，涉及一种基于智慧数据平台脏数据清理方法，包括；本发明对原始数据进行检测，并对原始数据进行规范化；将规范化的原始数据进行Hashing处理，得到数据对应的hash数据；使用聚类分析选择hash数据中的最优质心，原始数据中包括已聚类数据、原始分割数据；使用恒等判定公式将已聚类数据与原始分割数据的交集进行恒等判定，寻找出缺失的或不需要的脏数据；对找出的脏数据基于Rider‑Firefly混合算法进行清理；本发明提出的算法在脏数据和干净数据之间的区分能力相对于传统算法具有强鲁棒性。
-
公开(公告)号：CN113536396A
公开(公告)日：2021-10-22
申请号：CN202110839906.2
申请日：2021-07-20
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于数据存储的安全管理方法，属于信息技术领域，包括以下步骤：S1：用户发送存储请求，系统进行初始化；S2：采用径向基神经网络对数据序列进行处理得到初始向量，再将所述初始向量进行多次加密处理得到带密钥的哈希函数；S3：基于得到的带密钥的哈希函数，将现有的Merkle哈希树MHT扩展成一个编号树，并采用改进的Merkle哈希树IMHT结构构造数据块的验证信息；S4：进行完整性审核，并将完整性审核结果发送给用户。本方法能够有效的提高数据的读写性能，并且使得数据安全操作的性能比当前的标准实现有所提高。
-
公开(公告)号：CN113535683A
公开(公告)日：2021-10-22
申请号：CN202110834153.6
申请日：2021-07-20
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种改进离散萤火虫算法的数据仓库ETL调度优化方法，属于数据库技术领域，包括(1)数据仓库ETL调度优化通过离散萤火虫种群实现各自位置的优化，根据ETL调度任务集合T(i)进行初始化；(2)根据初始化后的萤火虫位置计算萤火虫亮度，萤火虫亮度通过目标函数计算获取；(3)对于萤火虫位置的更新则是根据萤火虫亮度进行移动，分为普通萤火虫的移动和最优萤火虫的移动。普通萤火虫根据自适应步长进行移动，并且表示了移动的方向，最优萤火虫的移动就是寻找当前情况下的最优解；(4)判断迭代次数是否满足条件，不满足继续进行迭代过程，满足则输出全局最优值。本方法提高了ETL访问效率。
-
公开(公告)号：CN113434693A
公开(公告)日：2021-09-24
申请号：CN202110697307.1
申请日：2021-06-23
Applicant: 重庆邮电大学工业互联网研究院 , 重庆冠方智慧医疗科技有限公司 , 联通数字科技有限公司 , 段然
Abstract: 本发明涉及一种智慧数据平台的数据集成方法，属于异构数据集成和查询技术领域，分为两个阶段：基于知识超图的虚拟数据集成和基于超图的查询处理。第一阶段允许生成虚拟知识超图，由本体和数据之间的RML映射组成。第二阶段包括通过基于生成的知识超图从不同来源提取和整合数据的全局视图来增强用户的查询。本方法提高了查询处理的准确性、完整性和语义丰富的响应。
-
-
-
-
-
-
-
-
-
Search Results
16
records
(took 0.026 seconds)
