-
公开(公告)号:CN106569981B
公开(公告)日:2020-10-02
申请号:CN201610920439.5
申请日:2016-10-21
Applicant: 北京科技大学
IPC: G06F17/17
Abstract: 本发明提供一种适用于大规模数据集的统计参量确定方法及系统,能够提高求解统计参量的效率。所述方法包括:获取待处理的数据集,将所述数据集中的数据样本分成若干区间,并统计每个区间的数据样本的数目;利用预先设置的包含未知参量的概率密度函数计算所述数据集中任一数据样本在每个区间的统计概率;根据统计得到的每个区间的数据样本的数目及计算得到的所述数据集中任一数据样本在每个区间的统计概率,计算似然函数作为目标函数;通过粒子群优化算法求解所述目标函数的最大值,当所述目标函数取最大值时,得到所述未知参量的值。本发明适用于大数据求解统计参量技术领域。
-
公开(公告)号:CN106569981A
公开(公告)日:2017-04-19
申请号:CN201610920439.5
申请日:2016-10-21
Applicant: 北京科技大学
IPC: G06F17/17
Abstract: 本发明提供一种适用于大规模数据集的统计参量确定方法及系统,能够提高求解统计参量的效率。所述方法包括:获取待处理的数据集,将所述数据集中的数据样本分成若干区间,并统计每个区间的数据样本的数目;利用预先设置的包含未知参量的概率密度函数计算所述数据集中任一数据样本在每个区间的统计概率;根据统计得到的每个区间的数据样本的数目及计算得到的所述数据集中任一数据样本在每个区间的统计概率,计算似然函数作为目标函数;通过粒子群优化算法求解所述目标函数的最大值,当所述目标函数取最大值时,得到所述未知参量的值。本发明适用于大数据求解统计参量技术领域。
-
公开(公告)号:CN107895103A
公开(公告)日:2018-04-10
申请号:CN201711268085.1
申请日:2017-12-05
Applicant: 北京科技大学
IPC: G06F19/00
Abstract: 本发明提供一种轨迹数据清洗方法,能够提高轨迹数据的数据质量。所述方法包括:S1,计算轨迹数据中相邻两个轨迹点之间的M阶差分,并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值;S2,每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值,根据邻居点的投票值重新计算每个轨迹点的可信度值;S3,判断S2执行前后每个轨迹点的可信度值的变化值是否小于预设的可接受的最大变化值,若是,则删除所有可信度值小于第二预设阈值的轨迹点;否则,返回S2执行下一次迭代。本发明涉及大数据处理领域。
-
公开(公告)号:CN107895103B
公开(公告)日:2020-11-27
申请号:CN201711268085.1
申请日:2017-12-05
Applicant: 北京科技大学
IPC: G06F16/215
Abstract: 本发明提供一种轨迹数据清洗方法,能够提高轨迹数据的数据质量。所述方法包括:S1,计算轨迹数据中相邻两个轨迹点之间的M阶差分,并降低M阶差分值小于第一预设阈值的相应轨迹点的可信度值;S2,每个轨迹点向其邻居点投票的同时接受来自邻居点的投票值,根据邻居点的投票值重新计算每个轨迹点的可信度值;S3,判断S2执行前后每个轨迹点的可信度值的变化值是否小于预设的可接受的最大变化值,若是,则删除所有可信度值小于第二预设阈值的轨迹点;否则,返回S2执行下一次迭代。本发明涉及大数据处理领域。
-
-
-