-
公开(公告)号:CN114443647A
公开(公告)日:2022-05-06
申请号:CN202111631091.5
申请日:2021-12-28
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明公开了一种处理数据的方法、装置以及存储介质。所述方法包括:获取表数据;生成与表数据对应的描述文件,描述文件包含表数据的表结构信息和表数据的存储格式;根据描述文件包含的表结构信息和存储格式对表数据进行解析,得到表数据的具体内容。本发明提供的一种处理数据的方法和装置,适用于表结构多、表数据来源多、响应要求及时和多源异构的海量数据快速实现数据解析的场景。通过描述文件实现解析代码复用,从而避免重复开发,提高了数据处理的效率。对于新的需要解析的表数据,只需要生成与表数据对应的描述文件即可对表数据解析入库。
-
公开(公告)号:CN114297199A
公开(公告)日:2022-04-08
申请号:CN202111636366.4
申请日:2021-12-29
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于关联可信度计算的数据筛选方法,包括以下步骤:收集数据资源,生成原始数据汇总表;清洗原始数据汇总表,生成汇总数据表;设计汇总数据表中关联字段可信度的评估指标,计算关联字段在每个指标下的可信度得分;采用变异系数法,计算所述评估指标的指标系数;结合所述可信度得分和所述指标系数,计算关联字段的可信度;对关联字段的可信度进行抽样,与真实数据交叉验证,优化后生成可信度最高的落地数据表。在大数据处理体系中,本方案通过综合各类数据、进行特征选择,建立可信度评分模型,对获取的原始数据进行关联可信度打分,为数据分析、应用提供数据可信程度的支撑和参考,提升数据分析、应用的效果。
-
公开(公告)号:CN113871023A
公开(公告)日:2021-12-31
申请号:CN202110768689.2
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G16H50/80 , G06F16/9536 , G16H50/30
Abstract: 本公开提供一种基于社会行为的传染病追踪方法、装置、设备及介质,方法包括:获取目标对象的社会行为数据;基于所述目标对象的社会行为数据确定所述目标对象的密切接触者,再基于所述密切接触者确定与所述密切接触者有关联的其他目标对象;基于与所述密切接触者有关联的所有目标对象的社会行为数据中社会行为的类型和所述目标对象的传播系数,计算所述目标对象的每个密切接触者的密接分数;基于所述密接分数确定高风险传染人员。根据本公开,能够全面且精准地确定高风险密接人员,提高了疫情期间人工排查的工作效率,特别是在医疗资源紧缺、无法大面积进行医学检测的情况下,为各地的疫情排查工作提供了重要的数据支撑。
-
公开(公告)号:CN112052280A
公开(公告)日:2020-12-08
申请号:CN202010948857.1
申请日:2020-09-10
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/2458 , G06F16/22 , G06F16/9537 , G06F16/9536 , G06Q50/26
Abstract: 本发明给出了一种基于时空数据的实有人口分析方法及系统,包括基于对象归一算法将时空轨迹数据中大量的拥有共同的主体对象的数据压缩成一条数据记录,再利用场所聚合算法将时空轨迹数据中同一个主体对象的多个相近的位置聚合成同一个位置,从而形成一个对象时空库;基于人员停留类型对对象时空库进行过滤,提取出其中的居住人员和路过人员,分别保存为居住人员集合和路过人员集合,并每天对居住人员集合进行更新并保存,统计每天计算得到的居住人员集合构成当地的实有人口库。相比于传统的实有人口分析方法,本发明极大地减小了数据的规模,提高了针对海量时空数据的分析效率和准确率,实现了对当地实有人口的更加准确且及时的自动分析。
-
公开(公告)号:CN111783568A
公开(公告)日:2020-10-16
申请号:CN202010549958.1
申请日:2020-06-16
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明提出了一种基于置信学习的行人重识别方法、装置及存储介质,该方法包括:从视频图像资源库的获取N张行人图像,从中随机选取M张行人图像作为查询图像,其余作为查询底库;使用行人重识别模型从中筛选一定数目的行人图像保存在一候选训练集,并该数目的行人图像标记一个新的人员id;将候选训练集与原始训练集合并得到合并训练集,并使用置信训练寻找合并训练集的标签误差后进行校验,然后对行人重识别模型进行重新训练得到重训练后的行人重识别模型后进行线上更新以进行行人重识别。本发明利用置信学习及现有行人重识别系统清洗监控系统下的海量视频数据,从而提供更多的可用训练数据,有效地提高了行人重识别系统的泛化性能及准确率。
-
公开(公告)号:CN110851687A
公开(公告)日:2020-02-28
申请号:CN201911092398.5
申请日:2019-11-11
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/953 , G06K9/62
Abstract: 本发明涉及一种数据识别方法、终端设备及存储介质,该方法中根据待识别数据的特征构建待识别数据的特征模板,针对每个待识别数据,通过该特征模板进行匹配,将能够匹配的待识别数据作为识别数据;所述特征模板包括多层,所述匹配为分别对每一层进行匹配,当所有层均能够匹配时为待识别数据能够匹配。本发明与全量获取方法相比,能够有效较少数据存储空间;与精准识别方法相比,不用针对每一种数据分别开发一个识别方案,通用性强,且能通过模板发现网络上新上线的但匹配已有模板的一些数据。
-
公开(公告)号:CN109726239A
公开(公告)日:2019-05-07
申请号:CN201811592331.3
申请日:2018-12-25
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/25
Abstract: 本发明公开了一种对取证数据进行分析的方法,包括如下步骤:S1:对取证数据通过ETL技术抽取以数据库方式存储的数据,通过python脚本抽取以文件方式存储的数据得出内容型数据,对文本内容中的数据通过正则表达式引擎或特征匹配引擎进行提取得出内容型数据;S2:对内容型数据进行有效性校验、归一化处理;S3:建立双向LSTM模型对归一化处理后的内容型数据进行处理得到最终的输出结果,根据最终的输出结果判断取证数据是否属于交易数据。根据不同的数据类型采用不同的技术手段进行数据提取,因此可以提高数据提取的准确度。并利用双向LSTM模型对取证数据进行分析判断,有效提高数据的识别率。
-
公开(公告)号:CN105788271B
公开(公告)日:2019-03-12
申请号:CN201610324736.3
申请日:2016-05-17
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本申请提供了一种通过轨迹匹配识别目标移动对象的方法和装置,所述方法包括:获取已知移动对象在给定时间段内的匹配基准轨迹点列表以及该已知移动对象在各匹配基准轨迹点的时间信息;遍历上述匹配基准轨迹点列表中的各匹配基准轨迹点,获取每个匹配基准轨迹点自己的疑似移动对象列表;统计上述疑似移动对象列表中各疑似移动对象的匹配数,将匹配数最大的疑似移动对象作为目标移动对象;其中,所述已知移动对象为车辆或移动终端;所述疑似移动对象为车辆或移动终端。本申请通过上述手段,能够从混合多种移动对象的海量数据中快速完成轨迹相似匹配,找到目标移动对象。
-
公开(公告)号:CN108897756A
公开(公告)日:2018-11-27
申请号:CN201810430678.1
申请日:2018-05-08
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种跨数据中心的数据查询分析方法及存储介质,方法包括:主数据中心生成汇聚指令,并按照预设的时间周期下发至各数据中心;各数据中心根据汇聚指令获取当前时间周期的汇聚数据,并将从同一个数据表中获取的汇聚数据存储到同一集合中,得到汇聚集合并上传至主数据中心;主数据中心判断是否存在对应的存储文件;若存在,则将汇聚数据更新至对应的存储文件;若不存在,则新建存储文件并将汇聚数据保存至存储文件;将新建的存储文件与汇聚集合对应的数据要素字段、资源编号和时间周期进行关联,得到关联关系;主数据中心进行数据查询分析。本发明可解决大量数据无法汇聚的问题,并达到快速查询分析的效果。
-
公开(公告)号:CN106776933A
公开(公告)日:2017-05-31
申请号:CN201611092213.7
申请日:2016-12-01
Applicant: 厦门市美亚柏科信息股份有限公司
CPC classification number: G06F16/285 , G06Q50/26
Abstract: 本发明一种对相似事件信息进行分析聚合的处理方法及系统,方法包括如下步骤:S1:建立事件信息的知识库;S2:对事件信息的地址信息进行提取;S3:对事件信息的进行事件分类;S4:对事件信息的进行相似比对。系统包括如下模块:建立事件信息的知识库的模块;对事件信息的地址信息进行提取的模块;对事件信息的进行事件分类的模块;对事件信息的进行相似比对的模块。通过抽取出的地址信息和分析事件标签属性判断事件相似性,减少事件其他描述信息对事件相似度判断产生影响。另外,对抽取地址进行规范化,尽量做到相同地址信息不同的地址描述方式通过地址抽取规范化后的地址是一致的。
-
-
-
-
-
-
-
-
-