-
公开(公告)号:CN116310498A
公开(公告)日:2023-06-23
申请号:CN202310060451.3
申请日:2023-01-18
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/084
Abstract: 本申请涉及一种基于动态采样的不平衡图片数据分类方法和装置,所述方法包括S1:手动创建不平衡图像数据;S2:对创建的不平衡图像数据进行归一化和独热编码,获得训练样本;S3:构建图片分类基础模型并冻结住模型;S4:利用f1‑score算法来动态的进行训练样本的采样;S5:解冻模型并利用f1‑score动态采样过的数据开始训练,然后根据混淆矩阵来输出损失结果和每个类型图像识别的准确率。本申请在训练过程之前会生成一个新的数据集来实现离线数据增强。生成的数据集足够大,可以保证有足够的样本在训练阶段对F1分数低的类进行重采样。与在线数据增强相比,离线数据增强具有易于阅读、方便后期实施调整以及生成可视化图像有助于控制增强图像等优点。
-
公开(公告)号:CN114610975A
公开(公告)日:2022-06-10
申请号:CN202210420459.1
申请日:2022-04-20
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/951 , G06F16/958 , G06F9/445 , G06F9/4401 , G06F9/50
Abstract: 本公开公开一种网页爬取方法、装置、计算设备及存储介质,该方法包括:创建爬取队列,从消息队列中获取网页地址并将所述网页地址放入所述爬取队列中;启动爬虫进程,并通过所述爬虫进程启动浏览器对象,所述爬虫进程由至少一个线程执行;控制所述线程所对应的协程从所述爬取队列中获取所述网页地址,以使用所述网页地址发起访问请求,且在所述协程所发起的访问请求等待响应时挂起所述协程,所述线程切换执行未挂起的协程以发起新的访问请求或处理请求返回的响应。根据本公开实施例可以有效提高处理器和带宽利用率,降低系统资源消耗。
-
公开(公告)号:CN112633394B
公开(公告)日:2022-12-16
申请号:CN202011590641.9
申请日:2020-12-29
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明涉及一种智能用户标签确定方法、终端设备及存储介质,该方法包括以下步骤:根据确定用户标签所需的数据来源将用户标签分成简单标签和复杂标签,其中,简单标签只需要结构化数据,复杂标签信息同时存在多模态数据中;简单标签采用单一模态标签确定方法来确定,以及复杂标签采用深度学习算法确定方法来确定。本发明利用多模态数据之间的互补性,并剔除多模态数据间的冗余性,从而能够更准确、更全面确定用户标签和提高用户标签确定方法的泛化性能,更好地推广和应用。
-
公开(公告)号:CN113673382A
公开(公告)日:2021-11-19
申请号:CN202110898483.1
申请日:2021-08-05
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明提出了一种人脸图像聚类中非活体过滤的方法、装置及存储介质,该方法包括:分组步骤S101,对聚类后的人脸图像根据摄像头的ID进行分组,其中n≥2;计算步骤S102,针对每一个分组计算所有人脸图像位置的区域及该区域对应的多边形面积,以及该分组对应的摄像头视野面积;过滤步骤S103,基于该区域对应的多边形面积及该分组对应的摄像头视野面积确定采集的人脸图像是否为非活体,如果是,则将非活体的人脸图像删除。本发明创造性的提出了基于人脸出现的区域的面积及摄像头的视野面积进行非活体的识别,识别方法简单可靠,无需增加硬件设备,也不需要被识别人的配合,且识别率较高,满足了工程需要。
-
公开(公告)号:CN113673382B
公开(公告)日:2022-07-15
申请号:CN202110898483.1
申请日:2021-08-05
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V40/16 , G06V40/40 , G06V10/762 , G06K9/62 , G06T7/62
Abstract: 本发明提出了一种人脸图像聚类中非活体过滤的方法、装置及存储介质,该方法包括:分组步骤S101,对聚类后的人脸图像根据摄像头的ID进行分组,其中n≥2;计算步骤S102,针对每一个分组计算所有人脸图像位置的区域及该区域对应的多边形面积,以及该分组对应的摄像头视野面积;过滤步骤S103,基于该区域对应的多边形面积及该分组对应的摄像头视野面积确定采集的人脸图像是否为非活体,如果是,则将非活体的人脸图像删除。本发明创造性的提出了基于人脸出现的区域的面积及摄像头的视野面积进行非活体的识别,识别方法简单可靠,无需增加硬件设备,也不需要被识别人的配合,且识别率较高,满足了工程需要。
-
公开(公告)号:CN110288085B
公开(公告)日:2022-06-03
申请号:CN201910538093.6
申请日:2019-06-20
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06N3/04
Abstract: 本发明提供了一种数据处理方法、装置、系统及存储介质,方法包括:获取待处理数据;对待处理数据进行特征提取,得到待处理数据的数据特征;将数据特征输入训练好的数据处理模型,得到数据处理结果;其中,数据处理模型的训练包括:在训练数据中选取数量类别的训练样本;将数量类别的类别权重输入神经网络的对应类别的层;采用训练样本训练神经网络,得到数量类别的新类别权重;重复上述步骤,且当神经网络模型满足训练条件时停止训练,得到训练好的数据处理模型。根据本发明的方法、装置、系统及存储介质,通过乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛,且准确度高,适于数据处理的应用且优化了数据处理的过程。
-
公开(公告)号:CN113919354A
公开(公告)日:2022-01-11
申请号:CN202111203962.3
申请日:2021-10-15
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F40/295 , G06F40/211 , G06F40/30 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出了一种文本对抗的自然语言增强处理方法及装置,该方法包括:提取步骤,对样本训练集中的句子进行实体词提取,获得该句子的词向量;替换步骤,基于实体词库对所述句子的词向量进行替换得到替换句子;预测步骤,使用神经网络模型预测该替换句子的标签得到预测标签,若所述预测标签与所述句子在样本训练集中的初始标签不一致,则所述替换句子作为对抗增强句子加入到样本训练集中。本发明中,构建了实体词库,从而便于对样本集中的句子进行实体词提取,从而保证了句子增强的准确性,本发明中,通过实体词库对所述句子的中的实体词进行替换,扩充了样本集中的样本数量,而且增强后的样本可靠性高。
-
公开(公告)号:CN111783858A
公开(公告)日:2020-10-16
申请号:CN202010567257.0
申请日:2020-06-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06K9/62
Abstract: 本申请实施例公开了生成类别向量的方法和装置。该方法的一具体实施方式包括:获取第一预设数量个属于预设类别的向量作为第一向量集;获取第二预设数量个属于预设类别的向量作为第二向量集;从第二向量集中确定符合预设条件的目标向量;获取属于预设类别的待替换向量;确定待替换向量是否符合预设替换条件,如果符合,将目标向量替换为待替换向量;基于第一向量集和进行向量替换后的第二向量集,确定表征预设类别的类别向量并存储。该实施方式实现了实时地对第二向量集进行更新,使第二向量集中的向量对预设类别的代表性逐渐增强,提高生成类别向量的精确性。
-
公开(公告)号:CN117076559A
公开(公告)日:2023-11-17
申请号:CN202310875339.5
申请日:2023-07-17
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明提出了一种基于多计算引擎的大数据离线处理方法及其系统,该方法包括如下步骤:响应于第三方应用通过Web端发起的作业请求,所述作业请求调用引擎执行器控制层接口EECI;引擎作业提交执行器EJSR会轮询独立引擎作业队列,并取出作业信息JCI提交给离线计算引擎WebActor‑WSActor;启动离线计算引擎Actor‑SJEActor,发送启动信息至离线计算引擎WebActor‑WSActor实例;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,查看作业队列中是否存在作业信息JCI,轮询到作业信息JCI时创建并提交所述作业信息JCI给作业执行者JERA,作业执行者JERA调用具体引擎进行处理。通过在实际建模过程中通过调用基于多计算引擎的大数据离线处理系统接口能够高效、可靠的解决大数据离线计算的业务场景。
-
公开(公告)号:CN113936302B
公开(公告)日:2023-04-07
申请号:CN202111295755.5
申请日:2021-11-03
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V40/10 , G06V10/774 , G06V10/762
Abstract: 本发明公开一种行人重识别模型的训练方法、装置、计算设备及存储介质,该方法包括:获取第一行人重识别训练数据集所述第一行人重识别训练数据集输入预设的行人重识别模型进行处理,并基于处理结果得到第一损失函数所述第一行人重识别训练数据集进行处理得到第二行人重识别训练数据集所述第二行人重识别训练数据集输入远程监督网络进行处理,并根据处理结果得到第二损失函数;所述第一损失函数和第二损失函数所述预设的行人重识别模型,得到目标行人重识别模型。根据本发明实施例通过增加监督网络提供监督信息来实现不增加识别网络复杂度的前提下,扩充训练样本数量的同时也有效提升了行人重识别网络的识别性能。
-
-
-
-
-
-
-
-
-