-
公开(公告)号：CN111614733A
公开(公告)日：2020-09-01
申请号：CN202010358133.1
申请日：2020-04-29
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明提出了一种分布式多分片集群的部署方法、装置及存储介质，该方法包括：配置服务器的配置步骤，基于配置服务器的IP将配置服务器配置为不同的服务类型并创建配置文件；分片服务器的配置步骤，基于分片服务器的数量将一个分片服务器上的主节点、副本集节点和仲裁节点分别设置属于不同的服务器节点上；路由服务器的配置步骤，用于建立路由服务与分片服务之间的对应关系。本发明利用循环算法，将一个分片的副本集配置成非本机节点，如果循环到最后一个分片，他的副本集就是第一个分片，使得数据在不同的节点有个备份，确保了数据的完整性。从而实现了高效、快速地部署服务，适用于在分布式、多分片以及副本集配置的场景。
-
公开(公告)号：CN111444167A
公开(公告)日：2020-07-24
申请号：CN202010219652.X
申请日：2020-03-25
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/215 , G06F16/242
Abstract: 本发明提出了一种基于数据摘要去重数据的方法、装置及存储介质，该方法包括：摘要计算步骤，对要去重的数据进行摘要计算得到数据摘要；去重步骤，基于数据摘要在内存数据库和列存数据库的查找结果完成数据的去重。提高了用户体验。本发明在对海量数据和每条记录多字段的场景下，通过对去重字段做摘要，减少比对次数，通过内存数据库和列存数据库来提高比对效率，来达到海量数据下的根据多字段进行高速去重。本发明只需要配置去重字段的配置文件即达到可快速识别重复数据的目的，提高了去重效率，防止系统因数据去重占用资源过多而导致系统崩溃，提高了用户体验，适用于在数据体量巨大、数据字段多、定制化字段等去重场景下。
-
公开(公告)号：CN116484252A
公开(公告)日：2023-07-25
申请号：CN202310289599.4
申请日：2023-03-23
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F18/24 , G06F18/214 , G06F18/10 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明提出了一种基于编码修正BERT‑CNN的数据分类方法，该方法包括如下步骤：响应于获取训练数据，所述训练数据包括用于BERT预训练的非结构化文本数据和用于训练修正器和分类器的结构化数据；对获取的所述训练数据进行预处理，并划分为训练集、验证集以及测试集；使用获取的所述训练数据中的非结构化文本数据训练BERT模型；使用BERT模型输出的词编码以对抗的方式训练修正器；将所述修正器得到的编码加上BERT模型输出的编码得到最终的编码；再使用获得的所述最终的编码训练文本分类器。本发明通过对BERT输出编码进行补充修正得到更有利于文本分类的编码形式，有助于提升模型的泛化能力和准确性。
-
公开(公告)号：CN111614733B
公开(公告)日：2022-08-02
申请号：CN202010358133.1
申请日：2020-04-29
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: H04L67/10 , H04L67/30 , H04L61/5007 , H04L61/103
Abstract: 本发明提出了一种分布式多分片集群的部署方法、装置及存储介质，该方法包括：配置服务器的配置步骤，基于配置服务器的IP将配置服务器配置为不同的服务类型并创建配置文件；分片服务器的配置步骤，基于分片服务器的数量将一个分片服务器上的主节点、副本集节点和仲裁节点分别设置属于不同的服务器节点上；路由服务器的配置步骤，用于建立路由服务与分片服务之间的对应关系。本发明利用循环算法，将一个分片的副本集配置成非本机节点，如果循环到最后一个分片，他的副本集就是第一个分片，使得数据在不同的节点有个备份，确保了数据的完整性。从而实现了高效、快速地部署服务，适用于在分布式、多分片以及副本集配置的场景。
-
-
-
Search Results
4
records
(took 0.021 seconds)
