一种预训练语言模型的训练方法、存储介质及服务器

    公开(公告)号:CN113961669A

    公开(公告)日:2022-01-21

    申请号:CN202111251502.8

    申请日:2021-10-26

    Abstract: 本发明提供了一种预训练语言模型的训练方法、存储介质及服务器,该训练方法通过利用特定场景的文本语料对通用领域的语言模型进行预训练,所得到的专业领域的预训练语言模型可以更好地捕捉到特定场景下文本语料中的独有信息。通过分词工具分词,使得整体的词语作为是否被遮蔽的目标,能够加大语言模型的训练难度,提升语言模型的语义理解能力,进而提升经过训练所获得的预训练语言模型的准确性。增加的每条文本的类别标签信息也富有丰富的语义信息,通过加入类别标签信息,能够更好的让预训练语言模型理解整体的语言效果。改善采用预训练语言模型处理下游的自然语言处理任务过程中的准确性及效率。

    数据交换与共享平台
    3.
    发明授权

    公开(公告)号:CN112448972B

    公开(公告)日:2022-09-20

    申请号:CN201910811118.5

    申请日:2019-08-29

    Abstract: 本发明提供一种数据交换与共享平台,所述数据交换与共享平台包括数据交换子系统以及各个部门的数据交换网关,其中,每个部门都拥有自己的线下业务数据库或临时库和自己的线上租户空间,各部门作为租户将自己的公开数据放在租用空间中,在通过一系列审批授权过程后在交换空间中与其他部门数据进行数据碰撞并获取碰撞结果;所述数据交换子系统用于提供数据目录和数据交换服务;所述各个部门的数据交换网关用于进行数据转发服务,提供数据源管理、转换管理、数据传输加密、作业管理和用户数据访问API鉴权功能。本发明能够减少数据源间的数据搬运,实现数据的交换与共享。

    大数据管控平台
    4.
    发明公开

    公开(公告)号:CN112445858A

    公开(公告)日:2021-03-05

    申请号:CN201910811117.0

    申请日:2019-08-29

    Abstract: 本发明提供一种大数据管控平台,包括:资源管理模块,用于调度和分配集群的内存和计算等资源给上层应用和服务,管理运行在集群节点上的任务的生命周期和资源使用;安全管理模块,用于提供以用户为单位的身份认证和授权,对集群数据资源和服务进行访问控制生成;远程过程调用模块,用于提供可靠高效的进程间远程调用服务;分布式协同服务模块,用于提供分布式系统基本的命名服务、状态同步服务和分布式锁服务;任务调度模块,用于面向海量数据处理和大规模计算类型的复杂应用,提供数据驱动的多级流水线并行计算框架;集群部署与监控模块,用于提供整个云操作系统以及上层应用服务的部署、配置管理以及服务的自检和自举。

    电子政务大数据服务系统

    公开(公告)号:CN110706141A

    公开(公告)日:2020-01-17

    申请号:CN201910665142.2

    申请日:2019-07-23

    Abstract: 本发明提供一种电子政务大数据服务系统。所述系统自下而上包括基础设施层、数据资源层、应用支撑层、业务应用层和用户及服务层,其中,所述基础设施层,用于提供电子政务大数据服务所需的基础设备;所述数据资源层,用于实现信息资源共享目录与数据交换功能以及提供各种电子政务数据;所述应用支撑层,用于为所述业务应用层中的各种大数据应用提供大数据服务支撑;所述业务应用层,用于提供大数据应用中心和社会共治服务云功能;所述用户及服务层,用于提供用户访问大数据应用的服务接口,实现与外部数据的接入服务。本发明能够为大数据应用提供电子政务大数据服务平台,有效保护大数据的安全以及用户的隐私。

    数据交换与共享平台
    10.
    发明公开

    公开(公告)号:CN112448972A

    公开(公告)日:2021-03-05

    申请号:CN201910811118.5

    申请日:2019-08-29

    Abstract: 本发明提供一种数据交换与共享平台,所述数据交换与共享平台包括数据交换子系统以及各个部门的数据交换网关,其中,每个部门都拥有自己的线下业务数据库或临时库和自己的线上租户空间,各部门作为租户将自己的公开数据放在租用空间中,在通过一系列审批授权过程后在交换空间中与其他部门数据进行数据碰撞并获取碰撞结果;所述数据交换子系统用于提供数据目录和数据交换服务;所述各个部门的数据交换网关用于进行数据转发服务,提供数据源管理、转换管理、数据传输加密、作业管理和用户数据访问API鉴权功能。本发明能够减少数据源间的数据搬运,实现数据的交换与共享。

Patent Agency Ranking