公开(公告)号：CN109543448A

公开(公告)日：2019-03-29

申请号：CN201811372490.2

申请日：2018-11-16

Applicant: 深圳前海微众银行股份有限公司

Inventor： 陈华佳 ,  卢道和 ,  邸帅

IPC: G06F21/62 ,  G06F21/45 ,  G06F16/11 ,  G06F16/182

Abstract: 本发明公开了一种HDFS文件访问权限控制方法，该方法包括：接收用户端发送的针对HDFS文件的访问请求；判断所述HDFS文件是否具有对应的Hive表；若是，则基于所述访问请求判断用户是否对所述Hive表拥有相应的访问权限；若所述用户拥有与所述访问请求相应的所述Hive表的访问权限，则接受所述访问请求；若所述用户不具有与所述访问请求相应的所述Hive表的访问权限，则拒绝所述访问请求。本发明还公开了一种HDFS文件访问权限控制设备及存储介质。本发明能够避免当用户没有Hive权限却属于HDFS文件的用户组内时造成的用户权限扩大，从而提升HDFS文件的安全性。

公开(公告)号：CN110825634A

公开(公告)日：2020-02-21

申请号：CN201911066962.6

申请日：2019-11-04

Applicant: 深圳前海微众银行股份有限公司

Inventor： 叶家豪 ,  陈华佳 ,  邸帅 ,  卢道和

IPC: G06F11/36

Abstract: 本发明涉及金融科技(Fintech)技术领域，本发明公开了一种参数质量校验方法，该方法包括：在接收到参数校验请求时，获取预设模板库中所述参数校验请求对应的校验模板；获取所述校验模板对应的参数信息，将所述参数信息中的参数添加到所述校验模板中，生成校验规则；运行所述校验规则，对所述校验模板中的参数进行校验，输出参数质量校验结果。本发明还公开了一种参数质量校验装置、设备及计算机可读存储介质。本发明提高了参数质量校验的准确率和效率。

公开(公告)号：CN110309635A

公开(公告)日：2019-10-08

申请号：CN201910564145.7

申请日：2019-06-25

Applicant: 深圳前海微众银行股份有限公司

Inventor： 叶家豪 ,  陈华佳 ,  邸帅 ,  卢道和

IPC: G06F21/31 ,  G06Q10/10

Abstract: 本申请涉及金融科技(Fintech)技术领域，本申请公开了一种数据质量模型的管理方法，该方法应用于预设的数据质量模型管理平台，包括：在接收到项目创建请求时，获取所述项目创建请求对应的数据质量模型和创建人标识；根据所述创建人标识进行创建权限验证；若所述创建权限验证通过，则确定可基于所述数据质量模型触发的操作请求，及所述操作请求对应的操作权限；配置各所述操作权限对应的用户标识集合，并建立所述用户标识集合与所述数据质量模型之间的关联关系，以完成项目创建。本申请还公开了一种数据质量模型的管理装置、设备和一种计算机可读存储介质。本申请通过预设的数据质量管理平台，实现了不同数据质量模型的统一管理。

公开(公告)号：CN109656917A

公开(公告)日：2019-04-19

申请号：CN201811551768.2

申请日：2018-12-18

Applicant: 深圳前海微众银行股份有限公司

Inventor： 陈华佳 ,  叶家豪 ,  邸帅 ,  卢道和

IPC: G06F16/215 ,  G06F16/25

Abstract: 本发明公开了一种多数据源的数据检测方法、装置、设备及可读存储介质，该方法包括步骤：当侦测到检测至少两个数据源对应数据的检测指令后，根据所述检测指令加载与所述数据源对应的数据源驱动；通过所述数据源驱动读取所述检测指令对应的待检测数据，存储至Spark集群中，并获取与所述待检测数据对应的目标检测规则；通过所述目标检测规则，在所述Spark集群中检测所述待检测数据，得到所述待检测数据的检测结果。本发明通过Spark集群支持跨数据源的数据检测，在数据检测过程中支持多种数据源的配置。

公开(公告)号：CN109543448B

公开(公告)日：2022-07-15

申请号：CN201811372490.2

申请日：2018-11-16

Applicant: 深圳前海微众银行股份有限公司

Inventor： 陈华佳 ,  卢道和 ,  邸帅

IPC: G06F21/62 ,  G06F21/45 ,  G06F16/11 ,  G06F16/182

Abstract: 本发明公开了一种HDFS文件访问权限控制方法，该方法包括：接收用户端发送的针对HDFS文件的访问请求；判断所述HDFS文件是否具有对应的Hive表；若是，则基于所述访问请求判断用户是否对所述Hive表拥有相应的访问权限；若所述用户拥有与所述访问请求相应的所述Hive表的访问权限，则接受所述访问请求；若所述用户不具有与所述访问请求相应的所述Hive表的访问权限，则拒绝所述访问请求。本发明还公开了一种HDFS文件访问权限控制设备及存储介质。本发明能够避免当用户没有Hive权限却属于HDFS文件的用户组内时造成的用户权限扩大，从而提升HDFS文件的安全性。

公开(公告)号：CN111026737A

公开(公告)日：2020-04-17

申请号：CN201911072882.1

申请日：2019-11-05

Applicant: 深圳前海微众银行股份有限公司

Inventor： 叶家豪 ,  陈华佳 ,  邸帅 ,  卢道和

IPC: G06F16/215 ,  G06F16/28 ,  H04L29/08

Abstract: 本发明实施例涉及金融科技(Finetch)技术领域，公开了一种任务处理方法及装置，获取任务的中间结果数据后，若确定对中间结果数据进行校验，则将中间结果数据转化为待校验文件，并使用待校验文件对应的校验模板对待校验文件中的待校验字段进行校验，得到校验结果。本发明实施例中，通过对任务的中间结果数据进行校验，可以检测出中间结果数据中的数据质量问题，从而可以将错误的中间结果数据从任务中剔除，如此，基于准确的中间结果数据执行后续任务，可以避免中间结果数据的质量问题导致任务执行出错，提高任务执行的准确性。