一种基于大模型的指标交互式问答实现方法及系统

    公开(公告)号:CN118349644A

    公开(公告)日:2024-07-16

    申请号:CN202410334251.7

    申请日:2024-03-22

    Inventor: 严敏

    Abstract: 本发明公开一种基于大模型的指标交互式问答实现方法及系统,属于数据分析技术领域;包括:获取用户问答内容;将用户问答内容输入预训练完成的AI大模型中进行识别,得到用户意图;根据用户意图和知识图谱,得到用户询问真实意图;根据用户询问真实意图,从指标数据库中查询数据,得到查询结果。本发明基于业务导向的指标数据问答:通过问答方式,提供用户指标问答能力,解决指标应用开发过程长、投入大、不灵活等问题,为用户提供全新的交互模式,基于业务语言进行指标随问随答。

    嵌入式数据安全保护方法及系统

    公开(公告)号:CN112989413B

    公开(公告)日:2024-01-30

    申请号:CN202110298036.2

    申请日:2021-03-19

    Inventor: 严敏

    Abstract: 本发明公开了一种嵌入式数据安全保护方法及系统,方法包括:发送端在接收到数据使用申请时,同时获取请求方提交的用户信息;利用嵌入式工具为所申请数据进行审批及数据敏感保护操作;对数据及敏感数据保护策略进行加密,并打包发送至接收端;接收端利用嵌入式工具打开数据包;利用私钥对数据及敏感数据保护策略进行解密处理;利用嵌入式工具分析敏感数据保护策略;在敏感数据保护策略的保护下对数据进行数据分析。通过本发明的技术方案,在嵌入式工具的基础上利用授权审批、加密、泛化脱敏、阅后即焚等技术,大大降低了数据被随意传播和泄露的风险,同时保证了数据应用的便利性。(56)对比文件JieSu 等.Privacy Preservation Basedon Key Attribute and StructureGeneralization of Social Network forMedical Data Publication.IntelligentComputing Theories and Application: 15thInternational Conference, ICIC 2019.2019,第388–399页.王超;陈育德;张国梁.面向共谋攻击的位置隐私保护方案.佳木斯大学学报(自然科学版).2020,(第04期),第83-87+100页.郑志静;李旭伟.利用泛化洛伦茨方程进行消息加密和密钥分发.计算机工程与设计.2017,(第12期),第65-69+123页.胡荣磊 等.一种大数据环境下医疗隐私保护方案 设计与实现.信息网络安全.2018,(第9期),文章第1、2节.

    一种基于数据热度的数据清理方法、装置及存储介质

    公开(公告)号:CN112559504A

    公开(公告)日:2021-03-26

    申请号:CN202011448046.1

    申请日:2020-12-09

    Inventor: 严敏

    Abstract: 本发明提供一种基于数据热度的数据清理方法、装置及存储介质,方法包括:从目标数据平台中采集数据热度信息;分别对所述数据热度信息中多个数据类型进行解析,得到各个数据类型热度;根据预设热度权重对各个所述数据类型热度进行热度评估,得到数据类型热度的评估信息;根据预设清理策略和所述评估信息确定待删除数据类型,并对所述待删除数据类型对应的数据进行清理处理。本发明能够对采集的数据热度信息进行解析得到数据类型热度,并基于数据热度评估模型给出数据类型热度的热度评估信息,根据评估信息来自动清理数据类型,不需要依赖人工处理,提高了清理效率及准确性。

    一种基于面状shp地图图层的数据可视化方法及系统

    公开(公告)号:CN104318508A

    公开(公告)日:2015-01-28

    申请号:CN201410602649.0

    申请日:2014-10-31

    Inventor: 严敏

    Abstract: 本发明涉及一种基于面状shp地图图层的数据可视化方法及系统,所述方法包括:地图数据转换步骤,将面状地图图层的shp格式地图数据转换为适用于Web应用展现的SVG地图数据;SVG地图呈现步骤,通过JavaScript对SVG地图数据进行操作和展示,呈现出SVG地图;数据叠加步骤,对面状地图图层的地理信息进行分析,并将分析结果数据叠加到SVG地图上。本发明在没有GIS引擎的环境下实现的基于地图数据的可视化,利用现有的地图数据,快速地实现在地图上呈现分析数据,将各种分析图形叠加到地图上,以更加美观的方式呈现分析结果。

    一种AI大模型文本训练数据集的质量评估方法及系统

    公开(公告)号:CN119782760A

    公开(公告)日:2025-04-08

    申请号:CN202411568659.7

    申请日:2024-11-05

    Inventor: 严敏

    Abstract: 本发明公开了一种AI大模型文本训练数据集的质量评估方法及系统,方法包括:对大模型文本训练数据集进行预处理;设置评估指标体系,对各指标的阈值及权重进行定义;设置数据集抽样规则,并提取数据集;统计预设数据指标;通过提示词和评估规范,利用大模型对数据集进行偏见及合规性评估;利用文本挖掘技术与大模型协作,根据评估规范识别数据集中的非法毒性内容;基于BERT模型计算数据集的文本困惑度,并根据评估规范计算困惑度评估结果。通过本发明的技术方案,避免了因为数据集问题造成无效的训练以及影响大模型能力输出,有效提升了AI大模型训练效率集模型效果,同时大幅度降低了大模型训练的成本,比较显著地提高了评估效果。

    一种数据迁移一致性质量稽核方法及系统

    公开(公告)号:CN118210780A

    公开(公告)日:2024-06-18

    申请号:CN202410334256.X

    申请日:2024-03-22

    Inventor: 严敏

    Abstract: 本发明公开一种数据迁移一致性质量稽核方法及系统,属于数据处理技术领域;该方法包括:获取数据迁移前后的待对比数据;对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果;从待对比数据中抽取部分数据作为抽样数据;对抽样数据中的字段逐行数据拼接后进行抽样数据一致性比对,得到抽样比对结果;根据数据量比对结果、全量比对结果和抽样比对结果,得到种数据迁移一致性质量稽核结果。本发明可以提升数据迁移数据一致性比对效率,降低人工成本,实现在最短的时间,高效的实现数据一致性比对。

    一种数据仓库垃圾表的识别方法及系统

    公开(公告)号:CN115658667A

    公开(公告)日:2023-01-31

    申请号:CN202211269153.7

    申请日:2022-10-17

    Inventor: 严敏

    Abstract: 本发明公开了一种数据仓库垃圾表的识别方法及系统,方法包括:采集数据库的执行日志信息,对执行日志信息进行解析以获取数据库的表使用信息;采集数据仓库的加工脚本,对加工脚本进行解析以获取数据表血缘关系;利用预先建立的垃圾表识别模型对数据仓库中的数据表进行判断,判定在预设判定时间周期内使用量小于预设阈值、血缘影响链路次数小于预设阈值的数据表为垃圾表。通过本发明的技术方案,识别方式简单,自动化程度高,垃圾表识别模型设置灵活、判断要素少且识别准确率高,能够适配市面主流的数据库或者数据仓库,有效弥补了数据监控运维短板,解决了垃圾表积累问题。

    基于SQL脚本反向推理ETL调度任务依赖关系的方法

    公开(公告)号:CN113157789A

    公开(公告)日:2021-07-23

    申请号:CN202110412928.0

    申请日:2021-04-16

    Inventor: 严敏

    Abstract: 本发明公开了一种基于SQL脚本反向推理ETL调度任务依赖关系的方法,包括:提取数据处理过程的SQL脚本信息,根据数据处理SQL脚本信息解析识别得到数据表之间的依赖关系;提取调度任务依赖的SQL脚本,根据任务SQL脚本解析得到任务与数据表之间的依赖关系;根据数据表之间的依赖关系以及任务与数据表之间的依赖关系,推理得到任务之间的依赖关系。通过本发明的技术方案,能够反向推理得到任务之间的依赖关系,从而发现配置错漏的任务关系,避免了人为因素造成的依赖关系错漏问题,避免了数据处理顺序混乱及导致的数据质量问题,且能够直接定位到具体的任务环节,问题定位清晰。

    嵌入式数据安全保护方法及系统

    公开(公告)号:CN112989413A

    公开(公告)日:2021-06-18

    申请号:CN202110298036.2

    申请日:2021-03-19

    Inventor: 严敏

    Abstract: 本发明公开了一种嵌入式数据安全保护方法及系统,方法包括:发送端在接收到数据使用申请时,同时获取请求方提交的用户信息;利用嵌入式工具为所申请数据进行审批及数据敏感保护操作;对数据及敏感数据保护策略进行加密,并打包发送至接收端;接收端利用嵌入式工具打开数据包;利用私钥对数据及敏感数据保护策略进行解密处理;利用嵌入式工具分析敏感数据保护策略;在敏感数据保护策略的保护下对数据进行数据分析。通过本发明的技术方案,在嵌入式工具的基础上利用授权审批、加密、泛化脱敏、阅后即焚等技术,大大降低了数据被随意传播和泄露的风险,同时保证了数据应用的便利性。

    一种基于mongoDB的数据沙盒实现方法及系统

    公开(公告)号:CN105868389A

    公开(公告)日:2016-08-17

    申请号:CN201610232811.3

    申请日:2016-04-15

    Inventor: 严敏

    Abstract: 本发明涉及一种基于mongoDB的数据沙盒实现方法及系统。所述方法包括服务端接收用户端发送的创建数据沙盒的申请;服务端根据申请在mongoDB上为用户创建独立的数据沙盒;服务端进行数据沙盒的存储及运算资源配额的管理;服务端将数据仓库数据或者外部数据导入到数据沙盒中,在数据沙盒环境中进行数据处理;数据处理完毕,服务端将处理后的数据从数据沙盒中导出,并销毁数据沙盒,回收系统资源。本发明为用户提供一套弹性的数据运行环境,免除本地安装与管理交易数据库的需求;隔离的环境能够有效避免用户的误操作带来的数据风险,减少集中化方式带来的数据仓库被拖慢的情况,提高环境的可用性,降低数据仓库的开销的同时实现高效的数据访问。

Patent Agency Ranking