-
公开(公告)号:CN107066576B
公开(公告)日:2019-11-12
申请号:CN201710236260.2
申请日:2017-04-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/951 , G06F16/955
Abstract: 本发明公开了一种大数据网络爬虫分页选择方法和系统。方法包括以下步骤:解析爬虫脚本;获取匹配符,对爬虫脚本内容中的标签信息进行匹配;将匹配成功的标签的特征值存入URL队列中;获取URL队列中的URL连接地址,校验URL连接地址;获取校验后的URL连接地址,进行地址匹配;解析地址匹配成功的URL地址的网页,获取分页信息;系统包括第一解析模块,第一匹配模块,存储模块,获取模块,第二匹配模块,第二解析模块和配置模块。本发明解决了当网页中的页面按钮HTML结构发生改变时,不能循环爬取网页数据的问题,能够精准识别数据的分页标签,有效防止循环爬取数据过程中断,提升了网页数据的爬取效率。
-
公开(公告)号:CN106971417B
公开(公告)日:2019-06-14
申请号:CN201710345808.7
申请日:2017-05-17
Applicant: 成都四方伟业软件股份有限公司
IPC: G06T15/00 , G06F3/0481 , G06F3/0484
Abstract: 本发明公开了一种在浏览器中显示三维散点图的方法及系统,涉及三维散点图显示领域。一种在浏览器中显示三维散点图的方法,它包括以下步骤:初始化参数,包括坐标系参数,三维空间背景颜色,坐标轴,参考线等信息;将接收到的数据进行一系列处理;使用WebGL技术将处理好后的数据在给定的容器中渲染;对视图场景的控制操作;一种在浏览器中显示三维散点图的系统,包括:参数初始化模块、数据处理模块、三维散点图显示模块和人机交互模块。本发明基于浏览器,应用范围广;根据视角变化优化性能;根据点的密度优化性能;动态显示数据;服务器计算压力小;具有较强的交互性。
-
公开(公告)号:CN109783511A
公开(公告)日:2019-05-21
申请号:CN201811490603.9
申请日:2018-12-07
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2453 , G06F16/2455
Abstract: 本发明公开了一种智能多引擎数据查询系统,包括场景识别模块,所述场景识别模块用于识别当前查询数据的数据规模;引擎适配模块,所述引擎适配模块用于根据数据规模适配最优查询引擎;查询引擎,所述查询引擎用于执行数据查询动作;结果导出模块,所述结果导出模块用于将查询结果导出并保存。本发明的内置多款数据查询引擎,并且通过智能适配算法,根据实际的业务场景,通过适配最优的查询引擎,能够满足不同场景下对数据查询性能的优化,弥补了单一查询引擎的局限性;内置SAE-P引擎和SAE-S引擎,可以针对PB级、GB和TB级适配最优的查询引擎,提高数据查询效率。
-
公开(公告)号:CN109766352A
公开(公告)日:2019-05-17
申请号:CN201811379218.7
申请日:2018-11-19
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242 , G06F16/2452 , G06F21/62
Abstract: 本发明公开了一种对异构数据源统一处理的方法及系统,方法包括步骤:获取请求端数据;通过请求端数据获取用户信息并对用户进行鉴权;解析请求端数据,确定请求端数据的目标数据库;将请求端数据转换为目标数据库对应的方言;创建与目标数据库的连接并通过转换后的方言执行请求端数据并返回执行结果至请求端;系统包括数据获取模块、数据解析模块、权限配置模块、路由解析模块、语法转换模块及执行模块;本发明基于MySql二进制通信协议通信,通过将标准Sql语句转换成目标数据库方言,实现了以统一的Sql92标准语句为入口,操作不同种类数据库并返回数据,有效降低了跨数据库的异构数据源统一处理的实现成本和技术难度,提高了异构数据源统一处理的效率。
-
公开(公告)号:CN109711190A
公开(公告)日:2019-05-03
申请号:CN201811560039.3
申请日:2018-12-19
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F21/62
Abstract: 本申请实施例提供一种数据表批量授权方法及装置,具体实现原理为:根据数据源授权请求,进入数据源授权页面;在数据源授权页面中配置至少一个授权对象组,每个授权对象组包括需要授权的各个授权对象;配置授权给至少一个授权对象组的原始授权数据源,原始授权数据源包括多个原始授权数据报表;配置授权给至少一个授权对象组的原始授权数据源的授权条件;根据配置的至少一个授权对象组、原始授权数据源以及授权条件生成授权配置文件,并根据授权配置文件执行批量授权操作。如此,能够已经配置的原始数据源以及每个原始数据源下的各个原始数据报表为各个需求方进行批量授权,减少繁琐授权流程,提高数据处理效率。
-
公开(公告)号:CN109684300A
公开(公告)日:2019-04-26
申请号:CN201811384906.2
申请日:2018-11-20
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/21
Abstract: 本发明公开了一种基于可视化的大数据仓库设计方法及系统,方法包括如下步骤:通过可视化操作界面维护建库建表信息;将建库建表信息提交给JAVA服务单元;JAVA服务单元根据服务接口类型确定具体操作类型;将建库建表信息封装为Hive数据仓库可执行命令;将JAVA服务单元连接到HiveServer2服务;提交可执行命令到Hive数据仓库;在Hive数据仓库中执行命令,创建数据库或数据表。提供可视化的建库建表数据维护界面,基于hive+hbase的方式创建数据仓库数据表,简化大数据仓库新建、编辑、删除、修改的操作方式,实现大数据仓库中数据表的新建、编辑、删除、修改,实现大数据仓库中数据表的关系建立。
-
公开(公告)号:CN109671133A
公开(公告)日:2019-04-23
申请号:CN201811516353.1
申请日:2018-12-12
Applicant: 成都四方伟业软件股份有限公司
IPC: G06T11/20 , G06F3/0484
Abstract: 本发明提供一种轨迹的生成方法、装置、电子设备及存储介质,所述方法包括:获取用户在可视化生成界面的画布上的多个点击操作;基于所述多个点击操作,获取与所述多个点击操作一一对应的坐标数据;基于所述多个坐标数据和所述多个点击操作的点击顺序,依次在所述画布上显示与所述多个坐标数据一一对应的轨迹节点;基于所述多个点击操作的点击顺序,在相邻两个所述轨迹节点之间显示连接线。通过在可视化界面的画布上完成轨迹绘制工作,使用户能够完成可视化的、快速的绘制轨迹,且轨迹绘制方式简单,同时,在相邻两个所述轨迹节点之间自动显示连接线,提高轨迹生成效率。
-
公开(公告)号:CN109670324A
公开(公告)日:2019-04-23
申请号:CN201811561687.0
申请日:2018-12-20
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F21/60
Abstract: 本申请实施例提供一种数据访问方法及装置,通过从接收的数据获取请求中获取目标用户的用户信息以及需要访问的目标数据集的接口访问地址,并根据接口访问地址将数据集开放接口对应的接口名称和接口描述信息发送给用户终端,并在接收到用户终端对接口名称和接口描述信息的确认指示后,从数据集开放接口的数据集中获取目标数据集,最后根据数据集开放接口中用户信息对应的授权访问条件将目标数据集中的授权访问数据发送给用户终端。如此,可以供各个厂家通过数据集开放接口访问到厂家提供的数据,以便数据分析参考。同时通过在数据集开放接口中配置授权访问条件,无需在提供数据前进行繁琐处理操作,降低人力成本和时间成本。
-
公开(公告)号:CN109669841A
公开(公告)日:2019-04-23
申请号:CN201811568647.9
申请日:2018-12-20
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明提供了一种监控方法、装置、服务器、客户终端及监控系统,属于计算机运维技术领域。该监控方法包括:向目标客户终端发送监控指令,接收所述目标客户终端激活所述目标监控探针后获得并反馈的监控结果;判断所述监控结果是否异常;在为是时,向所述目标客户终端发送修复指令,所述修复指令携带有当前需要修复的修复内容信息,以便所述目标客户终端激活与所述修复指令对应的监控探针去修复。在本申请实施例中,通过该方式,实现了监控与修复的一体化,并且采用在客户终端设置多个监控探针的手段对新出现的异常进行监控,无需对整个系统进行升级,减小了监控系统的复杂度,为工作人员在日常运维过程中提供了方便。
-
公开(公告)号:CN109657361A
公开(公告)日:2019-04-19
申请号:CN201811574454.4
申请日:2018-12-21
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明公开了一种瓦斯含量预测方法、终端设备及计算机可读存储介质,该方法包括:根据瓦斯相关参数构建瓦斯含量预测模型;初始化第一预定数量的输入向量的值,根据输入向量的值确定最优输入向量;将除最优输入向量之外的其他所有输入向量分为两组;分别计算第一组中的每一输入向量及第二组中每一输入向量对应的新值;对两组中所有新值进行寻优操作,根据寻优结果更新最优输入向量;将最优输入向量中值赋予瓦斯含量预测模型,通过第二预定数量的样本数据对预测模型进行训练得到误差值,并继续寻找最优输入向量直至达到预设条件后停止训练。本发明能够较好的预测瓦斯含量,对于煤矿生产安全具有重要意义。
-
-
-
-
-
-
-
-
-