-
公开(公告)号:CN105069084A
公开(公告)日:2015-11-18
申请号:CN201510464150.2
申请日:2015-07-31
Applicant: 南威软件股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30312 , G06F17/3033
Abstract: 本发明一种面向海量数据高效取差集实现方法,将存储机制与索引机制相结合,实现高效取差集;在进行数据存储时就已经对存储位置进行分核分片规范,减少了获取的数据执行时间,提高了执行效率,同时在数据量不断增大的情况下,可通过增加分核数与分片数进行水平扩展,不会因为数据量增大而在取数据时耗费太多查询时间;而在取差集时,源数据集合与目标数据集合采用位数组的存储模式,存储的都是去重后数据的关键匹配元素,避免了全元素存储,减少了存储空间,避免因数据量过大而导致内存溢出,在取差集匹配时,采用的是基于哈希表的位索引模式,提高了匹配效率,在取差集数据量越大情况下,越能体现性能方面的优势。
-
公开(公告)号:CN112711472A
公开(公告)日:2021-04-27
申请号:CN202011634099.2
申请日:2020-12-31
Applicant: 南威软件股份有限公司 , 南威互联网科技集团有限公司
Abstract: 本发明属于java线程池技术领域,公开了一种使java线程池优先于队列使用最大线程数的方法、系统,重写工作队列包括java线程池默认调用工作队列,自定义工作队列并重写,拒绝接收任务;自定义拒绝策略包括当达到最大线程数后,线程池触发拒绝策略,在拒绝策略中将任务放入队列中;自定义线程池自定义线程池时,将自定义的工作队列和自定义拒绝策略当做参数进行传入,优先使用最大线程数的线程池。本发明提供的使java线程池优先于队列使用最大线程数的方法在应用场景下,期望当核心线程满了之后,能优先创建线程来执行任务,达到最大线程数后再把任务堆积到队列,加快任务的执行速度。
-
公开(公告)号:CN105069084B
公开(公告)日:2018-07-31
申请号:CN201510464150.2
申请日:2015-07-31
Applicant: 南威软件股份有限公司
IPC: G06F17/30
Abstract: 本发明种面向海量数据高效取差集实现方法,将存储机制与索引机制相结合,实现高效取差集;在进行数据存储时就已经对存储位置进行分核分片规范,减少了获取的数据执行时间,提高了执行效率,同时在数据量不断增大的情况下,可通过增加分核数与分片数进行水平扩展,不会因为数据量增大而在取数据时耗费太多查询时间;而在取差集时,源数据集合与目标数据集合采用位数组的存储模式,存储的都是去重后数据的关键匹配元素,避免了全元素存储,减少了存储空间,避免因数据量过大而导致内存溢出,在取差集匹配时,采用的是基于哈希表的位索引模式,提高了匹配效率,在取差集数据量越大情况下,越能体现性能方面的优势。
-
公开(公告)号:CN109299337B
公开(公告)日:2022-05-13
申请号:CN201811220912.4
申请日:2018-10-19
Applicant: 南威软件股份有限公司
IPC: G06F16/901 , G06F16/903
Abstract: 本发明公开了一种基于迭代的图搜索方法,提高图搜索的效率。该方法包括:将图数据库中的第一节点加入到队列中,图数据库中包括网络图中的N个节点;以第一节点作为父节点遍历图数据库,从图数据库中搜索出第二节点,第一节点与第二节点之间存在连边,且第二节点是没有被标记为已处理的节点;将第二节点加入到队列中,并将第一节点标记为已处理的节点;将第一节点从队列中弹出,判断队列中的所有节点是否被弹出,若还存在没有被弹出的节点,将队列中还剩余的节点作为父节点重新搜索图数据库,并搜索到新的节点之后更新队列,直至队列中的所有节都被弹出,结束图搜索流程。
-
公开(公告)号:CN113157762A
公开(公告)日:2021-07-23
申请号:CN202011634127.0
申请日:2020-12-31
Applicant: 南威软件股份有限公司 , 南威互联网科技集团有限公司
IPC: G06F16/2458 , G06F16/29 , G06F16/9537
Abstract: 本发明属于计算机技术领域,公开了一种基于模糊层级地理位置的规范化方法、系统及数处理终端,整理目标区域内的标准行政区划数据文件作为初始文件以供匹配层级地理位置;将行政区划文件的数据,去掉“市”“县”“区”“镇”“街道”“村”和“居委会”的特殊字眼,与原始区划名称进行排列组合;将组合行政区划数据先从最低层级的区划数据开始循环匹配层级地理位置,直到匹配到为止;如果没匹配到区划,或仅匹配到“县/市/区”层级,则在行政区划文件中新增一条行政区划数据,使模糊层级地理位置匹配到所述区划。本发明提高匹配模糊层级地理位置的数据范围和准确度,使得模糊层级地理位置发挥更实用的功能。
-
公开(公告)号:CN105095458A
公开(公告)日:2015-11-25
申请号:CN201510454526.1
申请日:2015-07-29
Applicant: 南威软件股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30551
Abstract: 本发明一种基于时间特征的支持复杂条件的大数据检索方法,按照数据保存时产生的时间戳或者根据用户自定义的时间特征,将数据信息按照时间特性进行切分,在全文检索引擎Solr上以不同的集群Collection建立索引,在用户已经知晓所查询信息产生的时间的情况下,可以快速的定位到当月的集群Collection的索引库中进行检索,可以大大缩小检索的范围,提升了效率;在用户无法确定信息产生的时间的情况下,将符合用户查询的结果提供给用户参考和选择;本发明不仅弥补了分布式数据库HBase没有二级索引的劣势,而且使得索引的创建更加灵活,满足不同需求情况下的检索,并且检索的效率能够得到保证。
-
公开(公告)号:CN110209486A
公开(公告)日:2019-09-06
申请号:CN201910490107.1
申请日:2019-06-06
Applicant: 南威软件股份有限公司
IPC: G06F9/48 , G06F3/0486
Abstract: 本发明提供一种基于界面的spark任务流程构建方法和计算机可读存储介质,包括:建立任务组件库,所述任务组件库包括复数个由spark算子封装成的任务组件,定义任务组件的配置属性和前驱后置关系和所述任务组件间的任务执行关系;提供可视化界面,显示所述任务组件,并获取用户在所述可视化界面上对所述任务组件的操作结果,所述操作结果为有向无环图;采用拓扑排序算法遍历所述有向无环图,得到spark任务执行队列;按照顺序解析所述spark任务执行队列,得到spark可执行算子队列;执行所述spark可执行算子队列,得到执行结果并显示在所述可视化界面上。本发明通过将spark算子封装成任务组件并提供可视化界面,便于用户使用spark计算引擎,且操作简单易上手,不容易出错。
-
公开(公告)号:CN109299337A
公开(公告)日:2019-02-01
申请号:CN201811220912.4
申请日:2018-10-19
Applicant: 南威软件股份有限公司
IPC: G06F16/901 , G06F16/903
Abstract: 本发明公开了一种基于迭代的图搜索方法,提高图搜索的效率。该方法包括:将图数据库中的第一节点加入到队列中,图数据库中包括网络图中的N个节点;以第一节点作为父节点遍历图数据库,从图数据库中搜索出第二节点,第一节点与第二节点之间存在连边,且第二节点是没有被标记为已处理的节点;将第二节点加入到队列中,并将第一节点标记为已处理的节点;将第一节点从队列中弹出,判断队列中的所有节点是否被弹出,若还存在没有被弹出的节点,将队列中还剩余的节点作为父节点重新搜索图数据库,并搜索到新的节点之后更新队列,直至队列中的所有节都被弹出,结束图搜索流程。
-
公开(公告)号:CN112784209A
公开(公告)日:2021-05-11
申请号:CN202011622972.6
申请日:2020-12-31
Applicant: 南威软件股份有限公司 , 南威互联网科技集团有限公司
IPC: G06F17/16
Abstract: 本发明提供一种基于Jacobi方法获取最大特征值的方法,方法包括:首先寻找给定的实对称矩阵的非主对角元素中按模最大元素,使用Jocobi方法中定义的旋转矩阵进行第一次迭代;从第二次开始的迭代中寻找主对角元素中按模最大元素;对该位置的列进行搜索模最大值,剔除对最大特征值没有影响或影响不大的迭代;当矩阵的非对角元素的模最大值小于给定的值,则停止迭代;计算特征向量,之后根据特征向量计算最大特征值;提高计算效率。
-
-
-
-
-
-
-
-