-
公开(公告)号：CN113672644A
公开(公告)日：2021-11-19
申请号：CN202110839379.5
申请日：2021-07-23
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/2455 , G06F16/27
Abstract: 本发明提供一种基于ES服务的深度检索优化方法、系统、终端及存储介质，包括：采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值；根据起始值确定次级协调节点的目标数量，选取目标数量的次级协调节点；获取检索目标分布的所有分片，并将所有分片平均分配至各次级协调节点；汇总次级协调节点上传的检索结果得到查询数据i d和评分排序结果，并根据查询数据i d和评分排序结果向客户端返回查询数据。本发明降低了深度检索的内存溢出导致程序崩溃的风险，提升了ES服务深度检索的业务处理能力和可用性。
-
公开(公告)号：CN113656363B
公开(公告)日：2025-01-07
申请号：CN202110805256.X
申请日：2021-07-16
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/174 , G06F16/16 , G06F16/182
Abstract: 本发明提出了一种基于HDFS的数据去重方法、系统、设备和存储介质，该方法包括计算待去重工作节点下文件块的标识值，将文件全路径与标识值组成键值对，然后将键值对聚合成第一映射数组并发送至命名空间；在命名空间，二次聚合映射数组得到第二映射数组；查询第二映射数组中键值对的标识值在映射表中如果已经存在，获取第二映射数组中键值对对应的块索引信息，根据块索引信息，将重复标识值块对应的块信息替换为第二映射数组中键值对的标识值对应的块信息。基于该方法还提出了一种基于HDFS的数据去重系统、设备和存储介质。本发明基于HDFS的数据去重，实现数据去重服务化，免去外部依赖，可有效降低存储成本。
-
公开(公告)号：CN113806043A
公开(公告)日：2021-12-17
申请号：CN202110998467.X
申请日：2021-08-27
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供一种任务调度均衡优化方法、装置，所述方法包括如下步骤：动态监测并收集集群中各实例服务和实例服务所在节点的资源信息；根据收集的资源信息结合设置的节点资源控制参数对实例服务所在节点的可用资源空余程度进行验证评估，根据验证评估结果进行节点的优先序列调整，输出优先任务队列列表；接收优先任务队列列表，并解析相关队列任务发送至对应的实例服务作为协调节点进行任务执行。通过动态监控集群的各实例服务运行环境情况进行服务可用验证，得出不同实例服务间的实际软硬件和网络环境差异并加入到任务调度分发的判断机制中，进而完善任务调度机制中轮训调度算法无法实现真正均衡的问题。
-
Patent Agency Ranking
公开(公告)号：CN113672644B
公开(公告)日：2024-10-11
申请号：CN202110839379.5
申请日：2021-07-23
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/2455 , G06F16/27
Abstract: 本发明提供一种基于ES服务的深度检索优化方法、系统、终端及存储介质，包括：采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值；根据起始值确定次级协调节点的目标数量，选取目标数量的次级协调节点；获取检索目标分布的所有分片，并将所有分片平均分配至各次级协调节点；汇总次级协调节点上传的检索结果得到查询数据i d和评分排序结果，并根据查询数据i d和评分排序结果向客户端返回查询数据。本发明降低了深度检索的内存溢出导致程序崩溃的风险，提升了ES服务深度检索的业务处理能力和可用性。
-
公开(公告)号：CN113746894A
公开(公告)日：2021-12-03
申请号：CN202110836160.X
申请日：2021-07-23
Applicant: 济南浪潮数据技术有限公司
IPC: H04L29/08 , H04L12/721 , H04L12/741 , G06F9/50 , G06F16/182
Abstract: 本发明提供一种基于HDFS RBF路由层实现负载均衡方法、装置，所述方法包括如下步骤：通过设置客户端配置项的值设置客户端路由选择策略；读取选择策略对应的值；根据读取的值调用路由选择策略对应的选择方法选择一个路由服务地址返回给客户端。路由选择策略包括主机负载策略、连接数策略、轮询访问策略；所述的主机负载策略，根据所有路由服务节点CPU利用率，选择CPU利用率值最小的路由服务节点的策略；连接数策略，根据当前路由服务节点的客户端连接数，选择连接数最少的路由服务节点的策略；轮询访问策略，客户端对所有路由服务节点排序并做序号标记，按照顺序轮询连接路由服务节点的策略。解决Router的负载均衡问题。
-
公开(公告)号：CN113704342A
公开(公告)日：2021-11-26
申请号：CN202110872432.1
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/26 , G06F16/2457 , G06F16/2455 , G06F16/242
Abstract: 本发明提供了一种轨迹伴随分析的方法、系统、设备和存储介质，方法包括：获取采集对象的原始轨迹数据，对所述原始轨迹数据进行空间和时间维度的编码，并将编码后的轨迹数据存储到数据库；响应于接收到查询指令，将所述查询指令解析为所述数据库存储字段的行键范围，并根据所述行键范围返回符合所述查询指令的轨迹数据；对所述轨迹数据进行碰撞，并根据碰撞结果从所述数据库中获取临近点数据；以及对所述临近点数据进行伴随分析，获取目标号码的伴随号码和伴随相似度。本发明通过多种碰撞方式组合，使得能快速从数据库中获取对应轨迹数据，降低伴随分析的计算量，提升伴随分析的速度和准确率。
-
公开(公告)号：CN113704342B
公开(公告)日：2024-10-18
申请号：CN202110872432.1
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/26 , G06F16/2457 , G06F16/2455 , G06F16/242
Abstract: 本发明提供了一种轨迹伴随分析的方法、系统、设备和存储介质，方法包括：获取采集对象的原始轨迹数据，对所述原始轨迹数据进行空间和时间维度的编码，并将编码后的轨迹数据存储到数据库；响应于接收到查询指令，将所述查询指令解析为所述数据库存储字段的行键范围，并根据所述行键范围返回符合所述查询指令的轨迹数据；对所述轨迹数据进行碰撞，并根据碰撞结果从所述数据库中获取临近点数据；以及对所述临近点数据进行伴随分析，获取目标号码的伴随号码和伴随相似度。本发明通过多种碰撞方式组合，使得能快速从数据库中获取对应轨迹数据，降低伴随分析的计算量，提升伴随分析的速度和准确率。
-
公开(公告)号：CN113656363A
公开(公告)日：2021-11-16
申请号：CN202110805256.X
申请日：2021-07-16
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/174 , G06F16/16 , G06F16/182
Abstract: 本发明提出了一种基于HDFS的数据去重方法、系统、设备和存储介质，该方法包括计算待去重工作节点下文件块的标识值，将文件全路径与标识值组成键值对，然后将键值对聚合成第一映射数组并发送至命名空间；在命名空间，二次聚合映射数组得到第二映射数组；查询第二映射数组中键值对的标识值在映射表中如果已经存在，获取第二映射数组中键值对对应的块索引信息，根据块索引信息，将重复标识值块对应的块信息替换为第二映射数组中键值对的标识值对应的块信息。基于该方法还提出了一种基于HDFS的数据去重系统、设备和存储介质。本发明基于HDFS的数据去重，实现数据去重服务化，免去外部依赖，可有效降低存储成本。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.023 seconds)
