-
公开(公告)号：CN110471777B
公开(公告)日：2022-04-15
申请号：CN201910568205.2
申请日：2019-06-27
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种Python‑Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文，能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求；利用协程而不是线程来守护子进程，协程之间自主调度；能够将任务计算结果或状态异步返回以便实时响应用户的请求，满足了Web实时交互式使用的需求；利用了Spark任务间调度的特性，对于一些耗时较长的任务，给予用户是否终止该任务的权限，能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。
-
Patent Agency Ranking
公开(公告)号：CN116414834A
公开(公告)日：2023-07-11
申请号：CN202310265513.4
申请日：2023-03-13
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/22 , G06F16/245 , G16B25/00
Abstract: 本发明公开了一种大规模基因表达数据的索引构建方法及数据检索方法，其中索引构建方法为：1)为每一类别的基因表达数据分别构建一对应的解析器；类别i的基因表达数据对应的解析器记为解析器i；2)针对每一条类别i的基因表达数据，利用解析器i对其进行解析，得到该条数据的元数据并保存到一文档，然后根据检索需求将类别i中的文档中的不同字段设置不同的索引类型，得到类别i的索引；3)将同类别数据的索引设置相同的别名且仅对上层应用暴露该别名，将各索引中具有相同语义的键key设置相同的名称和索引设置；将各键key做并集，并将每类索引返回的键值基于这个并集做投影从而获取各类数据的公共信息和独有信息，生成统一检索视图。
-
公开(公告)号：CN112395315A
公开(公告)日：2021-02-23
申请号：CN202011146272.4
申请日：2020-10-23
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明提供一种日志文件的统计与异常探测方法及电子装置，包括：将日志文件转化为事件流；解析不同事件流中的事件，对得到的结构化日志数据，进行前期聚合或后期聚合得到日志统计结果；对连续时间窗口内的结构化日志数据进行聚合，得到以请求量为元素的数组A与包含结构化日志数据时间戳及IP元信息的数组B；通过机器学习方法对数组A进行分析；利用数组A与数组B的关联关系，得到异常发生的时间窗口和IP元信息；对异常发生的时间窗口内的IP请求进行响应聚合，依据聚合后响应分布信息，得到异常发生时间和请求IP。本发明能将异构日志数据处理为同构结构化数据，以便统计分析需要；可依据日志进行业务网站异常流量探测，发现爬虫或恶意攻击。
-
公开(公告)号：CN112418596A
公开(公告)日：2021-02-26
申请号：CN202011084995.6
申请日：2020-10-12
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种生物多样性保护规划的方法，其步骤包括：1)根据设定的生物多样性保护规划条件确定规划范围、规划粒度；其中每一规划范围包括一个或多个规划粒度，根据所得各规划粒度建立一规划粒度列表并根据每一规划粒度的范围确定对应规划粒度内的待保护物种；2)根据每一所述规划粒度内的物种构建一系统发育树，得到多个系统发育树；3)计算每一所述系统发育树的系统发育多样性指数，生成规划范围内多样性指数键值对；4)根据各多样性指数键值计算每一规划范围的物种多样性分布，根据物种多样性分布确定优先保护区域。本发明能够快速计算小粒度单位的系统发育多样性指数分布并确定合理的规划结果。
-
公开(公告)号：CN112418596B
公开(公告)日：2022-10-11
申请号：CN202011084995.6
申请日：2020-10-12
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种生物多样性保护规划的方法，其步骤包括：1)根据设定的生物多样性保护规划条件确定规划范围、规划粒度；其中每一规划范围包括一个或多个规划粒度，根据所得各规划粒度建立一规划粒度列表并根据每一规划粒度的范围确定对应规划粒度内的待保护物种；2)根据每一所述规划粒度内的物种构建一系统发育树，得到多个系统发育树；3)计算每一所述系统发育树的系统发育多样性指数，生成规划范围内多样性指数键值对；4)根据各多样性指数键值计算每一规划范围的物种多样性分布，根据物种多样性分布确定优先保护区域。本发明能够快速计算小粒度单位的系统发育多样性指数分布并确定合理的规划结果。
-
公开(公告)号：CN110471777A
公开(公告)日：2019-11-19
申请号：CN201910568205.2
申请日：2019-06-27
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文，能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求；利用协程而不是线程来守护子进程，协程之间自主调度；能够将任务计算结果或状态异步返回以便实时响应用户的请求，满足了Web实时交互式使用的需求；利用了Spark任务间调度的特性，对于一些耗时较长的任务，给予用户是否终止该任务的权限，能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。
-
-
-
-
-
Search Results
6
records
(took 0.026 seconds)
