公开(公告)号：CN117215873A

公开(公告)日：2023-12-12

申请号：CN202311206549.1

申请日：2023-09-18

Applicant: 济南浪潮数据技术有限公司

Inventor： 和思扬 ,  黄召军 ,  王帅阳

IPC: G06F11/30 ,  G06F11/32 ,  G06F16/17 ,  G06F16/182

Abstract: 本发明涉及大数据业务技术领域，公开了一种对数据执行链路监控的方法、系统、装置、设备及介质，该方法包括：获取数据访问请求执行过程中每个步骤的执行信息；根据执行信息中的上下游关系信息，得到数据访问请求执行过程的目标执行链路；根据执行信息，得到每个步骤的执行频次、数据访问请求执行过程的总执行耗时和异常步骤；将执行频次、总执行耗时以及异常步骤进行汇总，得到目标执行链路的告警关联信息。本发明解决了日志存在信息记录杂乱，排查日志的时间成本高，影响了监控数据执行链路的时效性的问题。

公开(公告)号：CN116389110A

公开(公告)日：2023-07-04

申请号：CN202310348842.5

申请日：2023-03-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 马上坤 ,  和思扬 ,  王帅阳 ,  霍存可

IPC: H04L9/40 ,  H04L67/566 ,  H04L67/563 ,  H04L67/5681 ,  H04L61/30

Abstract: 本发明公开了一种大数据存储服务端的权限管理方法、装置、系统及介质，涉及计算机领域，通过接收客户端发送的文件请求，文件请求包括处于大数据存储服务端可访问的目标服务端可使用的目标租户和/或目标命名空间的信息以及请求内容，再根据目标租户和/或目标命名空间的信息获取目标租户和/或目标命名空间的授权策略，根据目标租户和/或目标命名空间的授权策略确定客户端是否有权限进行请求内容，当客户端有权限进行请求内容时，将请求内容发送至目标服务端，以便目标服务端响应请求内容，实现了客户端对服务端中不同的租户和命名空间的精细化访问管理。

公开(公告)号：CN116974823A

公开(公告)日：2023-10-31

申请号：CN202310954198.6

申请日：2023-07-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 和思扬 ,  黄召军 ,  王帅阳

IPC: G06F11/14

Abstract: 本发明提出了一种HDFS写故障恢复方法、计算机设备及存储介质，其中，方法包括：在HDFS系统中预设任务管理器和数据重写队列，并执行以下步骤：通过任务管理器监控写请求的数据写入过程；响应于监控到数据节点抛出异常，由任务管理器截获异常并生成唯一的故障标记；由任务管理器控制将写请求中的数据并转存到预设的数据重写队列中，并利用故障标记分别标记数据以及数据节点；跳过对当前数据节点的数据写入并执行对下一数据节点的数据写入；由任务管理器从数据重写队列中获取数据，并根据故障标记重新向对应的数据节点发起数据写入操作。本发明能够通过任务处理器拦截异常，避免HDFS系统在发现异常后即执行数据块回收，并能够利用重写队列实现单点恢复。

公开(公告)号：CN116089221A

公开(公告)日：2023-05-09

申请号：CN202310141771.1

申请日：2023-02-17

Applicant: 济南浪潮数据技术有限公司

Inventor： 和思扬

IPC: G06F11/30 ,  G06F16/17

Abstract: 本发明公开了一种日志管理方法，包括以下步骤：利用解析器接收客户端发送的日志参数并写入配置文件；向服务端发送刷新命令；响应于服务端接收到刷新命令，读取配置文件中最新的日志参数；将日志参数加载到当前的服务进程以使最新的日志参数实时生效。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案主要应用于动态管理HDFS服务的日志配置，支持实时修改日志级别，实时调整日志滚动产出的策略。解决目前社区版HDFS日志使用的诸多弊端，提高便捷性。一方面利于高效问题定位，消除业务停滞等不利影响，另一方面，磁盘作为大数据业务场景的宝贵资源，更为灵活的日志产出策略有助于存储空间的高效利用，防止磁盘写满等影响。

公开(公告)号：CN115002072A

公开(公告)日：2022-09-02

申请号：CN202210612273.6

申请日：2022-05-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 霍存可 ,  王帅阳 ,  贾涛 ,  和思扬

IPC: H04L61/3015 ,  H04L61/4511 ,  H04L61/103

Abstract: 本发明公开了一种基于JMX的获取数据方法、装置及介质，适用于虚拟机监控技术领域。通过获取当前请求域名查询得到公用命名空间，若该域名为已注册的域名，则通过轮询命名空间集合，也就是在多个命名空间内获取目标命名空间，若未查询到或者若该域名不为已注册的域名，则将公用命名空间作为目标命名空间。将现有的一个命名空间划分为多个命名空间，由现有的一个域名访问一个命名空间模式变为当前请求域名访问多个命名空间模式实现“多对多”的获取方式，降低对命名空间访问时获取数据的耦合性，同时提高访问数据的速度，多对多的模式更具有灵活性，进一步提高用户的体验感。

公开(公告)号：CN114996209A

公开(公告)日：2022-09-02

申请号：CN202210611200.5

申请日：2022-05-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 和思扬

IPC: G06F16/11 ,  G06F16/16 ,  G06F16/182

Abstract: 本申请公开了一种配置修改方法、装置、设备及可读存储介质，该方法包括：获取配置修改请求；根据配置修改请求对本地配置文件进行修改；完成修改后，向HDFS服务端发送配置刷新命令；向HDFS服务端提供本地配置文件对应的读取服务，以便HDFS服务端获取最新配置，并修改服务进程中对应变量使最新配置生效。本申请，每次修改配置后通过刷新使配置实时生效，避免了服务启停造成的业务波动，保证了大数据业务的运转稳定性的同时，节约运维人员的操作成本。

公开(公告)号：CN115510471A

公开(公告)日：2022-12-23

申请号：CN202211295512.6

申请日：2022-10-21

Applicant: 济南浪潮数据技术有限公司

Inventor： 和思扬

IPC: G06F21/60

Abstract: 本发明公开了一种权限管理方法、计算机可读存储介质、系统及装置，涉及管理领域。接收到安全模式开启指令时，判断安全模式开启指令是否具有安全模式开启权限；若是，根据安全模式开启指令获取需要设置安全模式的文件的标识信息和读写权限；根据该文件的读写权限，设置与标识信息对应的该文件的读写状态以使该文件进入安全模式。本申请首先确定安全模式开启指令是否具有安全模式开启权限，也就是具有权限后才可以设置文件的读写权限，提高了服务器的可靠性，同时可以使某一个特定的文件进入安全模式，针对性的为文件提供安全模式的同时，可以设置该文件的读写权限，使得该文件不再可以随意进行读取和/或写入，提高了服务器的安全性。

公开(公告)号：CN116455602A

公开(公告)日：2023-07-18

申请号：CN202310231236.5

申请日：2023-03-08

Applicant: 济南浪潮数据技术有限公司

Inventor： 贾涛 ,  王帅阳 ,  和思扬

IPC: H04L9/40 ,  H04L9/32 ,  H04L9/08

Abstract: 本发明属于计算机领域，具体涉及一种共享验证方法、系统、设备及可读存储介质。其中，方法包括：在各个节点将通用的自增数据的预定值作为初始标识数据，并基于所述初始标识数据周期性的生成标识码；基于所述标识码生成校验秘钥，并将所述校验秘钥作为客户端请求中的访问秘钥对客户端的请求进行验证。通过本发明提出的一种共享验证方法，通过通用的具有自增特性的数据作为标识数据为参考生成对应的标识码，然后以标识码生成对应的校验秘钥，可以保证任何节点无需数据通信也能产生同样的校验秘钥，有效提高集群的安全性和可靠性。

公开(公告)号：CN114968939A

公开(公告)日：2022-08-30

申请号：CN202210611117.8

申请日：2022-05-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 陶钰昕 ,  和思扬 ,  王帅阳

IPC: G06F16/16 ,  G06F16/172 ,  G06F16/182

Abstract: 本申请公开了一种文件合并方法、装置及计算可读存储介质，涉及分布式系统领域。通过接收客户端生成并发送的文件合并请求；其中，文件合并请求包含预设的目标文件的参数和源文件的参数，目标文件为大文件，源文件为小文件；解析文件合并请求中的目标文件的参数和源文件的参数；根据目标文件的参数和源文件的参数判断是否满足预设条件；若是，将源文件追加至目标文件中，以进行文件合并。由此可知，上述方案通过解析客户端发送的文件合并请求，对请求中的目标文件和源文件的参数进行判断，当满足预设条件时将源文件追加至目标文件中，实现了文件合并，提高了文件的读写性能。

公开(公告)号：CN116382565A

公开(公告)日：2023-07-04

申请号：CN202310073533.1

申请日：2023-01-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 霍存可 ,  王帅阳 ,  和思扬 ,  贾涛

IPC: G06F3/06

Abstract: 本发明公开了一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质，涉及数据处理技术领域，该方法包括：HDFS服务器获取客户端设备发送的待存储数据；判断待存储数据是否属于目标文件块；其中，目标文件块为HBase WAL日志的文件块；若是，则将待存储数据加入到下刷队列和应答队列；若否，则将待存储数据加入到下刷队列，并在目标文件块下刷完成后，将待存储数据加入到应答队列；本发明通过判断待存储数据是否属于目标文件块，实现对HBase WAL日志的识别，使WAL日志的数据能够在下刷落盘时返回应答信息，实现基于HBase WAL机制的直接应答顺序下刷的数据落盘，提高了HBase数据存入的速度。