航天信息申请spark计算调度专利，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储

　　据国家知识产权局公告，航天信息股份有限公司申请一项名为“一种spark计算调度的方法、装置、电子设备及介质”，公开号CN117573368A，申请日期为2023年12月。

　　专利摘要显示，本申请实施例提供一种spark计算调度的方法、装置、电子设备及介质，方法包括：分析总体资源情况以及执行spark任务所需的资源情况，并根据总体资源情况以及执行spark任务所需的资源情况确定任务拆分的策略；根据任务拆分的策略，分别对各条spark任务运行所需的资源进行拆分，获得具有不同范围的参数值的spark任务命令；将具有不同范围参数的spark任务命令进行任务调度并编写成脚本，根据业务需要进行脚本的执行。本申请实施例解决了spark计算存储大批量的数据到Hbase时任务执行过慢甚至失败的问题，通过任务拆分的策略，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储。