来源 :金融界2024-02-21
据国家知识产权局公告,上海汽车集团股份有限公司申请一项名为“一种数据统计方法、装置、设备及存储介质“,公开号CN117573724A,申请日期为2023年12月。
专利摘要显示,本申请公开了一种数据统计方法、装置、设备及存储介质,在Spark平台的基础上对Hive进行数据统计,无需重新开发一套新程序,Spark基于对Hive的数据量查询指令,生成查询执行计划,执行所述查询执行计划,以读取Hive中的表数据信息进行统计。统计过程中,创建每个待统计表对应的Rdd,并读取每个Rdd的分区对应的一个或多个task的数据量,以确定每个Rdd对应的数据总量。而本申请中创建的Rdd的名称与对应存储数据的待统计表的名称相对应,因此可确定每一个待统计表的表数据总量。基于此,可实现高效率、近实时地响应数据量查询请求,并且通过Spark对task数据的自动读取,可提升对表数据统计的准确性。