来源 :中国电信云荐社区2024-01-04
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。
该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极致性能。
平台的成功上线，体现了天翼云在大数据自主创新和国产化替代的实践路上又迈出了坚实的一步。此次上线经过了组件验证、数据同步验证、计算任务验证、准生产并跑等一系列严格测试验证，保证了平台的卓越性能和稳定性。平台具备超过10PB的集群存储能力，存储超2亿个文件，实现了对20多类外部数据源的集成，不仅能够支持广西某公司的经营分析和精确管理等大数据应用，还可以处理计费话单查询、标签查询和数据集市等20多种高复杂业务，目前广西某公司EDA域的核心任务已经全部由翼MR平台承载。同时，平台具有可视化界面配置能力，能够简化实时计算开发流程，助力优化省内5G登网、位置营销、卡槽营销、流量经营等实时标签能力建设。
在批量数据处理方面，平台基于Spark3组件增强了大规模数据批量处理性能，相较于过往的作业效率，提升了1.2倍；在交互式数据分析方面，通过对Doris进行自主研发改造，数据查询效率提升了50%，并实现了租户行列权限的精细化管理；此外，平台采用业界内当前流行的Flink CDC和Hudi技术，实现后端业务平台和新一代运营业务系统等原生数据全增量入湖能力，进一步完善了数据汇聚场景。
天翼云大数据平台翼MR坚持以“技术突破创新、核心自主可控、全栈业界一流”为愿景，致力于打造一个“国产化、高性能、贴业务、赋发展”的大数据平台。随着数字化转型进程持续深入，实现从底层基础软硬件到上层高阶云能力的“国产化替代”，成为推动数字经济高质量发展的关键一环。天翼云将坚持科技创新，持续促进国产化、高性能的大数据产品在具体场景中的应用落地，以更多前沿技术成果助力行业提质增效。