腾讯控股(00700.HK)

腾讯大数据平台每日实时数据计算量超30万亿条 

时间:19-11-06 12:07    来源:中证网

中证网讯(记者 董添)11月6日,腾讯云副总裁、腾讯数据平台部总经理蒋杰在Techo开发者大会上表示,经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。随着资源管理平台核心TKE和分布式数据库TBase正式对外开源,腾讯正在成为大数据领域开源最全面的公司。 

据了解,腾讯内部目前有超过100万台服务器,腾讯云联合所有业务部门,利用业务空闲资源打造一套算力共享平台,该算力弹性资源池有20万的规模,大数据平台每天有1500万的分析任务、30万亿次的实时计算量,并且每天数据接入条数达35万亿条数据。此外,腾讯云的分布式机器学习平台,能支撑1万亿维度的数据训练。  

同时,从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI,用来解决数据训练和算法的问题。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。 

据了解,为支撑海量业务发展,腾讯已经建立了“大数据+AI”的双引擎技术架构。其中,最底层为分布式存储层,存储结构化及非结构化数据;第二层是资源调度层,做CPU、GPU和FPGA的管理;第三层是计算层、分析层、数据采集层;顶层则是业务应用层。通过四层完整的技术架构,自下而上为腾讯的整个应用生态保驾护航,保障亿万用户能安全顺畅地享受到腾讯的优质服务。