18日,在”第九届全球云计算大会”上,中国移动云计算工程师喻涵发表《云边协同带来家庭智能组网新机遇》的主旨演讲,表示智能组网平台是中国移动服务于海量家庭宽带市场的关键技术系统,云边协同给家庭市场带来新机遇。
业务情况与云边协同基础架构
在千兆网络以及5G+AI、物联网、大数据等技术驱动下,家居产品已经迎来智慧变革,释放出巨大价值和潜力。在此背景下,中国移动智慧家庭运营中心构建了基于云边协同场景的基础设施架构,并在上个月获得了工信部名下机构组织评议的分布式云十佳案例。作为全行业市场高份额的家庭宽带运营商,2020年,中国移动家庭市场量收双升增势强劲,截至2021年4月底,中国移动家庭宽带客户数突破2亿,家宽市场份额占比近50%
云边协同基础架构以移动公有云为核心,建设云边协同的体系和智慧家庭业务系统。面向多接入边缘计算场景,提供快速部署迭代发布、多版本、能耗管理、自治运维、快速分发和海量连接管理等功能,并接入中国移动自主研发的andlink协议,串联或者孵化出了多个关键产品。比如行业份额第一、付费用户一千多万的安防看家,品类排行第二、终端量超过2亿的智能控制APP和家亲;还有千万级用户体量的智慧社区、智能语音等5G+AI应用,以及在智慧家庭生态中的家庭能力开放平台。目前已通过多级云边平台架构,构建了3万余边缘子业务单元,实例服务三十余省份。
家庭智能组网的支撑平台架构,分别在研发运营主数据中心节点、省级节点或公有云及边缘节点,部署其所需的组件。通过裸金属服务器、超融合整机设备,利用作业运行时运行各个模块。主体的资源服务层由开放技术组件结合集成组件、研发组件和云原生体系所构建。在资源服务层之上,根据业务需求,自主运行合适的中间件。而在数量较多的业务子单元情况下,智能组网有一整套边缘微服务治理体系,主要为拓扑、逻辑和网格三套工具,它们分别实现了容量、配置、一致性、服务发现、注册、生成管理以及基于链路所需的qos、切流、apm等服务。智能组网有专门的负责连接管理和维护的组件,在连接和资源间实现较为缓和平衡的调度策略,尽可能的保障各家庭场景业务的稳定和家庭用户的体验。对此,中国移动使用了cncf项目dragonfly来负责基础资源和作业资源的分发,包括容器镜像、部分轻量的ott和一些前台资源。
喻涵介绍,智能组网支撑平台按业务场景来说属于一种IOT平台,由于承载了大量2C的业务,因此和全网用户家庭宽带的联系也较为紧密。平台的连接特征有两个:一个是海量,另一个是要求心跳保活。心跳保活的意义是在于信令面能正确得判断是否数据上报和作业下发,这对响应逻辑的稳定有一定的挑战,而云边协同的模式正好贴合多级管理的架构需求。同时也给智能组网提供了显著的优势,比如更贴近服务局点的低时延,多节点的容灾可靠,和可根据属地需要进行的定制分析。
中国移动目前部署移动公有云、集团的IT资源池、省公司节点和IDC作为基础资源的底座,使用多类开源框架作为业务承载单元。比如组网调度业务是k8s pod,安防业务是openstack云主机,转码场景使用了FaaS,三类AI场景使用了GPU资源,千兆宽带业务VRAR使用了云存储。值得一提的是,智家中心目前负责中国移动一部分CDN节点的建设,在向网络云转型的技术路线上,对云边协同也做了一些技术积累。
混合云集群与云原生应用
轻量级的k8s对边缘节点来说,是比较通用化的方案,其特点是容易部署扩容迅速。大部分智能组网云原生业务的基础要求有两点,分别是具备核心功能的基础镜像和开放可配置的API。只具备核心功能,经过精简后的镜像可以让分发和落地更快,有助于构建一键式的流水线作业。而开放可配置的API可以满足不同家庭业务和分省差异化需求,进而去实现分省能力开放平台所需的能力。
智能组网平台对openstack最常见的运用在基于存储rbd层快照的快速云实例扩容。以一个有状态服务为例,安防场景的流媒体云主机集群,在初期的上线后,会持续有端侧设备的放装,视频流发送至流媒体云主机集群进行切片、加密、暂存、合并传输;待达到处理瓶颈后,直接进行流媒体VM的复制,将所需的逻辑进行批量复制,并由信令平台增加对云主机的注册和调度。中国移动通过此技术,保障了智能安防业务的快速上量,并在一年的时间内就达到了运营商第一的位置。
函数计算对于智能组网的匹配有以下两个场景,一是短连接场景,不会因副本的动态变化而影响用户感知,二是平台根据不同作业的负载进行周期性平衡,从而达到整体节能的效果。喻涵认为,能耗是当今时代的一大议题。以智能组网的场景为例,晚上在家进行实时转码作业,通过通知机制,当rpc、消息或日志的计数达到阈值后,平衡触发器会工作调整对应的策略阈值并更新资源配置。
中国移动对GPU的运用上使用了阿里开源的显存调度方案,在原生k8s的基础上,把显存作为一种资源进行调度。虽然云计算业内都在讲究差异化竞争、垂直解决方案,但大量提交通用性解决方案的厂商或团队对整个产业和社区的技术贡献是不可磨灭的。
作为一个重要的业务单元,云存储能提供多形态的存储,包括块设备、文件以及对象存储。针对广泛用户的数据资产需求,中国移动使用了大量移动公有云提供的公有云对象存储,在安防、相册等场景解决了关键痛点。总体来看,业务和资源的解耦能减轻业务规模发展的技术压力,同时基于ceph提供了多集群的存储。
在原生bluestore的架构上,拆分了部分原生版本融合在一起的逻辑,比如对象GC/LC和索引,按需开启。中国移动通过全局监控去观测整体运行情况,包括基础容量预警和吞吐压力变化。因为云边协同的场景涉及到了不同集群的属地管理,是以监控和分析数据的共享也是一个技术细节。智能组网对存储的应用包括资源集群和ceph-csi的云原生集成、XR和超高清等家庭内容管理的内容中心以及安防基于S3的对象存储等。
在主中心节点,中国移动对开源技术的充分应用结合行业支撑方案构筑了混合云模式下智能组网的基础底座。
在硬件设施和安全设备上,基于基础的技术栈,包括kvm、容器运行时、数据中心下一代网络等,建设了OpenStack虚拟化管理平台、K8s容器管理平台、GPU管理平台、Ceph内容存储平台和hadoop大数据平台。其中包括开源组件和合作厂商的定制组件,将基础云计算框架的功能封装为了几大类通用IT服务,构建为智能组网及智慧家庭服务的前台能力,包括通用基础、连接承载、AI服务、数据运营和终端智造。
技术演进路线
随着从集中式的组网管理,到分省组网,通过逐步更新的云化技术和流程设计,过渡到云边协同智能组网。其中,中国移动持续性的使用了很多行业里的优秀方案,如kubeflow、dragonfly、tikv、faas等等。在端侧,wifi6支持多切片、广覆盖、高速率和低时延以及Easymesh动态自组网、配置同步、漫游管理和自动愈合的技术特性,必将改变传统网络使用习惯,从而能够有效促进产品性能与用户体验的提升。
喻涵表示,在边云侧,将更大化使用移动云的能力,基于移动云的连接和计算,构建各业务平台的云化、线上化、智能化;在云原生新基础设施的基础上,进行更多的实践并不断思考和优化,比如效率更高的分布式容灾、家庭场景探索、数据智能和基于国产soc的集成等。
面向未来,数字经济的蓬勃发展,为家庭智慧组网市场发展创造了良好的局面。中国移动将初心不变,秉承“开放合作、共享共赢”的发展理念,以开放心态,致力提升用户、业务感知,携手产业伙伴,搭建应用生态,推进智慧家庭市场与行业发展,创造美好智慧生活新未来。
评论前必须登录!
立即登录 注册