集装箱(英文Container)是美国商人麦克莱恩上世纪50年代的发明,这项看似简单的技术彻底变革了全球的航运、物流甚至制造业。集装箱的使用让长途运输,特别是海运的效率大幅度提升、成本大幅度降低,不仅促进了全球贸易的发展,更加速了全球化的进程1。2001年,加拿大软件工程师雅克·杰利纳斯在开源操作系统Linux中创建了VServer项目,将另一种同样命名为“Container”(中文技术社区翻译成“容器”)的技术引入到数字领域2。随后更多的和集装箱相关的名词在云开源项目中相继出现:docker(“码头工人”),kubernetes(希腊文“领航员”),点燃了新一代云技术爆发式发展CONTROL ENGINEERING China版权所有,“集装箱”也成为新一代“云原生”技术体系的基础。
基于云原生技术构建企业的数字基础设施,实现企业全生产周期的要素数字化,加速数据与生产业务的融合贯通,云原生成为发展数字经济的核心驱动力,是企业数字化转型的关键抓手。在数字化时代,新锐企业有机会成长在云原生技术平台上,成为引领行业的新一代数字原生企业。始于“容器”的云原生技术体系正改变计算系统底层的架构模式、技术标准以及管理工具,是对现有产业数字化技术架构的重要升级与变革,将对中国新基建领域带来深远的影响。
一云原生内涵及关键技术
一云原生定义
Linux基金会下的非盈利组织云原生计算基金会(CNCF)负责制定全球云原生技术的发展方向,在它的网站上用19种语言给云原生技术做了定义3:
“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统做出频繁和可预测的重大变更。”
从应用价值方面来解读云原生定义,建立在其架构上的应用具备以下优势:
1、异构资源标准化,容器技术有效解决了异构环境的部署一致性问题,无论是公共云(公有云)、专有云(私有云)或者混合云,云原生技术促进了资源的标准化,为服务化、自动化提供了基础;
2、加速数字基础设施升级解放生产力,降低用户数字化技术的使用门槛,提高资源的复合利用率,变革研发运营的生产方式,打破组织壁垒,实现研发与运维的跨域协同,提升交付效率,解放生产力;
3、提升业务应用的迭代速度,赋能业务创新。云原生技术实现了应用的敏捷开发,大幅提升交付速度,降低业务试错成本,快速响应用户需求,增强用户体验加速业务创新。
从技术特征方面来解读云原生定义,它具备以下超越传统云计算的典型特征:
1、极致的弹性能力,不同于上一代云计算技术虚拟机分钟级的弹性响应,以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应;
2、服务自治、故障自愈能力,基于云原生构建的平台具有高度自动化的机制,可实现应用故障的自动处理与重启,具有极强的自愈能力;
3、大规模、跨平台部署能力,可实现应用跨区域、跨平台甚至跨服务商的规模化部署能力。
二云原生关键技术
容器、微服务和Serverless构成云原生技术内核的3个关键词。
(1)容器
容器技术成为云原生世界技术爆炸奇点,同集装箱的特点类似,打包在容器中的应用可以保证在不同云的运行环境中自由安装、运行、升级、切换,容器本身消耗的系统资源非常少。用技术的语言,容器的核心理念是:基于虚拟化技术提供轻量化标准化的软件运行环境,与其他实例共享系统内核,重点解决应用交付的环境一致性问题。容器技术的发展分为3个阶段:
2006年谷歌正式提出云计算概念控制工程网版权所有,直至2012是容器技术积累期;
2013年Docker技术出现后,各种云原生技术和服务不断涌现,直至2019年是技术爆发期;
2020年以来,云原生技术进一步降低技术门槛、深化云数融合、云智融合、高性能计算的发展,推动云数智高质量融合发展。
(2)微服务
云原生推动了软件架构的演进:从单体架构->SOA->微服务架构。其中单体架构类似于手抄卷,其中几乎没有可复用的部分,在需要修改更新的部分需要大面积翻新(重抄);SOA架构类似于雕版印刷,虽然各服务间相对独立(单个雕版),但可复用的服务粒度较大,且受制于总线的处理能力。微服务架构像是活字印刷,其中各功能(字)各自独立,且可随意扩容,组合成为可提供服务的应用(书页)。
(3)Serverless(无服务器)
Serverless化是一种架构理念,其核心思想是将提供服务资源的基础设施抽象成各种服务,以API接口的方式供给用户按需调用,真正做到按需伸缩、按使用收费。同传统云计算虚拟机按时间租用的方式相比,Serverless做到了按使用收费、不使用就不收费的能力。
这种架构体系结构消除了对传统的海量持续在线服务器组件的需求,降低了开发和运维的复杂性控制工程网版权所有,降低运营成本并缩短了业务系统的交付周期,使得用户能够专注业务本身。在无服务器架构的理念和方法下,有很多种无服务器的技术形态,目前成熟落地的有3 种形态,函数即服务(FaaS)、后端即服务(BaaS)和Serverless 容器。
三因云而变的云原生技术底层
(1)云原生芯片
云原生技术的应用普及对计算技术本身也产生了革命性的影响,芯片技术首当其冲。引发芯片云原生化演进的原因主要有两个:
一是应用负载模型的精细化、动态演进,要求芯片内核技术升级。从架构设计上,芯片内核的线程处理分割需要更加细粒度,独立内核需要有独享的二级缓存,来能够最大程度的去适应云原生环境中需要平行扩展的微服务化应用,为用户提供更高性价比的服务;
二是超大规模数据中心和边缘数据中心的需求猛增,这两类数据中心在延时、散热、功耗等需求与传统数据中心不同,这对CPU的部署密度和能耗的要求越来越高,基于ARM架构的芯片成为云原生芯片的主要发展方向,比较典型的产品有阿里云的倚天710芯片、AWS的Graviton系列芯片等。
(2)云原生操作系统
功能性解耦是云原生架构设计的核心要素,业务逻辑与服务功能的分离使得用户感知的底层系统的技术栈分层显著上移,这要求操作系统的服务边界同步上移。Linux、Windows等经典操作系统都是面向硬件交互的,在云原生技术的影响下,软件功能模块的调度交互也下移至操作系统层面,这就要求操作系统也要因云而变,云原生操作系统通过底层系统全栈技术的协同融合,能够为云原生平台和应用提供高效和创新的系统服务。当前云原生操作系统的技术壁垒还较高,比较典型的产品有阿里云的“袋鼠”、腾讯云的“遨驰”等。
(3)云原生网络
云原生网络的基本目标是满足云原生服务的网络端点和服务间的互通性、安全性和负载均衡要求。Kubernetes已经成为容器编排的事实标准,容器网络也需与Kubernetes的调度机制相匹配。容器网络接口CNI(Container Network Interface)是现行的网络接口标准, CNI接口只实现创建、删除容器时的调用方法,其他所有的网络能力都交由网络厂商实现增值服务,加速了网络方案的繁荣。自CNI标准发布到2022年,云原生网络已经演进近8年时间,积累了大量的用户落地案例和大规模的实践案例。
(4)云原生数据库
云原生数据库是云计算发展到成熟阶段,数据库针对云计算架构所作的定制化改造。在传统数据库的系统架构下,必须是紧耦合的设计方式,才能最大效能地发挥系统的优势。云原生数据库在技术架构上的创新使得数据库具备了高扩展性、易用性、迭代快速、成本降低等特点,能够有力地支持企业向数字化、在线化、智能化演进。
高扩展性:云原生分布式数据库与底层的云计算基础设施分离,所以能够灵活及时调动资源进行扩容缩容,以从容应对流量激增带来的压力,以及流量低谷期因资源过剩造成的浪费。生态兼容的特点,也让云原生数据库具备很强的可迁移性。
易用性:云原生分布式数据库非常易于使用,它的计算节点在云端部署,可以随时随地从多前端访问。因其集群部署在云上,通过自动化的容灾与高可用能力,单点失败对服务的影响非常小。当需要升级或更换服务时,还可以对节点进行不中断服务的轮转升级。
快速迭代:云原生分布式数据库中的各项服务之间相互独立,个别服务的更新不会对其他部分产生影响。此外,云原生的研发测试和运维工具高度自动化,也就可以实现更加敏捷的更新与迭代。
节约成本:建立数据中心是一项独立而庞大的工程,需要大量的硬件投资以及管理和维护数据中心的专业运维人员。此外,持续运维会造成很大的财务压力。云原生分布式数据库以较低的前期成本,获得一个可扩展的数据库,实现更优化的资源分配。
二中美云原生产业发展态势
云原生将中美ICT 技术代差从30年缩短至2-3年,为中国技术破局提供了换道超车的可能,但当前也应清楚认知中美云原生产业技术存在的客观差距,这在一定程度上反映了中美两国对云原生技术的价值认知和产业成果转化程度的差异。
认知差异:得益于整体技术水平和市场的成熟,美国联邦政府对云计算的商业和战略价值的认知更为深刻,云计算相关体系的刺激政策发布时间较中国均提前2-4 年。同时在云计算的应用场景方面,美国已经迈过大规模企业上云阶段,开启实质性的云上价值挖掘阶段,相比之下中国的政策还在以鼓励用云为主。
技术差异:云原生技术生态由美国企业开创,美国开源项目贡献度远超其他国家。云原生的概念以及最核心的容器、容器编排引擎项目均由美国科技公司推出,云原生领域最具影响力的开源生态系统CNCF 是由Google、RedHat 和微软等公司牵头创立,目前全球主流的云计算科技企业绝大部分都是CNCF 会员,而开源的生态系统无疑是推动云原生技术创新的源动力。根据CNCF 统计,在Kubernetes、Contained、Envoy、Prometheus 等核心技术项目中,美国贡献度排名第一其占比极高,Google、RedHat、IBM 等美国企业贡献度名列前茅。
中国云原生技术起步虽晚于美国,但在中国超大规模应用丰富的互联网环境孕育下发展非常迅速。一方面中国科技公司加大技术投入,CNCF开源社区核心项目贡献度提升,并引领细分领域技术的创新。CNCF整体贡献度中国科技公司打破美国垄断进入前十,Kubernetes项目贡献度仅次于Google、RedHat,同时中国科技公司贡献并主导了Dargonfly、KubeEdge等新项目。另一方面阿里云、腾讯云、华为等企业已具备全球竞争力,陆续入Gartner、Forrester等国际权威咨询机构云原生类竞争分析报告,打破美国企业独占的格局,进入头部序列。阿里云连续两年入选Gartner《竞争格局:公有云容器服务》,并于2021年与AWS并列成为全球容器产品最完善的云服务厂商。Forrester发布的《The Forrester New WaveTM: 函数及服务平台)Q1 2020》报告中仅有美国和中国服务商入选。
用户差异:运用云原生技术已在美国国防科工等领域应用,特别在美国国防部“云战略”中扮演重要角色。2021 年5 月26 日,美国国防部公布美国本土以外(OCONUS)的战术边缘云战略,旨在通过云创新和弹性实现军事主导的全领域优势,支撑全球海陆空天网联合作战,应对国防挑战。不同军兵种可以基于JCF 开发特定任务的AI/ML 算法,并通过MLOps 流水线,基于Kubernetes云原生保证的开发测试环境与战术边缘侧生产环境的一致性特性,将人工智能/ 机器学习作战能力快速部署到战术边缘,从而快速、适应性地实现信息优势和决策优势。战术边缘侧的数据,也可以通过软件定义广域网,反馈传回到CONUS的云上进行分析、训练和评估。
在中国,商业领域的云原生化应用逐步推广。随着数字化转型的深入,企业需要充分享受云计算带来的红利,需要让业务能力生于云、长于云,由现在的ON Cloud 进阶到IN Cloud。随着云原生技术的不断演进和持续发力,云原生应用呈现出繁荣生态,云游戏、新零售、金融、政务、交通、能源等各个领域开始呈现出越来越多的云原生应用实例。云原生在各个行业的应用逐渐普及,助力企业云原生化转型。互联网、泛互联网行业率先开启了云原生化改造,以微服务为架构模型、容器为技术载体、实现产品研发运营一体化的云原生应用模式,助力企业以灵活应用架构承载和应对多变的业务需求,实现了业务短期迭代、产品快速更新、应用弹性伸缩。随着用户对云原生技术的认知和使用进入了新的阶段,云原生化需求也从互联网行业走向越来越多的传统行业,从行业头部企业逐步下沉到中小规模企业,从领先企业尝鲜变为主流企业必备,云原生已经成为新常态。根据中国信通院从2020 年和2021 年组织的云原生应用十佳案例评选可以看到,金融、零售、能源、工业等企业正开始走进云原生时代,拥抱以容器、微服务、DevOps 为主的技术应用,支撑业务创新。
三 从云原生到数字原生
一 数字生产力的崛起
世界产业革命的两次重大变迁:从马力到算力,从IT 到 DT。每一次产业技术的兴起,均产生一组协同作用、相互依赖的产业以及一个或更多的基础设施网络,带来传统利益格局、产业体系、制度文化的重构。
马力经济的第一阶段:动力革命(蒸汽时代),在英国打开了机械化大门,1771 年阿克莱特在克隆福德的工厂开张,机械化设备的大规模应用极大地削减了棉纺织业和其他产业的成本,进而导致了河运、水道及收费公路等基础设施的快速建设,蒸汽机成为关键技术。马力经济的第二阶段:能源革命(电气时代),世界范围的电话、电报、电力网络成了新的基础设施,电力成为关键技术。
算力经济的第一阶段:计算革命,英特尔微处理器的问世推动人类进入信息时代。信息密集型组织成为赢家,知识成为资本,无处不在的网络结构,计算机成为关键词,世界正式迈入数字经济1.0阶段;算力经济的第二阶段:数据革命,世界进入数字经济2.0阶段,云计算、大数据、物联网、人工智能、5G/4G成为主要技术关键词,而云原生也在这个阶段成为重要技术领域。美国、中国等均在云原生领域巨大投入,布局未来核心技术,在数字经济时代打造国家的核心竞争力。
二云原生之上的全面数字原生
IDC 于2017 年提出了数字原生企业(digital-native enterprise)的概念,预测了一种由技术强驱动、以数据为核心的颠覆性运营革新的企业形态的出现,这种前瞻性的预测成为了企业数字化转型的灯塔。但是当时能够支撑产业大规模数字化转型的底座技术尚未成熟,数字原生更多是描述一种愿景和最终形态。同年云计算技术领域再次迎来转折点,Kubernetes统一云原生编排技术,技术生态发展路径逐渐清晰,为云原生技术的快速普及发展提供了基础,云原生元年就此开启。现如今,基于云原生技术来构建企业的数字基础设施实现全生产周期的要素数字化,进而加速数据与生产业务的融合贯通,实现数字化转型已经成为广泛共识。因此在现阶段数字原生的更准确定义应是Cloud-Native Digital,即基于云原生技术实现的全面数字原生。
典型数字原生企业如Snowflake,它成立于2012 年,总部位于加州圣马特奥,主营云数据存储的创业公司,旨在为客户提供一种基于云计算的数据存储、管理和分析服务。Snowflake利用了当今企业技术的两个最大趋势:大数据处理和公共云。Snowflake的核心产品基于云的数据仓库,该仓库可在三个主要的公共云之间无缝运行,与最初设计用于内部部署数据中心的旧数据仓库形成了鲜明对比。Snowflake产品的优势来自三个核心的系统特性:一款全托管的SaaS产品,几乎将运维负担降到了零;支持结构化和半结构化数据的组合使用;最后,服务弹性为数据仓库市场带来了一种新的、有趣的价格模型。2020年9月,Snowflake在成立8年后在纽交所上市并创造了历史,成为纽交所历史上最大的软件企业IPO。
四政策建议
(1)加快云原生技术的自主研发,实现关键技术自主可控
美国政府于2020年推出“清洁网络”计划,从运营商、应用商店、应用程序、云服务、电缆等五个领域,阻碍中国包括云计算在内的数字技术全球化发展,同时通过技术布局撬开中国市场,进一步巩固其在云计算等领域的霸主地位。中国亟须构建自主可控的技术生态体系,从欧美长期主导的旧有IT技术体系中突围,以云原生为突破口抢占下一个科技制高点。
云原生代表了全新的计算机体系架构设计思想,其技术体系覆盖数据中心管理、全球网络调度、芯片与服务器设计、存储、操作系统、数据库、大数据平台、应用软件开发平台、人工智能等各种组件,已经成为云计算领域颠覆性创新技术,并成为企业数字化转型的技术引擎。加快云原生技术的自主研发,将成为中国在数字技术上缩小差距、“换道超车”的历史机遇。同时,也只有对完整产业链中各项技术实现“自主可控”,中国云计算才可能形成完整的自主可控产业能力,将技术主动权握在自己手里。
(2)发挥政府先行先试引领作用,引领技术发展
美国政府通过把CIA、NSA、国防部等国家级关键系统授予亚马逊、微软等商业云计算公司控制工程网版权所有,既减少了政府自建系统的投资预算和持续运维成本,又极大推动了公众和企业使用云计算服务,推广云计算应用,激活社会创新动力。中国2020年GDP总量已相当于美国的70%,但中国公共云市场规模(193.8亿美元)仅相当于美国的十分之一,公共云基础设施建设与美国差距巨大。
政府上云引领示范作用,有助于加速中国全社会数字化的进程。近年来,我国颁布一系列云计算相关文件。国务院、工信部、发改委等提出推动中小企业业务向云端迁移、实现百万家企业上云。工信部发布《云计算发展三年行动计划(2017-2019年)》,提出组织实施一批重点产业化创新工程www.cechina.cn,强调突破云计算核心关键技术、加强云服务平台建设、推进行业信息系统向云平台迁移等。2020年,中共中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》,鼓励运用大数据、人工智能、云计算等数字技术,在应急管理、疫情防控、资源调配、社会管理等方面更好发挥作用。
(3)设立新学科,加速专业人才培养
国内云厂商经过过去十多年的技术积累,在云原生技术上已与美国差距不大,电子支付、健康码、互联网+等基于公共云服务的业务创新也帮助产业链自上而下推动云技术与基础设施快速迭代,让中国在数字经济以及以云原生、人工智能、区块链为代表的数字技术方面有机会赶超美国。
在云原生技术领域,鼓励国内政、企、学联动,积极参与国际科技学术组织与国际标准制定,加强中国在云原生国际标准中的影响力。鼓励国家科研机构、大专院校、高科技企业,积极参与云原生相关国际组织工作,避免全球云计算规则标准被西方国家主导,增强中国在下一代云计算领域全球话语权。高校可考虑专门开设下一代云计算技术的相关课程,培养中国云计算领域新锐人才。