1970年,关系型数据库之父E。F。Codd发表《用于大型共享数据库的关系数据模型》论文,正式拉开数据库技术发展序幕。以Oracle、DB2、SQLServer为代表的三大商业数据库产品独占鳌头,随后涌现出MySQL、PostgreSQL等为代表的开源数据库,和以AmazonRDS等为代表的云数据库,拉开百花齐放的数据库新序幕。 我们知道,云计算十年为产业转型升级提供了历史性契机,但变革仍在进行,随着云计算的普及,数据库市场发生根本性改变,云厂商打破传统商业数据库的堡垒,成为数据库领域全新力量。其中以连续六年入选Gartner领导者象限的亚马逊云科技为代表,我们一起探讨:为什么亚马逊云科技能始终保持其创新性?纵观云原生时代下,亚马逊云科技数据库未来还有哪些更多的可能性? 01面对四大数据库发展趋势,亚马逊云科技打造五大数据库理念 后疫情时代下,加速了不少行业的业务在线化和数字化运营,企业对数据价值挖掘的需求越发强烈,亚马逊云科技大中华区产品部总经理顾凡详细介绍其中四大趋势: 一是伴随互联网、移动互联网的发展,电商、视频、社交、出行等新应用场景的兴起,不仅数据量大,对数据实时性要求极高,传统关系型数据库无法满足需求,因此驱动云原生数据库的出现。 二是开源数据库的广泛应用。 三是应用程序现代化对数据库提出更高要求,期待数据库拥有更高的性能、可扩展性、可用性以及降低成本,让开发人员专注于核心业务的应用开发,不用关注和核心业务无关的代码。 四是软件架构历经PC、互联网、移动互联网,再到如今的万物互联时代,其中的迭代和转型正在驱动数据库选型的变化。 在此四大趋势下,伴随企业的业务量越来越大、越来越复杂,对数据库的要求越来越高。亚马逊云科技洞察客户需求,在打造云上数据库产品时提出五大理念: 一是专库专用,极致性能;二是无服务器,敏捷创新;第三是全球架构,一键部署;第四是平滑迁移,加速上云;第五是AI赋能,深度集成。 02历经真实锤炼,五大数据库理念,持续赋能企业数智转型 顾凡表示,随着数据爆炸式增长,微服务架构与DevOps愈发流行的今天,一个数据库打天下的时代已然过去。我们需要在不同的应用场景下,针对不同的数据类型和不同的数据访问特点,为开发者和企业提供专门构建的工具。 所以亚马逊云科技提出第一个核心数据库理念:专库专用。在此理念下,推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。 这些数据库产品均经历过亚马逊内部核心业务的真实锤炼,成绩斐然: 亚马逊电商当年是Oracle的客户之一,随着亚马逊电商的应用重构和业务体量发展,亚马逊电商决定将业务迁移到亚马逊云科技里。100多个团队参与这庞大的迁移工作中,将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从Oracle迁出来。2019年,亚马逊将存储近7500个Oracle数据库中的75PB内部数据迁移到多项亚马逊云科技的数据库服务中,包括AmazonDynamoDB、AmazonAurora、AmazonElastiCache,于是亚马逊电商成为亚马逊云科技在全球的第一大客户。 从Oracle切换到亚马逊云科技后,亚马逊电商节省了60成本,面向消费者端的应用程序延迟降低40,数据库管理支出减少70。 以被誉为亚马逊云科技历史上用户数量增速最快的云服务AmazonAurora为例,其拥有科媲美高端商业数据库的速度和可用性,还拥有开源数据库的简单性与成本效益,AmazonAurora让客户满足鱼和熊掌兼得需求。 据顾凡介绍,AmazonAurora可提供5倍于标准MySQL性能,3倍于PostgreSQL吞吐量。同时提供高可用,可用区(AZ)1的高可用,GlobalDatabases可完成跨区域灾备。可扩展到15个只读副本,成本只有商业数据库的110。 医药企业九州通为药厂、供应商,搭建药厂、供应商、消费者提供供应链链条。其B2B系统的业务特点是读多写少,受促销活动、工作时间等影响,经常会出现波峰波谷落差较大的情况,读写比例在7:2或者8:3。九州通采用AmazonAurora后实现读写分离和按需扩展,整体数据库性能提升5倍,TCO降低50。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。 据权威机构预测,到2022年,75数据库将被部署或迁移至云平台。在这个过程中,亚马逊云科技是如何通过技术来帮助客户加速应用上云的?这离不开除了上述的专库专用外,以下四大理念: 第二个理念是无服务器、敏捷创新。亚马逊云科技大中华区产品部数据类产品高级经理王晓野表示,企业业务总有波峰波谷之时,如何按照企业8090的业务峰值来规划数据库的存储容量和计算资源的话,将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源,这将造成成本上的浪费。而Serverless数据库服务可完成无差别的繁复工作和自动化扩展。 AmazonDynamoDB是亚马逊云科技自研Serverless数据库,其诞生最早可追溯到2004年,当时亚马逊电商作为Oracle的客户,尽管对于关系型数据库在零售场景的需求并不频繁,70均是键值类操作,此时倒逼亚马逊电商思考:为什么要把关系型数据库这么重得使用?我们可以设计一款支持读写、可横向扩展的分布式数据库吗?后来的故事大家都知道了,这款数据库就是AmazonDynamoDB,并在2007年发表论文,掀起业界NoSQL分布式数据库技术创新大潮。 AmazonDynamoDB可为大规模应用提供支持,支撑亚马逊自身多个高流量网站和系统,如亚马逊电商网站、亚马逊全球442个物流中心等。在亚马逊电商一年一度PrimeDay,光是针对DynamoDBAPI的调用达到数万亿次,最高峰值请求达到每秒8920万次。由此可见,DynamoDB拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。 智能可穿戴设备厂商华米科技,在全球70多个国家拥有近1亿用户。仅2020年上半年,其手表出货量超174万台,截止到2021年2月,华米科技的可穿戴设备累计记录步数是151万步,累计记录的睡眠时间是128亿个夜晚,记录心率总时长达1208亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应,如何保证稳定性是巨大的挑战。 DynamoDB帮助华米科技在任何规模下都能提供延迟不超过10毫秒的一致响应时间。华米科技健康云的P0和P1级别故障减少了约30,总体服务可用性提升了0。25,系统可用性指标达到99。99,为华为科技全球化扩展提供了有力的支撑。 最新无服务数据库产品是AmazonAuroraServerlessV2提供瞬间扩展能力,真正把扩展能力发挥到极致,在不到一秒的时间内,将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理,如果按照峰值来规划数据库资源,可实现大概90的成本节省。目前AmazonAuroraServerlessV2在全球实现预览。 第三个理念是全球架构、一键部署。在全球化的今天,如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上,对数据库提出新的挑战。 亚马逊云科技提供AmazonAurora关系型数据库GlobalDatabase、AmazonDynamoDB、AmazonElastiCache内存数据库、AmazonDocumentDB文档数据库都能利用亚马逊云科技的骨干网络提供比互联网更稳定的网络支撑,以一键部署的方式,帮助客户实现几千公里跨区域数据库灾备,故障恢复大概能在一分钟之内完成,同时跨区域的数据复制延迟通常小于一秒。 第四个理念是平滑迁移、加速上云。目前,450000数据库通过亚马逊云科技数据库迁移服务迁移到亚马逊云科技中,这个数字每年都在不断增长。亚马逊云科技提供AmazonDMS、AmazonDatabaseMigrationService等工具让开发者和企业进行自助式云迁移。另外,对于迁移过程中可能会需要的支持,可通过专业服务团队和合作伙伴网络成员,为客户提供专业支持,还通过DatabaseFreedom项目帮助客户降低他们的顾虑。 今年11月,最新产品BabelfishforAmazonAuroraPostgreSQL在全球和中国两个区域正式可用,可加速企业上云的迁移,实现让企业可以利用原有的技术栈、原有的SQLServerTSQL的人员可以利用到云数据库进行创新。 第五个理念是AI赋能,深度集成。我们观察到,ML技术赋能数据库开发者,开发者无需具备机器学习专业知识,就可进行机器学习操作。在此潮流下,亚马逊云科技推出AmazonNeptune,借由DeepGraphLibrary和AmazonSageMaker驱动图神经网络。 今年8月,NeptuneML在中国正式可用,允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布,用gremlin语句调用训练成的模型在数据库里实现推理,进行欺诈检测,推荐物品。 目前,亚马逊云科技加速在中国区域服务落地,2021年至今新发布60多个数据库服务与功能。亚马逊云科技正是通过上述五大数据库理念,打造丰富的数据库产品家族,在全球智能化发展趋势下,为企业提供更快更好的数智服务,释放数据价值,并连续六年入选Gartner领导者象限,得到业界和客户的深度认可。