应对数据爆发增长挑战,从容挖掘数据价值,亚马逊云科技如何做?

1.jpeg

产业和生活的数字化继续纵深,软件与网络用自己的方式“定义”世界,数据则在成为水和电一样的“基础设施”,成为各行业成长的驱策力之一。终端不断衍生,应用和服务持续丰富,在数据的爆发式增长之下,如何从容挖掘

产业和生活的数字化继续纵深,软件与网络用自己的方式“定义”世界,数据则在成为水和电一样的“基础设施”,成为各行业成长的驱策力之一。终端不断衍生,应用和服务持续丰富,在数据的爆发式增长之下,如何从容挖掘其价值,对企业而言尤为重要,而这在相当程度上有赖于存储服务的创新。在这方面,拥有丰富、完善的云存储产品,并保持技术、服务升级节奏的亚马逊云科技,前不久分享了其新近的思考,也对其存储服务“全家桶”做了相关解读。

数据增长衍生三大关键问题

亚马逊云科技大中华区产品部总经理陈晓建分析认为,数据增长主要带来了三个方向的关键问题:其一,关于敏捷和成本,即如何应对海量数据增长所带来的成本急速上升与数据存储服务敏捷性能之间的矛盾;其二,关于数据多样化需求,即如何设计不同的存储服务,满足不同业务对来自不同渠道、不同采集方式、不同性质的业务数据的需求;其三,关于数据安全与合规。

对应来看,亚马逊云科技设置了三种应对策略:一是,智能分层,即通过智能分层彻底解决数据的成本和数据的可用性、敏捷性之间的矛盾;二是,专门构建,即开发多种针对于不同场景下数据应用的存储产品来解决企业应用多种多样、需求各有不同的问题;三是,统一数据保护,即通过一站式云服务备份系统,解决数据安全合规的问题,同时解决数据备份所带来成本增加的问题。

事实上,上述三项策略,可以看做依据具体需求,对亚马逊云科技存储服务“全家桶”所做的再梳理,其中也包括了持续创新的技术内容。

据了解,从2006年亚马逊云服务推出第一个云存储服务Amazon S3以来,到现在在整个行业已经拥有非常丰富、完善的云存储产品,涵盖从块存储到对象存储、文件存储、备份、容灾以及边缘网络和数据传输等存储服务。其中也包括过去一年共发布的130多项新的存储服务及功能,包括为归档数据提供秒级云上检索的Amazon Simple Storage Service(Amazon S3)Glacier Instant Retrieval存储等级,将智能分层功能拓展至云原生文件存储Amazon Elastic File System(Amazon EFS)等。

存储服务“全家桶”提供精准对策

具体来看:

智能分层,直观表现为存储等级的细分,即通过不同方式、以不同的优先级等实用不同数据,对应不同的存储产品。这里对应三个重点解决的问题是,数据成本,不同数据与存储产品的对应,以及数据归档对低廉成本和快速检索的兼顾。

先看成本降低的工作。亚马逊云科技从2006年推出第一个对象存储的产品Amazon S3,至今不断优化成本。一个可观的实例是,2021年12月,亚马逊云科技宣布将全球九大可用区域的两个主要产品价格降低了31%,一个是Amazon S3 Standard In Frequent Access,一个是Amazon S3 One Zone In Frequent Access。

再看数据与存储产品的对应。亚马逊云科技依据不同使用频率划分数据的“冷热”层级,通过数据温度的概念区分数据类型,“热、温、冷、冻”的四层划分,成为了相关工作的重要指导。接下来就是数据与存储服务的对应。亚马逊云科技从2006年以来开发多达8层存储层级,用户可以根据自己的数据类型、需要的读写性能、可以接受的成本来选择其中任何一种存储层级,来应对整个业务的需求。

最后看成本与效率的兼顾。以具体产品为例,去年12月亚马逊云科技推出S3 Glacier Instant Retrieval(GIR),用户可以进行低成本毫秒级检索归档数据。

专门构建,表现为通过不同存储的服务来满足不同业务的对大量差异数据的使用需求,应对不同的工作负载。

亚马逊云科技当前根据不同的工作负载,将云端存储分为两大类,一类是云原生的现代化应用,一类是存在了很多年的云端企业应用。

针对云原生的现代化应用,亚马逊云科技存储已经提供的基础服务是:其一,Amazon S3自2006年开始设计,就是云原生的应用,大量的应用和非常多的云存储都是放在Amazon S3上的,它事实上已经成为了对象存储工业界的事实标准;其二,EFS系统,作为一个共享文件系统,类似于容器、无服务器和机器学习等应用,能提供很好的服务。

针对存在了很多年的云端企业应用,亚马逊云科技云端做了四项分类:一是,Windows工作负载;二是,计算密集型工作负载;三是,企业业务迁移上云;四是,大数据分析Linux工作负载。

就此有四款Amazon FSx典型产品:Amazon FSx for windows、Amazon FSx for Lustre、Amazon FSx for OpenZFS、Amazon FSx for NetApp ONTAP。

其中,Amazon FSx For Lustre在高性能计算中应用广泛,适用于于生命科学、自动驾驶、模拟仿真、视频渲染等领域;Amazon FSx for OpenZFS提供高吞吐量、低延时的服务,可用于大数据模拟与分析、机器学习、音视频处理等领域;Amazon FSx for NetApp ONTAP支持全托管全功能的云上NetApp ONTAP存储。

统一数据保护,就是要解决系统应用复杂度、安全合法合规适应性以及备份产生的额外成本等问题。

就此亚马逊云科技推出云上一站式备份服务Amazon Backup。据称,其有两点优势,一是,能够很好的覆盖亚马逊云科技所提供的每一个存储产品,包括前面提到的块存储、对象存储、文件存储、数据库,同时也能够支持其他各类像计算和存储网关的产品;二是,通过简化备份存储,通过确保安全合规和降低成本来解决前面的三个问题,简化备份管理是通过图形的界面帮助用户降低整个运维的成本,用户还可以通过预设的策略进行自动化的备份,降低手动备份带来的问题。

安全合规方面,Amazon Backup深度集成了亚马逊云科技自带的KMS数据加密服务,整个备份操作权限数据访问权限都可以用IAM进行细颗粒度监控,满足个人信息安全规范等安全合规的要求。

成本控制方面,冷热分层的设计被延续,陈晓建举例说,,如果按照95%的备份数据做冷备份库,把5%的备份数据放在热备份库来处理,冷备份库的成本按照热备份库的20%来计算,用户通过冷热分层策略可以有效降低约75%的成本。

一个现实的例子是,澳大利亚领先石油和天然气生产商Santos就利用了Amazon BackuP实现数据自动备份保护并满足企业合规需求。

综上来看,亚马逊云科技存储服务正继续作为IT行业的关键基础设施,让数字化转型纵深中的各行各业都能从存储服务中、从数据中收获价值。正如陈晓健在分享中说的那样:“我们从2006年开始到今天整整16年时间,一直在持续了解客户的诉求,来持续进行科技的创新。我们一直被追赶,但从未被超越,但是我们还保持Day1的心态,把自己当成在2006年3月14日那天一样,希望能够在以后为用户带来更多的价值。”(钉科技原创,转载务必注明“来源:钉科技”)


文章详情:应对数据爆发增长挑战,从容挖掘数据价值,亚马逊云科技如何做?

产品图.jpg

赞 (0)
上一篇 2024年11月22日 20:28
下一篇 2024年11月22日 20:28