全闪存引领SDS革新换代

本文介绍了软件定义存储(SDS)的发展,指出SDS2.0典型特点是分布式+NVMeoF+RDMA支持,研发门槛高。阐述存储三大主流趋势,分析SSD硬件架构变化,探讨全闪SDS2.0发展方向,还提及降本增效等系统目标,最后介绍了专注该领域的大道云行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SDS已经成为存储市场的主流,SSD全面替换HDD的拐点也已出现,国产化替换的趋势也是巨大推动力,我相信,中国也必然诞生专业的存储巨头。

图片

软件定义是本次专场一直在讲的东西,SDS1.0、SDS2.0的区别是什么呢?我从自己的角度提供了一个参考给大家:首先SDS到底是什么,我们可以把SDS讲作是全闪存储操作系统,也纳入到基础软件的范畴里来。现在有很多SDS,那2.0的典型特点是什么?简单总结一下是分布式+NVMeoF+RDMA的支持。软件定义不仅仅是指分布式,还可以是单节点系统。如果使用高性能硬件,而软件效率很低,这并非是2.0,还需把硬件能力完全发挥出来,称之为裸金属效率。我给了一个定义,是否把裸金属效率发挥到90%以上,不能只发挥10%或是20%,如此会浪费大量硬件能力。

经常会有人问SDS研发的门槛有多高,从个人角度来讲是非常高的。第一,目前几乎没有成熟的面向全闪存的开源软件系统;第二,如果从0到1构建系统,而且是领先于开源的先进系统,这并非是一件容易的事情;第三,我们自己来做,我们的全闪块存储核心系统在50万行代码以上,再加上外部系统预计在100万行的量级。100万行量级系统软件写出后,要如何进行产品验证,如何保证质量。我认为只具备性能是不行的,还要有稳定可靠性,二者缺一不可。

当前知名的开源SDS里大部分都不是面向全闪存设计的,Cluster FS,Ceph、MinIO,我们都认为是1.0系统。而英特尔的DAOS是面向全闪设计,但成熟性需要大家一起验证。

这是我给出的三个定义,也回答了业界很多人的疑问。简单总结一下存储三大主流趋势:一是软件定义存储已经成为存储市场主流;二是全闪存在全面替换HDD市场,包括混闪市场,这里有一个巨大的驱动力是成本;三是国产信创实现全面替换,现在已经可以公开来讲,我们现在用信创存储去替换当前很多核心的应用系统。

图片

目前在全球数据中心里,美国全闪占比达到57%,中国占比不到30%,但我们的增长速度会非常快。之前提到全闪能全面普及的一个重要因素是成本,十年前,有机会接触到高性能SSD。当时的盘容量很小很贵,价格至少是目前的10倍以上。而当前个人消费品笔记本已经全部实现普及化,数据中心也是一样,因此来看价格是更大的武器。今年上半年从实际交付结果来看,基本上闪存价格是机械盘价格2倍左右,有些甚至更低。预计大概在2025年左右,大家可期望其它介质出现之后成本会进一步降低。以前高性能使用闪存,一些对性价比要求比较高的用机械盘,这种局面再过几年就不会再出现,我们期待全面普及的市场状态可能会出现。

图片

这张图里是美国的一些老牌厂商和一些比较领先的闪存厂商的竞争力。联想凌拓,Dell EMC、Pure Storage、DDN等都是闪存方面表现非常好的厂商。国内开源用的比较多,基本上都是SDS1.0,我们在做的全闪存姑且认为是SDS2.0的厂商。目前会发现美国做全闪存厂商非常繁荣,而且做的时间也比较久,国内还处于起步阶段,我们也希望和国内厂商一同努力,有望改变生态格局。

我提出了信创主存储的概念,一是能否跑数据库,数据库对性能、IOPS、可靠性要求非常高,存储能不能跑数据库是非常有力的证明。二是能不能跑超算智算,其需要超高带宽,高IOPS能力。大道云行作为一家厂商立志于跑数据库,跑超算智算,并不是做一些非常温的数据、冷的数据。

SSD硬件架构也发生了很多变化。第一,QLC是SSD价格进一步穿透的巨大推动力,如何把QLC用好是一个非常大的挑战。二、目前SSD容量和硬盘容量基本上差不多,大家看到消息PLC单盘达到上百TB,甚至PB级的盘,又该如何用好。三、我们之前都是用的Gen3,现在Gen4、Gen5已经出来,系统如何适配。同时,网络的发展对于做全闪存系统来说是非常重要。只要把时延、稳定性、可靠性解决掉,我认为分布式全闪存可以完全替代以前集中式、中高端的FC存储。 

未来全闪SDS2.0的发展方向将是如何,结合我们自己研发的实践,大概从三个方面探讨一下:

图片

第一,闪存介质引领创新。QLC有典型的特点,写寿命较差,很多厂商也在努力把QLC各方面指标接近TLC,未来其成本是非常大的优势。如何把QLC用在主存储领域里,而不是用在一些读密集型应用系统里,这是我们正在努力的一件事,有望通过QLC+SCM组合的方式实现。

第二,新型系统架构驱动变革。SSD性能好,但存在很多缺点,GC、写放大、写寿命等问题,该类问题如果无法解决,系统就会产生很多不确定性问题。比如延迟变大,性能波动比较大。解决方法一是性能提升;二是成本把控;三是专用的SSD,四是大容量,大容量虽然增加了挑战复杂性,但能够加速替换机械盘的市场的步伐。

三、计算型存储,准确来讲是计算应用型存储,我们现在做的存储都是通用标准型。有些厂商只针对数据库做存储,对IO模型非常了解。根据调查,当前多数客户无法从市场中获取最有效方案。针对该问题,我们可以做到把应用理解透彻,做应用感知,做比较强语义,复合语义,我认为这是一个方向。

图片

我们从整个系统角度和实践角度来讲:

一是对扩展性的追求永无止境,我们在这些新的SSD特性下,系统能否有进一步扩展性。现在使用的SSD很多系统依赖于本地文件系统,或者Ceph的系统。有些厂商在上面已经出现了对象盘,KV盘,整个系统直接通过KV接口直接落到SSD上,这是我们探索的工作,这样就会打破本地文件系统或者中间层面IO消耗,这是我们未来要实现超大规模的方式。

二是存储性能,我们现在可以做到千万级IOPS,文件系统目标是百万级OPS。

三是降本增效,是大家都感兴趣。我认为有两个方向可以实现,其一是把硬件本身能力发挥90%以上,其二是满足用户需求的前提之下,降低成本。

四是AIOps智能运维,当前AIOps较为初级,需要进入深水区,我希望把这个东西真正做到有实际应用的地方。

其中降本增效,我们有一些具体的想法。一是能把QLC分层分级,以后的分级可能是SSD之间的分级,未来可能会出现新的介质,会有新的分层。二是现在很多分布式系统里都用副本,副本问题是效率比较低,能否用EC完全替换,我们在系统里已经实现EC全面替换副本,副本是可选的,EC是默认的。三是存算分离,现在很多系统内计算上不需要放本地盘,我们之前已经得到了一个基本的结果,远程映射过来MF盘达到或者超过本地SSD能力。四是可计算硬件,我们也会把存储里一些功能效率转移到上面。五是AIOps,我们希望真正实现有价值的AIOps,而并不是很简单的模式。

图片

最后,简单介绍一下大道云行,我们是一家专注于全闪SDS2.0的厂商,当前已具备全系列存储产品。全闪分布式块存储主要应用场景为数据库,全闪分布式文件存储主要应用场景为超算智算,全闪分布式对象存储主要应用场景为智能制造。

图片

以上是我特别崇拜的一些厂商,一是全球做得特别好的EMC,全闪做得特别好的PURE STORAGE、HPC超算第一的DDN等。我一直把这几家企业作为我们的标杆,希望未来中国的市场能够有独立的存储厂商,我们也希望和更多合作伙伴一同在中国市场上努力,研发出好产品。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值