【ZOL中关村在线原创新闻】近日,国际知名存储品牌Sandisk闪迪正式推出创新开源工具SPRandom(SandiskPseudo-Random,闪迪伪随机),采用伪随机预处理方法并与I/O基准测试工具fio深度整合,帮助解决了企业级SSD基准测试中的预处理耗时难题,将超大容量SSD的预处理时间从数天、数周压缩至数小时,重新定义了企业级SSD测试的行业范式,为全行业技术升级注入新动力。
1 高容量SSD普及 传统预处理流程遭遇瓶颈
存储厂商向客户交付企业级SSD之前,需要经历漫长的产品测试及认证流程,其中一个环节便是SSD预处理(Preconditioning),通过模拟真实工作负载,让SSD经历反复的数据保存、复制与删除操作,直至能够持续达到稳态性能,确保后续测试数据的准确性,为测试所要求的真实工作负载做好准备。
行业内通用的SSD传统预处理通常采用两阶段方式:先进行全盘顺序写入覆盖所有地址,再进行随机写入以重新分配SSD的预留空间(OP)(即SSD中用于数据传输的额外容量),最终实现SSD稳态性能。这一流程在部署容量较低(16TB以下)的SSD时尚可使用,但随着存储容量需求的不断攀升,预处理时间也随之急剧增加。
虽然SSD容量在持续提升,但其最高写入速度并未同步提高,这是导致预处理时间显著增加的根本原因。闪迪公司企业级SSD架构团队杰出工程师Steven Sprouse指出,“在研发过程中,‘运行、报错、修复’循环时间是一项重要指标。它决定了我们一天能运行多少次测试,并找出及修复问题。”
在实际测试中,小容量SSD仅需数个小时即可完成单次循环,但对于当前市场所需的超大容量SSD而言,常规的预处理耗时已达12小时,有时甚至需要24小时或更久,这正是SPRandom的研发初衷。
2 高效开源 重新定义SSD预处理流程
SPRandom的诞生,源于一场跨越十年的技术沉淀与团队协作。Steven Sprouse介绍,十多年前,一位数学背景深厚的闪迪工程师曾推导出描述SSD内部预留空间(OP)分配机制的公式。由此,Steven Sprouse与其他几位工程师萌生了利用该公式实现快速预处理的构想,由于当时SSD容量较小,预处理耗时仍相对较短,该方案并未被认为有迫切实施的必要。直至超大容量SSD成为当下行业趋势,预处理瓶颈愈发突出,这一尘封的构想终于落地为实用工具。
作为一款一体化伪随机算法工具,SPRandom的核心突破是“用精准算法替代暴力写入”。它将SSD划分为多个重叠区域,各区域重叠部分与数学公式预估的预留空间相对应,同时确保每个地址按伪随机序列至少完成一次写入,仅需单次物理写入,即可实现预处理的所有目标——覆盖全部逻辑地址、分配预留空间、让SSD达到稳态性能。这种创新方式大幅压缩了预处理时间,32TB SSD的预处理可缩短至约6.2小时,64TB及以上产品也仅需数小时即可完成,提速幅度超过90%。
除了高效快捷,SPRandom的三大核心亮点更彰显了其行业价值。一,提升可扩展性,能随着SSD容量增长灵活适配,彻底打破“容量越大、耗时越长”的魔咒;二,实现业界突破,其兼容性广泛,作为开源工具,它不仅适用于闪迪自身产品,更可适配其他厂商的SSD,打破品牌壁垒;三,增强客户价值,不仅能帮助企业客户节省大量测试时间与成本,确保从使用第一天起就能获得真实稳态的性能数据,更能推动全行业SSD基准测试标准的优化升级。
Steven Sprouse深耕存储行业数十年,他坚信工程师的核心价值不在于专利与个人声望,而是通过与同仁协作,以卓越工程技术解决全行业共同面临的挑战,分享知识比独占知识能创造更长远的价值。闪迪也希望通过开源SPRandom,成为行业生态的共建者而非旁观者。Steven Sprouse说:“我们相信,从长远来看,这将有利于闪迪及全行业的发展。这是推动更高容量SSD早日普及的一小步。”目前SPRandom已正式集成至开源fio平台,便于行业内广泛应用与深入优化。
3 携手行业 共创全球创新社区
“我们面临着一系列能够推动行业变革的重大机遇。鼓励全公司各级员工都着眼于更广阔的行业生态系统,思考我们在这片广阔领域中的角色定位,这不仅对我们工程师而言是难得的机遇,对闪迪公司的长远发展同样意义重大。”Steven Sprouse说。
自成为独立公司以来,闪迪始终鼓励更多的工程师像Steven Sprouse一样思考,立足行业生态,并参与全行业协作,而SPRandom正是这一理念的生动实践,它的发布不仅解决了超大容量SSD基准测试中的核心瓶颈,还传递了闪迪开放协作的行业理念,更是闪迪引领行业从“各自为战”走向“协同共赢”的重要体现。
随着AI训练、数据密集型运算等场景的快速发展,超大容量SSD的需求将持续攀升,SPRandom的普及有望进一步缩短行业产品的采用与部署周期,推动存储行业向更高容量、更高效能、更标准化的方向发展,以更多创新技术赋能行业生态,共建高效、开放的存储产业新未来。

评论
更多评论