存储“中间件”将带来百亿美元市场

基于云平台产生的各类负载对计算有着新的要求，这种算力的输出对底层存储同样有着较大考验，需要提升云端的读写能力、存储密度、虚拟化的并发性，以及对实际业务的兼容优化，这就需要在硬件架构与软件平台之间“插入”一层“中间件”，而这或许会孕育出百亿美元的市场。

传统的CPU微处理器架构可以分为三层：L1、L2、L3，而英特尔傲腾数据中心持久性内存(PMEM)中加入了L4和L5的功能，更多想要做的是进行一个负载工作比例的分配。比如有的客户觉得这部分的比例只想拿DRAM来做，另外一部分想交给傲腾数据中心持久性内存来做，整体是这样的框架。

同时，还要考虑小一点客户的需求，比如小客户CPU量没有那么大，或者不用跑那么多数据量，所以他们不一定使用傲腾数据中心持久性内存的全部功能，对傲腾数据中心持久性内存本身考虑的不仅是带来的成本上的降低，或者是完全替代DRAM，英特尔要考虑的是如何做L4和L5中间负载比率的分配，同时另外要关注的一个点是在持久上，而不仅仅关注在完全的成本或者百分之百替代DRAM的功效上。

当然，PMEM要想完全取代DRAM或SSD在短期看并不现实，前者的速度还要更快一些。在数据驱动的场景中，SSD和DRAM之间的问题已经越来越显现，MemVerge创始人兼CEO范承工博士认为，一方面SSD不会更快了，满足不了大规模快速数据处理的需要。

这样造成的现象就是现在主要的开源数据处理平台基本上都是以内存为中心的，很多时候是把越来越多的数据直接放在内存里，能够更高速的处理它，是因为SSD无法满足它性能上的要求。这时候对内存的规模和大小有很大的压力，内存的规模就显得不够大了。现在的问题是存储不够快，内存不够大，这两者之间有一个需求出现了，这个需求是傲腾能够满足的需求。

对于腾讯云这样的CSP来说，除了底层的基础硬件，还有平台层、算法层、应用层，而在支持产品端的平台基础层，为了让软件平台有更多的新特性，比如在公有云上会更加的弹性，或者是性能会更好，满足金融这些行业对高性能包括高弹性特性的需求，就需要在硬件平台的优化上下功夫了。而MemVerge所做的，就是内存融合系统，其目的是提升腾讯云数仓平台的性能。

与传统IT架构相比，云计算的优势在于资源弹性可伸缩，客户需要资源实时部署即插即用，但说起来容易做起来难，需要基础设施的优化支持，像MemVerge就用傲腾的快速存储功能在云端应用了Spark。其难点之一在于运行状态，因为一旦放在这些节点上，这些节点就不是那么容易可以拿掉了，因为一旦把节点拿掉，这些状态就会丢失，前面跑的任务都会需要重新开始。有时候任务要跑很长，需要很多个小时，这么多小时的任务整个集群就都浪费了。MemVerge在实验中做的，就是怎么能够把这些状态从计算节点上移开。

进一步解释，云计算资源弹性的基础是计算和存储能够分离，但实际跑起来的时候会发现数据或存储节点本身并没有弹性。腾讯云专家研究员堵俊平就表示，如果在计算阶段去做弹性伸缩，前提是计算节点不会那么“活跃”，比如会减少一些计算节点的数量，不影响正常工作运行。

现实情况却是，无论是Hadoop还是Spark在自建IDC应用时计算节点都不稳定，如果在调度层移除节点，上面的感知就会出问题。这一次，腾讯的数据仓库产品作为平台层，涉及了Spark SQL架构，MemVerge做的“中间件”跑在英特尔的硬件上，就是弥合软硬件之间的缝隙。

根据范承工的描述，MemVerge通过基于非易失性内存的融合内存平台，构建了弹性的高性能Spark解决方案。从网络拓扑上来讲，融合内存平台作为Spark数据IO的承载主体，部署在独立的主机集群上，与Spark计算集群分离部署，并通过高速的通用以太网络与Spark计算集群进行互联和数据交互。

从软件接口上来讲，MemVerge融合内存平台通过提供类HDFS的API来支持Spark待分析源数据的导入，通过对Spark block manager进行少量的改写，来支持Spark的RDD操作，通过实现一个独立的Shuffle Manager来支持Spark shuffle IO落地到融合内存平台。软硬件逻辑的设计，使得Spark的IO与计算完全解耦。而非易失性内存介质的使用，则让整体方案的性能达到更高水平。

范承工介绍，MemVerge内存融合平台在存储介质上与PMEM的结合，使其实现了一个跨节点的集群软件平台，在各个节点中的持久性内存上构建一个全局的统一地址空间，将所有的持久性内存构建成一个持久性内存资源池，并通过分布式的元数据管理，就近本地IO策略来将来自上次的IO请求，落地到具体的持久性内存介质中。

从最初的HDD到SSD，最终都发展成为了一个百亿美元的市场，虽然PMEM不会完全取代DRAM，也不会完全取代SSD，但高度依附于x86平台的市场和生态势必会带来一个新的百亿美元机遇。