英特尔押宝Hadoop:新CDH 5.0提供新技术

继2013年初推出英特尔Hadoop软件，笔者之前在《应对大数据 英特尔Hadoop发行版优势简介》中谈到英特尔在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。如今的英特尔大数据布局继续加码押宝Hadoop，3月更重金入股Hadoop企业版发行商Cloudera，且成为Cloudera的最大战略股东以及成为Cloudera董事会的成员之一。

英特尔在投资Cloudera后，已经宣布原本独立发展的IDH/IDP在今年3月底发行v3.1后，就会并入新建立的Hadoop运算平台CDH（Cloudera Distribution Including Apache Hadoop），而后续不再独立发展。也就是说，原本IDH/IDP的用户后续若要升级未来可能将采用CDH。

同时，英特尔此投资举动侧面在Cloudera与Hortonworks两大Apache Hadoop开源阵营竞争中，投下了自身认同的一票。往后CDH的发展，Cloudera或许会加入更多英特尔芯片特性的功能。

Hadoop新发行版可实时搜寻

Cloudera近期推出Cloudera Enterprise 5正式版，此版本包含用来建置Hadoop运算平台的CDH 5.0，以及管理平台Cloudera Manager 5.0。其中CDH 5.0可以做到实时（Real-time）的全文索引与搜寻，也提供内存式大数据处理技术。

新版的Cloudera Enterprise加强整合企业数据管理系统，包含提供企业数据中心的安全性、管理权，以及数据保护和管理等。在安全性上，Cloudera Enterprise 5包含Cloudera Manager和Cloudera Navigator提供集中式安全性，来确认授权和第三方增设的安全性。

在数据管理上，Cloudera Enterprise 5提供YARN架构管理多重数据源(Multiple Resources)，让以Hadoop为基础的企业数据中心便于管理。

据相关报道，英特尔注资7.4亿美元买下Cloudera 18％的股权。Cloudera近期也推出支持内存式（In-memory）大数据技术的Hadoop企业发行版。从IDC方面了解，作为英特尔策略性的投资，不管是在服务器和数据中心上投入Cloudera都是有帮助的。特别在大数据或是数据存储的需求上，英特尔此举有助于存储上的发展。

相较于前一版本的CDH 4.6，CDH 5.0内建更多的Hadoop Ecosystem功能模块，例如，Cloudera搜寻引擎（Cloudera Search）整合Apache Solr的搜寻功能，可以达到实时全文索引与搜寻的效果。另外，Cloudera Enterprise 5也内建审查管理，能够提供企业关于使用者存取数据的相关记录报告。

此外，Cloudera Impala让存储在Hadoop上可以有MPP（Massively Parallel Processing）SQL的互动查询功能。随着Cloudera Search与Cloudera Impala而来的简易使用性，让Hadoop由具有普遍需求性的搜寻与SQL查询功能进到企业市场，将让企业拥抱大数据应用的门槛降低。为此，也将带动企业在Hadoop新工具培训与顾问服务的需求。

CDH 5.0提供In-memory大数据处理技术

在功能上，CDH 5.0也新增Apache Spark，提供内存式大数据处理技术。CDH 5.0除了包含Hadoop 2版本（MapReduce v2 over YARN）外，也可以让使用者启动并兼容MapReduce v1模式，但新旧模式并不能够同时执行于同一集群节点上。

可见，整体而言，所有内建的Hadoop Ecosystem模块均有版本更新，在性能、安全性以及稳定性上都有进步。英特尔与合作伙伴在2014年年底推出新一代产品且在其中整合CDH 5.0。