Hadoop启用Snappy压缩方法

详解Hadoop集群启用Snappy压缩功能的配置步骤

1、 查看Hadoop的checknative命令用法及参数说明。

2、 查看Hadoop支持的压缩格式有哪些

3、 将已编译并支持Snappy压缩的hadoop-2.7.2.tar.gz文件复制到hadoop102节点的/opt/software目录下。

4、 将hadoop-2.7.2.tar.gz解压缩至当前目录。

5、 进入 /opt/software/hadoop-2.7.2/lib/native 目录后，可发现包含支持 Snappy 压缩功能的动态链接库文件，表明系统已具备相应的压缩解压能力。

6、 将位于/opt/software/hadoop-2.7.2/lib/native目录下的所有文件复制到开发集群中对应路径/opt/module/hadoop-2.7.2/lib/native下，确保文件完整迁移，以便系统正常调用本地库支持功能。

7、 分发集群部署

8、 重新检查Hadoop支持的压缩格式类型

9、 重启Hadoop集群与Hive服务