Hadoop源码编译中启用Snappy压缩的详细步骤解析
1、 备齐所需资源
2、 CentOS连接网络
3、 CentOS系统已配置外网连接,Linux虚拟机网络通畅,可正常ping通。
4、 使用root权限编译,避免文件夹权限异常问题
5、 准备Hadoop源码、JDK8、Maven及Protobuf相关jar包。
6、 安装两个jar包
7、 所有操作均需以root用户身份执行。
8、 解压JDK,设置JAVA_HOME和PATH环境变量,并通过java -version命令检查配置是否生效。
9、 解压Maven,设置MAVEN_HOME环境变量,并将其添加到PATH路径中。
10、 编译源代码
11、 搭建编译环境
12、 编译并安装snappy库
13、 编译并安装Protobuf工具包
14、 编译Hadoop本地库以提升性能和兼容性。
15、 执行成功后,系统将生成一个新的支持snappy压缩的二进制安装包,文件位于/opt/software/hadoop-2.7.2-src/hadoop-dist/target/目录下,名称为hadoop-2.7.2.tar.gz,可用于后续部署和安装。
评论
更多评论