下面是小编给大家分享的一篇Hadoop LZO安装的详细教程,感兴趣的朋友跟小编一起来了解一下吧!
1.安装 Hadoop-gpl-compression
1.1 wget http://hadoop-gpl-compression.apache-e***.cod***/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz
1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/
1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/lib/
2.安装 lzo
apt-get install gcc
apt-get install lzop
3.在本地测试 可以 执行 压缩及解压缩命令
下载 https://g***/kevinweil/hadoop-lzo/zipball/master
解压包
export CFLAGS=-m64
export CXXFLAGS=-m64
//用于 hadoop0.20 ,所以1.0未必适用
进行build
ant compile-native tar
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib
测试解压程序
bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.h***pression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo
三三在线http://www.33o***/,服务器租用 托管 高防服务器租用,机柜大带宽租用,我司有:四川德阳机房,广东佛山机房,大朗机房,松山湖机房,香港机房CN2,杭州BGP高防,新加坡机房,菲律宾,韩国,日本 美国,高防 无防服务器。企点Q:2852361322电话:13924367540