hadoop如何支持LZO壓縮

hxl

我在網(wǎng)上按照步驟安裝了lzo,但是發(fā)現(xiàn)用不了，請問大家知道什么原因嗎？
我的hadoop版本是2.8.2

報錯如下：
hive> select * from tb_provcode_lzo_t;
OK
Failed with exception java.io.IOException:java.io.IOException: No LZO codec found, cannot run.
Time taken: 2.778 seconds

heguangwu

安裝后要將lzo的jar文件拷貝到$HADOOP_HOME/share/hadoop/common/lib目錄下另外，hive如果不包含hadoop的classpath，也需要將lzo放到hive的對應(yīng)目錄下

heguangwu

使用 "hadoop checknative" 命令可以檢查安裝結(jié)果

hxl

回復(fù) 2# heguangwu



這兩個目錄都是有該jar包的，還是不行.

hadoop下的lib目錄
[hadoop@master lib]$ pwd
/opt/hadoop/hadoop-2.8.2/share/hadoop/common/lib
[hadoop@master lib]$ ls -al  hadoop-lzo-0.4.21-SNAPSHOT.jar
-rw-r--r--. 1 hadoop hadoop 188792 Nov 27 01:24 hadoop-lzo-0.4.21-SNAPSHOT.jar

hive下的lib目錄
[hadoop@master lib]$ pwd
/opt/hive2.3/lib
[hadoop@master lib]$ ls -al hadoop-lzo-0.4.21-SNAPSHOT.jar
-rw-r--r--. 1 hadoop hadoop01 188792 Nov 27 01:51 hadoop-lzo-0.4.21-SNAPSHOT.jar

hxl

回復(fù) 3# heguangwu


命令結(jié)果如下，怎么看呢？
[hadoop@master lib]$ hadoop checknative
17/11/27 01:58:28 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
17/11/27 01:58:28 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /opt/hadoop/hadoop-2.8.2/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib64/libbz2.so.1
openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!
[hadoop@master lib]$

heguangwu

檢查core-site.xml的配置項io.compression.codecs 及 io.compression.codec.lzo.class 是否正確

hxl

回復(fù) 6# heguangwu



配置如下：
<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

heguangwu

最后一個檢查點，你安裝配置lzo之后重啟集群沒有，如果已經(jīng)重啟了我是看不出問題了

hxl

回復(fù) 8# heguangwu

重啟了的，都重啟很多次了。

heguangwu

完全看不出問題了，lzo我也安裝過很多遍，從2.3的版本到2.7的版本都搞過，基本就是這些，拋開hive放一邊，你先用mapreduce執(zhí)行l(wèi)zo分析看看是否報錯，如：
hadoop jar /home/hadoop/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar -Dmapreduce.reduce.tasks=1 -Dmapreduce.output.fileoutputformat.comp
ress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzoCodec -Dmapreduce.reduce.memory.mb=4096 -input /data/telecontrol/17-11-26/FlumeD
ata.151162* -output /tmp/testoutput -mapper cat  -reducer cat

最后一個提醒點，查看如下目錄是否存在對應(yīng)文件：
[hadoop@nn1 native]$ pwd
/home/hadoop/hadoop/lib/native
[hadoop@nn1 native]$ ll
total 5320
-rw-rw-r-- 1 hadoop hadoop 1210788 Aug  5  2016 libhadoop.a
-rw-rw-r-- 1 hadoop hadoop 1487316 Aug  5  2016 libhadooppipes.a
lrwxrwxrwx 1 hadoop hadoop      18 Nov  1  2016 libhadoop.so -> libhadoop.so.1.0.0
-rwxrwxr-x 1 hadoop hadoop  716580 Aug  5  2016 libhadoop.so.1.0.0
-rw-rw-r-- 1 hadoop hadoop  582128 Aug  5  2016 libhadooputils.a
-rw-rw-r-- 1 hadoop hadoop  364972 Aug  5  2016 libhdfs.a
lrwxrwxrwx 1 hadoop hadoop      16 Nov  1  2016 libhdfs.so -> libhdfs.so.0.0.0
-rwxrwxr-x 1 hadoop hadoop  229153 Aug  5  2016 libhdfs.so.0.0.0
lrwxrwxrwx 1 hadoop hadoop      16 Nov 27 16:28 liblzo2.so -> liblzo2.so.2.0.0
-rwxr-xr-x 1 hadoop hadoop  134072 Nov 27 16:28 liblzo2.so.2.0.0
-rw-r--r-- 1 hadoop hadoop  472982 Aug  5  2016 libsnappy.a
-rwxr-xr-x 1 hadoop hadoop     955 Aug  5  2016 libsnappy.la
-rwxr-xr-x 1 hadoop hadoop  228145 Aug  5  2016 libsnappy.so.1.3.0