将数据加载到Hive时如何指定输入文件格式

Question

我正在尝试将数据从Gzip存档加载到Hive表中,但我的gzip文件具有扩展名,例如:

apache_log.gz_localhost

当我指定这些文件所在的HDFS目录位置时,Hive无法识别GZip压缩文件,因为它正在搜索扩展名为.gz的文件.

将数据加载到Hive时是否可以定义文件类型？像(PSEUDO)的东西:

set input.format = gzip;

LOAD DATA INPATH/tmp/logs/INTO TABLE apache_logs;

这是我创建表的SQL:

CREATE EXTERNAL TABLE access_logs (
`ip`                STRING,
`time_local`        STRING,
`method`            STRING,
`request_uri`       STRING,
`protocol`          STRING,
`status`            STRING,
`bytes_sent`        STRING,
`referer`           STRING,
`useragent`         STRING,
`bytes_received`    STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'input.regex'='^(\\S+) \\S+ \\S+ \\[([^\\[]+)\\] "(\\w+) (\\S+) (\\S+)" (\\d+) (\\d+|\-) "([^"]+)" "([^"]+)".* (\\d+)'
)
STORED AS TEXTFILE
LOCATION '/tmp/logs/';

Answer 1

为什么不在xxx.gz放入HDFS后更改文件名？

如果你真的想要支持.gz_localhost,我认为你可以自己定制GzipCodec来重新开始:

1. 创建一个NewGzipCodec扩展的自己的类GzipCodec:

   公共类NewGzipCodec扩展org.apache.hadoop.io.compress.GzipCodec {}

2. 覆盖方法getDefaultExtension:

   public String getDefaultExtension(){return".gz_locahost"; }

3. javac并压缩NewGzipCodec.class到NewGzipCodec.jar

4. 上传NewGzipCodec.jar到{$HADOOP_HOME}/lib

5. 设置你的 core-site.xml

<property>
  <name>io.compression.codecs</name>
  <value>NewGzipCodec, org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>