Ech*_*cho 2 google-cloud-dataflow
我正在尝试使用谷歌云数据流从GCS读取数据并加载到BigQuery表,但GCS中的文件是压缩的(gzip),是否有任何类可用于从压缩/ gzip文件中读取数据？
谢谢!
小智 6
现在,Dataflow支持从压缩文本源读取(截至此提交).具体来说,可以通过指定压缩类型来读取使用gzip和bzip2压缩的文件:
TextIO.Read.from(myFileName).withCompressionType(TextIO.CompressionType.GZIP)
但是,如果文件具有.gz或.bz2扩展名,则您没有执行任何操作:默认压缩类型为AUTO,它检查文件扩展名以确定文件的正确压缩类型.这甚至适用于globs,其中由glob产生的文件可能是.gz,.bz2和未压缩的混合.
| 归档时间： |
|
| 查看次数： |
338 次 |
| 最近记录： |