Ric*_*ell 4 python dask python-xarray rasterio
我有一个栅格时间序列存储在多个GeoTIFF文件(*.tif)中,我想将其转换为单个NetCDF文件。数据是uint16。
我可能会使用以下gdal_translate命令将每个图像转换为netcdf:
gdal_translate -of netcdf -co FORMAT=NC4 20150520_0164.tif foo.nc
Run Code Online (Sandbox Code Playgroud)
然后使用一些脚本NCO从文件名中提取日期然后进行连接,但是我想知道是否可以在Python中使用xarray它更有效地进行此操作,并且它是新的rasterio后端。
我可以轻松读取文件:
import glob
import xarray as xr
f = glob.glob('*.tif')
da = xr.open_rasterio(f[0])
da
Run Code Online (Sandbox Code Playgroud)
哪个返回
<xarray.DataArray (band: 1, y: 5490, x: 5490)>
[30140100 values with dtype=uint16]
Coordinates:
* band (band) int64 1
* y (y) float64 5e+05 5e+05 5e+05 5e+05 5e+05 4.999e+05 4.999e+05 ...
* x (x) float64 8e+05 8e+05 8e+05 8e+05 8.001e+05 8.001e+05 ...
Attributes:
crs: +init=epsg:32620
Run Code Online (Sandbox Code Playgroud)
我可以将其中之一写到NetCDF:
ds.to_netcdf('foo.nc')
Run Code Online (Sandbox Code Playgroud)
但理想情况下,我可以使用类似的方法xr.open_mfdataset,写入时间值(从文件名中提取),然后将整个聚合写入netCDF。并dask处理核心外的内存问题。:-)
可以用xarray和这样的事情dask吗?
Xarray应该能够为您完成concat步骤。我在下面稍微修改了您的示例。您可以将文件名解析为有用的内容。
import glob
import pandas as pd
import xarray as xr
def time_index_from_filenames(filenames):
'''helper function to create a pandas DatetimeIndex
Filename example: 20150520_0164.tif'''
return pd.DatetimeIndex([pd.Timestamp(f[:8]) for f in filenames])
filenames = glob.glob('*.tif')
time = xr.Variable('time', time_index_from_filenames(filenames))
chunks = {'x': 5490, 'y': 5490, 'band': 1}
da = xr.concat([xr.open_rasterio(f, chunks=chunks) for f in filenames], dim=time)
Run Code Online (Sandbox Code Playgroud)