标签: fsspec

我使用 Python 版本 3.7.13 并为 MLOps 项目创建虚拟环境 (venv)。

此 venv 中安装了与 Python== 3.7.13 兼容的 dvc 包（=2.10.2）。

(venv) (base) tony3@Tonys-MacBook-Pro mlops % dvc --version
2.10.2

但是当运行 dvc 启动时：

(venv) (base) tony3@Tonys-MacBook-Pro mlops % dvc init

导入时出现如下错误：

from fsspec.asyn import fsspec_loop
ImportError: cannot import name 'fsspec_loop' from 'fsspec.asyn'

我尝试以下操作：

1. 转到文件位置 /venv/lib/python3.7/site-packages/fsspec/asyn.py 并检查文件 asyn.py。发现没有名为“fsspec_loop”的函数。

2. 尝试通过以下方式将 dvc 升级到更新版本：

pip install dvc --upgrade

但 dvc 版本保持不变（2.10.2）。

3. 卸载 dvc，

pip uninstall dvc

并尝试安装最新版本，

pip install dvc==2.42.0

响应显示，与Python 3.7.13兼容的dvc最新版本是2.10.2。因此，无法安装2.42.0版本。

4. 尝试使用brew安装dvc。但 dvc 安装在 venv 之外的位置（位于 /usr/local/bin，其中使用了更高版本的 Python）。

(venv) …

我想访问谷歌云存储，如下面的代码所示。

# amazon s3 connection
import s3fs as fs 

with fs.open("s3://mybucket/image1.jpg") as f:
    image = Image.open(f).convert("RGB")


# Is there an equivalent code like this GCP side?
with cloudstorage.open("gs://my_bucket/image1.jpg") as f:
     image = Image.open(f).convert("RGB")

crgrib 引擎可以读取远程文件吗？根据马丁·杜兰特的评论，它看起来不像（https://github.com/ecmwf/cfgrib/issues/198#issuecomment-772852412）

s3 上托管着一个较小的 grib 文件：https://mf-nwp-models.s3.amazonaws.com/index.html#arpege-world/v2/2021-02-16/00/UGRD/10m/（注意不要单击文件，因为它会下载）。

当我尝试阅读它时，sf3s我得到

import s3fs
import xarray as xr

fs = s3fs.S3FileSystem(anon=True)

uri = "s3://mf-nwp-models/arpege-world/v2/2021-02-16/00/UGRD/10m/0h.grib2"

file = s3fs.S3Map(uri, s3=fs)
ds = xr.open_dataset(file, engine="cfgrib")

Can't create file '<File-like object S3FileSystem, mf-nwp-models/arpege-world/v2/2021-02-16/00/UGRD/10m/0h.grib2>.90c91.idx'
Traceback (most recent call last):
  File "/Users/ray.bell/miniconda/envs/test_env/lib/python3.8/site-packages/cfgrib/messages.py", line 342, in from_indexpath_or_filestream
    with compat_create_exclusive(indexpath) as new_index_file:
  File "/Users/ray.bell/miniconda/envs/test_env/lib/python3.8/contextlib.py", line 113, in __enter__
    return next(self.gen)
  File "/Users/ray.bell/miniconda/envs/test_env/lib/python3.8/site-packages/cfgrib/messages.py", line 274, in compat_create_exclusive
    fd = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_EXCL)
FileNotFoundError: [Errno 2] …