无法在 pyspark 中导入 s3fs

the*_*ler 4 filesystems amazon-s3 apache-spark pyspark

当我尝试使用以下代码在 pyspark 中导入 s3fs 库时:

import s3fs
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

遇到错误:无法从 'fsspec.asyn' 导入名称 'maybe_sync' (/usr/local/lib/python3.7/site-packages/fsspec/asyn.py) 回溯(最近一次调用最后一次):文件“/ usr/local/lib/python3.7/site-packages/s3fs/ init .py", line 1, in from .core import S3FileSystem, S3File File "/usr/local/lib/python3.7/site-packages/s3fs /core.py", line 12, in from fsspec.asyn import AsyncFileSystem,sync,sync_wrapper,maybe_syncImportError: cannot import name 'maybe_sync' from 'fsspec.asyn' (/usr/local/lib/python3.7/site-包/fsspec/asyn.py)

fsspec软件包已安装在我的笔记本中。我实际上已经使用它很长时间了,突然发生了这种情况。我试过谷歌搜索,但找不到这个特定的错误。有没有人遇到过这个?如果是这样,您知道如何解决吗?

Pau*_*nia 11

很高兴听到这不仅仅是我。看起来如果您 p​​ip install 版本 s3f==0.5.1 和 fsspec==0.8.3,应该可以修复它。

  • 是的,这有效。此外,您还必须更改引导程序设置才能安装旧版本的“fsspec”和“s3fs”。导致此问题的原因是 s3fs 于 4 月 20 日发布了新版本,并且它没有使用旧“fsspec”中的功能之一。他们需要允许向后兼容性:( (2认同)