Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 无法在pyspark中导入s3fs_Apache Spark_Amazon S3_Pyspark_Filesystems - Fatal编程技术网

Apache spark 无法在pyspark中导入s3fs

Apache spark 无法在pyspark中导入s3fs,apache-spark,amazon-s3,pyspark,filesystems,Apache Spark,Amazon S3,Pyspark,Filesystems,当我尝试使用以下代码在pyspark中导入s3fs库时: import s3fs 我得到以下错误: 遇到错误:无法从导入名称“maybe\u sync” “fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py) 回溯(最近一次调用上次):文件 “/usr/local/lib/python3.7/site packages/s3fs/init.py”,第1行,在 从.core import S3FileSystem,

当我尝试使用以下代码在pyspark中导入s3fs库时:

import s3fs
我得到以下错误:

遇到错误:无法从导入名称“maybe\u sync” “fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py) 回溯(最近一次调用上次):文件 “/usr/local/lib/python3.7/site packages/s3fs/init.py”,第1行,在 从.core import S3FileSystem,S3File文件“/usr/local/lib/python3.7/site packages/s3fs/core.py”,第12行,在 从fsspec.asyn导入异步文件系统,同步,同步包装,可能同步导入错误:无法从导入名称“可能同步” “fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py)

fsspec
软件包已安装在我的笔记本中。事实上,我已经很好地使用了很长一段时间,当这突然发生的时候。 我试着用谷歌搜索,但找不到这个具体的错误。
以前有人见过这个吗?如果是这样,你知道怎么解决吗?

很高兴听到这不仅仅是我。看起来如果你安装了s3f==0.5.1和fsspec==0.8.3版本,应该可以解决这个问题。

是的,这很有效。此外,您还必须更改引导设置以安装较旧版本的
fsspec
s3fs
。这个问题是因为s3fs在4月20日发布了一个新版本,它没有使用旧的
fsspec
中的一个函数。它们需要考虑向后兼容性:(