Python &引用；无法获取路径“的文件系统”；在谷歌云上训练神经网络时出错

我正在使用Google Cloud在云上训练神经网络，如以下示例所示：

首先，我将以下内容设置为环境变量：

PROJECT_ID=$(gcloud config list project --format "value(core.project)")
BUCKET_NAME=${PROJECT_ID}-mlengine

然后，我使用以下命令将我的培训和评估数据（包括名为eval_set.csv和train_set.csv的csv）上传到谷歌云存储：

gsutil cp -r data gs://$BUCKET_NAME

然后我验证了这两个csv文件在我的Google云存储上的polar-terminal-160506-mlengine/data目录中的位置

然后我做了以下环境变量赋值

# Assign appropriate values.
PROJECT=$(gcloud config list project --format "value(core.project)")
JOB_ID="flowers_${USER}_$(date +%Y%m%d_%H%M%S)"
GCS_PATH="${BUCKET}/${USER}/${JOB_ID}"
DICT_FILE=gs://cloud-ml-data/img/flower_photos/dict.txt

在尝试像这样预处理我的评估数据之前：

# Preprocess the eval set.
python trainer/preprocess.py \
  --input_dict "$DICT_FILE" \
  --input_path "gs://cloud-ml-data/img/flower_photos/eval_set.csv" \
  --output_path "${GCS_PATH}/preproc/eval" \
  --cloud

遗憾的是，这会运行一段时间，然后崩溃并输出以下错误：

ValueError: Unable to get the Filesystem for path gs://polar-terminal-160506-mlengine/data/eval_set.csv

这似乎是不可能的，因为我已经通过我的谷歌云存储控制台确认eval_set.csv存储在这个位置。这可能是权限问题还是我没有看到的问题

编辑：

我发现，此运行时错误的原因来自trainer.preprocess.py文件中的某一行。这条线是这样的：

read_input_source = beam.io.ReadFromText(
      opt.input_path, strip_trailing_newlines=True)

---

这似乎是一个很好的线索，但我仍然不确定到底发生了什么。当我在谷歌上搜索“beam.io.ReadFromText ValueError:无法获取路径的文件系统”时，会出现完全不相关的内容，这有点奇怪。想法？

看起来您的apache beam库安装可能不完整

尝试

pip安装apachebeam[gcp]

它允许apache beam访问存储在Google云存储上的文件

---

Apache Beam软件包可用

正如Jean Christophe所述，我相信您的安装不完整

apachebeam的

package包不包括从GCP读取/写入的所有内容。为了获得所有这些，以及能够将管道部署到CloudDataflow的运行程序（DataRunner

），您需要通过

pip

安装它

pip install google-cloud-dataflow

---

这就是我解决相同问题的方法。

尝试

pip安装apache\u beam[gcp]

。这将对您有所帮助。

您好，这里尝试解决相同的问题。我在PyPi中找不到此库：

未找到匹配项：apache beam[gcp]

@LucasShen它似乎在PyPi上可用。也许您的python版本与包不兼容？