Google cloud dataflow 运行样本预处理时出现数据流错误

我正在尝试使用中包含的预处理脚本（我看到它今天已被修改，不再被弃用）。 但是，在安装所需的包之后，管道会失败并输出这些错误日志

(caeb3b0a930d0a6): Workflow failed. Causes: (caeb3b0a930d587): S01:Save to disk/Write/WriteImpl/InitializeWrite failed.

及

我在两个不同的Google计算引擎上运行该过程时遇到相同的错误，我在那里安装了requirements.txt中列出的软件包

---

它是否引用了trainer目录中的

util.py

文件，或者，我是否应该安装其他软件包来避免此错误？

我找到了一个解决方法：在

preprocess.py

中，我用

get\u cloud\u project（）的定义替换了导入
util
软件包

包含在

util.py

中

我不知道问题是否是由数据流上使用的本地包引起的。我认为情况并非如此，因为管道定义中没有调用

get\u cloud\u project（）

，但这是我第一次使用数据流

---

如果其他人知道在不修改代码的情况下是否可以使代码正常工作，请告诉我

实际上，util.py文件没有与文件的其余部分一起发送到数据流容器中。你能发布你运行的命令吗？这是我运行的命令：python trainer/preprocess.py--input_dict“gs://path_to_files/dict.txt”--input_path“gs://path_to_files/train_data.csv”--output_path“gs://path_to_files/preproc/train”--cloud这段代码已经更新回来了，因为util模块不会被推送到数据流容器。谢谢你的反馈。

(d50acb0dd46c44c6): Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 666, in run
    self._load_main_session(self.local_staging_directory)
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 411, in _load_main_session
    pickler.load_session(session_file)
  File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 230, in load_session
    return dill.load_session(file_path)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 363, in load_session
    module = unpickler.load()
  File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 423, in find_class
    return StockUnpickler.find_class(self, module, name)
  File "/usr/lib/python2.7/pickle.py", line 1124, in find_class
    __import__(module)
ImportError: No module named util