Google cloud platform &引用；没有名为numpy的模块……”；google data proc出错，如何在google data proc上升级numpy？

当我在Google Cloud Data Proc上运行我的笔记本时，我一直遇到这个错误

import numpy as np
ImportError: ('No module named numpy', <function _parse_datatype_json_string at 0x7fc294e25230>.......

我仍然得到1.8.2版本

pip命令对google data proc没有权限

和苏多试过皮普，也没用

IOError: [Errno 13] Permission denied: '/usr/local/bin/miniconda/lib/python2.7/site-
packages/easy-install.pth'
my-user-name@cluster-name-1-m:~$ sudo pip install numpy
sudo: pip: command not found

编辑：我们现在有了

JUPYTER\u CONDA\u软件包

，可以在JUPYTER安装过程中通过

CONDA

自动预安装软件包。如本手册所述，安装软件包的首选方法是：

gcloud dataproc clusters create my-cluster \
    --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh \
    --metadata JUPYTER_CONDA_PACKAGES=numpy:pandas:scikit-learn:scipy

在不使用此元数据值的情况下，以下为子孙后代的历史答案和更多内部细节：

Dataproc的jupyter初始化操作还安装了

conda

，因此您可以在主节点上运行：

sudo su
conda install numpy

根据它的使用方式，您可能还需要在工作节点上使用它；您可以自定义主

jupyter.sh

脚本，在

/dataproc initialization actions/conda/bootstrap conda.sh

行之后的任意位置添加行

conda install numpy

，然后将自定义初始化操作重新上载到GCS某处，以指定该行而不是

gs://dataproc initialization actions/jupyter/jupyter.sh

自动将其安装到部署中。比如：

gsutil cp gs://dataproc-initialization-actions/jupyter/jupyter.sh .
echo "conda install numpy >> jupyter.sh"
gsutil cp jupyter.sh gs://my-bucket/jupyter_with_numpy.sh
gcloud dataproc clusters crreate my-cluster \
    --initialization-actions gs://my-bucket/jupyter_with_numpy.sh 

最后，您还可以使用Jupyter UI中的内置软件包管理器来浏览和安装conda软件包：

---

我已经试过了，我得到了这个错误

我的用户-name@my-cluster-name-m:~$sudo conda安装numpy sudo:conda:未找到命令

Ah。似乎与bash登录配置文件有关。如果先运行

sudo su

，然后运行

conda install numpy

，会怎么样？但是如果我在没有

sudo

的情况下运行它，它会运行，但最后会抛出此错误

CondaIOError:IO错误：在：/usr/local/bin/miniconda中缺少写入权限是的，它与sudo su一起工作。我想，我需要对所有的工作人员做同样的事情：（哦，等等，我通过
numpy.version.version.version
重新检查了笔记本上的版本，它仍然显示1.8.2，我需要重启笔记本还是什么？
gsutil cp gs://dataproc-initialization-actions/jupyter/jupyter.sh .
echo "conda install numpy >> jupyter.sh"
gsutil cp jupyter.sh gs://my-bucket/jupyter_with_numpy.sh
gcloud dataproc clusters crreate my-cluster \
    --initialization-actions gs://my-bucket/jupyter_with_numpy.sh