Apache spark 如何在hadoop服务器中查找已安装的库？

我目前正在使用hadoop服务器。现在，我必须用keras、Tensorflow等库来训练神经网络。我知道已经安装了spark LIB。我只想检查hadoop服务器上是否安装了其他lib。我们公司在远程位置有自己的hadoop服务器。我不允许安装任何新的LIB，必须使用现有的LIB。您能告诉我如何检查hadoop服务器中是否已经安装了库吗

Hadoop不是一个单一的服务器，您实际上需要检查所有纱线节点管理器中的任何库，因为Spark就是在那里运行的。在大型集群中，这不是一项容易的任务

提交Spark作业时，您可以自由添加自己的

--文件

和

--存档

，以将任何依赖项引入类路径。这些标志将文件本地复制到Spark执行空间，覆盖集群中已有的文件

默认情况下，Spark只使用任何内置类，这些类通常包含在存档文件中。您需要检查Spark配置文件以确定其位置，从HDFS下载它，然后将其提取出来以确定任何可用的库

---

或者，您询问群集管理员安装了什么版本的Spark，以及是否添加了任何额外的库（通常答案是没有）。有了版本信息，请自行下载Spark并检查其内容

您有权访问此服务器吗？你知道如何使用ssh吗？