Java Hadoop中的Python导入

好的，我正在编写一个基于java的Hadoop MR任务。任务的一部分是将外部python脚本作为一个新进程调用，将信息传递给它并将其读回Result。我以前在没有使用hadoop的情况下做过几次，没有遇到任何问题

我还可以在hadoop中调用一个python脚本作为新进程，如果它不导入任何内容，或者只导入节点python安装中的内容

当前的python脚本调用另一个脚本上的导入，该脚本通常位于同一目录中，不在hadoop上运行时工作正常

---

在hadoop中，我已将这两个文件添加到分布式缓存中，因此我不理解脚本为什么无法导入另一个文件。

好的，我自己解决了这个问题

python进程遇到的问题是HDFS使用符号链接。另一方面，Python不接受符号链接作为有效文件，因此如果它们位于同一目录中，则不会从中导入

您可以将目录添加到缓存中，而不是将每个文件添加到分布式缓存中，然后通过符号链接对目录进行任何调用，但对文件的调用则在实际目录中，从而允许python进程导入库