Java 集成外部程序

Java 集成外部程序,java,hadoop,jar,Java,Hadoop,Jar,因此,我的任务是将一个名为“lightSIDE”的程序集成到hadoop作业中,我在想如何实现这一点时遇到了一些困难 因此,从本质上讲,lightSIDE不是一个JAR,而是一个完整的目录,包括对其运行至关重要的xml文件 到目前为止,我的团队中的数据科学家使用这个程序的方式是运行一个实际运行可执行文件的python脚本,但这似乎效率极低,因为每次调用它都会启动一个新的JVM。话虽如此,我不知道如何处理这个问题。如果您正在编写自己的MapReduce作业,那么可以将所有jar文件作为库,将xml

因此,我的任务是将一个名为“lightSIDE”的程序集成到hadoop作业中,我在想如何实现这一点时遇到了一些困难

因此,从本质上讲,lightSIDE不是一个JAR,而是一个完整的目录,包括对其运行至关重要的xml文件


到目前为止,我的团队中的数据科学家使用这个程序的方式是运行一个实际运行可执行文件的python脚本,但这似乎效率极低,因为每次调用它都会启动一个新的JVM。话虽如此,我不知道如何处理这个问题。

如果您正在编写自己的MapReduce作业,那么可以将所有jar文件作为库,将xml文件作为资源包含进去。

我是LightSide Research工作台的维护人员之一。LightSide还包括一个很小的PredictionServer类,用于通过HTTP处理新实例上的预测—您可以看到它

如果你想训练新的模型,你可以修改这个服务器来做你想做的事情,从side.recipe.Chef类中提取线索