Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
是否可以在“文件”上运行任意Python或R脚本;“用纱线点燃”;簇_R_Apache Spark_Yarn - Fatal编程技术网

是否可以在“文件”上运行任意Python或R脚本;“用纱线点燃”;簇

是否可以在“文件”上运行任意Python或R脚本;“用纱线点燃”;簇,r,apache-spark,yarn,R,Apache Spark,Yarn,我正在尝试创建一个集群,用于进行一些大数据活动。我不确定“SPARK with Thread”集群是否可以运行Python或R脚本 如果可能,运行这些脚本的最简单方法是什么 谢谢。您应该研究一下哪一个允许您运行使用任意编程语言创建的Hadoop作业。您只需提供一对可执行文件(例如Python脚本)——一个用于映射阶段(从输入数据到一组中间键值对),另一个用于缩减阶段(从这些中间键值对到作业的输出)。感谢您的帮助!我有一些关于Hadoop流媒体的问题。1.那么,使用HS执行python脚本不需要S

我正在尝试创建一个集群,用于进行一些大数据活动。我不确定“SPARK with Thread”集群是否可以运行Python或R脚本

如果可能,运行这些脚本的最简单方法是什么


谢谢。

您应该研究一下哪一个允许您运行使用任意编程语言创建的Hadoop作业。您只需提供一对可执行文件(例如Python脚本)——一个用于映射阶段(从输入数据到一组中间键值对),另一个用于缩减阶段(从这些中间键值对到作业的输出)。

感谢您的帮助!我有一些关于Hadoop流媒体的问题。1.那么,使用HS执行python脚本不需要SPARK?2.输入/输出只是mapper和reducer所在的目录位置,而mapper/reducer是实际python脚本所在的位置。是这样吗?