Apache spark pentaho数据集成spark与EMR提交
我一直在阅读在pentaho DI上配置spark submit条目的文档，这些示例主要是针对CDH y HDP的，但是它如何适用于EMR？我的具体问题与EMR集群的“临时”性质有关。根据我的建议，您需要将*-site.xml文件从集群复制到PDI服务器，但随着每个新集群的主机名发生变化，并且*-site.xml文件也可能会发生变化，因此在每次自动运行或作业时，您都需要找到集群主机名，然后将*-site.xml文件scp到PDI，对吗？是否有人使用EMR在PDI中配置了spark提交条目Apache spark pentaho数据集成spark与EMR提交,apache-spark,pentaho,emr,pentaho-data-integration,spark-submit,Apache Spark,Pentaho,Emr,Pentaho Data Integration,Spark Submit,我一直在阅读在pentaho DI上配置spark submit条目的文档，这些示例主要是针对CDH y HDP的，但是它如何适用于EMR？我的具体问题与EMR集群的“临时”性质有关。根据我的建议，您需要将*-site.xml文件从集群复制到PDI服务器，但随着每个新集群的主机名发生变化，并且*-site.xml文件也可能会发生变化，因此在每次自动运行或作业时，您都需要找到集群主机名，然后将*-site.xml文件scp到PDI，对吗？是否有人使用EMR在PDI中配置了spark提交条目