Apache spark 用于<;的spark embedded(相同JVM);400k文本文件处理

Apache spark 用于<;的spark embedded(相同JVM);400k文本文件处理,apache-spark,Apache Spark,我们可以在我们的应用程序中嵌入一个迷你spark任务吗?有什么例子吗?原因:希望处理部分文件并比提交常规作业更快地给出结果。文件只有500行。但是我不想保留两个代码库——只保留一个用于大文件的代码库。文件大小小于MB 我希望在运行客户端代码的同一JVM中处理该文件。希望通过配置中的标志从同一JVM中启动单个执行器。(因此,一些作业将设置此标志,而其他作业则不会。不设置此标志的作业将在集群上正常运行。)

我们可以在我们的应用程序中嵌入一个迷你spark任务吗?有什么例子吗?原因:希望处理部分文件并比提交常规作业更快地给出结果。文件只有500行。但是我不想保留两个代码库——只保留一个用于大文件的代码库。文件大小小于MB

我希望在运行客户端代码的同一JVM中处理该文件。希望通过配置中的标志从同一JVM中启动单个执行器。(因此,一些作业将设置此标志,而其他作业则不会。不设置此标志的作业将在集群上正常运行。)