Fatal编程技术网

Apache spark Bluemix星火服务

apache-spark ibm-cloud

Apache spark Bluemix星火服务,apache-spark,ibm-cloud,Apache Spark,Ibm Cloud,首先，我需要承认我对Bluemix和Spark是新手。我只是想试试我的Bluemix Spark服务 我想对一个文本文件中的10亿条记录执行批处理操作，然后我想用我自己的一组JavaAPI处理这些记录 这就是我想要使用Spark服务来实现数据集更快处理的地方 以下是我的问题： 我可以从Python调用Java代码吗？据我所知，目前只支持Python样板文件？在我的JavaAPI下面也有一些JNI 我可以使用Bluemix Spark服务执行批处理操作，还是仅用于交互目的 我可以用Bluemix创

首先，我需要承认我对Bluemix和Spark是新手。我只是想试试我的Bluemix Spark服务

我想对一个文本文件中的10亿条记录执行批处理操作，然后我想用我自己的一组JavaAPI处理这些记录

这就是我想要使用Spark服务来实现数据集更快处理的地方

以下是我的问题：

  • 我可以从Python调用Java代码吗？据我所知，目前只支持Python样板文件？在我的JavaAPI下面也有一些JNI

  • 我可以使用Bluemix Spark服务执行批处理操作，还是仅用于交互目的

  • 我可以用Bluemix创建类似于管道（一个阶段的输出转到另一个阶段）的东西吗？我需要为它编码吗

    • 我将感谢任何和所有的帮助来我的方式就上述问题

    期待这里的专家建议

    谢谢。

    IBM Analytics for Apache Spark sevices现已推出，它允许您使用Spark submit提交java代码/批处理程序以及python/scala的笔记本界面

    早些时候，测试版代码仅限于笔记本互动界面

    问候
    Anup

    感谢您更正语言您能提供更多详细信息吗？请查看我的问题
    IBM Analytics for Apache Spark sevices[…]允许您使用Spark submit提交java代码/批处理程序
    是不正确的（截至今天）。看见