从pyspark shell连接到memsql

可以从pyspark连接到memsql吗

我听说memsql最近在pyspark之上构建了流线型基础设施，以允许定制python转换

---

但这是否意味着我可以运行pyspark或提交连接到memsql的pythonsark作业？

对这两个问题都是肯定的

如果您的目标是将数据导入MemSQL或在接收期间执行转换，那么Streamliner是最好的方法。如何将Python与Streamliner结合使用：

您还可以从Spark应用程序查询MemSQL。详情如下：

---

您还可以运行Spark shell。请参见两个问题的是

如果您的目标是将数据导入MemSQL或在接收期间执行转换，那么Streamliner是最好的方法。如何将Python与Streamliner结合使用：

您还可以从Spark应用程序查询MemSQL。详情如下：

---

您还可以运行Spark shell。请参见&

您指的是这个工具吗？或者更一般地说？这在两种情况下都是绝对可能的。不，我说的是pyspark shell，例如，我想运行“memsql ops pyspark”，你指的是这个工具吗？或者更一般地说？这在两种情况下都是绝对可能的。不，我说的是pyspark shell，例如，我想运行“memsql ops pyspark”，没有一个链接提到运行pyspark shell。我想要的是运行pyspark shell，而不是scala spark shell。如果这是不可能的，那么我如何创建python spark作业并使用spark submit提交它？当您使用memsql-ops部署spark时，您可以在

/var/lib/memsql ops/data/spark/install/bin

中找到pyspark和spark submit。在memsql spark connector的支持下运行pyspark的命令是什么？在scala shell中，您可以看到msc（memsql spark context）对象已创建并准备好与memsql交互，但在启动pyspark时，您没有发现这一点。正如您从文档中推测的那样，目前没有一个可以通过

memsql ops

工具启动。没有任何链接谈到运行pyspark shell。我想要的是运行pyspark shell，而不是scala spark shell。如果这是不可能的，那么我如何创建python spark作业并使用spark submit提交它？当您使用memsql-ops部署spark时，您可以在

/var/lib/memsql ops/data/spark/install/bin

中找到pyspark和spark submit。在memsql spark connector的支持下运行pyspark的命令是什么？在scala shell中，您可以看到msc（memsql spark context）对象已创建并准备好与memsql交互，但在启动PySparkt时，您不会发现这一点。正如您从文档中推测的那样，目前没有一个可以使用

memsql ops

工具启动的对象。