Apache spark SnappyData智能连接器-如何运行作业

Apache spark SnappyData智能连接器-如何运行作业,apache-spark,snappydata,Apache Spark,Snappydata,我正在阅读文档,希望您帮助我理解SnappyData智能连接器点 文档中有几个不同的示例,我应该如何使用spark submit,例如: 例1 ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass --master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527 --packages "SnappyDa

我正在阅读文档,希望您帮助我理解SnappyData智能连接器点

文档中有几个不同的示例,我应该如何使用spark submit,例如:

例1

  ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass  
--master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527 
--packages "SnappyDataInc:snappydata:1.0.0-s_2.11" 
例2

// Start the Spark standalone cluster from SnappyData base directory
$ sbin/start-all.sh 
// Submit AirlineDataSparkApp to Spark Cluster with snappydata's 
locator  host port.
$ bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark://masterhost:7077 --conf spark.snappydata.connection=locatorhost:clientPort --conf spark.ui.port=4041 $SNAPPY_HOME/examples/jars/quickstart.jar
例3

$ <Spark_Product_Home>/bin/spark-submit --master local[*] --conf 
spark.snappydata.connection=localhost:1527  --class 
org.apache.spark.examples.snappydata.SmartConnectorExample   --
packages SnappyDataInc:snappydata:1.0.0-s_2.11 
<SnappyData_Product_Home>/examples/jars/quickstart.jar
$/bin/spark submit--master local[*]--conf
spark.snappydata.connection=localhost:1527——类
org.apache.spark.examples.snappydata.smartconnector示例--
软件包SnappyDataInc:snappydata:1.0.0-s_2.11
/示例/jars/quickstart.jar
假设我在3台主机上安装了Spark cluster:1台主机和3台工人 我想使用SnappyData cluster作为我当前spark环境的数据源。 我应该使用示例1、示例2或示例3中的命令吗

你能给我解释一下spark submit中的--deploy模式参数是什么吗- spark submit的群集模式和客户端模式有什么不同

提前感谢您的帮助。
在这方面,将解释部署模式。使用SnappyData时没有什么不同。运行自己的Spark群集(与Spark 2.1兼容的任何Spark发行版)时,使用SnappyData只需要配置Snappy定位器(例如localhost:1527)

对部署模式进行了说明。使用SnappyData时没有什么不同。运行自己的Spark群集(与Spark 2.1兼容的任何Spark发行版)时,使用SnappyData只需要配置Snappy定位器(例如localhost:1527)

我正在尝试运行SmartConnectorExample应用程序。1.在一台主机上启动Spark standalone cluster 2.使用snappy-start-all.sh命令在同一台主机上启动Snappydata。3.在独立的Spark集群中,我正在执行命令:
/Spark submit--masterspark://192.168.3.26:7077 --conf spark.snappydata.connection=localhost:1527--class org.apache.spark.examples.snappydata.SmartConnectorExample--packagessnappydatainc:snappydata:1.0.0-s_2.11/opt/snappydata/examples/jars/quickstart.jar
但我得到了一个错误:已配置snappydata.connection和spark.snappydata.connection。应该只设置一个。我将
-conf spark.snappydata.connection=
更改为
-conf snappydata.store.locators=
,它可以工作。但我没有看到spark cluster控制台中的应用程序。我只能看到snappy和SparkUI的仪表板。我可以从Spark透视图的某个位置检查当前上下文和应用程序吗?我正在尝试运行SmartConnectorExample application.1.在一台主机上启动Spark standalone cluster 2.使用snappy-start-all.sh命令在同一台主机上启动Snappydata。3.在独立的Spark集群中,我正在执行命令:
/Spark submit--masterspark://192.168.3.26:7077 --conf spark.snappydata.connection=localhost:1527--class org.apache.spark.examples.snappydata.SmartConnectorExample--packagessnappydatainc:snappydata:1.0.0-s_2.11/opt/snappydata/examples/jars/quickstart.jar
但我得到了一个错误:已配置snappydata.connection和spark.snappydata.connection。应该只设置一个。我将
-conf spark.snappydata.connection=
更改为
-conf snappydata.store.locators=
,它可以工作。但我没有看到spark cluster控制台中的应用程序。我只能看到snappy和SparkUI的仪表板。我可以从Spark的角度检查当前上下文和应用程序吗?