Apache spark SnappyData智能连接器-如何运行作业
我正在阅读文档,希望您帮助我理解SnappyData智能连接器点 文档中有几个不同的示例,我应该如何使用spark submit,例如: 例1Apache spark SnappyData智能连接器-如何运行作业,apache-spark,snappydata,Apache Spark,Snappydata,我正在阅读文档,希望您帮助我理解SnappyData智能连接器点 文档中有几个不同的示例,我应该如何使用spark submit,例如: 例1 ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass --master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527 --packages "SnappyDa
./bin/spark-submit --deploy-mode cluster --class somePackage.someClass
--master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527
--packages "SnappyDataInc:snappydata:1.0.0-s_2.11"
例2
// Start the Spark standalone cluster from SnappyData base directory
$ sbin/start-all.sh
// Submit AirlineDataSparkApp to Spark Cluster with snappydata's
locator host port.
$ bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark://masterhost:7077 --conf spark.snappydata.connection=locatorhost:clientPort --conf spark.ui.port=4041 $SNAPPY_HOME/examples/jars/quickstart.jar
例3
$ <Spark_Product_Home>/bin/spark-submit --master local[*] --conf
spark.snappydata.connection=localhost:1527 --class
org.apache.spark.examples.snappydata.SmartConnectorExample --
packages SnappyDataInc:snappydata:1.0.0-s_2.11
<SnappyData_Product_Home>/examples/jars/quickstart.jar
$/bin/spark submit--master local[*]--conf
spark.snappydata.connection=localhost:1527——类
org.apache.spark.examples.snappydata.smartconnector示例--
软件包SnappyDataInc:snappydata:1.0.0-s_2.11
/示例/jars/quickstart.jar
假设我在3台主机上安装了Spark cluster:1台主机和3台工人
我想使用SnappyData cluster作为我当前spark环境的数据源。
我应该使用示例1、示例2或示例3中的命令吗
你能给我解释一下spark submit中的--deploy模式参数是什么吗-
spark submit的群集模式和客户端模式有什么不同
提前感谢您的帮助。
在这方面,将解释部署模式。使用SnappyData时没有什么不同。运行自己的Spark群集(与Spark 2.1兼容的任何Spark发行版)时,使用SnappyData只需要配置Snappy定位器(例如localhost:1527) 对部署模式进行了说明。使用SnappyData时没有什么不同。运行自己的Spark群集(与Spark 2.1兼容的任何Spark发行版)时,使用SnappyData只需要配置Snappy定位器(例如localhost:1527) 我正在尝试运行SmartConnectorExample应用程序。1.在一台主机上启动Spark standalone cluster 2.使用snappy-start-all.sh命令在同一台主机上启动Snappydata。3.在独立的Spark集群中,我正在执行命令:
/Spark submit--masterspark://192.168.3.26:7077 --conf spark.snappydata.connection=localhost:1527--class org.apache.spark.examples.snappydata.SmartConnectorExample--packagessnappydatainc:snappydata:1.0.0-s_2.11/opt/snappydata/examples/jars/quickstart.jar
但我得到了一个错误:已配置snappydata.connection和spark.snappydata.connection。应该只设置一个。我将-conf spark.snappydata.connection=
更改为-conf snappydata.store.locators=
,它可以工作。但我没有看到spark cluster控制台中的应用程序。我只能看到snappy和SparkUI的仪表板。我可以从Spark透视图的某个位置检查当前上下文和应用程序吗?我正在尝试运行SmartConnectorExample application.1.在一台主机上启动Spark standalone cluster 2.使用snappy-start-all.sh命令在同一台主机上启动Snappydata。3.在独立的Spark集群中,我正在执行命令:/Spark submit--masterspark://192.168.3.26:7077 --conf spark.snappydata.connection=localhost:1527--class org.apache.spark.examples.snappydata.SmartConnectorExample--packagessnappydatainc:snappydata:1.0.0-s_2.11/opt/snappydata/examples/jars/quickstart.jar
但我得到了一个错误:已配置snappydata.connection和spark.snappydata.connection。应该只设置一个。我将-conf spark.snappydata.connection=
更改为-conf snappydata.store.locators=
,它可以工作。但我没有看到spark cluster控制台中的应用程序。我只能看到snappy和SparkUI的仪表板。我可以从Spark的角度检查当前上下文和应用程序吗?