如何使用所有snappydata群集服务器启动spark shell?

如何使用所有snappydata群集服务器启动spark shell?,snappydata,Snappydata,我似乎找不到使用conf/servers中设置的所有服务器启动shell的方法 仅发现可以使用/bin/snappy-job.sh提交到集群作业,我在其中指定了潜在客户位置,但希望尝试real-time shell使用整个集群执行一些测试 谢谢, Saif请查看此链接。它告诉如何启动spark shell并将其连接到snappy store 基本上,您需要提供locator属性,并且该定位器与启动snappy集群时使用的定位器相同 $bin/spark shell--master local[

我似乎找不到使用conf/servers中设置的所有服务器启动shell的方法

仅发现可以使用/bin/snappy-job.sh提交到集群作业,我在其中指定了潜在客户位置,但希望尝试real-time shell使用整个集群执行一些测试

谢谢,


Saif

请查看此链接。它告诉如何启动spark shell并将其连接到snappy store

基本上,您需要提供locator属性,并且该定位器与启动snappy集群时使用的定位器相同

$bin/spark shell--master local[*]--conf snappydata.store.locators=locatorhost:port--conf spark.ui.port=4041

请注意,使用上述方法,将创建一个不同的计算集群来运行您的程序。从该shell运行代码时,snappy集群不用于计算。所需的表定义和数据以高效的方式从snappy存储中获取


将来,我们可能会使此shell连接到snappy群集,使其使用snappy群集本身作为其计算群集。

请查看此链接。它告诉如何启动spark shell并将其连接到snappy store

基本上,您需要提供locator属性,并且该定位器与启动snappy集群时使用的定位器相同

$bin/spark shell--master local[*]--conf snappydata.store.locators=locatorhost:port--conf spark.ui.port=4041

请注意,使用上述方法,将创建一个不同的计算集群来运行您的程序。从该shell运行代码时,snappy集群不用于计算。所需的表定义和数据以高效的方式从snappy存储中获取


将来,我们可能会将此shell连接到snappy群集,使其使用snappy群集本身作为其计算群集。

虽然这在理论上可以回答这个问题,但在此处包含答案的基本部分,并提供链接以供参考。谢谢。因此,即使--master是本地[*],shell也会连接到spark驱动程序(作业服务器)并利用snappy集群的服务器设置?spark action是否会利用所有conf/servers主机进行计算和数据分发?虽然这在理论上可以回答这个问题,但请在此处包含答案的基本部分,并提供链接以供参考。谢谢。因此,即使--master是本地[*],shell也会连接到spark驱动程序(作业服务器)并利用snappy集群的服务器设置?任何spark操作是否会利用所有conf/servers主机进行计算和数据分发?