Scala 如何使用三取一spark cluster从付费驱动程序获取数据？_Scala_Apache Spark_Architecture

Scala 如何使用三取一spark cluster从付费驱动程序获取数据？

scala apache-spark architecture

Scala 如何使用三取一spark cluster从付费驱动程序获取数据？,scala,apache-spark,architecture,Scala,Apache Spark,Architecture,你好团队- 我有ApacheSpark的3节点集群，我还使用付费连接器进行数据采集，而spark是分布式的，它在所有节点中使用连接器，而我可以为1节点集群提供1个许可证。我只能使用1个集群进行数据采集并将数据保存在任何缓存层中，其余的spark集群从缓存层读取数据请在此推荐我-您可以使用任何数据库（如Apache Ignite）、消息传输（如Apache Kafka、AWS Kinesis）甚至文件系统（S3、HDFS）作为中间层从连接器到实际数据处理的桥梁。谢谢@sarveshseri

你好团队-

我有ApacheSpark的3节点集群，我还使用付费连接器进行数据采集，而spark是分布式的，它在所有节点中使用连接器，而我可以为1节点集群提供1个许可证。我只能使用1个集群进行数据采集并将数据保存在任何缓存层中，其余的spark集群从缓存层读取数据

请在此推荐我-

您可以使用任何数据库（如Apache Ignite）、消息传输（如Apache Kafka、AWS Kinesis）甚至文件系统（S3、HDFS）作为中间层从连接器到实际数据处理的桥梁。谢谢@sarveshseri