Apache spark 在ApacheSpark中，如何将数据从执行器推送到它自己的表中？

这是一个特定的用例——我们正在尝试使用Spark Streaming将数据从Apache Kafka流式传输到Teradata DB。我们一直在使用JDBC驱动程序加载到Teradata中。 我们增加了执行者的数量，并开始注意到Teradata端的阻塞。我们可以看到，每个执行器都试图将数据加载到表中，从而阻止了另一个执行器的加载。 我们最终进行了重新分区，因此只有1个执行器写入表。 我想知道我们是否可以让遗嘱执行人给自己的表格写信

---

谢谢

我不知道Teradata DB是如何工作的。也许你可以把每个分区推到它自己的表中？啊！这是我会尝试的！只是为了确认分区#1是否可能出现在执行器#1和执行器#2中？如果尝试从两个不同的执行器向同一个表插入相同的记录，这不会产生问题吗？这是可能的，例如，当启用推测或网络分区时。你需要确保你的代码是幂等的。但是，由于网络分区很少发生，并且默认情况下禁用了推测功能，因此不会影响性能。我不知道Teradata DB是如何工作的。也许你可以把每个分区推到它自己的表中？啊！这是我会尝试的！只是为了确认分区#1是否可能出现在执行器#1和执行器#2中？如果尝试从两个不同的执行器向同一个表插入相同的记录，这不会产生问题吗？这是可能的，例如，当启用推测或网络分区时。你需要确保你的代码是幂等的。但是，由于网络分区很少发生，并且默认情况下禁用推测，因此不会影响性能。