Apache spark Spark和JdbcRDD:尝试跨我的节点分发sql查询

Apache spark Spark和JdbcRDD:尝试跨我的节点分发sql查询,apache-spark,Apache Spark,我正在尝试使用JdbcRDD访问sql数据库。我想在我的查询中进行“分页” 使用行号()及以上(按…)排序。知道我的查询的maxBound后,我想在一个执行器上每一页运行一个查询。我认为jdbcRdd构造函数的numPartitions可以为我做到这一点。但它不是并行运行查询,而是按顺序运行查询。。。哪个更长 任何想法。。或者只是提示一下,这样做将不胜感激 Thx创建的作业中有多少任务?如果每个分区有一个任务,那么我高度怀疑它们是否会按顺序执行。(也就是说,如果你有多个执行者。)执行者独立地执行

我正在尝试使用JdbcRDD访问sql数据库。我想在我的查询中进行“分页” 使用行号()及以上(按…)排序。知道我的查询的maxBound后,我想在一个执行器上每一页运行一个查询。我认为jdbcRdd构造函数的numPartitions可以为我做到这一点。但它不是并行运行查询,而是按顺序运行查询。。。哪个更长

任何想法。。或者只是提示一下,这样做将不胜感激


Thx

创建的作业中有多少任务?如果每个分区有一个任务,那么我高度怀疑它们是否会按顺序执行。(也就是说,如果你有多个执行者。)执行者独立地执行任务,我不知道他们如何合谋按顺序执行任务。可能值得一看,看看它是否包含对你有用的内容。