Pyspark 使用内部联接的大型表的Spark For循环
从两个现有表a和B创建一个新表，a有1年的历史数据，B有ID的数据。我需要使用Spark连接这两个表，在这两个表中，性能良好，并且每天或每月循环数据，因为business_day是分区。我不能考虑整个表格，因为每一个营业日都有3000万个。< /P> 表A-有n个列，如ID、营业日、名称 表B-有n个列-ID，ID\U代码 表A应该使用ID=ID连接表B，并与A的其他列一起获取ID_代码Pyspark 使用内部联接的大型表的Spark For循环,pyspark,Pyspark,从两个现有表a和B创建一个新表，a有1年的历史数据，B有ID的数据。我需要使用Spark连接这两个表，在这两个表中，性能良好，并且每天或每月循环数据，因为business_day是分区。我不能考虑整个表格，因为每一个营业日都有3000万个。< /P> 表A-有n个列，如ID、营业日、名称 表B-有n个列-ID，ID\U代码 表A应该使用ID=ID连接表B，并与A的其他列一起获取ID_代码 insert into output_table select ID, ID_CODE,Business_D
insert into output_table
select ID, ID_CODE,Business_Day, Name
from A,B where
A.ID=B.ID