Pyspark 如果spark数据框中有大约3000个变量，那么如何创建3个数据框，每个数据框包含1000个变量
我有一个3000个变量的大数据框架。我想将其划分为3个数据帧，每个数据帧包含1000个变量。Pyspark 如果spark数据框中有大约3000个变量，那么如何创建3个数据框，每个数据框包含1000个变量,pyspark,pyspark-sql,Pyspark,Pyspark Sql,我有一个3000个变量的大数据框架。我想将其划分为3个数据帧，每个数据帧包含1000个变量。 到目前为止，我尝试的是制作3个包含1000个和1000个变量名的列表。但我不知道如何使用列表选择这1000个变量 您可以使用df.select（）如下： first_df = df.select(df.columns[:1000]) second_df = df.select(df.columns[1000:2000]) third_df = df.select(df.columns[2000:3000
到目前为止，我尝试的是制作3个包含1000个和1000个变量名的列表。但我不知道如何使用列表选择这1000个变量 您可以使用
df.select（）first_df = df.select(df.columns[:1000])
second_df = df.select(df.columns[1000:2000])
third_df = df.select(df.columns[2000:3000])