Pyspark 如何使用多个数据帧在spark中创建多个临时视图
我有10个数据帧,我想创建多个临时视图,这样我就可以使用pyspark中的createOrReplaceTempView命令对其执行sql操作。这可能就是您想要的Pyspark 如何使用多个数据帧在spark中创建多个临时视图,pyspark,Pyspark,我有10个数据帧,我想创建多个临时视图,这样我就可以使用pyspark中的createOrReplaceTempView命令对其执行sql操作。这可能就是您想要的 source_tables = [ 'sql.production.dbo.table1', 'sql.production.dbo.table2', 'sql.production.dbo.table3', 'sql.production.dbo.table4', 'sql.productio
source_tables = [
'sql.production.dbo.table1',
'sql.production.dbo.table2',
'sql.production.dbo.table3',
'sql.production.dbo.table4',
'sql.production.dbo.table5',
'sql.production.dbo.table6',
'sql.production.dbo.table7',
'sql.production.dbo.table8',
'sql.production.dbo.table9',
'sql.production.dbo.table10'
]
for source_table in source_tables:
try:
view_name = source_table.replace('.', '_')
# Lowercase all column names
df = df.toDF(*[c.lower() for c in df.columns])
df.createOrReplaceTempView(view_name)
except Exception as e:
print(e)
问题是什么?