Amazon web services AWS胶接

我不熟悉AWS Glue，并尝试连接两个红移SQL查询，但不确定我们如何只能选择字段，因为我的主表有1000多个字段。 下面是我试图在Glue中提出的问题

SELECT v.col1, 
       v.col2, 
       s.col3 
FROM 
(
   SELECT col1,
          col2 
   FROM t1 
   WHERE col1 > 0 
) v 
LEFT JOIN 
(
   SELECT col1, 
          col3 
   FROM t2 
   WHERE col1 > 0 
   GROUP BY col1
) s 
ON v.col1 = s.col1 

---

如果您是用Python编写的，我会使用Spark sql或pysparks连接函数

对于Spark SQL

1) Convert to a Apache Spark DataFrame using the toDF() function.
2) Make the Spark Data Frame Spark SQL Table using createOrReplaceTempView().
Then run sql and to what you posted above.

或

使用Pypark

left_join = t1.join(t2, t1.col1 == t2.name,how='left')
left_join.filter(col('col1' > 0)) # Then filter afterwards

那对你有用吗