基于条件在Spark SQL或MySQL中生成新列
表格创建：基于条件在Spark SQL或MySQL中生成新列,mysql,sql,pyspark,Mysql,Sql,Pyspark,表格创建： CREATE TABLE temp ( name varchar(20), dep varchar(20)); INSERT INTO temp VALUES ('a', null), ('b', null), ('c', 'b'), ('d', 'c'), ('e', 'b'), ('e', 'd'); 我需要社区帮助来编写一个生成新列的查询，比如说xyz，如果dep为空，则该列的值为1。否则，它必须对相应的名称采用dep，并在xyz列值中添加1 例如：这里c依赖
CREATE TABLE temp (
name varchar(20),
dep varchar(20));
INSERT INTO temp VALUES
('a', null),
('b', null),
('c', 'b'),
('d', 'c'),
('e', 'b'),
('e', 'd');
+------+------+-----+
| name | dep | xyz |
+------+------+-----+
| a | null | 1 |
| b | null | 1 |
| c | b | 2 |
| d | c | 3 |
| e | b | 2 |
| e | d | 4 |
+------+------+-----+
CREATE TABLE temp (
name varchar(20),
dep varchar(20));
INSERT INTO temp VALUES
('a', null),
('b', null),
('c', 'b'),
('d', 'c'),
('e', 'b'),
('e', 'd');
创建表temp1（名称varchar（20），依赖项varchar（20））；
插入到temp1值中
（'city'，null），（'state'，null），（'country'，city'），
（'country'，'state'），（'pin'，'country'），（'pin'，'state'），
（‘大陆’、‘国家’、（‘大陆’、‘宾’）、（‘大陆’、‘城市’）；
|名称|依赖项|序列|
|----------|------------|----------|
|城市|空| 1|
|州|空| 1|
|乡村|城市| 2|
|国家|州| 2|
|别针|国家| 3|
|引脚|状态| 2|
|大陆|国家| 3|
|大陆|针| 4|
|大陆|城市| 2|
select
name,
dep,
dense_rank() over (order by dep) as xyz
from myTable
order by
name, dep
+--------------+
name dep xyz
+--------------+
a (null) 1
b (null) 1
c b 2
d c 3
e b 2
e d 4
+--------------------------+
name type ranks
+--------------------------+
city null 1
state null 1
country city 2
country state 2
pin country 3
pin state 2
continent country 3
continent pin 4
continent city 2
caseselect
name,
type,
case
when
(name = 'country' and type = 'city')
OR (name = 'continent' and type = 'city')
OR (name = 'pin' and type = 'state')
OR (name = 'country' and type = 'state')
then
2
when
(name = 'pin' and type = 'country')
OR (name = 'continent' and type = 'country')
then
3
when
(name = 'continent' and type = 'pin')
then
4
else
1
end as ranks
from myTable
+--------------+
name dep xyz
+--------------+
a (null) 1
b (null) 1
c b 2
d c 3
e b 2
e d 4
+--------------------------+
name type ranks
+--------------------------+
city null 1
state null 1
country city 2
country state 2
pin country 3
pin state 2
continent country 3
continent pin 4
continent city 2
@热情的回答似乎起到了作用 我可以向您推荐等效的
pysparkpyspark将pyspark.sql.window导入为psw
将pyspark.sql.functions作为psf导入
df=spark.createDataFrame（[（“a”，无，1），（“b”，无，1），
(c,b,2),(d,c,3),，
(e,b,2,(e,d,4),，
['name'、'dep'、'xyz']）
df.show（5）
+----+----+---+
|名称| dep | xyz|
+----+----+---+
|a |空| 1|
|b |空| 1|
|c | b | 2|
|d | c | 3|
|e | b | 2|
+----+----+---+
仅显示前5行
depNullpsf.densite\u rankSparkdensite\u-rank窗口w=psw.Window.orderBy（'dep'））
df.withColumn（“xyz”，psf.densite_rank（）。在（w）上方）
df.show（5）
+----+----+---+
|名称| dep | xyz|
+----+----+---+
|a |空| 1|
|b |空| 1|
|c | b | 2|
|d | c | 3|
|e | b | 2|
+----+----+---+
仅显示前5行
psf.whenimport pyspark.sql.函数作为psf
df=spark.createDataFrame（[（'city'，None），（'state'，None），
（‘国家’、‘城市’、（‘国家’、‘州’），
（'pin'，'country'），（'pin'，'state'），
（‘大陆’、‘国家’、（‘大陆’、‘别针’），
（‘大陆’、‘城市’）]、[‘名称’、‘类型’]）
df=df.withColumn（“序列”），psf.when(
（（psf.col（'name'）='country'）和（psf.col（'type'）='city'））|
（（psf.col（‘名称’=‘大陆’）和（psf.col（‘类型’=‘城市’））|
（（psf.col（'name'）=“pin”）&（psf.col（'type'）=“state”））|
（（psf.col（'name'）='country'）和（psf.col（'type'）='state”），
2.
).什么时候(
（（psf.col（'name'）=“pin”）&（psf.col（'type'）=“country”））|
（（psf.col（‘名称’=‘大陆’）和（psf.col（‘类型’=‘国家’））
,
3.
).什么时候(
（psf.col（‘名称’=‘大陆’）和（psf.col（‘类型’）=‘引脚’），
4.
)。否则（1）
)
df.show（10）
+---------+-------+--------+
|名称|类型|序列|
+---------+-------+--------+
|城市|空| 1|
|州|空| 1|
|乡村|城市| 2|
|国家|州| 2|
|别针|国家| 3|
|引脚|状态| 2|
|大陆|国家| 3|
|大陆|针| 4|
|大陆|城市| 2|
+---------+-------+--------+
whenjoinconditions=spark.createDataFrame（[（'country'，'city'，2），（'Continental'，'city'，2），
（'pin'，'state'，2），（'country'，'state'，2），
（'pin'，'country'，3），（'containment'，'country'，3），
("洲","宾",4),，
['name'、'type'、'sequence']）
df=df.连接（psf.广播（条件），
['name'，'type']，'left_outer'）
.fillna（1，子集=['sequence']）
psf.broadcast条件数据帧如果你有大量的条件，我认为这种方法应该是首选。这将使您的代码更具可读性是的。从一个艰难的开始！您希望在哪个数据库和版本中执行此操作？是否需要
pyspark̀