Python 将值过多的行转换为列
假设我有一个这样的数据集Python 将值过多的行转换为列,python,mysql,sql,Python,Mysql,Sql,假设我有一个这样的数据集 ID Item 1 A 2 B 3 A 1 C 2 B 2 B 1 A 3 B 实际数据集有50K行和8.5K个不同的项值 现在我想将每个Id的行转换为列，这样我们就可以为每个用户计算每个项的值。如下 ID A B C 1 2 0 1 2 0 3 0 3 1 1 0 现在，若我有相同数量的项值，那个么我可以在case-aggregate语句中对它们进行硬编码 差不多 select ID,
ID Item
1 A
2 B
3 A
1 C
2 B
2 B
1 A
3 B
ID A B C
1 2 0 1
2 0 3 0
3 1 1 0
select ID, count(case when Item ='A' then 1 else Null end) A,
count(case when Item='B' then 1 else Null end) B... and so on.
不使用Postgresql和HANA，因此特定于Postgres的函数可能无法工作。请建议通用sql方式 如果您确实想在python中执行此操作，您应该查看
pandasdf = pd.DataFrame({
'ID': [1, 2, 3, 1, 2, 2, 1, 3],
'Item': ['A', 'B', 'A', 'C', 'B', 'B' , 'A', 'B']
})
pd.crosstab(df['ID'], df['Item'])
Item A B C
ID
1 2 0 1
2 0 3 0
3 1 1 0
对于SQL解决方案，使用SQL技术但编写脚本怎么样？不知道它能撑多久，但如果你还没有试过的话，你可以试一试。 运行类似这样的操作以生成所需所有列的脚本：
select distinct 'sum(case when ITEM = ''' + ITEM + ''' then 1 else 0 end) ' + ITEM + ',' from YOUR_TABLE;
select
ID,
**<COPY AND PASTE RESULTS HERE>**
from TEST_DATA
group by ID;
选择
身份证件
****
从测试数据
按ID分组；
SELECT CONCAT("SELECT ID"
, GROUP_CONCAT(DISTINCT
CONCAT(", COUNT(CASE Item WHEN '", Item, "' THEN 1 ELSE NULL END) AS `", Item, "`")
ORDER BY Item
)
, "FROM `theTable` "
, "GROUP BY ID"
) AS theQuery
FROM `theTable`
;
GROUP_CONCATSET SESSION group_concat_max_len = 1000000;
项当然，即使这生成了所需的查询，我也不确定MySQL是否会接受这么长的查询。您要找的是一个MySQL不支持的“交叉表”查询。它必须是代码（或存储过程），或类似于您提议的查询。但该查询应使用
SUMELSE NULLcur=conn.cursor（）；cur.execute（'SELECT*FROM“Table A””）；cur.fetchmany（5）select distinct concat（'sum（当ITEM=''，ITEM，''，然后是1 else 0 end'），ITEM，''）从您的_表中；