Python 在csv文件中重新构造数据

Python 在csv文件中重新构造数据,python,python-2.7,csv,pandas,beautifulsoup,Python,Python 2.7,Csv,Pandas,Beautifulsoup,我编写了一个脚本,它从一个网页收集一个链接列表,然后从每个链接中提取一个包含数据的表,所有这些都可以正常工作 我的下一项工作是为我的最终目标重组表格,使之成为更有意义的安排。我甚至不确定我想做什么的术语,所以我将尝试用一个例子来解释 我有50多个文件,它们是使用我前面提到的练习创建的,如下所示: Identifier, Data1, Data2, Data3 abc,x,x,x def,x,x,x g

我编写了一个脚本,它从一个网页收集一个链接列表,然后从每个链接中提取一个包含数据的表,所有这些都可以正常工作

我的下一项工作是为我的最终目标重组表格,使之成为更有意义的安排。我甚至不确定我想做什么的术语,所以我将尝试用一个例子来解释

我有50多个文件,它们是使用我前面提到的练习创建的,如下所示:

            Identifier, Data1, Data2, Data3
            abc,x,x,x
            def,x,x,x
            ghi,x,x,x
            Identifier, Measure, Value
            abc, Data1, x
            def, Data1, x
            ghi, Data1, x               
            abc, Data2, x
            def, Data2, x
            ghi, Data2, x               
            abc, Data3, x
            def, Data3, x
            ghi, Data3, x               
            abc, Data4, x
            def, Data4, x
            ghi, Data4, x               
我希望每个数据头与其值一起成为表的一部分,如下所示:

            Identifier, Data1, Data2, Data3
            abc,x,x,x
            def,x,x,x
            ghi,x,x,x
            Identifier, Measure, Value
            abc, Data1, x
            def, Data1, x
            ghi, Data1, x               
            abc, Data2, x
            def, Data2, x
            ghi, Data2, x               
            abc, Data3, x
            def, Data3, x
            ghi, Data3, x               
            abc, Data4, x
            def, Data4, x
            ghi, Data4, x               
这是非常简单的手动操作,但当使用30-50个文件时,可能会有点乏味(这是我必须每隔几个月做一次的任务)。我不确定将我的工作表合并在一起(但有些工作表包含额外的标题)是否会更快,单独执行此任务,然后在合并后再合并,或者甚至在刮取数据时按我希望的方式组织数据

希望这是有道理的。任何帮助都将不胜感激,我将很高兴澄清任何事情!谢谢。

您可以使用:


你觉得用熊猫做这个怎么样?我认为这将是一个很好的Fitnevermin,我刚刚看到你在这本书中标记了熊猫。我对图书馆的类型做了一些研究,熊猫似乎是最受欢迎的:)。只是不确定实际的过程叫什么!是的,对于这种类型的事情,我喜欢循环通过一个glob对象,读入csv,然后执行concat()将其放入一个帧中。然后,你可以像下面的答案一样进行融化()