Csv 帮助拆分和管理2000列excel的程序

Csv 帮助拆分和管理2000列excel的程序,csv,multiple-columns,Csv,Multiple Columns,我正在构建一个web应用程序,它将运行由政府机构为公众生成的数据。问题是存放我所需数据的csv文件是一个2000列的文件。该文件就是它是什么,我需要找到最好的方式来采取它和修改它。我知道我需要在MySQL中将这些数据分解成更小的表,但我正在努力寻找最好的方法。我需要尽可能容易地在明年再次生成数据文件时(以及以后的每年)复制它。我搜索了一些程序来提供帮助,我看到的所有东西都涉及大量的行,而不是列。以前有人处理过这个问题吗?有什么想法吗?上周我在excel中对列进行了颜色编码,并将数据移动到新选项卡

我正在构建一个web应用程序,它将运行由政府机构为公众生成的数据。问题是存放我所需数据的csv文件是一个2000列的文件。该文件就是它是什么,我需要找到最好的方式来采取它和修改它。我知道我需要在MySQL中将这些数据分解成更小的表,但我正在努力寻找最好的方法。我需要尽可能容易地在明年再次生成数据文件时(以及以后的每年)复制它。我搜索了一些程序来提供帮助,我看到的所有东西都涉及大量的行,而不是列。以前有人处理过这个问题吗?有什么想法吗?上周我在excel中对列进行了颜色编码,并将数据移动到新选项卡,但这非常耗时,复制起来非常困难,我担心这会导致复制和粘贴错误。我在这里完全不知所措


提前谢谢你

我建议您使用excel中的函数为每一列自动命名为“column1”、“column2”、“column3”等

然后将整个csv文件导入MySQL

决定要将哪些列组合到单独的表中。这是最长的一步,没有任何程序可以帮助您管理此部分

查询您的大型SQL表,以仅获取您想要用于每个组的列。将这些查询导出到CSV,然后将它们作为新表导入数据库

最后,如果您愿意,可以查询所有未放入单独组中的列。在数据库中将其设为新表,并删除原始表以节省存储空间

该政府csv文件是否每次都以相同的格式更新和重新发布?如果是这样,您将需要编写一个脚本来自动完成上述所有操作