CSV文件matadata验证(与现有SQl表比较)

CSV文件matadata验证(与现有SQl表比较),sql,Sql,我需要在加载到暂存文件夹之前验证CSV文件,然后必须加载到sql表中。 我需要验证元数据(文件的结构必须与目标sql表相同) 列数应等于目标sql表 列的顺序应与目标sql表相同 列的数据类型(csv文件的数字字段中不应存在文本值) 寻找一些简单有效的方法来实现这一点。 感谢您的帮助一个Python程序和模块完成了您需要的大部分工作,它是chkcsv.py:。它可用于验证CSV文件是否包含一组指定的列,以及每列的数据类型是否符合规范。但是,它不会验证CSV文件中列的顺序是否与数据库表中的顺序相同

我需要在加载到暂存文件夹之前验证CSV文件,然后必须加载到sql表中。 我需要验证元数据(文件的结构必须与目标sql表相同) 列数应等于目标sql表 列的顺序应与目标sql表相同 列的数据类型(csv文件的数字字段中不应存在文本值) 寻找一些简单有效的方法来实现这一点。
感谢您的帮助

一个Python程序和模块完成了您需要的大部分工作,它是chkcsv.py:。它可用于验证CSV文件是否包含一组指定的列,以及每列的数据类型是否符合规范。但是,它不会验证CSV文件中列的顺序是否与数据库表中的顺序相同。与直接将CSV文件加载到目标表中不同,您可以将其加载到暂存表中,然后将其从暂存表移动到目标表中——此两步过程消除了列顺序依赖性

免责声明:我写了chkcsv.py


编辑2020-01-26:我刚刚添加了一个选项,允许您指定还应检查列顺序。

感谢Python程序。我从未使用过Python,但值得尝试一下。谢谢