Sql server 在SQL Server中自动导入CSV文件

Sql server 在SQL Server中自动导入CSV文件,sql-server,csv,ssis,etl,Sql Server,Csv,Ssis,Etl,我目前正在使用SSIS定期将大量CSV文件导入我们的系统。这些导入过程是使用SQL Server代理计划的,应该有一个圆满的结局。然而,我们接收数据的一家供应商喜欢时不时地更改文件格式(感觉像一个月两次),在SSI中实现这些更改是一件非常痛苦的事情 对于我来说,有没有一种不那么痛苦的方法将这些导入SQL Server?我的要求相当简单: 文件格式为CSV,用逗号分隔,并用双引号限定文本 文件名将指示需要将这些文件导入到哪个表中 它需要能够自动化的东西 文件格式的更改不应该那么痛苦 如果确实出了问

我目前正在使用SSIS定期将大量CSV文件导入我们的系统。这些导入过程是使用SQL Server代理计划的,应该有一个圆满的结局。然而,我们接收数据的一家供应商喜欢时不时地更改文件格式(感觉像一个月两次),在SSI中实现这些更改是一件非常痛苦的事情

对于我来说,有没有一种不那么痛苦的方法将这些导入SQL Server?我的要求相当简单:

  • 文件格式为CSV,用逗号分隔,并用双引号限定文本
  • 文件名将指示需要将这些文件导入到哪个表中
  • 它需要能够自动化的东西
  • 文件格式的更改不应该那么痛苦
  • 如果确实出了问题,我需要能够知道它是什么——某种形式的日志记录

  • 非常感谢

    批量插入
    是您可以选择的另一个选项。您可以使用它定义自己的文件模板:


    您可以研究使用BIML,它在运行时根据元数据动态生成包。

    我尝试过Java解决方案“dbis”。请在下面查看

    它在xml文件中包含迁移信息。您可以在任何文本编辑器中编辑它。
    但是它需要静态表名。

    据我所知,您必须
    重置列
    并重新映射新格式文件的列,SSI可以自动进行,但不能智能地自动检测,我猜文件格式是如何变化的?像csv到txt到xls?如果是这样的话,我会使用批处理作业来标准化ssis包之前的类型和文件名runs@LONG是的,这就是这里的问题所在。@scsimon在添加字段时遇到的问题。我得到了这个奇怪的错误,我后来知道这意味着它找不到它期望的行终止符。这时我需要忙于处理数据类型和大小。测试、部署