java系统与sqlserver之间的数据集成服务

java系统与sqlserver之间的数据集成服务,java,sql,xml,sql-server-2008,ssis,Java,Sql,Xml,Sql Server 2008,Ssis,我目前正在为web应用程序设计一些集成服务。外部java应用程序生成一个数据提要,该提要提供数据,根据需要对数据进行处理,然后输入到sql server数据库中。数据在此进行管理,并用作web应用程序、移动设备等访问的wcf和http rest服务的基础 这是当前设置。我目前正在修改这个,因为我们在java系统和sql server数据库的集成方面有一些问题。我们面临的主要问题是所需数据的标准,可能是缺少字段等。当前的集成是将逗号分隔的文件放置在ftp服务器上,然后拾取文件,处理文件,对数据进行

我目前正在为web应用程序设计一些集成服务。外部java应用程序生成一个数据提要,该提要提供数据,根据需要对数据进行处理,然后输入到sql server数据库中。数据在此进行管理,并用作web应用程序、移动设备等访问的wcf和http rest服务的基础

这是当前设置。我目前正在修改这个,因为我们在java系统和sql server数据库的集成方面有一些问题。我们面临的主要问题是所需数据的标准,可能是缺少字段等。当前的集成是将逗号分隔的文件放置在ftp服务器上,然后拾取文件,处理文件,对数据进行处理,并将数据插入sql server。我们目前“烧掉”的地方是数据被插入到sql server数据库中,并且数据的质量不符合必要的标准和/或质量

因此,这一过程正在改变,并正在寻找使之现代化和使集成服务更加健壮的选项

因此,我正在寻找改善上述问题的建议和建议

脑海中浮现的一些选项有:

  • 公开java系统调用的wcf服务,数据通过SOAP协议传递给它,然后在插入sql server之前在服务中验证数据
  • 提供的数据格式从公共分离文件移动到xml文件,并且在数据被篡改之前,xml文件根据模式进行验证

还有其他建议吗?

您的两种解决方案都无法从源头上解决数据质量问题。我会更仔细地研究生成数据的应用程序,除了在将数据插入数据库之前对其进行验证之外,还会在其中进行验证。您希望在插入之前进行验证,因为您永远不应该信任客户端。但客户在向您发送数据时应该遵守合同

web服务提供的其他服务所没有的一个优点是可以实时插入数据库。让源应用程序将其请求发送到此代理服务。它验证请求并实时插入它们。没有更多的批次