MSSQL到远程MySQL 700k行
我需要一些关于将大量数据传输到远程托管的MySQL数据库的建议。(戈达迪) 我已经收到一个700k行CSV文件,并将其导入到我的开发机器上的MSSQL中,并编写了一些快速实用程序 第一个是创建较小的1兆(主机允许的最大值)csv文件,可通过 phpMyAdmin。 我只得到每个meg大约1600行,这意味着大约437个人手动上传不可行,所以我放弃了这种技术。 接下来,我尝试使用MySQL.NET连接器,直接通过ODBC从MS Access和MS Excel进行传输失败。 最后,我编写了一个.NET winform应用程序,它从本地SQL Server数据库获取数据,然后使用.NET MySQL数据程序集通过标准插入查询更新远程MySQL数据库 我有winform应用程序spawn 4个线程,每个线程插入一个新的唯一记录,以最大限度地增加每个循环的4个新记录的输入,但每天仍然只能获得大约100k条记录 (我已经尝试增加到10个线程并运行多个应用程序实例,但这些传输占用了大量内存,4个几乎是我的机器可以毫无问题地完成的全部任务) 我已经在本地安装了mysql管理工具(mysql WorkBench 5.2CE),希望能够通过mysql管理工具以某种方式传输MSSQL数据无法做到这一点。 使用标准工具(如MSAccess和MSExcel)进行的所有机器ODBC尝试都失败。(可能是一些godaddy配置问题,或者我运行的是64位操作系统,Mysql odbc工具是32位?) 我确实能够远程连接godaddy托管的MySQL服务器,因此我唯一的其他想法是将700k记录放入服务器上的Access数据库中,并创建10或20个WCF服务来执行插入MySQL数据库的工作 也许消除必须通过导线传输每一行的延迟会大大提高插入速度MSSQL到远程MySQL 700k行,mysql,sql-server,database,transfer,Mysql,Sql Server,Database,Transfer,我需要一些关于将大量数据传输到远程托管的MySQL数据库的建议。(戈达迪) 我已经收到一个700k行CSV文件,并将其导入到我的开发机器上的MSSQL中,并编写了一些快速实用程序 第一个是创建较小的1兆(主机允许的最大值)csv文件,可通过 phpMyAdmin。 我只得到每个meg大约1600行,这意味着大约437个人手动上传不可行,所以我放弃了这种技术。 接下来,我尝试使用MySQL.NET连接器,直接通过ODBC从MS Access和MS Excel进行传输失败。 最后,我编写了一个.N
有一种方法比我现在所拥有的更有效,一台24/7运行数天的机器只是为了插入记录。这样的方法怎么样:
- 使用php脚本检索SQL文件的压缩版本(例如,使用file_get_contents())并将其保存在MySQL本地服务器中。您应该能够下载比使用HTML上传表单更多的数据。顺便说一句,我想你不能通过FTP来实现:)
- 使用交错导入工具将数据逐段导入MySQL。这样可以避免超时/其他相关问题
祝你好运 像这样的事情怎么样:
- 使用php脚本检索SQL文件的压缩版本(例如,使用file_get_contents())并将其保存在MySQL本地服务器中。您应该能够下载比使用HTML上传表单更多的数据。顺便说一句,我想你不能通过FTP来实现:)
- 使用交错导入工具将数据逐段导入MySQL。这样可以避免超时/其他相关问题
Big+1表示Bigdump。我测试了一些记录,它与csv一起工作。稍后,我将编写一个快速应用程序,以50k为单位输出csv。再次感谢Bigdump的IG+1。我测试了一些记录,它与csv一起工作。稍后,我将编写一个快速应用程序,以50k为单位输出csv。再次感谢