Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/68.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/sql-server/25.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
MSSQL到远程MySQL 700k行_Mysql_Sql Server_Database_Transfer - Fatal编程技术网

MSSQL到远程MySQL 700k行

MSSQL到远程MySQL 700k行,mysql,sql-server,database,transfer,Mysql,Sql Server,Database,Transfer,我需要一些关于将大量数据传输到远程托管的MySQL数据库的建议。(戈达迪) 我已经收到一个700k行CSV文件,并将其导入到我的开发机器上的MSSQL中,并编写了一些快速实用程序 第一个是创建较小的1兆(主机允许的最大值)csv文件,可通过 phpMyAdmin。 我只得到每个meg大约1600行,这意味着大约437个人手动上传不可行,所以我放弃了这种技术。 接下来,我尝试使用MySQL.NET连接器,直接通过ODBC从MS Access和MS Excel进行传输失败。 最后,我编写了一个.N

我需要一些关于将大量数据传输到远程托管的MySQL数据库的建议。(戈达迪)

我已经收到一个700k行CSV文件,并将其导入到我的开发机器上的MSSQL中,并编写了一些快速实用程序

第一个是创建较小的1兆(主机允许的最大值)csv文件,可通过 phpMyAdmin。

我只得到每个meg大约1600行,这意味着大约437个人手动上传不可行,所以我放弃了这种技术。

接下来,我尝试使用MySQL.NET连接器,直接通过ODBC从MS Access和MS Excel进行传输失败。

最后,我编写了一个.NET winform应用程序,它从本地SQL Server数据库获取数据,然后使用.NET MySQL数据程序集通过标准插入查询更新远程MySQL数据库

我有winform应用程序spawn 4个线程,每个线程插入一个新的唯一记录,以最大限度地增加每个循环的4个新记录的输入,但每天仍然只能获得大约100k条记录

(我已经尝试增加到10个线程并运行多个应用程序实例,但这些传输占用了大量内存,4个几乎是我的机器可以毫无问题地完成的全部任务)

我已经在本地安装了mysql管理工具(mysql WorkBench 5.2CE),希望能够通过mysql管理工具以某种方式传输MSSQL数据无法做到这一点。

使用标准工具(如MSAccess和MSExcel)进行的所有机器ODBC尝试都失败。(可能是一些godaddy配置问题,或者我运行的是64位操作系统,Mysql odbc工具是32位?)

我确实能够远程连接godaddy托管的MySQL服务器,因此我唯一的其他想法是将700k记录放入服务器上的Access数据库中,并创建10或20个WCF服务来执行插入MySQL数据库的工作

也许消除必须通过导线传输每一行的延迟会大大提高插入速度


有一种方法比我现在所拥有的更有效,一台24/7运行数天的机器只是为了插入记录。

这样的方法怎么样:

  • 使用php脚本检索SQL文件的压缩版本(例如,使用file_get_contents())并将其保存在MySQL本地服务器中。您应该能够下载比使用HTML上传表单更多的数据。顺便说一句,我想你不能通过FTP来实现:)

  • 使用交错导入工具将数据逐段导入MySQL。这样可以避免超时/其他相关问题


祝你好运

像这样的事情怎么样:

  • 使用php脚本检索SQL文件的压缩版本(例如,使用file_get_contents())并将其保存在MySQL本地服务器中。您应该能够下载比使用HTML上传表单更多的数据。顺便说一句,我想你不能通过FTP来实现:)

  • 使用交错导入工具将数据逐段导入MySQL。这样可以避免超时/其他相关问题

祝你好运

所有的机器ODBC尝试都在使用标准工具失败,例如 作为MSAccess和MSExcel。(可能是一些godaddy配置问题或 我运行的是64位操作系统,Mysql odbc工具是32吗?)

请尝试使用C:\Windows\SysWOW64\odbcad32.exe,而不是“管理工具”菜单中的32位

我发现HeidiSQL对于连接mySQL和MsSQL数据库非常有用。

所有的机器ODBC尝试都在使用标准工具失败,例如 作为MSAccess和MSExcel。(可能是一些godaddy配置问题或 我运行的是64位操作系统,Mysql odbc工具是32吗?)

请尝试使用C:\Windows\SysWOW64\odbcad32.exe,而不是“管理工具”菜单中的32位

我发现HeidiSQL对于连接mySQL和MsSQL数据库非常有用。

Big+1表示Bigdump。我测试了一些记录,它与csv一起工作。稍后,我将编写一个快速应用程序,以50k为单位输出csv。再次感谢Bigdump的IG+1。我测试了一些记录,它与csv一起工作。稍后,我将编写一个快速应用程序,以50k为单位输出csv。再次感谢