MySQL:向表中插入25000000个代码

MySQL:向表中插入25000000个代码,mysql,bigdata,apache-torque,Mysql,Bigdata,Apache Torque,我有25000000个代码(每个代码有8个随机文本)要插入到我的数据库中。我们使用MySQL和ApacheTorque作为ORM运行 我的简化表格如下所示: table_code id BIGINT, Primary Key (no auto-increment, bc of ORM) code VARCHAR 插入它们最有效的方法是什么?我试着在夜间生成Torque对象,但由于ID需要自动递增,所以需要花费很长时间 任何想法都非常感谢:)谢谢 您好,我认为最好使用加载数据填充: 此处有一个链

我有25000000个代码(每个代码有8个随机文本)要插入到我的数据库中。我们使用MySQL和ApacheTorque作为ORM运行

我的简化表格如下所示:

table_code
id BIGINT, Primary Key (no auto-increment, bc of ORM)
code VARCHAR
插入它们最有效的方法是什么?我试着在夜间生成Torque对象,但由于ID需要自动递增,所以需要花费很长时间


任何想法都非常感谢:)谢谢

您好,我认为最好使用
加载数据填充

此处有一个链接说明速度更快:

对于您的桌子,只需执行以下操作:

LOAD DATA INFILE '/path/to/mycodes.csv' INTO TABLE table_code;
有关此功能的详细信息:

您好,我认为最好使用
加载数据填充

此处有一个链接说明速度更快:

对于您的桌子,只需执行以下操作:

LOAD DATA INFILE '/path/to/mycodes.csv' INTO TABLE table_code;
有关此功能的详细信息:

最有效的方法不是使用ORM,而是使用原始SQL查询。这适用于任何使用ORM的应用程序。代码来自哪里?您需要25 Mil随机字符串做什么?在
code
上有索引吗?这有很大的不同。为什么您需要
id
?请提供
SHOW CREATE TABLE
以及需要进入表中的查询。刚刚更新了我的问题。我没有任何代码索引,只使用ID作为主键。最有效的方法不是使用ORM,而是使用原始SQL查询。这适用于任何使用ORM的应用程序。代码来自哪里?您需要25 Mil随机字符串做什么?在
code
上有索引吗?这有很大的不同。为什么您需要
id
?请提供
SHOW CREATE TABLE
以及需要进入表中的查询。刚刚更新了我的问题。我没有任何代码索引,只使用ID作为主键。+1这是非常快的。不过,我不确定是否要在运行中生成自动增量ID,首先加载所有数据,然后再创建ID可能会更快。自动增量会稍微慢一点,最好是测试一下。MySQL的哪个版本?较新版本的索引创建速度更快。无论如何,在本例中插入
自动增量时,实际上不需要进行任何创建。这将是一个巨大的努力,创造了以后的id。谢谢你@DanielE。我不知道那件事。我需要与数据库管理员一起检查安全设置。问题仍然是自动递增的东西。将此导入的主键属性更改为auto increment(并在之后将其删除)是一个好主意吗?如前所述,保持auto increment+1不会太贵,这是一个非常快的方法。不过,我不确定是否要在运行中生成自动增量ID,首先加载所有数据,然后再创建ID可能会更快。自动增量会稍微慢一点,最好是测试一下。MySQL的哪个版本?较新版本的索引创建速度更快。无论如何,在本例中插入
自动增量时,实际上不需要进行任何创建。这将是一个巨大的努力,创造了以后的id。谢谢你@DanielE。我不知道那件事。我需要与数据库管理员一起检查安全设置。问题仍然是自动递增的东西。将此导入的主键属性更改为auto increment(并在之后将其删除)是一个好主意吗?如前所述,保持auto increment不会太昂贵