Java 插入大量数据

Java 插入大量数据,java,mysql,bigdata,Java,Mysql,Bigdata,我正在读取一个468migs文件,分离数据,然后将其存储到mysql中。我正在使用Eclipse开普勒,mysql 5.0+ 该文件有500多万行。使用mappedbytebuffer,我正在读取文件,该文件将12小时的时间大幅缩短为4分钟 我插入的哈希表大小为851362,插入数据花费了我5.6个小时。 我一次运行15000个insert查询。使用事先准备好的语句 我无法使用LOADFILE在mysql中加载该文件,因为该文件非常无序,需要进行组织、删除重复项并适合我的工作 在这一点上我需要帮

我正在读取一个468migs文件,分离数据,然后将其存储到mysql中。我正在使用Eclipse开普勒,mysql 5.0+ 该文件有500多万行。使用mappedbytebuffer,我正在读取文件,该文件将12小时的时间大幅缩短为4分钟

我插入的哈希表大小为851362,插入数据花费了我5.6个小时。 我一次运行15000个insert查询。使用事先准备好的语句

我无法使用LOADFILE在mysql中加载该文件,因为该文件非常无序,需要进行组织、删除重复项并适合我的工作

在这一点上我需要帮助,因为,我必须在数据库中插入三次,因此总计超过10-12小时。 使用Hibernate是一个好的选择吗


非常感谢。

Hibernate可能会有所帮助,但我从未听说过使用Hibernate来加快速度。不同寻常的是,让hibernate系统运行得更快的第一个建议是不要使用hibernate。您可以始终使用
加载数据填充
,但要生成正确的导入结构,您可能需要经历很多麻烦。是的,组织起来很烦人,但是如果你的数据没有组织好,你怎么能期望导入更快呢?@peter lawrey-那么我们该如何继续呢?春季批次?你能建议吗?@tadman-有组织的数据在不到4分钟的时间内存储在哈希表中,但这里的瓶颈是插入。专家建议,温和的反弹。是否应该使用srping批处理???请引导