Php 仅加载唯一行查询XML/JSON API

我正在尝试使用我创建的一些脚本来最小化加载时间。我正在通过开发人员的API资源或RSS提要连接到多个JSON或XMLAPI，并且我正在试图找到一种只向mysql数据库插入新行的方法

我使用了INSERT IGNORE函数，它工作得很好，但问题是它仍然加载所有不同的行，并且在唯一键是重复的情况下忽略插入它。我想做的是创建一个运行速度更快的脚本，该脚本只会在行不同时尝试插入行

我曾考虑过使用in_array（）函数来查询数据库中的唯一键，但最终，数组将变得太大，无法处理（即1000000条记录），无法在插入唯一的记录之前查看它是否在数组中

有更好的方法吗？我在mysql中使用WHERE子句来处理数据库中已有的记录，这样做很容易，但是考虑到DBs将如何变得巨大，从XMLAPI中提取数据就有点困难了