Python 检查数据帧中的哪些值不在SQL数据库中
我想检查数据帧中的哪些值不在SQL数据库中。所以基本上是一个左连接(左为df),其中右键(SQL DB)为NULL 数据库相当大,大约有500万个条目,但我只对主键感兴趣 熊猫数据帧(50k行)比SQL DB(5M)小得多,所以我认为 而是将数据移动到能带来所有数据的巴塔底基 我曾考虑过在SQL中创建一个临时表并进行左联接,但可能只需要一个查询就可以做到这一点 数据帧:Python 检查数据帧中的哪些值不在SQL数据库中,python,mysql,sql,sql-server,pandas,Python,Mysql,Sql,Sql Server,Pandas,我想检查数据帧中的哪些值不在SQL数据库中。所以基本上是一个左连接(左为df),其中右键(SQL DB)为NULL 数据库相当大,大约有500万个条目,但我只对主键感兴趣 熊猫数据帧(50k行)比SQL DB(5M)小得多,所以我认为 而是将数据移动到能带来所有数据的巴塔底基 我曾考虑过在SQL中创建一个临时表并进行左联接,但可能只需要一个查询就可以做到这一点 数据帧: index 0 1 2 3 4 sql数据
index
0
1
2
3
4
sql数据库:
index(primary key)
1
2
3
结果:0,4
我想知道什么是“巴塔底基”。。。谷歌没有在这方面帮助我:-)
但是,如果我理解正确的话,我认为您应该在SQL server中从dataframe中创建一个单列临时表(正如您自己所建议的),然后当然很容易找到这样的表:
SELECT P.Index
FROM PandasTable as P
WHERE P.Index NOT IN
(SELECT B.Index FROM BatabaseTable)
使用索引主键应该很快。oops:)谢谢!我想会有一种不用创建表格的方法