Javascript 如何将一个数据表中的两列与另一个数据表中的另两列进行比较。。?
我现在正在一个处理大数据的项目中工作。我们从客户那里得到了巨大的数据,比如说大约600万个数据,我们对这些数据进行处理,将它们对齐,填充空白空间,并生成最终结果 但是,需要检查我们在过程中没有丢失任何数据或混淆数据 所以这个故事就像是在一个数据表中,比如说表1,我有两列 指定的部分和客户端。我想把这个和处理过的 datatable表示表2中的列newpart和new clients。在这里 数据的顺序与表2的顺序不必相同 将添加其他列Javascript 如何将一个数据表中的两列与另一个数据表中的另两列进行比较。。?,javascript,mysql,sql,datatable,bigdata,Javascript,Mysql,Sql,Datatable,Bigdata,我现在正在一个处理大数据的项目中工作。我们从客户那里得到了巨大的数据,比如说大约600万个数据,我们对这些数据进行处理,将它们对齐,填充空白空间,并生成最终结果 但是,需要检查我们在过程中没有丢失任何数据或混淆数据 所以这个故事就像是在一个数据表中,比如说表1,我有两列 指定的部分和客户端。我想把这个和处理过的 datatable表示表2中的列newpart和new clients。在这里 数据的顺序与表2的顺序不必相同 将添加其他列 这里的问题是如何将这600万个数据与最大精度进行比较?有没有
这里的问题是如何将这600万个数据与最大精度进行比较?有没有开源工具可以做到这一点?有参考视频或杂志吗?我希望
部分和客户端的组合在每个表中都是唯一的?我还假设您在每个表的(part,client)
上都有一个我们唯一的主索引
CREATE TEMPORARY TABLE t ( PRIMARY KEY(part, client) )
SELECT part, client FROM table1;
INSERT INTO t
SELECT part, client FROM table2;
现在,您有了两个表中所有零件客户机对的列表
这将找到表1中缺少的内容:
SELECT part, client
FROM t
LEFT JOIN table1 USING(part, client)
WHERE part IS NULL
这方面有一些变体,但可能的关键是LEFT JOIN。。。为空
谢谢。这将是有帮助的。我会试试看。因为我们是通过一个黑盒测试思维来观察它的,所以我认为一个帮助检查这些数据的工具会减少工作量。无论如何,我真的很感谢你们帮了我。看看Percona工具包——它可能有一些实用工具可以帮助你们。