Google bigquery GoogleDataprep非常慢

在Google Dataflow中，我的工作基本上如下所示：

数据集：100行，1列。
配方：0步
输出：新表

---

但跑步需要6-8分钟。可能是什么问题？

对于Dataprep/dataflow设置，时间通常以分钟为单位，而不是以秒为单位。 这些解决方案适用于大型数据集，即使数据集的大小是其大小的10倍，持续时间也保持不变

---

DataPrep为您创建一个数据流工作流，并为您提供一些虚拟机，这需要时间，通常该阶段可能在分钟内完成。再过一段时间，就可以将其扩展到50或1000个盒子。

对于100行，Dataprep将通过web UIT立即免费为您提供结果谢谢-非常好的答案。如果有很多“固定成本”的pr.dataflow，那么做一些更大的流和更多的转换可能是有意义的。我们还测试了其他解决方案，其中crontab/airflow运行一些视图。这意味着，即使我有10000x以上的数据，它仍将在同一时间运行？你有参考资料吗？@JohnAndrews我没有，但谷歌“电车挑战数据流”可能会让你感兴趣。一些站点内的106亿行价格为0.85美元。