Dataframe Spark-缓存新数据集会导致对已缓存数据集的响应滞后
我已经在spark中缓存了一个数据集，并且根据一些过滤器定期（每秒）访问其中的数据，并在毫秒内得到它的响应 现在，使用一个单独的线程，在预定的时间，我在一个新的数据帧中触发另一个不同数据集的缓存 当第二个缓存进程启动时，我注意到第一个缓存的响应有一点滞后（不是毫秒，而是在1秒多一点的时间内得到响应），两个缓存都非常独立Dataframe Spark-缓存新数据集会导致对已缓存数据集的响应滞后,dataframe,apache-spark,caching,apache-spark-sql,Dataframe,Apache Spark,Caching,Apache Spark Sql,我已经在spark中缓存了一个数据集，并且根据一些过滤器定期（每秒）访问其中的数据，并在毫秒内得到它的响应 现在，使用一个单独的线程，在预定的时间，我在一个新的数据帧中触发另一个不同数据集的缓存 当第二个缓存进程启动时，我注意到第一个缓存的响应有一点滞后（不是毫秒，而是在1秒多一点的时间内得到响应），两个缓存都非常独立 尽管差别不大，而且只是一个响应，下一个响应又回到了毫秒，但我想了解这种情况背后的原因。在这两种情况下缓存的数据有多大？请给我们看看代码好吗？
尽管差别不大，而且只是一个响应，下一个响应又回到了毫秒，但我想了解这种情况背后的原因。在这两种情况下缓存的数据有多大？请给我们看看代码好吗？