Apache spark 火花洗牌度量
我在看spark工作的偶数日志。有一个指标叫做shuffle write time，当我把所有的shuffle写入时间加起来时，一个运行15秒的作业得到1846856495Apache spark 火花洗牌度量,apache-spark,shuffle,Apache Spark,Shuffle,我在看spark工作的偶数日志。有一个指标叫做shuffle write time，当我把所有的shuffle写入时间加起来时，一个运行15秒的作业得到1846856495 我的问题是，这次是哪个单位？它似乎不是毫秒或微秒，shufflewrite*10-6的时间单位是毫秒。 您可以共享更多日志吗？您甚至可以从spark UI获得所有度量值。Shuffle Write Metrics:{“Shuffle Bytes writed”：5991746，“Shuffle Write Time”：127
我的问题是，这次是哪个单位？它似乎不是毫秒或微秒，shufflewrite*10-6的时间单位是毫秒。
您可以共享更多日志吗？您甚至可以从spark UI获得所有度量值。Shuffle Write Metrics:{“Shuffle Bytes writed”：5991746，“Shuffle Write Time”：12773576，“Shuffle Records writed”：1000000}，“输入度量”：{“Bytes Read”：0，“Records Read”：0}，“输出度量”：{“Bytes writed”：0，“Records writed”：0}，“更新块”：}}我知道我可以从spark ui获得指标，但我想在脚本中计算带宽，需要利用日志。