具有时间戳名称的pySpark输出文件
我需要用时间戳命名输出文件,但出现错误。不确定我做错了什么具有时间戳名称的pySpark输出文件,pyspark,timestamp,Pyspark,Timestamp,我需要用时间戳命名输出文件,但出现错误。不确定我做错了什么 timestamp = spark.sql("select string(date_format(current_timestamp,'yyyy/MM/dd_HH:mm:ss'))").collect()[0][0] print(timestamp) 如果使用当前日期而不是时间戳,则没有错误。但是我需要时间戳文件命名中不允许使用某些字符: #L1234_ABC123_2020/06/05_13:14:01不是vaide。例如,尝试
timestamp = spark.sql("select string(date_format(current_timestamp,'yyyy/MM/dd_HH:mm:ss'))").collect()[0][0]
print(timestamp)
如果使用当前日期而不是时间戳,则没有错误。但是我需要时间戳文件命名中不允许使用某些字符:
#L1234_ABC123_2020/06/05_13:14:01
不是vaide。例如,尝试类似于#L1234_ABC123_20200605_131401
的操作,或者使用下划线\u
。冒号:
基本上是不允许的 文件命名中不允许使用某些字符:
#L1234_ABC123_2020/06/05_13:14:01
不是vaide。例如,尝试类似于#L1234_ABC123_20200605_131401
的操作,或者使用下划线\u
。冒号:
基本上是不允许的 只需更改我的时间戳:“只需更改我的时间戳”:
Error: ADLException: Error getting info for file
/06/05_13:14:01