Pyspark Phoenix Spark驱动程序正在映射为DateType()日期Phoenix列
我有一个带列的Phoenix表(键入日期) 日期数据类型。格式为yyyy-MM-dd hh:MM:ss,日期和时间部分保持毫秒精度 另一方面,使用PySpark,我试图加载这个表,就像文档所说的那样Pyspark Phoenix Spark驱动程序正在映射为DateType()日期Phoenix列,pyspark,phoenix,pyspark-sql,Pyspark,Phoenix,Pyspark Sql,我有一个带列的Phoenix表(键入日期) 日期数据类型。格式为yyyy-MM-dd hh:MM:ss,日期和时间部分保持毫秒精度 另一方面,使用PySpark,我试图加载这个表,就像文档所说的那样 df = sqlContext.read \ .format("org.apache.phoenix.spark") \ .option("table", "MYTABLE") \ .option("zkUrl", "localhost:2181") \ .load() 好吧,问题是创建的数据帧的
df = sqlContext.read \
.format("org.apache.phoenix.spark") \
.option("table", "MYTABLE") \
.option("zkUrl", "localhost:2181") \
.load()
好吧,问题是创建的数据帧的列是pyspark.sql.type.DateType(),一个yyyy-MM-dd类型,我已经失去了hh-MM-ss的准确性。有什么建议吗
如果我将Phoenix列定义为时间戳,PySpark中的映射是TimestampType(),但我不想将该列定义为时间戳,我不需要时间戳精度
我想在Phoenix列中将列定义为DATE,在PySpark中将列定义为TimeStampType(),这可能吗