Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/visual-studio-2010/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Pyspark Phoenix Spark驱动程序正在映射为DateType()日期Phoenix列_Pyspark_Phoenix_Pyspark Sql - Fatal编程技术网

Pyspark Phoenix Spark驱动程序正在映射为DateType()日期Phoenix列

Pyspark Phoenix Spark驱动程序正在映射为DateType()日期Phoenix列,pyspark,phoenix,pyspark-sql,Pyspark,Phoenix,Pyspark Sql,我有一个带列的Phoenix表(键入日期) 日期数据类型。格式为yyyy-MM-dd hh:MM:ss,日期和时间部分保持毫秒精度 另一方面,使用PySpark,我试图加载这个表,就像文档所说的那样 df = sqlContext.read \ .format("org.apache.phoenix.spark") \ .option("table", "MYTABLE") \ .option("zkUrl", "localhost:2181") \ .load() 好吧,问题是创建的数据帧的

我有一个带列的Phoenix表(键入日期)

日期数据类型。格式为yyyy-MM-dd hh:MM:ss,日期和时间部分保持毫秒精度

另一方面,使用PySpark,我试图加载这个表,就像文档所说的那样

df = sqlContext.read \
.format("org.apache.phoenix.spark") \
.option("table", "MYTABLE") \
.option("zkUrl", "localhost:2181") \
.load()
好吧,问题是创建的数据帧的列是pyspark.sql.type.DateType(),一个yyyy-MM-dd类型,我已经失去了hh-MM-ss的准确性。有什么建议吗

如果我将Phoenix列定义为时间戳,PySpark中的映射是TimestampType(),但我不想将该列定义为时间戳,我不需要时间戳精度

我想在Phoenix列中将列定义为DATE,在PySpark中将列定义为TimeStampType(),这可能吗