Apache spark “的火花日期列初始值设定项”;是否使用列“;?
这里是Scala 2.11。我有以下DB表:Apache spark “的火花日期列初始值设定项”;是否使用列“;?,apache-spark,Apache Spark,这里是Scala 2.11。我有以下DB表: [input] === id BIGINT UNSIGNED NOT NULL, name VARCHAR(50) NOT NULL, rank INT NOT NULL 我读到的火花代码如下: val inputDf = sqlContext().read .format("blah whatever") .option("url", "jdbc://blah://whatever") .option("query", "
[input]
===
id BIGINT UNSIGNED NOT NULL,
name VARCHAR(50) NOT NULL,
rank INT NOT NULL
我读到的火花代码如下:
val inputDf = sqlContext().read
.format("blah whatever")
.option("url", "jdbc://blah://whatever")
.option("query", "SELECT * FROM input WHERE id < 500")
.load()
但是,这给了我编译器错误:
类型不匹配,应为:列,实际为:日期
有什么办法可以做到这一点吗?第二个参数必须是
列。您可以使用当前日期
import org.apache.spark.sql.functions.current_date
inputDf.withColumn("lastRanOn", current_date)
第二个参数必须是列
。您可以使用当前日期
import org.apache.spark.sql.functions.current_date
inputDf.withColumn("lastRanOn", current_date)
可以使用lit()
函数将值转换为列。但是,它不支持所有类型。您必须使用java.sql类型。您可以使用lit()
函数将值转换为列。但是,它不支持所有类型。您必须使用java.sql类型。