在dataframe spark 1.6 java中强制转换字符串到日期或int
如何在dataframe spark 1.6中将字符串转换为日期或整数。 我想将我的数据分组为1/10/100年, 数据帧具有列“dt”-字符串 java编码 例如: 我该怎么做在dataframe spark 1.6 java中强制转换字符串到日期或int,java,apache-spark,dataframe,casting,group-by,Java,Apache Spark,Dataframe,Casting,Group By,如何在dataframe spark 1.6中将字符串转换为日期或整数。 我想将我的数据分组为1/10/100年, 数据帧具有列“dt”-字符串 java编码 例如: 我该怎么做 DataFrame dataFrame = sqlContext.read() .format("com.databricks.spark.csv") .option("inferSchema", "true") .option("header"
DataFrame dataFrame = sqlContext.read()
.format("com.databricks.spark.csv")
.option("inferSchema", "true")
.option("header", "true")
.load(filePath.getAbsolutePath());
DataFrame withDate = dataFrame.withColumn("date",col("dt").cast("date"));
withDate.withColumn(
"year",
year(col("date"))
).withColumn(
"month",
month(col("date"))
).withColumn(
"day",
dayofmonth(col("date"))
).show();
或
完美)请不要在外部网站提供商上发布截图链接。请改用内置提供程序。如果没有链接的话,不要考虑发布屏幕截图,因为链接不可能永远可用,而且使用屏幕阅读器的成员不能查看它们。OK,我可以帮助SCALL 2。X,1.6现在有点老了!你看过静态函数了吗?嗯,看不见(或不理解(
DataFrame inputFrame = sqlContext.read()
.format("com.databricks.spark.csv")
.option("inferSchema", "true")
.option("header", "true")
.load(filePath.getAbsolutePath());
DataFrame with_data_frame = inputFrame
.withColumn(
"date", col("dt").cast("date"))
.withColumn(
"year",year(col("date"))
);
with_data_frame.show();