Apache spark Hiw在循环中插入数据帧的列值

Apache spark Hiw在循环中插入数据帧的列值,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一段代码,通过我的工作,我可以得到最近一个月的记录。现在我需要一个逻辑,我可以在数据框中插入手动开始日期和结束日期,从该数据框中,我可以要求我的工作根据该数据框中提供的开始日期和结束日期获取记录。现在,如果我有4行,我的工作应该执行4次获取记录对于evry time interval。[您可以在前面提到的链接中获得我当前的代码流和逻辑][1]我们可以通过首先对每个列值使用map函数来实现这一点 recorddf = record.map(col=> col(0),col(1),col(

我有一段代码,通过我的工作,我可以得到最近一个月的记录。现在我需要一个逻辑,我可以在数据框中插入手动开始日期和结束日期,从该数据框中,我可以要求我的工作根据该数据框中提供的开始日期和结束日期获取记录。现在,如果我有4行,我的工作应该执行4次获取记录对于evry time interval。[您可以在前面提到的链接中获得我当前的代码流和逻辑][1]

我们可以通过首先对每个列值使用map函数来实现这一点

recorddf = record.map(col=> col(0),col(1),col(2))

recorddf.collect.foreach(row=> {
row_1.tostring=a;
row_2.tostring=b;
row_3.tostring=c;
} )
现在我们可以将这些字符串传递给主类的函数