Python 在PySpark中,如何为每一行数据拟合一条直线,并向数据帧添加渐变?

Python 在PySpark中,如何为每一行数据拟合一条直线,并向数据帧添加渐变?,python,apache-spark,pyspark,linear-regression,apache-spark-mllib,Python,Apache Spark,Pyspark,Linear Regression,Apache Spark Mllib,我有一个数据框,看起来像: uniqueKey | Month1 | Month2 | ... | MonthN a | 1 | 2 | ... | 3 b | 3 | 4 | ... | 5 其中每一行都是唯一的。我想在每一行上拟合一条直线,并将渐变值附加到数据帧的末尾 我知道如何SparkML使OLS适合整个数据框架,但这个数据框架非常庞大,我希望以分布式方式完成。请澄清您的具体问题或添加其他详细信息,以突出显示您所需

我有一个数据框,看起来像:

uniqueKey | Month1 | Month2 | ... | MonthN
a         | 1      | 2      | ... | 3
b         | 3      | 4      | ... | 5
其中每一行都是唯一的。我想在每一行上拟合一条直线,并将渐变值附加到数据帧的末尾


我知道如何
SparkML
使OLS适合整个数据框架,但这个数据框架非常庞大,我希望以分布式方式完成。

请澄清您的具体问题或添加其他详细信息,以突出显示您所需的内容。正如目前所写的,很难准确地说出你在问什么。请参阅页面以获取澄清此问题的帮助。另外,请提供您已尝试过的。