Apache spark MLeap和Spark-ML转换器_Apache Spark_Apache Spark Mllib_Mleap

Apache spark MLeap和Spark-ML转换器

apache-spark

Apache spark MLeap和Spark-ML转换器,apache-spark,apache-spark-mllib,mleap,Apache Spark,Apache Spark Mllib,Mleap,我有个问题。我正在尝试将PySpark ML模型序列化到mleap。但是，该模型使用SQLTransformer进行一些基于列的转换，例如添加一些列的日志缩放版本。众所周知，Mleap不支持SQLTransformer-请参见此处：所以我实施了这两个建议中的前一个：对于非行操作，请将SQL移出您需要的ML管道计划序列化对于基于行的操作，请使用可用的ML 变压器或编写自定义变压器 SQLTransformer + later transformations : StringIndex

我有个问题。我正在尝试将PySpark ML模型序列化到mleap。但是，该模型使用SQLTransformer进行一些基于列的转换，例如添加一些列的日志缩放版本。众所周知，Mleap不支持SQLTransformer-请参见此处：所以我实施了这两个建议中的前一个：

对于非行操作，请将SQL移出您需要的ML管道计划序列化

对于基于行的操作，请使用可用的ML 变压器或编写自定义变压器

SQLTransformer + later transformations : StringIndexer -> 
OneHotEncoderEstimator -> VectorAssembler -> RandomForestClassifier

 StringIndexer -> OneHotEncoderEstimator -> 
 VectorAssembler -> RandomForestClassifier