Apache spark 如何在Spark 2.1上更新pyspark数据帧元数据？
SparkML的OneHotEncoder面临一个问题，因为它读取数据帧元数据以确定它应该为其创建的稀疏向量对象分配的值范围 更具体地说，我使用包含0到23之间的所有单个值的训练集对“hour”字段进行编码 现在，我使用管道中的“转换”方法对单行数据帧进行评分 不幸的是，这会导致OneHotEncoder使用不同编码的稀疏向量对象 （24、[5]、[1.0]）对（11、[10]、[1.0]） 我已经记录了这一点，但这被确定为重复。因此，这里发布了一个解决方案来更新数据帧的元数据，以反映“小时”字段的实际范围：Apache spark 如何在Spark 2.1上更新pyspark数据帧元数据？,apache-spark,pyspark,apache-spark-sql,spark-dataframe,pyspark-sql,Apache Spark,Pyspark,Apache Spark Sql,Spark Dataframe,Pyspark Sql,SparkML的OneHotEncoder面临一个问题，因为它读取数据帧元数据以确定它应该为其创建的稀疏向量对象分配的值范围 更具体地说，我使用包含0到23之间的所有单个值的训练集对“hour”字段进行编码 现在，我使用管道中的“转换”方法对单行数据帧进行评分 不幸的是，这会导致OneHotEncoder使用不同编码的稀疏向量对象 （24、[5]、[1.0]）对（11、[10]、[1.0]） 我已经记录了这一点，但这被确定为重复。因此，这里发布了一个解决方案来更新数据帧的元数据，以反映“小时”字
从pyspark.sql.functions导入col
meta={“ml_attr”：{
“VAL”：[str（x）表示范围（6）内的x]，#提供一组级别
“类型”：“标称”，
“名称”：“类”}
加载.转换(
df.withColumn（“class”，col（“class”）。别名（“class”，metadata=meta）））
在PySpark 2.1中，
别名元数据导入json
从pyspark导入SparkContext
从pyspark.sql导入列
从pyspark.sql.functions导入col
spark.version
#u'2.1.1'
df=sc.parallelize((
（0，“x”，2.0），
（1，“y”，3.0），
（2，“x”，-1.0）
)).toDF（[“标签”、“x1”、“x2”]）
df.show（）
# +-----+---+----+
#|标签| x1 | x2|
# +-----+---+----+
#| 0 | x | 2.0|
#| 1 | y | 3.0|
#| 2 | x |-1.0|
# +-----+---+----+
标签def with meta（self、alias、meta）：
sc=SparkContext.\u活动\u spark\u上下文
jmeta=sc.\u gateway.jvm.org.apache.spark.sql.types.Metadata
返回列（getattr（self._jc，“as”）（别名，jmeta.fromJson（json.dumps（meta）））
Column.withMeta=withMeta
#新元数据：
meta={“ml_attr”：{“name”：“用_meta标记_”，
“类型”：“标称”，
“VAL”：[str（x）表示范围（6）]}内的x
df_with_meta=df.withColumn（“label_with_meta”，col（“label”）。withMeta（“，meta））
荣誉也归零323 在PySpark 2.1中，
别名元数据导入json
从pyspark导入SparkContext
从pyspark.sql导入列
从pyspark.sql.functions导入col
spark.version
#u'2.1.1'
df=sc.parallelize((
（0，“x”，2.0），
（1，“y”，3.0），
（2，“x”，-1.0）
)).toDF（[“标签”、“x1”、“x2”]）
df.show（）
# +-----+---+----+
#|标签| x1 | x2|
# +-----+---+----+
#| 0 | x | 2.0|
#| 1 | y | 3.0|
#| 2 | x |-1.0|
# +-----+---+----+
标签def with meta（self、alias、meta）：
sc=SparkContext.\u活动\u spark\u上下文
jmeta=sc.\u gateway.jvm.org.apache.spark.sql.types.Metadata
返回列（getattr（self._jc，“as”）（别名，jmeta.fromJson（json.dumps（meta）））
Column.withMeta=withMeta
#新元数据：
meta={“ml_attr”：{“name”：“用_meta标记_”，
“类型”：“标称”，
“VAL”：[str（x）表示范围（6）]}内的x
df_with_meta=df.withColumn（“label_with_meta”，col（“label”）。withMeta（“，meta））
荣誉也归零323 您指向的踏板指的是Scala API；在pyspark 2.1中，
aliasmetadataaliasmetadata