Apache spark pySpark数据帧多行_Apache Spark_Dataframe

Apache spark pySpark数据帧多行

apache-spark dataframe

Apache spark pySpark数据帧多行,apache-spark,dataframe,Apache Spark,Dataframe,是否可以将多行记录作为数据帧存储在类似Spark的名称和地址数据中 Name Address Jane 110 N H Street Newark NJ Janet 111 N H Street Newark NJ-640897 你为什么要保持多行？ArrayType也可以工作。我正在将数据从mysql数据库导入pyspark。其中一个

是否可以将多行记录作为数据帧存储在类似Spark的名称和地址数据中

  Name         Address

 Jane        110 N H Street
             Newark
             NJ

 Janet       111  N H Street
             Newark
             NJ-640897

你为什么要保持多行？ArrayType也可以工作。我正在将数据从mysql数据库导入pyspark。其中一个字段是多行字段，在spark中作为StringType导入，但无法在spark中处理它们。该字段是具有许多特殊字符的随机文本的集合。有解决办法吗？我已经在这里描述了这个问题