Fatal编程技术网
  • dataframe/
  • Dataframe 读取带空值的spark csv而不转换为null

Dataframe 读取带空值的spark csv而不转换为null

dataframe apache-spark

Dataframe 读取带空值的spark csv而不转换为null,dataframe,apache-spark,apache-spark-sql,Dataframe,Apache Spark,Apache Spark Sql,以csv为例： Name,Color Apple,"" 这仍然是： +--------+----------+ |Name |Color | +--------+----------+ | Apple| null| +--------+----------+ 预期为： +--------+----------+ |Name |Color | +--------+----------+ | Apple| | +

以csv为例：

Name,Color
Apple,""
这仍然是：

+--------+----------+
|Name    |Color     |
+--------+----------+
|   Apple|      null|
+--------+----------+
预期为：

+--------+----------+
|Name    |Color     |
+--------+----------+
|   Apple|          |
+--------+----------+
好的，选项
“treatEmptyValuesAsNulls”
不存在。有关更多详细信息，请参阅。不过，您可能对另外两种选择感兴趣<代码>空值和
空值
。默认情况下，它们都设置为
”
，但由于任何类型都可以使用空值，因此会在仅适用于字符串类型的空值之前进行测试。因此，默认情况下，空字符串被解释为空值。如果将
nullValue
设置为除
“
”以外的任何值，如
“null”
或
“none”
，空字符串将被读取为空字符串，而不再是空值。

AFAIK，选项
“treatEmptyValuesNulls”
不存在。有关更多详细信息，请参阅。不过，您可能对另外两种选择感兴趣<代码>空值和
空值
。默认情况下，它们都设置为
”
，但由于任何类型都可以使用空值，因此会在仅适用于字符串类型的空值之前进行测试。因此，默认情况下，空字符串被解释为空值。如果您将
nullValue
设置为除
“
以外的任何值，例如
“null”
或
“none”
，空字符串将被读取为空字符串，而不再是空值。

那么我们如何将空字符串读取为空而不将其作为空值抱歉，我感到困惑。请尝试
选项（“nullValue”，null）
。是的，现在已经空了。谢谢@ernest_kth我们如何将空字符串读取为空而不将其作为空对不起，我感到困惑。请尝试
.option（“nullValue”，null）
。是的，它现在变空了。谢谢@ernest_k 
+--------+----------+
|Name    |Color     |
+--------+----------+
|   Apple|          |
+--------+----------+