Apache spark 在哪里可以找到spark.read.format（“csv”）的所有可用选项

这当然是一个非常愚蠢的问题，但我真的花了一些时间在这个问题上，我找不到

我正在用pyspark读取csv文件，这会产生一个错误，因为我的浮动分隔符是“，”

在字符串中替换它之前，我想确认没有指定它的选项（类似于.option（“floatingDecimal”），“，”），但我找不到任何可用选项的完整列表。许多教程提供了一些内容，但没有完整的内容。 是否存在一个？ 谢谢

：

您可以设置以下特定于CSV的选项来处理CSV文件：

• sep（默认值）：将单个字符设置为每个字段和值的分隔符
• 编码（默认UTF-8）：按给定的编码类型解码CSV文件
• quote（默认值）：设置用于转义引用值的单个字符，其中分隔符可以是值的一部分。如果要关闭引用，则需要设置非空字符串，而不是空字符串。此行为与com.databricks.spark.csv不同
• 转义（默认）：设置用于转义已引用值内的引号的单个字符
• 注释（默认为空字符串）：设置用于跳过以该字符开头的行的单个字符。默认情况下，它处于禁用状态
• 标题（默认为false）：使用第一行作为列的名称
• 推断模式（默认为false）：根据数据自动推断输入模式。它需要对数据进行一次额外的传递
• ignoreLeadingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的前导空格
• ignoreTrailingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的尾部空白
• nullValue（默认空字符串）：设置null值的字符串表示形式
• nanValue（默认NaN）：设置非数字“值”的字符串表示形式
• positiveInf（默认Inf）：设置正无穷大值的字符串表示形式
• negativeInf（默认值-Inf）：设置负无穷大值的字符串表示形式
• dateFormat（默认为空）：设置指示日期格式的字符串。自定义日期格式遵循java.text.simpleDataFormat中的格式。这适用于日期类型和时间戳类型。默认情况下，它为null，这意味着试图通过java.sql.Timestamp.valueOf（）和java.sql.date.valueOf（）解析时间和日期
• maxColumns（默认值20480）：定义一条记录可以有多少列的硬限制
• maxCharsPerColumn（默认值1000000）：定义读取任何给定值所允许的最大字符数
• maxMalformedLogPerPartition（默认值10）：设置Spark将为每个分区记录的最大错误行数。超过此数字的格式错误记录将被忽略
• 模式（默认许可）：允许在解析期间处理损坏记录的模式。
  • PERMISSIVE：当遇到损坏的记录时，将其他字段设置为null。当模式由用户设置时，它会为额外字段设置null
  • DROPMALFORMED：忽略整个损坏的记录
  • FAILFAST：遇到损坏记录时引发异常

:

您可以设置以下特定于CSV的选项来处理CSV文件：

• sep（默认值）：将单个字符设置为每个字段和值的分隔符
• 编码（默认UTF-8）：按给定的编码类型解码CSV文件
• quote（默认值）：设置用于转义引用值的单个字符，其中分隔符可以是值的一部分。如果要关闭引用，则需要设置非空字符串，而不是空字符串。此行为与com.databricks.spark.csv不同
• 转义（默认）：设置用于转义已引用值内的引号的单个字符
• 注释（默认为空字符串）：设置用于跳过以该字符开头的行的单个字符。默认情况下，它处于禁用状态
• 标题（默认为false）：使用第一行作为列的名称
• 推断模式（默认为false）：根据数据自动推断输入模式。它需要对数据进行一次额外的传递
• ignoreLeadingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的前导空格
• ignoreTrailingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的尾部空白
• nullValue（默认空字符串）：设置null值的字符串表示形式
• nanValue（默认NaN）：设置非数字“值”的字符串表示形式
• positiveInf（默认Inf）：设置正无穷大值的字符串表示形式
• negativeInf（默认值-Inf）：设置负无穷大值的字符串表示形式
• dateFormat（默认为空）：设置指示日期格式的字符串。自定义日期格式遵循java.text.simpleDataFormat中的格式。这适用于日期类型和时间戳类型。默认情况下，它为null，这意味着试图通过java.sql.Timestamp.valueOf（）和java.sql.date.valueOf（）解析时间和日期
• maxColumns（默认值20480）：定义一条记录可以有多少列的硬限制
• maxCharsPerColumn（默认值1000000）：定义读取任何给定值所允许的最大字符数
• maxMalformedLogPerPartition（默认值10）：设置Spark将为每个分区记录的最大错误行数。超过此数字的格式错误记录将被忽略
• 模式（默认许可）：允许在解析期间处理损坏记录的模式。
  • 允许：设置其他字段t