Python 如何在从Salesforce对象提取数据时推断模式
每当我将数据从Salesforce对象拉入DataRicks时,DataRicks中的所有列都显示为类型字符串。但我想要与Salesforce中使用的数据类型相同的数据类型。因此,我试图在加载时使用inferSchema=true选项。但这是行不通的 下面是我用于加载Salesforce对象的查询:Python 如何在从Salesforce对象提取数据时推断模式,python,amazon-s3,pyspark,salesforce,databricks,Python,Amazon S3,Pyspark,Salesforce,Databricks,每当我将数据从Salesforce对象拉入DataRicks时,DataRicks中的所有列都显示为类型字符串。但我想要与Salesforce中使用的数据类型相同的数据类型。因此,我试图在加载时使用inferSchema=true选项。但这是行不通的 下面是我用于加载Salesforce对象的查询: val sfDF = spark. read. format("com.springml.spark.salesforce&
val sfDF = spark.
read.
format("com.springml.spark.salesforce").
option("username", "your_salesforce_username").
option("password", "your_salesforce_password_with_secutiry_token"). //<salesforce login password><security token>
option("soql", soql).
option("inferSchema", "true").
option("version", "48.0").
load()
在将数据从Salesforce对象拉到Databricks时,是否有其他方法可以推断模式?
任何建议都会很有帮助
org.apache.spark.SparkException: Job aborted due to stage failure: Task 60 in stage 6231.0 failed 4 times, most recent failure: Lost task 60.3 in stage 6231.0 (TID 84032, 10.252.35.82, executor 99): java.lang.UnsupportedOperationException: Unexpected data type BooleanType