Apache spark Spark 2.4.3-当数据库表架构具有数字类型时,该怎么办?
我需要使用spark从数据库表(Teradata)加载数据,但该表的模式具有类型号,没有精度和比例。正如我们在这里看到的 所以,当我加载一个包含“NUMBER”列的表时,这些列中有浮点值,在spark数据框中,这些值的精度显示为NUMBER(38,0),这些值的精度丢失 例如: Teradata:Apache spark Spark 2.4.3-当数据库表架构具有数字类型时,该怎么办?,apache-spark,pyspark,pyspark-dataframes,Apache Spark,Pyspark,Pyspark Dataframes,我需要使用spark从数据库表(Teradata)加载数据,但该表的模式具有类型号,没有精度和比例。正如我们在这里看到的 所以,当我加载一个包含“NUMBER”列的表时,这些列中有浮点值,在spark数据框中,这些值的精度显示为NUMBER(38,0),这些值的精度丢失 例如: Teradata: values 50.00 94.30 23.30 20.01 数据帧火花: values 50 94 23 20 有人可以帮我吗?您可以在加载时指定表的架构。spark doc:,请参阅“cust
values
50.00
94.30
23.30
20.01
数据帧火花:
values
50
94
23
20
有人可以帮我吗?您可以在加载时指定表的架构。spark doc:,请参阅“customSchema”-属性名。这有助于覆盖spark jdbc读取中的默认数据类型。