Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark 2.4.3-当数据库表架构具有数字类型时,该怎么办?_Apache Spark_Pyspark_Pyspark Dataframes - Fatal编程技术网

Apache spark Spark 2.4.3-当数据库表架构具有数字类型时,该怎么办?

Apache spark Spark 2.4.3-当数据库表架构具有数字类型时,该怎么办?,apache-spark,pyspark,pyspark-dataframes,Apache Spark,Pyspark,Pyspark Dataframes,我需要使用spark从数据库表(Teradata)加载数据,但该表的模式具有类型号,没有精度和比例。正如我们在这里看到的 所以,当我加载一个包含“NUMBER”列的表时,这些列中有浮点值,在spark数据框中,这些值的精度显示为NUMBER(38,0),这些值的精度丢失 例如: Teradata: values 50.00 94.30 23.30 20.01 数据帧火花: values 50 94 23 20 有人可以帮我吗?您可以在加载时指定表的架构。spark doc:,请参阅“cust

我需要使用spark从数据库表(Teradata)加载数据,但该表的模式具有类型号,没有精度和比例。正如我们在这里看到的

所以,当我加载一个包含“NUMBER”列的表时,这些列中有浮点值,在spark数据框中,这些值的精度显示为NUMBER(38,0),这些值的精度丢失

例如:

Teradata:

values
50.00
94.30
23.30
20.01
数据帧火花:

values
50
94
23
20

有人可以帮我吗?

您可以在加载时指定表的架构。spark doc:,请参阅“customSchema”-属性名。这有助于覆盖spark jdbc读取中的默认数据类型。