Apache spark 如何在pyspark中关闭科学记数法?
经过一些聚合,我提出了以下sparkdataframe:Apache spark 如何在pyspark中关闭科学记数法?,apache-spark,pyspark,apache-spark-sql,spark-dataframe,Apache Spark,Pyspark,Apache Spark Sql,Spark Dataframe,经过一些聚合,我提出了以下sparkdataframe: ------------+-----------------+-----------------+ |sale_user_id|gross_profit |total_sale_volume| +------------+-----------------+-----------------+ | 20569| -3322960.0| 2.12569482E8| | 24269|
------------+-----------------+-----------------+
|sale_user_id|gross_profit |total_sale_volume|
+------------+-----------------+-----------------+
| 20569| -3322960.0| 2.12569482E8|
| 24269| -1876253.0| 8.6424626E7|
| 9583| 0.0| 1.282272E7|
| 11722| 18229.0| 5653149.0|
| 37982| 6077.0| 1181243.0|
| 20428| 1665.0| 7011588.0|
| 41157| 73227.0| 1.18631E7|
| 9993| 0.0| 1481437.0|
| 9030| 8865.0| 4.4133791E7|
| 829| 0.0| 11355.0|
+------------+-----------------+-----------------+
数据帧的模式为:
root
|-- sale_user_id: string (nullable = true)
|-- tapp_gross_profit: double (nullable = true)
|-- total_sale_volume: double (nullable = true)
如何在“毛利”和“销售总额”列中禁用科学记数法?最简单的方法是将双精度列转换为十进制,给出适当的:
你知道如何在不告知小数位数(指数)的情况下做到这一点吗?我的意思是,让它被推断出来?@BrunoAmbrozio你可以总是
.collect()
一个数据帧,然后你就有了一个纯python对象,可以更好地控制这些对象的打印方式()现在我需要的几乎是一样的,但是为了在文件中持久化这些值,但是,我无法设置精度。如果有人有解决方案,请感激。这是一个新问题:
df.withColumn('total_sale_volume', df.total_sale_volume.cast(DecimalType(18, 2)))