Pandas csv文件转换为拼花添加';e0和x27;结束价值观

Pandas csv文件转换为拼花添加';e0和x27;结束价值观,pandas,amazon-redshift,Pandas,Amazon Redshift,我正在运行一个测试,以红移方式填充一个表。我将模拟数据添加到csv文件中,然后将其转换为带有熊猫的拼花地板。我正在使用COPY命令将数据从s3存储桶中的拼花地板文件获取到我的红移数据库 我得到了一个错误: 'file has an incompatible Parquet schema for column' 这些列是十进制的(12,3)。 我检查了s3控制台,发现在查看转换后的拼花地板文件时,“e0”已添加到值的末尾,例如: {"id":28731300

我正在运行一个测试,以红移方式填充一个表。我将模拟数据添加到csv文件中,然后将其转换为带有熊猫的拼花地板。我正在使用COPY命令将数据从s3存储桶中的拼花地板文件获取到我的红移数据库

我得到了一个错误:

    'file has an incompatible Parquet schema for column' 
这些列是十进制的(12,3)。 我检查了s3控制台,发现在查看转换后的拼花地板文件时,“e0”已添加到值的末尾,例如:

    {"id":2873130000000000000,"field1":9.335e0,"field2":9.335e0}
我转换为拼花地板的代码是标准的:

    import pandas as pd
    df = pd.read_csv('test.csv')
    df.to_parquet('test.parquet')

在这一点上,这些附加值似乎就是我得到“不兼容”错误的原因。为什么要添加这些值,我如何防止这种情况发生?

看起来您正在用科学记数法用这些字段编写拼花地板文件。这里e代表“乘以10的幂”,例如1.1e2等于110。检查您的格式设置