Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 内部错误:频谱扫描错误。S3到红移复制命令_Python_Amazon S3_Amazon Redshift_Parquet - Fatal编程技术网

Python 内部错误:频谱扫描错误。S3到红移复制命令

Python 内部错误:频谱扫描错误。S3到红移复制命令,python,amazon-s3,amazon-redshift,parquet,Python,Amazon S3,Amazon Redshift,Parquet,我试图使用copy命令将一些数据从S3存储桶复制到红移表。文件的格式是拼花地板。当我运行executethecopy命令查询时,我得到InternalError:Spectrum Scan Error 这是我第一次尝试从拼花文件复制 如果有解决办法,请帮助我。我在python中使用boto3 此错误通常表示文件和红移表中数据的兼容性存在问题。您可以在表“SVL_S3LOG”中获得有关错误的更多信息。在我的例子中,这是因为文件中有一些无效的utf8字符。这种情况通常发生的原因如下: 如果表和文件

我试图使用copy命令将一些数据从S3存储桶复制到红移表。文件的格式是拼花地板。当我运行executethecopy命令查询时,我得到InternalError:Spectrum Scan Error

这是我第一次尝试从拼花文件复制


如果有解决办法,请帮助我。我在python中使用boto3

此错误通常表示文件和红移表中数据的兼容性存在问题。您可以在表“SVL_S3LOG”中获得有关错误的更多信息。在我的例子中,这是因为文件中有一些无效的utf8字符。

这种情况通常发生的原因如下:

  • 如果表和文件之间的列数不匹配
  • 如果文件架构的列类型与目标表列类型不兼容
  • 尝试进入错误日志。您可能会在cloud watch中找到部分日志。从您上传的屏幕截图中,您还可以找到您运行的查询编号

    转到aws红移查询编辑器并运行以下查询以获取完整日志:

    select message 
    from svl_s3log 
    where query = '<<your query number>>'
    order by query,segment,slice; 
    
    选择消息
    从svl_s3log
    其中查询=“”
    按查询、分段、切片排序;
    

    希望这有帮助

    频谱扫描误差通常由两方面引起

    a) 源和目标之间的列不匹配 e、 g.如果u将数据从S3复制到红移,则拼花地板的列与红移表中的列不一致

    b) 源和目标的数据类型中存在匹配项 e、 g.S3到红移复制,在拼花地板中,col1数据类型为Integer,在红移中,col1数据类型为float

    使用其数据类型验证架构
    匹配源和目标的序列和数据类型将解决频谱扫描错误。

    错误的“上下文”属性中应包含有关错误的详细信息。