Database 从s3复制到红移

我正在从s3向红移加载数据，使用清单指定加载，因为我必须加载8k文件（数据集总大小~1TB）

我正在使用SQLWorkbench加载此数据集，我正在设置MAXERROR=100000，但实际发生的错误大于100000（MAXERROR=100000）。我认为SQLWorkbench的最大错误限制为100000

---

有没有更好的办法？有什么建议吗？

如果您在导入的数据中实际有超过100000个错误，我建议您需要返回源并更正这些文件。如果这不可能，那么您可以尝试将数据加载到一个表中，将有问题的列设置为VARCHAR（MAX），然后可以在红移中对其进行转换。

您可以（1）将

MAXERROR

设置为更高的值，（2）将加载拆分为多个批次（多个清单），或者（3）修复部分错误（例如与架构相关的问题）? 对于后者，

STL\u LOAD\u ERRORS

提供了关于到底出了什么问题的信息。（1）我试图将MAXERROR设置为>100000，但我认为SQLWorkbench的最大值为MAXERROR为100000。我不知道如何将其设置为高于100000。（2） 我已经将load（8K文件拆分为500个文件/清单的清单）仍然存在相同的问题。（3） 数据中的一些记录并不局限于模式，但我不太关心这些记录是否没有加载到红移。是否有其他方法加载此数据？我检查了STL_load_错误，注意到只有两种类型的错误（1）“分隔值缺少结束引号”和（2）“无效数字，值“c”，位置0，类型：Long”，是否有帮助修复此问题？错误1：字段是否应该被引用？如果没有，请禁用引号。错误2：您试图将带有字母的值加载到数字列中。将其加载到例如VARCHAR列中。如果您需要它作为一个整数，请首先将其加载到一个临时表中，并从那里进行转换。（1）一些字段被引用，但我指定REMOVEQUOTES来消除它，（2）我已通过将数据类型从BIGINT更改为VARCHAR来修复此问题，因为实际字段是timestamp:BIGINT，但是有些记录使用字符串而不是INT。是的，我也这样做了，用varchar加载数据，然后删除不适合模式的记录器，然后转换数据类型