Apache spark 如果列内容太长，如何使用spark红移trunc列？

我想知道如果列内容太长，如何使用

spark redshift

截断列，而不是返回错误。

spark redshift连接器使用引擎盖下的

redshift jdbc

连接器。此接头用于自动触发AWS红移上相应的

复制

和

卸载

命令

但您可以指定

extracopyoptions

，这是加载数据时附加到AWS Redshift

COPY

命令的额外选项列表，例如在您的案例中为

TRUNCATECOLUMNS

---

注意由于这些选项被附加到

复制

命令的末尾，因此只能使用在命令末尾有意义的选项，但这些选项应涵盖大多数可能的用例。

您运行的是什么命令？您是从红移提取数据，还是将数据插入红移？Amazon Redshift在通过

COPY

命令加载数据时有一个选项。不确定它在

spark redshift

中是否可用。是的，我熟悉这一点，我想知道spark redshift库中是否有可以调用的标志对不起，在我明天开始工作之前，我没有机会验证解决方案。那我就收下了！