Hadoop 文件大于Hcatalog的字段限制

我在单机版中工作（我们的集群尚未配置）。我试图从带有HCatalog的文件中创建一个新表，但出现以下错误

字段大于字段限制（131072）

此值似乎是配置为131072的

io.file.buffer.size

的值。我说得对吗？但是，这个选项的描述是SequenceFiles中使用的读/写缓冲区的大小，所以我一点也不确定。我的文件是一个文本文件。所以我不确定，这是改变的好属性

---

有什么想法吗？

我想要么是因为

配置单元create语句中设置的字段分隔符未设置为正确的分隔符，因此缓冲区中读取的字段超出了允许的最大长度

您的字段分隔符设置正确，但某些字段确实很长，或者缺少正确的分隔符。如果是这种情况，您需要以某种方式对文件进行预处理，以确保不会出现此类情况

类似的问题和答案