Hive 如何将通用文件摄取构建到配置单元中？
我需要将通用文件摄取构建到配置单元中。这些文件非常大（2GB+），可以是固定或逗号分隔的ASCII或EBCDIC文件。在使用Talend尝试了各种技术之后，我正在研究SERDE。如果按原样接收文件并使用模式文件（包含序号位置、列名、类型、长度），是否可以创建自定义SERDE以将任何输入文件反序列化到配置单元行中？它的性能如何？自从问了这个问题后，我发现我可以使用一个。 我还查看了位置文件的regex-SERDEHive 如何将通用文件摄取构建到配置单元中？,hive,hive-serde,Hive,Hive Serde,我需要将通用文件摄取构建到配置单元中。这些文件非常大（2GB+），可以是固定或逗号分隔的ASCII或EBCDIC文件。在使用Talend尝试了各种技术之后，我正在研究SERDE。如果按原样接收文件并使用模式文件（包含序号位置、列名、类型、长度），是否可以创建自定义SERDE以将任何输入文件反序列化到配置单元行中？它的性能如何？自从问了这个问题后，我发现我可以使用一个。 我还查看了位置文件的regex-SERDE