Hadoop 将sqoop转换为更多小尺寸零件
我有10个映射器的sqoop stmt。整个数据在hadoop中分为10个部分，每个部分都超过1GB。我想将数据分成多个较小部分的文件，不用说超过10个，大约50个200MB的文件。但是由于DB瓶颈问题，我不能在一个sqoop中创建超过10个映射器。如果有任何简单的解决方案，请告诉我。在直接模式下有一个解决方案 您可以使用Hadoop 将sqoop转换为更多小尺寸零件,hadoop,sqoop2,bigdata,Hadoop,Sqoop2,Bigdata,我有10个映射器的sqoop stmt。整个数据在hadoop中分为10个部分，每个部分都超过1GB。我想将数据分成多个较小部分的文件，不用说超过10个，大约50个200MB的文件。但是由于DB瓶颈问题，我不能在一个sqoop中创建超过10个映射器。如果有任何简单的解决方案，请告诉我。在直接模式下有一个解决方案 您可以使用--直接拆分大小（以字节为单位） 示例：--直接拆分大小200000000将生成约200 MB的文件 查看更多详细信息 当您说“但是由于DB瓶颈问题，我不能在一个sqoop中创
--直接拆分大小--直接拆分大小200000000