Java 在使用Sqoop的情况下,映射器输出如何写入HDFS?

Java 在使用Sqoop的情况下,映射器输出如何写入HDFS?,java,hadoop,mapreduce,hdfs,sqoop,Java,Hadoop,Mapreduce,Hdfs,Sqoop,正如我了解到的Hadoop Map Reduce作业一样,mapper输出被写入本地存储,而不是HDFS,因为它最终是一个一次性数据,因此没有必要存储在HDFS中 但正如我在Sqoop映射器中看到的,输出文件part-m-00000被写入HDFS。所以我的疑问是Hadoop中是否有一些设置来控制映射器输出写入的位置?默认情况下,它设置为本地存储?如果没有还原器,则映射器输出将写入HDFS。即使在这种情况下,映射器输出也不会直接写入HDFS,而是写入单个节点磁盘,然后复制到HDFS Sqoop是一

正如我了解到的Hadoop Map Reduce作业一样,mapper输出被写入本地存储,而不是HDFS,因为它最终是一个一次性数据,因此没有必要存储在HDFS中


但正如我在Sqoop映射器中看到的,输出文件
part-m-00000
被写入HDFS。所以我的疑问是Hadoop中是否有一些设置来控制映射器输出写入的位置?默认情况下,它设置为本地存储?

如果没有还原器,则映射器输出将写入HDFS。即使在这种情况下,映射器输出也不会直接写入HDFS,而是写入单个节点磁盘,然后复制到HDFS

Sqoop是一种场景,其中它通常是一个仅映射的作业,您希望并行地从表中获取数据,但在任何情况下都不需要减少数据

检查此链接: