dfs.blocksize、file.blocksize、kfs.blocksize等在hadoop mapreduce作业中有什么影响？_Hadoop_Mapreduce

dfs.blocksize、file.blocksize、kfs.blocksize等在hadoop mapreduce作业中有什么影响？

hadoop mapreduce

dfs.blocksize、file.blocksize、kfs.blocksize等在hadoop mapreduce作业中有什么影响？,hadoop,mapreduce,Hadoop,Mapreduce,当我检查hadoop（版本0.21.0）mapreduce作业的job.xml文件时，我发现存在多个blocksize设置： dfs.blocksize=134217728（即128MB） file.blocksize=67108864（即64MB） kfs.blocksize=67108864 s3.块大小=67108864 s3native.blocksize=67108864 ftp.blocksize=67108864 我期待一些答案来解释以下相关问题：在此上下文中，dfs、文件、

当我检查hadoop（版本0.21.0）mapreduce作业的

job.xml

文件时，我发现存在多个

blocksize

设置：

```
dfs.blocksize
```
=134217728（即128MB）
```
file.blocksize
```
=67108864（即64MB）
```
kfs.blocksize
```
=67108864
```
s3.块大小
```
=67108864
```
s3native.blocksize
```
=67108864
```
ftp.blocksize
```
=67108864

我期待一些答案来解释以下相关问题：

在此上下文中，

dfs

、

文件

、

kfs

、

s3

等是什么意思

它们之间有什么区别

运行mapreduce作业时，它们有什么影响

多谢各位

Map reduce可以处理存储在不同类型存储系统上的数据。上面的设置是所用存储技术的默认块大小。dfs（分布式文件系统）是我们在hadoop中常用的，默认块大小为128MB。其他设置包括文件（本地）、kfs（kosmos分布式文件系统）、s3（亚马逊云存储）和ftp（ftp服务器上的文件）

您可以进一步研究它们，以便更好地了解每种存储技术，并将它们与hadoop功能一起使用。在运行map reduce作业时，将针对所使用的特定存储技术确定块大小的设置。我希望这是有帮助的