Hadoop 清管器命令执行

Hadoop 清管器命令执行,hadoop,apache-pig,ubuntu-14.04,Hadoop,Apache Pig,Ubuntu 14.04,我正在自学Hadoop,所以我不确定我所问的是否是个问题。当我运行命令pig-x local在本地运行它时,我得到以下消息: 15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL 15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType 2015-10-05 15:23:28,830 [main] INFO

我正在自学Hadoop,所以我不确定我所问的是否是个问题。当我运行命令
pig-x local
在本地运行它时,我得到以下消息:

15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL 15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType 2015-10-05 15:23:28,830 [main] INFO org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:44:35 2015-10-05 15:23:28,831 [main] INFO org.apache.pig.Main - Logging error messages to: /home/nkhl/pig_1444038808829.log 2015-10-05 15:23:29,050 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/nkhl/.pigbootup not found 2015-10-05 15:23:29,333 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS 2015-10-05 15:23:29,334 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address 2015-10-05 15:23:29,335 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// 2015-10-05 15:23:29,562 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum 15/10/05 15:23:28 INFO pig.ExecTypeProvider:正在尝试ExecType:本地 15/10/05 15:23:28 INFO pig.ExecTypeProvider:选择本地作为ExecType 2015-10-05 15:23:28830[main]INFO org.apache.pig.main-apache pig版本0.15.0(r1682971)编译于2015年6月1日11:44:35 2015-10-05 15:23:28831[main]INFO org.apache.pig.main-将错误消息记录到:/home/nkhl/pig1444038808829.log 2015-10-05 15:23:29050[main]INFO org.apache.pig.impl.util.Utils-未找到默认启动文件/home/nkhl/.pigbootup 2015-10-05 15:23:29333[main]INFO org.apache.hadoop.conf.Configuration.deprecation-fs.default.name已被弃用。而是使用fs.defaultFS 2015-10-05 15:23:29334[main]INFO org.apache.hadoop.conf.Configuration.deprecation-mapred.job.tracker已被弃用。相反,请使用mapreduce.jobtracker.address 2015-10-05 15:23:29335[main]INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine-连接到hadoop文件系统的地址:file:/// 2015-10-05 15:23:29562[main]INFO org.apache.hadoop.conf.Configuration.deprecation-io.bytes.per.checksum不推荐使用。而是使用dfs.bytes-per-checksum 它在我的在线导师的屏幕上看起来不同,所以我有点困惑

我最关心的是
弃用部分。有人能帮我吗?它想说什么?别误会,一切正常。咕噜咕噜的shell加载完毕,一切正常。我只是想知道这意味着什么

这是一台Ubuntu机器


谢谢

您设置了一些与Hadoop相关的变量,例如
Hadoop\u HOME
Hadoop\u PREFIX
Hadoop\u CONF\u DIR
,如果您在本地模式下运行Pig,则不需要这些变量

unset HADOOP_HOME
unset HADOOP_PREFIX
unset HADOOP_CONF_DIR
反对并不可怕。它们提醒我们,代码正在调用一些最终将在未来版本中消失的东西。这些具体的反对意见是由Hadoop1和Hadoop2之间的差异引起的。Pig与这两个版本兼容。如果您碰巧使用的是Hadoop 1.2.1而不是2.x,您将不会看到警告。这是因为Pig首先检查Hadoop 1的值

如果您有兴趣了解更多信息,可以查看Pig源代码。

如果您正在使用pig进行一些快速测试,以本地方式运行pig是非常好的选择。例如在UDF中显示sysout等。 您可以安全地忽略上述警告。这意味着conf-site.xml中设置的一些变量已被弃用

您可以通过编辑

log4j.logger.org.apache.hadoop.conf.Configuration.deprecation


在log4j.properties文件中。

您是在询问不推荐使用的警告的一般情况,还是想了解“不推荐使用”警告中每个值的作用?如果是一般情况,那么您的在线导师可能使用的是使用某些变量的早期版本。这些变量已被弃用或停用,并被警告中建议的新变量名替换。但是,旧的变量名仍然被接受,并且还不是一个错误。谢谢。所以这些问题没有任何问题,在我看来,把它们当作警告。我需要MR模式(也许在以后的状态)来学习。你是说把那些台词放在那里可以吗?哦,好的。Just
log4j.logger.org.apache.hadoop.conf.Configuration.deprecation=ERROR