Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Cascalog可以链接到外部Hadoop集群吗?_Hadoop_Cascalog - Fatal编程技术网

Cascalog可以链接到外部Hadoop集群吗?

Cascalog可以链接到外部Hadoop集群吗?,hadoop,cascalog,Hadoop,Cascalog,我在Eclipse上使用Cascalog。看起来对hadoop的依赖关系是在project的project.clj文件中提供的,如下所示 :profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.1.2"]]}} 如果我必须包含对本地安装的Hadoop单节点集群或某些外部Hadoop集群的依赖,我应该怎么做? 如果是本地的,我是否应该简单地将“org.apache.hadoop”替换为“hadoop路径”? 您的想法将

我在Eclipse上使用Cascalog。看起来对hadoop的依赖关系是在project的project.clj文件中提供的,如下所示

:profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.1.2"]]}}
如果我必须包含对本地安装的Hadoop单节点集群或某些外部Hadoop集群的依赖,我应该怎么做? 如果是本地的,我是否应该简单地将“org.apache.hadoop”替换为“hadoop路径”? 您的想法将不胜感激

致以最良好的祝愿,
Sindhu

Sindhu,集群位置的规范在project.clj中不合适

project.clj的作用与pom.xml对java/maven的作用一样。查看关于leinengen依赖关系管理的教程。 您应该确保声明依赖项的版本与您要运行的版本匹配


最终运行的集群由hadoop conf文件控制,具体来说就是通过在mapred-site.xml中使用“mapred.job.tracker”更改作业跟踪器的位置。您可以阅读有关它们的内容,就像我可以查看群集上运行的cascalog指南上的链接一样 在Hadoop集群上开发和部署Cascalog查询您可以找到在生产集群上运行的段落,这里是复制/粘贴

1-将示例数据复制到集群中的“/tmp/follows”和“/tmp/action”

2-接下来,运行“leinuberjar”创建一个包含程序及其所有依赖项的jar。因为演示代码指定了:gen类并有一个main方法,所以我们可以像运行任何其他hadoop程序一样运行它。要在集群上运行查询并将结果以文本格式输出到“/tmp/results”,请运行:


3-
hadoop jar cascalog-demo-standalone.jar cascalog_demo.demo/tmp/follows/tmp/action/tmp/results

感谢tangrammer,我遵循上述方法。我在使用leon uberjar创建jar时遇到问题。但是我无法获得jar bcoz,我有一个错误:线程“main”java.lang.ClassNotFoundException:org.apache.hadoop.fs.FileSystem中出现异常,原因是:java.lang.ClassNotFoundException:org.apache.hadoop.fs.FileSystem。修复方法是什么。我不明白