Hadoop 水槽的线轴方向能在远程机器中吗？
每当一个新文件到达一个特定的文件夹时，我就试图从一台远程机器将文件提取到我的hdfs中。我在flume中遇到了spool-dir的概念，如果spool-dir在flume代理运行的同一台机器中，它就可以正常工作Hadoop 水槽的线轴方向能在远程机器中吗？,hadoop,hdfs,bigdata,flume,spool,Hadoop,Hdfs,Bigdata,Flume,Spool,每当一个新文件到达一个特定的文件夹时，我就试图从一台远程机器将文件提取到我的hdfs中。我在flume中遇到了spool-dir的概念，如果spool-dir在flume代理运行的同一台机器中，它就可以正常工作 是否有任何方法可以在远程机器中配置spool dir？？请提供帮助。您可能知道flume可能会生成多个实例，也就是说，您可以安装多个flume实例，在它们之间传递数据 所以要回答您的问题：不，flume无法访问远程spool目录。但是您可以安装两个代理，一个安装在具有spool目录的机器
是否有任何方法可以在远程机器中配置spool dir？？请提供帮助。您可能知道flume可能会生成多个实例，也就是说，您可以安装多个flume实例，在它们之间传递数据 所以要回答您的问题：不，flume无法访问远程spool目录。但是您可以安装两个代理，一个安装在具有spool目录的机器上，另一个安装在hadoop节点上 第一个将从spool读取数据，并通过avrorpc将其传递给第二个代理，后者将数据刷新到HDFS
这是一个简单的设置，只需要几行配置。嗨，你能解释一下你是如何实现这一点的吗。。这对我很有帮助谢谢你