对于那些在自己的集群上部署了HBase的人来说，您觉得它对于生产使用是否足够稳定？您遇到过哪些类型的麻烦或问题 我确实看到有很多公司在生产中使用HBase（），但我很好奇，是否有大量的维护、修补和firedrills用于保持HBase群集的正常运行。HBase即将迎来HBase-0.20的一个重要里程碑。有一个alpha，很快就会有一个RC。它的性能有了很大的改进。据报道，StumbleUpon和其他公司一样，为他们的站点提供了HBase的主干版本，没有额外的缓存层。所以我想说，它绝对可以投入生

Hadoop应用程序是否可以在任何一个集群节点上启动，而与节点类型无关 应用程序是否应仅在其中一个节点上启动 Hadoop是否将代码移动到数据附近的适当节点 JavaRMI是否用于移动代码 @编辑 在每个Hadoop安装的节点上，应该通过为Namenode设置fs.default.name的core site.xml和为Jobtracker设置mapred.job.tracker的 但是，不能显式分配从属节点Datanode和Tasktracer，对吗 相反，它们在Hadoop dameon启动

以下是用例： 输入URL由映射读取，然后通过一些过滤发出。然后分区器根据主机名对它们进行分区 在运行map reduce作业后，我对输出URL有一个全局限制。我将其均匀分布在所有减速器上。 也就是说，如果全局限制为1000，并且减缩器的数量为5，那么每个减缩器最多将发出（1000/5=200）URL作为输出 问题是，如果只有来自2台主机的URL（由于用户输入），并且这2台主机中的每台主机都有100000个URL， 处理这些URL（同一主机、同一分区）的两个还原程序将限制每个URL仅输出200个U

我正在运行一个简单的连接查询 select count(*) from t1 join t2 on t1.sno=t2.sno 然而，它给出了一个内存不足的异常 t1和t2均采用rcfile格式，在ssn上进行了聚类和排序，每个记录有2000万条。我有3个数据节点，4 GB ram和2个CPU核 我尝试过运行映射连接，但也失败了 其他配置选项包括： io.sort.mb- 500 MB io.sort.factor- 10 fs.memory.size.mb- 500 MB 请告知。您必须配

在我的开发设备上以伪分布式模式运行HBase。Cloudera CDH4。森托斯 不知何故，我的HBase安装已经完全损坏。我运行了以下命令： /箱/hbase hbck-维修孔 读数结果如下： Summary: -ROOT- is okay. Number of regions: 1 Deployed on: localhost.localdomain,60020,1340917622717 .META. is okay. Number of regions:

我正在hadoop集群上构建一个字典，需要为每个令牌生成一个数字id。我该怎么做 您有两个问题。首先，您要确保为每个令牌分配一个id。要做到这一点，您应该按标记对记录进行排序和分组，并在减速机中进行赋值。一旦确保每个令牌只调用一次reducer方法，您就可以使用上下文中的分区号和reducer维护的唯一数字id（每个分区一个实例）-只需在setup方法中使用一个初始化为1并在reduce方法中递增的实例变量 为了避免不属于业务逻辑的同步、排序和分组，您可以使用一些技巧，这些技巧会更快 最简单的方

有人知道如何在Hadoop中实现两个数据集之间的自然连接操作吗 更具体地说，我需要做的是： 我有两组数据： 存储为（平铺编号，点id:point\u info）的点信息，这是一个1:n键值对。这意味着对于每个磁贴编号，可能有几个点id:point\u info 行信息存储为（tile\u编号，Line\u id:Line\u信息），这也是一个1:m键值对，对于每个tile\u编号，可能有多个Line\u id:Line\u信息 正如您所看到的，两个数据集之间的tile_编号是相同的。现在我真正需

可能重复： 我有地图减少链如下所述 Job1（Map1->reduce1）-->Job2（Map2，Reduce2）Job1.waitForCompletion（true） 我需要Map2中的一个值（假设int a，由Reduce 1创建） 我该怎么做？？请分享您的想法您可以使用ChainMapper和ChainReducer。下面是一个示例代码供您帮助 注意： the out-put Type of key-value derive which Mapper and reducer

我需要计算Hadoop集群中所有节点上运行的每个映射任务的进度。我曾考虑将处理数据的大小除以整个输入数据的大小，但我不确定如何为任务获取这些信息 我看到TaskStatus类有一个方法getProgress（），但是没有对它的描述。它是否提供了我需要的值？对于映射任务，yesgetProgress（）返回映射程序在输入文件中的进度。对于reduce任务，计算不那么简单。有一个很好的解释

我是ApachePig的新用户，我有一个问题要解决 我想用ApachePig做一个小搜索引擎。想法很简单：我有一个文件，它是多个文档的串联（每行一个文档）。以下是一个包含三个文档的示例： 1,word1 word4 word2 word1 2,word2 word6 word1 word5 word3 3,word1 word3 word4 word5 1,word1 word4 word2 word1 2,word2 word6 word1 word5 word3 word7 3,word1

此异常是在HBase中提出的，当时需要大量写入 集群： WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0 java.io.IOException: Connection reset by peer

我有一个具有以下计数器的MapReduce作业 Map output records: 1,256,043,797 Reduce input records: 1,027,012,342 我没有使用组合器，所以我很惊讶reduce中的记录比map生成的记录要少。是什么导致了这种情况？事实证明，发生这种情况是因为我的reduce没有遍历某些键的所有值。计数器显示消耗的reduce记录数，因此，如果reducer对每个键都通过迭代器，则它将仅等于映射输出记录。能否提供与mapper和reduc

我正在尝试在DSE 3.1分析服务器集群上运行流媒体作业。我使用Cassandra CFs作为输入。但它抱怨输入和输出参数，但它们被设置了（我设置它只是因为抱怨）： 获取“错误流。StreamJob:缺少必需的选项：输入，输出”。我尝试了不同的输入和输出，不同的输出格式，但得到了相同的错误 我做错了什么？输入应该是HDFS上的现有路径，而输出应该是HDFS上的不存在路径我注意到命令的这一部分没有尾随反斜杠： ... -D cassandra.input.thrift.address=10.0.0

我是hadoop新手，最近熟悉了MapReduce技术。这是令人印象深刻的，但我是一个绝对的初学者，以锻炼一个mapreduce问题的解决方案。任何方向正确的帮助都将不胜感激。我有逻辑方法，但不知道如何用hadoop映射它 问题描述：我必须找到组织中每台服务器的登录持续时间。 投入： 有两个选项卡分隔的值文件作为输入提供，其结构如下： File1: UserName Timestamp serverid CMXO001 02-Jan-2014 12:00:

在没有hadoop安装的情况下，如何编译hadoop示例程序（例如字数） 我计划在Amazon EMR上运行我的程序，因此我不需要在本地计算机上运行我的程序。您需要添加hadoop并将reduce客户端jar映射到类路径 例如，这两个应该得到wordcount示例进行编译 hadoop-common-2.2.0.jar hadoop-mapreduce-client-core-2.2.0.jar hadoop common有org.apache.hadoop.io包，您需要它来创建xxx可写的文

假设每个映射器只能使用1GB堆大小，但是，块大小设置为10GB，每个拆分为10GB。映射程序如何读取较大的单个分割 映射程序是否会将输入缓冲到磁盘中，并以循环方式处理输入拆分 谢谢 映射器的总体模式非常简单： while not end of split (key, value) = RecordReader.next() (keyOut, valueOut) = map(key, value) RecordWriter.write(keyOut, valueOut) 通常前两个操

我正在运行一个有80台机器的spark cluster。每台机器都是一个具有8核和50GB内存的虚拟机（Spark似乎可以使用41个） 我在几个输入文件夹上运行，我估计输入的大小约为250GB gz压缩 我在驱动程序日志中遇到错误，我不知道该如何处理。示例（按照它们在日志中出现的顺序）： 因为我的作业类（Phase0）不是任何堆栈跟踪的一部分，所以我不确定从这些问题源的错误中可以学到什么。有什么建议吗 编辑：特别是，即使在处理几GB的文件夹时，以下异常也会发生在我身上： 271722 [Resu

对于Hadoop Map Reduce程序，当我们通过执行以下命令$Hadoop jar my.jar DriverClass input1.txt hdfsDirectory来运行它时。如何使Map Reduce在一次运行中处理多个文件input1.txt和input2.txt 像这样： hadoop jar my.jar DriverClass hdfsInputDir hdfsOutputDir 在哪里 hdfsInputDir是HDFS上存储输入文件的路径，即input1.txt和i

我正在我的系统上运行hive，在那里我成功地创建了一个数据库和一个表。我已经用位于HDFS上的csv文件加载了该表 我成功地描述了配置单元中的表，看到了我打算创建的所有列 我还成功地运行了简单的SELECT*FROM表返回大量数据列表的查询 每当我尝试运行比这更复杂的查询时，我的问题就开始了。具体地说，当我尝试运行一个选择特定列名或选择任何数据聚合的查询时。如果我尝试其他操作，我会在映射和减少任务在0%的状态下运行一段时间后收到此错误消息 Diagnostic Messages for this

我使用了以下repo select song_dataset.csv github.com/Taranveer/Million_song_dataset，但当我通过一个Hadoop变体加载数据集时，结果是一堆问号： 14/12/30 04:02:51信息spark.SparkContext:作业完成：在 ：14，取0.205963622 s时长：数组[字符串]=数组�HDF， ?, ????????????????????????���������T��������????????`??????

我有一个4节点的hadoop集群。它运转良好。 我使用以下命令临时停止hadoop群集： stop-dfs.sh stop-yarn.sh 当我使用以下命令重新启动时： start-dfs.sh start-yarn.sh 所有jps（hadoop进程）在所有4个节点上都运行良好， 但在运行map reduce作业时显示以下错误日志： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hduser4/

我使用Hadoop total order partitioner和random sampler作为输入采样器 但是，当我增加从属节点并将任务减少到8时，会出现以下错误： Caused by: java.io.IOException: Split points are out of order 我不知道这个错误的原因 如何设置inputsampler.randomsampler函数中三个参数的数量？您确定生成了足够的键吗？ 从javadoc： 输入文件必须使用相同的比较器排序并包含 JobCo

我最近在我的机器上安装了Hadoop。我有权限问题。我以用户rahul的身份登录并尝试在HDFS中创建目录（HDFS-mkdir/rahul_工作区）。但它给了我一个错误权限被拒绝：user=Rahul，access=WRITE，inode=“/user”：hdfs:hdfs:drwxr-xr-x。谷歌对该错误的快速搜索会导致许多响应，建议通过将hdfs site.xml中的dfs.permissions属性设置为false来禁用权限检查。 现在我可以用HDFS包装目录了。当上述属性设置为fal

嗨，当我试图把一个文件放在hdfs中时，我得到了一个错误，它说名称节点处于安全模式。我执行了命令。/bin/hdfs dfsadmin-safemode leave，并收到消息Safe mode is OFF。但将文件放入hdfs时，问题仍然存在。有人能帮我解决这个问题吗？一个月前，我遇到了与您相同的问题。我在log的帮助下解决了这个问题。我的问题是磁盘容量不够用。所以，在你的问题中，请检查你的日志并找到你想要的，你可以从日志中获得一些有用的信息 像这样： /root/ec性能测试/hadoop

我正在寻找一种使用flume将日志数据从只读文件夹推送到hdfs的方法。正如我所知，flume spoolDir需要写访问权限来更改完成后的文件名，因此我想创建一个临时文件夹作为spoolDir，并使用rsync将文件复制到其中，然后将其用作spoolDir。 但是，据我所知，一旦flume（myfile.COMPLETED）在dest文件夹中更改了文件，rsync进程将再次复制它，对吗？ 还有其他解决方案吗？另一个来源是。您可以在单个只读文件上运行tail命令并开始处理数据。不过，您必须考虑到

我正在使用Hadoop-1.0.3版本集群，其中安装了Hadoop子项目，目前用于学习目的。 我现在想问的是，任何hadoop-1.0.3版本集群目前是否在任何生产系统中使用，或者任何公司是否仍在生产系统中使用此hadoop 1.x版本，我是否可以使用hadoop工具，如hive、sqoop、，生产系统中的pig 1.x版本或此工具仅在hadoop 2.x版本以上受支持。请随时提供帮助。提前感谢。我想可能是：，您可能需要一些补丁。最好在生产中使用Thread，因为它解决了hadoop 1.x的大

我试图在包含两个拼花文件的文件夹中创建一个配置单元表，其中包含模式字符串、字符串和双精度。第一个拼花文件模式是string，string，double，第二个文件的模式是string，double，string 我正在尝试使用pig（0.14）脚本中的配置单元表 但是我得到了错误 java.lang.UnsupportedOperationException:无法检查org.apache.hadoop.hive.serde2.io.DoubleWritable 我怀疑这是由于第二个文件的架构与表

我的集群中有100个节点管理器，拥有1000个内核和4.8T内存。 但是，最近有件事让我在nodemanager上发疯，而且偶尔会发生，不是每天都会发生。 在Cloudera管理中，运行状况测试向我显示“GC持续时间未知”和“Web服务器状态错误”： 然后，集群中的应用程序将出现超时或线程中断错误 节点管理器错误日志如下所示： java.io.IOException: Failed on local exception: java.io.InterruptedIOException: Inte

我正在尝试在windows pc上运行mapr sandbox，内存为8gb。但是，当我尝试导入ovf时，它总是说ovf已损坏，而我使用了多个源。另一台计算机上运行的ovf没有在我的计算机上运行。我也尝试过使用配置，我也尝试过提取ovf并将其作为vmdk运行，但没有进行配置设置，因此无法正常工作也现在我已经在vmplayer上尝试过了，它得到了安装，并且说ovf格式未被禁止，当您再次尝试时，它不会看到ovf文件规范问题，因此它成功导入了文件，但现在它说vmx文件不兼容。我找不到任何出路？我在Ub

使用此命令，我为配置单元脚本创建了工作流，但在运行以下命令时出错： oozie job -oozie http://xxx.xx.xx.xx:11000/oozie -config /home/ec2-user/ankit/oozie_job1/job.properties -submit 我得到的错误是： 错误：E0708:E0708:无效转换，节点[Oozie_test]转换[Tester] 我的工作流程代码如下： <workflow-app name="Tester" xmln

在我的Oozie工作流中，有一个pig操作。 运行时，它正在CDH中查找log4j.properties文件，因为我没有在JAR中提供该文件。 现在，我有了log4j.properties文件，我只需要在Pig操作中将其作为JVM选项传递。 有没有办法做到这一点？在Oozie工作流中，无法将自定义log4j属性文件传递给Pig操作 java文件不允许以下参数作为参数传递 static { DISALLOWED_PIG_OPTIONS.add("-4"); DISALLOWED_P

我使用Sqoop将数据从Oracle摄取到Hadoop，效果很好。不使用Sqoop上的分区，只需4分钟就可以将8600万条记录从Oracle带到Hive表。任何人都可以提供一些关于Oracle Hadoop连接器的详细信息，它的性能会比Sqoop好吗？Sqoop将利用标准JDBC连接。Oracles连接器将与集成到sqoop连接中的fastloader/fastexport类一起工作。Sqoop应该更快。大多数连接器的性能与您在工作流程的最后拥有一组MapReduce作业的性能接近，这将在您的总

我正在尝试以完全分布式模式设置hadoop，在某种程度上我成功地做到了这一点 但是，我对core-site.xml-->fs.defaultFS中的一个参数设置有一些疑问 在我的设置中，我有三个节点，如下所述： 节点1--192.168.1.2-->配置为主节点（运行ResourceManager和NameNode守护进程） Node2--192.168.1.3-->配置为从属（运行NodeManager和Datanode守护进程） Node3--192.168.1.4-->配置为从属（运行No

社区，你能帮我理解为什么我的~3%邮件没有以HDFS结尾吗？我在JAVA中编写了一个简单的producer来生成1000万条消息 publicstaticfinalstringtest_SCHEMA=“{” +“\”类型\“：\”记录\“ +“\”名称\“：\”我的记录\“，” +“\”字段\:[” +“{\'name\'：\'str1\'，\'type\'：\'string\'” +“{\'name\'：\'str2\'，\'type\'：\'string\'” +{\'name\'：\'in

我很难理解Spark如何与存储交互 我想制作一个Spark集群，从RocksDB数据库（或任何其他键值存储）获取数据。然而，目前，我所能做的最好的事情是将整个数据集从数据库中提取到每个集群节点的内存中（例如，提取到映射中），并从该对象构建RDD 我必须做什么才能只获取必要的数据（就像Spark对HDFS所做的那样）？我已经读过Hadoop输入格式和记录阅读器，但我还没有完全掌握应该实现什么 我知道这是一个宽泛的问题，但我真的很感激有人能帮我开始。提前感谢您。这里有一个可能的解决方案。我假设您有要

我知道它在内部使用MapReduce从Hadoop获取输入，但是谁能用更多的细节来解释呢？ 谢谢。您的想法是正确的。Hadoop RDD RDD提供读取Hadoop中存储的数据的核心功能，例如HDFS中的文件， *HBase或S3中的源。 它使用Hadoop分区。 计算HadoopRDD时，您可以看到日志输入拆分： 示例：INFO HadoopRDD:Input split:file:/Users/jacek/dev/oss/spark/README.md:0+1784 在分区执行时设置属性：

我尝试使用rest api和一个json文件创建一个立方体，我尝试了对rest api执行curl命令，但似乎不起作用，我尝试了使用他们的kylin客户机工具，但即使这样也无法创建立方体，所以我想知道是否可以从rest api创建一个项目、模型和立方体 curl -b /home/raghu/cookiefile.txt -X PUT -H 'Accept: application/json' -H 'Content-Type:application/json;charset=UTF-8' -d

我面临的问题是当我发出这个命令时 “hadoop fs-ls”，它抛出这样一条消息，“ls:`.”：没有这样的文件或目录 “ 作为参考，我的“jps”命令的输出结果是 18276 SecondaryNameNode 19684 Jps 17942 NameNode 18566 NodeManager 18441 ResourceManager 首先，您应该运行一个存储数据的数据节点，否则您将无法处理hadoop fs（文件系统） 尝试暂停所有服务 $start-all-sh $jps 确保数

我在for循环中使用满足不同条件的不同查询查询缓存的配置单元临时表，查询次数超过1500次。我需要在循环中使用unionAll来合并它们。但是我得到了stackoverflow错误，因为spark无法跟上RDD沿袭 伪代码： df=[from a hive table] tableA=[from a hive table] tableA.registerTempTable("tableA") HiveContext.sql('CACHE TABLE tableA') for i in rang

我们有小型Hadoop和greenplum集群。通过使用gpload merge语句，我们希望将Hadoop数据放入greenplum 请向流程提供建议。 问题: 我需要在基于Hadoop的Linux虚拟机上安装gpload实用程序吗 然后，我必须按固定的时间间隔安排基于合并的gpload脚本 是否可以通过仅在greenplum vm中运行gpload来摄取Hadoop文件 输入gpload.yml VERSION: 1.0.0.1 DATABASE: test USER: gpadmin HO

我有以下格式的数据： 28/04/2017 00:00:00|20550|22/05/2017 00:00:00| 我将|设置为分隔符。对于本例中第一行和第三行中的数据，我将timestamp作为色调中的数据类型，但得到的答案是nulls 我环顾四周，发现Hive似乎支持Unix格式的时间戳（来自以下位置） 但是，我收到了一条“无效日期”的消息（到目前为止，我是用色调来做这件事的，我对这项技术还是新手）。如果我尝试创建此数据字符串，我可以看到值，但当我尝试使用to_date（）时，问题仍然存在

我们可以在同一个系统上以伪分布式模式安装不同版本的Hadoop吗 实际上，我想探索不同版本的hadoop-1.x和hadoop-2.x的特性，我已经在两个运行Linux的不同系统上配置了hadoop-1.x和hadoop-2.x。有没有办法在同一台机器上进行配置？是的，可以在同一台主机上并排安装多个版本的Hadoop软件 将不同版本的Hadoop软件解压缩到不同的子目录中 为不同版本创建单独的配置文件（core-site.xml、hdfs-site.xml、warn-site.xml等），并将

我是mapreduce的新手，我的映射器输出了一个DbWritable对象，在reducer过程中，我无法从传递的对象中获得任何值，也许它根本就没有传递？ 这是我的密码 可写数据库 public class StWritable implements DBWritable,Writable { private String stockName; private double q1,q2,q3,q4; // quarter of year ... @O

我对配置单元不熟悉，正在csv文件上创建外部表。我遇到的问题之一是字符串本身中包含多个逗号的值。例如，csv文件包含以下内容： 当我在配置单元中创建一个外部表时，因为“name”列中有列，所以它会将第一个名称向右移动并添加另一列。当您在配置单元中查看表时，这会抛出所有数据 在创建外部表时，是否可以向脚本中添加任何内容来保留逗号，但同时将名字和姓氏保留在同一列中？提前谢谢大家-我对蜂巢很陌生 CREATE EXTERNAL TABLE database.table name ( ID INT,

实际上，我们的需求是使用hbase restapi将数据从ibmdb2导入hbase。有谁能告诉我具体的操作步骤吗 提前感谢。您可以尝试sqoop hbase导入我们的客户端只需要通过hbase中的JAVA API或REST API进行导入

我在两个集群上设置了hadoop，并在主节点中尝试使用以下命令放置文件： hadoop fs-put test.txt/mydata/ 我得到了以下错误： put: File /mydata/test.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

在分析大数据时，我在Hadoop-2.7.2之上运行ApachePig版本0.17.0。每次我在grunt>shell的本地模式下运行load命令时，我都会收到以下消息： grunt> A = load '/usr/lib/pig/data.txt' using TextLoader as (date:chararray); [main] INFO org.apache.hadoop.conf.Configuration.deprecation-io.bytes.per. checksum

我想创造什么，我在下面解释。在蜂箱里可以这样做吗 我可以在Python中使用Pandas和replace over columns来实现这一点，但我想知道在Hive中使用查询可以实现这一点吗 我已经在Hive中上传了源表，并创建了如下所示的维度表（在Cloudera色调中），那么是否可以通过使用维度表id值并替换源表中的值来创建该事实表 我有我的源表： 我从源表创建维度表： 我想创建如下事实表： 通过值与源表连接并选择ID: insert overwrite table fact selec

我们目前正在AWS中使用SQL Server。我们正在寻找从SQL Server中的数据创建数据仓库的方法 看起来最简单的方法是使用AWS DMS工具，将数据发送到redshift，让其不断同步。红移是相当昂贵的，所以正在寻找其他的方法 我一直在EMR工作。目前，我正在使用sqoop从SQL Server获取数据并将其放入配置单元。我目前正在使用HDFS卷存储数据。我还没有为此使用S3 我们的数据库有许多表，每个表中有数百万行 每天更新这些数据的最佳方式是什么？sqoop支持更新数据吗。如果不是

在下面的查询中寻找一些帮助，因为我是map reduce的早期学习者，给定一个包含社交网络并由邻接列表组成的数据集， i、 e.世界卫生组织遵循世界卫生组织名单，如下： A、B、D B A、C、D、E C A，D，E D、C、E E A，D 我需要编写Map/Reduce程序来生成追随者列表 每个用户的，即B和D代表C；B、 C和D代表E；等等。为此MapReduce作业编写伪代码。我了解这里需要的任何假设，也需要任何自定义函数