Hadoop sqoop增量导入命令中出错
我正在使用sqoop增量导入命令。但我最终收到了错误信息,我不明白问题出在哪里。 下面是我的MySQL表数据Hadoop sqoop增量导入命令中出错,hadoop,sqoop,Hadoop,Sqoop,我正在使用sqoop增量导入命令。但我最终收到了错误信息,我不明白问题出在哪里。 下面是我的MySQL表数据 +----+-----------+ | ID | NAME | +----+-----------+ | 1 | Sidhartha | | 2 | Sunny | | 3 | Saketh | | 4 | Bobby | | 5 | Yash | | 6 | Nimmi | +----+-----------+ 包含4条
+----+-----------+
| ID | NAME |
+----+-----------+
| 1 | Sidhartha |
| 2 | Sunny |
| 3 | Saketh |
| 4 | Bobby |
| 5 | Yash |
| 6 | Nimmi |
+----+-----------+
包含4条记录的配置单元表:DAY是分区列
importedtable.id importedtable.name importedtable.day
1 Sidhartha 1
2 Sunny 1
3 Saketh 1
4 Bobby 1
我的Sqoop命令:
sqoop import --connect jdbc:mysql://127.0.0.1/mydb --table MYTAB --driver com.mysql.jdbc.Driver --username root --password cloudera --hive-import --hive-table importedtable --incremental append --check-column id --last-value $(hive -e "select max(id) from importedtable") --target-dir '/home/incdata';
错误消息:
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Error parsing arguments for import:
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: WARN:
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: The
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: method
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: class
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: org.apache.commons.logging.impl.SLF4JLogFactory#release()
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: was
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: invoked.
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: WARN:
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: Please
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: see
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: http://www.slf4j.org/codes.html#release
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: for
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: an
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: explanation.
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: --target-dir
17/03/08 12:15:14 ERROR tool.BaseSqoopTool: Unrecognized argument: /home/incdata
有谁能告诉我我执行sqoop命令的错误是什么。问题在于作为
--last value
参数的值传递的配置单元查询
--last-value $(hive -e "select max(id) from importedtable")
这会将日志消息与结果一起发送到--最后一个值
对查询使用-S
(-silent)标志
--last-value $(hive -S -e "select max(id) from importedtable")
问题在于作为
--last value
参数的值传递的配置单元查询
--last-value $(hive -e "select max(id) from importedtable")
这会将日志消息与结果一起发送到--最后一个值
对查询使用-S
(-silent)标志
--last-value $(hive -S -e "select max(id) from importedtable")
@frankin,仍然在--last value中得到与“-S”相同的错误请检查更新的答案,
-S
是配置单元执行的一部分。执行与您给出的相同的命令(更新的答案)。它仍然不起作用。17/03/08 12:49:47 ERROR tool.BaseSqoopTool:分析导入参数时出错:无法识别的参数:警告:调用了方法类org.apache.commons.logging.impl.SLF4JLogFactory#release()。有关说明,请参阅。此日志警告是从配置单元发出的,该配置单元本应被-S
标志抑制。您是否在终端中单独执行了配置单元语句?结果如何?是的,我做到了。这是你所问的特定陈述的结果。2017-03-08 12:55:11550警告[main]mapreduce.TableMapReduceUtil:包含PrefixTreeCodec的hbase前缀树模块jar不存在。没有它就继续。4警告:调用了方法类org.apache.commons.logging.impl.SLF4JLogFactory#release()。警告:请参阅以获取解释。@frankin,仍然在--last值中得到与“-S”相同的错误。请检查更新的答案,-S
是配置单元执行的一部分。执行与您给出的命令相同的命令(更新的答案)。它仍然不起作用。17/03/08 12:49:47 ERROR tool.BaseSqoopTool:分析导入参数时出错:无法识别的参数:警告:调用了方法类org.apache.commons.logging.impl.SLF4JLogFactory#release()。有关说明,请参阅。此日志警告是从配置单元发出的,该配置单元本应被-S
标志抑制。您是否在终端中单独执行了配置单元语句?结果如何?是的,我做到了。这是你所问的特定陈述的结果。2017-03-08 12:55:11550警告[main]mapreduce.TableMapReduceUtil:包含PrefixTreeCodec的hbase前缀树模块jar不存在。没有它就继续。4警告:调用了方法类org.apache.commons.logging.impl.SLF4JLogFactory#release()。警告:请参阅以获取解释。