Fatal编程技术网
  • mysql/
  • 将数据从mysql拉到hadoop时出现连接问题

将数据从mysql拉到hadoop时出现连接问题

mysql hadoop

将数据从mysql拉到hadoop时出现连接问题,mysql,hadoop,Mysql,Hadoop,当我试图将数据从mysql拉到hadoop时，我编写了以下命令 sudo import --connect jdbc:mysql://localhost/naresh --table marks --username root --password root 我发现了这个错误 13/09/04 17:00:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider usi

当我试图将数据从mysql拉到hadoop时，我编写了以下命令

sudo import --connect jdbc:mysql://localhost/naresh --table marks --username root --password root
我发现了这个错误

13/09/04 17:00:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
13/09/04 17:00:43 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
13/09/04 17:00:43 INFO tool.CodeGenTool: Beginning code generation
13/09/04 17:00:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `marks` AS t LIMIT 1
13/09/04 17:00:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `marks` AS t LIMIT 1
13/09/04 17:00:43 INFO orm.CompilationManager: HADOOP_HOME is /usr/lib/hadoop
13/09/04 17:00:43 INFO orm.CompilationManager: Found hadoop core jar at: /usr/lib/hadoop/hadoop-core.jar
13/09/04 17:00:44 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-nareshkumar/compile/b66caff07ef718bd6ff55ff7744d20a6/marks.jar
13/09/04 17:00:44 WARN manager.MySQLManager: It looks like you are importing from mysql.
13/09/04 17:00:44 WARN manager.MySQLManager: This transfer can be faster! Use the --direct
13/09/04 17:00:44 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.
13/09/04 17:00:44 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)
13/09/04 17:00:44 INFO mapreduce.ImportJobBase: Beginning import of marks
13/09/04 17:00:48 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 0 time(s).
13/09/04 17:00:49 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 1 time(s).
13/09/04 17:00:50 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 2 time(s).
13/09/04 17:00:51 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 3 time(s).
13/09/04 17:00:52 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 4 time(s).
13/09/04 17:00:53 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 5 time(s).
13/09/04 17:00:54 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 6 time(s).
13/09/04 17:00:55 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 7 time(s).
13/09/04 17:00:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 8 time(s).
13/09/04 17:00:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9001. Already tried 9 time(s).
13/09/04 17:00:57 ERROR security.UserGroupInformation: PriviledgedActionException as:nareshkumar (auth:SIMPLE) cause:java.net.ConnectException: Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException: Connection refused
13/09/04 17:00:57 ERROR tool.ImportTool: Encountered IOException running import job: java.net.ConnectException: Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException: Connection refused
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:1179)
    at org.apache.hadoop.ipc.Client.call(Client.java:1155)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
    at org.apache.hadoop.mapred.$Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384)
    at org.apache.hadoop.mapred.JobClient.createRPCProxy(JobClient.java:511)
    at org.apache.hadoop.mapred.JobClient.init(JobClient.java:496)
    at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:479)
    at org.apache.hadoop.mapreduce.Job$1.run(Job.java:539)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at                                                                                 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
    at org.apache.hadoop.mapreduce.Job.connect(Job.java:537)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:525)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:556)
    at com.cloudera.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:143)
    at com.cloudera.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:203)
    at com.cloudera.sqoop.manager.SqlManager.importTable(SqlManager.java:464)
    at com.cloudera.sqoop.manager.MySQLManager.importTable(MySQLManager.java:101)
    at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:382)
    at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:455)
    at com.cloudera.sqoop.Sqoop.run(Sqoop.java:146)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:182)
    at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:221)
    at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:230)
    at com.cloudera.sqoop.Sqoop.main(Sqoop.java:239)
        Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:708)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:519)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:484)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:468)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:575)
    at org.apache.hadoop.ipc.Client$Connection.access$2300(Client.java:212)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1292)
    at org.apache.hadoop.ipc.Client.call(Client.java:1121)
    ... 26 more

13/09/04 17:00:43警告工具。BaseSqoopTool:在命令行上设置密码不安全。考虑使用-P代替。
13/09/04 17:00:43 INFO manager.MySQLManager:准备使用MySQL流媒体结果集。
13/09/04 17:00:43信息工具.CodeGenTool:开始生成代码
13/09/04 17:00:43 INFO manager.SqlManager:正在执行SQL语句：从'marks'中选择t.*作为t限制1
13/09/04 17:00:43 INFO manager.SqlManager:正在执行SQL语句：从'marks'中选择t.*作为t限制1
13/09/04 17:00:43信息格式编译管理器：HADOOP_主页是/usr/lib/HADOOP
13/09/04 17:00:43信息orm.CompilationManager:在：/usr/lib/hadoop/hadoop-core.jar找到hadoop核心jar
2014年9月13日17:00:44信息orm.compilementManager:写入jar文件：/tmp/sqoop nareshkumar/compile/b66caff07ef718bd6ff55ff7744d20a6/marks.jar
13/09/04 17:00:44 WARN manager.MySQLManager：看起来您正在从mysql导入。
13/09/04 17:00:44警告经理。MySQLManager:此传输可以更快！使用--direct
13/09/04 17:00:44 WARN manager.MySQLManager：用于执行特定于MySQL的快速路径的选项。
13/09/04 17:00:44 INFO manager.MySQLManager:将零日期时间行为设置为convertToNull（mysql）
13/09/04 17:00:44信息mapreduce.ImportJobBase:开始导入标记
2014年9月13日17:00:48信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了0次。
2014年9月13日17:00:49信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试1次。
2014年9月13日17:00:50信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了2次。
13/09/04 17:00:51信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了3次。
13/09/04 17:00:52信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了4次。
13/09/04 17:00:53信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了5次。
2014年9月13日17:00:54信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了6次。
2014年9月13日17:00:55信息ipc.客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了7次。
2014年9月13日17:00:56信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了8次。
2014年9月13日17:00:57信息ipc。客户端：正在重试连接到服务器：localhost/127.0.0.1:9001。已尝试了9次。
13/09/04 17:00:57错误security.UserGroupInformation:PriviledEdActionException as:nareshkumar（身份验证：简单）原因：java.net.ConnectException:调用localhost/127.0.0.1:9001连接失败异常：java.net.ConnectException:连接被拒绝
13/09/04 17:00:57错误工具。导入工具：遇到IOException运行导入作业：java.net.ConnectException:调用localhost/127.0.0.1:9001连接失败异常：java.net.ConnectException:连接被拒绝
位于org.apache.hadoop.ipc.Client.wrapException（Client.java:1179）
位于org.apache.hadoop.ipc.Client.call（Client.java:1155）
位于org.apache.hadoop.ipc.RPC$Invoker.invoke（RPC.java:226）
位于org.apache.hadoop.mapred.$Proxy0.getProtocolVersion（未知来源）
位于org.apache.hadoop.ipc.RPC.getProxy（RPC.java:398）
位于org.apache.hadoop.ipc.RPC.getProxy（RPC.java:384）
位于org.apache.hadoop.mapred.JobClient.createRPCProxy（JobClient.java:511）
位于org.apache.hadoop.mapred.JobClient.init（JobClient.java:496）
位于org.apache.hadoop.mapred.JobClient.（JobClient.java:479）
位于org.apache.hadoop.mapreduce.Job$1.run（Job.java:539）
位于java.security.AccessController.doPrivileged（本机方法）
位于javax.security.auth.Subject.doAs（Subject.java:415）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1278）
位于org.apache.hadoop.mapreduce.Job.connect（Job.java:537）
位于org.apache.hadoop.mapreduce.Job.submit（Job.java:525）
位于org.apache.hadoop.mapreduce.Job.waitForCompletion（Job.java:556）
位于com.cloudera.sqoop.mapreduce.ImportJobBase.runJob（ImportJobBase.java:143）
在com.cloudera.sqoop.mapreduce.ImportJobBase.runImport（ImportJobBase.java:203）上
位于com.cloudera.sqoop.manager.SqlManager.importable（SqlManager.java:464）
位于com.cloudera.sqoop.manager.MySQLManager.importable（MySQLManager.java:101）
位于com.cloudera.sqoop.tool.ImportTool.importTable（ImportTool.java:382）
位于com.cloudera.sqoop.tool.ImportTool.run（ImportTool.java:455）
位于com.cloudera.sqoop.sqoop.run（sqoop.java:146）
位于org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:65）
位于com.cloudera.sqoop.sqoop.runSqoop（sqoop.java:182）
位于com.cloudera.sqoop.sqoop.runTool（sqoop.java:221）
位于com.cloudera.sqoop.sqoop.runTool（sqoop.java:230）
位于com.cloudera.sqoop.sqoop.main（sqoop.java:239）
原因：java.net.ConnectException:连接被拒绝
在sun.nio.ch.socketchannel.checkConnect（本机方法）
位于sun.nio.ch.SocketChannelImpl.finishConnect（SocketChannelImpl.java:708）
位于org.apache.hadoop.net.SocketIOWithTimeout.connect（SocketIOWithTimeout.java:206）
位于org.apache.hadoop.net.NetUtils.connect（NetUtils.java:519）
位于org.apache.hadoop.net.NetUtils.connect（NetUtils.java:484）
位于org.apache.hadoop.ipc.Client$Connection.setupConnection（Client.java:468）
位于org.apache.hadoop.ipc.Client$Connection.setupIOstreams（Client.java:575）
位于org.apache.hadoop.ipc.Client$Connection.access$2300（Client.java:212）
位于org.apache.hadoop.ipc.Client.getConnection（Client.java:1292）
位于org.apache.hadoop.ipc.Client.call（Client.java:1121）
... 26多
我尝试在core-site.xml和mapred-site.xml中搜索并进行更改

请帮帮我
提前感谢

我想这是端口号的问题。希望下面的命令会有所帮助

 sudo import --connect jdbc:mysql://localhost:3306/naresh --table marks --username root --password root

$bin/hadoop dfsadmin -safemode get 

Safe mode is ON

$ bin/hadoop dfsadmin -safemode leave

Safe mode is OFF