如何使用自定义JDBC驱动程序运行Sqoop?
如果我为OracleThin提供(-connect/--user/--password),则可以运行Sqoop而不提供--driver参数 但是我需要使用项目中使用的自定义JDBC驱动程序(它正确地实现了java.sql.driver接口)而不是oracle.JDBC.OracleDriver来运行它 我无法通过简单地用如何使用自定义JDBC驱动程序运行Sqoop?,jdbc,hadoop,oracle11g,hdfs,sqoop,Jdbc,Hadoop,Oracle11g,Hdfs,Sqoop,如果我为OracleThin提供(-connect/--user/--password),则可以运行Sqoop而不提供--driver参数 但是我需要使用项目中使用的自定义JDBC驱动程序(它正确地实现了java.sql.driver接口)而不是oracle.JDBC.OracleDriver来运行它 我无法通过简单地用--driver参数来证明它工作。 而且一点帮助都没有 如何将Sqoop与自定义DB访问驱动程序一起使用? 如何克服我所犯的错误 如果它与连接管理器有关,有人能告诉我应该指定什么
--driver
参数来证明它工作。
而且一点帮助都没有
如何将Sqoop与自定义DB访问驱动程序一起使用?
如何克服我所犯的错误
如果它与连接管理器有关,有人能告诉我应该指定什么连接管理器吗?
谢谢大家!
以下是我实际想做的:
./sqoop.sh import \
--fs $HDFS --jt $JT \
--connect <cutom-connection-string> --username username --password password \
--table SYS.ALL_TABLES --split-by TABLE_NAME --target-dir /temp/try/110 --verbose \
--driver xx.xx.xx.MyDriver
您的自定义JDBC驱动程序使用正确。问题似乎出在正在使用的通用jdbc连接器中,它似乎产生了无效的查询。您可能还需要通过将驱动程序替换为自定义驱动程序来实现内置
Jarcec是的,谢谢。最后,我不得不对sqoop连接管理器类进行一些奇怪的扩展,并替换返回的驱动程序:)
DEBUG tool.BaseSqoopTool: Enabled debug logging.
WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
DEBUG sqoop.ConnFactory: Loaded manager factory: com.cloudera.sqoop.manager.DefaultManagerFactory
WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
INFO manager.SqlManager: Using default fetchSize of 1000
INFO tool.CodeGenTool: Beginning code generation
INFO xx.xx.xx.MyDriver: xx.xx.xx.MyDriver registered successfully.
DEBUG manager.SqlManager: No connection paramenters specified. Using regular API for making connection.
INFO xx.xx.xx.MyDriver: Returning database connection
DEBUG manager.SqlManager: Using fetchSize for next query: 1000
INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM SYS.ALL_TABLES AS t WHERE 1=0
ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-00933: SQL command not properly ended
java.sql.SQLException: ORA-00933: SQL command not properly ended