如何使用自定义JDBC驱动程序运行Sqoop?

如何使用自定义JDBC驱动程序运行Sqoop?,jdbc,hadoop,oracle11g,hdfs,sqoop,Jdbc,Hadoop,Oracle11g,Hdfs,Sqoop,如果我为OracleThin提供(-connect/--user/--password),则可以运行Sqoop而不提供--driver参数 但是我需要使用项目中使用的自定义JDBC驱动程序(它正确地实现了java.sql.driver接口)而不是oracle.JDBC.OracleDriver来运行它 我无法通过简单地用--driver参数来证明它工作。 而且一点帮助都没有 如何将Sqoop与自定义DB访问驱动程序一起使用? 如何克服我所犯的错误 如果它与连接管理器有关,有人能告诉我应该指定什么

如果我为OracleThin提供(-connect/--user/--password),则可以运行Sqoop而不提供--driver参数

但是我需要使用项目中使用的自定义JDBC驱动程序(它正确地实现了java.sql.driver接口)而不是oracle.JDBC.OracleDriver来运行它

我无法通过简单地用
--driver
参数来证明它工作。 而且一点帮助都没有

如何将Sqoop与自定义DB访问驱动程序一起使用? 如何克服我所犯的错误

如果它与连接管理器有关,有人能告诉我应该指定什么连接管理器吗?

谢谢大家!

以下是我实际想做的:

./sqoop.sh import \
    --fs $HDFS --jt $JT \
    --connect <cutom-connection-string> --username username --password password \
    --table SYS.ALL_TABLES --split-by TABLE_NAME --target-dir /temp/try/110 --verbose \
    --driver xx.xx.xx.MyDriver

您的自定义JDBC驱动程序使用正确。问题似乎出在正在使用的通用jdbc连接器中,它似乎产生了无效的查询。您可能还需要通过将驱动程序替换为自定义驱动程序来实现内置


Jarcec

是的,谢谢。最后,我不得不对sqoop连接管理器类进行一些奇怪的扩展,并替换返回的驱动程序:)
DEBUG tool.BaseSqoopTool: Enabled debug logging.
WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
DEBUG sqoop.ConnFactory: Loaded manager factory: com.cloudera.sqoop.manager.DefaultManagerFactory
WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
INFO manager.SqlManager: Using default fetchSize of 1000
INFO tool.CodeGenTool: Beginning code generation
INFO xx.xx.xx.MyDriver: xx.xx.xx.MyDriver registered successfully.
DEBUG manager.SqlManager: No connection paramenters specified. Using regular API for making connection.
INFO xx.xx.xx.MyDriver: Returning database connection
DEBUG manager.SqlManager: Using fetchSize for next query: 1000
INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM SYS.ALL_TABLES AS t WHERE 1=0
ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-00933: SQL command not properly ended

java.sql.SQLException: ORA-00933: SQL command not properly ended