Apache Spark无法使用JDBC驱动程序连接到MonetDB群集

我们在使用JDBC通过ApacheSpark连接MonetDB集群时遇到问题。 与非群集数据库的连接可以正常工作。但是，当我们试图通过ApacheSpark连接到集群MonetDB数据库时，它失败了，出现了一个未处理的结果类型错误。下面给出了整个查询

我们已经尝试使用普通的JDBC连接到monetdb集群，它可以正常工作。只有火花失效

val v1 = hiveContext.load("jdbc",Map("url" -> "jdbc:monetdb://1.1.1.1/tpch1?user=monetdb&password=monetdb","dbtable" -> "(select count(*) from customer)v1"))
**java.sql.SQLException: node */tpch/1/monet returned unhandled result type**

java.sql.SQLException: node */tpch/2/monet returned unhandled result type
        at nl.cwi.monetdb.jdbc.MonetConnection$ResponseList.executeQuery(MonetConnection.java:2536)
        at nl.cwi.monetdb.jdbc.MonetConnection$ResponseList.processQuery(MonetConnection.java:2284)
        at nl.cwi.monetdb.jdbc.MonetStatement.internalExecute(MonetStatement.java:508)
        at nl.cwi.monetdb.jdbc.MonetStatement.execute(MonetStatement.java:349)
        at nl.cwi.monetdb.jdbc.MonetPreparedStatement.<init>(MonetPreparedStatement.java:118)
        at nl.cwi.monetdb.jdbc.MonetConnection.prepareStatement(MonetConnection.java:901)
        at nl.cwi.monetdb.jdbc.MonetConnection.prepareStatement(MonetConnection.java:825)
        at org.apache.spark.sql.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:96)
        at org.apache.spark.sql.jdbc.JDBCRelation.<init>(JDBCRelation.scala:125)
        at org.apache.spark.sql.jdbc.DefaultSource.createRelation(JDBCRelation.scala:114)
        at org.apache.spark.sql.sources.ResolvedDataSource$.apply(ddl.scala:290)
        at org.apache.spark.sql.SQLContext.load(SQLContext.scala:679)
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:23)
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:28)
        at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:30)
        at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:32)
        at $iwC$$iwC$$iwC$$iwC.<init>(<console>:34)
        at $iwC$$iwC$$iwC.<init>(<console>:36)
        at $iwC$$iwC.<init>(<console>:38)
        at $iwC.<init>(<console>:40)
        at <init>(<console>:42)
        at .<init>(<console>:46)
        at .<clinit>(<console>)
        at .<init>(<console>:7)
        at .<clinit>(<console>)
        at $print(<console>)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:483)
        at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
        at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338)
        at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)
        at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)
        at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856)
        at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:901)
        at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:813)
        at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:656)
        at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:664)
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:669)
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:996)
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944)
        at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944)
        at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)
        at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:944)
        at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1058)
        at org.apache.spark.repl.Main$.main(Main.scala:31)
        at org.apache.spark.repl.Main.main(Main.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:483)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

RD 1429856293844:读取最终块：67字节RX 1429856293845: bwnthqobupI3CPY:merovingian:9:RIPEMD160、SHA256、SHA1、MD5:LIT:SHA512:RD 1429856293845:插入提示TD 1429856293846:写入最终块： 99字节TX 1429856293846： BIG:merovingian:{SHA256}7070477FD396595C929386453A32C5059A9B76976E54DAB3FBB7A8F5299BD25:sql:tpch1: RD 1429856293847:读取最终块：0字节RX 1429856293847:RD 1429856293847:插入提示TD 1429856293847:写入最终块： 49字节发送1429856293847:sSET时区间隔“+05:30”小时至 分钟RD 1429856293848:读取最终块：3字节RX 1429856293848: &三,

RD 1429856293848:插入提示TD 1429856293855:写入最终版本 块：15字节发送1429856293855:Xreply_大小250 RD 1429856293855: 读取最终块：0字节RX 1429856293855:RD 1429856293855: 插入提示TD 1429856293855:写入最终块：68字节发送 1429856293855:准备从选择计数中选择* customerv1，其中1=0；RD 1429856293856:读取最终块：52字节 RX 1429856293856:！节点*/tpch/2/monet返回了未处理的结果类型

RD 1429856293856:插入提示

---

问题不在于JDBC，而在于merovingian漏斗。漏斗似乎不喜欢语句PREPARE SELECT*FROM SELECT count*FROM customerv1，其中1=0；查看是否可以阻止应用程序使用准备好的语句。请随时在

上提交有关此问题的错误报告。是否有完整的堆栈跟踪？感谢您的帮助Hannes。我已经用完整的堆栈跟踪更新了帖子。只有具有多路传输漏斗的集群是一个问题。连接到单个节点没有问题。如果使用额外的参数debug=1进行连接，例如jdbc：monetdb://1.1.1.1/tpch1?user=monetdb&password=monetdb&debug=1，JDBC驱动程序将生成一个.log文件，其中包含一些有用的调试信息。也许您也可以共享此输出。我尝试使用debug=1。没有创建日志文件。它是在哪里创建的？。运行Spark作业后，我搜索了最近创建的文件。我在与JDBC文件夹、MonetDB文件夹以及var/logs相同的目录中查找，不确定该文件在spark设置中的最终位置，但文件名是monet_1429855366161.log，其中的数字是时间戳。也是一种修正，参数值应为真，而不是1。所以debug=true。准备并发送语句的不是我们，而是Spark。所以我们什么也做不了。你能告诉我这个问题是否会解决吗？