Python 获取PSQLException:ERROR:syntax ERROR位于或接近"；选择"；在spark jdbc和Postgres中使用查询而不是表名时

对于以下通用sql：

 showTablesSql =  """SELECT table_catalog,table_schema,table_name
    FROM information_schema.tables
    ORDER BY table_schema,table_name"""

当它被提交到

spark jdbc

for

postgresql

时，会发生以下异常：

py4j.protocol.Py4JJavaError: An error occurred while calling o34.load.
: org.postgresql.util.PSQLException: ERROR: syntax error at or near "SELECT"
  Position: 15
    at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2578)

下面是正在使用的代码：

url =  f"jdbc:postgresql://{c['db.host']}/{c['db.name']}?user={c['db.user']}&password={c['db.password']}"
print(url)
empDF = spark.read \
    .format("jdbc") \
    .option("url", url) \
    .option("dbtable", showTablesSql) \
    .option("user", c['db.user']) \
    .option("password", c['db.password']) \
    .load()

以下是堆栈跟踪详细信息：

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
jdbc:postgresql://localhost/bluej?user=bluej&password=mypassword
Traceback (most recent call last):
  File "/git/bluej/fusion/python/pointr/bluej/util/sparkmgr.py", line 37, in <module>
    tab = readTab(db, tname)
  File "/git/bluej/fusion/python/pointr/bluej/util/sparkmgr.py", line 23, in readTab
    empDF = spark.read \
  File "/shared/spark3/python/pyspark/sql/readwriter.py", line 166, in load
    return self._df(self._jreader.load())
  File "/shared/spark3/python/lib/py4j-0.10.8.1-src.zip/py4j/java_gateway.py", line 1285, in __call__
  File "/shared/spark3/python/pyspark/sql/utils.py", line 98, in deco
    return f(*a, **kw)
  File "/shared/spark3/python/lib/py4j-0.10.8.1-src.zip/py4j/protocol.py", line 326, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o34.load.
: org.postgresql.util.PSQLException: ERROR: syntax error at or near "SELECT"
  Position: 15
    at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2578)
    at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2313)
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:331)
    at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:448)
    at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:369)
    at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:159)
    at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:109)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:61)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:226)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:35)
    at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:339)
    at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:240)
    at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:229)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:229)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:179)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.base/java.lang.reflect.Method.invoke(Method.java:566)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.base/java.lang.Thread.run(Thread.java:834)

将默认日志级别设置为“警告”。
要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，使用setLogLevel（newLevel）。
jdbc:postgresql://localhost/bluej?user=bluej&password=mypassword
回溯（最近一次呼叫最后一次）：
文件“/git/bluej/fusion/python/pointr/bluej/util/sparkmgr.py”，第37行，在
tab=readTab（db，tname）
文件“/git/bluej/fusion/python/pointr/bluej/util/sparkmgr.py”，第23行，在readTab中
empDF=spark.read\
文件“/shared/spark3/python/pyspark/sql/readwriter.py”，第166行，装入
返回self.\u df（self.\u jreader.load（））
文件“/shared/spark3/python/lib/py4j-0.10.8.1-src.zip/py4j/java_gateway.py”，第1285行，在__
文件“/shared/spark3/python/pyspark/sql/utils.py”，第98行，deco格式
返回f（*a，**kw）
文件“/shared/spark3/python/lib/py4j-0.10.8.1-src.zip/py4j/protocol.py”，第326行，在get_return_值中
py4j.protocol.Py4JJavaError:调用o34.load时出错。
：org.postgresql.util.PSQLException:错误：“选择”处或附近的语法错误
职位：15
位于org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse（QueryExecutorImpl.java:2578）
位于org.postgresql.core.v3.QueryExecutorImpl.processResults（QueryExecutorImpl.java:2313）
位于org.postgresql.core.v3.QueryExecutorImpl.execute（QueryExecutorImpl.java:331）
位于org.postgresql.jdbc.PgStatement.executeInternal（PgStatement.java:448）
位于org.postgresql.jdbc.PgStatement.execute（PgStatement.java:369）
位于org.postgresql.jdbc.PgPreparedStatement.executeWithFlags（PgPreparedStatement.java:159）
位于org.postgresql.jdbc.PgPreparedStatement.executeQuery（PgPreparedStatement.java:109）
位于org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable（JDBCRDD.scala:61）
位于org.apache.spark.sql.execution.datasources.jdbc.jdbcrations$.getSchema（jdbcrations.scala:226）
位于org.apache.spark.sql.execution.datasources.jdbc.jdbrelationprovider.createRelation（jdbrelationprovider.scala:35）
位于org.apache.spark.sql.execution.datasources.DataSource.resolveRelation（DataSource.scala:339）
位于org.apache.spark.sql.DataFrameReader.loadV1Source（DataFrameReader.scala:240）
位于org.apache.spark.sql.DataFrameReader.$anonfun$load$2（DataFrameReader.scala:229）
位于scala.Option.getOrElse（Option.scala:189）
位于org.apache.spark.sql.DataFrameReader.load（DataFrameReader.scala:229）
位于org.apache.spark.sql.DataFrameReader.load（DataFrameReader.scala:179）
位于java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
位于java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
位于java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
位于java.base/java.lang.reflect.Method.invoke（Method.java:566）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:244）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）
在py4j.Gateway.invoke处（Gateway.java:282）
位于py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132）
在py4j.commands.CallCommand.execute（CallCommand.java:79）
在py4j.GatewayConnection.run处（GatewayConnection.java:238）
位于java.base/java.lang.Thread.run（Thread.java:834）

在@BjarniRagnarsson的评论中，暗指

dbtable

实际上是一个子查询。我从尊敬的@zero323网站上找到了一些关于这个的信息

由于dbtable用作SELECT语句的源，因此它的格式对于普通SQL查询是有效的。如果要使用子查询，应在括号中传递查询并提供别名：

---

在将sql设置为

子查询时

我发现它被正确解析了：没有数据返回，但很可能会返回。

是否可以临时设置

log\u statement=all

，并找出发送给Postgres的确切查询？奇怪的是，它在位置15处有语法错误。是的，位置在表名的中间。我试试看。现在重新启动pg服务器实际上，您甚至可能不需要设置

log\u statement=all

--

log\u min\u error\u statement

默认值应该为您记录查询。只需查看您的postgres日志，找出实际收到的查询。我用更高的日志记录重新启动了数据库，其中有启动时的条目。但是上面的查询没有条目，我只是重新运行了几次。你知道为什么它们不会生成日志条目吗？我相信你应该像在SQLFROM子句中一样，在括号中写下子查询“（Select…）。

USING org.apache.spark.sql.jdbc
OPTIONS (
    url "jdbc:postgresql:dbserver",
    dbtable "(SELECT * FROM mytable) tmp"
);