Google cloud platform 使用Spark大查询连接器定制SQL
我有一些自定义sql从BigQuery读取数据。我怎样才能做到这一点?我尝试使用选项作为查询,但它不起作用。它将忽略查询选项并读取完整表Google cloud platform 使用Spark大查询连接器定制SQL,google-cloud-platform,apache-spark-sql,google-bigquery,Google Cloud Platform,Apache Spark Sql,Google Bigquery,我有一些自定义sql从BigQuery读取数据。我怎样才能做到这一点?我尝试使用选项作为查询,但它不起作用。它将忽略查询选项并读取完整表 Dataset<Row> testDS = session.read().format("bigquery") //.option("table", <TABLE>) .option("query"
Dataset<Row> testDS = session.read().format("bigquery")
//.option("table", <TABLE>)
.option("query",<QUERY>)
.option("project", <PROJECT_ID>)
.option("parentProject", <PROJECT_ID>)
.load();
Dataset testDS=session.read().format(“bigquery”)
//.选项(“表”,)
.选项(“查询”,)
.选项(“项目”)
.选项(“父项目”)
.load();
这是因为连接器中没有查询
选项。有关选项的完整列表,请参阅
您有两种选择:
- 使用自定义SQL创建视图,并从视图中读取
- 使用查询结果创建一个临时表,读取这些结果,然后删除该表