Python 在Azure DataRicks中配置BigQuery数据集位置
我需要使用Azure DataRicks从大查询中查询表。当我遵循下面的官方文档代码示例(上的完整文档)时,我收到一个错误:com.google.cloud.spark.bigquery.repacked.com.google.cloud.bigquery.bigquery异常:未找到数据集[projectId]:[datasetId]未在位置US中找到 我发现对于位置为US的数据集,下面的代码是有效的,所以看起来US是默认位置。但是我的主数据集有不同的位置,因此我需要能够设置位置 tableName=projectId+'.'.+datasetId+'.'.+tableId 模板位置='databricks\u测试' query=从`{table}`中选择count*。formattable=tableName 将BigQuery上的SQL查询结果加载到数据帧中 df=spark.read.formatbigquery .OptionMaterialization数据集,模板定位 .选项查询,查询 负载 收集 displaydfPython 在Azure DataRicks中配置BigQuery数据集位置,python,google-bigquery,azure-databricks,Python,Google Bigquery,Azure Databricks,我需要使用Azure DataRicks从大查询中查询表。当我遵循下面的官方文档代码示例(上的完整文档)时,我收到一个错误:com.google.cloud.spark.bigquery.repacked.com.google.cloud.bigquery.bigquery异常:未找到数据集[projectId]:[datasetId]未在位置US中找到 我发现对于位置为US的数据集,下面的代码是有效的,所以看起来US是默认位置。但是我的主数据集有不同的位置,因此我需要能够设置位置 tableN
项目默认位置、服务帐户密钥或正在运行的群集有问题。@奔腾10谢谢,但使用相同群集和服务帐户密钥的相同代码适用于同一项目中位于美国的数据集。此外,PySpark还有一个包,其中提到US是默认位置,并提到如何设置它:sqlContext.setBigQueryDatasetLocation。但我无法将其应用于Databricks。