Google bigquery Google Cloud datalab查询BIgQuery表时出错
我想我在这里遗漏了一些基本的东西,似乎不知道它是什么 从Google云数据实验室查询BigQuery日期分区表。大多数其他查询按预期获取数据,不确定为什么在这个特定的表中,select不起作用,而count1查询起作用Google bigquery Google Cloud datalab查询BIgQuery表时出错,google-bigquery,google-cloud-datalab,Google Bigquery,Google Cloud Datalab,我想我在这里遗漏了一些基本的东西,似乎不知道它是什么 从Google云数据实验室查询BigQuery日期分区表。大多数其他查询按预期获取数据,不确定为什么在这个特定的表中,select不起作用,而count1查询起作用 %%sql select * from Mydataset.sample_sales_yearly_part limit 10 我得到以下错误: KeyErrorTraceback (most recent call last) /usr/local/lib/python2.7
%%sql
select * from Mydataset.sample_sales_yearly_part limit 10
我得到以下错误:
KeyErrorTraceback (most recent call last) /usr/local/lib/python2.7/dist-packages/IPython/core/formatters.pyc in
__call__(self, obj)
305 pass
306 else:
--> 307 return printer(obj)
308 # Finally look for special method names
309 method = get_real_method(obj, self.print_method)
/usr/local/lib/python2.7/dist-packages/datalab/bigquery/commands/_bigquery.pyc in _repr_html_query_results_table(results)
999 1000 def _repr_html_query_results_table(results):
-> 1001 return _table_viewer(results) 1002 1003
/usr/local/lib/python2.7/dist-packages/datalab/bigquery/commands/_bigquery.pyc in _table_viewer(table, rows_per_page, fields)
969 meta_time = ''
970
--> 971 data, total_count = datalab.utils.commands.get_data(table, fields, first_row=0, count=rows_per_page)
972
973 if total_count < 0:
/usr/local/lib/python2.7/dist-packages/datalab/utils/commands/_utils.pyc in get_data(source, fields, env, first_row, count, schema)
226 return _get_data_from_table(source.results(), fields, first_row, count, schema)
227 elif isinstance(source, datalab.bigquery.Table):
--> 228 return _get_data_from_table(source, fields, first_row, count, schema)
229 else:
230 raise Exception("Cannot chart %s; unsupported object type" % source)
/usr/local/lib/python2.7/dist-packages/datalab/utils/commands/_utils.pyc in _get_data_from_table(source, fields, first_row, count, schema)
174 gen = source.range(first_row, count) if count >= 0 else source
175 rows = [{'c': [{'v': row[c]} if c in row else {} for c in fields]} for row in gen]
--> 176 return {'cols': _get_cols(fields, schema), 'rows': rows}, source.length
177
178
/usr/local/lib/python2.7/dist-packages/datalab/utils/commands/_utils.pyc in _get_cols(fields, schema)
108 if schema:
109 f = schema[col]
--> 110 cols.append({'id': f.name, 'label': f.name, 'type': typemap[f.data_type]})
111 else:
112 # This will only happen if we had no rows to infer a schema from, so the type
KeyError: u'DATE'
QueryResultsTable job_Ckq91E5HuI8GAMPteXKeHYWMwMo
您可能遇到了一个刚刚修复但尚未包含在Datalab版本中的问题 背景是BigQuery中新的标准SQL支持添加了可以显示在结果模式中的新数据类型,而Datalab尚未更新以处理这些数据类型 Datalab的下一个版本应该会解决这个问题,但与此同时,您可以通过将日期字段包装在显式转换为时间戳(cast-to-TIMESTAMP)中作为查询的一部分来解决这个问题 例如,如果您在以下代码单元中看到该错误:
%%sql SELECT COUNT(*) as count, d FROM <mytable>
如果'd'是'DATE'类型的字段,则可以通过将该字段强制转换为如下时间戳来解决该问题:
%%sql SELECT COUNT(*) as count, TIMESTAMP(d) FROM <mytable>
对于您的特定查询,您必须将“*”更改为字段列表,以便可以将带有日期的字段转换为时间戳。感谢Omar,我通过转换日期字段字符串解决了这一问题。我将寻找新版本的cloud datalab。如何更改设置以在cloud datalab中使用默认的标准sql?新版本现已发布。至于选择标准SQL,现在有一个-d标准标志,您可以添加到%%SQL单元格中。。。在捆绑教程中查找BigQuery标准SQL.ipynb笔记本作为示例。谢谢Omar。这很有帮助。