Google bigquery 来自dataframe的BigQuery表

我想用Google Datalab笔记本创建一个bigQuery表，用于基因组数据，并达到列数限制。该表是从数据帧

创建的

# to communicate with Google BigQuery
from pandas.io import gbq
gbq.to_gbq(df_pgp_input, 'pgp_orielresearch.pgp_PIK3CA_all_ml', 'speedy-emissary-167213', chunksize=10000, verbose=True)

GenericGBQException:原因：无效，消息：字段太多：12427

如中所述，Bigquery中总列的最大限制为10000

这就是为什么在大多数情况下，如果您使用来安排数据会更好，因为您不会达到这些配额限制。
唉，添加结构不会有帮助，因为不管结构如何，叶字段的总数都有10000个限制。Hi@MoshaPasumansky，我想知道OP是否会为每一列创建一个带有结构的数组，并通过某个键进行聚合，这样是否可以正常工作。对于我在这里测试的内容，我可以非常轻松地创建具有100k结构的数组（而不是在结构内部创建10k键，为每列、每行创建具有结构的数组）。