从Google BigQuery创建pandas数据框时如何处理na_值
我使用了从Google BigQuery创建pandas数据框时如何处理na_值,pandas,google-bigquery,google-colaboratory,Pandas,Google Bigquery,Google Colaboratory,我使用了pd.read_csv(my_csv,na_values=['N/A','--'))这样字符串'N/A'和'--'就会被解释为NULL、NaN等 但如果我使用BigQuery客户端,我就不知道如何实现同样的功能。我阅读了.to_dataframe()的快速帮助,其中“从QueryJob返回pandas数据帧”,但它似乎没有包含任何额外的参数 这可能吗?或者我必须做自己的自定义后处理来跟踪丢失的值?您可以从下面实现相同的功能: dataFrame.applymap(lambda x: np
pd.read_csv(my_csv,na_values=['N/A','--'))
这样字符串'N/A'和'--'就会被解释为NULL、NaN等
但如果我使用BigQuery客户端,我就不知道如何实现同样的功能。我阅读了.to_dataframe()的快速帮助,其中“从QueryJob返回pandas数据帧”,但它似乎没有包含任何额外的参数
这可能吗?或者我必须做自己的自定义后处理来跟踪丢失的值?您可以从下面实现相同的功能:
dataFrame.applymap(lambda x: np.nan if x in ['N/A', '--'] else x)
您可以通过以下方式实现相同的目标:
dataFrame.applymap(lambda x: np.nan if x in ['N/A', '--'] else x)
如果在将结果放入数据帧之前运行某个查询,则可以在BigQuery端轻松地执行该操作,而无需担心在客户端筛选结果
类似于
IF(column in('N\A','--')、null、column)as column
的内容应该可以为您完成这项工作。如果您在将查询结果放入数据帧之前运行某个查询,您可以在BigQuery端轻松完成,而无需担心在客户端筛选结果
类似于IF(column in('N\A','--')、null、column)作为column
的内容应该可以为您完成这项工作