Python 使用Pandas读取包含某些缺失值的CSV
我将Python2.7与Anaconda一起使用。我有一个.csv文件:Python 使用Pandas读取包含某些缺失值的CSV,python,csv,pandas,Python,Csv,Pandas,我将Python2.7与Anaconda一起使用。我有一个.csv文件: action_type action_detail secs_elapsed 0 data similar_listings 255.0 1 data similar_listings 183.0 2 click change_trip_characteristics
action_type action_detail secs_elapsed
0 data similar_listings 255.0
1 data similar_listings 183.0
2 click change_trip_characteristics 175570.0
3 NaN NaN 86.0
4 data wishlist_content_update 1535.0
该文件包含一些缺少的值,并且每列的数据类型不一定相似。我用熊猫来加载这个.csv
for chunk in pd.read_csv('the_file_name.csv', chunksize=1000,
dtype={'action_type': str, 'action_detail': str,
'secs_elapsed': str})
对于每个块,我发现某些行的数据类型不是我在函数pd.read\u csv中的指令。让我举个例子
chunk.ix[3, 'action_type']
Out[1]: nan
type(chunk.ix[3, 'action_type'])
Out[2]: float
我的问题是
pandas.filna()
,但它没有效果。我认为这是由于数据类型。你能给我一些提示吗谢谢使用
转换器
而不是数据类型
:
for chunk in pd.read_csv('the_file_name.csv', chunksize=1000, delim_whitespace=True,
converters={'action_type': str, 'action_detail': str,'secs_elapsed': str}):
>>> type(chunk.ix[3, 'action_type'])
str
此外,对于您的文件示例,您需要设置delim\u whitespace=True
。除非真正的文件是逗号分隔的