在Python中执行脚本时处理数据异常
我一直在清理数据集并处理数据以进行进一步分析,我使用了不同的清理脚本 每当数据集之间出现任何不需要的异常数据时,我的脚本就会被中止,脚本执行会被卡住,其余数据不会得到处理 我一直在寻找的内容:在Python中执行脚本时处理数据异常,python,pandas,Python,Pandas,我一直在清理数据集并处理数据以进行进一步分析,我使用了不同的清理脚本 每当数据集之间出现任何不需要的异常数据时,我的脚本就会被中止,脚本执行会被卡住,其余数据不会得到处理 我一直在寻找的内容: import pandas as pd import numpy as np pd.options.mode.chained_assignment = None df = pd.read_excel(open(r'data.xlsx', 'rb'), sheet_name='sheet1') 如何处
import pandas as pd
import numpy as np
pd.options.mode.chained_assignment = None
df = pd.read_excel(open(r'data.xlsx', 'rb'), sheet_name='sheet1')
如何处理整个数据集,即使在数据之间出现任何异常/未知数据类型,也可以跳过并保留错误的数据类型
我可以使用的任何异常处理技术
我一直在使用的数据帧:
import pandas as pd
import numpy as np
pd.options.mode.chained_assignment = None
df = pd.read_excel(open(r'data.xlsx', 'rb'), sheet_name='sheet1')
这里有一种通用的方法,您可以根据自己的具体任务进行调整 假设您需要删除列中的某些字符,其中包含字符串和整数。这将引发一个异常:
df['col\u name']=df['col\u name']。替换('$','')
所以,你可以这样做:
df[“col_name”]=df[“col_name”]。应用(
lambda x:x。如果isinstance(x,str)else x,则替换(“$”,”)
)
我还想提到的是,一些pandas方法使用errors
参数,该参数可以设置为ignore
例如,请参见:您好,这实际上取决于您是如何做到这一点的。你能展示更多的代码吗?@Laurent-我一直在对一些列执行简单的清理任务,每当出现任何新的数据类型时,脚本都无法处理它,并且卡住了,不处理其余的数据。谢谢你的回答。我只是想问一下,有没有一种方法可以处理我们在读取CSV文件时使用的Excel文件,如error\u bad\u lines=False。@Manz抱歉,我不这么认为。