Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/353.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python dataframe如何批量添加新列并将进度保存到文件或pickle_Python_Pandas_Dataframe_Pickle - Fatal编程技术网

Python dataframe如何批量添加新列并将进度保存到文件或pickle

Python dataframe如何批量添加新列并将进度保存到文件或pickle,python,pandas,dataframe,pickle,Python,Pandas,Dataframe,Pickle,我在csv/pickle中有一个大df。要分块处理,我需要获取包含完整用户id信息的chunck,这样chuncks=1000就不会这样做 基本过程是 df = pd.read_pickle(df_pickle_location) df['new_col1'] = df.apply(lambda row: calculate_absolute_days_since_first_order(df, row), axis=1) df['new_col2'] = df.apply(lambda row

我在csv/pickle中有一个大df。要分块处理,我需要获取包含完整用户id信息的chunck,这样chuncks=1000就不会这样做

基本过程是

df = pd.read_pickle(df_pickle_location)
df['new_col1'] = df.apply(lambda row: calculate_absolute_days_since_first_order(df, row), axis=1)
df['new_col2'] = df.apply(lambda row: calc_days_since_last_ordered(df, row), axis=1)

如何将加载的df按用户分类,每次处理单个用户ID行,并将该过程保存到文件中,以便下次继续?

更多地了解上下文和数据会有所帮助。我们不理解你所说的“我如何才能将加载的df由用户拆分到”是什么意思。对不起,我认为标记pandas在contextContext中会有所帮助,而不是像pandas中那样,而是你试图使用代码实现的目标。按您所说的用户分割df,但我们不知道如何在dataframe中找到唯一的用户,因为既没有上下文也没有提供数据。