Python 使用缺少日期的正向填充为每个ID添加每日数据
我有一个熊猫数据框,如下所示:Python 使用缺少日期的正向填充为每个ID添加每日数据,python,date,pandas,Python,Date,Pandas,我有一个熊猫数据框,如下所示: id date value name 0 C1 2017-01-01 31 Company 1 1 C1 2017-01-02 35 Company 1 2 C1 2017-01-03 32 Company 1 3 C1 2017-01-06 36 Company 1 4 C1 2017-01-07 35 Company 1 5 C1 2017-01-08 34 Company 1 6
id date value name
0 C1 2017-01-01 31 Company 1
1 C1 2017-01-02 35 Company 1
2 C1 2017-01-03 32 Company 1
3 C1 2017-01-06 36 Company 1
4 C1 2017-01-07 35 Company 1
5 C1 2017-01-08 34 Company 1
6 C1 2017-01-10 33 Company 1
7 C2 2017-01-01 225 Company 2
8 C2 2017-01-02 223 Company 2
9 C2 2017-01-03 223 Company 2
10 C2 2017-01-06 220 Company 2
11 C2 2017-01-07 222 Company 2
12 C2 2017-01-08 225 Company 2
13 C2 2017-01-10 224 Company 2
14 C3 2017-01-08 340 Company 3
对于该数据框,日期范围为2017-01-01开始日期和2017-01-10结束日期,包括这两个日期。也就是说,所有数据都在这两个日期之间
我想为丢失的日期添加新行。例如,对于idC1,2017-01-042017-01-052017-01-09的value列中缺少值,应在value列中添加新行,如下所示
C1 2017-01-04 0 Company1
C1 2017-01-05 0 Company1
C1 2017-01-09 0 Company1
类似地,对于C2,2017-01-042017-01-052017-01-09和C3的2017-01-01至2017-01-07和2017-01-092017-01-10的值列中缺少值
我正在努力弄清楚,如何使用pandas执行添加这些行的操作。因此,只是想寻求一些帮助。一个选项是使用
pandas.date\u range
创建所有您想要完成的日期,然后您可以在完成日期之间进行外部联接,每个子数据框都键入日期列,最后用0填充缺少的值:
# create complete dates
dates = pd.DataFrame({"date": pd.date_range("2017-01-01", "2017-01-10")})
# convert date column to date time if it's not already
df['date'] = pd.to_datetime(df.date)
# merge complete dates with each sub data frame separately using groupby.apply
(df.groupby(['id', 'name'])['date', 'value']
.apply(lambda g: g.merge(dates, how="outer"))
.fillna(0)
.reset_index(level=[0,1])
.reset_index(drop=True))
# id name date value
#0 C1 Company 1 2017-01-01 31.0
#1 C1 Company 1 2017-01-02 35.0
#2 C1 Company 1 2017-01-03 32.0
#3 C1 Company 1 2017-01-06 36.0
#4 C1 Company 1 2017-01-07 35.0
#5 C1 Company 1 2017-01-08 34.0
#6 C1 Company 1 2017-01-10 33.0
#7 C1 Company 1 2017-01-04 0.0
#8 C1 Company 1 2017-01-05 0.0
#9 C1 Company 1 2017-01-09 0.0
# ...
每个id的“名称”列是否始终相同?例如,对于C1公司1,对于C2公司2?是。是的,回答如下。希望能有帮助。