Python 如何基于时间段评估日志跟踪
我有一个日志记录的数据集,我需要根据每分钟的请求来查看它,我已经像这样将它转换成熊猫Python 如何基于时间段评估日志跟踪,python,pandas,numpy,matplotlib,Python,Pandas,Numpy,Matplotlib,我有一个日志记录的数据集,我需要根据每分钟的请求来查看它,我已经像这样将它转换成熊猫 year month day hour Requests count 0 2018 6 1 0 114710.0 1 2018 6 1 1 115735.0 2 2018 6 1 2 130116.0 3 2018 6 1 3 133225.0 4 201
year month day hour Requests count
0 2018 6 1 0 114710.0
1 2018 6 1 1 115735.0
2 2018 6 1 2 130116.0
3 2018 6 1 3 133225.0
4 2018 6 1 4 128355.0
upto 24 Hour means whole day,
我们可以看到每小时有数百万个请求,所以我想每分钟查看一次,我可以使用这个脚本
df['count'] = df.groupby(df.date.dt.minute)['requests'].count()
然后它将返回60个值,但问题是我需要每小时60分钟的值和序列,因此它将成为60*24=1440
每分钟请求数
,任何帮助都将不胜感激,谢谢
实际数据有数百万个时间戳值样本数据中没有
日期
列,但似乎需要dt.hour
:
rng = pd.date_range('2017-04-03 10:10:12', periods=100, freq='120T')
df = pd.DataFrame({'date': rng, 'requests': range(100)})
#print (df)
df1 = df.groupby([df.date.dt.minute.rename('min'),
df.date.dt.hour.rename('hour')])['requests'].count()
print (df1)
min hour
10 0 8
2 8
4 8
6 8
8 8
10 9
12 9
14 9
16 9
18 8
20 8
22 8
Name: requests, dtype: int64
是的,有一个日期列,我正在等待outputTypeError:插入列的索引与帧索引不兼容XValueError:缓冲区数据类型不匹配,预期为“Python对象”,但得到了“long”@KhanHassan-您可以添加带有
date
列的示例数据吗?您不能分配给df['count']
,因为聚合需要像df1这样的新数据帧