Python对每个纬度和经度对进行统计

Python对每个纬度和经度对进行统计,python,pandas,Python,Pandas,我有一年的数据,这只是它的格式示例: 对于每个lat和lon对,我需要在一段时间内进行统计。我该怎么做 例如: 在lat=25.313和lon=-108.813时,有1000 s的温度值。这些数据被映射到美国的网格上,在每个特定的纬度和经度,我想根据温度的时间进行统计。我以前没有做过类似的事情,我需要找到一种方法来做到这一点 我以前从未使用过这样表示的数据,我将搜索web以了解如何做到这一点。这或多或少是为了一些建议,因为我的初始结果似乎缺乏 谢谢 编辑我注意到了一种在特定的时间步(每小时)获

我有一年的数据,这只是它的格式示例:

对于每个lat和lon对,我需要在一段时间内进行统计。我该怎么做

例如: 在lat=25.313和lon=-108.813时,有1000 s的温度值。这些数据被映射到美国的网格上,在每个特定的纬度和经度,我想根据温度的时间进行统计。我以前没有做过类似的事情,我需要找到一种方法来做到这一点

我以前从未使用过这样表示的数据,我将搜索web以了解如何做到这一点。这或多或少是为了一些建议,因为我的初始结果似乎缺乏

谢谢

编辑我注意到了一种在特定的时间步(每小时)获取每个数据点的方法,所以我水平地重新组织了变量,特别是我想要的。我现在需要做的就是计算每一行的平均值

import os
import pandas as pd
finaldf = pd.DataFrame()
directory = "C:/Users/truet/OneDrive/Desktop/test"  #change last directory

for filename in os.listdir(directory):
    fullpath = os.path.join(directory, filename)
    if os.path.isfile(fullpath) and fullpath.endswith(".csv"):
        dfchild = pd.read_csv(fullpath,usecols=[4])
        #define columns you want to explort
        dfmaster = dfchild

        finaldf = pd.concat([finaldf, dfmaster],axis = 1)
    print(dfmaster.reset_index(drop=True))
    finaldf.to_csv("C:/Users/truet/OneDrive/Desktop/test.csv", index=False)

这是一个相当广泛的问题,因为您可以对数据做任何事情,但一般来说,您可能希望使用
groupby
方法,在该方法中,您可以将表分组,并对每个组应用相同的统计方法

import pandas as pd

# read in your data from whatever form (e.g. csv file)
df = pd.read_csv('data.csv')

# group the data by each lat-lon pair:
df_groups = df.groupby(['lat', 'lon'])

# apply a method of your choice:
df_groups.sum()
df_groups.count()
df_groups.mean()
df_groups.std()

# or apply a user-defined function
df_groups.agg(lambda x: x*5 / 100)

你特别想做什么。什么统计数字。你知道怎么编码吗?你的数据有多大?我想取平均值,然后写一个标准偏差脚本。我知道如何编码,数据大小为50gbs。我以前使用过熊猫,但我以前没有使用过大型数据集。lat介于(25.063和52.938 w0.125步)lon btwn(-124.938和-67.688 w0.125步)之间。所有数据都表示在这4列中。每小时记录2019年1月至2020年1月的时间跨度。我想这样做,这样我就可以使用地理空间python包用一个颜色mapSee映射这些值,这个颜色mapSee可以进行各种聚合。对于任何需要使用Python对数据进行循环的数据操作,考虑到数据的大小,速度会非常慢。一个更好的选择是使用Julia编程语言,它的速度接近C,没有C的难度。请告诉我你是否有进展,否则,展示一些示例数据,我会帮你。嘿,我最近刚刚更新了我的问题。这实际上也可以奏效!!太棒了——从理论上讲,这能在一行对一行的基础上起作用吗?现在有103936行,每行都是我的理论组——嘿,是的,当然你也可以把这个应用到行上;您只需消除groupby函数并直接将函数应用于数据帧。啊,是的,df['mean']=df.mean(axis=1)df['std']=df.std(axis=1)