Python-在不从输入文件创建变量/数据帧的情况下获取统计信息

我有很多.txt文件，它们一起形成了一个数据帧，太多了，无法加载到变量中（因此没有足够的内存将所有文件加载到一个数据帧中）。我是否可以通过读取文件而不是将其加载到数据帧/变量中来获得一些描述性统计数据？怎么用？谢谢大家!

为了获取信息，您可以使用glob选择文件，将其作为文本文件打开。 假设这是一个CSV文件，列标题位于第一行，则可以通过拆分第一行来检索键。 根据，计算剩余的行数

import glob    

filenames = glob.glob('*.txt')
for filename in filenames:
    with open(filename) as f:
        keys = f.readline().rstrip().split(',')
        for i, l in enumerate(f):
            pass
    print("File:", filename, " keys:", keys," len:",i+1)

---

为了获取信息，您可以使用glob选择文件，将其作为文本文件打开。 假设这是一个CSV文件，列标题位于第一行，则可以通过拆分第一行来检索键。 根据，计算剩余的行数

import glob    

filenames = glob.glob('*.txt')
for filename in filenames:
    with open(filename) as f:
        keys = f.readline().rstrip().split(',')
        for i, l in enumerate(f):
            pass
    print("File:", filename, " keys:", keys," len:",i+1)

---

您可以迭代文件并为每个文件追加

df.descripe（）

的结果。这样，您就不需要加载每个文件并将其保存在内存中。您可以对这些文件进行迭代，并为每个文件追加

df.descripe（）

的结果。这样，您就不需要加载每个文件并将它们保存在内存中。