使用Beauty soup使用python解析~100mb html文件时出现内存错误

使用Beauty soup使用python解析~100mb html文件时出现内存错误,python,beautifulsoup,Python,Beautifulsoup,运行以下代码时,我遇到内存错误: from bs4 import BeautifulSoup with open(r'C:\user\table.html', 'r') as f: soup = BeautifulSoup(f, 'html.parser') found = soup.find("td", text = "A") print(found) f.closed 这段代码适用于小的html文件。但是,当我使用~100mb html表运行它时,它会慢慢消耗内存,

运行以下代码时,我遇到内存错误:

from bs4 import BeautifulSoup
with open(r'C:\user\table.html', 'r') as f:
    soup = BeautifulSoup(f, 'html.parser')
    found = soup.find("td", text = "A")
    print(found)
f.closed

这段代码适用于小的html文件。但是,当我使用~100mb html表运行它时,它会慢慢消耗内存,直到程序崩溃。任务管理器显示程序崩溃时python.exe占用2gb内存。我试过浏览beautifulsoup文档,但我不明白为什么这个程序占用的内存比我的html文件大20倍。

可能有用的文章:为什么有人会首先创建一个100mb的html表?只是好奇。数据是作为html文件输出的。我可以将其输出为csv文本文件,但我想我也会处于相同的情况。您可以使用pandas从csv读取数据。使用
chunksize
以块的形式读取数据您可以使用。您可以添加问题并在表格中包含几行HTML吗?