Python请求:从Nodejs HTTP服务器请求时突然变慢

Python请求:从Nodejs HTTP服务器请求时突然变慢,python,json,node.js,python-requests,Python,Json,Node.js,Python Requests,我有一个NodeJS HTTP服务器,它显示一个JSON文件,该文件每秒更新多次。样本数据: { "MainText": [{ "field1": "text", "field2": "text", "field3": 1234 }, { "field1": "text", "field2": "text", "f

我有一个NodeJS HTTP服务器,它显示一个JSON文件,该文件每秒更新多次。样本数据:

{
    "MainText": [{
            "field1": "text",
            "field2": "text",
            "field3": 1234
        },
        {
            "field1": "text",
            "field2": "text",
            "field3": 1234
        },
        {
            "field1": "text",
            "field2": "text",
            "field3": 1234
        }
    ]
}
通常在一段时间后,JSON中此类条目的数量会增长到大约200k或更多

我必须将整个JSON导入pandas数据帧,为此我使用以下方法:

df = pd.DataFrame(json.loads(requests.get(url).text))
通常这大约需要0.3秒。但我没有任何明显的理由,在几次请求之后,对于(几乎)相同的固定大小的JSON,它开始花费将近4秒的时间。在发出请求时,CPU或RAM的使用没有变化

如果我重新启动NodeJS服务器,问题会暂时自行修复,但稍后会再次出现

是否需要关闭与HTTP服务器的连接?我希望180k行的文本对于从服务器快速获取请求来说不是太多


我是否应该寻找一种更有效的方法将JSON数据加载到熊猫数据帧中?

可能是流的一个好用例?可能是流的一个好用例?