Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/json/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在不创建json文件的情况下解析类似json的数据_Python_Json_Pandas_Web Scraping - Fatal编程技术网

Python 在不创建json文件的情况下解析类似json的数据

Python 在不创建json文件的情况下解析类似json的数据,python,json,pandas,web-scraping,Python,Json,Pandas,Web Scraping,我正在抓取一些数据,并希望将一些事情自动化。目前,我的scraper创建了JSON文件(我刮取的每个页面一个),我将这些文件清理并放入CSV中,然后进行分析。我试图清除类似JSON的数据,而不将其保存到JSON文件中 目前,我正在编写一个JSON文件,然后使用pd.read_JSON,然后清理和转换它。我希望做的是调用scraper并让它们返回JSON文件的内容,而不是编写JSON文件然后加载JSON文件 当前代码如下所示: 刮 with open('%s-%s-df1.json'%(arg1,

我正在抓取一些数据,并希望将一些事情自动化。目前,我的scraper创建了JSON文件(我刮取的每个页面一个),我将这些文件清理并放入CSV中,然后进行分析。我试图清除类似JSON的数据,而不将其保存到JSON文件中

目前,我正在编写一个JSON文件,然后使用pd.read_JSON,然后清理和转换它。我希望做的是调用scraper并让它们返回JSON文件的内容,而不是编写JSON文件然后加载JSON文件

当前代码如下所示:

with open('%s-%s-df1.json'%(arg1, arg2), 'w) as fp:
    json.dump(df1, fp, indent = 4)

我希望实现的是直接操作df1,而不必执行上述操作。我现在必须执行上述操作的原因是,pd.read_json将json文件转换为数据帧。如何转换类似JSON的数据而不导出到JSON文件,然后使用pd.read\u JSON导入?

pd.read\u JSON
采用文件路径或字符串缓冲区,因此您可以将JSON字符串直接传递给它。

StringIO是一种可能性,因为它将支持panda的
.read()
方法。(Python2中的
StringIO
模块或Python3中的
io
模块)您阅读了吗?它们解释了在哪里可以只使用字符串,在哪里使用StringIO,以及每个字符串的含义。任何人在这里给出的任何答案都将是相同的信息,不那么详细,不那么权威,而且与文档不同,它会过时。如果你有一个医生没有回答的问题,具体地问。