Python 如何将json文件中的tweets加载到数据帧中?

Python 如何将json文件中的tweets加载到数据帧中?,python,json,pandas,Python,Json,Pandas,我正在尝试使用以下代码读取我的文件: import json with open(file, 'r') as f: line = f.readline() tweet = json.loads(line) df1 = pd.DataFrame(tweet) 这段代码只读取一条tweet,它可以工作,但当我试图通过以下方式读取所有文件时: with open(file, 'r') as f: for line in f: tweet = json

我正在尝试使用以下代码读取我的文件:

import json

with open(file, 'r') as f:
    line = f.readline()
    tweet = json.loads(line)
    df1 = pd.DataFrame(tweet)
这段代码只读取一条tweet,它可以工作,但当我试图通过以下方式读取所有文件时:

with open(file, 'r') as f:
    for line in f:
        tweet = json.loads(line)
我收到一个错误:

JSONDecodeError: Expecting value: line 2 column 1 (char 1)
要正确读取此文件,我应该更改什么

我的主要任务是找到这些tweet的创建日期,我使用以下过滤器找到了它(我只使用了一条tweet,它在开始时起作用):


有没有比数据帧更好的方法来处理这些数据?

您可以这样做:

import pandas as pd
#results is the JSON tweet data. 

#Define the columns you want to extract
resultFrame = pd.DataFrame(columns=["username","created_at","tweet"])
print len(results)

for i in range(len(results)):
    resultFrame.loc[i,"username"] = results[i].user.screen_name
    resultFrame.loc[i, "created_at"] = results[i].created_at
    resultFrame.loc[i, "tweet"] = results[i].text

print resultFrame.head()

您可以这样做:

import pandas as pd
#results is the JSON tweet data. 

#Define the columns you want to extract
resultFrame = pd.DataFrame(columns=["username","created_at","tweet"])
print len(results)

for i in range(len(results)):
    resultFrame.loc[i,"username"] = results[i].user.screen_name
    resultFrame.loc[i, "created_at"] = results[i].created_at
    resultFrame.loc[i, "tweet"] = results[i].text

print resultFrame.head()

对于我来说,读入(全部)JSON文件的更简洁的方法如下

import pandas as pd
df = pd.read_json("python.json", orient = 'records', lines = True)

然后,您可以将转换应用于
df
,以便从您感兴趣的列中获取数据。

一种更简洁的方式来读取(所有)JSON文件

import pandas as pd
df = pd.read_json("python.json", orient = 'records', lines = True)

然后,您可以将转换应用于
df
,以便从您感兴趣的列中获取数据。

谢谢您的回答。我在开始时尝试了不同的组合,但当我仅使用f=pd.read_json(“python.json”)时仍然收到错误:“ValueError:预期的对象或值”或“ValueError:跟踪数据”。至于预期的对象。。。错误,在
read\u json
命令中指定的文件路径/文件名是否正确?至于尾随数据错误,您是否指定了
方向
?我之所以这么问,是因为我能够按照上面的语法下载和读取您的文件。路径必须正确,因为我能够以不同的格式打开其他文件。删除方向和线条时会出现尾随数据。是否可以将此数据框保存为csv格式并在此处上载?我想检查一下我是否对JSON有问题,这个文件还是其他什么问题?谢谢你的回答。我在开始时尝试了不同的组合,但当我仅使用f=pd.read_json(“python.json”)时仍然收到错误:“ValueError:预期的对象或值”或“ValueError:跟踪数据”。至于预期的对象。。。错误,在
read\u json
命令中指定的文件路径/文件名是否正确?至于尾随数据错误,您是否指定了
方向
?我之所以这么问,是因为我能够按照上面的语法下载和读取您的文件。路径必须正确,因为我能够以不同的格式打开其他文件。删除方向和线条时会出现尾随数据。是否可以将此数据框保存为csv格式并在此处上载?我想检查一下JSON是否有问题,一般来说,是这个文件还是其他什么问题?