Python 如何从多个JSON文件中平坦推文的大数据

Python 如何从多个JSON文件中平坦推文的大数据,python,json,pandas,dataframe,twitter,Python,Json,Pandas,Dataframe,Twitter,我曾尝试合并Twitter流API中的许多JSON文件。JSON文件似乎是嵌套的,没有结构化 文件(我想不是真正的JSON) 到目前为止,我已经做了以下工作: (一) datafram熊猫 df=pd.read\u json('Merge\u all\u tweets.json',lines=True) ValueError:尾随数据 (三) 试着这样做: df = pd.read_json('Merge_all_tweets.json') 3->> (四) 数据为NAN,存在一些

我曾尝试合并Twitter流API中的许多JSON文件。JSON文件似乎是嵌套的,没有结构化 文件(我想不是真正的JSON)

到目前为止,我已经做了以下工作:

(一)

  • datafram熊猫

    df=pd.read\u json('Merge\u all\u tweets.json',lines=True)

  • ValueError:尾随数据

    (三)

    试着这样做:

        df = pd.read_json('Merge_all_tweets.json')
    
    3->>

    (四)

    数据为NAN,存在一些错误

    我试着用这样的方式将数据平滑()

    导入平面表格 放平=放平表格。规范化(df,expand\u dicts=False,expand\u list=False)

    结果是一样的

    我也试过了

    平桌。标准化(df)

    ValueError:无法从重复轴重新编制索引

    我以前的话题是

    我应该如何处理这些数据

    注意:V2仍然是早期访问,我不知道我的文件是否在中间断开连接,或者这些文件有什么问题

    如果你知道一种合并文件的方法,那么请将所有的功能放平,请分享

        df = pd.read_json('Merge_all_tweets.json')
    
    import pandas as pd
    df = pd.read_json('Merge_all_tweets.json')
    #Display the first 10 rows
    result = df.head(10)
    print("First 10 rows of the DataFrame:")
    print(result)