Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/320.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python BigQuery中的数据存在不重要的输入错误_Python_Json_Google Bigquery - Fatal编程技术网

Python BigQuery中的数据存在不重要的输入错误

Python BigQuery中的数据存在不重要的输入错误,python,json,google-bigquery,Python,Json,Google Bigquery,我有一些大的json文件,每个对象都在新行上。大概是这样的: {"_id": "6047a8d", "type": ["Type1"], "service": ["5ae9595a"], "options": [{"name": "a", "value": false}, {"name&q

我有一些大的json文件,每个对象都在新行上。大概是这样的:

{"_id": "6047a8d", "type": ["Type1"], "service": ["5ae9595a"], "options": [{"name": "a", "value": false}, {"name": "b", "value": false}], "NameType": ["c"], "FakeNames": ["d", "e"], "text": "texts", "date": "2021-03-09T16:56:49.15Z"}
{"_id": "6047a", "type": ["Type1"], "service": ["5ae9595a9"], "options": [{"name": "abc", "value": false}, {"title": "def", "value": false}], "Nametype": ["xy"], "FakeNames": [], "text": "xyz", "date": "2021-03-09T17:02:20.976Z"}
这是我在Google Cloud中拥有的数据,我从中在BigQuery中创建了一个表。但是,有时会随机缺少一个
[
括号,或者用它代替
“name”:“some_string”
我有
“name”:2021
,这是一个整数,因此与模式不一致。我已经有了一个Python代码,它清理了原始数据并消除了BigQuery无法接收的所有内容,但我发现在这些“错误”很少发生的情况下,检查每个缺少的括号或将一些整数转换为字符串既困难又昂贵(在一个包含10个这样大的文档的文件夹中只发现了两个小错误)


例如,我如何设置坏记录的最大数量,以及这些记录会发生什么情况?

如果您在GUI中从csv文件中装入表格,您可以选择
允许的错误数量


谢谢!我知道这一点,但你知道json有什么解决方案吗?