Bing Web搜索API和黑名单（python）

我正在使用Bing Web搜索API获取与非常特定的查询匹配的URL。不幸的是，API结果中也有很多垃圾

现在我创建了一个广泛的黑名单，涵盖了大约70%的“垃圾”

将URL列表从附加到我的“结果”数组中排除的最有效方法是什么

代码中有趣的部分：

results = []
try:
    conn = http.client.HTTPSConnection('api.cognitive.microsoft.com')
    conn.request("GET", "/bing/v5.0/search?%s" % params, "{body}", headers)
    response = conn.getresponse()
    data = response.read()
    json_file = json.loads(data)
    for i in range(len(json_file['webPages']['value'])):
        results.append([count, json_file['webPages']['value'][i]['displayUrl']])
    conn.close()
except Exception as e:
    print(e)

---

为此，您可以尝试bing自定义搜索。它允许您将结果限制到某些域/子网站/网页以及阻止功能。您可以在customsearch.ai上查看详细信息。可以从这里获得免费访问密钥：。

这实际上取决于黑名单的工作方式。