Python 如何准确地从ODP中提取信息?
我正在用python构建一个搜索引擎 我听说谷歌从ODP中获取页面描述,以防谷歌无法使用页面中的元数据找出描述。。。我想做类似的事情 ODP是Mozilla提供的一个在线目录,其中包含网络页面的描述,因此我想从ODP中获取搜索结果的描述。我如何从ODP获得特定url的准确描述,如果找不到python类型None(这意味着ODP不知道我在找什么页面),如何返回python类型None 另外,有一个名为的url,但我不知道如何从中提取信息。要使用ODP数据,您需要。RDF是一种XML格式;您可以索引该转储以将URL映射到描述;我会使用SQL数据库来实现这一点 请注意,URL可以存在于转储中的多个位置。例如,堆栈溢出列为两次。Google使用来自的文本作为网站描述,Bing使用 数据转储当然相当大。在向数据库添加条目时,使用诸如ElementTree之类的合理工具以迭代方式解析数据集。实际上,您只需要查找元素,并将和条目放在下面 使用lxml,可以更快、更完整地实现ElementTree,如下所示:Python 如何准确地从ODP中提取信息?,python,search-engine,Python,Search Engine,我正在用python构建一个搜索引擎 我听说谷歌从ODP中获取页面描述,以防谷歌无法使用页面中的元数据找出描述。。。我想做类似的事情 ODP是Mozilla提供的一个在线目录,其中包含网络页面的描述,因此我想从ODP中获取搜索结果的描述。我如何从ODP获得特定url的准确描述,如果找不到python类型None(这意味着ODP不知道我在找什么页面),如何返回python类型None 另外,有一个名为的url,但我不知道如何从中提取信息。要使用ODP数据,您需要。RDF是一种XML格式;您可以索引
from lxml import etree as ET
import gzip
import sqlite3
conn = sqlite3.connect('/path/to/database')
# create table
with conn:
cursor = conn.cursor()
cursor.execute('''
CREATE TABLE IF NOT EXISTS odp_urls
(url text primary key, title text, description text)''')
count = 0
nsmap = {'d': 'http://purl.org/dc/elements/1.0/'}
with gzip.open('content.rdf.u8.gz', 'rb') as content, conn:
cursor = conn.cursor()
for event, element in ET.iterparse(content, tag='{http://dmoz.org/rdf/}ExternalPage'):
url = element.attrib['about']
title = element.xpath('d:Title/text()', namespaces=nsmap)
description = element.xpath('d:Description/text()', namespaces=nsmap)
title, description = title and title[0] or '', description and description[0] or ''
# no longer need this, remove from memory again, as well as any preceding siblings
elem.clear()
while elem.getprevious() is not None:
del elem.getparent()[0]
cursor.execute('INSERT OR REPLACE INTO odp_urls VALUES (?, ?, ?)',
(url, title, description))
count += 1
if count % 1000 == 0:
print 'Processed {} items'.format(count)
你是说谷歌也下载了rdf转储文件?如果是这样的话,我是否需要坐下来多次下载更新@马蒂恩Pieters@user2335164:你定期下载,是的。最近的垃圾场是在4月28日创建的。非常感谢!您能告诉我如何使用从python下载的rdf转储文件吗。。如果你愿意,我会接受你的回答@MartijnPieters@user2335164下载后,您可以使用它进行进一步处理。@MartijnPieters在您的答案中提供的链接中,我应该选择哪个下载?