Web crawler 是否存在开源web索引？

是否有一个基于spider的开源web索引，它可以逐步搜索和索引来自整个internet的越来越多的页面（而不仅仅是一个站点）？如果存在这样一个索引，我需要什么来访问它？是否有类似搜索引擎的API调用？搜索引擎使用web索引。web索引将是一个或多个可能保存在文件中的数据结构。web索引包含有关网页上存储内容的信息。我的问题是如何从计算机程序访问此数据结构？