如何使用spider.py python模块
我已经从下载了spider.py 0.5模块。在spider.py文件中有许多函数,其中之一是:-如何使用spider.py python模块,python,web-crawler,Python,Web Crawler,我已经从下载了spider.py 0.5模块。在spider.py文件中有许多函数,其中之一是:- def webspider(self, b=None, w=200, d=5, t=None): '''Returns two lists of child URLs and paths b -- base web URL (default: None) w -- amount of resources to crawl (default: 200) d -- d
def webspider(self, b=None, w=200, d=5, t=None):
'''Returns two lists of child URLs and paths
b -- base web URL (default: None)
w -- amount of resources to crawl (default: 200)
d -- depth in hierarchy to crawl (default: 5)
t -- number of threads (default: None)'''
if b: self.weburls(b, w, d, t)
return self.webpaths(), self.urls
我在同一个目录中创建了一个名为run.py的新文件,代码如下:-
import spider
webspider(b='http://example.com', w=200, d=5, t=5)
当我执行run.py时,我收到以下消息:
NameError: name 'webspider' is not defined
关于如何正确使用本模块,有什么想法吗?我希望找到的所有链接都保存到名为urls.txt的文件中您应该这样称呼它:
import spider
spider.webspider(b='http://example.com', w=200, d=5, t=5)
或者只能导入webspider
:
from spider import webspider
webspider(b='http://example.com', w=200, d=5, t=5)
您可以重命名导入的方法:
from spider import webspider as myspider
myspider(b='http://example.com', w=200, d=5, t=5)
你应该这样称呼它:
import spider
spider.webspider(b='http://example.com', w=200, d=5, t=5)
或者只能导入webspider
:
from spider import webspider
webspider(b='http://example.com', w=200, d=5, t=5)
您可以重命名导入的方法:
from spider import webspider as myspider
myspider(b='http://example.com', w=200, d=5, t=5)
顺便说一句,第一个块中有一个缩进错误。第一行应该是不缩进的。哦,是的,让我编辑一下。在原始文件中,所有缩进都正确完成。顺便说一句,第一个块中存在缩进错误。第一行应该是不缩进的。哦,是的,让我编辑一下。在原始文件中,所有缩进都正确完成