使用Python列出联机目录中的所有文件?
您好,我只是想知道我正在尝试创建一个python应用程序,从internet下载文件,但目前它只下载一个名为“我知道”的文件。。。有什么方法可以让我在一个在线目录中获得一个文件列表并下载它们吗?我会给你看我一次下载一个文件的代码,这样你就知道我不想做什么了使用Python列出联机目录中的所有文件?,python,download,urllib2,Python,Download,Urllib2,您好,我只是想知道我正在尝试创建一个python应用程序,从internet下载文件,但目前它只下载一个名为“我知道”的文件。。。有什么方法可以让我在一个在线目录中获得一个文件列表并下载它们吗?我会给你看我一次下载一个文件的代码,这样你就知道我不想做什么了 import urllib2 url = "http://cdn.primarygames.com/taxi.swf" file_name = url.split('/')[-1] u = urllib2.urlopen(url) f =
import urllib2
url = "http://cdn.primarygames.com/taxi.swf"
file_name = url.split('/')[-1]
u = urllib2.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print "Downloading: %s Bytes: %s" % (file_name, file_size)
file_size_dl = 0
block_sz = 8192
while True:
buffer = u.read(block_sz)
if not buffer:
break
file_size_dl += len(buffer)
f.write(buffer)
status = r"%10d [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
status = status + chr(8)*(len(status)+1)
print status,
f.close()
那么它是从这个网站下载taxi.swf的,但我想让它做的是从那个目录“/”下载所有的.swf到计算机上
有可能吗?非常感谢您的帮助-Terri-既然你想一次下载一大堆东西,那就先找一个网站索引或一个网页,上面整齐地列出了你想下载的所有东西。该网站的移动版通常比台式机更轻,更容易抓取 此网站正是您要查找的内容: 现在,这真的很简单。只需提取所有游戏页面链接。我使用并执行以下操作:
import requests
from bs4 import BeautifulSoup
games_url = 'http://www.primarygames.com/mobile/category/all/'
def get_all_games():
soup = BeautifulSoup(requests.get(games_url).text)
for a in soup.find('div', {'class': 'catlist'}).find_all('a'):
yield 'http://www.primarygames.com' + a['href']
def download_game(url):
# You have to do this stuff. I'm lazy and won't do it.
if __name__ == '__main__':
for game in get_all_games():
download_game(url)
剩下的就看你了
download\u game()
根据游戏的URL下载游戏,因此您必须找出
标记在DOM中的位置。CDN是否提供列表?如果不是,你最好抓取网站的网页并提取链接,然后从CDN下载游戏。如果不是你的,则由服务器决定是否提供索引。如果没有,那么@nhahtdh是对的,这就是你所能做的。好的,谢谢,我如何抓取我读了一些但似乎无法解决的网站?谢谢,这是我需要的,但我有一个问题,那就是,我不知道如何导入beautifulsoup?我把file.py放进了beautifulsoup文件夹,但我不知道我该怎么做,我该安装beautifulsoup吗?@Terri:在使用之前先学习Python。这是非常基本的东西。BeautifulSoup是一个模块。如何将查找结果保存在变量中。我想不出来。