列出python项目中请求/urllib调用的所有URL

列出python项目中请求/urllib调用的所有URL,python,web-scraping,Python,Web Scraping,我有一个有趣的问题,我们需要记录我们的大型Python项目调用的所有URL。手动检查代码是不可行的,因为它太大并且经常更改 理想情况下,我想要的是一段脚本,给定一个Python项目文件夹,它可以遍历其中的所有文件,找到请求或urllib模块调用的位置,并列出附带的URL。我想你可以做的是用一个记录URL的包装器包装请求或urllib模块您的应用程序正在连接,然后只需调用realurllib或请求模块功能即可。因此,无论何时调用import请求,实际上都会导入包装器 我认为您可以改为使用一个包装器

我有一个有趣的问题,我们需要记录我们的大型Python项目调用的所有URL。手动检查代码是不可行的,因为它太大并且经常更改


理想情况下,我想要的是一段脚本,给定一个Python项目文件夹,它可以遍历其中的所有文件,找到
请求
urllib
模块调用的位置,并列出附带的URL。

我想你可以做的是用一个记录URL的包装器包装
请求
urllib
模块您的应用程序正在连接,然后只需调用real
urllib
请求
模块功能即可。因此,无论何时调用
import请求
,实际上都会导入包装器

我认为您可以改为使用一个包装器来包装
请求
urllib
模块,该包装器记录应用程序正在连接的URL,然后只调用real
urllib
请求
模块函数。因此,无论何时调用
import请求
,实际上都会导入包装器

那么你应该写一个脚本来实现这一点。提示:您可以使用
grep
sed
然后您应该编写一个脚本来完成这项工作。提示:你可以使用
grep
sed
你能提供一些代码片段吗?你能提供一些代码片段吗?