Python 是否有一种编程方式强制爬虫程序不索引特定的图像？

我想阻止爬虫为我网站上的特定图像编制索引，但前提是这些图像的时间早于特定日期。但是，爬虫程序不应停止对图像当前链接的页面进行索引

我最初的方法是编写一个脚本，将图像的URL添加到“robots.txt”中，但我认为该文件将变得巨大，因为我们谈论的是大量潜在的图像

我的下一个想法是使用

标记，但我认为这种方法很容易出错，因为我可能会忘记将此标记添加到模板中，以便阻止爬虫为图像编制索引。它也是冗余的，爬虫程序将忽略所有图像

---

我的问题是：如果条件（在我的例子中是日期）为真，你知道一种编程方式来强制爬虫也不索引图像吗？还是我唯一能阻止爬虫为整个页面编制索引的方法？

基于您的想法，您可以创建一个单独的位置来保存您不想被索引的图像，编写脚本，在文件“过期”后将其移动到该位置，并将url添加到robots.txt文件中。也许像

/expired\u images*

这样的东西可以建立在您的想法之上，您只需创建一个单独的位置来保存您不想被索引的图像，编写一个脚本，在文件“过期”后将其移动到该位置，然后将url添加到robots.txt文件中。也许类似于

/expired\u images*

注意，根据谷歌本身的说法，它不会阻止以其他方式（通过链接等）发现的图像被索引，cf来自同一链接，最好的解决方案是使用前端服务器（Apache、Nginx等）添加

X-Robots-Tag“noindex”

这些图像的标题。我没有想到明显的解决方案。谢谢，我会进一步调查。请注意，根据谷歌本身的说法，它不会阻止其他方式（通过链接等）发现的图像被索引，cf来自同一链接，最好的解决方案是使用前端服务器（Apache、Nginx等）添加

X-Robots-Tag“noindex”

这些图像的标题。我没有想到明显的解决方案。谢谢，我会进一步调查的。