网络爬虫会在php密码保护页面中检测这些JPEG吗？

如果出现以下情况，网络爬虫能否找到JPEG/图像

页面使用php

$\u会话

作为密码保护

加载页面之前，网页会检查

$\u会话中的密码是否正确

如果密码正确，则加载页面，加载.jpeg

如果在

$\u会话中密码不正确

页面不会加载，而是执行

元刷新

使用

if

statesment。。。 因此爬虫程序无法访问

.jpgs

我不希望这些图像能够出现在google/yahoo/bing/etc图像搜索中。 我读过很多关于SEO/机器人/爬虫的书，但我对此不确定

---

是这样吗

如果页面使用会话中存储的密码保护，则机器人程序/爬虫程序将找不到图像编号

---

但这当然取决于你如何处理机器人，如果你有一个成员区，你不想让机器人四处窥探，我建议您向未经授权的客户端发送302响应，并在交付任何其他内容之前将其传输到登录页面。

如果页面使用会话中存储的密码保护，则机器人程序/爬虫程序将找不到图像编号

---

但这当然取决于你如何处理机器人，如果你有一个成员区，你不想让机器人四处窥探，我建议您向未经授权的客户端发送302响应，并在交付任何其他内容之前将其传输到登录页面。

如果页面使用会话中存储的密码保护，则机器人程序/爬虫程序将找不到图像编号

---

但这当然取决于你如何处理机器人，如果你有一个成员区，你不想让机器人四处窥探，我建议您向未经授权的客户端发送302响应，并在交付任何其他内容之前将其传输到登录页面。

如果页面使用会话中存储的密码保护，则机器人程序/爬虫程序将找不到图像编号

---

但这当然取决于你如何处理这些机器人，如果你不想让机器人四处窥探的会员区，我建议你向未经授权的客户端发送302响应，并在发送任何其他内容之前将其传输到登录页面。

谷歌机器人不能在授权后抓取页面，尽管保护您的内容免受任何SE攻击的最佳方法是在名为robots.txt（）的文件中创建拒绝列表，该文件位于您的站点的根目录中。在那里，您可以指定哪个页面将不显示 爬行。

---

此外，将rel=“no follow”放在任何链接中，都会使SEs不跟随链接。

Googlebot不能在身份验证后抓取页面，尽管保护您的内容不受任何SE影响的最佳方法是在名为robots.txt（）的文件中创建拒绝列表，该文件位于站点的根目录中。在那里，您可以指定哪个页面将不显示 爬行。

---

此外，将rel=“no follow”放在任何链接中，都会使SEs不跟随链接。

Googlebot不能在身份验证后抓取页面，尽管保护您的内容不受任何SE影响的最佳方法是在名为robots.txt（）的文件中创建拒绝列表，该文件位于站点的根目录中。在那里，您可以指定哪个页面将不显示 爬行。

---

此外，将rel=“no follow”放在任何链接中，都会使SEs不跟随链接。

Googlebot不能在身份验证后抓取页面，尽管保护您的内容不受任何SE影响的最佳方法是在名为robots.txt（）的文件中创建拒绝列表，该文件位于站点的根目录中。在那里，您可以指定哪个页面将不显示 爬行。

---

此外，在任何链接中添加rel=“no follow”都会使SEs不跟随链接。

我猜受PHP密码保护的页面只是“获取”这些图像的url（可能是arbit或db存储的）

但是如果存在可以通过其他方式访问的静态内容（提供链接），那么网络爬虫最终会找到它

---

我建议您使用robot文件，指示网络爬虫忽略特定文件夹中的静态内容。

我猜受PHP密码保护的页面只是“获取”这些图像的url（可能是arbit或db存储的）

但是如果存在可以通过其他方式访问的静态内容（提供链接），那么网络爬虫最终会找到它

---

我建议您使用robot文件，指示网络爬虫忽略特定文件夹中的静态内容。

我猜受PHP密码保护的页面只是“获取”这些图像的url（可能是arbit或db存储的）

但是如果存在可以通过其他方式访问的静态内容（提供链接），那么网络爬虫最终会找到它

---

我建议您使用robot文件，指示网络爬虫忽略特定文件夹中的静态内容。

我猜受PHP密码保护的页面只是“获取”这些图像的url（可能是arbit或db存储的）

但是如果存在可以通过其他方式访问的静态内容（提供链接），那么网络爬虫最终会找到它

---

我建议您使用一个机器人文件，指示网络爬虫忽略特定文件夹中的静态内容。

我不完全清楚您的要求，但永远不要做您在#2中描述的事情。使用数据库存储密码我不是100%清楚你在问什么，但永远不要做你在第2章中描述的事情。使用数据库存储密码我不是100%清楚你在问什么，但永远不要做你在第2章中描述的事情。使用数据库存储密码我不是100%清楚你在问什么，但永远不要做你在第2章中描述的事情。使用数据库存储密码是否确实没有后门/文件树可供访问？除非允许目录列表，否则无法列出文件，机器人程序将不会尝试查找/images/image01.jpeg等，你可以通过查看访问日志来观察机器人如何爬行。但是请注意，如果你的站点显示了图像，然后检查$\u会话密码是否正确