Drupal 7 如何阻止Drupal网站上的抓取?

Drupal 7 如何阻止Drupal网站上的抓取?,drupal-7,web-scraping,Drupal 7,Web Scraping,我有一个Drupal网站,上面有大量的数据。然而,由于Drupal类和ID的一致性,人们可以很容易地刮取该站点 有没有办法“扰乱”代码,使它更难使用像刮网站这样的东西 有没有其他技术可以让网站更难抓取 我在为失败的事业而战吗 我不确定“抓取”是否是官方术语,但我指的是人们编写脚本“抓取”网站并解析其部分,以便提取数据并将其存储在自己的数据库中的过程。我不确定,但我认为抓取所有内容都是公开的网站非常容易,不管ID是否连续。您应该考虑到,如果一个人可以阅读您的Drupal站点,那么脚本也可以 P>

我有一个Drupal网站,上面有大量的数据。然而,由于Drupal类和ID的一致性,人们可以很容易地刮取该站点

  • 有没有办法“扰乱”代码,使它更难使用像刮网站这样的东西
  • 有没有其他技术可以让网站更难抓取
  • 我在为失败的事业而战吗

  • 我不确定“抓取”是否是官方术语,但我指的是人们编写脚本“抓取”网站并解析其部分,以便提取数据并将其存储在自己的数据库中的过程。

    我不确定,但我认为抓取所有内容都是公开的网站非常容易,不管ID是否连续。您应该考虑到,如果一个人可以阅读您的Drupal站点,那么脚本也可以


    <> P>根据您站点的性质,如果您不希望您的内容被其他人索引,则应考虑设置注册用户访问权限。否则,我认为你是在为一个失败的事业而战

    我不确定,但我认为对所有内容都是公共内容的网站进行爬网是很容易的,不管ID是否是连续的。您应该考虑到,如果一个人可以阅读您的Drupal站点,那么脚本也可以


    <> P>根据您站点的性质,如果您不希望您的内容被其他人索引,则应考虑设置注册用户访问权限。否则,我认为你是在为一个失败的事业而战

    我不确定,但我认为对所有内容都是公共内容的网站进行爬网是很容易的,不管ID是否是连续的。您应该考虑到,如果一个人可以阅读您的Drupal站点,那么脚本也可以


    <> P>根据您站点的性质,如果您不希望您的内容被其他人索引,则应考虑设置注册用户访问权限。否则,我认为你是在为一个失败的事业而战

    我不确定,但我认为对所有内容都是公共内容的网站进行爬网是很容易的,不管ID是否是连续的。您应该考虑到,如果一个人可以阅读您的Drupal站点,那么脚本也可以

    <> P>根据您站点的性质,如果您不希望您的内容被其他人索引,则应考虑设置注册用户访问权限。否则,我认为你是在为一个失败的事业而战

  • 首先我建议你用谷歌搜索一下。在那里你会发现一些对付网络抓取的工具
  • 至于Drupal,应该有一些防刮插件可用(google over)
  • 你可能会对我的回答感兴趣。它适用于技术用户和非技术用户
  • 首先我建议你用谷歌搜索一下。在那里你会发现一些对付网络抓取的工具
  • 至于Drupal,应该有一些防刮插件可用(google over)
  • 你可能会对我的回答感兴趣。它适用于技术用户和非技术用户
  • 首先我建议你用谷歌搜索一下。在那里你会发现一些对付网络抓取的工具
  • 至于Drupal,应该有一些防刮插件可用(google over)
  • 你可能会对我的回答感兴趣。它适用于技术用户和非技术用户
  • 首先我建议你用谷歌搜索一下。在那里你会发现一些对付网络抓取的工具
  • 至于Drupal,应该有一些防刮插件可用(google over)
  • 你可能会对我的回答感兴趣。它适用于技术用户和非技术用户
    例如,如果第一页的ID是“description”,而第二页的标题是ID“description”,这会让刮刀更难操作。此外,我相信有一些方法可以限制某些IP访问您网站的速度?我认为无论标题有多复杂,如果一个人能够通过您的菜单和链接导航或使用google访问内容,您的内容都会被找到。已经证明,保护一个只隐藏可猜测信息的软件不是一个好的措施。但是,您可以仔细看看,例如,如果第1页上的ID是“description”,而第2页上的标题是ID“description”,这将使刮刀更难操作。此外,我相信有一些方法可以限制某些IP访问您网站的速度?我认为无论标题有多复杂,如果一个人能够通过您的菜单和链接导航或使用google访问内容,您的内容都会被找到。已经证明,保护一个只隐藏可猜测信息的软件不是一个好的措施。但是,您可以仔细看看,例如,如果第1页上的ID是“description”,而第2页上的标题是ID“description”,这将使刮刀更难操作。此外,我相信有一些方法可以限制某些IP访问您网站的速度?我认为无论标题有多复杂,如果一个人能够通过您的菜单和链接导航或使用google访问内容,您的内容都会被找到。已经证明,保护一个只隐藏可猜测信息的软件不是一个好的措施。但是,您可以仔细看看,例如,如果第1页上的ID是“description”,而第2页上的标题是ID“description”,这将使刮刀更难操作。此外,我相信有一些方法可以限制某些IP访问您网站的速度?我认为无论标题有多复杂,如果一个人能够通过您的菜单和链接导航或使用google访问内容,您的内容都会被找到。已经证明,保护一个只隐藏可猜测信息的软件不是一个好的措施。然而,你可以看看你对组织刮你网站的特别关注是什么?不想谷歌索引你的网站吗?我害怕竞争会影响你