Screen scraping 保护链接数据库不受自动刮取器影响的好方法是什么?

Screen scraping 保护链接数据库不受自动刮取器影响的好方法是什么?,screen-scraping,data-protection,Screen Scraping,Data Protection,我有一个很大的链接数据库,我想防止其他人复制它们。除了强制人们在每个链接之前输入验证码之外,我还能做什么吗?您可以使用ROT13输出链接,然后使用javascript将其恢复正常。 这样,scraper必须支持javascript才能窃取您的链接,这将减少符合条件的scraper的数量 优点:用更硬的东西替换ROT13,并混淆“解码”javascript。您可以使用ROT13输出链接,然后使用javascript将其恢复正常。 这样,scraper必须支持javascript才能窃取您的链接,这

我有一个很大的链接数据库,我想防止其他人复制它们。除了强制人们在每个链接之前输入验证码之外,我还能做什么吗?

您可以使用ROT13输出链接,然后使用javascript将其恢复正常。 这样,scraper必须支持javascript才能窃取您的链接,这将减少符合条件的scraper的数量


优点:用更硬的东西替换ROT13,并混淆“解码”javascript。

您可以使用ROT13输出链接,然后使用javascript将其恢复正常。 这样,scraper必须支持javascript才能窃取您的链接,这将减少符合条件的scraper的数量


优点:用更难的东西替换ROT13,并混淆“解码”javascript。

javascript建议可能有效,但会使使用屏幕阅读器等辅助技术的人以及没有javascript的人无法访问页面

另一个可能的选择是生成一个。这项技术目前用于防止CSRF攻击,但也可用于确保scraper在访问链接之前必须从您的站点请求页面。如果您支持热链接,这种方法可能不合适,但如果您只是想确保有人先访问您的站点,它可能会起作用

另一个有点贫民区的选择是使用推荐人。这些很容易伪造,但它可能会阻止一些更愚蠢的刮刀。这也要求你在用户访问你的网站之前知道他们来自哪里


在转到受保护的链接之前,您是否可以让我们知道您是否正在进行热链接,或者用户是否访问了您的站点?通过这种方式,我们可能可以提供更好的建议。

javascript建议可能有效,但您会使使用屏幕阅读器等辅助技术的用户以及没有javascript的用户无法访问您的页面

另一个可能的选择是生成一个。这项技术目前用于防止CSRF攻击,但也可用于确保scraper在访问链接之前必须从您的站点请求页面。如果您支持热链接,这种方法可能不合适,但如果您只是想确保有人先访问您的站点,它可能会起作用

另一个有点贫民区的选择是使用推荐人。这些很容易伪造,但它可能会阻止一些更愚蠢的刮刀。这也要求你在用户访问你的网站之前知道他们来自哪里


在转到受保护的链接之前,您是否可以让我们知道您是否正在进行热链接,或者用户是否访问了您的站点?这样我们可能可以提供更好的建议。

用户在访问链接之前总是来自我的网站。用户在访问链接之前总是来自我的网站。当您在几种编码/解码算法之间交替使用时,真正难以破解的是。所以有时候,URL是ROT13,有时候只是base64或者其他什么。不可预测的编码很难识别,而您总是知道您使用的是哪种方法。真正难以破解的是当您在几种编码/解码算法之间交替时。所以有时候,URL是ROT13,有时候只是base64或者其他什么。不可预测的编码很难识别,而您总是知道使用哪种方法。