Javascript 二维码应用。静态URL对蜘蛛有点抵抗力？

我正在实现一个应用程序来创建二维码，该二维码将打印在纸质媒体上。这个应用程序是用Perl编写的，我正在成功地生成代码。（使用btw.铅管紧固件）

二维码将包含一个静态URL。目标扫描仪将是移动设备上的任何二维码阅读器。“服务器”只是任何web服务器。“我的应用程序”生成的代码包含指向服务器上变量目录中的已知类型文件（vCard或vCalendar）的链接：

http://www.server.com/dir[XYZ]

例如

因为要打印二维码，所以URL需要是静态的

我知道

X-Robots-Tag:no index

和放置robot.txt文件。虽然这可能会阻止谷歌，但我不确定其他蜘蛛是否尊重这些标签。垃圾邮件发送者的蜘蛛我无法想象

背景：

此应用程序允许打印材料链接到web上的动态元素。大多数QR阅读器（Android、i-nigma、QRReader等）都能正确处理vCard或vCalendar下载。虽然我可以将vCard或vCalendar的数据直接嵌入二维码，但最好将文件放在web服务器上，并在二维码中包含指向该文件的URL。虽然这些文件不需要安全，但我宁愿它们不是垃圾邮件发送者的奶酪

我知道如果有人键入

http://www.myurl.com/random_string

可以下载那里的数据元素。这不是一个问题。我不希望用户确认或身份验证（除非这是客户端的行为），只要在访问URL并处理URL时将目录中的文件下载到web客户端，前提是客户端知道如何处理它

问题

---

如果我有

http://www.myserver.com/randomXYZ

在互联网上没有指向该URL的其他链接的情况下，蜘蛛是如何发现的？在静态URL中是否有一些Javascript可以实现这一点？有没有一种方法（我目前没有看到）可以让静态URL对爬行器和机器人有一定的抵抗力？

我不能肯定地说，这将保证您的文件不会受到爬行器的影响，但我建议您查看以下网站，其中概述了目录权限的工作方式

可以限制目录权限，以便必须通过服务器端请求（例如（php）include、require）访问文件

---

当然，与任何网站一样，如果有人想从你的网站上得到一些东西，并投入足够的时间，他们会得到它。

我不能肯定这将保证你的文件不会受到蜘蛛的影响，但我建议查看以下网站，其中概述了目录权限的工作原理

可以限制目录权限，以便必须通过服务器端请求（例如（php）include、require）访问文件

---

当然，与任何网站一样，如果有人想从你的网站上得到一些东西，并投入足够的时间，他们会得到它。

你可以在链接中嵌入基本身份验证：

---

您可以在链接中嵌入基本身份验证：