Web crawler 在隐藏内容时，爬虫是否对私有页面进行索引？

我有一整本包含丰富关键词的原创材料的电子书，我想把它们添加到我的网站上，以帮助提高搜索引擎的排名。问题是，我不希望任何人能够查看这些页面，但我仍然希望搜索引擎能够抓取它们。这是必要的，因为电子书内容是专有的

如果有人在搜索引擎中输入在我的某个页面上找到的特定文本字符串，我不希望谷歌将该页面显示为搜索结果，但可能会提供指向该页面的链接，在该页面上，只能通过登录和购买电子书页面来解锁

我一直在查看Prerender.io，看看是否有可能在爬虫请求时呈现一个拼字版本。在发送到实际的电子书内容页之前，我不确定Express.js中间件中的身份验证过程将如何进行。我认为服务器可以根据用户或爬虫是否请求电子书页面给出不同版本的页面。 但这有可能吗？或者对于我想要实现的目标有什么建议或不同的设计

---

谢谢。

恐怕答案是：不要这样做，甚至不要尝试

谷歌花了20年的大部分时间来确保人们不能愚弄他们的爬虫程序，你不可能通过一些服务器设置来欺骗他们。试图向爬虫提供不同于普通用户的内容充其量是行不通的，更糟糕的是将你的网站标记为可疑，并直接损害你的搜索引擎优化

如果你想充分利用你的内容，那么一定要有公开的摘录、摘要和评论。如果用户打算购买这些产品，他们无论如何都希望看到这些东西，这些东西对搜索引擎优化非常有用，但不要试图让谷歌索引成为通常在付费墙后面的东西