Php 允许搜索引擎索引文档,但只允许访问付费成员。可能的

Php 允许搜索引擎索引文档,但只允许访问付费成员。可能的,php,seo,web-crawler,document,Php,Seo,Web Crawler,Document,我正在创建一个网站,将有管理员上传文件,只有该网站的付费成员可用。但我真正想要的是,搜索引擎对文档进行爬网或索引,以便它出现在搜索引擎的搜索结果中。文档包括DOC、DOCX和PDF 例如,我有一个文档,其中有这样一段文字:“敏捷的棕色狐狸跳过了懒狗”。现在有人谷歌的“棕色狐狸”。假设我有排名,我希望结果出现在谷歌搜索结果中。当用户单击它时,我希望用户登录到一个页面,而不是文档,其中有一个文本预览,带有一个链接,可以成为查看完整文档的成员 我计划在上传文档时将页面上文档的预览保存到数据库中。因此,

我正在创建一个网站,将有管理员上传文件,只有该网站的付费成员可用。但我真正想要的是,搜索引擎对文档进行爬网或索引,以便它出现在搜索引擎的搜索结果中。文档包括DOC、DOCX和PDF

例如,我有一个文档,其中有这样一段文字:“敏捷的棕色狐狸跳过了懒狗”。现在有人谷歌的“棕色狐狸”。假设我有排名,我希望结果出现在谷歌搜索结果中。当用户单击它时,我希望用户登录到一个页面,而不是文档,其中有一个文本预览,带有一个链接,可以成为查看完整文档的成员

我计划在上传文档时将页面上文档的预览保存到数据库中。因此,它很容易看到和爬行。对于完整文档,我只能考虑允许对完整文档进行爬网。但我认为如果我允许搜索引擎爬行,那么我也将允许用户访问。如果我使用htaccess阻止文档被直接访问,那么我也将关闭爬虫程序

我还考虑过提取所有文档文本并将其放入数据库,但我在某个地方读到,很难区分用户和蜘蛛,使用用户代理是个坏主意,因为它很容易被欺骗

所以我不知道该怎么做。任何帮助都将不胜感激。
提前谢谢你

不,不可能。任何用户都可以通过更改其用户代理来伪装成搜索引擎

您可以执行基于IP地址的限制或基于启发式的检测,但可能会意外地阻止爬虫程序


也许你应该每天给用户一些免费的页面浏览,或者考虑一种不同的货币化方法。

最好的办法是让你的页面的索引,与相关的内容片段一起完成,对公众可见。

不要试图通过向搜索引擎的用户代理提供特定内容来愚弄搜索引擎。用户可以很容易地绕过这一点,即使只是简单地使用搜索引擎功能进行缓存或其他操作。专家交流因此而臭名昭著。这些把戏不值得你花时间


简而言之,诚实对待你的页面。为每个人显示一些内容,如果必须的话,只允许拥有帐户的人查看全部内容。

谢谢!这是我已经计划好的,但现在我对此充满信心。谢谢!自由的视野引起了我的注意。如果用户从搜索引擎进入你的页面,期望在搜索引擎中找到他们想要的内容,那么如果这些内容不再可用,他们肯定不会停留在你的网站上,因为你已经超过了一天分配的页面浏览量。如果必须,请以这种方式保护您的内容,但我认为这对您来说不是一种可行的商业模式。