Web crawler 我可以存储一个带有NOINDEX元标记的页面吗？_Web Crawler_Robots.txt_Meta Tags_Noindex

Web crawler 我可以存储一个带有NOINDEX元标记的页面吗？

web-crawler

Web crawler 我可以存储一个带有NOINDEX元标记的页面吗？,web-crawler,robots.txt,meta-tags,noindex,Web Crawler,Robots.txt,Meta Tags,Noindex,我正在做一个Webcrawler，现在我正在尝试跟随robots.txt和metatagsNOINDEX和NOFOLLOW NOFOLLOW要求我不要跟随页面中的链接，而是跟随NOINDEX？我知道不需要在搜索中为页面编制索引，但我不会进行任何搜索，只将页面存储在数据库中如果我将NOINDEX标记存储在数据库中，或者这只适用于搜索，我将不尊重该标记。没有特别的理由不存储它。只要你没有索引它并在搜索结果中返回它。除非您将其作为搜索结果返回，否则您不会不尊重NOINDEX的含义

我正在做一个Webcrawler，现在我正在尝试跟随robots.txt和metatags

NOINDEX

和

NOFOLLOW

NOFOLLOW

要求我不要跟随页面中的链接，而是跟随

NOINDEX

？
我知道不需要在搜索中为页面编制索引，但我不会进行任何搜索，只将页面存储在数据库中

如果我将

NOINDEX

标记存储在数据库中，或者这只适用于搜索，我将不尊重该标记。

没有特别的理由不存储它。只要你没有索引它并在搜索结果中返回它。除非您将其作为搜索结果返回，否则您不会不尊重

NOINDEX

的含义