Search engine 搜索引擎能否找到并抓取带有网站的专用IP地址?

Search engine 搜索引擎能否找到并抓取带有网站的专用IP地址?,search-engine,web-crawler,Search Engine,Web Crawler,我有副总裁。我已经在该IP地址上安装了Drupal。没有为我的网站注册的URL。IP地址上的站点仅供个人参考 如果没有传统的URL,我的IP地址能被索引并在搜索引擎上找到吗?它会被爬网吗 我在另一个VPS平台上也没有其他域名指向它的A记录。据我所知,我是唯一一个知道这个IP地址的人,甚至去那里添加或引用内容 如果没有传统的URL,我的IP地址能被索引并在搜索引擎上找到吗 是的,如果你能在外部找到它,那么搜索引擎也能。如果您不想将其编入索引,请添加一个“robots.txt”,请求不编入索引的站点

我有副总裁。我已经在该IP地址上安装了Drupal。没有为我的网站注册的URL。IP地址上的站点仅供个人参考

如果没有传统的URL,我的IP地址能被索引并在搜索引擎上找到吗?它会被爬网吗

我在另一个VPS平台上也没有其他域名指向它的A记录。据我所知,我是唯一一个知道这个IP地址的人,甚至去那里添加或引用内容

如果没有传统的URL,我的IP地址能被索引并在搜索引擎上找到吗

是的,如果你能在外部找到它,那么搜索引擎也能。如果您不想将其编入索引,请添加一个“robots.txt”,请求不编入索引的站点。请记住,爬虫不必尊重这一点,但主要的爬虫会尊重这一点

至于搜索引擎如何发现其他地方没有索引的IP地址,这可能是他们的“秘密酱”的一部分,我们永远不会知道。也许你的IP以前已经被使用过,而且它以前也在该上下文中被索引过;如果是这样的话,一个搜索引擎可能会期待那个旧网站,但很乐意为你的新网站建立索引

或者,可能同一个netblock中的其他IP地址正在使用中,搜索引擎会“快速尝试”您的IP地址,看看它是否在端口80(http)或443(https)上响应。如果他们这样做,它将被添加到他们的索引中(或者如果robots.txt请求,则不爬网列表)


如果您特别不希望搜索引擎看到您的内容,可以将默认主页设置为空白,并将Drupal安装放在子目录中。搜索引擎除了一个空白的主页之外将没有任何索引。

我知道有三种方法可以让搜索引擎了解网站的存在

  • 你直接向他们提交域名
  • 其他人链接到该域
  • 搜索引擎监视所有域名注册(谷歌可以轻松做到这一点,因为他们自己运行DNS),并尝试使用标准前缀(如www)
  • 似乎没有一种自动发现包含内容的IP地址的方法,除非有人链接到它


    如果它纯粹用于个人参考,并且您希望确保没有其他人可以访问它,那么无论如何您都应该实现安全性。不要只依赖于没有人知道IP。

    如果是VPS,它很可能会有a记录,比如
    VPS-9999.newyork.yourprovider.com
    可能是webmasters.stackexchange.com?这个问题似乎离题了,因为它是关于SEOYou的,你最好在网站上问这个问题。这个网站是关于编程的,而你的不是关于编程的问题。您可以使用您在此处使用的相同帐户在此处登录。