Web crawler 疯狂的网络爬行？

我一直在监控我公司网站上的活动，比如点击什么链接等等。网络爬虫在我们的网站上变得疯狂

我认为这是一个问题，我们应该在我们的产品清单上指定一个跟踪。 像MSN和谷歌机器人这样的爬虫程序从我的数据中产生了大约90%的流量。 大约每2分钟就有200次与网站的互动，即有人查看产品或进入“联系我们”页面。 爬虫们只是不断地蹦蹦跳跳，在“家居装饰”区寻找钓鱼诱饵之类的东西

爬虫们似乎还专注于搜索术语“spin n glow”，我们用钓鱼作为描述性标签。但是它已经搜索了360多万次了

基本上，我在问这正常吗？实际上，平均每秒有2次以上的点击。总是有一个爬虫索引的网页，它很难告诉有多少人在实际查看该网站

--编辑--

这里是我们使用的关键字meta

<meta name="keywords" content="online Fishing gear, discount hunting supplies, camping gear online, hunting gear online, camping accassoires, hunting accessories, fishing accessories, Hunting, marine electronics/products, clothing, cooking, gifts, lures, tackle, live bait, guns, rifles, shotguns, Saginaw Bay, Michigan, Rivers, streams, woods, up north, sonar, rods, reels, waders, fly fishing, accessories, stream fishing, fishing reports, ice fishing, still fishing, walleye, perch, salmon, sonar, VHF radios, speed indicators, mounting systems, marine batteries, GPS, Temperature probes, UHF radios, autopilots, smokers, cooking aides, jerky cure, gas stoves, camping equipment, equipment, cook books, cookbooks, Terry Redlin, Terry Redlin Items, living stone figurines, second nature figurines, collector plates, framed pictures, birdhouses, chimes, Camille Beckman lotion, Big Sky Carvers art, Heritage Decoy, decoys, duck hunting, Spoontique lighthouses, Westland wildlife, sandstone coasters, bedding accessories, Leanin Tree cards, trout vests, fishing jackets, Red Ball, LaCrosse, Kobuk, hip boots, Columbia, Columbia Gnat Creek Jacket, Hodgman, Filson, Masterbuilt, Luhr Jensen, Camp Chef, Shore Lunch, smoking chips, smoking chunks, seasoning, wild game, bullets, ammunition, scopes, buck shot, jigs, line, fishing line" />

算法总是在变化，但如果您提供一些元标记，可能有助于回答问题。点击量似乎有点高，但有时当一个特定的流行项目正在流行时，更多的爬行发生在该主题上。所以“旋转发光”可能是其中之一

您还可以查看访客的IP：如果大多数访客都有一个或多个IP地址，这是一个机器人。否则，看起来他们是真人。

关于您的，它已关闭，但复制错误。它应该作为类似的一个的副本关闭，例如这个。简言之，

split

将regex作为参数，在regex

中，

表示任何字符。要使它简单点文字，您需要转义它。