.net core 允许在.Net Core Prerender.io中使用脚本标记

.net core 允许在.Net Core Prerender.io中使用脚本标记,.net-core,web-crawler,asp.net-core-2.1,googlebot,prerender,.net Core,Web Crawler,Asp.net Core 2.1,Googlebot,Prerender,我正在运行.Net核心中间件和AngularJS前端。在我的主页上,我有google analytics脚本标签,以及与第三方提供商验证所需的其他脚本标签。Prerender.io默认情况下会删除这些内容,但是,有一个插件“removeScriptTags”。有没有人有使用.Net核心中间件关闭此功能的经验 更好的解决方案可能是将不希望看到缓存内容的爬虫列入黑名单,尽管我不确定这是否可配置。在我的例子中,下面的所有用户代理似乎都在访问Prerender.io缓存的内容 这里是我的“crawle

我正在运行.Net核心中间件和AngularJS前端。在我的主页上,我有google analytics脚本标签,以及与第三方提供商验证所需的其他脚本标签。Prerender.io默认情况下会删除这些内容,但是,有一个插件“removeScriptTags”。有没有人有使用.Net核心中间件关闭此功能的经验

更好的解决方案可能是将不希望看到缓存内容的爬虫列入黑名单,尽管我不确定这是否可配置。在我的例子中,下面的所有用户代理似乎都在访问Prerender.io缓存的内容

这里是我的“crawlerUserAgentPattern”,它是应该允许访问缓存内容的爬虫程序。我在这个列表上没有看到上面的内容,所以我不明白为什么允许他们访问


(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)谷歌(谷歌)第124;(谷歌)第124;(谷歌)第124;(谷歌)第124;(谷歌)根据根据根据根据根据根据根据根据根据根据(北京市)第124;(市)日)第(市)的(市)第124;(市)的(市)方方)波(市)的(市)的(市)第124;(市)的(市)日)第124;(市)日)除除除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了除了(市)之外之外,(市)之外,(市)之外,(市)之外,(日)之外,(市)之外,(市)外)之外,(市)之外,(市)第124;(日)除除除除除(日)之外(日(日)之外,(日)之外,(日(WhatsApp)|(flipboard)|(tumblr)|(bitlybot)|(Discordbot)|

看起来您的正则表达式中有
(谷歌)
。你已经有了
googlebot
,所以如果你不想匹配任何只包含“google”一词的用户代理,我建议你删除
(google)