谷歌什么时候重新抓取一个网站？ 为什么谷歌在缓存中有两个相同页面的版本 缓存页面是：forum.portal.edu.ro/index.php？showtotic=112733&st=25/ forum.portal.edu.ro/index.php？showtopic=112733&st=50关于谷歌的爬网策略有很多讨论。你能做的最好的事情就是检查你的日志，并确定他们对你的站点的日程安排 至于缓存中的多个条目，谷歌无法知道它们不是同一个页面；它们有不同的URL和可能不同的数据。如果要使用特定
所以我给出了第一个页面，宏必须访问这个站点的所有页面。（打开每个页面的新选项卡） 这是我在网上找到的，但这个宏只访问一个起始页中的链接，而不访问深层的第二层 谢谢你的帮助！ //imacros js:showsteps-no //测试论坛帖子http://forum.iopus.com/viewtopic.php?f=11&t=7537&sid=2103c60e70f9c7051dcda5264874a488 //这个想法是阅读页面上的一些共同点，并在新选项卡中打开每个链接。 var宏，ret
我有一个网站，这个网站多次被网络爬虫和机器人访问。我想摆脱它。Plz建议我可能的解决方案，以避免我的网站被机器人访问 提前谢谢 如果你的网站是公共的，你的选择是有限的。以下是一些建议： 最明显的是：密码保护你的网站。对于公共场所来说，这可能不是最实用的方法，但可以保证有效 为您的站点定义robots.txt规则。爬虫没有义务遵守这些规则，但友好的爬虫（希望大多数）通常会遵守robots.txt 如果这些机器人让你恼火是因为它们对你的网站不友好（比如打得太快），那么也可以选择检测和阻止它们的IP
我在用量角器做e2e测试。 我想测试我的网站中的所有链接，看看它们是否损坏。 问题是，我无法使用现有工具，原因有二： 1.我们使用Angular，因此服务器不会真正返回“404”代码，但结果是 2.有一个登录来浏览页面，常规工具不支持它 有人能帮我用量角器吗？ 谢谢。那你有什么问题？如果你需要一个带量角器的kickstart，这里有一些文档：谢谢！回答得很好。说真的，我已经知道量角器了，这不是问题所在。问题是如何为我的网站构建一个蜘蛛爬行器链接测试——检查所有页面和链接并检查响应。可能重复
elasticsearch Stormcrawler慢速，高延迟爬网300个域
elasticsearch Web Crawler
Apache Storm
stormcrawler
大约3个月以来，我一直在努力解决这个问题。爬虫似乎每10分钟获取一次页面，但在这段时间内似乎什么都不做。总的来说，吞吐量非常慢。我正在并行爬行300个域。这将使大约30页/秒的爬行延迟10秒。目前约为每秒2页 拓扑结构在具有 8GB内存 普通硬盘 双核CPU Ubuntu 16.04 Elasticsearch安装在另一台规格相同的机器上 在这里，您可以看到Grafana仪表板中的指标 它们还反映在Storm UI中的进程延迟中： 我目前的Stormcrawler架构是： 喷口： -id:喷口
我正在使用opensearchserver对网站进行爬网。现在我想获取特定url的所有相关url。这个想法是当有人在网站上阅读一篇文章时，他们会在页面底部获得一个相关文章选项。如何使用opensearchserver实现这一点？这可能吗？如果没有，还有其他的网络爬虫可以做这样的事情吗 感谢您的开始，很抱歉这么晚才回复。 为此，您在爬虫程序中有字段映射选项卡，但在您必须配置shema选项卡之前。选项卡名称解析器列表列出了所有可用的解析器。 字段映射，使用它可以填充所有需要的字段。首先，不用担心！第
根据您的经验，您认为以编程方式在中搜索一个术语，然后将结果中的联系人信息刮取到CSV文件中有多困难？使用正确的模块和库，它非常有用！不过，这取决于您的工具，Perl或Python，您已经准备好了。如果你试图用C++做这件事，你可能会有更多的痛苦。 如果您提供更多关于您的情况（语言框架约束）的信息，我可以更具体一些 也有一些法律问题需要考虑，我不确定BOTS的黄页政策。继续之前，请阅读他们的robots.txt。应该给你一些开始学习这些东西的信息 既安全又合法的最好方法就是只使用API，你能只使用
我需要帮助了解如何爬过此页面： 检查每个端口，提取名称和坐标并将其写入文件。 主要类如下所示： import java.io.FileWriter; import edu.uci.ics.crawler4j.crawler.CrawlConfig; import edu.uci.ics.crawler4j.crawler.CrawlController; import edu.uci.ics.crawler4j.fetcher.PageFetcher; import edu.uci.ics.c
我们如何使用通过url而不是robots.txt提供服务的storm crawler中的站点地图 在我的例子中，站点地图被用作扩展名为.xml的url。（我计划爬网的一些站点没有robots.txt）StormCrawler处理站点地图就像处理任何URL一样：您可以将其插入ES（如果您使用的是后端），或者将其作为see URL。SC将获取它并使用sitemap解析器解析它。您可以通过在URL的元数据中添加“isSitemap=true”来帮助后者，这样它就不必检测到它是一个站点地图
我想爬网一个网站，这是必需的访问，以查看网页。我能够抓取访客页面，但如何抓取受登录保护的页面？ 如果有人共享配置或跳过身份验证机制的步骤，使用storm crawler对页面进行爬网，这将是非常棒的 非常感谢。您可以在拓扑的配置中设置以下键及其相应的值 http.basicauth.user http.basicauth.password 请参见on configuration您可以使用请求模块（python）并使用类会话来管理登录会话。
我有一个简单的网络爬虫，可以从一个网站的站点地图请求所有需要缓存和索引的页面。在多次请求之后，网站开始提供空白页面 他们的robots.txt中除了他们网站地图的链接外没有其他内容，所以我认为我没有违反他们的“规则”。我有一个描述性的标题，链接到我的意图，我抓取的唯一页面来自他们的网站地图 http状态代码仍然正常，因此我只能想象它们在短时间内阻止了大量http请求。请求之间的合理延迟量是多少 有没有其他我忽略的因素可能导致这个问题？每个网站都有不同的爬虫和滥用特征 任何爬虫的关键是模仿人类活动
有两种简单的方法可以显著减少爬行您站点的机器人数量： ~这项免费服务将成为网站和用户之间的屏障，这意味着它只允许合法用户访问您的网站 将robots.txt文件放入根目录。这为机器人程序提供了说明。这将阻止许多机器人，但不会阻止伪装成真实用户的机器人（这就是为什么Cloudflare如此强大的原因，因为它可以阻止几乎所有的坏机器人。但是，robots.txt通常就足够了。例如，您是否希望阻止来自您将使用的特定目录的所有机器人： 用户代理：* 禁止：/ 这将阻止所有机器人，包括像谷歌这样的合法机器
有没有办法让Nutch增加频繁更新的页面抓取 例如，索引页面和提要 在页面创建后的第一天更频繁地刷新包含注释的新页面也很有价值。任何提示都将不胜感激 您所需要的是。我写过它是如何工作的。基本上，这个调度程序所做的是逐渐使更改频率更高的页面被访问得越来越频繁。您需要的是。我写过它是如何工作的。基本上，这个调度程序所做的是逐渐使更改频率更高的页面被访问得越来越频繁。谢谢Pascal。这似乎是一个伟大的插件，我期待着去看看。谢谢帕斯卡。这似乎是一个伟大的插件，我期待着去看看。
我们最近看到大量的404错误是由Bing网络爬虫程序创建的。我已经验证了IP实际上是一台Bing机器，但不知道他们为什么要尝试URL。我不想用robots.txt文件告诉他们根本不要抓取我的站点，但同时我不想让他们继续请求不存在的页面。有没有办法告诉Bing从哪里获得特定的URL？我尝试使用[link:www.mywebsite.com/pagename/]搜索谷歌，但没有发现任何让我相信机器人正在做它不应该做的事情，而不是我的网站有一个错误的URL。他们要求什么URL？您不必特别说明，但请描述
我想列出我的web应用程序中出现的所有单词。 我已经看到的地方很少有HTML页面、代码文件、数据库、上传的文档、图像和视频。 请建议我应该去其他什么地方看看，在那里这个词可以出现。 我知道crawler可以用于此任务，但如果有人在过去有相同的经验，请推荐一些好的自动化工具，可以在网站上轻松找到该词。由于文件是本地的，我认为您不需要crawler。你只需要搜索文件 正如我在评论中所说，操作系统本身应该能够找到大多数事件 这个程序应该能够做你想做的事情。它是用Perl编写的，因此可以完全移植到Win
我使用“Abot”版本1.2.3.1，但当我将“Html Agility”版本1.4.6.0添加到project中时，出现以下错误： 错误38程序集'Abot，版本=1.2.3.1，区域性=中性， PublicKeyToken=null“使用”HtmlAgilityPack，版本=1.4.7.0， 区域性=中性，PublicKeyToken=bd319b19eaf3b43a'具有较高的 版本比引用的程序集“HtmlAgilityPack，版本=1.4.6.0， 文化=中性，PublicKeyTo
elasticsearch Nutch：如何向ElasticSearch提供其他字段？
elasticsearch Web Crawler
nutch
我正在使用Nutch1.13和ES2.4.5来抓取一个特定的网站，并构建一个Google站点搜索的替代品。我对此非常陌生，因此我与默认安装/configs/等没有太大的偏离。我猜，在一天结束时，我的ES索引中有一组标准字段： _index, _type, _id, url, title, content 还有其他一些。只有url、title和content对我有用-我只需要对我的网站进行全文搜索。但是，我希望ES中包含更多字段。例如，content-length或mime-type等-我认为N
我如何获得一些证券的实时价值，比如股票或外汇？它最好至少和秒值一样精确。我想尝试开发一个自主的金融项目，通过股票或外汇投资为我赚钱。但我不知道从哪里获取实时数据 特别是，我需要关于某种股票或外汇的以下数据： 值历史记录，至少每秒。（培训课程。） 实时值，至少每秒。（操作） 我建议使用Alphavantage，它也是免费的 请检查此问题，与您的问题相同： 但它们的数据是作为实时值提供的，但我需要以秒为单位测量的值。
elasticsearch 如何从elasticsearch中筛选stromcrawler数据
elasticsearch Web Crawler
Apache Storm
stormcrawler
我正在使用ApacheStorm 1.2.3和elasticsearch 7.5.0。我已经成功地从3k新闻网站中提取数据，并在Grafana和kibana上可视化。我在内容上收到了很多垃圾（像广告），我附上了很多内容。谁能建议我如何过滤它们。我正在考虑将ES中的html内容提供给一些python包。我是否走上了正确的道路？如果没有，请向我推荐好的解决方案。 提前谢谢 这是crawler-conf.yaml文件 config: 工作人员：1名 topology.message.timeout.
大家好！我要写的网站爬虫，它从根地址开始，然后抓取每个找到的链接，只有内部链接。所以我面对这个问题： 爬虫程序必须从根开始，然后它应该解析网页根页面，然后获取所有链接。在获取链接时，它不应该对同一页面进行两次爬网。伙计们，有什么好的数据结构吗？或者我需要使用SQL或其他索引数据结构吗？您可能正在寻找的数据结构是 不过，对于爬虫程序，不需要它，因为从根开始，您可以维护一个已访问URL的列表，并且每次您要跟踪链接时，都要检查以前是否遇到过该链接。如果没有遇到，则将其添加到列表中，并遵循它 它不一定是
我正在开发一个可以抓取数千万网页的系统，该系统将继续运行。 我宁愿不要从头开始开发爬虫 哪些开源网络爬虫符合以下标准： 可定制 高度可扩展 轻松抓取ajax网站 聪明地爬行 遵守礼貌 如果我遗漏了任何标准，请评估您认为重要的其他标准 我有以下开源爬虫的列表。他们是否具备上述特征 发痒的 机械化 坚果 赫里特里克斯 亚麻 httrack 蜘蛛侠 Searcharoo 我已经和nutch合作了一段时间了，它似乎非常符合这个标准。插件系统允许你抓取新材料，并易于部署。有一件事我很难让它使用多个代理
我正在寻找一些关于实现BrowserState历史的最佳方法的意见 目前情况下，我的电子商务网站目前正在使用的url哈希驱动。每当用户更改结果时，页面将向url添加一些哈希值并重新加载结果。例如： /products/ click button -> /products/#button=1 click sort -> /products/#button=1&sort=4 click category -> /products/#button=1&sort=4&
我很难弄清楚Scrapy是如何工作的（或者我需要如何使用它）。 这个问题有点宽泛——需要更多的理解 我设置了一个爬行器并输入了6个起始URL。 从这些（每个起始URL上有24个条目）中，我预计数据库中会有大约144行，但我现在只有18行 所以我用 def parse_start_url(self, response): 为了避免目前规则的复杂化。 现在，Scrapy应该获取这6个URL并对它们进行爬网，然后处理这些页面上的项目。 但是相反，它似乎是先获取这6个URL，然后检查这些页面上的每个链
我正在尝试运行一个简单的scraper脚本，并收到以下错误ModuleNotFoundError:没有名为'bs4'的模块，但我确实在我的python3库中安装了它。为什么我仍然看到这个错误？请阅读和。我想知道这是否也发生在其他人身上。顺便说一句，我已经安装了Paython2.7和3.5。我也在这两个平台上安装了bs4。
我很抱歉我的英语不好。但我真的很想解决这个问题 soup.find（'div'，{“class”：“ujudUb”}） 当你这样做时，它还包括图片中的“ujudUb WRZytc oulbybyby” 为什么会这样 有解决办法吗
我想点击我的内部网站上的每一页，看看是否有人仅仅通过查看它们就抛出了一个错误。该网站有自己的错误日志，所以我只需要一些东西来跟踪链接 我正在运行Windows XP和IIS。wget--spider wget --spider <URL> 编辑-刚刚注意到你说的windows： wget--spider 编辑-刚刚注意到你说的windows： 试试IIS SEO工具包。检查你的网站搜索引擎优化相关的问题，其中包括断开的链接 试试IIS SEO工具包。检查你的网站搜索引擎优化相关
我要在网站上搜索一些信息。大约有17万多页。那么，我可以提出多少要求？我将提取til HTML并获取一些信息。这是一个已经非常流行的网站，所以我不认为它会死，如果只是快速浏览所有页面。。。唯一让我感到紧张的是，我不知道如果你这样做的话，所有者是否会阻止我的IP或其他什么？这正常吗？我应该每分钟加载5页吗？那就要永远。。。我想每24小时获取一次新数据，请参见 谢谢大家的回复 在每次请求后延迟一秒或两秒就足够了。让你的机器人尽可能快地爬行实际上可能会让你被禁止。在我的日常工作中，我为几家报纸管理网站
我已经实现了一个单一的登录功能，它将用户重定向到另一个域，然后再返回。当然，我不希望搜索引擎（我们至少关心的那些）被重定向，那么什么是可接受的解决方案呢 这是我在PHP中找到的一个 $agent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($agent, "bot") || strpos($agent, "slurp") || strpos($agent, "crawl") || strpos($agent,
elasticsearch Nutch 2.2.1和Elasticsearch 0.90.11无此字段错误：停止字集
elasticsearch Web Crawler
nutch
我正在尝试将ApacheNutch2.2.1与ElasticSearch0.90.11集成 我已经学习了所有可用的教程（虽然没有那么多），甚至将bin/crawl.sh改为使用elasticsearch来索引而不是solr。 当我运行脚本直到elasticsearch尝试索引已爬网的数据时，似乎一切都正常 我检查了nutch下logs文件夹中的hadoop.log，发现以下错误： 注入构造函数时出错，java.lang.NoSuchFieldError:STOP\u WORDS\u SET 注入
web爬网的新功能：） 我要flipkart的手机列表。我使用的url是 我唯一想知道的是每部手机的名字。该div的类是“\u3wu53n” 以下是返回空列表的代码： import requests from bs4 import BeautifulSoup url = "https://www.flipkart.com/mobiles/pr?sid=tyy,4io&otracker=categorytree" source = requests.get(url) soup = Be
当使用Stormcrawler时，它是索引到Elasticsearch，而不是内容 Stormcrawler是最新的“源/主” 使用elasticsearch-5.6.4 crawler-conf.yaml具有 indexer.url.fieldname:“url” index.text.fieldname：“内容” indexer.canonical.name:“canonical” url和标题字段已编制索引，但内容未编制索引 我试图通过以下Julien的教程来实现这一点： 除了内容没有被
Storm Crawler是否计划支持ApacheStorm 2.x.x？我已经在使用Storm Crawler的系统上工作过，但我必须将Apache Storm版本更新到2.1.0请参阅和最近基于Apache Storm 2.1.0的版本
我习惯于创建一些爬虫来编译信息，当我来到一个网站时，我需要这些信息，我开始为该网站创建一个新的爬虫，大多数时候使用shell脚本，有时使用PHP 我的方法是使用一个简单的for来迭代页面列表，一个wget下载它并sed，tr，awk或其他实用程序来清理页面并获取我需要的特定信息 所有过程都需要一些时间，具体取决于站点，下载所有页面需要更多时间。我经常进入一个AJAX站点，这会使一切变得复杂 我想知道是否有更好的方法，更快的方法，甚至一些应用程序或语言来帮助这项工作。使用正则表达式解析内容是一个坏
我想在网页上搜索某些关键字和关键短语，并将它们的存在作为继续解析网页和提取内容字段的条件。有人能提出解决办法吗 一般来说，我认为代码应该是这样的： # All the preceding information for the spider (imports, class declarations, rules etc.). if response.xpath('//*[contains(/text(), "some keyword" or "some key phrase" or "som
我有一个小项目，我正在尝试使用crawler4j4.1对几百万页进行爬网（我对这个数字没有确切的估计）。我使用的是BasicCrawler示例，只是对它做了一些小的修改。 在我开始爬行Crawler4J日志后的一段时间，显示以下错误不断出现 [Crawler 1] ERROR edu.uci.ics.crawler4j.crawler.WebCrawler - null, while processing: http://www.somelink.com. 我曾尝试将礼貌策略时间提高到1000
我是否可以发送结果而不是存储在JSON文件中，将其发送到PHP 我有这两个文件 settings.json { "outputFile" : "C:\\wamp\\www\\drestip\\admin\\crawls\\mimshoes.json", "logFile" : "C:\\wamp\\www\\drestip\\admin\\crawls\\mimshoes.tsv", "pause" : 1, "local" : false, "connections" : 3, "cookie
我希望抓取整个网站，并保存它在本地脱机。它应该有两个部分： 认证 这需要使用Java实现，我需要重写HttpsURLConnection逻辑来添加两行身份验证（Hadoop），以便获取url响应（keytab）。如下所示： AuthenticatedURL.Token token = new AuthenticatedURL.Token(); URL ur = new URL(url); //HttpsURLConnection.setDefaultHostnameV
当用户进入我的页面时，我必须进行另一个AJAX调用…以在div中加载数据。 这就是我的应用程序的工作原理 问题是…当我查看此代码的源代码时，它不包含该AJAX的源代码。当然，当我使用wget URL时，它也不会显示ajaxhtml。有道理 但是谷歌呢？谷歌能像浏览器一样抓取内容吗？如何让谷歌像用户看到的那样抓取我的页面？更新：从我找到的这个文档的答案来看，它是关于的文档集合的一部分 简言之，这意味着您需要使用而不是，然后为URL路径/to/path？\u转义\u片段=data提供真正的服务器端答
我正在处理由Heritrix爬网生成的ARC文件。当我在Wayback机器中查看这些页面时，看起来大部分图形都是从本地机器加载的，因此我假设这些图形存储在ARC文件中。对吗？如果是这样，提取图像的最佳方法是什么？我找到了一个解决方案，一个名为arc_extractor的perl脚本： 它提取ARC文件中的所有文件，并根据接收文件的站点按文件夹分隔。是的，它确实包括图像文件 剧本不太优雅。。。因此，如果有人有任何其他建议，我会有兴趣了解他们
我正在尝试编写一个网络爬虫程序，但现在我想知道：存储所有URL的最佳方法是什么，这样爬虫程序就可以一起工作，但不会相互干扰 例如： 爬虫程序1找到一个包含100个URL的页面 爬虫程序2查找没有任何URL的页面 爬虫程序1和2应共享爬虫程序1找到的100个URL 我的想法（两种不同的方法） 让爬虫程序扫描页面以查找新的URL 将所有找到的URL保存在队列（优先队列）中，该队列由爬虫程序的所有实例共享 一旦队列变得太大（例如，最大大小的80%），就将URL外包到数据库 让爬虫保存HTML，
有一个非常著名的论坛，我想实时获得最新的帖子，并将其发布在我的博客上。该论坛没有API 我正在考虑每5秒钟向论坛发送一次请求，检查是否有新帖子并复制 但是每天我都要发送7200个请求，这很糟糕，不是吗 请问有什么方法/建议吗？简单方法RSS怎么样？thanx。我在谷歌上搜索RSSthanx Robin。当我尝试feed43时，它返回了论坛51个帖子的列表。然而，我只想要最新的（51）。你知道我怎样才能得到最新的消息吗？所有帖子格式之间没有模式差异，所以我无法获取最新的。谢谢，最后，我决定使用解析
我想从网站上提取数据。比如说，URL是。所以我把这个URL放在start\uURL（参考文档中的示例）。但我还想创建一个GUI，当我输入一个字符串并单击一个按钮时，它会将该字符串附加到start\u URL并提取所有可以这样访问的页面。那么，你能告诉我如何使用循环来实现这一点吗？我尝试过手动在start\u url中添加更多的URL，以检查它是否有效，但没有很好的响应。有时它没有得到回应。有什么想法吗？如何使用循环来实现这一点 朋友，那将是一个循环。说真的，我会考虑研究现有的开源脚本和应用程序。
我刚写完一个爬虫程序，一直在想为什么在某个网站上爬行是不好的。我知道现代浏览器的风险主要来自javascript。所以我的问题是，一个网络爬虫（用PHP或Java编写）能不能刮到一个可能会对爬虫造成损害的网站？这确实取决于你的网络爬虫做什么。如果你的爬虫只是从HTML中抓取文本，那么在大多数情况下你都很好。当然，这假设您在存储/显示数据之前正在清理数据。如果这就是你正在做的，那么我能想到的唯一真正的痛苦就是当你在跟踪链接时，有人误导了你的爬虫。根据您提供的用户代理，他们基本上可以将您的爬虫定位并
如果我将StormCrawler的ContentParseFilter设置为 "pattern": "//DIV[@id=\"site-body\"]", 这是否意味着在处理每个url时，这是它查找其他页面链接的唯一位置？我想知道我是否设置了它是否会开始忽略菜单中的所有URL等等 谢谢！ 吉姆见 ContentFilter允许将文档的文本限制为Xpath表达式包含的文本 它根本不影响链接的提取，而是旨在改进索引的文本
我正在尝试使用递归wget来抓取一个中等大小的几千页的域。我在Ubuntu linux 13.10上使用以下命令： wget -r --random-wait -D example.com http://www.example.com 一些页面可以正常运行，但之后wget会尝试下载一系列URL格式不正确的页面。当我查看某些页面的源代码时，我会看到相关链接，例如： <a href="
 displayPage.aspx?arg1=val
我正在从事一个网络爬网项目，通过Rapidminer 5/6中的文本挖掘来分析各种众筹网站的项目。我已经建立了一个工作的文本分析器，但我被困在网页爬行部分。问题是网络爬虫确实会爬过请求的站点，但不会存储它们。我试过尝试页面大小、深度等，但程序还是跳过了这些站点。可能是我的存储规则有问题。当尝试爬过Kickstarter的网站时，它们看起来如下所示： 跟随匹配的URL： https://www\.kickstarter\.com\/projects.+ http://www\.kickstart
我正在尝试使用开源crawler4j对mystore411.com上的网站进行爬网 爬虫程序在一段有限的时间内（比如20-30秒）工作正常，然后网站在我再次爬网之前禁止我的地址几分钟。我想不出一个可能的解决办法 我浏览了它的robots.txt，下面是我从中得到的： User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /js/ Disallow: /css/ Disallow: /images/ User-a
elasticsearch 某些网站的元标记没有索引
elasticsearch Web Crawler
nutch
我正在使用Nutch抓取一些网站，并通过自定义插件（myplugin）将数据索引到弹性搜索 我需要的信息存储在元标签从爬网网站。为了实现这一点，我在nutch-site.xml中添加了如下属性： <property> <name>plugin.includes</name> <value>protocol-httpclient|myplugin|urlfilter-regex|parse-(tika|html|js|css|meta
是否可以在Apify商店中更改现成模板（如Tripadvisor爬虫）中的顶级域？目标不仅是获得英语评论，还包括德语、法语等评论。如何在不编写新爬虫的情况下调整脚本 如果你想使用商店里现成的演员，你完全掌握在演员作者的手中。尽管我们正试图为输入创建一个类似的模板，但每个参与者的工作方式都有点不同 一些公共参与者允许您传递整个URL，以便您可以在那里更改tld。有些允许您直接在输入中选择国家/地区 如果其中任何一个在输入中不可用，通常最好在actor的Github源页面上创建一个问题，以便作者实现
我自己也在使用instagram爬虫，在无限滚动的算法中使用post请求， 使用 这是我的x-instagram-gis标题，你们很多人可能已经知道了 但自2019年5月16日起，rhx_gis值不再绑定到_sharedData，因此我无法使用爬虫程序 我一直在寻找随响应而来的所有脚本中的rhx_gis，但除了一个丑陋的函数外，什么都看不到 是否有人找到了获取gis值的方法或新的x-instagram-gis哈希算法？您可以从md5中跳过rhxGis，它会起作用我从未想过这会起作用，它确实起作用