Google chrome 网站爬行：邮递员和浏览器的响应不同

我想爬网这个网站。在那里，该公司将所有燃油附加费计入发票金额。我需要这些信息来正确计算一些成本。不幸的是，UPS目前不愿意定期向我发送可读格式的数据。因此，我想爬上网站，自己获取信息

不幸的是，当使用postman或我的爬行工具rcrawler时，对站点的GET请求隐藏了数据表。我怎样才能骗网站像使用chrome浏览器一样返回所有数据

例如，标准的tier costs表在postman中如下所示（仅包含列的标题，但不包含值）：

标准服务Treibstoffzuschlag镀金fü；R
所有UPS标准电源。DieÄ；恩德伦根酒店
奥夫登nä；格伦登·祖施拉吉斯十分酒店
蒙塔格·杰德·沃克斯·维尔卡姆和巴塞伦酒店
总指挥部
欧罗巴ä；伊斯琴特派团（ECDG）festgesetzten
逐字逐句fü；r柴油机，
埃因斯莱斯里奇·德尔兹和乌姆；斯泰恩·茨韦尔酒店
沃沃辛。德祖施拉格fü；r die Woche vom 6。
2017年2月巴西柴油公司
fü；r die Woche vom 23。2017年1月。
Wö；陈德礼·阿库阿利西耶伦根·沃登·冯·德
欧洲和澳大利亚能源总指令；伊森
公明团（ECDG）fü；r Energie and Verkehr im
Ö；勒贝里希特河和乌姆勒河；芬特里希特

特雷布斯托夫·祖施拉格（Der Treibstoffzuschlag fü）；罗登酒店
标准服务基础设施
folgenden Tabelle：

柴油树
（1.000升欧元）
民宿

阿伯·韦尼格尔

祖施拉格

死Hö；他是一个很好的老师
沃赫赫亨德银行和uuml；ndigungä；安德伦。温德尔
Treibstoffzuschlagü；ber 14,50%的安史泰格订单
zuÄ；在格伦兹韦特河上，你会死吗
obenstehendeÜ；贝西切特·阿库阿利谢。无稽之谈
这是一个很好的例子
奥本施泰亨酒店
Ü；阿克图伦奥本酒店
verö；安提尔植物苔藓
Treibstoffzuschlages fü；费斯格尔滕酒店
Zeiträ；ume-ber和uuml；cksichtigt

---

将此结果与浏览器结果进行比较可以看出问题所在。

您只是天真地下载了网站源代码

如果在浏览器中打开“开发人员工具”（通常为F12）并打开“网络”选项卡，然后重新加载页面，则会看到所有请求

您将注意到几个javascript文件，在该列表的某个地方，您还将看到一个名为

de.json

的文件。如果查看该请求的响应表单，您将看到所有速率都显示为json

其中一个javascript文件解析此数据，并在浏览器中的表中显示此数据。邮递员没有javascript解释器；实际上，它是这样的，但它的用途与web浏览器不同。因此，请求整个页面将不会显示此数据

---

然而，如果你得到了，你就会得到你想要的数据。

你只是天真地下载了网站源代码

如果在浏览器中打开“开发人员工具”（通常为F12）并打开“网络”选项卡，然后重新加载页面，则会看到所有请求

您将注意到几个javascript文件，在该列表的某个地方，您还将看到一个名为

de.json

的文件。如果查看该请求的响应表单，您将看到所有速率都显示为json

其中一个javascript文件解析此数据，并在浏览器中的表中显示此数据。邮递员没有javascript解释器；实际上，它是这样的，但它的用途与web浏览器不同。因此，请求整个页面将不会显示此数据

---

但是，如果您得到了，您将得到您想要的数据。

在我的机器上工作。你想在《邮递员》中找到的网址是什么？仅供参考：未经允许擅自删除他人的数据是被列入黑名单的好方法。听到这个很有趣。我使用的是问题中引用的确切URL。例如，在标准层燃料附加费表中，您看到的是真实值，而不仅仅是列标题？在我的机器上工作。你想在《邮递员》中找到的网址是什么？仅供参考：未经允许擅自删除他人的数据是被列入黑名单的好方法。听到这个很有趣。我使用的是问题中引用的确切URL。例如，在标准层燃料附加费表中，您看到的是真实值，而不仅仅是列标题？