Coldfusion 使用cfhttp从bitly url检索页面内容时出错

我使用cfhttp（Lucee服务器）以以下方式从url中刮取页面内容：

<cfhttp url="#libs.originalAdPage#" method="GET" />

然后，我将此内容放在页面上的一个div中

这段代码已经运行了很长时间

我有一个需要报告的url的，已经刮了他们的内容，并将信息放在另一个网站的形式，是不是在我的控制。我决定将url转换为缩短的bitly url。我在页面中构建了创建一个bitly链接并返回该url以替换现有url的过程

如果我使用linkedin中带有缩短url的页面，该页面将被刮取并正确显示在div中

<cfhttp url="http://bit.ly/1NPhPgc" method="GET" />

但是，如果我对一个与bitly URL短接的decision.com页面执行相同的cfhttp调用，我会得到一个连接失败错误

<cfhttp url="http://bit.ly/1RQvlim" method="GET" />[![cfdump of connection failure][1]][1]

[！[cfdump of connection failure][1]][1]

如果我直接在浏览器中打开此URL，页面将正确显示

任何想法都将不胜感激

谢谢

---

Michael

我没有访问Lucee服务器进行测试的权限，但是ColdFusion服务器上的cfhttp对于这两个bitly URL都很好。cfhttp遵循重定向，FileContent如预期的那样包含deploye.com页面

如果您阻止cfhttp自动跟踪重定向，以便您可以手动调试和跟踪重定向，那么您是否验证了Bitly True URL会发生什么情况？即

<cftry>
    <cfhttp url="http://bit.ly/1RQvlim" method="GET" redirect="no" />
    <cfdump var="#cfhttp.responseHeader#" />
    <cfhttp url="#cfhttp.responseHeader.Location#" method="GET" />
    <cfdump var="#cfhttp#" label="cfhttp2" />
<cfcatch>
    <cfdump var="#cfcatch#" label="cfcatch" />
</cfcatch>
</cftry>

事实上，网站的确关注爬虫和用户代理——只要看看他们的网站就知道了

如果Lucee的cfhttp实现或您的IP地址有特定内容（例如，由于所有的刮擦而被列入黑名单），您是否可以访问其他服务器进行测试

---

您是否尝试过按照

调整cfhttp useragent和/或任何其他头文件？我使用cfhttp调用周围的cftry/cfcatch测试了您的代码，它对所有URL都有效。我唯一的解释是，在没有重定向的情况下运行代码，然后引入文件内容会占用额外的时间。我很高兴。谢夫，非常感谢你