如何使用python twitter下载熊猫数据框中url的内容?
我有这样一个xml:如何使用python twitter下载熊猫数据框中url的内容?,python,pandas,lxml,python-requests,python-twitter,Python,Pandas,Lxml,Python Requests,Python Twitter,我有这样一个xml: <author ="twitter" lang="english" type="xx" age_misc="xx" url="https://twitter.com/Carmen_RRHH"> <documents count="436"> <document id="106259332342342348513" url="https://twitter.com/Carmen_RRHH/status/1062593382
<author ="twitter" lang="english" type="xx" age_misc="xx" url="https://twitter.com/Carmen_RRHH">
<documents count="436">
<document id="106259332342342348513" url="https://twitter.com/Carmen_RRHH/status/106259338234048513"> </document>
<document id="232342342342323423" url="https://twitter.com/Carmen_RRHH/status/106260629999992832"> </document>
<document id="107084815504908291" url="https://twitter.com/Carmen_RRHH/status/107084815504908291"> </document>
<document id="108611036164276224" url="https://twitter.com/Carmen_RRHH/status/108611036164276224"> </document>
<document id="23423423423423" url="https://twitter.com/Carmen_RRHH/status/108611275851956224"> </document>
<document id="109283650823423480806912" url="https://twitter.com/Carmen_RRHH/status/109283650880806912"> </document>
<document id="10951489623423290488320" url="https://twitter.com/Carmen_RRHH/status/109514896290488320"> </document>
<document id="1095159513234234355080704" url="https://twitter.com/Carmen_RRHH/status/109515951355080704"> </document>
<document id="96252622234239511966720" url="https://twitter.com/Carmen_RRHH/status/96252629511966720"> </document>
</documents>
</author>
是否有可能获取此链接的内容并将其放入熊猫数据帧?您知道如何执行此任务吗?。提前感谢。您可以访问python,这是一个不错的选择:
import requests
r = requests.get("https://twitter.com/Carmen_RRHH/status/106259338234048513")
r.contents # the html
然而,要将它们放入熊猫数据框架中,需要对这些内容进行结构化(如表),通常不会
我建议查看推特api或现有的推特客户端(用于python),例如,这样你可以干净地提取你想要的功能(到列),而不是从html中咀嚼它们。谢谢你的反馈。我想到的另一件事是,我想放弃几个URL,我如何才能避免推特禁令?。你认为这可能吗(被twitter禁止)@newWithPython我认为这取决于你下载IIRC的数量限制相对较高,因为这方面最好作为一个单独的问题来回答-这会让更多人关注它。非常感谢,我将更新此状态并问另一个问题。