Fatal编程技术网
  • javascript/
  • 如何在python BeautifulSoup或任何其他模块中获得javascript输出

如何在python BeautifulSoup或任何其他模块中获得javascript输出

javascript python html web-scraping

如何在python BeautifulSoup或任何其他模块中获得javascript输出,javascript,python,html,web-scraping,beautifulsoup,Javascript,Python,Html,Web Scraping,Beautifulsoup,在我尝试制作一个scraper的过程中，我发现一个网站的代码中使用了很多javascript，是否可以检索脚本的输出，例如 <html> <head> <title>Python</title> </head> <body> <script type="text/javascript" src='test.js'></script> <p> some stuff <br> mo

在我尝试制作一个scraper的过程中，我发现一个网站的代码中使用了很多javascript，是否可以检索脚本的输出，例如

<html>
<head>
<title>Python</title>
</head>
<body>
<script type="text/javascript" src='test.js'></script>
<p> some stuff <br>
more stuff <br>
code <br>
video <br>
picture <br>
movie <br>
. <br>
. <br>
. <br>
</p>
<span>Your Number is:  </span>
<script type="text/javascript">document.write(math(5, 10, 15));</script>
</body>
</html>
当我使用BeautifulSoup时，它会显示代码本身，即：

<script type="text/javascript">document.write(math(5, 10, 15));</script>

document.write（数学（5,10,15））；
但是我需要得到“您的号码是：8437480”，我可以通过使用soup.span.get_text（）获得span之间的文本，但是我无法获得脚本的号码。

Beautifulsoup无法执行javascript代码。我建议您将类似的内容集成到刮板中。如果你可以放弃python，你可以在PhantomJS中scraper，关键是使用python，难道没有一个模块可以在python中执行javascript吗，因为函数来自源代码之外，（我知道如何在代码中包含它，但这将是一件痛苦的事情）编辑：没关系，我找到了一个叫做Ghost.py的东西，我会进一步调查的。 
<script type="text/javascript">document.write(math(5, 10, 15));</script>