Jquery 刮痕:装载';准备好了';DOM而不是源

Jquery 刮痕:装载';准备好了';DOM而不是源,jquery,dom,scrapy,Jquery,Dom,Scrapy,页面源 <html> <title>Example Web</title> <script> $(document).ready(function(){ document.getElementById('output').value = "Hi There"" } ) </script> <body> <div id='output'></div> </body> </

页面源

<html>
<title>Example Web</title>
<script>

$(document).ready(function(){
    document.getElementById('output').value = "Hi There""
}
)

</script>

<body>
<div id='output'></div>
</body>
</html>

示例网站
$(文档).ready(函数(){
document.getElementById('output').value=“你好”
}
)
正如预期的那样,加载时页面Dom将为:

<html>
<title>Example Web</title>
<script>

$(document).ready(function(){
    document.getElementById('output').value = "Hi There"
}
)

</script>

<body>
<div id='output'>Hi There</div>
</body>
</html>

示例网站
$(文档).ready(函数(){
document.getElementById('output').value=“你好”
}
)
你好

似乎在使用Scrapy对网站进行爬网时,响应是页面源,而不是页面源。如何使Scrapy请求页面DOM,以便提取正文中的“Hi There”字符串?

无法使Scrapy请求页面DOM而不是页面源,因为Scrapy不是浏览器。因此,它无法呈现Javascript。它只是根据得到的响应构建一个元素树

提及

:及


<>但是,你可以考虑使用一个外部的.< /p>来代替使用像幻像之类的东西。