Javascript JS生成的页面没有'；在抓取时不能完全呈现为html

我似乎无法让我的pythonwebscraper处理JS呈现的网站，这些网站调用服务器来填充网页。以这个网站（）为例，如果我使用以下脚本：

import sys
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from lxml import html


class Render(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.loadFinished.connect(self._loadFinished)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def _loadFinished(self, result):
        self.frame = self.mainFrame()
        self.app.quit()

url = 'https://playon.co/#/en/games-lobby'
r = Render(url)
result = r.frame.toHtml()
print(result)

它适用于大多数JS呈现的网站，就像任何其他方法一样，如Selenium、BeatifulSoup等，但当网站调用服务器来填充页面内容时，所有这些方法都无法正确呈现html

我在stackoverflow上发现了似乎可以解决相同问题的方法，但尽管我努力尝试，我还是无法理解解决方案并在代码中采用它。这似乎是一个针对特定问题的量身定制解决方案，我无法弄清楚它到底如何适用于我的问题，即使它看起来很相似

---

任何帮助都将不胜感激，谢谢

您链接到的解决方案假定有一个您希望获取的URL版本，该版本以JSON格式提供数据。如果您没有类似版本的URL，那么这种方法对您没有任何用处。

尝试使用dryscrape-it声称可以刮取任何JS站点。@RajanChauhan没有尝试过这种方法，我会尝试一下，谢谢！好的，谢谢你澄清这一点。你知道是什么使得这个版本的URL对标准js抓取没有响应吗？