Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/282.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在python中创建动态网站(不使用selenium)_Python_Selenium_Selenium Webdriver_Web Scraping_Selenium Chromedriver - Fatal编程技术网

如何在python中创建动态网站(不使用selenium)

如何在python中创建动态网站(不使用selenium),python,selenium,selenium-webdriver,web-scraping,selenium-chromedriver,Python,Selenium,Selenium Webdriver,Web Scraping,Selenium Chromedriver,Selenium是否有任何库或替代方法可以从动态(javascript呈现)网站中抓取数据 我遇到的问题是,当我使用带有selenium的webdriver时,许多网站都可以很容易地检测到。我已经做了一些事情,比如在我的webdrver中更改我的cdc_uu变量,但我仍然被检测到。我一直在研究使用硒来检测不到的方法,但这似乎是不可能的 所以,我正在寻找一种不使用Selenium就能抓取动态网站的方法。任何建议都有帮助 谢谢 如果您不想使用selenium刮取动态网站。 我知道有两种方法: 找到a

Selenium是否有任何库或替代方法可以从动态(javascript呈现)网站中抓取数据

我遇到的问题是,当我使用带有selenium的webdriver时,许多网站都可以很容易地检测到。我已经做了一些事情,比如在我的webdrver中更改我的cdc_uu变量,但我仍然被检测到。我一直在研究使用硒来检测不到的方法,但这似乎是不可能的

所以,我正在寻找一种不使用Selenium就能抓取动态网站的方法。任何建议都有帮助


谢谢

如果您不想使用
selenium
刮取动态网站。 我知道有两种方法:

  • 找到ajax API并发送GET请求。这只能使用
    requests
    模块或
    urllib
    模块来完成。(我建议这样做,但需要采取一些措施。)

  • 如果您的python版本>=3.6,您可以尝试使用模块。据我所知,它可以获得一些由JavaScript呈现的文本


  • 如果您不想使用
    selenium
    刮取动态网站。 我知道有两种方法:

  • 找到ajax API并发送GET请求。这只能使用
    requests
    模块或
    urllib
    模块来完成。(我建议这样做,但需要采取一些措施。)

  • 如果您的python版本>=3.6,您可以尝试使用模块。据我所知,它可以获得一些由JavaScript呈现的文本


  • 您可以尝试像
    请求html
    这样的库。这是一个简单的解决方案,但如果它不起作用,它将构建在
    pyppeteer
    之上,并完成所有繁重的工作。

    您可以尝试使用
    请求html
    之类的库。这是一个简单的解决方案,但如果它不起作用,它将构建在Pypetteer的基础上,并完成所有繁重的工作。

    谢谢!我将查看请求html库。谢谢!我将查看请求html库。