Python Scrapy无法按ID进行选择

我试图为一个学校项目废弃数据，但由于某些原因，我无法从本页的表中找出如何对数据进行gt。我在scrapy shell中测试，只是没有得到任何数据。这就是我要尝试的

scrapy shell https://www.psacard.com/pop/baseball-cards/1911/turkey-red-cabinets-t3-t9/51453

table = response.xpath('//*[@id="DataTables_Table_0"]/table/tbody')

这是返回[]

我也尝试过整个table类

table = response.xpath('//*[@class="clear interior-result-table pop-grid items psa table-striped dataTable no-footer dtr-inline"]')

得到相同的[]响应

---

我被难住了。有什么想法吗？

您需要的所有数据都在另一个请求中。例如，你可以在Chrome的开发者工具中找到它。检查https://www.psacard.com/Pop/GetItemTable?headingID=51453&categoryID=20003&isPSADNA=false&pf=0&_=1555080293549. 即使是对该链接的常见GET请求也会为您提供表行。

我也将回答相同的问题！非常感谢。当你说“common get request”时，你的确切意思是什么？你是如何以这种方式提取数据的？我的意思是你不需要任何特殊的头或cookie等。我能问一件简单的事情吗？如何在开发工具中找到该请求？我正在检查控制台、网络等，找不到任何Chrome、开发工具、网络选项卡。打开它并刷新页面，这里是截图：转到页面源代码，如果您找不到在xpath中使用的dom，它是一个js页面。对于js页面，您需要像splash这样的js呈现引擎。为此，只需将请求作为@Vezunchik