Web scraping 解析Onlineshop-Onlineshop数据

我正在寻找一种解决方案，用于自动爬网%解析整个网站（在线商店），并将所有产品保存为CSV中的产品名称和产品价格。

从网站获取数据可能非常简单，也可能完全相反。这取决于网站是如何制作的。商店往往是一个复杂的网站，因此DOM（HTML结构）对于该网站来说是唯一的。不太可能有其他人在该页面上尝试了与您完全相同的内容。因此，您必须编写代码并提取必要的PIEC

这将是我们的示例产品：

HTML使用类告诉CSS（用于样式）如何设计或呈现特定元素。您可以使用此行为，并通过类查找包含price的元素。在本例中，它是

.tr prod price

每个主要浏览器都有一个Discover元素功能，它可以用来为屏幕上显示的元素查找类。在文本（价格或标题）上单击鼠标右键，然后按Q键（仅限Firefox）

现在，您更接近解析数据了。现在是编写代码的时候了。您可以使用Python、Java甚至JavaScript为您提供一些示例。JavaScript与Node.JS的结合可能非常简单，因为JS具有我们需要的内置方法

您可能需要搜索引擎来查找产品的详细信息页面。谷歌可以列出你喜欢的所有结果。当然，谷歌并没有提供一种简单的方式（API）来获取这些信息，如果你开始为此编写自己的解析器，我不确定法律后果。法律方面也需要为您的主要意图处理