Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/csharp/340.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/html/73.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
C# 刮网#_C#_Html_Web Scraping - Fatal编程技术网

C# 刮网#

C# 刮网#,c#,html,web-scraping,C#,Html,Web Scraping,我试图从一个需要登录的网站上抓取网页,我已经做到了这一点,并成功抓取了该网站 我遇到的问题是,我正在尝试获取的值直到加载站点几秒钟后才出现,我正在从西门子OZW772.04控制器单元获取,它必须获取摄氏度,并且需要几秒钟才能加载所有这些值 所以,在我刮掉网站后,文本是可以的,但是所有的值都是这样的 Datapoint Value HN1 heat-in \n --- \n \n \n HN2 room-temp \n --- \n \n \n

我试图从一个需要登录的网站上抓取网页,我已经做到了这一点,并成功抓取了该网站

我遇到的问题是,我正在尝试获取的值直到加载站点几秒钟后才出现,我正在从西门子OZW772.04控制器单元获取,它必须获取摄氏度,并且需要几秒钟才能加载所有这些值

所以,在我刮掉网站后,文本是可以的,但是所有的值都是这样的

Datapoint   Value       
HN1 heat-in \n
---
 \n     \n

 \n 
 HN2 room-temp \n
 ---
 \n      \n

 \n 

其中\n是我需要的值。我已经尝试让线程等待,但这似乎也不起作用。

如果网页正在使用javascript加载或编辑html,则除非您以浏览器的方式呈现页面(即使用浏览器),否则您将看不到这一点。您可以使用或。

如果网页使用javascript加载或编辑html,则您将看不到,除非您以浏览器的方式呈现页面(即使用浏览器)。您可以使用或。

您必须提供更多关于您的实现的详细信息,以便我们能够帮助您。如果您将其加载到浏览器中,页面呈现后是否也会出现可见延迟?如果是这样的话,请确保页面没有执行ajax请求来获取数据-您还需要刮取数据-因为许多设备似乎更倾向于使用占位符值加载页面,那么这就是必须进行的操作,查看浏览器调试器中的“网络”选项卡,查看页面是否独立于自身获取数据是否有其他方法获取数据?SNMP?初始传输中未填充的OPC?值不会自动填充。很可能有一些javascript必须执行,它轮询更新值并将它们插入到内容中。您应该了解该设备是否有web服务,您可以对您的值进行轮询,而不是尝试截屏。此外,您还需要显示一些代码,或者至少指定用于获取页面的.NET类。您必须提供更多有关实现的详细信息,以便我们能够为您提供帮助。如果您将其加载到浏览器中,页面呈现后是否也会出现可见的延迟?如果是这样的话,请确保页面没有执行ajax请求来获取数据-您还需要刮取数据-因为许多设备似乎更倾向于使用占位符值加载页面,那么这就是必须进行的操作,查看浏览器调试器中的“网络”选项卡,查看页面是否独立于自身获取数据是否有其他方法获取数据?SNMP?初始传输中未填充的OPC?值不会自动填充。很可能有一些javascript必须执行,它轮询更新值并将它们插入到内容中。您应该了解该设备是否有web服务,您可以对您的值进行轮询,而不是尝试截屏。此外,还需要显示一些代码,或者至少指定用于获取页面的.NET类。