C# 提交ajax aspforms请求以修改viewstate

我正在开发一个非常特殊的网页抓取应用程序，它需要登录到多个网站并从中检索一些数据

我正在使用一个WebClient，它已通过覆盖以下方法了解Cookie：

protected override WebRequest GetWebRequest(Uri address)
{
    WebRequest request = base.GetWebRequest(address);
    var castRequest = request as HttpWebRequest;
    if (castRequest != null)
    {
        castRequest.CookieContainer = this.CookieContainer;
    }
    return request;
}

我可以通过定期的POST/GET请求（通过webclient上适当的下载/上传方法）登录到网站

目标网站使用ajax ASP.Net顶级表单，并且有一个状态变量，在您单击页面上的按钮后，该变量将被启用。也就是说，当您单击按钮时，表单被提交，状态被更改，然后当它加载响应时，它就拥有了我需要的信息。此时的状态修改也是持久的。如果我重新加载页面，或者甚至关闭选项卡并重新打开它，我需要的数据仍将存在，因为它与ASP会话关联。一旦ASP会话过期，您必须登录并再次单击按钮，服务器才会发送我需要的数据

我在点击按钮时通过Chrome开发者工具观看了提交的表单，我完全按照在Chrome网络观察窗口中看到的方式重新创建了表单提交，但它仍然无法正确修改viewstate

所以我的问题是，如何模拟单击此按钮，以便服务器修改viewstate并返回所需的值

我不能使用web浏览器控件来实现这一点，但如果html agility pack使事情变得更简单，我可以使用它（尽管我真的不想使用外部库）

按钮的定义如下：

<form name="aspnetForm" method="post" action="enterurlhere..." id="aspnetForm">
    <input type="image" name="ctl00$....." id="ctl00...." title="...." src="...." style="height:50px;border-width:0px;">

我认为这在服务器端不起作用，因为客户端需要会话信息。为此，您可以实现一个Iframe控件，您可以在其中加载表单，并调用服务器端或客户端调用，以单击Iframe中的按钮并加载会话信息。

如果您的目标是ASP.NET WebForms站点，则：

1） 您必须先登录才能导航到所需页面

2） 在所需页面上有一个UpdatePanel，它有一个文本框，您需要在其中输入一些信息，然后提交这些信息，如果这些信息是正确的，您将得到“您期望的”

我以前做过各种爬虫程序，因此以一个为基础，但精简了很多，没有错误记录，验证您是否登录，验证您在请求页面时是否仍然登录，HtmlAgilityPack，结构，代码清理，用户代理字符串随机化等，以保持简单，但是您当然可以增强它：）无论如何，我已经在VisualStudio2013中创建了一个web项目（web表单）。您可能知道，它有一些登录页，包括用户注册等。然后您有“管理帐户”页，这显然需要对用户进行身份验证。在那个页面上，我添加了另一个div，然后在其中放置了UpdatePanel（这使回发成为ajaxified）。在UpdatePanel中，我放置了文本框、按钮和文本服务器控件。在code behind中，我为该按钮添加了一个click事件处理程序：如果用户输入等于，就说“secret”，然后在文本中添加一些文本，以指示操作成功。因此，应用程序必须先登录，然后通过将密码提交到“Manage account”页面来获取该机密文本

实际提取程序：

using Pokemon.BL.Utils;
using System;
using System.Text;
using System.Web;

namespace Pokemon.BL
{
    sealed class UrlFetcher : IDisposable
    {
        private static readonly UrlFetcher _instance;
        private CGWebClient _cgWebClient;

        private string loginPostString = "__EVENTTARGET={0}&__EVENTARGUMENT={1}&__VIEWSTATE={2}&__VIEWSTATEGENERATOR={3}&__EVENTVALIDATION={4}&ctl00$MainContent$Email={5}&ctl00$MainContent$Password={6}&ctl00$MainContent$ctl05={7}";
        private string secretPhrasePostString = "__EVENTTARGET={0}&__EVENTARGUMENT={1}&__VIEWSTATE={2}&__VIEWSTATEGENERATOR={3}&__EVENTVALIDATION={4}&__ASYNCPOST=true&ctl00$MainContent$btnGetSecretPhrase=Button&ctl00$ctl08=ctl00$MainContent$UpdatePanel1|ctl00$MainContent$btnGetSecretPhrase&ctl00$MainContent$txtSecret={5}";

        private UrlFetcher()
        {
            _cgWebClient = new CGWebClient();
        }

        static UrlFetcher()
        {
            _instance = new UrlFetcher();
        }

        #region Methods

        public void LoginToSite(string email, string password)
        {
            var loginUrl = "http://localhost:53998/Account/Login";

            byte[] response = _cgWebClient.DownloadData(loginUrl);
            var content = Encoding.UTF8.GetString(response);

            string eventTarget = ExtractToken("__EVENTTARGET", content);
            string eventArg = ExtractToken("__EVENTARGUMENT", content);
            string viewState = ExtractToken("__VIEWSTATE", content);
            string viewStateGen = ExtractToken("__VIEWSTATEGENERATOR", content);
            string eventValidation = ExtractToken("__EVENTVALIDATION", content);

            string postData = string.Format(
                loginPostString,
                eventTarget,
                eventArg,
                viewState, 
                viewStateGen, 
                eventValidation,
                email, 
                password,
                "Log in"
                );

            _cgWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
            response = _cgWebClient.UploadData(loginUrl, "POST", Encoding.UTF8.GetBytes(postData));
            _cgWebClient.Headers.Remove("Content-Type");
        }

        public void GetSecretPhrase()
        {
            var loginUrl = "http://localhost:53998/Account/Manage";

            byte[] response = _cgWebClient.DownloadData(loginUrl);
            var content = Encoding.UTF8.GetString(response);

            string eventTarget = ExtractToken("__EVENTTARGET", content);
            string eventArg = ExtractToken("__EVENTARGUMENT", content);
            string viewState = ExtractToken("__VIEWSTATE", content);
            string viewStateGen = ExtractToken("__VIEWSTATEGENERATOR", content);
            string eventValidation = ExtractToken("__EVENTVALIDATION", content);

            string postData = string.Format(
                secretPhrasePostString,
                eventTarget,
                eventArg,
                viewState,
                viewStateGen,
                eventValidation,
                "secret"
                );

            _cgWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
            _cgWebClient.Headers.Add("X-Requested-With", "XMLHttpRequest");
            response = _cgWebClient.UploadData(loginUrl, "POST", Encoding.UTF8.GetBytes(postData));
            _cgWebClient.Headers.Remove("Content-Type");
            _cgWebClient.Headers.Remove("X-Requested-With");

            Console.WriteLine(Encoding.UTF8.GetString(response));
        }

        #region IDisposable Members
        public void Dispose()
        {
            if (_cgWebClient != null)
            {
                _cgWebClient.Dispose();
            }
        }
        #endregion

        private string ExtractToken(string whatToExtract, string content)
        {
            string viewStateNameDelimiter = whatToExtract;
            string valueDelimiter = "value=\"";

            int viewStateNamePosition = content.IndexOf(viewStateNameDelimiter);
            int viewStateValuePosition = content.IndexOf(valueDelimiter, viewStateNamePosition);

            int viewStateStartPosition = viewStateValuePosition + valueDelimiter.Length;
            int viewStateEndPosition = content.IndexOf("\"", viewStateStartPosition);

            return HttpUtility.UrlEncode(
                     content.Substring(
                        viewStateStartPosition,
                        viewStateEndPosition - viewStateStartPosition
                     )
                  );
        }
        #endregion

        #region Properties
        public static UrlFetcher Instance { get { return _instance; } }
        #endregion
    }
}

WebClient包装器：

using System;
using System.Collections.Generic;
using System.Net;

namespace Pokemon.BL.Utils
{
    // http://codehelp.smartdev.eu/2009/05/08/improve-webclient-by-adding-useragent-and-cookies-to-your-requests/
    public class CGWebClient : WebClient
    {
        private System.Net.CookieContainer cookieContainer;
        private string userAgent;
        private int timeout;

        public System.Net.CookieContainer CookieContainer
        {
            get { return cookieContainer; }
            set { cookieContainer = value; }
        }

        public string UserAgent
        {
            get { return userAgent; }
            set { userAgent = value; }
        }

        public int Timeout
        {
            get { return timeout; }
            set { timeout = value; }
        }

        public CGWebClient()
        {
            timeout = -1;
            userAgent = "Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0";
            cookieContainer = new CookieContainer();
        }

        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);

            if (request.GetType() == typeof(HttpWebRequest))
            {
                ((HttpWebRequest)request).CookieContainer = cookieContainer;
                ((HttpWebRequest)request).UserAgent = userAgent;
                ((HttpWebRequest)request).Timeout = timeout;
            }

            return request;
        }
    }
}

最后运行它：

UrlFetcher.Instance.LoginToSite("username", "password");
UrlFetcher.Instance.GetSecretPhrase();

UrlFetcher.Instance.Dispose();

这将秘密短语输出到控制台应用程序中。当然，您需要对此进行调整以使其正常工作，例如，根据目标站点运行的ASP.NET版本等：）

---

希望这有帮助：）

你能根据

aspnetForm

中的数据创建一个webrequest吗？我实际上没有使用太多/任何代码，但它引导了我正确的方向。。我有自己的WebClient包装器，我没有设置useragent——我想网站的表现会因此而有所不同，这让我很困惑。同样，我从你的帖子中意识到，你不必提交整个asp表单，只需提交_*值和更改后的输入。我感谢你的帮助！