C# 处理大量数据

C# 处理大量数据,c#,asp.net,session,C#,Asp.net,Session,我正在asp.net 4.0中创建web门户,在那里我必须向第三方服务器发送http web请求,并获得大量特定于用户的结果集。我的问题是,这些数据暂时存储在哪里 是否有更好的方法临时存储大型结果集 我们从http webrequest获得的响应针对不同的用户(请求基础),我们必须保留数据,直到用户完成购物或预订,因此不知道我们保留数据的时间 添加更多内容: 我们曾想过使用session对象,但由于数据量大,我们无法使用它,因为它将消耗服务器内存 第二种选择,我们可以使用sql关系数据库,但网站

我正在asp.net 4.0中创建web门户,在那里我必须向第三方服务器发送http web请求,并获得大量特定于用户的结果集。我的问题是,这些数据暂时存储在哪里

是否有更好的方法临时存储大型结果集


我们从http webrequest获得的响应针对不同的用户(请求基础),我们必须保留数据,直到用户完成购物或预订,因此不知道我们保留数据的时间

添加更多内容:

我们曾想过使用session对象,但由于数据量大,我们无法使用它,因为它将消耗服务器内存


第二种选择,我们可以使用sql关系数据库,但网站正在使用来自httpweb响应的数据,因此我们无法控制第三方服务。

会话通常存储在服务器内存中,因此不是存储大量数据的好地方。我建议使用SQL表,但所有内容都是相对的。。。这个数据有多大?如果您有多台web服务器,则会话状态可能已移至SQL,因此最好直接转到SQL。

您的服务器代码是否需要在后续请求中使用此数据?此外,门户中的数据需要多“新鲜”?它主要是静态的/不经常更改的吗?您对这些数据做了什么?你需要坚持多久?甚至可以在请求期间将其存储在内存中吗?或者甚至不可行吗?大是一个相对术语,多大是大?8英寸无论如何,为什么不将数据存储在数据库中,并在某个预定点将存储与第三方数据库重新同步?我们从http webrequest获得的响应针对不同的用户(请求基础)我们必须保留数据,直到用户完成购物或预订,因此不知道我们保留数据的时间。我们只有一台服务器,由于数据大小约为100MB至500MB,但不确定,因为它完全取决于httpwebresponse。如果我们使用sql相对表,这会影响性能吗?我还需要在接下来的30分钟内保存数据。在合理的服务器上使用sql可能足够快。会话中每个用户500 MB的容量非常大。我想试试SQL。您始终可以安排作业在30分钟后删除使用过的SQL数据,或使用global.asax
Session\u End
事件清理SQL数据。