Tao*_*ist 5 c# http c#-4.0 system.net.httpwebrequest
我正在尝试“屏幕抓取”一些数据我有一个请求如下(来自提琴手)
POST http://fallenlondon.storynexus.com/Auth/EmailLogin HTTP/1.1
Content-Type: application/x-www-form-urlencoded
Referer: http://fallenlondon.storynexus.com/signup
User-Agent: Mine
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Cache-Control: max-age=0
l:
Origin: http://fallenlondon.storynexus.com/
DNT: 1
Accept-Encoding: utf-8
Accept-Language: en-GB,en;q=0.8
Cookie: ASP.NET_SessionId=05xq3gndu4nczvy5wsah5qyw; __utma=100212060.1740063036.1431282067.1431282067.1431284767.2; __utmb=100212060.14.10.1431284767; __utmc=100212060; __utmz=100212060.1431282067.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
Host: fallenlondon.storynexus.com
Content-Length: 54
Run Code Online (Sandbox Code Playgroud)
(内容是我的凭据) - 此标头与我在浏览器中手动查看网页所跟踪的请求相匹配。
我使用 HttpWebRequest.GetResponse() 发送这个我得到了回复
HTTP/1.1 200 OK
Access-Control-Allow-Origin: *
Cache-Control: no-cache, no-store, must-revalidate
Content-Type: text/html; charset=utf-8
Date: Mon, 11 May 2015 20:54:15 GMT
Expires: -1
Pragma: no-cache
Server: Microsoft-IIS/8.0
X-AspNet-Version: 4.0.30319
X-AspNetMvc-Version: 4.0
X-Powered-By: ASP.NET
X-Server: Web1
Content-Length: 16900
Connection: keep-alive
Run Code Online (Sandbox Code Playgroud)
这(再次)匹配我使用浏览器获得的内容。使用 fiddler,我可以看到 17k 的数据(html),我尝试使用...
var stream = response.GetResponseStream();
if (stream == null) return null;
using (var reader = new StreamReader(stream, Encoding.UTF8))
{
var data = reader.ReadToEnd();
reader.Close();
return data;
}
Run Code Online (Sandbox Code Playgroud)
我在“new StreamReader”行上收到一个异常,指出“Stream 不可读”我的调试器显示该流既不可读也不可写。这是我读过的第二页(第一页是对主 URL 的简单请求以获取登录页面)。使用相同的代码可以很好地工作。使用后所有流和请求都已关闭。
Google 没有给我任何帮助,提示页面错误(不,状态为 200)或已经读取数据(不,代码直接在这里)我根本没有使用线程,所以这不是问题。我尝试更改编码(请求 gzip 给了我一个更小的有效负载,但我仍然无法读取它)我在 win7 x64 上使用 c#.net 4.5.2
有谁知道我做错了什么?
| 归档时间: |
|
| 查看次数: |
8801 次 |
| 最近记录: |