我怎么刮这个框架？

Question

如果您现在访问此链接,您可能会收到VBScript错误.

另一方面,如果您先访问此链接,然后再访问上述链接(在同一会话中),则会显示该页面.

设置此应用程序的方式,第一页用作第二(主)页面中的框架.如果你点击一下,你会看到它是如何工作的.

我的问题:我如何用Python抓第一页？我已经尝试了我能想到的一切 - urllib,urllib2,mechanize - 而我得到的只是500个错误或超时.

我怀疑答案在于机械化,但我的机械化能力不足以破解这一点.有人可以帮忙吗？

Answer 1

它总是归结为请求/响应模型.您只需制作一系列http请求,以便获得所需的响应.在这种情况下,您还需要服务器将每个请求视为同一会话的一部分.为此,您需要弄清楚服务器如何跟踪会话.它可以是许多东西,从cookie到隐藏的输入,形成动作,发布数据或查询字符串.如果我不得不猜测在这种情况下我会把钱放在饼干上(我没有检查链接).如果这是成立的,您需要发送第一个请求,保存您获得的cookie,然后将该cookie与第二个请求一起发送.

也可能是初始页面将有按钮和链接,可以将您带到第二页.这些链接将具有类似于<A href="http://cad.chp.ca.gov/iiqr.asp?Center=RDCC&LogNumber=0197D0820&t=Traffic%20Hazard&l=3358%20MYRTLE&b=">第一页生成大量gobbedlygook的地方.

该"Center=RDCC&LogNumber=0197D0820&t=Traffic%20Hazard&l=3358%20MYRTLE&b="部分对您必须从第一页获得的一些会话信息进行编码.

当然,您甚至可能需要同时执行这两项操作.