Cha*_*lie 4 php curl web-scraping
我正试图刮一个远程网站.我正在使用PHP Curl,我的代码很好.我知道因为我使用了Fiddler,Tamper Data等来使我的代码恰到好处.但是,它仍然无法正常工作.所以,我尝试了几个小时前我应该测试过的东西:
我在浏览器中关闭了cookie.果然,我现在无法搜索远程站点.他们的代码需要一个cookie来搜索我想要的产品.
有没有办法伪造/欺骗/规避所以我可以刮网站？我可以告诉CURL使用我下载的cookie吗？我甚至不知道要问的正确问题.
看一下curl_setoptcookies 的各种参数.
您可以使用CURLOPT_COOKIE手动设置cookie,或使用CURLOPT_COOKIEJAR磁盘上的文件实际存储和保留多个请求中的cookie.
但是,您可能只需要一个会话cookie,默认情况下支持手册所说的 - 只要您为每个请求使用相同的curl实例.如果您为每个请求创建一个新的curl实例,那么这些实例将不会共享cookie.
| 归档时间： |
|
| 查看次数： |
2771 次 |
| 最近记录： |