我使用Scrapy,我试图刮掉这个使用Incapsula的网站
<meta name="robots" content="noindex,nofollow">
<script src="/_Incapsula_Resource?SWJIYLWA=719d34d31c8e3a6e6fffd425f7e032f3">
</script>
我已经问了一个问题关于这个问题2年前,但这种方法(Incapsula-饼干)不工作了.
我试图理解Incapsula是如何工作的 ,我试图绕过它
def start_requests(self):
yield Request('https://courses-en-ligne.carrefour.fr', cookies={'store': 92}, dont_filter=True, callback = self.init_shop)
def init_shop(self,response) :
result_content = response.body
RE_ENCODED_FUNCTION = re.compile('var b="(.*?)"', re.DOTALL)
RE_INCAPSULA = re.compile('(_Incapsula_Resource\?SWHANEDL=.*?)"')
INCAPSULA_URL = 'https://courses-en-ligne.carrefour.fr/%s'
encoded_func = RE_ENCODED_FUNCTION.search(result_content).group(1)
decoded_func = ''.join([chr(int(encoded_func[i:i+2], 16)) for i in xrange(0, len(encoded_func), 2)])
incapsula_params = RE_INCAPSULA.search(decoded_func).group(1)
incap_url = INCAPSULA_URL % incapsula_params
yield Request(incap_url)
def parse(self):
print response.body
但我被重定向到RE-Captcha Page
<html style="height:100%"> …Incapsula是一个Web应用程序交付平台，可用于防止抓取。
我在Python和Scrapy中工作，发现了这一点，但它似乎已经过时了，不能与当前的Incapsula一起使用。我使用目标网站测试了Scrapy中间件，但由于中间件无法提取一些混淆的参数，所以出现了IndexErrors。
是否有可能改编该存储库，或者Incapsula现在已更改其操作模式？
我也很好奇如何将请求从chrome开发工具“复制为cURL”到我的目标页面，并且chrome响应包含用户内容，但是curl响应是“封装事件”页面。这是针对最初已清除Cookie的Chrome。
curl 'https://www.radarcupon.es/tienda/fotoprix.com'
-H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br'
-H 'accept-language: en-GB,en-US;q=0.9,en;q=0.8'
-H 'upgrade-insecure-requests: 1'
-H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/62.0.3202.94 Chrome/62.0.3202.94 Safari/537.36'
-H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'
-H 'cache-control: no-cache' -H 'authority: www.radarcupon.es'
--compressed
我期望双方的第一个请求都返回一个类似JavaScript的挑战，该挑战将设置一个cookie，但现在看来它不太起作用？
在我的应用程序中,我一直在使用DefaultHttpClient将HttpRequest与用户代理(获取完整站点)一起发送到新闻网站.最近网站似乎开始使用Incapsula,我现在得到了这个:
<iframe src="/_Incapsula_Resource?CWUDNSAI=9_1008B529&incident_id=48000040010778737-143658980947787847&edet=12&cinfo=5688c053c753829330000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 48000040010778737-143658980947787847</iframe></html>
任何提示？我可以绕过incapusla吗？
非常感谢
我有一个POST请求，可以与两个Postman和cURL完美配合（它返回数据的JSON Blob）。但是，当我使用Python的Requests库执行完全相同的请求时，会收到200成功响应，但得到的不是我的JSON Blob：
<html>
<head>
<META NAME="robots" CONTENT="noindex,nofollow">
<script src="/_Incapsula_Resource?SWJIYLWA=5074a744e2e3d891814e9a2dace20bd4,719d34d31c8e3a6e6fffd425f7e032f3">
</script>
<body>
</body></html>
我已经使用HTTP请求容器来验证Postman / cURL的请求与Python Requests的请求完全相同。
这是我在cURL中的邮递员请求：
curl -X POST \
https:/someurl/bla/bla \
-H 'Content-Type: application/json' \
-H 'Postman-Token: 2488e914-531e-4ac7-ae8d-8490b2242396' \
-H 'Referer: https://www.host.com/bla/bla/' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:65.0) Gecko/20100101 Firefox/65.0' \
-H 'cache-control: no-cache' \
-d '{"json1":"blabla","etc":"etc"}'
...这是我的Python代码：
payload = {
"json1": "blabla",
"etc": "etc",
}
headers = {
'Host': 'www.host.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 …我正在运行一个托管在Windows Azure上的图片密集型网站.后端性能很好但是图像缩略图的响应时间非常不稳定,因为图像缩略图会占据大量页面大小.我正在使用Azure CDN来提供所有图像,但它们的响应时间因数量级而异,我还没有在快速(~150毫秒)和慢速(3-4秒)请求中找到任何模式.这也似乎不是一个局部现象,因为我测试了来自不同地点/大陆的加载时间.到目前为止我的结论是Azure CDN毕竟不是那么好,我开始寻找其他方法来改善静态资产的加载时间.
现在上下文已经清楚了,这是我的实际问题:有没有人有像Cloudflare和Incapsula这样的服务经验来改善托管在像Windows Azure这样的云基础设施上的网站的性能？这些服务承诺减少服务器负载,但我更感兴趣的是它们是否真的有效减少静态文件的响应时间,以及对动态页面内容的任何负面影响.我非常感谢基于实践经验和/或替代解决方案建议的任何答案.
更新: 以下是CDN上其中一个图像的响应标头:
HTTP/1.1 200 OK
Cache-Control: public, max-age:31536000
Content-Length: 4245
Content-Type: image/jpeg
Last-Modified: Sat, 21 Jan 2012 12:14:33 GMT
ETag: 0x8CEA64D5EC55FB6
Server: Windows-Azure-Blob/1.0 Microsoft-HTTPAPI/2.0
x-ms-request-id: d7a1ef38-6c99-4b38-a9f5-987419df5d24
x-ms-version: 2009-09-19
x-ms-lease-status: unlocked
x-ms-blob-type: BlockBlob
Date: Sun, 05 Feb 2012 12:56:12 GMT
Connection: keep-alive
我正在尝试使用 URL ping 测试为我的 Web 应用程序之一设置可用性测试。问题是它一直失败并出现以下错误。该站点是公开可用的，当我只使用 IP 时，它会被解析并定向到正确的 url，但出现相同的错误（在测试中）。
尝试将 url 更改为 google/microsoft，可用性测试通过（当然）。
这是网络层问题还是其他问题？
System.Net.WebException: The server committed a protocol violation. Section=ResponseHeader Detail=CR must be followed by LF
at System.Net.HttpWebRequest.EndGetResponse(IAsyncResult asyncResult)
at Microsoft.VisualStudio.TestTools.WebStress.WebTestTransaction.ResponseReceived(IAsyncResult result)
------------------------
System.Exception: Failure
**** NOTE: This is not a real web request ****
1 primary requests, 0 dependant requests and 0 conditional rules failed
我正在寻找可以为我的静态文件提供服务的低成本/免费CDN.(我将从我自己的服务器提供动态文件)
从计划看来,免费计划似乎包括CDN:
https://www.cloudflare.com/plans
http://www.incapsula.com/pricing-and-plans/compare-all-plans/？src = 176
但之后注册Cloudflare希望我将我的DNS记录更改为他们的DNS服务器.
是否无法在不更改DNS记录的情况下从其服务器提供某些文件？
我收到了来自Incapsula的电子邮件,说明他们不支持websockets.我发现至少可以说这很奇怪,他们的支持代表只是复制粘贴一篇维基百科文章(他们甚至似乎都不知道它是什么).
当我尝试使用他们的服务运行websockets时,我收到了各种"格式错误"的请求.
incapsula ×8
azure ×2
cdn ×2
cloudflare ×2
python ×2
scrapy ×2
web-scraping ×2
android ×1
curl ×1
dns ×1
httprequest ×1
performance ×1
postman ×1
recaptcha ×1