小编Ami*_*pta的帖子

我正在使用Scrapy抓取一个网站,该网站需要启用烹饪和java脚本.我认为我不必实际处理javascript.我只需假装javascript已启用.

以下是我尝试过的方法:1)通过以下设置启用Cookie

COOKIES_ENABLED = True
COOKIES_DEBUG = True

2)使用下载中间件进行cookie

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 400,
    'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware':700
}

3)发送'X-JAVASCRIPT-ENABLED':'True'

DEFAULT_REQUEST_HEADERS={
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'X-JAVASCRIPT-ENABLED': 'True'
}

但他们都不和我合作.你能提出任何想法或给我指点吗？

提前感谢您的回复.