我写了一个小scrapy蜘蛛.以下是我的代码
class ElectronicsSpider(scrapy.Spider):
name = "electronics"
allowed_domains = ["www.olx.com"]
start_urls = ['http://www.olx.com/']
def parse(self, response):
pass
Run Code Online (Sandbox Code Playgroud)
我的问题是,我想使用设置读取名称,allowed_domains和start_urls.我怎样才能做到这一点?
我试过导入
from scrapy.settings import Settings
Run Code Online (Sandbox Code Playgroud)
也尝试了这个
def __init__(self,crawler):
self.settings = crawler.settings
Run Code Online (Sandbox Code Playgroud)
但我没有/错误.帮我看看蜘蛛中的设置?
小智 14
from scrapy.utils.project import get_project_settings
settings=get_project_settings()
print settings.get('NAME')
Run Code Online (Sandbox Code Playgroud)
使用此代码,我们可以从设置文件中读取数据...
self.settings尚未启动__init__()。您可以检查self.settings在start_requests()。
def start_requests(self):
print self.settings
Run Code Online (Sandbox Code Playgroud)