Jim*_*ies 8 python pipeline web-crawler scrapy scraper
我有使用Scrapy框架编写的蜘蛛.我在使任何管道工作时遇到一些麻烦.我在pipelines.py中有以下代码:
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
Run Code Online (Sandbox Code Playgroud)
我的CrawlSpider子类有这一行来激活这个类的管道.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Run Code Online (Sandbox Code Playgroud)
但是当我使用它时
scrapy crawl my_spider
Run Code Online (Sandbox Code Playgroud)
我得到一条线说
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
Run Code Online (Sandbox Code Playgroud)
没有管道(我认为这是日志应该输出它们的地方).
我已经尝试查看文档,但似乎没有任何完整项目的完整示例,看看我是否遗漏了任何内容.
有关下一步尝试的建议吗?或者在哪里寻找进一步的文件?