我的scrapyspider有问题,它使用以下代码:
class MySpider(BaseSpider):
name = "craig"
allowed_domains = ["craigslist.org"]
start_urls = ["http://sfbay.craigslist.org/search/npo"]
def parse(self, response):
hxs = HtmlXPathSelector(response)
titles = hxs.xpath("//span[@class='pl']")
items = []
for i in titles:
item = CraigslistSampleItem()
item["title"] = i.select("a/text()").extract()
item["link"] = i.select("a/@href").extract()
items.append(item)
return items
Run Code Online (Sandbox Code Playgroud)
这是我的 items.py
from scrapy.item import Item, Field
class CraigslistSampleItem(Item):
title = Field()
link = Field()
Run Code Online (Sandbox Code Playgroud)
当我运行蜘蛛时scrapy crawl craig
,我收到以下错误:
TypeError: 'float' object is not iterable
2017-03-07 10:13:44 [scrapy.core.scraper] ERROR: Error downloading <GET http://sfbay.craigslist.org/search/npo>
TypeError: 'float' object is not iterable
Run Code Online (Sandbox Code Playgroud)
我怎样才能解决这个问题?谢谢
我在安装scrapy
使用后遇到了类似的错误conda
,导致获得scrapy
版本1.1和twisted
版本17.1.0.
我认为scrapy
版本低于1.3.2和twisted
版本17.x 之间存在不兼容性.我能够通过降级twisted
到版本16.x或升级scrapy
到版本1.3.3 来解决它.
归档时间: |
|
查看次数: |
1053 次 |
最近记录: |