小编Xin*_*ein的帖子

我想设置scrapy集群按照这个链接scrapy-cluster,在运行这个命令之前一切正常:

pip install -r requirements.txt

requirements.txt看起来像:

cffi==1.2.1
characteristic==14.3.0
ConcurrentLogHandler>=0.9.1
cryptography==0.9.1
...

我猜上面的命令意味着在requirements.txt中安装软件包.但是我不希望它指定版本,所以我将其更改为:

cat requirements.txt | while read line; do pip install ${line%%[>=]*} --user;done

安装加密时,它给我错误:

build/temp.linux-x86_64-2.7/_openssl.c:12:24:fatal error:pyconfig.h:No such file or directory 
#include <pyconfig.h>

我不知道如何解决这个问题,我尝试了很多方法,但都失败了.我的系统是centos 7,python的版本是2.7.5(默认).此外,是否有任何其他scrapy框架适用于大量的网址.提前致谢

当我在初始化时设置不可变的hashmap内容,如下所示:

var result_tags=HashMap[String,Int]()
    result_tags=("video"->0,"game"->0,"news"->0,"ee"->0,"sport"->0,
  "shop"->0,"ju"->0,"story"->0,"pho"->0,"con"->0,"live"->0,"life"->0,"soft"->0,"hire"->0,"car"->0,
  "mm"->0,"mus"->0,"mob"->0,"male"->0,"heal"->0, "sca"->0,"bank"->0,"mail"->0,"cool"->0,"pict"->0, "dl"->0)

它给了我错误:

too many elements for tuple:26,allowed:22

这意味着元组的最大数量是22.我知道->是用于创建元组.是否有其他方法来初始化hashmap而没有其元素的限制数量.