Python Scrapy:"runspider"和"crawl"命令有什么区别？

Question

有人可以解释runspider和crawl命令之间的区别吗？应该使用它们的背景是什么？

Answer 1

在命令中：

scrapy crawl [options] <spider>

<spider>是项目名称（在 settings.py 中定义为BOT_NAME）。

并在命令中：

scrapy runspider [options] <spider_file>

<spider_file> 是包含蜘蛛的文件的路径。

否则，选项是相同的：

Options
=======
--help, -h              show this help message and exit
-a NAME=VALUE           set spider argument (may be repeated)
--output=FILE, -o FILE  dump scraped items into FILE (use - for stdout)
--output-format=FORMAT, -t FORMAT
                        format to use for dumping items with -o

Global Options
--------------
--logfile=FILE          log file. if omitted stderr will be used
--loglevel=LEVEL, -L LEVEL
                        log level (default: DEBUG)
--nolog                 disable logging completely
--profile=FILE          write python cProfile stats to FILE
--lsprof=FILE           write lsprof profiling stats to FILE
--pidfile=FILE          write process ID to FILE
--set=NAME=VALUE, -s NAME=VALUE
                        set/override setting (may be repeated)
--pdb                   enable pdb on failure

由于runspider不依赖于BOT_NAME参数，根据您自定义刮板的方式，您可能会发现runspider更灵活。

Answer 2

两者的小解释和语法:

runspider

句法: scrapy runspider <spider_file.py>

需要项目:没有

在Python文件中运行自包含的蜘蛛,而无需创建项目.

用法示例:

$ scrapy runspider myspider.py

爬行

句法: scrapy crawl <spider>

需要项目:是的

使用具有相应名称的蜘蛛开始抓取.

用法示例:

 $ scrapy crawl myspider

Answer 3

主要区别在于runspider不需要项目.也就是说,您可以在myspider.py文件中编写蜘蛛并进行调用scrapy runspider myspider.py.

该crawl命令需要一个项目才能找到项目的设置,从SPIDER_MODULES设置加载可用的蜘蛛,并查找蜘蛛name.

如果您需要快速蜘蛛进行短期任务,则runspider需要较少的样板.