我现在已经使用Scrapy大约1周,并且想要将图像存储到亚马逊S3,他们提到他们支持将图像上传到亚马逊S3,但它没有记录.那么有谁知道如何使用Scrapy的Amazon S3?
这是他们用于媒体管道的Scrapy文档.
我在想.在Ruby中测试数组是否包含另一个数组的最快方法是什么?所以我构建了这个小基准脚本.很想听听你对比较方法的看法.你知道其他一些 - 或许更好的方法吗?
require 'benchmark'
require 'set'
a = ('a'..'z').to_a.shuffle
b = ["b","d","f"]
Benchmark.bm do |x|
x.report do
10000.times do
Set[b].subset?(a.to_set)
end
end
x.report do
10000.times do
(a & b).count == b.size
end
end
x.report do
10000.times do
(a.inject(0) {|s,i| s += b.include?(i)?1:0 } == b.size)
end
end
x.report do
10000.times do
(b - a).empty?
end
end
x.report do
10000.times do
b.all? { |o| a.include? o }
end
end
end
Run Code Online (Sandbox Code Playgroud)
结果:
user system total real
0.380000 0.010000 0.390000 ( 0.404371) …Run Code Online (Sandbox Code Playgroud)