小编AK4*_*K47的帖子

操纵变量的一部分,同时保持原始完整

在保持原始变量完整的同时操作/使用/删除变量的一部分是最干净的方法.

让我们说我希望以下列表中的值对应于最高数值

例如:

max([1, 2, '3a', '10b'])
Run Code Online (Sandbox Code Playgroud)

应评估为

max([1, 2, 3, 10])
Run Code Online (Sandbox Code Playgroud)

并且'10b'应该返回该值

python list max substitution

0
推荐指数
1
解决办法
36
查看次数

如何使用scrapy每晚刮掉数万个网址

我正在使用scrapy刮掉一些大品牌来导入我网站的销售数据.目前我正在使用

DOWNLOAD_DELAY = 1.5

CONCURRENT_REQUESTS_PER_DOMAIN = 16

CONCURRENT_REQUESTS_PER_IP = 16
Run Code Online (Sandbox Code Playgroud)

我使用Item加载器指定css/xpath规则和Pipeline将数据写入csv.我收集的数据是原价,销售价格,颜色,尺寸,名称,图片网址和品牌.

我只为一个拥有大约10万网址的商家写了蜘蛛,这需要我大约4个小时.

我的问题是,对于10k网址,4小时听起来是否正常,或者它应该比这更快.如果是这样,我还需要做些什么来加快速度.

我只在本地使用一个SPLASH实例进行测试.但在生产中我计划使用3个SPLASH实例.

现在主要问题是,我有大约125个商家和每个平均10k产品.他们中的一对有超过150k的网址.

我需要每晚清理所有数据以更新我的网站.由于我的单个蜘蛛花了4个小时来刮掉10k网址,我想知道每晚实现125 x 10k网址是否真的是有效的梦想

我将非常感谢您对我的问题的经验输入.

python scrapy scrapy-spider scrapy-pipeline scrapy-splash

0
推荐指数
1
解决办法
411
查看次数

类不带参数(给出1个)

class MyClass:
    def say():
        print("hello")

mc = MyClass()
mc.say()
Run Code Online (Sandbox Code Playgroud)

我收到了错误:TypeError: say() takes no arguments (1 given).我做错了什么?

python methods exception class python-3.x

-2
推荐指数
1
解决办法
1万
查看次数

不理解输出

我的代码:

num = 5
if num > 2:  
    print(num)
    num -= 1
print(num)
Run Code Online (Sandbox Code Playgroud)

预期产量:

5,4,3,2
Run Code Online (Sandbox Code Playgroud)

实际产量:

5,4
Run Code Online (Sandbox Code Playgroud)

问题:为什么我会收到实际输出而不是预期输出?

python loops if-statement

-8
推荐指数
1
解决办法
45
查看次数