标签: pipeline

我在scrapy管道上遇到了一些麻烦.我的信息正在从网站上删除,并正确调用process_item方法.但是没有调用spider_opened和spider_closed方法.

class MyPipeline(object):

    def __init__(self):
        log.msg("Initializing Pipeline")
        self.conn = None
        self.cur = None

    def spider_opened(self, spider):
        log.msg("Pipeline.spider_opened called", level=log.DEBUG)

    def spider_closed(self, spider):
        log.msg("Pipeline.spider_closed called", level=log.DEBUG)

    def process_item(self, item, spider):
        log.msg("Processsing item " + item['title'], level=log.DEBUG)

无论是__init__和process_item日志消息持续显示在日志中,但spider_open和spider_close日志消息都没有.

我需要使用spider_opened和spider_closed方法,因为我想使用它们来打开和关闭与数据库的连接,但是在日志中没有显示任何内容.

如果有人有任何建议会非常有用.

背景:我目前正在使用Python代码为大型天文成像系统的数据减少管道.主要管道类通过许多离散处理"阶段"传递实验数据.

这些阶段是用单独的.py文件编写的,它们构成了一个包.在运行时生成可用阶段列表,以便用户可以选择运行数据的阶段.此方法的目的是允许用户在将来创建其他阶段.

问题:所有管道配置参数和数据结构(当前)位于主管道类中.有没有一种简单的方法可以在运行时导入的阶段中访问它们？

我目前的最佳尝试似乎"错误"并且有点原始,因为它使用循环导入和类变量.是否有一种方法可以让管道实例将引用传递给它自己作为它调用的每个阶段的参数？

这是我第一次编写一个大型python项目,而我缺乏设计知识.

任何帮助将不胜感激.

考虑以下:

function OutputArray{
    $l = @(,(10,20))
    $l
}

(OutputArray) -is [collections.ienumerable]
# C:\ PS> True
(OutputArray).Count
# C:\ PS> 2

$l 当它进入管道时被"展开". 这个答案表明powershell展开了所有集合. 哈希表是一个集合.但是,哈希表当然不受管道的影响:

function OutputHashtable{
    $h = @{nested=@{prop1=10;prop2=20}}
    $h
}

(OutputHashtable) -is [collections.ienumerable]
# C:\ PS> True
(OutputHashtable).Count
# C:\ PS> 1

这条评论表明,所有IEnumerable都转换为对象数组.但是,数组和散列表都是不可数的:

@(,(10,20)) -is [collections.ienumerable]
#True
@{nested=@{prop1=10;prop2=20}} -is [collections.ienumerable]
#True

究竟,PowerShell将对象"展开"到管道中的条件是什么？

它一次可以处理多少指令？

在获取Array,List或Seq的第N个元素的函数中有不同的参数顺序是否有充分的理由:

Array.get source index
List .nth source index
Seq  .nth index  source

我想使用管道运算符,它似乎只能用Seq:

s |> Seq.nth n

有没有办法与Array或List使用相同的表示法？

我有一个Spider,它会抓取无法保存在一个项目类中的数据.

为了说明,我有一个配置文件项,每个配置文件项可能有未知数量的注释.这就是我想要实现Profile Item和Comment Item的原因.我知道我可以简单地通过使用yield将它们传递给我的管道.

1. 但是,我不知道具有一个parse_item函数的管道如何处理两个不同的项类？

2. 或者是否可以使用不同的parse_item函数？

3. 或者我必须使用几个管道？

4. 或者是否可以将Iterator写入Scrapy项目字段？

comments_list=[]
comments=response.xpath(somexpath)
for x in comments.extract():
        comments_list.append(x)
    ScrapyItem['comments'] =comments_list

在尝试理解Win Vector博客中描述的基础R"Bizarro管道"时,我确认简单的示例在R中产生管状行为而没有安装包.例如:

> 2  ->.; exp(.)
[1] 7.389056

我发现点用作plyr和magrittr中的运算符.我花了几个小时在基地R中找到我能想到的点运算符的同义词,我知道的每一个帮助工具; 我甚至跑了一些荒谬的正则表达式搜索.最后,在绝望中,我尝试了这个:

>. <- 27
>.
[1] 27

到目前为止,我没有确认一个裸露的点,甚至没有"它的名字",在R中是一个有效的变量名.但是我仍然希望这仅仅是一些更明智行为的副作用,记录在案某处.

是吗？如果是这样,在哪里？

我承认,在Win Vector博客中首次出现时,作者认为这是一个笑话.

一段时间的密集搜索为我提供了一些示例，其中人们在一个代码中使用两种类型的运算符，但通常它们看起来就像两种做某件事的方式，甚至具有相同的名称

我正在努力在 AWS 上实施管道，但出现错误YAML_FILE_ERROR: YAML file does not exist，我不知道为什么。我正在使用 github repo 进行平均堆栈项目，入口文件是docker-compose. Yml.

谢谢

当非所有者开发人员将分支推送到我们的 Gitlab 存储库时，它会返回一条“管道失败”消息，其中包含详细信息“管道由于未验证用户而失败”。在开发人员的帐户上，他收到添加信用卡以验证他是否有资格获得免费管道分钟的提示。

但是我没有设置任何管道 - 我的 repo 中没有 gitlab-ci.yml 文件，新分支也没有。Gitlab 上项目的 CI/CD 选项卡下没有作业或计划。那么为什么有一个标记说分支在管道中失败了呢？