标签: pipeline

scrapy文档中有这样的信息：

\n

激活项目管道组件

\n\n

要激活项目管道组件，您必须将其类添加到\n ITEM_PIPELINES 设置，如以下示例所示：

\n\n

ITEM_PIPELINES = {\n \'myproject.pipelines.PricePipeline\': 300,\n \'myproject.pipelines.JsonWriterPipeline\': 800, }

\n\n

您在此设置中分配给类的整数值决定了它们运行的​​顺序 - 项目从顺序号低到高的顺序通过管道。通常将这些数字定义在 0-1000 范围内。

\n

我不明白最后一段，主要是“确定它们运行的​​顺序-项目从顺序号低到高的顺序通过管道”，你能换句话解释一下吗？选择这些数字的原因是什么？范围是0-1000如何选择值？

我有两个列表 key= [k0,k1, ....kn] vals= [v0,v1, ....vn]

我可以通过以下多个步骤在 Redis 上设置这些键值： for i in range(0,len(keys)): redis_con.set(keys[i], vals[i]) 但这是多个设置操作。我如何在一个异步步骤中完成此操作？

我正在尝试使用 gstreamer pipleine 在 OpenCV 中打开 IP 摄像头。我可以在终端中使用 Gstreamer 打开 IPcamera，使用：

gst-launch-1.0 -v rtspsrc location="rtsp://192.168.0.220:554/user=admin&password=admin&channel=1&stream=0.sdp?real_stream--rtp-caching=10" latency=10 ! rtph264depay ! h264parse ! omxh264dec ! videoconvert ! xvimagesink

现在有了这个，我如何在 OpenCV 中打开相同的相机videoCapture()。

任何帮助表示赞赏。

我正在访问RTSPVIRB 360 摄像机的视频流。我可以使用以下gstreamer命令播放流：

gst-launch-1.0 -v playbin uri=rtsp://192.168.0.1/livePreviewStream?maxResolutionVertical=720\&liveStreamActive=1

但是，流式传输存在3 秒的延迟，需要消除该延迟。上述命令的输出（由于-v）已上传至此处。我还按照此问题/答案.svg中描述的方法为管道创建了一些文件。这些文件已上传至此处。我相信并代表完整的管道（多个文件是由单个管道生成的，这就是多个文件的原因）。在文件中，可以看到下面有一个.mypipeline4.svgmypipeline5.svgdot.svg.svglatency=2000rtpjitterbuffer

计划是通过手动添加组件而不是使用 来构建相同的管道playbin，然后设置 的延迟属性rtpjitterbuffer。我尝试过以下命令：

1）gst-launch-1.0 rtspsrc location=rtsp://192.168.0.1/livePreviewStream?maxResolutionVertical=720\&liveStreamActive=1 ! udpsrc ! rtpsession ! rtpssrcdemux ! rtpjitterbuffer ! rtpptdemux ! queue ! udpsink ! queue ! rtph264depay ! h264parse ! omxh264dec ! playsink

2）gst-launch-1.0 rtspsrc location=rtsp://192.168.0.1/livePreviewStream?maxResolutionVertical=720\&liveStreamActive=1 ! udpsrc ! rtpsession ! rtpssrcdemux ! rtpjitterbuffer ! rtpptdemux …

我在使用从管道获取值时遇到一些问题ValueFromPipelineByPropertyName。

当我运行Get-Input -ComputerName 'PC-01' | Get-Datacmdlet时Get-Input，应仅返回计算机名称“PC-01”，而该Get-Data函数应返回“从 Get-Input 传递的值：PC-01”。相反，我收到此错误：

Get-Data ：输入对象不能绑定到命令的任何参数
要么是因为该命令不采用管道输入，要么是输入及其
属性与采用管道输入的任何参数都不匹配。
行：1 字符：33
+ 获取输入-计算机名 PC-01 | 获取数据
+ ~~~~~~~~~
    + CategoryInfo : InvalidArgument: (PC-01:PSObject) [获取数据]，ParameterBindingException
    + FullQualifiedErrorId ：InputObjectNotBound，获取数据

我构建了这两个小示例 cmdlet，只是为了掌握使用管道的窍门。

function Get-Input {
    [CmdletBinding()]
    Param(
        [Parameter(
            Mandatory = $true,
            ValueFromPipelineByPropertyName = $true
        )]
        [string]$ComputerName
    )

    Process {
        Write-Output -InputObject $ComputerName
    }
}

function Get-Data {
    [CmdletBinding()]
    Param(
        [Parameter(
            Mandatory = $true,
            ValueFromPipelineByPropertyName = $true
        )]
        [string]$ComputerName
    )

    Process {
        Write-Output …

我知道有五个阶段 -> IF、ID、EX、MEM、WB。并且时钟周期由最长的阶段决定。我不明白的是，当有一条指令未使用所有阶段时会发生什么，例如添加不需要 MEM 阶段的指令，并假设时钟周期为 200ps，所以它意味着对于使用所有阶段的指令，执行需要 1000ps。执行不使用 MEM stege 的指令是否需要同样的 1000ps（这意味着浪费了 200ps）？谢谢！

我看到的使用 spacy 的所有示例都只是在单个文本文件（尺寸很小）中读取。如何将文本文件语料库加载到 spacy 中？

我可以通过腌制语料库中的所有文本来使用 textacy 来做到这一点：

docs =  textacy.io.spacy.read_spacy_docs('E:/spacy/DICKENS/dick.pkl', lang='en')

for doc in docs:
    print(doc)

但我不清楚如何使用这个生成器对象（文档）进行进一步分析。

另外，我宁愿使用 spacy，而不是 textacy。

spacy 也无法读取单个大文件（~ 2000000 个字符）。

任何帮助表示赞赏...

拉维

我看到 BigQuery 有一个内置的 I/O 连接器，但我们的很多数据都存储在 Snowflake 中。是否有连接到 Snowflake 的解决方法？我唯一能想到的就是使用 sqlalchemy 运行查询，然后将输出转储到 Cloud Storage Bucket，然后 Apache-Beam 可以从存储在 Bucket 中的文件中获取输入数据。

我们可以同时使用NOPs数据转发和停顿周期来解决数据和负载使用风险。但是，如果我们有多个数据危险，那么使用 解决所有这些危险会变得非常低效NOPs，因为它们会增加程序的运行时间。相比之下，如果我们有负载使用风险，我们可以使用数据转发和停顿周期来解决风险，并提供更有效的结果。我的问题是，与停顿周期相结合的数据转发如何成为处理数据危险的更有效方法NOPs？因为当我们添加一个停顿周期时，程序必须等待一个时钟周期以允许数据转发（MEMto EX）。因此时钟周期计数将增加 1。

我在 bitbucket 管道中有两个存储库，都启用了管道。

另一个管道完成后如何执行管道？