标签: pipeline

在shell(bash)中如何在管道中执行多个命令?

我正在尝试在Bash shell中同时通过多个命令输出awk命令的输出,据我所知,我想出了这个:

awk '$13 ~ /type/ {print $15}' filename.txt | (wc -l || sort -u)
Run Code Online (Sandbox Code Playgroud)

我希望awk命令的结果都被计算和排序,我该如何实现?即使使用&&命令它也不起作用,它会执行第一个命令然后退出.我想这是我对bash失败的了解.

提前致谢.

bash shell awk pipeline

4
推荐指数
1
解决办法
431
查看次数

Sitecore外部数据库集成

在Sitecore项目中"集成"外部SQL数据库时,这是一种好方法和良好实践.

Sitecore项目将从该外部数据库中获取大量内容,该外部数据库在其他地方维护,并且不断更新.(所以复制外部数据库或同步,并不是真正的首选,我们也没有计划丰富数据)

是否有一些方法可以在Sitecore和外部数据库之间定义一些对象和"管道"(比如说不必使用太多的web服务)

database pipeline sitecore

4
推荐指数
1
解决办法
1446
查看次数

Unix tr命令将小写转换为大写,并将大写转换为小写

所以我一直在搜索,并使用命令tr可以将小写转换为大写,反之亦然。但是有办法一次做到这两个吗?

所以:

$ tr'[:upper:]''[:lower:]'或$ tr AZ az

会变成:“ Hello World ABC”改为“ Hello World abc”

但我希望它做:“ hello worLD abc”

请帮忙!=)

unix pipeline tr

4
推荐指数
1
解决办法
2万
查看次数

Jenkins 中的模板工作流

每个 jenkins 管道都做几乎相同的事情——至少在一个拥有多个项目的小团队中。

构建(从同一个源代码仓库)--> 运行测试 --> 发布工件(到同一个工件仓库)

我们正在创建许多新项目,它们都有非常相似的生命周期。是否可以创建一个模板管道,我可以从中创建具体的管道并对作业进行必要的更改?

pipeline jenkins

4
推荐指数
1
解决办法
3197
查看次数

如何在嵌入式文档数组上使用 $geoNear?

我的文档结构如下:

{ agency_key : '',
  route_id: '',
  direction_id: '',
  stops: [ 
           {stop_id:15, 
            stop_lat: '',
            stop_lon: '',
            loc: [-83.118972, 42, 121567]
            },
            {...
            }
          ]
}
Run Code Online (Sandbox Code Playgroud)

我想在集合中的每个文档的给定距离内找到靠近给定 (lat,lon) 对的停靠点。我创建了二维索引。我尝试了 $unwind,然后是 $geoNear,但它说 $geoNear 只能在管道的第一阶段。我试过这个:

db.tm_stops.aggregate([ 
... { 
...  $geoNear: { near: {coordinates: [-82.958841, 42.370114] },      distanceField: "stops.calculated", query: { agency_key: "DDOT"}, 
... includeLocs: "stops.loc" }
... }
... ])
Run Code Online (Sandbox Code Playgroud)

我尝试了以下方法:

 db.tm_stops.find({stops:{$near:[-82.958841, 42.370114], $maxDistance: 1 } } )
Run Code Online (Sandbox Code Playgroud)

它抛出这个错误:

error: {
    "$err" : "Unable to execute query: error processing query: ns=gtfs.tm_stops limit=0 skip=0\nTree: …
Run Code Online (Sandbox Code Playgroud)

pipeline mongodb node.js aggregation-framework

4
推荐指数
1
解决办法
754
查看次数

如何将sklearn Pipeline与自定义功能一起使用?

我正在使用Python和sklearn进行文本分类。除了矢量化程序外,我还有一些自定义功能。我想知道是否可以将它们与sklearn Pipeline一起使用以及如何将功能堆叠在其中。

我目前没有管道的分类代码的简短示例。请告诉我,如果您发现其中有任何错误,将非常感谢您的帮助。是否可以通过某种方式在sklearn管道中使用它?我创建了自己的函数get_features(),该函数提取自定义功能,转换矢量化程序,缩放功能并最终将所有功能堆叠在一起。

import sklearn.svm
import re
from sklearn import metrics
import numpy
import scipy.sparse
import datetime
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.svm import SVC
from sklearn.svm import LinearSVC
from nltk.tokenize import word_tokenize, sent_tokenize
from sklearn.preprocessing import StandardScaler

# custom feature example
def words_capitalized(sentence):
    tokens = []
    # tokenize the sentence
    tokens = word_tokenize(sentence)

    counter = 0
    for word in tokens:

        if word[0].isupper():
            counter += 1

    return counter

# custom feature example
def words_length(sentence):
    tokens = []
    # tokenize the …
Run Code Online (Sandbox Code Playgroud)

python pipeline classification machine-learning scikit-learn

4
推荐指数
1
解决办法
3450
查看次数

如何从多步骤管道功能的每个步骤中获取中间结果?

我有一个代码如下:

this.GetItemTypeIdsAsListForOneItemTypeIdTreeUpIncludeItemType itemType.AutoincrementedId
|> Array.map (fun i -> i.AutoincrementedId)
|> Array.map (BusinessLogic.EntityTypes.getFullSetOfEntityTypeFieldValuesForItemTypeAid item.Autoincrementedid)
|> Array.fold Array.append [||]
|> Array.map (fun fv -> { fv with ReferenceAutoId = aid } )
|> Array.toSeq
|> Seq.distinctBy (fun fv -> fv.Fieldname)
|> Seq.toArray
Run Code Online (Sandbox Code Playgroud)

有时这样的代码得到了我需要解释的不寻常的结果.通常代码中没有错误.数据中存在错误.我需要解释为什么这个数据支持不正确.最好的方法是什么?

我只想看一下这个表达式每一步的列表.

就像是:

func data
|> func2 && Console.WriteLine
|> func3 && Console.WriteLine
....
Run Code Online (Sandbox Code Playgroud)

获取输入,将其拆分为两个.将其中一个输出传递给下一个函数,然后将第二个输出传递给控制台.

f# pipeline

4
推荐指数
1
解决办法
154
查看次数

R功能中的Magrittr管

从(1)速度和(2)有效调试的能力的角度来看,在某些情况下在R函数内部使用magrittr管道是否不利?

pipeline r magrittr

4
推荐指数
1
解决办法
766
查看次数

AttributeError: 'Pipeline' 对象没有属性 '_transfer_param_map_to_java'

我使用 pyspark.ml.tuning.CrossValidator 和 Pipline 来训练一个名为 cv_model 的 CrossValidatorModel,之后,我想保留模型,所以我使用 cv_model.save 来保存我的模型,但发生了错误? AttributeError: 'Pipeline' object没有属性 '_transfer_param_map_to_java' mycode

错误信息

我不知道如何解决错误。谢谢你的帮助!

python pipeline pyspark

4
推荐指数
1
解决办法
2520
查看次数

天蓝色管道中的组名变量可以是动态的吗?

我在 azure 上有两个环境。它们之间的区别之一只是来自变量组的环境变量。是否可以为一个管道动态设置组名,而不是设置两个可以映射自己的组变量的管道?这是我的构建管道的一个例子

trigger:
  - master
  - develop


jobs:

- job: DefineVariableGroups
   steps:
    - script: |
      if [ $(Build.SourceBranch) = 'refs/heads/master' ]; then
        echo "##vso[task.setvariable variable=group_name_variable;isOutput=true]beta_group"
      elif [ $(Build.SourceBranch) = 'refs/heads/develop' ]; then
        echo "##vso[task.setvariable variable=group_name_variable;isOutput=true]alpha_group"
      fi
    name: 'DefineVariableGroupsTask'
  - script: echo $(DefineVariableGroupsTask.group_name_variable)
    name: echovar # that works.

- job: Test
  dependsOn: DefineVariableGroups
  pool:
    vmImage: 'Ubuntu-16.04'
  variables:
    - group: $[ dependencies.DefineVariableGroups.outputs['DefineVariableGroupsTask.group_name_variable'] ]
    # that doesn't work. Error here
steps:
  - script: echo $(mode)
    displayName: 'test'
Run Code Online (Sandbox Code Playgroud)

yaml pipeline devops azure-devops azure-pipelines

4
推荐指数
1
解决办法
3970
查看次数