标签: pipeline

你如何在Bash中区分两个管道?

如何在不使用Bash中的临时文件的情况下区分两个管道?假设您有两个命令管道:

foo | bar
baz | quux
Run Code Online (Sandbox Code Playgroud)

而且你想diff在他们的输出中找到它们.一个解决方案显然是:

foo | bar > /tmp/a
baz | quux > /tmp/b
diff /tmp/a /tmp/b
Run Code Online (Sandbox Code Playgroud)

是否可以在Bash中不使用临时文件的情况下这样做?您可以通过在其中一个管道中管道来消除一个临时文件:

foo | bar > /tmp/a
baz | quux | diff /tmp/a -
Run Code Online (Sandbox Code Playgroud)

但是你不能同时将两个管道同时传输到diff中(至少不是以任何明显的方式).是否有一些聪明的技巧涉及/dev/fd不使用临时文件这样做?

bash diff pipeline

138
推荐指数
3
解决办法
3万
查看次数

如何修复“kex_exchange_identification:读取:对等方重置连接”?

我想scp使用 PRIVATE_KEY 在 GitLab 管道中复制数据。

错误是:

kex_exchange_identification: read: Connection reset by peer
Connection reset by x.x.x.x port 22
lost connection
Run Code Online (Sandbox Code Playgroud)

管道日志:

$ mkdir -p ~/.ssh

$ echo "$SSH_PRIVATE_KEY" | tr -d '\r' > ~/.ssh/id_rsa

$ chmod 600 ~/.ssh/id_rsa

$ eval "$(ssh-agent -s)"
Agent pid 22

$ ssh-add ~/.ssh/id_rsa
Identity added: /root/.ssh/id_rsa (/root/.ssh/id_rsa)

$ ssh-keyscan -H $IP >> ~/.ssh/known_hosts
# x.x.x.x:22 SSH-2.0-OpenSSH_7.2p2 Ubuntu-4ubuntu2.10
# x.x.x.x:22 SSH-2.0-OpenSSH_7.2p2 Ubuntu-4ubuntu2.10

$ scp -rv api.yml root@$IP:/home/services/test/

Executing: program /usr/bin/ssh host x.x.x.x, user root, …
Run Code Online (Sandbox Code Playgroud)

ssh pipeline scp sshd gitlab-ci

95
推荐指数
3
解决办法
36万
查看次数

在多个同步上游作业成功后,如何让Jenkins工作开始?

为了尽可能快地获得反馈,我们偶尔会希望Jenkins的作业能够并行运行.Jenkins能够在作业完成时启动多个下游作业(或"分叉"管道).但是,Jenkins似乎没有任何方法可以使下游作业只启动该fork的所有分支成功(或者将fork连接在一起).

Jenkins有一个"构建其他项目后构建"按钮,但我将其解释为"当任何上游作业完成时启动此作业"(不是"当所有上游作业成功时启动此作业").

这是我正在谈论的内容的可视化.有谁知道一个插件是否存在我做的事情? 构建管道


编辑:

当我最初在2012年发布这个问题时,Jason的答案(Join和Promoted Build插件)是最好的,而且我选择了解决方案.

然而,dnozay的回答(The Build Flow插件)在这个问题之后大约一年左右流行,这是一个更好的答案.对于它的价值,如果人们今天问我这个问题,我现在建议改为.

plugins continuous-integration pipeline build jenkins

70
推荐指数
4
解决办法
6万
查看次数

python中的功能管道,如R's dplyr中的%>%

在R(感谢magritrr)中,您现在可以通过更多功能管道语法执行操作%>%.这意味着不是编码:

> as.Date("2014-01-01")
> as.character((sqrt(12)^2)
Run Code Online (Sandbox Code Playgroud)

你也可以这样做:

> "2014-01-01" %>% as.Date 
> 12 %>% sqrt %>% .^2 %>% as.character
Run Code Online (Sandbox Code Playgroud)

对我来说,这更具可读性,这扩展到数据框之外的用例.python语言是否支持类似的东西?

python functional-programming pipeline

63
推荐指数
12
解决办法
2万
查看次数

Gitlab 管道 - 报告配置包含未知键:cobertura

由于此错误,我无法运行 gitlab 管道

Invalid CI config YAML file
jobs:run tests:artifacts:reports config contains unknown keys: cobertura
Run Code Online (Sandbox Code Playgroud)

pipeline cobertura gitlab gitlab-ci

42
推荐指数
2
解决办法
3万
查看次数

如何从stdin中提取tar存档?

我有一个大的tar文件split.是否可以cat使用管道来解压缩文件.

就像是:

cat largefile.tgz.aa largefile.tgz.ab | tar -xz
Run Code Online (Sandbox Code Playgroud)

代替:

cat largefile.tgz.aa largfile.tgz.ab > largefile.tgz
tar -xzf largefile.tgz
Run Code Online (Sandbox Code Playgroud)

我一直在四处寻找,但我找不到答案.我想看看是否有可能.

stdin pipeline pipe tar

39
推荐指数
1
解决办法
4万
查看次数

需要对账户 xxx 执行 AWS 调用,但尚未配置凭证

我正在尝试使用cdk deploy my-stack 将我的堆栈部署到 aws 。在我的终端窗口中执行此操作时,它工作得很好,但是当我在管道中执行此操作时,我收到此错误:Need to Perform AWS requests for account xxx, but nocredentials has beenconfigured。我已运行aws configure并为我使用的 IAM 用户插入了正确的密钥。

再说一遍,它仅在我在终端中手动执行时才有效,但在管道执行时无效。有人知道我为什么会收到此错误吗?

pipeline amazon-web-services aws-cdk

33
推荐指数
2
解决办法
4万
查看次数

如何确定WPF是使用硬件还是软件渲染?

我在各种平台上对WPF应用程序进行基准测试,我需要一种简单的方法来确定WPF是使用硬件还是软件渲染.

我好像回忆起一个确定这个问题的电话,但现在不能把它放在手上.

另外,是否有一种简单的,基于代码的方式来强制一个渲染管道而不是另一个?

wpf rendering pipeline

31
推荐指数
4
解决办法
3万
查看次数

双问题处理器究竟是什么?

我遇到了几个关于双问题处理器概念的引用(我希望这句话在一个句子中有意义).我无法找到究竟是什么双重问题的任何解释.Google为我提供了微控制器规范的链接,但这个概念在任何地方都没有解释.这是这种参考的一个例子.我在找错了地方吗?关于它是什么的简短段落将非常有帮助.

embedded arm pipeline cpu-architecture

30
推荐指数
1
解决办法
1万
查看次数

如何从CrossValidatorModel中提取最佳参数

我想ParamGridBuilder在Spark 1.4.x中找到CrossValidator中最佳模型的参数,

在Spark文档中的Pipeline示例中,它们通过在管道中使用来添加不同的参数(numFeatures,regParam)ParamGridBuilder.然后通过以下代码行创建最佳模型:

val cvModel = crossval.fit(training.toDF)
Run Code Online (Sandbox Code Playgroud)

现在,我想知道从中产生最佳模型的参数(numFeatures,regParam)是什么ParamGridBuilder.

我已经使用了以下命令但没有成功:

cvModel.bestModel.extractParamMap().toString()
cvModel.params.toList.mkString("(", ",", ")")
cvModel.estimatorParamMaps.toString()
cvModel.explainParams()
cvModel.getEstimatorParamMaps.mkString("(", ",", ")")
cvModel.toString()
Run Code Online (Sandbox Code Playgroud)

有帮助吗?

提前致谢,

pipeline scala cross-validation apache-spark apache-spark-mllib

27
推荐指数
2
解决办法
1万
查看次数