标签: pipeline

到目前为止我所拥有的

我已经为我的项目配置了 gitlab ci/cd 管道。所以我使用了基本模板，它有两个阶段，构建和打包：

构建阶段构建项目并创建一个 jar 文件。打包阶段创建一个镜像并将其存储在容器注册表中。.gitlab-ci.yml 文件已创建。

image: docker:latest
services:
  - docker:dind

stages:
  - build
  - package

build:
  image: gradle:5.6.1-jdk11
  stage: build
  script:
    - gradle clean build -x test
  artifacts:
    paths:
      - build/libs/*.jar

package:
  stage: package
  script:
    - docker build -t registry.gitlab.com/my-project/sample .
    - docker login -u $CI_DOCKER_USERNAME -p $CI_DOCKER_PASSWORD registry.gitlab.com
    - docker push rregistry.gitlab.com/my-project/sample

我的问题

我不想触发所有每个分支的构建。我只想在开发和主分支中触发。

无论如何，我们是否可以在项目级别做到这一点，而不是only在每个阶段添加？

我已经阅读了触发器詹金斯构建使用多分支管道创建标签的答案

错误是类似的，唯一的区别是问题是由于tag在发布时似乎不受支持。

我在 上遇到了这个错误branches，我已经分叉了存储库，所以我有一个upstream和一个origin，我推送到了两个，它显示分支在那里，但每当我推送任何代码时，它都不会触发。

以下是设置： 类型：Github Enterprise

我开始使用 Azure 机器学习服务。它有一个名为 Pipeline 的功能，我目前正在尝试使用它。然而，文档和示例中有些事情完全不清楚，我正在努力完全掌握这个概念。

1. 当我查看“批量评分”示例时，它是作为管道步骤实现的。这就提出了一个问题：这是否意味着“预测部分”与“训练部分”属于同一管道的一部分，或者是否应该有两个单独的管道？制作 1 个结合这两个步骤的管道对我来说似乎很奇怪，因为您不想每次对训练部分进行更改时都运行预测部分（反之亦然）。
2. 哪些部分应该作为管道步骤实现，哪些部分不应该实现？数据存储和数据集的创建是否应该作为一个步骤来实施？注册模型是否应该作为一个步骤来实施？
3. 任何地方都没有显示如何处理模型注册表。我在训练步骤中创建模型，然后将其作为 pickle 文件写入输出文件夹。然后呢？下一步如何获取模型？我应该将它作为 PipelineData 对象传递吗？train.py 本身应该负责注册训练好的模型吗？

该示例是完全可重现的。这是完整的笔记本（也下载数据）：https ://github.com/ageron/handson-ml2/blob/master/02_end_to_end_machine_learning_project.ipynb

在上面笔记本中的这部分之后：

full_pipeline_with_predictor = Pipeline([
        ("preparation", full_pipeline),
        ("linear", LinearRegression())
    ])

full_pipeline_with_predictor.fit(housing, housing_labels)
full_pipeline_with_predictor.predict(some_data)

我正在尝试使用以下代码获得对测试集的预测：

X_test_prepared = full_pipeline.transform(X_test)
final_predictions = full_pipeline_with_predictor.predict(X_test_prepared)

但我收到错误：

C:\Users\Alex\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\compose\_column_transformer.py:430: FutureWarning: Given feature/column names or counts do not match the ones for the data given during fit. This will fail from v0.24.
  FutureWarning)
---------------------------------------------------------------------------
Empty                                     Traceback (most recent call last)
~\AppData\Local\Continuum\anaconda3\lib\site-packages\joblib\parallel.py in dispatch_one_batch(self, iterator)
    796             try:
--> 797                 tasks = self._ready_batches.get(block=False)
    798             except queue.Empty:

~\AppData\Local\Continuum\anaconda3\lib\queue.py in get(self, block, timeout)
    166                 if not self._qsize():
--> 167                     raise …

我正在阅读这个官方 sklearn教程，如何创建用于文本数据分析的管道，并稍后将其用于网格搜索。但是，我遇到了一个问题，给定的方法不适用于这种情况。

我希望这段代码能够工作：

import numpy as np
import pandas as pd
from sklearn.pipeline import Pipeline
from mlxtend.feature_selection import ColumnSelector
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import BernoulliNB
from sklearn.feature_extraction.text import TfidfVectorizer


df_Xtrain = pd.DataFrame({'tweet': ['This is a tweet']*10,
                          'label': 0})
y_train = df_Xtrain['label'].to_numpy().ravel()

pipe = Pipeline([
    ('col_selector', ColumnSelector(cols=('tweet'))),
    ('tfidf', TfidfTransformer()),
    ('bernoulli', BernoulliNB()),
])


pipe.fit(df_Xtrain,y_train)

这段代码的工作原理：

import numpy as np
import pandas as pd
from sklearn.pipeline import Pipeline
from mlxtend.feature_selection import ColumnSelector
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import …

我使用 Sonarqube Server Community EditionVersion 8.4.1（内部版本 35646）和 Jenkins Server 2.235.5 进行测试。两者都在同一台机器上。

我尝试按照一些教程在我的 Jenkins Pipeline 中实现 Sonarqube 功能。

这是我定义 Sonarqube 实现的管道阶段/步骤：

当我想在 Sonarqube 中定义 Webhook 时，会出现以下消息：

我已经尝试使用其他名称更新 Windows 主机文件，但没有工作:(

最近有人建议我将机器学习框架更改为 mlr3。但我发现过渡比我一开始想象的要困难一些。在我当前的项目中，我正在处理高度不平衡的数据，我希望在训练模型之前对其进行平衡。我发现这个教程解释了如何通过管道和图形学习器处理不平衡：

https://mlr3gallery.mlr-org.com/posts/2020-03-30-imbalanced-data/

恐怕这种方法也会通过新数据预测来执行类平衡。我为什么要这样做并减少我的测试样本？

所以出现的两个问题是：

1. 我在测试数据中不平衡类别是否正确？
2. 如果是这样，mlr3中有没有办法做到这一点？

当然，我可以手动对训练数据进行子集化并自己处理不平衡问题，但这不再有趣了！:)

无论如何，感谢您的回答，
干杯！

我想在 Jenkins 脚本管道中定义一个全局变量，可以在管道中的任何位置访问该变量。即任何阶段、任何方法。如果我在管道顶部定义 var，它可以在声明node和stage声明中工作，但不能在被调用的方法中工作。我不想使用 env.XXX 和 withEnv([]) 因为我可能必须从不同的地方调用这些方法，这意味着有时会使用 env，而不是其他的。

这是我用于脚本化管道的简单 JenkinsFile：

def jenkinsNode = 'linux'
def DEBUG = 1

node(jenkinsNode){
  echo ">> node($jenkinsNode)"
  echo "DEBUG = $DEBUG"

  if (DEBUG) {
    echo "DEBUG is On"}
  else {
    echo "DEBUG is Off"
  }

  stage('test-this') {
    if (DEBUG) {
      echo "DEBUG is On"}
    else {
      echo "DEBUG is Off"
    }

    testMethod()
  }
  echo "<< node($jenkinsNode)"
}

def testMethod() {
  echo ">> testMethod()"

  if (DEBUG) {
    echo "DEBUG is On"} …