标签: pipeline

pipeline文档比较分散，如何使用circle ci语言中的概念有点难以理解？另外，管道和管道变量的意义是什么？

以下文档很有用，但还不足以让我弄清楚它们的实际工作原理：

• https://circleci.com/docs/2.0/pipelines
• https://circleci.com/docs/2.0/build-processing（启用管道）
• https://circleci.com/docs/2.0/pipeline-variables/#conditional-workflows（管道变量和条件工作流程）
• https://circleci.com/docs/api/v2/#circleci-api-pipeline（管道 API 文档）

我的管道有 3 个阶段，所有 3 个阶段中的每个作业都创建一个 xml 数据文件。这些作业并行运行。

我想在第四阶段合并所有 xml 数据文件。下面是我的yml代码

stages:
  - deploy
  - test
  - execute
  - artifact
script:
   - XYZ
artifacts:
  name: datafile.xml
paths:
  - data/

问题：我如何收集以前作业中的所有 xml 来合并它？文件名是唯一的。

以下是与问题相关的部分代码。如果需要完整代码，这里有一个完整的可重现代码，也可以下载数据： https: //github.com/ageron/handson-ml2/blob/master/02_end_to_end_machine_learning_project.ipynb

我有一个管道：

prepare_select_and_predict_pipeline = Pipeline([
    ('preparation', full_pipeline),
    ('feature_selection', TopFeatureSelector(feature_importances, k)),
    ('svm_reg', SVR(**rnd_search.best_params_))
])

现在，我只想执行上面管道中的这一部分：

('preparation', full_pipeline),
('feature_selection', TopFeatureSelector(feature_importances, k)),

我尝试过prepare_select_and_predict_pipeline.fit(housing, housing_labels)，但它也执行 SVM 部分。

最后，我需要从上面的管道中获得与执行下面的代码相同的结果：

preparation_and_feature_selection_pipeline = Pipeline([
    ('preparation', full_pipeline),
    ('feature_selection', TopFeatureSelector(feature_importances, k))
])

housing_prepared_top_k_features = preparation_and_feature_selection_pipeline.fit_transform(housing)

我怎样才能做到这一点？

当我查找 sklearn.Pipeline 中的步骤如何准备仅在某些列上操作时，我从stackoverflow 上的这个答案中偶然发现了sklearn.Pipeline.FeatureUnion。但是，我不太清楚如何不对我不想要的列应用任何内容并将完整的数据传递到下一步。例如，在我的第一步中，我只想应用于某些列，可以使用下面所示的代码来完成，但问题是下一步将只有标准缩放的列。如何在下一步中获得完整的数据以及上一步中标准缩放的列？StandardScaler

这是一些示例代码：

from sklearn.pipeline import Pipeline, FeatureUnion, make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.neighbors import KNeighborsClassifier

class Columns(BaseEstimator, TransformerMixin):
    def __init__(self, names=None):
        self.names = names

    def fit(self, X, y=None, **fit_params):
        return self

    def transform(self, X):
        return X[self.names]


pipe = Pipeline([
    # steps below applies on only some columns
    ("features", FeatureUnion([
        ('numeric', make_pipeline(Columns(names=[list of numeric column names]), StandardScaler())),
    ])),
    ('feature_engineer_step1', FeatEng_1()),
    ('feature_engineer_step2', FeatEng_2()),
    ('feature_engineer_step3', FeatEng_3()),
    ('remove_skew', Skew_Remover()),

    # …

这是我第一次使用 Net Core 和 MongoDB 创建系统，我通过将控制器中的所有输入参数发送到服务层以从数据库进行查询，成功地构建了具有排序和分页功能的完全可用的 CRUD。

这是我的“获取操作”的输入参数...

 **public IActionResult Get(string userID, string sellerID, DateTime? dateFrom, DateTime? dateTo, string search, string sortValue, string filter, int offset = 0, int limit = 10)**

我成功创建了 FilterdefinitionBuilder 和 SortDefinitionBuilder

**//MongoDB Definition Builder
#region MongoDB Definition builder
FilterDefinitionBuilder<OrderModel> filterBuilder = Builders<OrderModel>.Filter;
FilterDefinition<OrderModel> filterDefinition = filterBuilder.Empty;
             
SortDefinitionBuilder<OrderModel> sortBuilder = Builders<OrderModel>.Sort;
SortDefinition<OrderModel> sortDefinition = sortBuilder.Ascending(x => x.ID);
#endregion**

#例子1

**if (sortValue.ToUpper() == "DESC")
{
     sortDefinition = sortDefinition.Descending(x => x.ID);
}**

#示例2

**//验证日期范围

#region dateFrom and dateTo …

我有下面的管道。创建合并请求后，创建了状态为失败的分离合并请求管道（app1 - 无阶段/作业）。在以下管道的范围内，需要在创建合并请求时以及合并更改 main 后运行管道。这里描述的流程Gitlab CI Child pipeline 下面的管道不起作用。

workflow:
    rules:
        - if: '$CI_PIPELINE_SOURCE == "schedule"'
        - if: '$CI_PIPELINE_SOURCE == "web"'
        - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'
        - if: '$CI_PIPELINE_SOURCE == "push"'

stages:
    - child-pipelines

app1:
    stage: child-pipelines
    variables:
        COMPONENT NAME: 'app1'
    trigger:
        include:
        - local: .ci/.gitlab-ci.yml
        strategy: depend
    rules:

        - if: $CI_PIPELINE_SOURCE == "merge_request_event"
          changes:
            - test1/**/*
          variables:
            DEPLOY_RELEASE: '11111'

        - if : '$CI_PIPELINE_SOURCE == "push" && $CI_COMMIT_BRANCH == "main"'
          changes:
            - test1/**/*
          variables:
            DEPLOY_RELEASE: '222222' …