标签: pipeline

在帕特森和轩尼诗书中:

但这不能作为EX危险处理:

为什么在MEM阶段完成转发？如何？有1个档位(第二个添加,我需要在下一个EX中使用EX的结果)？

如何通过管道立即捕获ping命令的输出？

这是我的代码:

int main ()
{
    FILE *cmd = popen ( "ping -c 3 google.com | grep icmp", "r" );//ping google
    char *s = malloc ( sizeof ( char ) * 200 );
    while ( 1 )
    {
            fgets ( s, sizeof ( char )*200, cmd );
            printf ( "%s", s);//show outcome
            if ( strstr ( s, "icmp_req=3" ) != 0 )
                    break;
    }
    pclose ( cmd );
    return 0;
}

程序完成后,将同时显示输出.但我想在程序执行时立即读取输出.

           from mlxtend.regressor import StackingRegressor
           from sklearn.ensemble.forest import RandomForestRegressor as RFR
           from sklearn.ensemble import GradientBoostingRegressor as GBR
           import xgboost as xgb

            rfr = RFR(n_estimators=500, n_jobs=cc.ncpu, random_state=0)
            gbr = GBR(n_estimators=1000, random_state=0)
            xgr = xgb.XGBRegressor()
            mtr = RFR()  # meta regressor             
            regressors = [rfr, gbr, xgr]
            model = StackingRegressor(regressors=regressors, meta_regressor=mtr)
            param_grid = {
                'fs__threshold': ['median'],
                'fs__estimator__max_features': ['log2'],
                'clf__rfr__max_features': ['auto', 'log2'],
                'clf__gbr__learning_rate': [0.05, 0.02, 0.01],
                'clf__gbr__max_depth': [4, 5, 6, 7],
                'clf__gbr__max_features': ['auto', 'log2'],
                'clf__gbr__n_estimators': [500, 1000, 2000],
                'clf__xgr__learning_rate': [0.001, 0.05, 0.1, 0.2],
                'clf__xgr__max_depth': [2, …

我有一个很大的管道，需要几个小时才能运行。其中一小部分需要经常运行，如何在不触发整个管道的情况下运行它？

我不确定为什么这个管道会中断，我已经根据网站的确切说明在 Linux 上安装了 gstreamer，有什么想法吗？

gst-launch-1.0 v4l2src device=/dev/video0 ! videoscale ! video/x-raw, width=2592, height=600 ! autovideosink -v
Setting pipeline to PAUSED ...
Pipeline is live and does not need PREROLL ...
Setting pipeline to PLAYING ...
ERROR: from element /GstPipeline:pipeline0/GstV4l2Src:v4l2src0: Internal data stream error.
Additional debug info:
gstbasesrc.c(3055): gst_base_src_loop (): /GstPipeline:pipeline0/GstV4l2Src:v4l2src0:
streaming stopped, reason not-negotiated (-4)
Execution ended after 0:00:00.000093207
Setting pipeline to PAUSED ...
Setting pipeline to READY ...
Setting pipeline to NULL ...
Freeing pipeline ...

如果我把它改成：

gst-launch-1.0 v4l2src …

考虑使用以下 sklearn Pipeline：

pipeline = make_pipeline(
    TfidfVectorizer(),
    LinearRegression()
)

我已经进行了TfidfVectorizer预训练，所以当我打电话时pipeline.fit(X, y)我只想LinearRegression进行安装，而不想重新安装TfidfVectorizer。

我能够提前应用转换并适应LinearRegression转换后的数据，但在我的项目中，我的管道中有很多变压器，其中一些经过预训练，有些则没有，所以我正在寻找一种不围绕 sklearn 估计器编写另一个包装器并保持在一个对象的范围内Pipeline。

在我看来，它应该是估计器对象中的一个参数，代表在调用.fit()如果对象已经安装时不重新安装对象。

一般来说，我们会df.drop('column_name', axis=1)删除DataFrame中的一列。我想将此变压器添加到管道中

例子：

numerical_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='mean')),
                                     ('scaler', StandardScaler(with_mean=False))
                                     ])

我该怎么做？

我正在使用 titanic.csv 数据集，其中我尝试使用列传输和管道，而在使用 pipeline.predict(x_test) 时我收到错误。这是我的代码。

titanic={'sex':['M','M','M','F','F','M','F','F','M','M'],
     'Pclass':[2,2,2,1,1,2,3,1,3,3],
     'age':[58,45,20,27,38,43,40,35,60,72],
     'embarked':['s','c','c','s','s','s','s','s','c','c'],
     'survived':[1,0,1,0,1,1,1,1,0,0]
    }
df=pd.DataFrame(data=titanic)
x=df.drop(['survived'],axis=1)
y=df.survived
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y)

col_tra_1=ColumnTransformer([
('trf1',SimpleImputer(),['Pclass','age'])
],remainder='passthrough')

col_tra_2=ColumnTransformer([
('ohe1',OneHotEncoder(sparse=False, handle_unknown='ignore'),['sex','embarked'])
],remainder='passthrough')

col_tra_3=ColumnTransformer([
    ('scale',MinMaxScaler(),['Pclass','age'])
],remainder='passthrough')


   model=DecisionTreeClassifier()
from sklearn.pipeline import Pipeline, make_pipeline
pipe = Pipeline([
    ('col_tra_1',col_tra_1),
    ('col_tra_2',col_tra_2),
    ('col_tra_3',col_tra_3),
    ('model',model)
])
   pipe.fit(x_train,y_train)

之后我收到错误： ValueError: 仅 pandas DataFrames 支持使用字符串指定列。

如果我使用索引而不是列名，我会收到不同的错误：ValueError：无法对非数字数据使用均值策略：无法将字符串转换为浮点数：'F'

我已将管道转移到“无阶段”管道，只需使用needs规则并删除所有stage声明即可。

这一切都工作正常，但我注意到我的所有工作现在都出现在一个名为“测试”的阶段下。

这不是一个功能问题，但它确实让开发人员质疑为什么会出现这种情况。有什么方法可以使用云托管的 GitLab 更改此默认阶段名称吗？

是不是就像将所有作业设置stage为相同的值一样简单？看起来有点像黑客，与“stage从 .gitlab-ci.yml 中删除所有关键字”的说明相反。

我对此很陌生，但我继承了一个项目，其中运行时构建是使用 dockerfile 和如下命令创建的：

# Build runtime image

FROM microsoft/dotnet:2.2-aspnetcore-runtime-alpine

RUN echo "http://dl-4.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories;

RUN apk update && apk add libgdiplus

RUN apk add --no-cache icu-libs

gitlab 管道显示了这一点：

Step 15/20 : RUN apk update && apk add libgdiplus

96 ---> Running in 95f8ebccb602

97fetch http://dl-cdn.alpinelinux.org/alpine/v3.10/main/x86_64/APKINDEX.tar.gz

98fetch http://dl-cdn.alpinelinux.org/alpine/v3.10/community/x86_64/APKINDEX.tar.gz

99fetch http://dl-4.alpinelinux.org/alpine/edge/testing/x86_64/APKINDEX.tar.gz

100ERROR: http://dl-4.alpinelinux.org/alpine/edge/testing: UNTRUSTED signature

101WARNING: Ignoring APKINDEX.24c95890.tar.gz: No such file or directory

102v3.10.9-43-g3feb769ea3 [http://dl-cdn.alpinelinux.org/alpine/v3.10/main]

103v3.10.6-10-ged79a86de3 [http://dl-cdn.alpinelinux.org/alpine/v3.10/community]

1041 errors; 10355 distinct packages available

105Service 'api' failed to build: The command '/bin/sh -c …