小编Mar*_*ard的帖子

Zombie进程vs Orphan进程

当父进程在子进程死后读取其退出状态时不使用等待系统调用时,会创建一个Zombie,并且当原始父进程在子进程终止时,孤立是由init回收的子进程.

在内存管理和进程表方面,这些进程的处理方式有何不同,特别是在UNIX中?

当僵尸或孤儿的创建可能对更大的应用程序或系统有害时,有什么例子或极端情况?

c unix fork zombie-process

52
推荐指数
5
解决办法
5万
查看次数

用于改变X和y的sklearn管道的自定义变换器

我想创建自己的变换器以与sklearn Pipeline一起使用.因此,我正在创建一个实现fit和transform方法的类.变压器的目的将是从具有比的NaN指定数目的多个矩阵中删除行.所以我面临的问题是如何更改传递给变压器的X和y矩阵?我相信这必须在fit方法中完成,因为它可以同时访问X和y.因为一旦我将X重新分配给具有较少行的新矩阵,python就会通过赋值传递参数,因此对原始X的引用将丢失(当然对于y也是如此).是否可以保留此参考?

我正在使用pandas DataFrame来轻松删除具有太多NaN的行,这可能不适合我的用例.当前代码如下所示:

class Dropna():

    # thresh is max number of NaNs allowed in a row
    def __init__(self, thresh=0):
        self.thresh = thresh

    def fit(self, X, y):
        total = X.shape[1]
        # +1 to account for 'y' being added to the dframe                                                                                                                            
        new_thresh = total + 1 - self.thresh
        df = pd.DataFrame(X)
        df['y'] = y
        df.dropna(thresh=new_thresh, inplace=True)
        X = df.drop('y', axis=1).values
        y = df['y'].values
        return self

    def transform(self, X):
        return X
Run Code Online (Sandbox Code Playgroud)

python numpy machine-learning data-analysis scikit-learn

10
推荐指数
3
解决办法
5924
查看次数

Python列表推导:将数组中的所有元素设置为0或1

我一直试图想出一个单行列表理解来执行以下操作:给定一个整数数组和一个整数,调用它int1,我想创建一个只有0和1的新数组,这样新的数组如果在原始数组中该位置有一个int1,则为1,否则为0.

有没有办法让真/假为1/0,如同在C?

array1 = [1,4,2,4,5,6,4,3]
array2 = [x == 4 for x in array1 ]
=> [False, True, False, True, False, False, True, False]
Run Code Online (Sandbox Code Playgroud)

python list-comprehension list

5
推荐指数
1
解决办法
4952
查看次数

在Airflow DAG中动态生成任务

我想使用Airflow生成客户报告,我希望有一个DAG遍历所有客户并启动一个任务来生成他们的报告。客户列表是由DAG中的第一个任务收集的,不能进行硬编码。

基本上,我有一个任务,该任务使用python运算符中的数据库挂钩来生成列表。然后对于列表中的每个项目,我想使用python运算符执行任务,并将该项目作为参数传递给python函数。我可以使用某种模式来实现这一目标吗?

python airflow

5
推荐指数
1
解决办法
1062
查看次数

Ada将Integer与String连接起来

我需要将一个字符串与一个整数连接起来以创建唯一的文件名.

    I: Integer := 1;
    Base: String := "file";
    Suffix: String := ".data";

    -- Want to create file name as "Base + I + Suffix"
    file_name := "file1.data"
Run Code Online (Sandbox Code Playgroud)

我该怎么做呢?

是否更容易使用Integer索引整数字符/字符串数组,然后将所有三个连接在一起?

ada string-concatenation type-conversion

1
推荐指数
2
解决办法
5394
查看次数

Unix排序产生错误的输出

我正在尝试通过以下方式测试hadoop流媒体作业的mapper和reducer函数:

    cat data.txt | python mapper.py | sort | python reducer.py
Run Code Online (Sandbox Code Playgroud)

但是映射器的排序输出不正确.

he the  1
i       1
i dog   1
i like  1
i'm     1
i'm rob 1
i'm the 1
i the   1 ### this should be after "i like 1" ###
lazy    1
Run Code Online (Sandbox Code Playgroud)

我让其他人在他们的机器上进行测试,他们使用相同的精确映射器函数和命令行执行获得正确的输出.所以我的Unix排序似乎出了问题.

如果这有帮助:

echo $TERM
> vt100 
Run Code Online (Sandbox Code Playgroud)

任何有关尝试或设置不同的建议都将非常感激.谢谢

python unix sorting hadoop

0
推荐指数
1
解决办法
120
查看次数