小编Sub*_*evn的帖子

MapReduce shuffle/sort方法

有点奇怪的问题,但是有谁知道MapReduce在shuffle/sort的排序部分使用什么类型的排序?我认为合并或插入(与整个MapReduce范例保持一致),但我不确定.

hadoop mapreduce hdfs

10
推荐指数
1
解决办法
3443
查看次数

"Session"vs"Channel"(JSch和sshd)

我希望使用JSch将小文件(在未知时间和未知数量)从一台服务器移动到另一台服务器 - 不幸的是,我试图为每次转移打开一个会话,这很快就被轰炸了(因为MaxSessions是我猜的10?) .

然后我用JSch打开了一个会话(每个主机),只为每个动作创建一个通道(一个发送会创建一个通道,放置文件,关闭通道),但我遇到了同样的事情(当试图这样做时)一次10个或更多,我会得到拒绝连接,因为当另一个请求通过时,一些频道仍在关闭).

所以我看了sshd_config,并发现他们有一个MaxSessions属性,这在这里非常有用 - 但它让我想知道,是不是MaxChannelsPerSession属性,或者我对JSch称之为" channel"和什么是实际的SSH频道.

我使用的是最新版本的JSch,截至20120316.

(最重要的是,我应该在网站的不同位置发布这个吗?这编程有关,但我猜是系统管理员的一部分......)

ssh jsch sshd

6
推荐指数
1
解决办法
7758
查看次数

存储基类指针的C++向量

好的,情况:我使用的是一个我无法控制的库,它有一个方法createSomeObject().这个方法返回一个指向具有纯虚函数的抽象基类的指针,它没有复制构造函数,所以我不能自己实例化它,也不能复制它(显然).

我需要在向量中存储一些数字(比如说10个),所以我尝试执行以下操作:

vector<AbstractBaseClass*> v(10);

for(int i = 0; i < 10; i++)
{
    v.push_back(library->createSomeObject());
}
Run Code Online (Sandbox Code Playgroud)

一旦这个循环结束,向量就会被破碎的指针填充.

我尝试过以下方法:

vector<AbstractBaseClass*> v(10);

for(int i = 0; i < 10; i++)
{
    AbstractBaseClass* abc = library->createSomeObject();
    v.push_back(abc);
}
Run Code Online (Sandbox Code Playgroud)

无济于事.我必须疯狂或在这里做一些严重的错误.我环顾四周,但答案总是使用boost :: shared_ptr.可能是一个很好的解决方案,但是我不能保证它将会在这些将被构建的机器上,所以我想避免使用代码包装Boost.

有什么我想念的吗?我觉得好像忘记一些简单的事情,因为我无法想到其中一个不起作用的原因.

c++ pointers stl vector

2
推荐指数
1
解决办法
1068
查看次数

Python std.stdout.write循环问题

我不确定这里发生了什么,但我有一些python代码:

import sys

max_cols = 350
max_rows = 1
r1 = range(max_rows)
r2 = range(max_cols)

for y in r1:
    for x in r2:
        sys.stdout.write('something')
        if x is not max_cols-1:
            sys.stdout.write(',')
Run Code Online (Sandbox Code Playgroud)

现在,这适用于max_cols <= 257的值.但是,如果使用> = 258,最后会得到额外的','.(这里的想法显然是生成一个CSV文件.)

现在,256是一个CS编号,因此这里显然有一些我不知道的事情,因为在此之前一切都完美无缺.当我尝试使用相同的模式写入文件时,也会发生这种情况.

为什么会这样?

使用Python 3.2.

python python-3.x

-1
推荐指数
1
解决办法
620
查看次数

标签 统计

c++ ×1

hadoop ×1

hdfs ×1

jsch ×1

mapreduce ×1

pointers ×1

python ×1

python-3.x ×1

ssh ×1

sshd ×1

stl ×1

vector ×1