小编hat*_*ick的帖子

我搜索过并没有找到与Hadoop Datanode进程相关的很多信息,因为超出GC开销限制而死亡,所以我想我会发一个问题.

我们正在运行一个测试,我们需要确认我们的Hadoop集群可以处理其上存储了大约300万个文件(目前是一个4节点集群).我们使用的是64位JVM,我们已经为namenode分配了8g.但是,当我的测试程序将更多文件写入DFS时,数据节点开始因此错误而消失:线程中的异常"DataNode:[/ var/hadoop/data/hadoop/data]"java.lang.OutOfMemoryError:超出GC开销限制

我看到一些关于某些选项的帖子(并行GC？)我猜这可以在hadoop-env.sh中设置但是我不太确定语法而且我是一个新手,所以我不太喜欢怎么做的.感谢您的帮助!

我正在尝试编写一个java程序,它将通过ssh连接并在工作的服务器上做一些事情(redhat linux).我的盒子是窗户.我读到了sshj,我正试图让这个例子起作用.我已经完成了大多数依赖项,现在我在处理公钥/私钥时出错了,不幸的是我也不太了解(是的,这是一个完美的新手风暴!).这是错误:

例外在线程"主" net.schmizz.sshj.transport.TransportException:[HOST_KEY_NOT_VERIFIABLE]无法验证ssh-rsa与指纹主机密钥5f:d6:94:00:9e:ec:7e:34:6d:d0:d3:76:df:5e:dd:3d用于myserver在端口22

这是代码:

import net.schmizz.sshj.SSHClient;
import net.schmizz.sshj.common.IOUtils;
import net.schmizz.sshj.connection.channel.direct.Session;
import net.schmizz.sshj.connection.channel.direct.Session.Command;

import java.io.IOException;
import java.util.concurrent.TimeUnit;

/** This examples demonstrates how a remote command can be executed. */
public class sshBuddy {

    public static void main(String... args)
            throws IOException {
        final SSHClient ssh = new SSHClient();
        ssh.loadKnownHosts();
        //ssh.addHostKeyVerifier("5f:d6:94:00:9e:ec:7e:34:6d:d0:d3:76:df:5e:dd:3d");

        ssh.connect("myserver");
        try {
            ssh.authPublickey(System.getProperty("myusername"));
            final Session session = ssh.startSession();
            try {
                final Command cmd = session.exec("ping -c 1 google.com");
                System.out.println(IOUtils.readFully(cmd.getInputStream()).toString());
                cmd.join(5, TimeUnit.SECONDS);
                System.out.println("\n** exit status: …