小编db4*_*b42的帖子

python中的Hadoop Streaming Job失败错误

本指南中,我已经成功运行了样本练习.但是在运行我的mapreduce作业时,我 从日志文件中收到以下错误错误
ERROR streaming.StreamJob: Job not Successful!
10/12/16 17:13:38 INFO streaming.StreamJob: killJob...
Streaming Job Failed!

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:311)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
Run Code Online (Sandbox Code Playgroud)

Mapper.py

import sys

i=0

for line in sys.stdin:
    i+=1
    count={}
    for word in line.strip().split():
        count[word]=count.get(word,0)+1
    for word,weight in count.items():
        print '%s\t%s:%s' % (word,str(i),str(weight))
Run Code Online (Sandbox Code Playgroud)

Reducer.py

import sys

keymap={}
o_tweet="2323"
id_list=[]
for line in sys.stdin:
    tweet,tw=line.strip().split()
    #print tweet,o_tweet,tweet_id,id_list
    tweet_id,w=tw.split(':')
    w=int(w)
    if tweet.__eq__(o_tweet): …
Run Code Online (Sandbox Code Playgroud)

python hadoop mapreduce

21
推荐指数
2
解决办法
3万
查看次数

Amazon EC2 AMI预先配置了Django Stack

什么是配置最好的EC2 AMI

  • Django Stack
  • MySql已安装并配置
  • Apache或任何其他服务器

搜索后我发现只有一个bitniami djangostack.有没有人尝试过.还有其他选择吗?

谢谢

python cloud django web-services amazon-ec2

11
推荐指数
1
解决办法
4127
查看次数

Python显示错误 - 未定义名称"对象"

Python解释器在使用Object时显示NameError.

>>> class test(Object): pass
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'Object' is not defined
Run Code Online (Sandbox Code Playgroud)

Python版本是2.7.3.

我无法删除此错误.我在这里错过了什么吗?

python

8
推荐指数
1
解决办法
9351
查看次数

获取后台gnome-terminal进程的pid

我可以轻松地启动后台进程,找到它的pid并在正在运行的进程列表中搜索它.

$gedit &
$PID=$!
$ps -e | grep $PID
Run Code Online (Sandbox Code Playgroud)

这适合我.但是,如果我启动gnome-terminal作为后台进程

$gnome-terminal &
$PID=$!
$ps -e | grep $PID
Run Code Online (Sandbox Code Playgroud)

然后,在所有正在运行的进程的列表中找不到它.

我在这里错过了什么吗?

bash background-process gnome-terminal

7
推荐指数
2
解决办法
4608
查看次数

为pr_debug和printk设置CFLAGS

我想了解一个Linux内核模块,并希望看到的输出pr_debugprintk.我正在使用GNU Make.
我知道要获得pr_debug消息,我们必须使用DDEBUG.

那么,我该如何启用printk语句?

让我们说文件名是kvm.c.这两者有什么区别:

      CFLAGS_kvm.o := -DDEBUG
      CFLAGS_kvm.o += -DDEBUG
Run Code Online (Sandbox Code Playgroud)

这句话的作用是什么:

      CFLAGS_kvm.o := -I.
Run Code Online (Sandbox Code Playgroud)

[编辑]:
看起来我使用方括号引起了一些混乱.实际上通过[filename],我的意思是一些文件,比如kvm.c.

makefile printk printf-debugging

6
推荐指数
1
解决办法
5824
查看次数

为什么调用这个重写方法?

public interface ITimeable     {}
public class TimedDoor : ITimeable  {}

public static class Timer
{
    public static void Add(ITimeable obj)
    {
       Console.Write("Add with parameter - ITimeable"); 
    }

    public static void Add(TimedDoor obj)
    {
       Console.Write("Add with parameter - TimedDoor"); 
    }
}

public class BaseClient<T> where T : ITimeable
{
    public T TimedDoorObject;
    public virtual void Init()
    {
        Timer.Add(TimedDoorObject);
    }
}

public class Client : BaseClient<TimedDoor>
{
    public Client()
    {
        TimedDoorObject = new TimedDoor();
    }

    public override void Init()
    {
        Timer.Add(TimedDoorObject);
    } …
Run Code Online (Sandbox Code Playgroud)

c# generics overriding interface

3
推荐指数
1
解决办法
169
查看次数