小编Unm*_*eni的帖子

给定一个带类型的变量Graphics,如何将其转换Graphics2D为Scala？

root# bin/hadoop fs -mkdir t
mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode.

无法在hdfs中创建任何内容

我做到了

root# bin/hadoop fs -safemode leave

但显示

safemode: Unknown command

问题是什么？

解

我正在使用CDH 5.2.我可以使用spark-shell来运行命令.

1. 如何运行包含spark命令的文件(file.spark).
2. 有没有办法在没有sbt的情况下在CDH 5.2中运行/编译scala程序？

提前致谢

反向传播和前馈神经网络有什么区别？

通过谷歌搜索和阅读,我发现在前馈中只有前向方向,但在反向传播中,一旦我们需要进行前向传播然后反向传播.我提到了这个链接

1. 除流动方向以外的任何其他差异？重量计算怎么样？结果？
2. 假设我正在实现反向传播,即它包含前向和后向流.那么反向传播是否足以显示前馈？

我2 GB在我的数据中有数据HDFS.

是否可以随机获取数据.就像我们在Unix命令行中所做的那样

cat iris2.csv |head -n 50

我安装了hadoop-2.3.0并尝试运行wordcount示例但是它启动了工作并处于空闲状态

hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar    wordcount /myprg outputfile1
14/04/30 13:20:40 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
14/04/30 13:20:51 INFO input.FileInputFormat: Total input paths to process : 1
14/04/30 13:20:53 INFO mapreduce.JobSubmitter: number of splits:1
14/04/30 13:21:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1398885280814_0004
14/04/30 13:21:07 INFO impl.YarnClientImpl: Submitted application application_1398885280814_0004
14/04/30 13:21:09 INFO mapreduce.Job: The url to track the job: http://ubuntu:8088/proxy/application_1398885280814_0004/
14/04/30 13:21:09 INFO mapreduce.Job: Running job: job_1398885280814_0004

跟踪工作的网址:application_1398885280814_0004 /

对于以前的版本,我没有遇到这样的问题.我能够在以前的版本中运行hadoop wordcount.我按照这些步骤安装hadoop-2.3.0

请建议.

我需要以.csv格式输出我的hadoop结果.我该怎么做？我的代码:https://github.com/studhadoop/xml/blob/master/XmlParser11.java

我应该在我的代码中简单地包含csvoutputFormat.我正在使用mapreduce API

myjob.sh

bin/hadoop jar /var/root/ALA/ala_jar/clsperformance.jar ala.clsperf.ClsPerf /user/root/ala_xmlrpt/Amrita\ Vidyalayam\,\ Karwar_Class\ 1\ B_ENG.xml  /user/root/ala_xmlrpt-outputshell4

bin/hadoop fs -get /user/root/ala_xmlrpt-outputshell4/part-r-00000 /Users/jobsubmit


cat /Users/jobsubmit/part-r-00000 /Users/jobsubmit/output.csv

解

我失踪了>在猫

cat /Users/jobsubmit/part-r-00000> /Users/jobsubmit/output.csv

让我说JOIN两个关系如下:

-- part looks like:
-- 1,5.3
-- 2,4.9
-- 3,4.9

-- original looks like:
-- 1,Anju,3.6,IT,A,1.6,0.3
-- 2,Remya,3.3,EEE,B,1.6,0.3
-- 3,akhila,3.3,IT,C,1.3,0.3

jnd = JOIN part BY $0, original BY $0;

输出将是:

1,5.3,1,Anju,3.6,IT,A,1.6,0.3
2,4.9,2,Remya,3.3,EEE,B,1.6,0.3
3,4.9,3,akhila,3.3,IT,C,1.3,0.3

请注意,$0每个元组中显示两次.例如:

1,5.3,1,Anju,3.6,IT,A,1.6,0.3
^     ^
|-----|

我可以通过执行以下操作手动删除重复键:

jnd = foreach jnd generate $0,$1,$3,$4 ..;

有没有办法动态删除它？喜欢remove(the duplicate key joiner).

我使用hadoop 1.0.1做一些项目,我想让我的输入.txt文件成为我需要的"关键"和"值",如:

如果我有一个test.txt文件,文件内容是

1,10 10

我认为可以用"KeyValueTextInputFormat",使""是分离的符号,所以输入之后,关键是'1’和值是'10 10’.

但是,我得到的结果是所有信息都是关键,值是空的.我不知道问题出在哪里.

请给我一些帮助,谢谢!

这是示例代码:

public class WordCount{
    public class WordCountMapper extends Mapper<Text, Text, Text, Text>{  

        public void map(Text key, Text value, Context context) throws IOException, InterruptedException {
            context.write(value, value);
            context.write(key, key);
        }   
      }
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("key.value.separator.in.input.line",",");
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2) {
          System.err.println("Usage: wordcount <in> <out>");
          System.exit(2);
        } …

如何计算 Hive 中的统计模式？

让我们说在 hive 表中查找列的模式。

我们是否有任何用于计算Mode 的内置函数。