小编vef*_*hym的帖子

我是git的新手,我通常使用具有中央存储库的P4,而git是分布式VCS.

我感兴趣的是当两个对等体同时将更改推送到同一个远程时git如何工作.假设每个对等体在推送之前解决了所有冲突.我想如果git报告冲突,后者将被拒绝!

但是,根据我的理解,git在内部是一个键/值存储,就像当前流行的NOSQL数据库,尤其是支持p2p复制的Couch-DB.

其实我想问一下,在客户端将更改推送到远程git存储库的情况下,git进程如何冲突？推被拒绝了吗？

从马克的答案来看,我认为推动应该被拒绝.

我有这行文字,引号的数量可能会改变如下:

Here just one "comillas"
But I also could have more "mas" values in "comillas" and that "is" the "trick"
I was thinking in a method that return "a" list of "words" that "are" between "comillas"

我如何获得结果应该是引号之间的数据？:

comillas
mas,comillas,trick
a,words,are,comillas

我正在努力将一个字符串List传递给一个需要参数" String ... "的方法.

有人可以帮帮我吗？

// How to put names into dummyMethod?
List<String> names = getNames();

 public void dummyMethod(String... parameter) {
    mInnerList.addAll(Arrays.asList(parameter));
}

我正在尝试安装hadoop,我需要重新启动sshd服务才能配置节点之间的连接......但是,每当我写:service sshd restart将显示一条消息错误,告诉我该服务无法识别.

有没有帮助安装这个系统？

我有以下代码,我不明白为什么get()方法已在突出显示的行中使用.如果我删除该get()方法,它会抛出一个错误.

我可以从中获取的是:get()method返回IntWritable的int值.如果我错了,请纠正我.

public void reduce(IntWritable key, Iterator<IntWritable> values, OutputCollector<IntWritable, IntWritable> output, Reporter reporter) throws IOException {
    int sum = 0;
    while (values.hasNext()) {
        sum += values.next().get(); //error when removing the get()    
    }
}

在Chrome开发人员工具中,每次加载页面时,我单击"网络"选项卡,然后看到"记录"按钮激活/红色.即使我禁用网络流量录制,当我刷新同一页面或打开其他网站时,我发现Chrome正在"网络"标签中记录流量.

在开发具有大量流量的大型Web应用程序时 - 第三方api,来自亚马逊的静态CDN,Google以及必须下载的所有应用程序资产,如图像,js文件,css文件等等 - 此"网络"选项卡非常有用慢慢地,我的浏览器卡住了很多.这会导致我的开发时间降低,因为每次我想在"网络"选项卡中检查某些内容时我都必须等待.

我可以默认关闭录音吗？"录制"按钮可以是灰色的,当我想要它开始录制时,我只需点击它并开始看到流量？

我有mapreduce工作:我的代码Map类:

public static class MapClass extends Mapper<Text, Text, Text, LongWritable> {

    @Override
    public void map(Text key, Text value, Context context)
        throws IOException, InterruptedException {
    }
}

我想使用ChainMapper:

1. Job job = new Job(conf, "Job with chained tasks");
2. job.setJarByClass(MapReduce.class);
3. job.setInputFormatClass(TextInputFormat.class);
4. job.setOutputFormatClass(TextOutputFormat.class);

5. FileInputFormat.setInputPaths(job, new Path(InputFile));
6. FileOutputFormat.setOutputPath(job, new Path(OutputFile));

7. JobConf map1 = new JobConf(false);

8. ChainMapper.addMapper(
        job, 
        MapClass.class, 
        Text.class, 
        Text.class, 
        Text.class, 
        Text.class, 
        true, 
        map1
        ); 

但其报告在第8行有错误:

此行的多个标记 - "addMapper"的出现 - ChainMapper类型中的方法addMapper(JobConf,Class>,Class,Class,Class,Class,boolean,JobConf)不适用于参数(Job,Class,Class,类,类,类,布尔值,配置) - 调试当前指令指针 - ChainMapper类型中的方法addMapper(JobConf,Class>,Class,Class,Class,Class,boolean,JobConf)不适用于参数(JobConf,类,类,类,类,类,布尔值,JobConf)

我正在尝试从群集外部运行MapReduce作业.

例如,Hadoop集群正在Linux机器上运行.我们在Windows机器上运行一个Web应用程序.我们希望从这个远程Web应用程序运行hadoop作业.我们想要检索hadoop输出目录并将其显示为Graph.

我们编写了以下代码:

Configuration conf = new Configuration();

Job job = new Job(conf);

conf.set("mapred.job.tracker", "192.168.56.101:54311"); 

conf.set("fs.default.name", "hdfs://192.168.56.101:54310");

job.setJarByClass(Analysis.class) ;
//job.setOutputKeyClass(Text.class);
//job.setOutputValueClass(IntWritable.class);

job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);



//job.set

job.setInputFormatClass(CustomFileInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);


job.waitForCompletion(true);

这就是我们得到的错误.即使我们关闭hadoop 1.1.2集群,错误仍然是相同的.

14/03/07 00:23:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/03/07 00:23:37 ERROR security.UserGroupInformation: PriviledgedActionException as:user cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-user\mapred\staging\user818037780\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set …

我有一个16个(ubuntu 12.04服务器)节点的hadoop集群(1个主节点和15个从节点).它们通过专用网络连接,主设备也有公共IP(它属于两个网络).当我运行小任务时,即输入量小,处理时间短,一切正常.但是,当我运行更大的任务时,即使用7-8 GB的输入数据时,我的从属节点会一个接一个地开始死亡.

从web ui(http://master:50070/dfsnodelist.jsp?whatNodes=LIVE)我看到最后一次联系开始增加,从我的集群提供者的web ui,我看到节点崩溃了.这是节点的屏幕截图(我无法向上滚动):

另一台机器显示此错误,运行hadoop dfs,而没有正在运行的作业:

BUG: soft lockup - CPU#7 stuck for 27s! [java:4072]

和

BUG: soft lockup - CPU#5 stuck for 41s! [java:3309]
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
ata2.00: cmd a0/00:00:00:08:00/00:00:00:00:00/a0 tag 0 pio 16392 in
         res 40/00:02:00:08:00/00:00:00:00:00/a0 Emask 0x4 (timeout)
ata2.00: status: { DRDY }

这是另一个截图(其中我没有任何意义):

这是崩溃的datanode的日志(IP 192.168.0.9):

2014-02-01 15:17:34,874 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving blk_-2375077065158517857_1818 src: /192.168.0.7:53632 dest: /192.168.0.9:50010
2014-02-01 15:20:14,187 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for blk_-2375077065158517857_1818 …

当我尝试在RDD[(Int,ArrayBuffer[(Int,Double)])]输入上应用方法(ComputeDwt)时,我面临异常.我甚至使用extends Serialization选项来序列化spark中的对象.这是代码片段.

input:series:RDD[(Int,ArrayBuffer[(Int,Double)])] 
DWTsample extends Serialization is a class having computeDwt function.
sc: sparkContext

val  kk:RDD[(Int,List[Double])]=series.map(t=>(t._1,new DWTsample().computeDwt(sc,t._2)))

Error:
org.apache.spark.SparkException: Job failed: java.io.NotSerializableException: org.apache.spark.SparkContext
org.apache.spark.SparkException: Job failed: java.io.NotSerializableException: org.apache.spark.SparkContext
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:760)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:758)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:60)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:758)
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$submitMissingTasks(DAGScheduler.scala:556)
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$submitStage(DAGScheduler.scala:503)
at org.apache.spark.scheduler.DAGScheduler.processEvent(DAGScheduler.scala:361)
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$run(DAGScheduler.scala:441)
at org.apache.spark.scheduler.DAGScheduler$$anon$1.run(DAGScheduler.scala:149)

任何人都可以建议我可能是什么问题以及应该采取什么措施来克服这个问题？