小编ndp*_*ndp的帖子

git rebase -ia分支到自己

我的回购中有以下内容

Master---
     \
       Next-->Commit A.1,Commit A.2,Commit A.3 --......
Run Code Online (Sandbox Code Playgroud)

我想将A.*提交修复为一个描述特征A的提交.我试过了git rebase -i origin next,但是这没有按照我的预期工作.有没有办法实现这个?

我想创建一个分支foo,它本质上是下一个,然后在foo下面重新绑定到merge/delete foo.但是,这似乎很草率.

git git-interactive-rebase

16
推荐指数
1
解决办法
7018
查看次数

从Spark访问Hdfs会产生TokenCache错误无法获取Master Kerberos主体以用作续订程序

我正在尝试运行测试Spark脚本,以便将Spark连接到hadoop.该脚本如下

from pyspark import SparkContext

sc = SparkContext("local", "Simple App")
file = sc.textFile("hdfs://hadoop_node.place:9000/errs.txt")
errors = file.filter(lambda line: "ERROR" in line)
errors.count()
Run Code Online (Sandbox Code Playgroud)

当我用pyspark运行时,我得到了

py4j.protocol.Py4JJavaError:调用o21.collect时发生错误.:java.io.IOException:无法将orber.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal (TokenCache.java:116)中的主Kerberos主体用作续订器,位于org.apache.hadoop.mapreduce.security.位于org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:187)的org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodes(TokenCache.java:80)中的TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:100) org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:251)org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:140)at org.apache.spark.rdd.RDD $$ anonfun $ partition $ 2.apply(RDD.scala:207)at org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala:205)at scala.Option.getOrElse(Option.scala:120) )org.apache.spark.rdd.RDD.partitions(RDD.scala:205)atg.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)at org.apache.spark.rdd.RDD $ $ anonfun $在org上划分$ 2.apply(RDD.scala:207).位于org.apache.spark.rdd.RDD.partitions的scala.Option.getOrElse(Option.scala:120)中的apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala:205)(RDD. scala:205)org.apache.spark.api.python.PythonRDD.getPartitions(PythonRDD.scala:46)at org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply(RDD.scala:207) at org.apache.spark.rdd.RDD $$ anonfun $在org.apache.spark.rdd.RDD.partitions的scala.Option.getOrElse(Option.scala:120)处分区$ 2.apply(RDD.scala:205) (RDD.scala:205)org.apache.spark.SparkContext.runJob(SparkContext.scala:898)位于org.apache.spark的org.apache.spark.rdd.RDD.collect(RDD.scala:608). api.java.JavaRDDLike $ class.collect(JavaRDDLike.scala:243)atg.apache.spark.api.java.JavaRDD.collect(JavaRDD.scala:27)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke …

authentication hadoop kerberos apache-spark

7
推荐指数
1
解决办法
6849
查看次数

使用 git rebase -i 更改以前提交的代码

我有一个包含各种提交的存储库,我想将其合并为两个补丁。一个补丁介绍了该功能,另一个补丁则更改了现有代码以使用该功能。问题是,当我编码和提交时,我并没有考虑到这一点,所以有些提交同时完成了这两件事。我如何拆分这些提交?

我知道我可以使用 git rebase -i 并为我想要更改的每个提交选择编辑来完成此操作,但这样我只能更改提交消息,而不能更改代码

git rebase git-amend

4
推荐指数
1
解决办法
1099
查看次数

构建Storm时Zookeeper的ClassNotFoundException

我是java和Storm的新手所以请原谅任何明显的错误.我正在尝试使用水槽连接器运行风暴,但它崩溃时出现以下错误:

java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:297)
    at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.ExceptionInInitializerError
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at clojure.lang.RT.loadClassForName(RT.java:2056)
    at clojure.lang.RT.load(RT.java:419)
    at clojure.lang.RT.load(RT.java:400)
    at clojure.core$load$fn__4890.invoke(core.clj:5415)
    at clojure.core$load.doInvoke(core.clj:5414)
    at clojure.lang.RestFn.invoke(RestFn.java:408)
    at clojure.core$load_one.invoke(core.clj:5227)
    at clojure.core$load_lib.doInvoke(core.clj:5264)
    at clojure.lang.RestFn.applyTo(RestFn.java:142)
    at clojure.core$apply.invoke(core.clj:603)
    at clojure.core$load_libs.doInvoke(core.clj:5302)
    at clojure.lang.RestFn.applyTo(RestFn.java:137)
    at clojure.core$apply.invoke(core.clj:603)
    at clojure.core$require.doInvoke(core.clj:5381)
    at clojure.lang.RestFn.invoke(RestFn.java:408)
    at backtype.storm.cluster$loading__4784__auto__.invoke(cluster.clj:1)
    at backtype.storm.cluster__init.load(Unknown Source)
    at backtype.storm.cluster__init.<clinit>(Unknown Source)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at clojure.lang.RT.loadClassForName(RT.java:2056)
    at clojure.lang.RT.load(RT.java:419)
    at clojure.lang.RT.load(RT.java:400)
    at clojure.core$load$fn__4890.invoke(core.clj:5415)
    at clojure.core$load.doInvoke(core.clj:5414)
    at clojure.lang.RestFn.invoke(RestFn.java:408)
    at clojure.core$load_one.invoke(core.clj:5227) …
Run Code Online (Sandbox Code Playgroud)

java apache-storm apache-zookeeper

2
推荐指数
1
解决办法
7503
查看次数

Apache spark-streaming应用程序输出未转发给master

我正在尝试运行以下的FlumeEvent示例

import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming._
import org.apache.spark.streaming.flume._
import org.apache.spark.util.IntParam
import org.apache.spark.streaming.flume.FlumeUtils

object FlumeEventCount {
def main(args: Array[String]) {


val batchInterval = Milliseconds(2000)

// Create the context and set the batch size
val sparkConf = new SparkConf().setAppName("FlumeEventCount")
.set("spark.cleaner.ttl","3")


val ssc = new StreamingContext(sparkConf, batchInterval)


// Create a flume stream
var  stream = FlumeUtils.createStream(ssc, "192.168.1.5",3564, StorageLevel.MEMORY_ONLY_SER_2)


// Print out the count of events received from this server in each batch
stream.count().map(cnt => "Received  flume events." + cnt ).print()
stream.count.print()
stream.print() …
Run Code Online (Sandbox Code Playgroud)

streaming flume apache-spark

0
推荐指数
1
解决办法
1565
查看次数