小编use*_*071的帖子

执行"sbt test"时java.lang.NoSuchMethodError:scala.Predef $ .ArrowAssoc的原因是什么?

当我尝试sbt test使用sbt 0.13.5(和Java 1.7.0_45)运行时,我遇到了以下错误:

[error](test:executeTests)java.lang.NoSuchMethodError:scala.Predef $ .ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

这是我使用的build.sbt:

version := "0.1"

scalaVersion := "2.10.3"

resolvers ++= Seq(
  "spray" at "http://repo.spray.io",
  "Typesafe Repository" at "http://repo.typesafe.com/typesafe/releases/"
)

libraryDependencies ++= Seq(
  "io.spray" %% "spray-json" % "1.2.5",
  "com.typesafe.akka" %% "akka-actor" % "2.2.4",
  "com.typesafe.akka" %% "akka-slf4j" % "2.2.4",
  "com.typesafe.akka" %% "akka-testkit" % "2.2.4",
  "com.github.kxbmap" %% "configs" % "0.2.1",
  "junit" % "junit" % "4.8.1" % "test",
  "ch.qos.logback" % "logback-classic" % "1.0.13",
  "io.spray" % "spray-can" % "1.2.1",
  "io.spray" % "spray-routing" % "1.2.1",
  "io.spray" …
Run Code Online (Sandbox Code Playgroud)

scala sbt

13
推荐指数
1
解决办法
2万
查看次数

Python:信号处理程序的帧参数

我正在查看Python文档中的signal和示例代码:

def handler(signum, frame):
    print 'Signal handler called with signal', signum
    raise IOError("Couldn't open device!")
Run Code Online (Sandbox Code Playgroud)

'frame'参数未在实际函数中使用.我在stackoverflow/online上关于信号处理程序的很多代码中注意到了这一点.什么是'frame'参数?为什么它保存在函数头中?

谢谢

python signals

12
推荐指数
3
解决办法
6470
查看次数

使卡夫卡主题日志保留永久

我正在将日志消息写入Kafka主题,我希望保留此主题是永久性的.我在Kafka和Kafka Connect(_schemas,connect-configs,connect-status,connect-offsets等)中看到,有些特殊主题未被日志保留时间删除.如何强制主题与其他特殊主题一样?它是命名约定还是其他一些属性?

谢谢

apache-kafka apache-kafka-connect

12
推荐指数
2
解决办法
7334
查看次数

java.lang.NoSuchMethodError Jackson databind和Spark

我试图用Spark 1.1.0和Jackson 2.4.4运行spark-submit.我有scala代码,它使用Jackson将JSON反序列化为case类.这本身就可以正常工作,但是当我使用它时,我得到以下错误:

15/05/01 17:50:11 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 2)
java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.introspect.POJOPropertyBuilder.addField(Lcom/fasterxml/jackson/databind/introspect/AnnotatedField;Lcom/fasterxml/jackson/databind/PropertyName;ZZZ)V
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector.com$fasterxml$jackson$module$scala$introspect$ScalaPropertiesCollector$$_addField(ScalaPropertiesCollector.scala:109)
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector$$anonfun$_addFields$2$$anonfun$apply$11.apply(ScalaPropertiesCollector.scala:100)
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector$$anonfun$_addFields$2$$anonfun$apply$11.apply(ScalaPropertiesCollector.scala:99)
    at scala.Option.foreach(Option.scala:236)
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector$$anonfun$_addFields$2.apply(ScalaPropertiesCollector.scala:99)
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector$$anonfun$_addFields$2.apply(ScalaPropertiesCollector.scala:93)
    at scala.collection.GenTraversableViewLike$Filtered$$anonfun$foreach$4.apply(GenTraversableViewLike.scala:109)
    at scala.collection.Iterator$class.foreach(Iterator.scala:727)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
    at scala.collection.SeqLike$$anon$2.foreach(SeqLike.scala:635)
    at scala.collection.GenTraversableViewLike$Filtered$class.foreach(GenTraversableViewLike.scala:108)
    at scala.collection.SeqViewLike$$anon$5.foreach(SeqViewLike.scala:80)
    at com.fasterxml.jackson.module.scala.introspect.ScalaPropertiesCollector._addFields(ScalaPropertiesCollector.scala:93)
Run Code Online (Sandbox Code Playgroud)

这是我的build.sbt:

//scalaVersion in ThisBuild := "2.11.4"
scalaVersion in ThisBuild := "2.10.5"

retrieveManaged := true

libraryDependencies += "org.scala-lang" % "scala-reflect" % scalaVersion.value

libraryDependencies ++= Seq(
  "junit" % "junit" % "4.12" % "test",
  "org.scalatest" %% "scalatest" …
Run Code Online (Sandbox Code Playgroud)

json scala jackson apache-spark

8
推荐指数
2
解决办法
1万
查看次数

问:在内存中将 Avro 转换为 Parquet

我正在从 Kafka 接收 Avro 记录。我想将这些记录转换为 Parquet 文件。我正在关注这篇博客文章:http://blog.cloudera.com/blog/2014/05/how-to-convert-existing-data-into-parquet/

到目前为止,代码大致如下所示:

final String fileName
SinkRecord record, 
final AvroData avroData

final Schema avroSchema = avroData.fromConnectSchema(record.valueSchema());
CompressionCodecName compressionCodecName = CompressionCodecName.SNAPPY;

int blockSize = 256 * 1024 * 1024;
int pageSize = 64 * 1024;

Path path = new Path(fileName);
writer = new AvroParquetWriter<>(path, avroSchema, compressionCodecName, blockSize, pageSize);
Run Code Online (Sandbox Code Playgroud)

现在,这将执行 Avro 到 Parquet 的转换,但会将 Parquet 文件写入磁盘。我想知道是否有一种更简单的方法将文件保留在内存中,这样我就不必管理磁盘上的临时文件。谢谢

java hadoop avro parquet

6
推荐指数
1
解决办法
3925
查看次数

匹配服务响应中节点 ID 的纬度/经度

annotations=true overview=full在使用和进行匹配调用时,我一直试图协调匹配几何体返回的坐标和每条腿中的节点geometries=geojson

我想了解如何将节点 ID 与坐标几何的纬度/经度对齐。

我的理解是坐标和腿部的节点之间存在1:1的映射。

我尝试通过执行以下操作来“简化”注释中返回的节点 ID:

  1. 将第一条腿注释附加到您的结果中。

  2. 对每条额外的腿重复以下操作:

A。修剪从下一条腿注释开始处开始的前两个节点以追加

b. 将修剪后的腿部注释附加到结果中

然后,我从几何图形中的坐标中删除路点返回的位置。之后,我尝试将简化的节点 ID 与剩余的坐标对齐。然而,这种方法最终会产生一些(有时是一些)额外的点,我们无法解释或弄清楚如何过滤掉这些点。

有人有更可靠的方法来解决这个问题吗?感谢所有的帮助。谢谢!

openstreetmap osrm

5
推荐指数
1
解决办法
145
查看次数

计算矩阵的质心

我有以下5 x 5矩阵A:

1 0 0 0 0 
1 1 1 0 0 
1 0 1 0 1 
0 0 1 1 1 
0 0 0 0 1
Run Code Online (Sandbox Code Playgroud)

我试图在matlab中找到质心,所以我可以找到散射矩阵:

Scatter = A*Centroid*A'
Run Code Online (Sandbox Code Playgroud)

我的线性代数非常生疏,所以我希望手工操作,以帮助我弄清楚如何在matlab中编程.提前致谢.

我不确定如何获得质心.帮助和步骤将不胜感激.先感谢您.

matlab algebra linear-algebra

3
推荐指数
1
解决办法
2万
查看次数