小编Mar*_*ace的帖子

从Java调用R - 更快地替代RCaller

我试图RCaller 2.0从Java调用R函数,我设法在几次尝试后使其工作.集成非常简单,但RCaller在运行时有点慢.我担心这RCaller 2.0不适合我的应用程序,因为我必须反复调用相同的脚本数千次,并且此库引入的延迟对我的需求是不可接受的.

是否有更快的(就运行时执行时间而言)从Java调用R脚本的替代方案?

java performance integration r rcaller

5
推荐指数
1
解决办法
5997
查看次数

给定纬度/经度的基于距离的JOIN

给出以下表格:

table A (id, latitude, longitude)
table B (id, latitude, longitude)
Run Code Online (Sandbox Code Playgroud)

如何构建一个高效的T-SQL查询,将A中的每一行与B中最近的行相关联?

ResultSet应该包含A中的所有行,并将它们与1和B中的1个元素相关联.我正在寻找的格式如下:

(A.id, B.id, distanceAB)
Run Code Online (Sandbox Code Playgroud)

我有一个函数来计算给定2对纬度和经度的距离.我尝试使用order by ... limit 1和/或尝试的东西,rank() over (partition by ...) as rowCount ... where rowCount = 1但结果要么不是我需要的,要么返回需要太长时间.

我错过了什么吗?

sql t-sql join distance haversine

5
推荐指数
2
解决办法
2187
查看次数

更改GIT端口

当我尝试时:git pull origin master我收到以下信息:ssh: connect to host localhost port 123: Bad file number

现在,我在某个地方以某种方式将 git 设置为使用端口 123,但这不再是有效的端口。我想将其更改为端口 321。

我去修改该~/.ssh/config文件,但我惊讶地发现该文件不存在。我也许可以创建一个并获得所需的行为,但我的问题是:端口 123 还可以在哪里定义?如何在不创建配置文件的情况下将其更改为 321?

git port configuration

5
推荐指数
1
解决办法
2万
查看次数

Spark AnalysisException无法解析给定输入列的"列名"

我有一个包含列x,y的DataFrame

x     y
1     false
1     false
1     true
2     true
2     false
3     null
3     true
Run Code Online (Sandbox Code Playgroud)

我尝试使用以下代码创建列联表,并期望以下结果:

myDataFrame.stat.crosstab("x", "y")

x_y  true    false     null
1    1       2         0
2    1       1         0
3    1       0         1
Run Code Online (Sandbox Code Playgroud)

但是,我得到以下异常: AnalysisException cannot resolve 'true' given input columns [x, y]

列'true'(以及'false'和'null')是stat.crosstab在运行时自动创建的.如果不先对数据进行完全传递,静态分析就无法检测到新的列名.

我正在使用Spark 1.6.1.5.这是一个错误吗?我可以以某种方式禁用分析仪吗?

scala apache-spark spark-dataframe

5
推荐指数
0
解决办法
1739
查看次数

根据条件拆分Spark DataFrame

我需要类似于randomSplit函数的东西:

val Array(df1, df2) = myDataFrame.randomSplit(Array(0.6, 0.4))
Run Code Online (Sandbox Code Playgroud)

但是,我需要根据布尔条件拆分myDataFrame.是否存在以下任何内容?

val Array(df1, df2) = myDataFrame.booleanSplit(col("myColumn") > 100)
Run Code Online (Sandbox Code Playgroud)

我不想做两个单独的.filter调用.

scala dataframe apache-spark apache-spark-sql

5
推荐指数
2
解决办法
5432
查看次数

缺少STS中的Spring AOP库

春天,我正在弄湿我的脚.我下载了STS,我正在遵循Spring in Action Second Edition的基本示例.我在尝试实现基本AOP时遇到困难,我想我只是缺少项目中的一些特定库.

我之所以这么说,是因为@Aspect我的类中没有像<aop:config>我的xml 中那样识别出注释.

这是我的Maven依赖项:

  • JUnit的-4.7.jar
  • 弹簧 - 测试 - 3.0.2.RELEASE.jar
  • 弹簧上下文3.0.2.RELEASE.jar
  • 弹簧AOP-3.0.2.RELEASE.jar
  • aopalliance-1.0.jar
  • 弹簧豆,3.0.2.RELEASE.jar
  • 弹簧芯3.0.2.RELEASE.jar
  • 共享记录-1.1.1.jar
  • 弹簧表达-3.0.2.RELEASE.jar
  • 弹簧-ASM-3.0.2.RELEASE.jar
  • log4j的-1.2.14.jar

请让我知道我缺少哪些图书馆以及在哪里找到它们.

谢谢!

编辑:

下列:

<bean id="performancePointcut"
        class="org.springframework.aop.aspectj.AspectJExpressionPointcut" >
    <property name="expression" value="execution(* Performer+.perform(..))" />
</bean>
Run Code Online (Sandbox Code Playgroud)

抛出以下异常:

线程"main"中的异常org.springframework.beans.factory.BeanCreationException:创建文件[C:\ Users\Prova\Documents\STS\SpringIdol3\src\main\resources\META-INF]中定义名称为'performancePointcut'的bean时出错\ spring\spring-idol.xml]:bean的实例化失败; 嵌套异常是java.lang.NoClassDefFoundError:org/aspectj/weaver/reflect/ReflectionWorld $ ReflectionWorldException

DONE!

这个方面的j-annotation-tutorial完成了第1步,第2步和第3步的工作.

周五晚上一直很有趣......

spring spring-aop libraries sts-springsourcetoolsuite

4
推荐指数
1
解决办法
9390
查看次数

最终在Java中做了什么? - 硬版本

我从小就知道这final是一个关键字,当应用于变量时,不能将变量重新分配给其他东西."如果一个变量是最终的那么它就是一个常数"总结了许多,虽然我不是那个定义的粉丝,但它可能是一个很好的方法来记住这个概念.我只想说you cannot change the value of the variable(无论"价值"意味着什么).

我的生活很幸福,但有一天我深入了解method local inner classes......

方法内定义的内部类不能访问方法本身定义的变量.为什么?因为当类存在于Heap中并且它可能在方法完成后保持存在(类的有效引用可能被传递并存储在其他地方),这些变量存在于堆栈中并且在方法返回时它们会死亡.我们不希望内部类在以后尝试访问不再存在的变量,因为那时世界将会结束.

完善.这说得通.优秀!然后:除非你声明那些变量最终.....然后你的类可以访问它们,编译器不会把你送到地狱......

WHY???我的意思是,这是什么样的巫术?最终究竟做了什么以及为什么我不得不等待谈论方法本地内部类来解决这个问题?假设最终变量存储在堆中,无论它们在何处定义,除了使方法本地内部类快乐的概念之外,还有其他任何应用吗?

java final inner-classes

4
推荐指数
1
解决办法
938
查看次数

如果列中存在列,则过滤spark/scala数据帧

我正在使用Spark 1.4.0,这是我到目前为止所拥有的:

data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))
Run Code Online (Sandbox Code Playgroud)

lit函数将文字转换为列.

理想情况下,我会把我的A,B,C放在一个Set中并像这样检查:

val validValues = Set("A", "B", "C", ...)
data.filter($"myColumn".in(validValues))
Run Code Online (Sandbox Code Playgroud)

什么是正确的语法?有没有其他简洁的解决方案?

scala filter apache-spark spark-dataframe

4
推荐指数
2
解决办法
6177
查看次数

在Spark Shell中打印所有已定义的变量/方法签名 - Scala REPL

当我用spark-shell我最终定义很多var,valmethods.在某些时候,我忘记了我在会话中提供的内容.我该如何打印?

例如

val x = 10;
var y = 15;
def myMethod(input: Int): Int = { input * 2 }

// invoke magic print command to obtain something like:
// > val x;
// > var y;
// > myMethod(input: Int): Int;
Run Code Online (Sandbox Code Playgroud)

编辑(澄清):

如果我键入以下内容:

scala> def foo(x: Int, y: Int): Int = { x * y }
foo: (x: Int, y: Int)Int
scala> def bar(x: Int, y: Int): Int = { x …
Run Code Online (Sandbox Code Playgroud)

shell scala apache-spark

4
推荐指数
1
解决办法
1119
查看次数

如何在Neo4j Cypher中获得与给定属性具有给定量的传出关系的节点?

在我的域中,节点可以具有与其他实体相同类型的多个关系.每个关系都有几个属性,我想检索由至少2个呈现给定属性的关系连接的节点.

EG:节点之间的关系具有属性year.如何找到与year设置至少有两个传出关系的节点2012

Chypher到目前为止为什么查询看起来像这样(语法错误)

START x = node(*)
MATCH x-[r:RELATIONSHIP_TYPE]->y
WITH COUNT(r.year == 2012) AS years
WHERE HAS(r.year) AND years > 1
RETURN x;
Run Code Online (Sandbox Code Playgroud)

我也试过嵌套查询,但我相信这是不允许的Cypher.最接近的是以下但我不知道如何摆脱值为1的节点:

START n = node(*)
MATCH n-[r:RELATIONSHIP_TYPE]->c
WHERE HAS(r.year) AND r.year == 2012
RETURN n, COUNT(r) AS counter
ORDER BY counter DESC
Run Code Online (Sandbox Code Playgroud)

neo4j nosql graph-databases cypher

3
推荐指数
1
解决办法
1321
查看次数