小编Ire*_*ene的帖子

R:图例的位置和图例中线条的长度

我无法正确设置图例的位置,我试图玩xjust,ncol但它仍然出现在图形的中间.

你能帮助它将它与边界对齐(左边或右边我不在乎)?

此外,是否可以在图例中画出较短的线条?这些看起来太长了.

 par(mar=c(5,4,4,5)+.1)
 plot(1:109,rnorm(109), type="l",col="blue", lwd=2, 
      main="Compare signal and std deviation MC3 ch44",
      ylab="signal", xlab="locations")
 par(new=TRUE)
 plot(1:109, rnorm(109), ylab="",xlab="", type="l", 
      col="red",xaxt="n",yaxt="n", lwd=2)
 axis(4)
 mtext("std. deviation",side=4,line=3)
 legend("topright",col=c("blue", "red"), lwd=2,
        legend=c("signal","std dev"), cex=0.85, bty="n", xjust=1)
Run Code Online (Sandbox Code Playgroud)

graphics r legend legend-properties

7
推荐指数
1
解决办法
1万
查看次数

关于ggmap错误和最佳实践的热图

我想在ggmap上绘制热图.

  library(ggmap)
  turku<-get_map('turku', zoom=13)
  turkumap<-ggmap(turku, extent="device", legend="topleft")
  turkumap
  turkumap+geom_density2d(mapping=aes(x = lon, y = lat),data = test, )
Run Code Online (Sandbox Code Playgroud)

我得到的错误是:

 Error in (function (x, y, h, n = 25, lims = c(range(x), range(y)))  : 
 bandwidths must be strictly positive
Run Code Online (Sandbox Code Playgroud)

测试变量是:

  test
         lon     lat var1.pred
  1  22.25320 60.4314 -67.04862
  2  22.25332 60.4314 -67.07793
  3  22.25344 60.4314 -67.11007
  4  22.25356 60.4314 -67.14517
  5  22.25368 60.4314 -67.18336
  6  22.25379 60.4314 -67.22478 
  7  22.25391 60.4314 -67.26956
  8  22.25403 60.4314 -67.31783
  9  22.25415 60.4314 -67.36973
  10 22.25427 …
Run Code Online (Sandbox Code Playgroud)

r ggplot2 ggmap gstat kriging

6
推荐指数
1
解决办法
3226
查看次数

使用 log4j 从 spark 记录到 hdfs,没有水槽

我在 cdh 5.3 集群上有一个 spark 1.2.0。

由于 jar 中捆绑了一个自定义的 log4j.properties 文件,我设法将我的 spark 应用程序日志记录到本地文件系统。这很好,直到在纱线客户端模式下启动 spark 时,但在纱线集群模式下不可行,因为无法知道驱动程序在哪台机器上运行。

我查看了纱线日志聚合器,查看了在 h 中生成的文件,dfs://nameservice1/user/spark/applicationHistory/application_1444387971657_0470/*这与普通文件系统上的文件完全不匹配,但是是这样的信息

{"Event":"SparkListenerTaskEnd","Stage ID":1314,"Stage Attempt ID":0,"Task Type":"ResultTask","Task End Reason":{"Reason":"Success"},"Task Info":{"Task ID":3120,"Index":1,"Attempt":0,"Launch Time":1445512311024,"Executor ID":"3","Host":"usqrtpl5328.internal.unicreditgroup.eu","Locality":"RACK_LOCAL","Speculative":false,"Getting Result Time":0,"Finish Time":1445512311685,"Failed":false,"Accumulables":[]},"Task Metrics":{"Host Name":"usqrtpl5328.internal.unicreditgroup.eu","Executor Deserialize Time":5,"Executor Run Time":652,"Result Size":1768,"JVM GC Time":243,"Result Serialization Time":0,"Memory Bytes Spilled":0,"Disk Bytes Spilled":0,"Shuffle Read Metrics":{"Remote Blocks Fetched":26,"Local Blocks Fetched":10,"Fetch Wait Time":0,"Remote Bytes Read":16224},"Output Metrics":{"Data Write Method":"Hadoop","Bytes Written":82983}}}
Run Code Online (Sandbox Code Playgroud)

现在有没有办法将所有内容以及我想要的内容记录到 HDFS 中?

欢迎任何建议

编辑我在发布我的问题时看到过这个问题。它不能解决我的问题,因为我需要登录到 HDFS 而没有考虑到这一点。

我什至不知道是否可以直接使用 log4j 登录到 HDFS,如果您对如何相应地编写 log4j.properties 有任何想法,请分享

logging log4j hdfs hadoop-yarn apache-spark

5
推荐指数
0
解决办法
1230
查看次数

hadoop job -list已弃用

我正在学习使用cloudera单节点vm的hadoop,我通过了这一行

hadoop job -list
Run Code Online (Sandbox Code Playgroud)

我收到了一个警告(不推荐使用此脚本来执行mapred命令.而是使用mapred命令.)我知道使用它会很好但我有点迷失.是不是mapred旧版本的mapreduce?是弃用的工作(类?)?抱歉无知.列出正在运行的工作的最佳方法是什么?

链接或参考将受到高度赞赏.编辑如果语法是hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>] | [-set-priority <job-id> <priority>]为什么它被弃用?我错过了什么吗?

apache hadoop mapreduce

3
推荐指数
1
解决办法
1687
查看次数

Spark 1.2 SQL代码不适用于Spark 1.3 SQL代码

到目前为止,我已经在本地包目录中使用了这个build.sbt

name := "spark27_02"

version := "1.0"

scalaVersion := "2.10.4"

sbtVersion := "0.13.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1"

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.2.1"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.2.1"

libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.5.0"
Run Code Online (Sandbox Code Playgroud)

我想试用刚出来的1.3.0版本,所以我使用了所有软件包的1.3.0版本.Spark编译,但SparkSQL没有编译,所以我检查了建议使用的MavenCentral

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.3.0"
Run Code Online (Sandbox Code Playgroud)

但仍然没有工作.我从sbt shell做了更新.顺便说一下使用Scala 2.10.4

我做错了什么傻事?

任何帮助表示赞赏.

编辑引用此build.sbt的spark网页上的示例

name := "Marzia2"

version := "1.0"

scalaVersion := "2.10.4"

sbtVersion := "0.13.7"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.3.0"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % …
Run Code Online (Sandbox Code Playgroud)

sbt apache-spark apache-spark-sql

3
推荐指数
1
解决办法
3679
查看次数

-6
推荐指数
1
解决办法
1883
查看次数