小编Cor*_*ave的帖子

我正在尝试在我的Ubuntu 14.04服务器上使用ImageMagick来重新调整图像,然后再上传到s3.我正在运行由Wercker创建的docker容器内的所有内容.问题是我已经将它安装在服务器上,并将其安装在Docker容器的Wercker构建中,但是我的EasyImage(处理调整大小的nodejs库)说的是

 ImageMagick Not Found
 EasyImage requires ImageMagick to work. Install it from http://www.imagemagick.org/script/binary-release.php.

这是我在Wercker文件中安装imagemagick的命令

sudo apt-get update -y && sudo apt-get install -y imagemagick php5-imagick

我也用过

sudo apt-get update -y && sudo apt-get install -y imagemagick

,但似乎都不起作用.我错过了让ImageMagick在docker容器内工作的东西吗？

我在独立模式下运行spark集群,使用spark-submit运行应用程序.在火花UI阶段我发现执行阶段有大的执行时间(> 10h,通常时间~30秒).阶段有许多失败的任务有错误Resubmitted (resubmitted due to lost executor).没有执行与地址CANNOT FIND ADDRESS在Aggregated Metrics by Executor舞台页部分.Spark试图无限地重新提交此任务.如果我杀了这个阶段(我的应用程序自动重新运行未完成的火花作业),所有都继续正常工作.

此外,我在spark日志中发现了一些奇怪的条目(与阶段执行开始同时).

主:

16/11/19 19:04:32 INFO Master: Application app-20161109161724-0045 requests to kill executors: 0
16/11/19 19:04:36 INFO Master: Launching executor app-20161109161724-0045/1 on worker worker-20161108150133
16/11/19 19:05:03 WARN Master: Got status update for unknown executor app-20161109161724-0045/0
16/11/25 10:05:46 INFO Master: Application app-20161109161724-0045 requests to kill executors: 1
16/11/25 10:05:48 INFO Master: Launching executor app-20161109161724-0045/2 on worker worker-20161108150133
16/11/25 10:06:14 WARN Master: Got status update …

我gopkg.in/mgo.v2在我的应用程序中使用MongoDB(包)作为数据库.根据MongoDB的最佳实践,我应该在应用程序启动时打开连接,并在应用程序终止时关闭它.要验证连接是否将关闭,我可以使用defer构造:

session, err := mgo.Dial(mongodbURL)
if err != nil {
    panic(err)
}
defer session.Close()

如果我在main函数中执行此代码,那么一切都会好的.但我希望将此代码放在单独的go文件中.如果我执行此会话将在执行方法后关闭.根据MongoDB最佳实践,在Golang中打开和关闭会话的最佳方法是什么？

我有一个具有以下结构的项目：

|_main.go
|_config
  |_config.go
  |_config_test.go
  |_config.json

我的下一个代码行是config.go：

file, _ := os.Open("config/config.json")

当我执行包含此代码行的方法时，main.go所有代码行都在工作。但是当我尝试执行此方法时，config_test.go它会产生错误：

open config/config.json: no such file or directory

据我了解，这是一个工作目录问题，因为我正在使用来自不同目录的相对路径启动相同的代码。如何在不使用完整路径的情况下解决此问题config.go？

我用Spark快速入门指南执行了用Java编写的简单代码:

public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]");
        JavaSparkContext sc = new JavaSparkContext(conf);
        Accumulator<Integer> counter = sc.accumulator(0);
        List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
        JavaRDD<Integer> rdd = sc.parallelize(data);
        rdd.foreach(counter::add);
        System.out.println("Counter value " + counter);
}

它"Counter value 15"按预期打印.我有用Scala写的相同逻辑的代码:

object Counter extends App {
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]")
    val sc = new SparkContext(conf)
    val counter = sc.accumulator(0)
    val data = Array(1, 2, 3, 4, 5)
    val rdd = sc.parallelize(data)
    rdd.foreach(x => …