小编Pau*_* K.的帖子

我正在尝试在运行Debian 8.1的机器上使用Uwsgi和supervisor部署Django应用程序.

当我重新启动时,sudo systemctl restart supervisor它无法重启一半的时间.

$ root@host:/# systemctl start supervisor
    Job for supervisor.service failed. See 'systemctl status supervisor.service' and 'journalctl -xn' for details.
$ root@host:/# systemctl status supervisor.service
    ? supervisor.service - LSB: Start/stop supervisor
       Loaded: loaded (/etc/init.d/supervisor)
       Active: failed (Result: exit-code) since Wed 2015-09-23 11:12:01 UTC; 16s ago
      Process: 21505 ExecStop=/etc/init.d/supervisor stop (code=exited, status=0/SUCCESS)
      Process: 21511 ExecStart=/etc/init.d/supervisor start (code=exited, status=1/FAILURE)
    Sep 23 11:12:01 host supervisor[21511]: Starting supervisor:
    Sep 23 11:12:01 host systemd[1]: supervisor.service: control process exited, code=exited …

我正在构建一个android框架,我需要对jar进行混淆和缩小以将其发送给用户.

我正在使用android SDK中包含的proguard工具,我对输出jar有以下要求:

• 保留输入jar中包含的所有类,但对它们进行模糊处理.
• 不要混淆`AndroidManifest.xml中调用的类的类名
• 不要混淆所使用的类的类名和公共方法名/属性具有用户的接口,但是对其内容执行此操作.

为此,我使用以下配置:

-optimizationpasses 5
-dontusemixedcaseclassnames
-dontskipnonpubliclibraryclasses
-dontpreverify
-verbose

-keep, allowobfuscation class com.company.*
-keepclassmembers, allowobfuscation class * {
    *;
}


-keepnames class com.company.MyClass { *; }
-keepclassmembernames class com.company.MyClass {
    public <methods>;
    public <fields>;
    #!private *; also tried this but it didn't work
}

但是,即使内容被混淆,我的私有类名称和属性仍然具有相同的名称.我在通配符中遗漏了什么吗？

我在纱线模式下在大型Spark群集上运行了很长时间(+ 3小时).运行spark的VM工作人员托管在Google Cloud Dataproc上,其中大多数可以在执行期间销毁(可抢占的VM,成本更低).

发生这种情况时,作业失败,因为失败的工作程序的容器日志中的此错误导致已销毁的工作程序上的任务失败:

Executor is not registered

我已经尝试设置spark.task.maxFailures为1000,但这似乎不是非常有效:即使作业完成,任务似乎也不会自动重新分配,并且分配给此特定工作人员的任务的计算似乎滚动回到初始阶段.

是否有一种方法可以使用更容错的配置来排除无响应的执行程序并重新分配其任务？

如果被问到,我可以包括ressourcemanager日志,nodemanager和容器日志,但我认为它不相关.

我是 Spark 的新手，刚刚开始认真研究它。
我们正在构建一个平台，在该平台上我们从特定时间戳的站点接收温度数据。因此，数据将作为 csv 发布到 RabbitMQ，例如

WD1,12.3,15-10-12T12:23:45
WD2,12.4,15-10-12T12:24:45
WD1,12.3,15-10-12T12:25:45
WD1,22.3,15-10-12T12:26:45

我们将数据转储到 Cassandra 中，我们想使用 spark 从中构建模型。我们从模型中的目标是找到在短时间内发生的急剧升温。例如，在数据中，1 分钟内温度升高了 10 度。我正在考虑使用线性回归来构建模型。然而，火花线性回归模型似乎只接受双值，在阅读文档后我明白了寻找权重的等式更多的是

y = a1x1+a2x2+a3x3

比

y = mx+c

所以 spark 可以给出权重和截距值。但我不确定我可以使用这个模型。只是为了满足我的好奇心，我确实尝试用这些数据构建模型。但是所有的预测都是可怕的，我认为数据也是如此。我试图建立一个温度与时间戳的矩阵，但预测非常不正确。

我的问题如下

1. 我构建模型的方式是完全错误的。如果是这样，我该如何纠正？
2. 如果不是线性回归模型，是否还有其他模型机制可以表明这种急剧上升？

我的示例代码：

JavaRDD<LabeledPoint> parsedData = cassandraRowsRDD.map(new Function<String, LabeledPoint>() {
            public LabeledPoint call(String line) {
                String[] parts = line.split(",");
                double value = Double.parseDouble(parts[1]);
                System.out.println("Y = " + Double.parseDouble(parts[0]) + " :: TIMESTAMP = " + value);
                return new LabeledPoint(Double.parseDouble(parts[0]), Vectors.dense(value));
            }
        });
        parsedData.cache();

        StandardScaler scaler = new StandardScaler();
        DataFrame dataFrame …